KR20190136832A - 음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환 - Google Patents

음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환 Download PDF

Info

Publication number
KR20190136832A
KR20190136832A KR1020180063014A KR20180063014A KR20190136832A KR 20190136832 A KR20190136832 A KR 20190136832A KR 1020180063014 A KR1020180063014 A KR 1020180063014A KR 20180063014 A KR20180063014 A KR 20180063014A KR 20190136832 A KR20190136832 A KR 20190136832A
Authority
KR
South Korea
Prior art keywords
text code
user
user terminal
code blocks
image forming
Prior art date
Application number
KR1020180063014A
Other languages
English (en)
Inventor
박성진
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority to KR1020180063014A priority Critical patent/KR20190136832A/ko
Priority to US17/049,718 priority patent/US11249696B2/en
Priority to EP18921038.8A priority patent/EP3718104A4/en
Priority to PCT/KR2018/011914 priority patent/WO2019231055A1/en
Publication of KR20190136832A publication Critical patent/KR20190136832A/ko
Priority to US17/571,983 priority patent/US20220129211A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/606—Protecting data by securing the transmission between two devices or processes
    • G06F21/608—Secure printing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1222—Increasing security of the print job
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1236—Connection management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1238—Secure printing, e.g. user identification, user rights for device usage, unallowed content, blanking portions or fields of a page, releasing held jobs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1275—Print workflow management, e.g. defining or changing a workflow, cross publishing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • G06F3/1289—Remote printer device, e.g. being remote from client or server in server-client-printer device configuration, e.g. the server does not see the printer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1218—Reducing or saving of used resources, e.g. avoiding waste of consumables or improving usage of hardware resources
    • G06F3/122—Reducing or saving of used resources, e.g. avoiding waste of consumables or improving usage of hardware resources with regard to computing resources, e.g. memory, CPU

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Abstract

통신부, 프로세서, 및 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하는 클라우드 서버가 개시된다. 프로세서는 명령어들을 실행하여, 통신부를 통해 사용자 단말로부터 수신된 음성 명령(voice command)을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환하고, 텍스트 코드 블록들을 사용자 단말에 전송하도록 통신부를 제어할 수 있다.

Description

음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환{CONVERTING VOICE COMMAND INTO TEXT CODE BLCOKS THAT SUPPORT PRINTING SERVICES}
프린터, 복사기, 팩스기, 복합기 등과 같은 화상 형성 장치에 대한 사용자의 편의성을 증대시키기 위해, 사용자가 화상 형성 장치에 직접 가지 않고, 사용자 단말을 통해 원격으로 제어할 수 있다.
프린팅 서비스를 제공하기 위해 다양한 장치들이 유무선 통신 기술을 이용해서 서로 연결되고, 복잡한 연산이 요구되는 작업에 대해서는 클라우드 컴퓨팅을 통해서 처리될 수 있다.
도 1은 일 예에 따른 화상 형성 장치, 사용자 단말, 및 클라우드 서버를 포함하는 프린팅 서비스 환경을 설명하기 위한 도면이다.
도 2는 일 예에 따른 화상 형성 장치, 사용자 단말, 및 클라우드 서버 각각의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 일 예에 따라 음성 명령을 이용하여 프린팅 작업을 실행하는 과정을 설명하기 위한 도면이다.
도 4는 일 예에 따른 화상 형성 장치와 사용자 단말이 음성 암호를 이용하여 사용자 인증을 수행하는 모습을 설명하기 위한 도면이다.
도 5는 일 예에 따른 클라우드 서버에서 음성 명령을 텍스트 코드 블록들로 변환 시 이용하는 프린팅 서비스에 특화된 명령어 맵핑 테이블을 설명하기 위한 도면이다.
도 6은 일 예에 따른 클라우드 서버에서 음성 명령을 텍스트 코드 블록들로 변환 시 사용자의 언어 습관에 기초하여 변환하는 예를 설명하기 위한 도면이다.
도 7은 일 예에 따른 음성 명령을 변환한, 프린팅 서비스를 지원하는 텍스트 코드 블록들을 설명하기 위한 도면이다.
도 8은 일 예에 따른 사용자 단말에서 텍스트 코드 블록을 선택하는 사용자 조작에 응답하여, 선택된 텍스트 코드 블록에 대응되는 메뉴를 제공하는 모습을 나타낸 도면이다.
도 9는 일 예에 따른 사용자 단말에서 텍스트 코드 블록을 이동시키는 사용자 조작에 응답하여, 텍스트 코드 블록들의 순서를 변경하는 모습을 나타낸 도면이다.
도 10은 일 예에 따른 사용자 단말에서 텍스트 코드 블록들의 세트들을 병합하는 모습을 나타낸 도면이다.
도 11은 일 예에 따른 사용자 단말의 사용자 인터페이스 장치와 화상 형성 장치의 사용자 인터페이스 장치가 서로 연동되어, 사용자의 멀티 조작을 각각의 사용자 인터페이스 장치에서 동시에 처리하는 예를 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일 부호를 붙임으로써 중복 설명을 생략한다.
도 1은 일 예에 따른 화상 형성 장치(100), 사용자 단말(200), 및 클라우드 서버(300)를 포함하는 프린팅 서비스 환경을 설명하기 위한 도면이다.
화상 형성 장치(100)는 인쇄, 스캔 또는 팩스 등의 화상 형성 작업을 수행할 수 있다. 화상 형성 장치(100)는 전자 사진 방식, 잉크젯 방식, 열전사 방식 및 감열 방식 등 다양한 인쇄 방식에 의하여 인쇄용지와 같은 기록매체에 화상을 형성할 수 있다. 사용자 단말(200)은 스마트 폰이나 노트북 같은 컴퓨팅 장치일 수 있다. 클라우드 서버(300)는 프린팅 서비스를 지원하며, 화상 형성 장치(100) 또는 사용자 단말(200)의 요청이 있으면, 요청에 대한 응답을 제공할 수 있다.
도 1을 참조하면, 사용자 단말(200)에서 화상 형성 장치(100)를 제어하여, 프린팅 작업을 하기 위해, 사용자 단말(200)과 화상 형성 장치(100)가 연결되는 개략적인 순서를 ①, ②, ③, ④ 로 나타내고 있다.
첫 번째 순서 ①에서는, 사용자가 사용자 단말(200)을 소지하여, 프린팅 서비스를 지원하는 화상 형성 장치(100)에 접근하고, 사용자 단말(200)에 설치된 음성 명령을 지원하는 프린팅 애플리케이션을 실행할 수 있다. 음성 명령을 지원하는 프린팅 애플리케이션의 실행에 따라, 사용자 단말(200)은 주변의 화상 형성 장치(100)에서 반복적으로 송신하는 광고(advertizing) 신호를 스캔하고, 화상 형성 장치(100)에 대한 디바이스 정보를 획득할 수 있다. 예를 들어, 광고(advertizing) 신호는 BLE 비콘 신호 또는 와이파이 어웨어(Wi-Fi aware) 신호일 수 있다.
두 번째 순서 ②에서는, 사용자 단말(200)과 클라우드 서버(300)간 통신을 통하여, 사용자 단말(200)은 화상 형성 장치(100)에 대한 디바이스 정보를 이용하여 화상 형성 장치(100)의 크레디트(credit)를 요청하고, 음성 명령을 이용한 프린팅 서비스를 지원하는지 확인할 수 있다.
세 번째 순서 ③에서는, 클라우드 서버(300)는 화상 형성 장치(100)에 사용자 단말(200)의 연결 요청이 있음을 알리고, 화상 형성 장치(100)와 클라우드 서버(300)의 음성 명령 세션(session) 간의 연결을 수립할 수 있다.
네 번째 순서 ④에서는, 클라우드 서버(300)는 사용자 단말(200)로부터 음성 명령을 수신하고, 음성 인식 및 자연어 처리 과정을 통해, 수신된 음성 명령에 관한 프린팅 작업의 실행 요청을 화상 형성 장치(100)에 전송할 수 있다.
이하, 도 2 내지 도 11을 참조하여, 음성 명령을 지원하는 프린팅 서비스 환경에서, 화상 형성 장치(100), 사용자 단말(200), 및 클라우드 서버(300)의 동작에 대해 더 자세하게 설명한다.
도 2는 일 예에 따른 화상 형성 장치(100), 사용자 단말(200), 및 클라우드 서버(300) 각각의 구성 및 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 먼저, 화상 형성 장치(100)는 사용자 인터페이스 장치(110), 제어부(120), 통신부(130), 메모리(140) 및 화상 형성 작업부(150)를 포함할 수 있다. 또한, 도시되지는 않았으나, 화상 형성 장치(100)는 각 구성들에 전원을 공급하기 위한 전원부를 더 포함할 수도 있다.
사용자 인터페이스 장치(110)는 사용자로부터 화상 형성 작업의 수행을 위한 입력 등을 수신하기 위한 입력부와, 화상 형성 작업의 수행 결과 또는 화상 형성 장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 사용자 인터페이스 장치(110)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
구체적으로, 입력부는, 예를 들어, 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는, 예를 들어, 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 사용자 인터페이스 장치(110)는 다양한 입출력을 지원하는 장치를 포함할 수 있다.
제어부(120)는 화상 형성 장치(100)의 전체적인 동작을 제어하며, CPU 등과 같은 적어도 하나의 프로세서를 포함할 수 있다. 제어부(120)는 사용자 인터페이스 장치(110)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 화상 형성 장치(100)에 포함된 다른 구성들을 제어할 수 있다. 제어부(120)는 각 기능에 대응되는 특화된 프로세서를 적어도 하나 포함하거나, 하나로 통합된 형태의 프로세서일 수 있다.
예를 들어, 제어부(120)는 메모리(140)에 저장된 프로그램을 실행시키거나, 메모리(140)에 저장된 데이터 또는 파일을 읽어오거나, 새로운 파일을 메모리(140)에 저장할 수도 있다.
통신부(130)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(130)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태일 수도 있고, 또는 통신에 필요한 정보를 포함하는 스티커/바코드(e.g. NFC tag를 포함하는 스티커)등일 수도 있다.
무선 통신은, 예를 들어, Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), BLE(Bluetooth Low Energy), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 중 적어도 하나를 포함할 수 있다. 유선 통신은, 예를 들어, USB 또는 HDMI(High Definition Multimedia Interface) 중 적어도 하나를 포함할 수 있다
통신부(130)는 화상 형성 장치(100)의 외부에 위치한 외부 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 통신부(130)는 사용자 단말(200) 또는 클라우드 서버(300)로부터 수신된 신호 또는 데이터를 제어부(120)로 전달하거나, 또는 제어부(120)에서 발생된 신호 또는 데이터를 사용자 단말(200) 또는 클라우드 서버(300)로 전송할 수 있다. 통신부(130)는 클라우드 서버(300)와 직접 연결되어 신호 또는 데이터를 송수신할 수 있다. 또한, 통신부(130)는 클라우드 서버(300)를 통해 사용자 단말(200)과 연결될 수도 있다. 즉, 화상 형성 장치(100)의 통신부(130)는 클라우드 서버(300)를 통해 사용자 단말(200)의 통신부(230)와 신호 또는 데이터를 송수신할 수 있다.
메모리(140)에는 애플리케이션과 같은 프로그램 및 파일 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 제어부(120)는 메모리(140)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(140)에 저장할 수도 있다. 또한, 제어부(120)는 메모리(140)에 설치된 프로그램을 실행할 수도 있다. 또한, 제어부(120)는 통신부(130)를 통해 외부로부터 수신한 애플리케이션을, 메모리(140)에 설치할 수도 있다.
화상 형성 작업부(150)는 인쇄, 스캔 또는 팩스 등의 화상 형성 작업을 수행할 수 있다. 도 2를 참조하면, 화상 형성 작업부(150)는 인쇄부(151), 스캔부(152) 및 팩스부(153)를 포함하는 것으로 도시되었는데, 필요에 따라서 이들 중 일부 구성만을 포함하거나, 또는 다른 종류의 화상 형성 작업 수행을 위한 구성을 더 포함할 수도 있다.
인쇄부(151)는 전자 사진 방식, 잉크젯 방식, 열전사 방식 및 감열 방식 등 다양한 인쇄 방식에 의하여 기록매체에 화상을 형성할 수 있다.
스캔부(152)는 원고에 광을 조사하고, 반사되는 광을 수광하여 원고에 기록된 화상을 읽어들일 수 있다. 원고로부터 화상을 읽어들이는 이미지 센서로서, 예를 들어 CCD (Charge Coupled Device), CIS(contact type image sensor) 등이 채용될 수 있다.
팩스부(153)의 경우, 화상을 스캔하기 위한 구성은 스캔부(152)와 공유할 수 있고, 수신한 파일을 인쇄하기 위한 구성은 인쇄부(151)와 공유할 수 있으며, 스캔 파일을 목적지로 전송하거나, 외부로부터 파일을 수신할 수 있다.
사용자 단말(200)은 프로세서(210), 사용자 인터페이스 장치(220), 통신부(230), 메모리(240)를 포함할 수 있다.
프로세서(210)는 사용자 단말(200)의 전체적인 동작을 제어하며, CPU 등과 같은 적어도 하나의 프로세싱 유닛을 포함할 수 있다. 프로세서(210)는 사용자 인터페이스 장치(220)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 사용자 단말(200)에 포함된 다른 구성들을 제어할 수 있다. 프로세서(210)는 각 기능에 대응되는 특화된 프로세싱 유닛을 적어도 하나 포함할 수 있다. 프로세서(210)는 메모리(240)에 저장된 프로그램을 실행시키거나, 메모리(240)에 저장된 데이터 또는 파일을 읽어오거나, 새로운 파일을 메모리(240)에 저장할 수도 있다.
사용자 인터페이스 장치(220)는 사용자의 입력을 획득하는 입력부와 사용자에게 정보를 제공하는 출력부를 포함할 수 있다. 예를 들어, 입력부는 사용자 조작을 수신할 수 있는 조작 패널(operation panel), 사용자의 음성이나 소음을 획득할 수 있는 마이크 등이 될 수 있다. 출력부는 화면을 표시하는 디스플레이 패널(display panel), 스피커 등이 될 수 있다.
사용자 단말(200)은 통신부(230)를 통해 화상 형성 장치(100)나 클라우드 서버(300)와 같은 외부 장치에 연결될 수 있다. 이를 위해, 통신부(230)는 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), BLE(Bluetooth Low Energy), UWB(Ultra Wide Band), NFC(Near Field Communication), 3G, 4G, 5G 중 적어도 하나를 지원할 수 있다.
메모리(240)는 프로세서(210)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(240)에는 애플리케이션과 같은 프로그램 및 파일 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 메모리(240)는 오퍼레이팅 시스템을 저장할 수 있다.
클라우드 서버(300)는 메모리(310), 프로세서(320), 통신부(330)를 포함할 수 있다. 메모리(310)는 프로세서(320)에 의해 실행 가능한 명령어들을 저장할 수 있다. 프로세서(320)는 클라우드 서버(300)의 전체적인 동작을 제어하며, 적어도 하나의 프로세싱 유닛을 포함할 수 있다. 통신부(330)는 앞서 살펴본 화상 형성 장치(100)의 통신부(130) 또는 사용자 단말(200)의 통신부(230)와 통신을 할 수 있도록 대응되는 통신 모듈이 구비될 수 있다.
이상 설명한 화상 형성 장치(100), 사용자 단말(200), 클라우드 서버(300)를 이용하여 음성 명령을 지원하는 프린팅 서비스를 통해 프린팅 작업을 수행할 수 있다. 예를 들어, 사용자 단말(200)의 프로세서(220)는 메모리(240)에 저장된 명령어들을 실행하여, 사용자로부터 획득한 음성 명령을 프린팅 서비스를 제공하는 클라우드 서버(300)로 전송할 수 있다. 클라우드 서버(300)의 프로세서(320)는 메모리(310)에 저장된 명령어들을 실행하여, 통신부(330)를 통해 사용자 단말(200)로부터 수신된 음성 명령(voice command)을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환하고, 텍스트 코드 블록들을 사용자 단말(200)에 전송하도록 통신부(330)를 제어할 수 있다. 클라우드 서버(300)의 프로세서(320)는 텍스트 코드 블록들에 대응되는 명령어와 발음상 또는 기능상 유사한 명령어에 대응되는 텍스트 코드 블록들을 검색하고, 검색된 텍스트 코드 블록들을 사용자 단말(200)에 전송하도록 통신부(330)를 제어할 수 있다. 사용자 단말(200)의 프로세서(220)는 음성 명령을 변환한, 프린팅 서비스를 지원하는 텍스트 코드 블록들을 클라우드 서버(300)로부터 수신하도록 통신부(230)를 제어하고, 텍스트 코드 블록들을 사용자 인터페이스 장치(220)에 표시하도록 사용자 인터페이스 장치(220)를 제어할 수 있다. 음성 명령에 기초한 사용자 단말(200)에서의 프린팅 작업 실행 요청에 따라, 클라우드 서버(300)를 통해 프린팅 작업 실행 요청이 화상 형성 장치(100)로 전달되고, 프린팅 작업이 수행될 수 있다. 이하, 도 3을 참조하여, 음성 명령을 이용하여 프린팅 작업을 실행하는 과정을 상세히 설명한다.
도 3은 일 예에 따라 음성 명령을 이용하여 프린팅 작업을 실행하는 과정을 설명하기 위한 도면이다.
클라우드 서버(300)는 화상 형성 장치(100)로부터 화상 형성 장치(100)에 관한 디바이스 정보를 수신할 수 있다.(S 305)
클라우드 서버(300)는 화상 형성 장치(100)에 관한 디바이스 정보를 저장하여, 화상 형성 장치(100)의 디바이스 정보를 등록할 수 있다.(S 310)
프린팅 작업을 실행하고자 하는 사용자가 사용자 단말(200)을 가지고 화상 형성 장치(100)로 접근할 수 있다.(S 315)
화상 형성 장치(100)는 디바이스 정보를 포함한 광고(advertizing) 신호를 소정의 범위에 해당하는 공간상에 반복적으로 송신할 수 있다.(S 320) 이때, 광고 신호는 BLE 비콘 신호이거나 Wi-Fi 어웨어(aware) 신호일 수 있다. 사용자 단말(200)은 화상 형성 장치(100)에서 반복적으로 송신하는 광고(advertizing) 신호를 수신하여, 프린팅 서비스를 이용하기 위해 화상 형성 장치(100)에 관한 디바이스 정보를 이용할 수 있다.
사용자 단말(200)과 화상 형성 장치(100)가 소정의 공간상에 위치할 때, 사용자 단말(200)과 화상 형성 장치(100)는 화상 형성 장치(100)에서 발생한 소리 정보 또는 사용자가 말한 키워드 문구를 음성 암호로써 각각 획득할 수 있다.(S 325, S 330) 이때, 소정의 공간은 화상 형성 장치(100)에서 반복적으로 송신하는 광고(advertizing) 신호가 도달할 수 있는 범위 이내의 영역으로서, 화상 형성 장치(100)와 사용자 단말(200) 각각이 음성 암호를 함께 수집할 수 있을 정도의 공간일 수 있다. 사용자 단말(200)과 화상 형성 장치(100)는 이와 같은 소정의 공간에서 발생하는 소리를 함께 수집하기 때문에, 유사한 소리를 음성 암호로서 각각 수집할 수 있다.
사용자 단말(200)과 화상 형성 장치(100)는 사용자 인증을 위해 디바이스 정보 및 음성 암호를 클라우드 서버(300)에 전송할 수 있다.(S 335, S 340)
클라우드 서버(300)는 화상 형성 장치(100)와 사용자 단말(200) 각각으로부터 수신된 음성 암호 간의 일치 여부를 확인하여, 사용자 인증을 수행하고, 클라우드 서버(300)를 통한 상호 연결을 수립할 수 있다.(S 345) 화상 형성 장치(100)와 사용자 단말(200)은 클라우드 서버로(300)로부터 화상 형성 장치(100)와 사용자 단말(200) 간 연결 수립을 위해 필요한 정보를 획득할 수 있다. 화상 형성 장치(100)에서 반복적으로 송신하는 광고 신호를 수신할 수 있는 네트워크 및 음성 암호를 함께 수집할 수 있는 소정의 공간에서 발생된 소리에 기초한 음성 암호 모두를 이용한 보안 방식이 적용되면, 논리적 보안 및 물리적 보안이 함께 이루어질 수 있다.
도 4는 일 예에 따른 화상 형성 장치(100)와 사용자 단말(200)이 음성 암호를 이용하여 사용자 인증을 수행하는 모습을 설명하기 위한 도면이다.
도 4를 참조하면, 도 3에서 설명한 S 325, S 330, S 335, S 340, 및 S 345 과정에 따른 음성 암호를 이용한 보안 방식을 나타내고 있다. 사용자 단말(200)과 화상 형성 장치(100)가 소정의 공간상에 위치할 때, 사용자 단말(200)과 화상 형성 장치(100) 각각은 화상 형성 장치(100)에서 발생한 소리 정보(①의 경우) 또는 사용자가 말한 키워드 문구(②의 경우)를 음성 암호로써 획득하고, 클라우드 서버(300)로 음성 암호를 전송할 수 있다. 클라우드 서버(300)는 화상 형성 장치(100)와 사용자 단말(200) 각각으로부터 수신된 음성 암호 간의 일치 여부를 확인하여, 사용자 인증을 수행하고, 클라우드 서버(300)를 통한 상호 연결을 수립할 수 있다. 클라우드 서버(300)는 음성 암호에서 확인되는 고유의 특징에 기초하여 음성 암호 간의 일치 여부를 판단할 수 있다. 클라우드 서버(300)는 수신된 음성 암호에 대해 컨벌루션 연산을 통해 두 음성 암호 간에 매칭되는 부분이 있는지 확인하여, 음성 암호 간의 일치 여부를 확인할 수 있다. 음성 암호가 일치하면, 사용자 단말(200)과 화상 형성 장치(100)가 물리적인 의미에서 동일한 공간에 있다는 것이 입증될 수 있다.
다시 도 3을 참조하면, 사용자 단말(200)은 프린팅 작업을 실행하고자 하는 사용자로부터 음성 명령(voice command)을 획득할 수 있다.(S 350)
사용자 단말(200)은 사용자로부터 획득한 음성 명령을 프린팅 서비스를 제공하는 클라우드 서버(300)로 전송할 수 있다.(S 355)
클라우드 서버(300)는 사용자 단말(200)로부터 수신된 음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환할 수 있다.(S 360) 클라우드 서버(300)는 수신된 음성 명령과 이전 음성 명령 간의 관계를 분석하여, 사용자 단말(200)의 요청에 따른 프린팅 작업의 컨텍스트를 파악하고, 컨텍스트에 기초하여 수신된 음성 명령을 텍스트 코드 블록들로 변환할 수 있다. 클라우드 서버(300)는 연속하는 음성 명령들을 통해 사용자가 실행하고자 하는 프린팅 작업의 유형이나 현재 상황을 정확히 파악할 수 있다.
한편, 클라우드 서버(300)는 하나의 음성 명령에 대해 프린팅 서비스에 특화된 명령어 맵핑 테이블 또는 사용자의 언어 습관에 기초하여 음성 명령에 대응되는 텍스트 코드 블록들을 생성할 수 있다.
도 5는 일 예에 따른 클라우드 서버(300)에서 음성 명령을 텍스트 코드 블록들로 변환시 이용하는 프린팅 서비스에 특화된 명령어 맵핑 테이블을 설명하기 위한 도면이다.
클라우드 서버(300)는 수신된 음성 명령을 프린팅 서비스에 특화된 명령어 맵핑 테이블에 기초하여 텍스트 코드 블록들로 변환할 수 있다. 도 5를 참조하면, 프린팅 서비스에 특화된 명령어 맵핑 테이블의 일 예가 도시되어 있으나, 명령어 맵핑 테이블이 이에 한정되는 것은 아니다.
도 5를 참조하면, 클라우드 서버(300)가 수신된 음성 명령에 대해, 어떤 의미로 해석하여 어떤 기능을 수행하는 텍스트 코드 블록들을 생성하는지 알 수 있다. 예를 들어, 클라우드 서버(300)는 음성 명령이 "업로드"이면 "스캔" 기능으로 해석하여, 프린터 문서를 스캔한 후 소정의 공간에 업로드하도록 하는 텍스트 코드 블록들을 생성할 수 있다. 또한, 클라우드 서버(300)는 "최신문서", "최근문서", "최종문서"와 같은 비슷한 형식의 음성명령에 대해서도, 문서의 특징을 정확히 구분하여, 프린팅 작업을 수행할 문서를 결정할 수 있다. 또한, 클라우드 서버(300)는 음성 명령에 "작게", "크게", "또렷하게", "읽기 쉽게"와 같은 표현이 있는 경우, 그 표현이 프린팅 작업에 관련된 것으로 해석되는 경우로 한정 해석하여, 텍스트 코드 블록들을 생성하는데 반영할 수 있다. 예로, "작게"라는 표현은 소리를 낮추라는 의미로도 해석될 수 있으나, 프린팅 서비스에 특화된 명령어 테이블에서는 프린팅 작업을 출력물을 축소하라는 의미로 해석하여, 텍스트 코드 블록들을 생성할 수 있다.
도 6은 일 예에 따른 클라우드 서버(300)에서 음성 명령을 텍스트 코드 블록들로 변환 시 사용자의 언어 습관에 기초하여 변환하는 예를 설명하기 위한 도면이다.
클라우드 서버(300)는 수신된 음성 명령을 학습된 사용자의 언어 습관에 기초하여 텍스트 코드 블록들로 변환할 수 있다. 클라우드 서버(300)는 언어 학습 모델에 기반한 머신 러닝을 통해 사용자의 언어 습관을 학습할 수 있고, 학습된 언어 습관에 기초하여 사용자가 의도한 음성 명령의 진의를 정확히 파악할 수 있다.
도 6에 도시된 일 예를 들어 설명하면, 음성 명령에 "작게"라는 표현이 포함된 경우, 축소 옵션의 값을 얼마로 할 것인지에 대해, 기존의 사용자의 언어 습관에 기초하여 축소 옵션의 값을 결정할 수 있다. 즉, "작게"라는 표현에 대해 "조금 작게(10-20%)", "적당히 작게(30%)", "많이 작게(50%)" 등의 파생 명령어들이 존재할 수 있는데, 클라우드 서버(300)는 사용자의 언어 습관과 과거 프린팅 작업의 이력에 기초하여, 사용자 "A"가 "작게"라고 말하는 것은 "적당히 작게(30%)" 축소하라는 명령임을 파악하고, 이에 따라 텍스트 코드 블록들을 생성할 수 있다.
다시 도 3을 참조하면, 클라우드 서버(300)는 텍스트 코드 블록들을 상기 사용자 단말(200)에 전송할 수 있다.(S 365) 클라우드 서버(300)는 음성 명령에 대응되는 텍스트 코드 블록들 뿐만 아니라, 텍스트 코드 블록들에 대응되는 명령어와 발음상 또는 기능상 유사한 명령어에 대응되는 텍스트 코드 블록들을 검색하고, 검색된 텍스트 코드 블록들을 사용자 단말(200)에 전송할 수도 있다.
사용자 단말(200)은 클라우드 서버(300)로부터 수신된 프린팅 서비스를 지원하는 텍스트 코드 블록들 사용자 인터페이스 장치(220)에 표시하고, 텍스트 코드 블록들에 대한 사용자 조작 및 프린팅 작업의 실행 요청을 입력받을 수 있다.(S 370) 도 7 내지 도 10을 이용하여 텍스트 코드 블록들 및 텍스트 코드 블록들에 대한 사용자 조작의 예들을 상세히 설명한다.
도 7은 일 예에 따른 음성 명령을 변환한, 프린팅 서비스를 지원하는 텍스트 코드 블록들을 설명하기 위한 도면이다.
도 7을 참조하면, 사용자의 "Scan and print 2 copy"라는 음성 명령과 "Send to marketer by email"이라는 음성 명령에 대해, 클라우드 서버(300)에서 각 음성 명령을 변환한 텍스트 코드 블록들을 사용자 인터페이스 장치(220)에 표시한 것을 나타내고 있다. 각 음성 명령에 대응되는 텍스트 코드 블록들의 세트는 도 7과 같이 말풍선으로 서로 구분하여 표시될 수 있다. 음성 명령을 구성하는 화상 형성 장치의 기능과 프린팅 작업 옵션에 대응되는 각각의 단위 음성은 각각 단위 코드 블록으로 구분되어 표시될 수 있다. 예를 들어, 도 7에 도시되 바와 같이 "Scan and print 2 copy"라는 음성 명령은 "Scan", "and print" 와 같은 화상 형성 장치의 기능과 "2 copy"와 같은 프린팅 작업 옵션으로 나눌 수 있고, 총 3개의 단위 코드 블록으로 표시될 수 있으며, 각 단위 코드 블록의 색상을 달리하여 표시될 수 있다.
한편, 텍스트 코드 블록들은 사용자, 시간 등의 카테고리 별로 사용자 단말(200)에 저장되어, 사용자가 사용자 단말(200)에서 실행된 텍스트 코드 블록들의 이력 정보를 확인하고, 텍스트 코드 블록들을 재사용할 수도 있다.
한편, 음성 명령의 불완전성 또는 텍스트 코드 블록들로 변환의 미비점을 보완하기 위해, 사용자는 사용자 단말(200)의 사용자 인터페이스 장치(220)를 통해, 텍스트 코드 블록들을 편집할 수 있다.
도 8은 일 예에 따른 사용자 단말(200)에서 텍스트 코드 블록을 선택하는 사용자 조작에 응답하여, 선택된 텍스트 코드 블록에 대응되는 메뉴를 제공하는 모습을 나타낸 도면이다.
사용자 단말(200)의 사용자 인터페이스 장치(220)는 텍스트 코드 블록들 중 어느 하나의 텍스트 코드 블록을 선택하는 사용자 조작에 응답하여, 선택된 텍스트 코드 블록에 대응되는 명령어와 발음상 및/또는 기능상 유사한 명령어에 대응되는 적어도 하나의 텍스트 코드 블록을 선택된 텍스트 코드 블록 아래에 표시할 수 있다. 도 8의 일 예를 보면, 텍스트 코드 블록들 중 "Scan"이라는 텍스트 코드 블록을 사용자가 선택한 경우, "Scan" 대신 수행될 수 있는 기능상 유사한 명령어에 대응되는 "Fax", "Download"가 "Scan"이라는 텍스트 코드 블록 아래에 표시됨을 확인할 수 있다.
도 9는 일 예에 따른 사용자 단말(200)에서 텍스트 코드 블록을 이동시키는 사용자 조작에 응답하여, 텍스트 코드 블록들의 순서를 변경하는 모습을 나타낸 도면이다.
사용자 단말(200)의 사용자 인터페이스 장치(220)는 텍스트 코드 블록들 중 어느 하나의 텍스트 코드 블록을 이동시키는 사용자의 조작에 응답하여, 이동된 텍스트 코드 블록의 위치에 따라 텍스트 코드 블록들의 순서를 변경하여 표시할 수 있다. 도 9의 일 예를 보면, 텍스트 코드 블록들 중 "and Print"라는 텍스트 코드 블록을 사용자가 선택하여 "and Email"이라는 텍스트 코드 블록 뒤로 드래그 앤 드롭하는 경우, "Scan and Print and Email"이라는 텍스트 코드 블록들이 "Scan and Email and Print"라는 텍스트 코드 블록들로 변경되어, 텍스트 코드 블록들의 순서가 변경됨을 확인할 수 있다. 사용자가 음성 명령을 한 후, 각 기능의 처리에 소요되는 시간을 고려하여, 소요 시간이 짧은 기능을 먼저 진행하도록 그 순서를 변경할 필요가 있다고 판단한 경우, 도 9에서와 같이 텍스트 코드 블록들의 순서를 변경할 수 있다.
도 10은 일 예에 따른 사용자 단말(200)에서 텍스트 코드 블록들의 세트들을 병합하는 모습을 나타낸 도면이다.
사용자 단말(200)의 사용자 인터페이스 장치(220)는 복수 개의 음성 명령 각각에 대응되는 텍스트 코드 블록들의 세트 중 어느 하나의 세트를 다른 세트에 오버랩시키는 사용자의 조작에 응답하여, 오버랩된 세트들을 병합한 하나의 텍스트 코드 블록들의 세트로 표시할 수 있다. 도 10의 일 예를 보면, "Scan and Print 2 Copy"라는 텍스트 코드 블록들의 세트를 사용자가 선택하여, "Send to Marketer By email"라는 텍스트 코드 블록들의 세트와 병합하는 사용자 조작을 한 경우, "Scan and Print 2 Copy Send to Marketer By email"이라는 하나의 텍스트 코드 블록들의 세트가 생성되어 표시됨을 확인할 수 있다. 도 10의 예에서는, 사용자가 "Scan and Print 2 Copy"라는 텍스트 코드 블록들의 세트에 대응되는 말풍선 모양의 아이콘의 일부분을 터치하여, "Send to Marketer By email"라는 텍스트 코드 블록들의 세트에 대응되는 말풍선 모양의 아이콘의 대응되는 부분을 이어주는 사용자 조작을 통해, 두 텍스트 코드 블록들의 세트들이 하나로 병합되는 것을 나타내고 있다. 다만, 텍스트 코드 블록들의 세트들을 병합하는 사용자 조작은 다양한 방식이 될 수 있으므로, 이에 한정되는 것은 아니다.
다시 도 3을 참조하면, 사용자 단말(200)은 프린팅 작업의 실행 요청을 클라우드 서버(300)로 전송할 수 있다.(S 375) 이때, 텍스트 코드 블록들에 사용자 단말(200)에 저장되어 있는 정보로 대체할 수 있는 정보가 포함되어 있는 경우, 프린팅 작업의 실행 요청시에 대체할 수 있는 정보를 사용자 단말(200)에 저장되어 있는 정보로 대체하여 클라우드 서버(300)를 통해 화상 형성 장치(100)로 전송할 수 있다. 예를 들어, "Send to Marketer By email"라는 텍스트 코드 블록들이 있는 경우, "Marketer"의 이메일 주소 정보가 사용자 단말(200)에 저장되어 있는 경우, "Marketer"를 실제 이메일 주소 정보로 대체한 후 프린팅 작업의 실행 요청을 전송할 수 있다.
클라우드 서버(300)는 사용자 단말(200)로부터 수신한 프린팅 작업의 실행 요청에 따라, 프린팅 작업에 대응되는 화상 형성 장치(100)에 프린팅 작업의 실행 요청을 전송할 수 있다.(S 380)
화상 형성 장치(100)는 프린팅 작업 실행의 실행 요청에 따라, 프린팅 작업을 실행할 수 있다.(S 385)
한편, 사용자가 사용자 단말(200)을 이용하여 클라우드 서버(300)에서 지원하는 프린팅 서비스를 시작하려고 하거나, 화상 형성 장치(100)에 프린팅 작업의 실행 요청을 하는 경우, 사용자의 멀티 조작이 요구되는 경우가 있을 수 있다. 예를 들어, 사용자가 사용자 단말(200)의 마이크에 음성 명령을 하면서, 사용자 인터페이스 장치(220)에 디스플레이된 내용을 보고, 디스플레이된 텍스트 코드 블록들에 대해 사용자 조작을 하고 싶은 경우가 있을 수 있다. 이와 같은 경우, 사용자가 사용자 단말(200) 하나로 사용자의 멀티 조작을 동시에 처리하기가 곤란할 수 있다.
도 11은 일 예에 따른 사용자 단말(200)의 사용자 인터페이스 장치(220)와 화상 형성 장치(100)의 사용자 인터페이스 장치(110)가 서로 연동되어, 사용자의 멀티 조작을 각각의 사용자 인터페이스 장치(110, 220)에서 동시에 처리하는 예를 설명하기 위한 도면이다.
사용자 단말(200)의 사용자 인터페이스 장치(220)는 사용자 단말(200)의 실행 요청에 따른 프린팅 작업을 수행하는 화상 형성 장치(100)의 사용자 인터페이스 장치(110)와 실시간 연동하여, 프린팅 작업의 진행을 위한 사용자의 멀티 조작을 화상 형성 장치(100)의 사용자 인터페이스 장치(110)와 동시에 처리할 수 있다. 도 11에 도시된 바와 같이, 사용자 단말(200)의 사용자 인터페이스 장치(220)는 화상 형성 장치(100)의 사용자 인터페이스 장치(110)와 실시간 연동하여 동일한 화면을 제공할 수 있다. 이와 같은 경우, 사용자는 사용자 단말(200)을 이용하여 음성 명령을 하고, 동시에 화상 형성 장치(100)의 사용자 인터페이스 장치(110)에 표시된 텍스트 코드 블록들을 편집할 수 있다. 이를 위해, 사용자 단말(200)의 사용자 인터페이스 장치(220)와 화상 형성 장치(100)의 사용자 인터페이스 장치(110) 간의 실시간 연동은 사용자 단말(200)과 화상 형성 장치(100) 간의 무선 근거리 통신망을 통해 이루어지고, 프린팅 작업을 위한 프린팅 데이터는 클라우드 서버(300)를 통해 화상 형성 장치(100)로 전송되게 하여, 즉시 피드백이 반영되어야 하는 것은 클라우드 서버(300)를 거치지 않고도 사용자 단말(200)과 화상 형성 장치(100) 간의 무선 근거리 통신망을 이용한 통신을 통해 상호 간 전달될 수 있다.
한편, 상술한 내용은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 또는 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터 판독 가능 저장매체를 이용하여 이와 같은 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 명령어를 실행할 수 있도록 프로세서나 컴퓨터에 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.

Claims (15)

  1. 통신부;
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리;를 포함하고,
    상기 프로세서는,
    상기 명령어들을 실행하여, 상기 통신부를 통해 사용자 단말로부터 수신된 음성 명령(voice command)을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환하고, 상기 텍스트 코드 블록들을 상기 사용자 단말에 전송하도록 상기 통신부를 제어하는, 클라우드 서버.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 수신된 음성 명령과 이전 음성 명령 간의 관계를 분석하여, 상기 사용자 단말의 요청에 따른 프린팅 작업의 컨텍스트를 파악하고, 상기 컨텍스트에 기초하여 상기 수신된 음성 명령을 상기 텍스트 코드 블록들로 변환하는, 클라우드 서버.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 수신된 음성 명령을 프린팅 서비스에 특화된 명령어 맵핑 테이블에 기초하여 상기 텍스트 코드 블록들로 변환하는, 클라우드 서버.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 수신된 음성 명령을 학습된 사용자의 언어 습관에 기초하여 상기 텍스트 코드 블록들로 변환하는, 클라우드 서버.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 텍스트 코드 블록들에 대응되는 명령어와 발음상 또는 기능상 유사한 명령어에 대응되는 텍스트 코드 블록들을 검색하고, 검색된 텍스트 코드 블록들을 상기 사용자 단말에 전송하도록 상기 통신부를 제어하는, 클라우드 서버.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    화상 형성 장치와 상기 화상 형성 장치에서 반복적으로 송신하는 광고(advertizing) 신호를 수신한 사용자 단말 각각으로부터 수신된 음성 암호 간의 일치 여부를 확인하여, 상기 사용자 인증을 수행하는, 클라우드 서버.
  7. 제 6 항에 있어서,
    상기 화상 형성 장치와 상기 사용자 단말 각각으로부터 수신된 상기 음성 암호는 상기 사용자 단말이 상기 화상 형성 장치와 소정의 공간상에 위치할 때, 상기 화상 형성 장치에서 발생한 소리 정보 또는 사용자가 말한 키워드 문구를 상기 화상 형성 장치와 상기 사용자 단말 각각에서 획득한 것인, 클라우드 서버.
  8. 제 6 항에 있어서,
    상기 광고 신호는 BLE 비콘 신호이거나 Wi-Fi 어웨어(aware) 신호인, 클라우드 서버.
  9. 사용자 인터페이스 장치;
    통신부;
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리;를 포함하고,
    상기 프로세서는,
    상기 명령어들을 실행하여, 사용자로부터 획득한 음성 명령을 프린팅 서비스를 제공하는 클라우드 서버로 전송하고, 상기 음성 명령을 변환한, 프린팅 서비스를 지원하는 텍스트 코드 블록들을 상기 클라우드 서버로부터 수신하도록 상기 통신부를 제어하고, 상기 텍스트 코드 블록들을 상기 사용자 인터페이스 장치에 표시하도록 상기 사용자 인터페이스 장치를 제어하는, 사용자 단말.
  10. 제 9 항에 있어서,
    상기 사용자 인터페이스 장치는,
    상기 텍스트 코드 블록들 중 어느 하나의 텍스트 코드 블록을 선택하는 사용자 조작에 응답하여, 상기 선택된 텍스트 코드 블록에 대응되는 명령어와 발음상 및/또는 기능상 유사한 명령어에 대응되는 적어도 하나의 텍스트 코드 블록을 상기 선택된 텍스트 코드 블록 아래에 표시하는, 사용자 단말.
  11. 제 9 항에 있어서,
    상기 사용자 인터페이스 장치는,
    상기 텍스트 코드 블록들 중 어느 하나의 텍스트 코드 블록을 이동시키는 사용자의 조작에 응답하여, 상기 이동된 텍스트 코드 블록의 위치에 따라 상기 텍스트 코드 블록들의 순서를 변경하여 표시하는, 사용자 단말.
  12. 제 9 항에 있어서,
    상기 사용자 인터페이스 장치는,
    복수 개의 음성 명령 각각에 대응되는 텍스트 코드 블록들의 세트 중 어느 하나의 세트를 다른 세트에 오버랩시키는 사용자의 조작에 응답하여, 상기 오버랩된 세트들을 병합한 하나의 텍스트 코드 블록들의 세트로 표시하는, 사용자 단말.
  13. 제 9 항에 있어서,
    상기 사용자 인터페이스 장치는,
    상기 사용자 단말의 실행 요청에 따른 프린팅 작업을 수행하는 화상 형성 장치의 사용자 인터페이스 장치와 실시간 연동하여, 상기 프린팅 작업의 진행을 위한 사용자의 멀티 조작을 상기 화상 형성 장치의 상기 사용자 인터페이스 장치와 동시에 처리하는, 사용자 단말.
  14. 제 13 항에 있어서,
    상기 사용자 단말의 상기 사용자 인터페이스 장치와 상기 화상 형성 장치의 사용자 인터페이스 장치 간의 상기 실시간 연동은 상기 사용자 단말과 상기 화상 형성 장치 간의 무선 근거리 통신망을 통해 이루어지고, 상기 프린팅 작업을 위한 프린팅 데이터는 상기 클라우드 서버를 통해 상기 화상 형성 장치로 전송되는, 사용자 단말.
  15. 제 9 항에 있어서,
    상기 텍스트 코드 블록들에 상기 사용자 단말에 저장되어 있는 정보로 대체할 수 있는 정보가 포함되어 있는 경우, 상기 프린팅 작업의 실행 요청시에 상기 대체할 수 있는 정보를 상기 사용자 단말에 저장되어 있는 정보로 대체하여 상기 클라우드 서버를 통해 상기 화상 형성 장치로 전송하는, 사용자 단말.
KR1020180063014A 2018-05-31 2018-05-31 음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환 KR20190136832A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180063014A KR20190136832A (ko) 2018-05-31 2018-05-31 음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환
US17/049,718 US11249696B2 (en) 2018-05-31 2018-10-11 Converting voice command into text code blocks that support printing services
EP18921038.8A EP3718104A4 (en) 2018-05-31 2018-10-11 CONVERSION OF VOICE COMMAND INTO TEXT CODE BLOCKS SUPPORTING PRINTING SERVICES
PCT/KR2018/011914 WO2019231055A1 (en) 2018-05-31 2018-10-11 Converting voice command into text code blocks that support printing services
US17/571,983 US20220129211A1 (en) 2018-05-31 2022-01-10 Converting voice command into text code blocks that support printing services

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180063014A KR20190136832A (ko) 2018-05-31 2018-05-31 음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환

Publications (1)

Publication Number Publication Date
KR20190136832A true KR20190136832A (ko) 2019-12-10

Family

ID=68697645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180063014A KR20190136832A (ko) 2018-05-31 2018-05-31 음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환

Country Status (4)

Country Link
US (2) US11249696B2 (ko)
EP (1) EP3718104A4 (ko)
KR (1) KR20190136832A (ko)
WO (1) WO2019231055A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3910466A1 (en) * 2020-04-27 2021-11-17 Ricoh Company, Ltd. Information processing apparatus, information processing system, method for processing information, and carrier means
CN112286745B (zh) * 2020-10-27 2022-11-15 上海商米科技集团股份有限公司 一种云打印机自动化测试方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4466572B2 (ja) 2006-01-16 2010-05-26 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置、音声コマンド実行プログラムおよび音声コマンド実行方法
KR101631496B1 (ko) * 2008-06-03 2016-06-17 삼성전자주식회사 로봇 장치 및 그 단축 명령 등록 방법
EP2678861B1 (en) 2011-02-22 2018-07-11 Speak With Me, Inc. Hybridized client-server speech recognition
JP5234160B2 (ja) * 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
US9329808B2 (en) 2011-03-24 2016-05-03 Ricoh Company, Ltd. User interfaces for rule-based workflow generation in a print shop environment
JP5831251B2 (ja) 2012-01-25 2015-12-09 コニカミノルタ株式会社 画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラム
KR101383552B1 (ko) 2013-02-25 2014-04-10 미디어젠(주) 다중 명령어가 포함된 단일 문장의 음성인식방법
JP6171511B2 (ja) 2013-04-09 2017-08-02 コニカミノルタ株式会社 制御装置、画像形成装置、携帯端末装置、制御方法、および制御プログラム
EP2797303A1 (en) * 2013-04-26 2014-10-29 Océ-Technologies B.V. Apparatus having a number of options for operating and/or configuring the apparatus and method and computer program product therefor
EP3149728B1 (en) * 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US20160150124A1 (en) * 2014-11-24 2016-05-26 Kyocera Document Solutions Inc. Image Forming Apparatus with User Identification Capabilities
US9959129B2 (en) * 2015-01-09 2018-05-01 Microsoft Technology Licensing, Llc Headless task completion within digital personal assistants
JP2016168707A (ja) 2015-03-12 2016-09-23 コニカミノルタ株式会社 画像形成装置及びプログラム
US20180239583A1 (en) * 2015-09-02 2018-08-23 Hewlett-Packard Development Company, L.P. Voice control of a printer unit
KR20170070649A (ko) 2015-12-14 2017-06-22 에스프린팅솔루션 주식회사 화상형성장치, 클라우드 서버, 화상형성시스템 및 화상형성장치와의 연결 설정 방법
JP6696246B2 (ja) * 2016-03-16 2020-05-20 富士ゼロックス株式会社 画像処理装置及びプログラム
US10388282B2 (en) * 2017-01-25 2019-08-20 CliniCloud Inc. Medical voice command device
CN108656558A (zh) * 2017-03-29 2018-10-16 三纬国际立体列印科技股份有限公司 运用于3d打印机的语音控制系统及语音控制方法
JP7003720B2 (ja) * 2018-02-19 2022-01-21 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
WO2019231055A1 (en) 2019-12-05
US20210240403A1 (en) 2021-08-05
US20220129211A1 (en) 2022-04-28
EP3718104A4 (en) 2021-11-10
US11249696B2 (en) 2022-02-15
EP3718104A1 (en) 2020-10-07

Similar Documents

Publication Publication Date Title
US11355106B2 (en) Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy
US20140218763A1 (en) Image processing device, information processing terminal, and recording medium
JP7059929B2 (ja) 情報処理装置
US9591157B2 (en) Apparatus, system and method for controlling an image processing device via a mobile device
JP7195851B2 (ja) システム及び処理装置
US20220129211A1 (en) Converting voice command into text code blocks that support printing services
JP6942995B2 (ja) 情報処理プログラム、情報処理装置、および情報処理装置の制御方法
US11625200B2 (en) Information processing device, mobile terminal, and non-transitory computer readable medium for parameter presentation
JP4293959B2 (ja) 画像処理装置、プログラム及び記録媒体
JP7430126B2 (ja) 情報処理装置、印刷システム、制御方法及びプログラム
US11036441B1 (en) System and method for creation and invocation of predefined print settings via speech input
JP4766135B2 (ja) 情報提供装置、情報提供方法および情報提供プログラム
JP2021092982A (ja) 画像処理システム、画像処理装置、画像処理方法
JP7032692B2 (ja) 画像処理装置および画像処理プログラム
CN111104071A (zh) 用于语音助手搜索结果的集成打印的系统和方法
JP2021113899A (ja) 情報処理システム、情報処理方法及びプログラム
US20190052769A1 (en) Method for transmitting and receiving fax by using application, and image forming apparatus for performing same
JP2021012431A (ja) 周辺装置管理システム、印刷装置制御システム、制御方法、印刷制御装置及びプログラム
US20170371864A1 (en) System and method for device filtered translation
US11700338B2 (en) Information processing system that receives audio operations on multifunction peripheral, as well as image processing apparatus and control method therefor
US11563864B2 (en) Information processing apparatus and non-transitory computer-readable storage medium
US11755257B2 (en) Automatic output of document
JP7435045B2 (ja) 命令要求システム、命令要求方法、命令処理システム及びプログラム
JP7147334B2 (ja) 共有端末、通信システム、表示方法、及びプログラム
KR20220050640A (ko) 오리지널 url에 대응되는 단축 url 및 컨텐츠 관련 정보 제공

Legal Events

Date Code Title Description
N231 Notification of change of applicant