JP7135022B2 - system - Google Patents

system Download PDF

Info

Publication number
JP7135022B2
JP7135022B2 JP2020040363A JP2020040363A JP7135022B2 JP 7135022 B2 JP7135022 B2 JP 7135022B2 JP 2020040363 A JP2020040363 A JP 2020040363A JP 2020040363 A JP2020040363 A JP 2020040363A JP 7135022 B2 JP7135022 B2 JP 7135022B2
Authority
JP
Japan
Prior art keywords
print
voice
control device
server
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020040363A
Other languages
Japanese (ja)
Other versions
JP2020107353A5 (en
JP2020107353A (en
Inventor
俊樹 志賀
歩美 蒲田
良平 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020040363A priority Critical patent/JP7135022B2/en
Publication of JP2020107353A publication Critical patent/JP2020107353A/en
Publication of JP2020107353A5 publication Critical patent/JP2020107353A5/en
Priority to JP2022136426A priority patent/JP7447203B2/en
Application granted granted Critical
Publication of JP7135022B2 publication Critical patent/JP7135022B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Description

本発明は、システムに関するものである。 The present invention relates to systems.

携帯端末に表示される印刷ボタンが押下されることで印刷指示を実行する技術が特許文献1に開示されている。 Japanese Unexamined Patent Application Publication No. 2002-101002 discloses a technique for executing a print instruction by pressing a print button displayed on a mobile terminal.

特開2015-100020号公報JP 2015-100020 A

しかしながら、特許文献1では、印刷を指示するためにユーザは印刷ボタンを押下する必要がある。近年、様々な場面で印刷装置が使用されており、印刷指示の操作性を更に向上させる技術が求められていた。 However, in Patent Document 1, the user needs to press the print button to instruct printing. 2. Description of the Related Art In recent years, printing apparatuses have been used in various situations, and there has been a demand for a technique for further improving the operability of printing instructions.

本発明は上記課題に鑑みてなされたものであり、本発明の一態様は、サーバシステムと、印刷装置と、を含むシステムであって、前記サーバシステムは、音声制御デバイスに対して音声による印刷指示が行われた場合、第1の情報を取得する第1取得手段と、前記取得された前記第1の情報に基づき、印刷対象データを取得する第2取得手段と、を備え、前記印刷装置は、前記第2取得手段により取得された前記印刷対象データと、前記サーバシステムにあらかじめ登録された印刷設定と、に基づいて生成される印刷データを受信する受信手段と、前記受信手段により受信された前記印刷データに基づいて印刷処理を実行する印刷手段と、を備え、前記音声制御デバイスは前記サーバシステムにユーザIDと関連付けて登録される第1処理と、前記印刷装置に対するユーザ指示に基づいて、前記印刷装置が前記サーバシステムより取得した所定の情報を前記音声制御デバイス及び前記印刷装置の外部に設けられた端末装置に送信する第2処理と、前記所定の情報に基づいて、前記端末装置が前記サーバシステムにリクエストを送信することにより、前記印刷装置が前記サーバシステムに前記ユーザIDと関連付けて登録される第3処理と、を含む登録処理に基づいて、前記音声制御デバイスと前記印刷装置とが関連付けられ、前記音声制御デバイスと前記印刷装置とが関連付けられることにより、前記音声による印刷指示に基づく印刷データが前記印刷装置により受信されることを特徴とするシステム。 The present invention has been made in view of the above problems, and one aspect of the present invention is a system that includes a server system and a printing device, wherein the server system provides a voice control device with a voice printing function. The printing apparatus, comprising: a first acquisition unit that acquires first information when an instruction is given; and a second acquisition unit that acquires print target data based on the acquired first information. receiving means for receiving print data generated based on the data to be printed obtained by the second obtaining means and print settings registered in advance in the server system; and printing means for executing print processing based on the print data, wherein the voice control device is registered in the server system in association with a user ID, and based on a user instruction to the printing device. a second process in which the printing device transmits predetermined information acquired from the server system to a terminal device provided outside the voice control device and the printing device ; a third process in which the printing device is registered in the server system in association with the user ID by transmitting a request to the server system; are associated with each other, and the voice control device and the printing apparatus are associated so that print data based on the printing instruction by the voice is received by the printing apparatus.

本願発明により、ユーザによる印刷指示の操作負荷を軽減することが可能となる。 According to the invention of the present application, it is possible to reduce the operation load of a print instruction by the user.

システム構成図の一例を示す図である。It is a figure which shows an example of a system block diagram. 音声制御デバイスのハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of a voice control device. 携帯端末、表示装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of a portable terminal and a display apparatus. 印刷装置のハードウェア構成の一例を示す図である。1 is a diagram illustrating an example of a hardware configuration of a printing device; FIG. 音声制御デバイスのセットアップに関わる画面の一例を示す図である。FIG. 10 is a diagram showing an example of a screen involved in setting up a voice control device; 印刷装置が表示する画面の一例を示す図である。FIG. 3 is a diagram showing an example of a screen displayed by a printing device; FIG. 印刷処理に関わるシーケンス図である。4 is a sequence diagram related to print processing; FIG. サーバのハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of a server. 音声制御デバイスとサーバの処理の一例を示すフローチャートである。10 is a flow chart showing an example of processing of a voice control device and a server; 印刷処理に関わるシーケンス図である。4 is a sequence diagram related to print processing; FIG. 音声制御デバイスの処理の一例を示すフローチャートである。4 is a flow chart showing an example of processing of a voice control device; 印刷処理に関わるシーケンス図である。4 is a sequence diagram related to print processing; FIG. 印刷設定項目の一例を示す図である。FIG. 5 is a diagram showing an example of print setting items; 登録された印刷設定の一例を示す図である。FIG. 4 is a diagram showing an example of registered print settings;

<第1実施形態>
図1に、本実施形態に係るシステム構成図の一例を示す。本実施形態のシステムは、例えば、音声制御デバイス1001、携帯端末1002、表示装置1003、印刷装置1004、アクセスポイント(AP)1005、サーバ1006(情報処理装置)で構成される。音声制御デバイス1001は、例えば、スマートスピーカなどである。携帯端末1002は、例えば、スマートフォン、ノートPC(Personal Computer)、タブレット端末、PDA(Personal Digital Assistant)等の任意の携帯端末である。なお、以下では、携帯端末1002はスマートフォンである。また、本実施形態は携帯端末だけでなくデスクトップタイプのPCでもよい。以下、携帯端末を端末装置と呼ぶこともある。表示装置1003は、例えばテレビ、ディスプレイ等の表示機能を有する装置である。印刷装置1004は、例えばプリンタであるが、複写機、ファクシミリ装置、デジタルカメラ等であってもよい。また、印刷装置1004は、複写機能、FAX機能、印刷機能等の複数の機能を備える複合機であってもよい。なお、以下では、印刷装置1004は、インクジェットプリンタ、フルカラーレーザービームプリンタ、モノクロプリンタ等のプリンタであるものとする。
<First Embodiment>
FIG. 1 shows an example of a system configuration diagram according to this embodiment. The system of this embodiment includes, for example, a voice control device 1001, a mobile terminal 1002, a display device 1003, a printing device 1004, an access point (AP) 1005, and a server 1006 (information processing device). Voice control device 1001 is, for example, a smart speaker or the like. The mobile terminal 1002 is, for example, any mobile terminal such as a smart phone, a notebook PC (Personal Computer), a tablet terminal, or a PDA (Personal Digital Assistant). In addition, below, the portable terminal 1002 is a smart phone. Further, the present embodiment may be applied not only to portable terminals but also to desktop type PCs. Hereinafter, the mobile terminal may also be referred to as a terminal device. The display device 1003 is, for example, a device having a display function such as a television or a display. The printing device 1004 is, for example, a printer, but may be a copier, a facsimile machine, a digital camera, or the like. Also, the printing apparatus 1004 may be a multifunction machine having multiple functions such as a copying function, a FAX function, and a printing function. In the following description, the printing device 1004 is assumed to be an inkjet printer, a full-color laser beam printer, a monochrome printer, or the like.

音声制御デバイス1001、携帯端末1002、表示装置1003、印刷装置1004は、AP1005およびインターネットを介してサーバ1006に接続可能(通信可能)である。また、音声制御デバイス1001、携帯端末1002、表示装置1003、印刷装置1004は、AP1005を介して互いに接続可能(通信可能)である。 The voice control device 1001, mobile terminal 1002, display device 1003, and printer 1004 are connectable (communicable) to the server 1006 via the AP 1005 and the Internet. Also, the voice control device 1001 , the mobile terminal 1002 , the display device 1003 and the printing device 1004 are connectable (communicable) to each other via the AP 1005 .

[音声制御デバイス1001の構成]
図2は、音声制御デバイス1001のハードウェア構成図である。音声制御デバイス1001は、スピーカ102、CPU103、ROM104、マイクロフォン105、RAM106、外部記憶装置107、通信部108、近距離無線通信部109を有する。なお、図2~図4および図8に示すブロックは、例えば内部バスを用いて相互に接続される。また、CPUはCentral Processing Unitの、ROMはReadOnly Memoryの、RAMはRandom Access Memoryの、頭字語である。なお、これらの構成は一例であり、各装置は、図示された以外のハードウェアを含んでもよい。また、図2~図4および図8における複数のブロックが1つのブロックにまとめられてもよいし、1つのブロックが2つ以上のブロックに分割されてもよい。すなわち、各装置は、後述するような処理を実行可能な範囲で任意の構成をとることができる。
[Configuration of voice control device 1001]
FIG. 2 is a hardware configuration diagram of the voice control device 1001. As shown in FIG. Audio control device 1001 has speaker 102 , CPU 103 , ROM 104 , microphone 105 , RAM 106 , external storage device 107 , communication section 108 and short-range wireless communication section 109 . Note that the blocks shown in FIGS. 2 to 4 and 8 are interconnected using, for example, an internal bus. Also, CPU is an acronym for Central Processing Unit, ROM for Read Only Memory, and RAM for Random Access Memory. Note that these configurations are merely examples, and each device may include hardware other than those shown. Also, a plurality of blocks in FIGS. 2 to 4 and 8 may be combined into one block, or one block may be divided into two or more blocks. That is, each device can have any configuration as long as it can execute the processing described later.

スピーカ102は、後述する処理により音声を発する。CPU103は、システム制御部であり、音声制御デバイス1001の全体を制御する。ROM104は、CPU103が実行する制御プログラムやデータテーブル、組み込みOS(Operating System)プログラム等の固定データを格納する。本実施形態では、ROM104に格納されている各制御プログラムは、ROM104に格納されている組み込みOSの管理下で、スケジューリングやタスクスイッチ、割り込み処理等のソフトウェア実行制御を行うために用いられる。マイクロフォン105は、音声制御デバイスの周囲の音声を受信する。例えば、ユーザが発した声を受信するRAM106は、例えば、バックアップ電源を必要とするSRAM(Static RAM)等で構成される。なお、RAM106は、不図示のデータバックアップ用の一次電池によってデータが保持されるため、プログラム制御変数等のデータを揮発させずに格納することができる。また、音声制御デバイス1001の設定情報や管理データ等を格納するメモリエリアもRAM106に設けられている。また、RAM106は、CPU103の主メモリ及びワークメモリとしても用いられる。外部記憶装置107は、アプリケーションソフトウェアを記憶する。 The speaker 102 emits sound through processing to be described later. A CPU 103 is a system control unit and controls the entire audio control device 1001 . The ROM 104 stores fixed data such as a control program executed by the CPU 103, a data table, and an embedded OS (Operating System) program. In this embodiment, each control program stored in the ROM 104 is used to perform software execution control such as scheduling, task switching, and interrupt processing under the control of the built-in OS stored in the ROM 104 . A microphone 105 receives the ambient sound of the voice control device. For example, the RAM 106 that receives the voice uttered by the user is composed of, for example, an SRAM (Static RAM) that requires a backup power supply. Since the RAM 106 retains data by a primary battery for data backup (not shown), data such as program control variables can be stored without volatilization. The RAM 106 also includes a memory area for storing setting information and management data of the audio control device 1001 . The RAM 106 is also used as the main memory and work memory of the CPU 103 . The external storage device 107 stores application software.

通信部108は、所定の無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。例えば、通信部108は、AP1005に無線接続することができる。また、通信部108は、一時的に使用されるAPとして動作することもある。なお、AP1005は、例えば、無線LANルータ等の機器でありうる。本実施形態で使用される無線通信は、IEEE802.11規格シリーズに準拠した無線LANの無線通信方式に従って動作する能力を有してもよいし、他の無線通信方式に従って動作する能力を有してもよい。本実施形態において、IEEE 802.11規格シリーズとは、IEEE 802.11aやIEEE 802.11b等のように、IEEE 802.11に属する一連の規格を含む。 The communication unit 108 includes a circuit and an antenna for performing communication according to a predetermined wireless communication method. For example, the communication unit 108 can wirelessly connect to the AP 1005 . Also, the communication unit 108 may operate as an AP that is temporarily used. Note that the AP 1005 can be, for example, a device such as a wireless LAN router. The wireless communication used in this embodiment may have the ability to operate according to a wireless LAN wireless communication system conforming to the IEEE802.11 standard series, or have the ability to operate according to another wireless communication system. good too. In this embodiment, the IEEE 802.11 standard series includes a series of standards belonging to IEEE 802.11, such as IEEE 802.11a and IEEE 802.11b.

近距離無線通信部109は、音声制御デバイス1001と一定の範囲内(近距離範囲内)に存在する他の装置と近距離無線通信を実行する。なお、近距離無線通信部109は、通信部108と異なる無線通信方式によって通信を行う。本実施形態では、近距離無線通信部110は、Bluetooth(登録商標)規格に従って動作するものとする。また、本実施形態では、通信部108を用いた無線通信の通信速度は、近距離無線通信部109を用いた近距離無線通信の通信速度よりも速い。また、本実施形態では、通信部108を用いた無線通信の通信距離は、近距離無線通信部109を用いた近距離無線通信の通信距離よりも長い。なお、後述する他の装置の通信部および近距離無線通信部も同様である。 The short-range wireless communication unit 109 performs short-range wireless communication with other devices within a certain range (within a short range) of the voice control device 1001 . Note that the short-range wireless communication unit 109 performs communication using a wireless communication method different from that of the communication unit 108 . In this embodiment, the short-range wireless communication unit 110 operates according to the Bluetooth (registered trademark) standard. Further, in this embodiment, the communication speed of wireless communication using the communication unit 108 is faster than the communication speed of short-range wireless communication using the short-range wireless communication unit 109 . Further, in this embodiment, the communication distance of wireless communication using the communication unit 108 is longer than the communication distance of short-range wireless communication using the short-range wireless communication unit 109 . The same applies to the communication units and short-range wireless communication units of other devices, which will be described later.

[携帯端末1002及び表示装置1003の構成]
図3は、携帯端末1002、表示装置1003のハードウェア構成図である。携帯端末1002、表示装置1003は、一例として、入力インタフェース202、CPU203、ROM204、表示部205、RAM206、外部記憶装置207、通史に部208、近距離無線通信部209を有する。なお、これらのブロックは、例えば内部バスを用いて相互に接続される。
[Configuration of mobile terminal 1002 and display device 1003]
FIG. 3 is a hardware configuration diagram of the mobile terminal 1002 and the display device 1003. As shown in FIG. The mobile terminal 1002 and the display device 1003 have an input interface 202, a CPU 203, a ROM 204, a display section 205, a RAM 206, an external storage device 207, a general section 208, and a short-range wireless communication section 209, for example. Note that these blocks are interconnected using, for example, an internal bus.

CPU203は、システム制御部であり、装置の全体を制御する。RAM206は、例えばRAM106と同様に、バックアップ電源を必要とするDRAM(Dynamic RAM)等で構成される。RAM206は、CPU203の主メモリとワークメモリとしても用いられる。ROM204は、CPU203が実行する制御プログラムやデータテーブル、OSプログラム等の固定データを格納する。 A CPU 203 is a system control unit and controls the entire apparatus. The RAM 206 is composed of, for example, a DRAM (Dynamic RAM) that requires a backup power source, like the RAM 106 . The RAM 206 is also used as the main memory and work memory of the CPU 203 . A ROM 204 stores fixed data such as a control program executed by the CPU 203, a data table, and an OS program.

通信部208は、上述の通信部108と同様の機能を有し、AP1005を介して他の装置と無線接続することができる。近距離無線通信部209は、近距離無線通信部109と同じ無線通信方式を用いて、近距離無線通信部109との間で近距離無線通信を行うことができる装置である。 The communication unit 208 has the same functions as the communication unit 108 described above, and can be wirelessly connected to another device via the AP 1005 . The short-range wireless communication unit 209 is a device capable of performing short-range wireless communication with the short-range wireless communication unit 109 using the same wireless communication method as the short-range wireless communication unit 109 .

[印刷装置1004の構成]
図4は、印刷装置1004のハードウェア構成図である。印刷装置1004は、一例として、プリントエンジン402、通信部403、近距離無線通信部404、ROM405、RAM406、CPU407、表示部408を備える。
[Configuration of printing device 1004]
FIG. 4 is a hardware configuration diagram of the printing apparatus 1004. As shown in FIG. The printing device 1004 includes, for example, a print engine 402 , a communication unit 403 , a short-range wireless communication unit 404 , a ROM 405 , a RAM 406 , a CPU 407 and a display unit 408 .

CPU407は、システム制御部であり、印刷装置1004の全体を制御する。RAM406は、例えばRAM106と同様に、バックアップ電源を必要とするDRAM(Dynamic RAM)等で構成される。RAM406は、CPU407の主メモリとワークメモリとしても用いられる。ROM405は、CPU407が実行する制御プログラムやデータテーブル、OSプログラム等の固定データを格納する。 A CPU 407 is a system control unit and controls the entire printing apparatus 1004 . The RAM 406 is composed of, for example, a DRAM (Dynamic RAM) that requires a backup power supply, like the RAM 106 . The RAM 406 is also used as a main memory and work memory for the CPU 407 . The ROM 405 stores fixed data such as control programs executed by the CPU 407, data tables, and OS programs.

通信部403は、上述の通信部108と同様の機能を有し、AP1005を介して他の装置と無線接続することができる。近距離無線通信部404は、近距離無線通信部109と同じ無線通信方式を用いて、近距離無線通信部109との間で近距離無線通信を行うことができる装置である。 A communication unit 403 has the same function as the communication unit 108 described above, and can be wirelessly connected to another device via the AP 1005 . The short-range wireless communication unit 404 is a device capable of performing short-range wireless communication with the short-range wireless communication unit 109 using the same wireless communication method as the short-range wireless communication unit 109 .

プリントエンジン402は、通信部403を介して受信した印刷ジョブに基づいて、インク等の記録剤を用いて紙等の記録媒体上に画像を形成し、印刷結果を出力する。 The print engine 402 forms an image on a recording medium such as paper using a recording agent such as ink based on a print job received via the communication unit 403, and outputs a print result.

表示部408は、ユーザからのデータ入力や動作指示を受け付けるためのインタフェースであり、物理キーボードやボタン、タッチパネル等で構成される操作パネルである。 A display unit 408 is an interface for accepting data input and operation instructions from the user, and is an operation panel configured with a physical keyboard, buttons, touch panel, and the like.

[音声制御デバイス1001のセットアップ]
次に、図5を用いて、音声制御デバイス1001のセットアップについて説明する。図5は、携帯端末1002が、音声制御デバイス1001のセットアップのために表示する画面の例を示す模式図である。携帯端末1002には、予め音声制御デバイス用の管理アプリケーションがインストールされているものとする。
[Setting up the voice control device 1001]
Next, setup of the voice control device 1001 will be described with reference to FIG. FIG. 5 is a schematic diagram showing an example of a screen displayed by the mobile terminal 1002 for setting up the voice control device 1001. As shown in FIG. It is assumed that a management application for a voice control device is preinstalled in the mobile terminal 1002 .

ユーザ操作により管理アプリケーションが起動されることで、画面501が携帯端末1002の表示部205に表示される。ここでユーザが画面501に記載されているメッセージに従って携帯端末1002の近距離無線通信部209(例えば、Bluetooth)を有効化する。音声制御デバイス1001が起動された場合、音声制御デバイス1001は特定の識別子を含むビーコンを発する。携帯端末1002は、管理アプリケーションを用いて音声制御デバイス1001が発するビーコンを受信した場合、画面503を表示する。画面503において「Yes」ボタンが押下された場合、携帯端末1002と音声制御デバイス1001との間で近距離無線接続が確立する。 A screen 501 is displayed on the display unit 205 of the mobile terminal 1002 when the management application is activated by a user operation. Here, the user activates the short-range wireless communication unit 209 (for example, Bluetooth) of the mobile terminal 1002 according to the message written on the screen 501 . When the voice control device 1001 is activated, the voice control device 1001 emits a beacon containing a specific identifier. The mobile terminal 1002 displays a screen 503 when receiving a beacon emitted by the voice control device 1001 using the management application. When the “Yes” button is pressed on screen 503 , short-range wireless connection is established between mobile terminal 1002 and voice control device 1001 .

携帯端末1002と音声制御デバイス1001との間の近距離無線接続が確立された場合、画面504が携帯端末1002の表示部205に表示される。ここで、ユーザが、画面504の「Yes」ボタンを押下した場合、音声データが携帯端末1002から音声制御デバイス1001に近距離無線接続を介して送信され、音声制御デバイス1001のスピーカ102から音声が出力される。ここで音声制御デバイス1001から音声が出力された場合、ユーザは画面504の次に表示される「テスト完了ボタン」を押下することで、画面505が携帯端末1002の表示部205に表示される。 When a short-range wireless connection is established between mobile terminal 1002 and voice control device 1001 , screen 504 is displayed on display 205 of mobile terminal 1002 . Here, when the user presses the "Yes" button on the screen 504, the audio data is transmitted from the portable terminal 1002 to the audio control device 1001 via the short-range wireless connection, and the audio is output from the speaker 102 of the audio control device 1001. output. When audio is output from the audio control device 1001 , the user presses a “test completion button” displayed next to the screen 504 , and a screen 505 is displayed on the display unit 205 of the mobile terminal 1002 .

画面505で、ユーザは、音声制御デバイス1001を接続したいAPのSSIDとパスワードを画面505に入力し、接続ボタンを押下する。基本的には、ユーザは、画面505を使って携帯端末1002が通信部208を用いて既に無線接続しているAP1005(無線接続中のAP1005)のSSIDとパスワードを入力する。この処理により、携帯端末1002が近距離無線接続を介してSSIDとパスワードを音声制御デバイス1001に送信する。音声制御デバイス1001は、近距離無線接続を介して受信したSSIDとパスワードを使って、AP1005と無線接続を確立する。つまり、音声制御デバイス1001は、AP1005が構築するネットワークに参加する。以上の処理により、音声制御デバイス1001と携帯端末1002とがAP1005を介して(AP1005が構築するネットワークを介して)無線通信することが可能となる。 On screen 505, the user enters the SSID and password of the AP to which the voice control device 1001 is to be connected on screen 505, and presses the connect button. Basically, the user uses the screen 505 to enter the SSID and password of the AP 1005 already wirelessly connected to the portable terminal 1002 using the communication unit 208 (the AP 1005 currently being wirelessly connected). By this process, mobile terminal 1002 transmits the SSID and password to voice control device 1001 via the short-range wireless connection. Voice control device 1001 establishes a wireless connection with AP 1005 using the SSID and password received over the short-range wireless connection. That is, the voice control device 1001 participates in the network constructed by the AP1005. By the above processing, the voice control device 1001 and the portable terminal 1002 can wirelessly communicate via the AP 1005 (via the network constructed by the AP 1005).

続いて、ユーザは、携帯端末1002に表示される画面506を使ってサーバ1006へログインするためのユーザIDとパスワードを入力する。なお、画面506において入力されたユーザIDとパスワードが、近距離無線接続またはAP1005を介して携帯端末1002から音声制御デバイス1001に送信される。音声制御デバイス1001は、携帯端末1002から受信したユーザIDとパスワードを使ってサーバ1006にサインインする。この際、音声制御デバイス1001は、自らのMacアドレスも送信する。これにより、音声制御デバイス1001は、サーバ1006がユーザに提供するサービスを使用することが可能となる。つまり、サーバ1006は、音声制御デバイス1001のMacアドレスとユーザIDとを関連付けて管理する。ここで音声制御デバイス1001は、サーバ1006のアクセストークンを受信しても構わない。 Subsequently, the user uses screen 506 displayed on portable terminal 1002 to enter a user ID and password for logging into server 1006 . Note that the user ID and password entered on screen 506 are transmitted from portable terminal 1002 to voice control device 1001 via short-range wireless connection or AP 1005 . Voice control device 1001 uses the user ID and password received from mobile terminal 1002 to sign in to server 1006 . At this time, the voice control device 1001 also transmits its own Mac address. This allows the voice control device 1001 to use the services provided by the server 1006 to the user. That is, the server 1006 associates and manages the Mac address of the audio control device 1001 and the user ID. Here, voice control device 1001 may receive the access token of server 1006 .

ユーザは、画面506に続いて表示される画面507を使って音声制御デバイス1001を使って制御したいデバイスを選択する。ここでは、画面507に示すとおり、ユーザが、表示装置1003と印刷装置1004とを選択したものとする。画面507に表示される装置は、携帯端末1002が、AP1005を介してネットワーク内のデバイス(装置)を探索することで表示される。この際、デバイスの探索処理の結果として、携帯端末1002は、デバイス探索の際に各装置のMacアドレス、IPアドレスなどを取得する。そのため、画面507においてOKボタンが押下された場合、携帯端末1002は、各装置のMacアドレス、IPアドレスを音声制御デバイス1001に送信する。 The user selects a device to be controlled using the voice control device 1001 using a screen 507 displayed subsequent to the screen 506 . Here, it is assumed that the user has selected the display device 1003 and the printing device 1004 as shown on the screen 507 . Devices displayed on the screen 507 are displayed when the mobile terminal 1002 searches for devices (apparatuses) within the network via the AP 1005 . At this time, as a result of device search processing, the mobile terminal 1002 acquires the Mac address, IP address, and the like of each device during the device search. Therefore, when the OK button is pressed on screen 507 , mobile terminal 1002 transmits the Mac address and IP address of each device to audio control device 1001 .

なお、別の方法を用いて音声制御デバイス1001のセットアップが行われても良い。例えば、音声制御デバイス1001を起動した(またはセットアップモードを有効化した)場合、音声制御デバイス1001の通信部108がソフトウェアAPとして動作することによりセットアップが行われてもよい。具体例として、例えば、画面501において「Bluetoothを使わずに接続」502が押下された場合、携帯端末1002は、通信部208を使って、音声制御デバイス1001のソフトウェアAP機能により音声制御デバイス1001との間で無線接続を確立する。なお、この際、携帯端末1002の通信部208が外部のAP1005に既に接続されていたら、画面508に示すとおり、携帯端末の通信部208の接続先を音声制御デバイス1001の通信部108のソフトウェアAPに切り換える。つまり、ユーザの操作または管理アプリケーションの指示に従って、携帯端末の通信部208の接続先を、AP1005から音声制御デバイス1001の通信部108のソフトウェアAPに一時的に切り換える。このような制御により、携帯端末1002の通信部208と音声制御デバイス1001の通信部108間で無線接続が確立された場合、画面509が表示される。 Note that other methods may be used to set up the voice control device 1001 . For example, when the voice control device 1001 is activated (or the setup mode is activated), the setup may be performed by the communication section 108 of the voice control device 1001 operating as a software AP. As a specific example, for example, when "Connect without using Bluetooth" 502 is pressed on the screen 501, the mobile terminal 1002 uses the communication unit 208 to connect to the audio control device 1001 using the software AP function of the audio control device 1001. establish a wireless connection between At this time, if the communication unit 208 of the mobile terminal 1002 is already connected to the external AP 1005, as shown in a screen 508, the connection destination of the communication unit 208 of the mobile terminal is changed to the software AP of the communication unit 108 of the voice control device 1001. switch to That is, the connection destination of the communication unit 208 of the mobile terminal is temporarily switched from the AP 1005 to the software AP of the communication unit 108 of the voice control device 1001 according to the user's operation or the instruction of the management application. When wireless connection is established between the communication unit 208 of the portable terminal 1002 and the communication unit 108 of the voice control device 1001 by such control, a screen 509 is displayed.

なお、以降の処理として、携帯端末1002の通信部208と音声制御デバイス1001の通信部108間で確立された無線接続を介して、画面505に入力された情報(SSID、パスワード等)が送信される。その後、携帯端末1002と音声制御デバイス1001は、AP1005を介して無線通信をするために、携帯端末1002は接続先をAP1005に切り替える。また、音声制御デバイス1001も、ソフトウェアAPを無効化し、通信部108を使ってAP1005と無線接続する。 As subsequent processing, the information (SSID, password, etc.) input to the screen 505 is transmitted via the wireless connection established between the communication unit 208 of the mobile terminal 1002 and the communication unit 108 of the voice control device 1001. be. After that, the mobile terminal 1002 switches the connection destination to the AP 1005 in order to perform wireless communication between the mobile terminal 1002 and the voice control device 1001 via the AP 1005 . Also, the voice control device 1001 disables the software AP and wirelessly connects with the AP 1005 using the communication unit 108 .

上述したように音声制御デバイス1001は、音声制御デバイスが備えるアクセスポイントを介した無線通信により携帯端末1002から外部のアクセスポイントであるAP1005に関する情報(SSID、パスワード等)を受信可能である。さらに、音声制御デバイス1001は、近距離無線通信を介して携帯端末1002から外部のAP1005に関する情報(SSID、パスワード等)を受信する受信処理を実行可能である。音声制御デバイス1001は、上述した2つの受信処理機能のうちいずれか一方のみの受信処理機能を備えていても良いし、両者の受信処理機能を備えていても良い。また、音声制御デバイス1001は、他の受信処理機能により、外部のアクセスポイント1005へ接続して無線通信を確立しても構わない。 As described above, the voice control device 1001 can receive information (SSID, password, etc.) on the AP 1005, which is an external access point, from the portable terminal 1002 through wireless communication via the access point provided in the voice control device. Furthermore, the voice control device 1001 can perform reception processing for receiving information (SSID, password, etc.) related to the external AP 1005 from the portable terminal 1002 via short-range wireless communication. The audio control device 1001 may have only one of the two reception processing functions described above, or may have both reception processing functions. Also, the voice control device 1001 may establish wireless communication by connecting to the external access point 1005 using another reception processing function.

[サーバ1006への印刷装置1004のサインイン処理]
次に、印刷装置1004がサーバ1006にサインインするための処理について説明する。例えば、インターネットには、音声制御デバイス1001に対応するサーバ1006と、音声制御デバイス1001に対応しないサーバ1007が存在する。音声制御デバイス1001と印刷装置1004が連携するためには、印刷装置1004はサーバ1007ではなく、サーバ1006にサインインする必要がある。
[Sign-in processing of the printing device 1004 to the server 1006]
Next, processing for the printing device 1004 to sign in to the server 1006 will be described. For example, on the Internet, there are servers 1006 corresponding to the voice control device 1001 and servers 1007 not corresponding to the voice control device 1001 . In order for voice control device 1001 and printing device 1004 to work together, printing device 1004 needs to sign in to server 1006 instead of server 1007 .

そこで印刷装置1004は、音声制御デバイス連携モードを備える。この音声制御デバイス連携モードが有効化された場合、印刷装置1004は、自らが参加しているネットワークに対してデバイス探索を行い、音声制御デバイスを発見する。デバイス探索の結果、音声制御デバイス1001が発見されたことを通知するため、図6に示す画面601が印刷装置1004の表示部408に表示される。ユーザが、画面601においてOKボタンを押下した場合、画面602が印刷装置1004の表示部408に表示される。なお、デバイス探索により取得される情報としては、例えば、音声制御デバイス1001に対応するサーバ1006のURLが含まれる。印刷装置1004は、このURLを使用することでサーバ1006にサインインするための画面602を表示できる。そして、印刷装置1004は、画面602に入力された情報(ユーザID及びパスワード)を使ってサーバ1006にサインインすることができる。以上の処理により、印刷装置1004は、サーバ1006で管理されている画像データを扱うことが可能となる。 Therefore, the printing apparatus 1004 has a voice control device cooperation mode. When the voice control device cooperation mode is enabled, the printing apparatus 1004 searches for devices in the networks in which it participates, and discovers voice control devices. As a result of the device search, a screen 601 shown in FIG. When the user presses an OK button on the screen 601 , a screen 602 is displayed on the display unit 408 of the printing apparatus 1004 . Information acquired by device search includes, for example, the URL of the server 1006 corresponding to the audio control device 1001 . Printing device 1004 can display screen 602 for signing in to server 1006 using this URL. The printing device 1004 can then use the information (user ID and password) entered on the screen 602 to sign in to the server 1006 . The above processing enables the printing apparatus 1004 to handle image data managed by the server 1006 .

また、印刷装置1004がデバイス探索を行うことによりサーバ1007に対応可能な音声制御デバイスが発見された場合、印刷装置1004は、サーバ1007にサインインするための画面を表示するとよい。 Also, when the printing apparatus 1004 searches for devices and finds a voice control device compatible with the server 1007 , the printing apparatus 1004 may display a screen for signing in to the server 1007 .

なお、印刷装置1004がサーバ1006にサインインするための処理として別の処理が実施されても良い。別の処理の一例について説明する。まず、携帯端末1002が、サーバ1006へのサインインが完了している状態とする。例えば、ユーザは、上述した画面506を使ってサーバ1006へサインインしているものとする。そして、携帯端末1002がAP1005を介して印刷装置1004を発見した場合、携帯端末1002は、印刷装置1004の識別情報と登録ボタンを表示する。例えば、画面507の印刷装置の隣に登録ボタンが表示されても良い。ここでユーザが登録ボタンを押下した場合、登録リクエストが携帯端末1002から印刷装置1004に送信される。なお、この登録リクエストにはサーバ1006の宛先情報が含まれている。 Note that another process may be performed as the process for the printing apparatus 1004 to sign in to the server 1006 . Another example of processing will be described. First, it is assumed that mobile terminal 1002 has completed sign-in to server 1006 . For example, suppose a user has signed into server 1006 using screen 506 described above. When the mobile terminal 1002 discovers the printing apparatus 1004 via the AP 1005, the mobile terminal 1002 displays the identification information of the printing apparatus 1004 and a registration button. For example, a registration button may be displayed next to the printing device on screen 507 . When the user presses the registration button here, a registration request is transmitted from the mobile terminal 1002 to the printing apparatus 1004 . This registration request contains the destination information of the server 1006 .

印刷装置1004は、登録リクエストを受けると印刷装置1004の表示部408にプリンタの登録処理を実行するか否かの選択画面を表示する。ここで、ユーザが登録処理の実行を選択した場合、印刷装置1004は、登録リクエストに含まれる宛先情報に従ってサーバ1006へ印刷装置1004のMacアドレスを含む登録リクエストを送信する。そして、印刷装置1004は、この登録リクエストに対するレスポンスをサーバ1006から受信する。なお、このレスポンスには印刷装置1004の登録処理に関わるURLが含まれる。つまり、このURLは、印刷装置1004の登録処理に関わる専用URLである。 When the printing apparatus 1004 receives the registration request, the display unit 408 of the printing apparatus 1004 displays a selection screen as to whether to execute printer registration processing. Here, if the user selects execution of registration processing, the printing device 1004 transmits a registration request including the Mac address of the printing device 1004 to the server 1006 according to the destination information included in the registration request. The printing device 1004 then receives a response to this registration request from the server 1006 . Note that this response includes a URL related to registration processing of the printing apparatus 1004 . In other words, this URL is a dedicated URL related to registration processing of the printing apparatus 1004 .

印刷装置1004は、サーバ1006から受信したレスポンスを携帯端末1002へ送信する。携帯端末1002は、受信したレスポンスに含まれるURLを使って登録リクエストをサーバ1006へ送信する。この登録リクエストには、既に携帯端末1002においてサーバ1006にサインインするために入力されたユーザIDおよびパスワードも含まれる。この登録リクエストを受信したサーバ1006は、正しいユーザIDとパスワードを受信した場合、登録リクエストが成功したことを示すレスポンスを携帯端末1002へ送信する。つまり、サーバ1006は、印刷装置1004の登録処理に関わる専用URLを使って登録リクエストを受信したため、この時点で携帯端末1002にサインインしたユーザ用の印刷装置として印刷装置1004を仮登録する。つまり、サーバ1006は、ユーザIDと印刷装置1004のMacアドレスを関連付けて管理する。携帯端末1002は、登録が完了したことを示す完了情報を印刷装置1004へ送信する。印刷装置1004は、完了情報を受信した場合、印刷装置1004のMacアドレスを含む登録リクエストをサーバ1006へ送信する。サーバ1006は、印刷装置1004が仮登録状態であることを識別し、登録完了レスポンスを返す。 The printing device 1004 transmits the response received from the server 1006 to the mobile terminal 1002 . Mobile terminal 1002 transmits a registration request to server 1006 using the URL included in the received response. This registration request also includes the user ID and password already entered to sign in to server 1006 on mobile terminal 1002 . When the server 1006 receives this registration request and receives the correct user ID and password, the server 1006 transmits to the portable terminal 1002 a response indicating that the registration request was successful. That is, since the server 1006 receives the registration request using the dedicated URL related to the registration process of the printing device 1004 , the printing device 1004 is provisionally registered as a printing device for the user who has signed in to the mobile terminal 1002 at this time. In other words, the server 1006 associates and manages the user ID and the Mac address of the printing apparatus 1004 . The mobile terminal 1002 transmits completion information indicating that the registration has been completed to the printing device 1004 . Upon receiving the completion information, the printing device 1004 transmits a registration request including the Mac address of the printing device 1004 to the server 1006 . The server 1006 identifies that the printing apparatus 1004 is in the temporary registration state, and returns a registration completion response.

以上の処理により、サーバ1006は、携帯端末1002にサインインしたユーザ用の印刷装置として印刷装置1004を本登録する。印刷装置1004は、登録完了レスポンスをサーバ1006から受信した場合、登録完了を示す情報を携帯端末1002へ送信する。以上の処理により、印刷装置1004がサーバ1006で管理されている画像データを扱うことが可能となっても良い。 Through the above processing, the server 1006 officially registers the printing device 1004 as a printing device for the user who has signed in to the mobile terminal 1002 . Upon receiving the registration completion response from the server 1006 , the printing device 1004 transmits information indicating registration completion to the portable terminal 1002 . The above processing may allow the printing apparatus 1004 to handle image data managed by the server 1006 .

[印刷指示の処理フロー]
次に、図7を用いて音声制御デバイス1001を介して印刷装置1004へ印刷指示を行う処理を説明する。図7は、音声制御デバイス1001が、ユーザから発せられた声による印刷指示によって印刷装置1004が印刷処理を実行するための処理を説明するシーケンス図である。本処理は、対応するプログラムを各装置のCPUが実行することで、対応する機能が実現される。なお、表示装置1003も既にサーバ1006にサインインしているものとする。また、後述する写真Aに対応する画像データは、サーバ1006によりユーザ用に保存されているとする。
[Print instruction processing flow]
Next, a process of issuing a print instruction to the printing apparatus 1004 via the voice control device 1001 will be described with reference to FIG. FIG. 7 is a sequence diagram illustrating processing for the voice control device 1001 to execute print processing by the printing apparatus 1004 in response to a print instruction uttered by the user's voice. In this process, the CPU of each device executes a corresponding program to realize a corresponding function. It is assumed that the display device 1003 has already signed in to the server 1006 as well. It is also assumed that the server 1006 stores image data corresponding to a photograph A, which will be described later, for the user.

まず、ユーザは、音声制御デバイス1001の近辺で、予め決められているキーワードであるウェイクワードを話し、続いてユーザ自身が行いたいことを話す。例えば、ユーザは、ウェイクワードに続いて「写真Aを表示して」と話す。音声制御デバイス1001は、ウェイクワードの音声を受信することで、続いて話される音声を受信する。つまり、音声制御デバイス1001は「写真Aを表示して」という音声を受信する。 First, the user speaks a wake word, which is a predetermined keyword, near the voice control device 1001, and then speaks what the user wants to do. For example, the user may say the wake word followed by "Show me Photo A." By receiving the voice of the wake word, the voice control device 1001 receives the voice that is subsequently spoken. That is, the voice control device 1001 receives the voice saying "Show photo A".

音声制御デバイス1001は、音声制御デバイス1001の識別情報(例えば、Macアドレス等)と受信した音声に基づく音声データをサーバ1006へ送信する(701)。 The voice control device 1001 transmits to the server 1006 identification information of the voice control device 1001 (for example, Mac address, etc.) and voice data based on the received voice (701).

サーバ1006は、音声制御デバイス1001のMacアドレスから、当該Macアドレスに関連づけられているユーザIDを特定することで、音声制御デバイスがサインイン済みのデバイスであることを認識する。また、上述したアクセストークンが使用されても良い。そして、サーバ1006は、音声制御デバイス1001から送信された音声データを解析し、音声データに基づく制御コマンドを生成し(702)、音声制御デバイス1001に送信する(703)。なお、この制御コマンドには、実行すべき処理内容として表示処理コマンドと、表示対象となる写真Aに対応する画像データの保存場所を示す情報が含まれている。 The server 1006 identifies the user ID associated with the Mac address from the Mac address of the voice control device 1001, thereby recognizing that the voice control device is a signed-in device. Also, an access token as described above may be used. The server 1006 then analyzes the audio data transmitted from the audio control device 1001, generates a control command based on the audio data (702), and transmits it to the audio control device 1001 (703). This control command includes a display processing command as processing to be executed and information indicating the storage location of the image data corresponding to the photograph A to be displayed.

音声制御デバイス1001は、サーバ1006から受信した制御コマンドの送信対象を選択する。ここでは、ユーザからの要求として、ユーザは「写真Aを表示して」と話しているため、音声制御デバイス1001は、表示装置1003を送信先として選択する。音声制御デバイス1001は、選択された表示装置1003に制御コマンドを送信する(704)。なお、音声制御デバイス1001は、サーバから受信した制御コマンドを704にて送信しているが、別のコマンドを送信しても構わない。つまり、音声制御デバイス1001が、703において受信した制御コマンドに基づいて別のコマンドを生成し、その生成された別のコマンドを表示装置1003に送信しても良い。以降においても、音声制御デバイスが制御コマンドを送信する処理が記載されているが(例えば、図10の704等)、同様に制御コマンドに基づいて生成された別のコマンドが送信されても構わない。その場合、コマンドを受けた装置は、別のコマンドに従った処理を実行可能である。 The voice control device 1001 selects a transmission target of the control command received from the server 1006 . Here, as the request from the user, the user says "Display photo A", so the voice control device 1001 selects the display device 1003 as the destination. Voice control device 1001 sends a control command to selected display device 1003 (704). Although the voice control device 1001 transmits the control command received from the server at 704, another command may be transmitted. That is, the voice control device 1001 may generate another command based on the control command received at 703 and send the generated another command to the display device 1003 . In the following also, the process of transmitting the control command by the voice control device is described (for example, 704 in FIG. 10), but similarly another command generated based on the control command may be transmitted. . In that case, the device that received the command can execute processing according to another command.

表示装置1003は、制御コマンドに従った処理を実行する。表示装置1003は、まず制御コマンドに含まれる保存場所にアクセスし、保存場所から写真Aに対応する画像データを取得する(705)。そして、表示装置1003は、写真Aに対応する画像データAを表示する(706)。なお、表示装置1003は、制御コマンドに写真Aに対応するURLが含まれる場合、そのURLにアクセスすることで写真Aを含むWebページを表示しても構わない。 The display device 1003 executes processing according to the control command. The display device 1003 first accesses the storage location included in the control command and acquires the image data corresponding to the photo A from the storage location (705). Then, the display device 1003 displays the image data A corresponding to the photograph A (706). If the control command includes a URL corresponding to Photo A, the display device 1003 may display a Web page including Photo A by accessing the URL.

表示装置1003に写真Aに対応する画像データが表示された状態で、ユーザは、音声制御デバイス1001の近辺で、ウェイクワードを話し、続いてユーザ自身が行いことを話す。例えば、ユーザは、ウェイクワードに続いて「表示装置1003に表示されている写真Aを印刷して」と話す。 With the image data corresponding to photo A displayed on the display device 1003, the user speaks the wake word in the vicinity of the voice control device 1001, followed by what the user is doing. For example, after the wake word, the user says, "Print photo A displayed on display device 1003."

音声制御デバイス1001は、ウェイクワードの音声を受信することで、続いて話されるワードの受付を行う。つまり、音声制御デバイス1001は「表示装置1003に表示されている写真Aを印刷して」という音声を受信することで、音声で印刷指示を受け付ける。 The voice control device 1001 receives the voice of the wake word and accepts the words to be spoken subsequently. In other words, the voice control device 1001 receives the voice of "print the photo A displayed on the display device 1003", and thereby accepts the print instruction by voice.

音声制御デバイス1001は、音声データをサーバ1006へ送信する(707)。なお、基本的な処理は701と同じである。 Audio control device 1001 transmits the audio data to server 1006 (707). Note that the basic processing is the same as 701 .

サーバ1006は、音声制御デバイス1001から送信された音声データを解析し、音声データに基づく処理を実行する。サーバ1006は、「表示装置1003に表示されている写真Aを印刷して」という音声の音声データを受信しているため、写真Aに対応する画像データに基づいて印刷データを生成する(708)。 The server 1006 analyzes the audio data transmitted from the audio control device 1001 and executes processing based on the audio data. Since the server 1006 receives the voice data of the voice saying "Print the photo A displayed on the display device 1003", it generates print data based on the image data corresponding to the photo A (708). .

なお、ユーザからの印刷指示として、上述の「表示装置1003に表示されている写真Aを印刷して」という単純な指示の場合、印刷設定に関する情報が含まれていない。すなわち、印刷装置1004が写真Aを印刷する際の、印刷枚数、印刷サイズ、印刷向き、ページレイアウト(ページ割り付け)、両面・片面印刷等の印刷設定が指示に含まれていない。本実施形態では、音声制御デバイス1001は、音声データ解析の結果、音声データ中に印刷設定に関する情報が含まれていない場合、画像の印刷設定として、所定の印刷設定を使用する。詳細については図9を用いて後述する。 It should be noted that in the case of the above-described simple instruction "print photo A displayed on the display device 1003" as the print instruction from the user, information regarding print settings is not included. That is, when the printing apparatus 1004 prints the photo A, the print settings such as the number of prints, print size, print orientation, page layout (page allocation), double-sided/single-sided printing, etc. are not included in the instruction. In the present embodiment, the audio control device 1001 uses a predetermined print setting as the image print setting when the audio data does not contain any print setting information as a result of the audio data analysis. Details will be described later with reference to FIG.

また、本実施形態では、処理708として、サーバ1006とは異なる別のサーバが印刷データを生成しても良い。例えば、印刷装置1004の製造元が、印刷データを生成するソフトウェアを備えた印刷サーバを提供する。そして、サーバ1006は、印刷サーバに印刷データの生成を依頼し、印刷サーバが印刷データを生成しても良い。 Further, in this embodiment, another server different from the server 1006 may generate the print data as the process 708 . For example, the manufacturer of printing device 1004 provides a print server with software for generating print data. Then, the server 1006 may request the print server to generate print data, and the print server may generate the print data.

サーバ1006は、印刷データの生成が完了すると、印刷データの生成が完了したことを示す通知を印刷装置1004へ送信する(709)。 When the print data generation is completed, the server 1006 transmits a notification indicating that the print data generation is completed to the printing apparatus 1004 (709).

印刷装置1004は、印刷データの生成が完了したことを示す通知を受信した場合、サーバ1006にアクセスし、印刷データを取得して(710)、印刷を実行する(711)。 When the printing device 1004 receives the notification indicating that print data generation is completed, the printing device 1004 accesses the server 1006, acquires the print data (710), and executes printing (711).

印刷装置1004は、印刷処理が完了すると印刷完了通知をサーバ1006へ送信し(712)、サーバ1006は、印刷完了通知を音声制御デバイス1001へ送信する(713)。 When the printing process is completed, the printing device 1004 transmits a print completion notification to the server 1006 (712), and the server 1006 transmits the print completion notification to the audio control device 1001 (713).

音声制御デバイスは、印刷完了通知を受信した場合、音声にて印刷完了を通知する(714)。 When the voice control device receives the print completion notification, it notifies the print completion by voice (714).

[サーバ1006の構成]
図8は、サーバ1006のハードウェア構成図である。サーバ1006は、CPU801、ROM802、RAM803、外部記憶装置804、通信部805を有する情報処理装置である。CPU801は、システム制御部であり、サーバ1006の全体を制御する。なお、本実施形態では、サーバ1006が1台で構成されているが、複数台の情報処理装置が連携して動作することでサーバ1006に対応するサーバシステムを構築しても構わない。ROM802は、CPU801が実行する制御プログラムやデータテーブル、組み込みOS(Operating System)プログラム等の固定データを格納する。RAM106は、不図示のデータバックアップ用の一次電池によってデータが保持されるため、プログラム制御変数等のデータを揮発させずに格納することができる。外部記憶装置804は、アプリケーションソフトウェアを記憶する。なお、図7では、上述したようにサーバ1006が印刷データを生成する。そのため、サーバ1006の外部記憶装置804は、印刷装置1004が解釈可能な印刷データを生成する印刷ソフトウェアを記憶する。通信部805は、所定の無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。
[Configuration of Server 1006]
FIG. 8 is a hardware configuration diagram of the server 1006. As shown in FIG. The server 1006 is an information processing device having a CPU 801 , a ROM 802 , a RAM 803 , an external storage device 804 and a communication section 805 . A CPU 801 is a system control unit and controls the entire server 1006 . In this embodiment, one server 1006 is used, but a server system corresponding to the server 1006 may be constructed by operating a plurality of information processing apparatuses in cooperation. A ROM 802 stores fixed data such as a control program executed by the CPU 801, a data table, and an embedded OS (Operating System) program. Since the RAM 106 retains data by a primary battery for data backup (not shown), it is possible to store data such as program control variables without volatilization. The external storage device 804 stores application software. Note that in FIG. 7, the server 1006 generates print data as described above. Therefore, the external storage device 804 of the server 1006 stores print software that generates print data that can be interpreted by the printing device 1004 . A communication unit 805 includes a circuit and an antenna for performing communication according to a predetermined wireless communication method.

[音声制御デバイス1001とサーバ1006の処理の詳細]
次に、印刷指示を行う場合の音声制御デバイス1001とサーバ1006の処理について図9(A)を用いて説明する。図9(A)のフローチャートは、図7の処理707~処理714に対応する。なお、音声制御デバイス1001では、CPU103がフローチャートの処理に関わるプログラムをメモリから読みだして実行することで音声制御デバイス1001の処理が実行される。一方、サーバ1006では、CPU801がフローチャートの処理に関わるプログラムをメモリから読みだして実行することでサーバ1006の処理が実行される。
[Details of Processing of Audio Control Device 1001 and Server 1006]
Next, processing of the voice control device 1001 and the server 1006 when issuing a print instruction will be described with reference to FIG. 9A. The flowchart in FIG. 9A corresponds to processing 707 to processing 714 in FIG. In the audio control device 1001, the processing of the audio control device 1001 is executed by the CPU 103 reading and executing a program related to the processing of the flowchart from the memory. On the other hand, in the server 1006, the processing of the server 1006 is executed by the CPU 801 reading a program related to the processing of the flowchart from the memory and executing it.

CPU103は、音声制御デバイス1001の周辺でユーザにより発せられた言葉(音声)を入力し(S901)、入力した音声に基づいて音声データを生成する。そして、音声データが音声制御デバイス1001からサーバ1006へ送信される(S902)。 The CPU 103 inputs words (voice) uttered by the user around the voice control device 1001 (S901), and generates voice data based on the input voice. The audio data is then transmitted from the audio control device 1001 to the server 1006 (S902).

CPU801は、音声データを受信すると音声データを解析し、ユーザのリクエストを特定する。サーバ1006は、例えば「表示装置1003に表示されている写真Aを印刷して」というユーザリクエストに対応した音声データを受信し、音声データ内に印刷設定に関する情報が含まれているかを判定する(S903)。 Upon receiving the voice data, the CPU 801 analyzes the voice data and identifies the user's request. The server 1006 receives, for example, voice data corresponding to a user request "print photo A displayed on the display device 1003", and determines whether the voice data contains information about print settings ( S903).

CPU801は、音声データ内に印刷設定に関する情報が含まれている場合、音声データ内に含まれる印刷設定に関する情報を取得する(S904)。一方、音声データ内に印刷設定に関する情報が含まれていない場合、CPU801は、所定の印刷設定に関する情報を取得する(S905)。ここでは、所定の印刷設定に関する情報として、あらかじめサーバに登録されている印刷設定に関する情報(値)を取得する。 If the voice data contains information about the print settings, the CPU 801 acquires the information about the print settings contained in the voice data (S904). On the other hand, if the voice data does not contain information about print settings, the CPU 801 acquires information about predetermined print settings (S905). Here, information (values) related to print settings registered in advance in the server is acquired as information related to predetermined print settings.

S906では、CPU801は、音声データに基づき、表示装置1003に表示されている写真Aに対応する画像データを特定し、取得された印刷設定に関する情報を適用して、その画像データに基づく印刷データを生成する。 In step S<b>906 , the CPU 801 identifies image data corresponding to the photo A displayed on the display device 1003 based on the audio data, applies the acquired information regarding print settings, and generates print data based on the image data. Generate.

次に、CPU801は、印刷処理を実行するプリンタを選択する(S907)。本実施形態では、CPU801は、音声制御デバイス1001のMacアドレスに関連づいているユーザIDを特定する。そして、サーバ1006は、そのユーザIDに関連付けて管理されている印刷装置1004を特定する。以上の処理により、S907が実現される。 Next, the CPU 801 selects a printer for executing print processing (S907). In this embodiment, CPU 801 identifies the user ID associated with the Mac address of voice control device 1001 . The server 1006 then identifies the printing device 1004 managed in association with the user ID. S907 is realized by the above processing.

CPU801は、S904において選択したプリンタ(印刷装置1004)に対して印刷データの生成が完了したことを示す通知を印刷装置1004へ送信する(S908)。その後、CPU801は、印刷装置1004から印刷完了通知を受信したかを判定する(S909)。 The CPU 801 transmits to the printer (printing device 1004) selected in S904 a notification indicating that print data generation has been completed (S908). After that, the CPU 801 determines whether a print completion notification has been received from the printing apparatus 1004 (S909).

S906において、印刷装置1004から印刷完了通知を受信した場合、CPU801は、印刷指示元である音声制御デバイス1001に印刷完了通知を送信する。 In step S<b>906 , when the print completion notification is received from the printing apparatus 1004 , the CPU 801 transmits the print completion notification to the voice control device 1001 that issued the print instruction.

CPU103は、印刷完了通知を受信した場合、音声にて印刷完了を通知する。具体的には、CPU103は、印刷完了通知を音声に変換し、スピーカ102を用いて印刷完了を音声で出力する。 When the CPU 103 receives the print completion notification, the CPU 103 notifies the print completion by voice. Specifically, the CPU 103 converts the print completion notification into voice, and uses the speaker 102 to output the print completion as voice.

以上の処理により、ユーザは、簡易な操作で所望の写真を印刷することが可能となる。特に、ユーザの音声での指示の中に印刷設定に関する指示が含まれていない場合でも、所定の印刷設定を適用することで印刷データが生成される。 With the above processing, the user can print a desired photograph with a simple operation. In particular, print data is generated by applying predetermined print settings even when instructions regarding print settings are not included in the user's voice instructions.

[変形例]
本実施形態では、音声データ内に印刷設定に関する情報が含まれていない場合、所定の印刷設定で印刷することをユーザに確認してもよい。具体的には、サーバ1006が音声データ内に印刷設定に関する情報が含まれていないと判定した場合、サーバ1006は、所定の印刷設定で印刷することを音声制御デバイス1001にユーザに通知させるための制御コマンドを生成する。そして、サーバ1006は、制御コマンドを音声制御デバイス1001へ送信し、音声制御デバイス1001は、受信した制御コマンドに従って、所定の印刷設定で印刷する旨、ユーザに音声で通知する。例えば、「写真Aを、L判の写真用紙に、~(中略)~の設定で1枚、印刷します。」と読み上げる。なお、印刷データ生成のために必要な印刷設定の項目は、複数の項目からなる。よって、全てを読み上げると冗長となるため、音声で読み上げる印刷設定項目は一部の代表的な設定項目のみとしてもよい。また、「写真Aを、L判の写真用紙に、~(中略)~の設定で1枚、印刷しますが、よいですか?」という質問形式のように、所定の印刷設定で印刷してよいかどうかをユーザに問うようにしてもよい。質問形式の場合、質問に対するユーザからの応答を受けて、印刷設定を確定又は変更するとよい。つまり、ユーザから印刷設定を承認する返答(例えば「OK」との返答)があった場合、音声制御デバイス1001は、その音声データをサーバ1006に送信し、サーバ1006は印刷設定を確定する。一方、ユーザから異なる印刷設定を指示する返答があった場合(例えば「2枚印刷して」との返答)があった場合、音声制御デバイス1001はその音声データをサーバ1006へ送信する。そしてサーバ1006は、変更指示があった部数設定の項目のみ印刷設定を変更する。なお、印刷設定の変更があった場合、サーバ1006は、音声制御デバイス1001に変更後の印刷設定を音声でユーザに通知させてもよい。
[Modification]
In the present embodiment, if information about print settings is not included in the voice data, the user may be asked to confirm that printing is to be performed with predetermined print settings. Specifically, when the server 1006 determines that the voice data does not contain information related to print settings, the server 1006 causes the voice control device 1001 to notify the user that printing is to be performed with predetermined print settings. Generate control commands. Then, the server 1006 transmits the control command to the voice control device 1001, and the voice control device 1001 notifies the user by voice that printing will be performed with predetermined print settings according to the received control command. For example, "I will print one copy of photo A on L-size photo paper with the following settings." Note that the print setting items necessary for print data generation consist of a plurality of items. Therefore, since it would be redundant to read out all of them, the print setting items read out by voice may be limited to some typical setting items. In addition, print with the predetermined print settings, such as the question format, "I would like to print one copy of photo A on L-size photo paper with the settings of ~ (omitted) ~. The user may be asked whether it is acceptable. In the case of the question format, it is preferable to confirm or change the print settings after receiving the user's response to the question. In other words, when there is a response (for example, an "OK" response) from the user approving the print settings, the voice control device 1001 transmits the voice data to the server 1006, and the server 1006 confirms the print settings. On the other hand, when the user gives a reply instructing different print settings (for example, "Print two sheets"), the voice control device 1001 transmits the voice data to the server 1006 . Then, the server 1006 changes the print settings only for the number of copies setting item for which the change instruction has been issued. Note that when the print settings are changed, the server 1006 may cause the voice control device 1001 to notify the user of the changed print settings by voice.

また、音声ではなく、表示により、ユーザに印刷設定を通知してもよい。つまり、サーバ1006は、制御コマンドを表示装置1003に送信し、適用する印刷設定を表示装置1003に表示させてもよい。これにより、ユーザはどのような印刷設定で印刷が行われるかを容易に把握することが可能となる。なお、表示装置1003に表示された画面上で、ユーザが印刷設定を変更可能となるように構成してもよい。具体的には、サーバ1006が印刷設定画面のデータを保持し、その印刷設定の画面データをサーバ1006から表示装置1003が取得することにより、表示装置1003は印刷設定画面を表示する。これにより、ユーザはその画面を見ながら、印刷設定を行うことが可能となる。 Alternatively, the print setting may be notified to the user by display instead of voice. That is, the server 1006 may transmit a control command to the display device 1003 and cause the display device 1003 to display the print settings to be applied. This allows the user to easily understand what print settings are used for printing. Note that the user may be able to change the print settings on the screen displayed on the display device 1003 . Specifically, the server 1006 holds the data of the print setting screen, and the display device 1003 acquires the screen data of the print setting from the server 1006, so that the display device 1003 displays the print setting screen. This allows the user to make print settings while viewing the screen.

また、サーバ1006が印刷データを生成するために必要な印刷設定の項目は、上述したとおり複数の項目からなる。図13に印刷設定の項目を例示する。このように多くの印刷設定項目がある場合、ユーザによっては一部の設定項目のみを音声で指定する可能性がある。具体的には、「写真Aを、L判で1枚印刷して」との指示のように、代表的な設定項目のみを指示する可能性がある。そこで、本実施形態では、必要な印刷設定の項目ごとに、音声データ中に情報が含まれているかを確認し、含まれてない項目についてのみ所定の印刷設定の値を適用することが好ましい。図9(B)を用いて本処理のフローを説明する。図9(B)において、S901及びS902の処理は図9(A)と同様である。CPU801は、S903において、音声データ中に印刷設定に関する情報が含まれているかを判定する際に、必要な印刷設定の項目の全てが含まれているか判定する。つまり、音声データ内に含まれる印刷設定項目と含まれない印刷設定項目を特定する。CPU801は、全ての項目が音声データ内に含まれている場合は、図9(A)同様に音声データ内の印刷設定に関する情報を取得する(S904)。一方、CPU801は、一部の印刷設定項目が音声データに含まれていない場合は、含まれていない項目(足りない項目)のみあらかじめ登録された所定の設定値を取得し、音声データに含まれている項目は音声データからその情報を取得する。さらに、音声データ中に1つも印刷設定に関する情報が含まれていない場合は、CPU801は、全ての項目について、あらかじめ登録された所定の設定値を取得する。以降の処理は図9(A)と同様であるため省略する。このような処理により、ユーザが一部の印刷設定項目についてのみ指示した場合にも対応することが可能となる。 The print setting items necessary for the server 1006 to generate print data consist of a plurality of items as described above. FIG. 13 illustrates print setting items. When there are many print setting items like this, some users may specify only some of the setting items by voice. Specifically, there is a possibility that only representative setting items are instructed, such as an instruction to "print one L-sized photo A." Therefore, in the present embodiment, it is preferable to check whether information is included in the voice data for each required print setting item, and apply a predetermined print setting value only to items that are not included. The flow of this processing will be described with reference to FIG. 9B. In FIG. 9B, the processing of S901 and S902 is the same as in FIG. 9A. When the CPU 801 determines in step S<b>903 whether information regarding print settings is included in the audio data, the CPU 801 determines whether all necessary print setting items are included. That is, the print setting items included in the voice data and the print setting items not included in the voice data are specified. If all the items are included in the voice data, the CPU 801 acquires information about the print settings in the voice data, as in FIG. 9A (S904). On the other hand, if some of the print setting items are not included in the voice data, the CPU 801 acquires predetermined setting values registered in advance only for the items that are not included (insufficient items). The item that is marked gets its information from the audio data. Furthermore, if the audio data does not contain any information related to print settings, the CPU 801 acquires predetermined setting values registered in advance for all items. Since the subsequent processing is the same as that of FIG. 9A, the description thereof will be omitted. With such processing, it is possible to deal with a case where the user instructs only some of the print setting items.

また、本実施形態のサーバ1006は、図14に示すように、所定の印刷設定として複数の印刷設定を備えていてもよい。具体的には、印刷対象のデータ種類に応じて異なる印刷設定を備えているとよい。例えば、写真と文書(Microsoft Word等の文書作成ソフトウェアで生成した文書)とでは、好ましい設定や一般的な設定は異なる。よって、サーバ1006には、データ種類毎に異なる、複数の印刷設定を登録しておくことが好ましい。そして、サーバ1006は、S904において、音声データ内に印刷設定に関する指示が含まれていない場合、印刷対象のデータ種類を識別する。例えばデータファイルの拡張子を基に識別することができる。この識別結果に基づき、サーバ1008のメモリ内から、識別されたデータ種類に対応する印刷設定を取得するとよい。例えば、データ種類が「写真」の場合は、「印刷設定1」が選択され、データ種類が「文書」の場合は、「印刷設定2」が選択される。 Further, the server 1006 of this embodiment may have a plurality of print settings as predetermined print settings, as shown in FIG. Specifically, it is preferable to provide different print settings according to the type of data to be printed. For example, photos and documents (documents generated by word processing software such as Microsoft Word) have different preferred and general settings. Therefore, it is preferable to register a plurality of print settings for each data type in the server 1006 . In S904, the server 1006 identifies the type of data to be printed if the voice data does not contain an instruction regarding print settings. For example, it can be identified based on the extension of the data file. Based on this identification result, print settings corresponding to the identified data type may be obtained from the memory of the server 1008 . For example, when the data type is "photo", "print setting 1" is selected, and when the data type is "document", "print setting 2" is selected.

さらに、本実施形態のサーバ1006は、データ種類によらず、複数の印刷設定を備えていてもよい。例えば、ユーザにより音声で「文書Bを、ファインアート紙に印刷して」と指示されたとする。この場合、ユーザとしては印刷スピードよりも美しい刷り上がりを重視していることが想定される。しかしながら、図14において文書用の印刷設定である「印刷設定2」は、「印刷品質:標準」、「両面・片面設定:両面」、「ページレイアウト:2ページ/枚」となっている。よって、指示されていない印刷設定の項目をこのまま適用するとユーザの想定と異なる仕上がりになる可能性がある。そこで、本実施形態のサーバ1006は、1つのデータ種類に対して、少なくとも一部の項目の設定情報(設定値)が異なる複数の印刷設定を備えることが好ましい。特に、用紙種に応じて、印刷品質、カラー設定、両面・片面設定等が異なる複数の印刷設定を備えることが好ましい。例えば、図14の印刷設定1、2に加えて、「文書用」の別の印刷設定として、「用紙種類:ファインアート紙」、「印刷品質:きれい」、「両面・片面設定:片面」、「ページレイアウト:1ページ/枚」と登録された「印刷設定3」を備える。このように複数の印刷設定を登録しておくことで、ユーザから「文書Bを、ファインアート紙に印刷して」と指示された場合でも、サーバ1006は、それに対応する設定値を有する「印刷設定3」を選択して取得することができる。なお、データ種類を参照せず、単に音声指示に含まれる用紙種類の情報に基づいて、用紙種類ごとに印刷設定を備えてもよい。このように、ユーザから一部の印刷設定項目のみが指示された場合でも、サーバ1006は、登録された複数の印刷設定のうち、指示に対応する設定情報を含む印刷設定を選択することができる。よって、よりユーザの意図に沿った印刷データの生成が可能となる。 Furthermore, the server 1006 of this embodiment may have a plurality of print settings regardless of the data type. For example, it is assumed that the user verbally instructs "print document B on fine art paper". In this case, it is assumed that the user puts more emphasis on beautiful printing than on printing speed. However, in FIG. 14, "print setting 2", which is the print setting for documents, is "print quality: standard", "double-sided/single-sided setting: double-sided", and "page layout: 2 pages/sheet". Therefore, if print setting items that have not been instructed are applied as they are, there is a possibility that the finish will differ from what the user expects. Therefore, the server 1006 of this embodiment preferably has a plurality of print settings with different setting information (setting values) for at least some items for one data type. In particular, it is preferable to provide a plurality of print settings with different print quality, color settings, double-sided/single-sided settings, etc., according to paper types. For example, in addition to print settings 1 and 2 in FIG. 14, other print settings for "documents" include "paper type: fine art paper", "print quality: fine", "double-sided/single-sided setting: single-sided", It has "print setting 3" registered as "page layout: 1 page/sheet". By registering a plurality of print settings in this way, even when the user instructs to "print document B on fine art paper", the server 1006 can print "print It can be acquired by selecting “Setting 3”. Note that print settings may be provided for each paper type simply based on paper type information included in the voice instruction without referring to the data type. In this way, even if the user instructs only some of the print setting items, the server 1006 can select the print setting including the setting information corresponding to the instruction from among the plurality of registered print settings. . Therefore, it is possible to generate print data that is more in line with the user's intention.

また、本実施形態において、「所定の印刷設定」の登録値はユーザ指示により変更可能であることが好ましい。所定の印刷設定は、印刷装置1004もしくはサインインするサーバ1006に応じて決まっており、変更しない限りは初期設定としてデフォルトの印刷設定が登録されている。ユーザは、このデフォルトの印刷設定を変更したい場合、音声制御デバイス1001に音声で指示することで音声データがサーバ1006に送付され、サーバ1006内の印刷設定が変更される。また、携帯端末1002等の端末装置を介してサーバ1006内の印刷設定を変更してもよい。 Further, in this embodiment, it is preferable that the registered value of the "predetermined print setting" can be changed by a user instruction. Predetermined print settings are determined according to the printing apparatus 1004 or the server 1006 to be signed in, and default print settings are registered as initial settings unless changed. When the user wishes to change the default print settings, the user issues a voice instruction to the voice control device 1001, which sends voice data to the server 1006, and the print settings in the server 1006 are changed. Also, print settings in the server 1006 may be changed via a terminal device such as the mobile terminal 1002 .

また、音声制御デバイス1001が、「表示装置1003に表示されている写真Aを印刷して」という声から印刷をリクエストしたユーザ名を特定できる場合、そのユーザ名を付加して音声データを生成しても構わない。この処理により、例えば、印刷装置1004は、印刷処理711の実行中または印刷履歴としてユーザ名を表示することができる。 Further, when the voice control device 1001 can specify the name of the user who requested the printing from the voice saying "Print the photo A displayed on the display device 1003", the voice control device 1001 generates voice data by adding the user name. I don't mind. With this processing, for example, the printing device 1004 can display the user name during execution of the print processing 711 or as a print history.

また、印刷完了が通知された後であり、かつ、別の印刷データを使った印刷が指示される前に、ユーザが、音声制御デバイス1001の近辺で、まずはウェイクワードを話し、ユーザ自身が行いことを話すことにより、その内容を反映することもできる。例えば、ユーザは、ウェイクワードに続いて「もう1枚」や「追加で3部印刷」のように部数の追加指示を話す。 Also, after the completion of printing is notified and before printing using other print data is instructed, the user first speaks the wake word near the voice control device 1001, and the user himself/herself You can also reflect the content by talking about it. For example, after the wake word, the user speaks additional instructions for the number of copies, such as "one more sheet" or "print three additional copies."

この部数の追加指示を受けた音声制御デバイス1001は、処理707で送信された音声データを再度送信しても良い。なお、「もう1枚」や「追加で3部印刷」に対応する音声データも合わせて送信される。サーバ1006は、この2つの音声データを受信することで、処理708と同様の印刷データ生成処理を行う。そして、サーバ1006は、部数について、新規のリクエストの音声データに基づいて設定する。この処理により、ユーザは容易に同じ画像データを使った再印刷を指示できる。さらに、印刷完了が通知された後であり、かつ、別の印刷データを使った印刷が指示される前に、ユーザが、音声制御デバイス1001の近辺で、まずはウェイクワードを話し、ユーザ自身が行いことを話すことにより、その内容を反映することもできる。例えば、ユーザは、ウェイクワードに続いて「もっと大きい用紙に印刷して」と話す。この指示を受けて音声制御デバイス1001は、処理707で送信された音声データを再度送信しても良い。なお、「もっと大きいサイズに印刷して」に対応する音声データも合わせて送信される。サーバ1006は、この2つの音声データを受信することで、処理708と同様の印刷データ生成処理を行う。そして、サーバ1006は、用紙サイズについて、新規のリクエストの音声データに基づいて設定する。この処理により、ユーザは、同じ画像データを異なるサイズの用紙に印刷することを容易に指示できる。なお、後述するように別の装置が印刷データを生成する場合は、印刷データを生成する装置が、同様の処理を行っても良い。
また、音声での指示中に印刷速度に関連する指示が含まれていた場合、サーバ1006は、この指示に基づき適用する印刷設定を変更してもよい。具体的には、ユーザから「急いで印刷して」というような指示があった場合、サーバ1006は速く印刷を完了する必要があると判断し、速度優先のモードで印刷するよう設定を変更するとよい。具体的には、登録済みの印刷設定が「印刷品質」の項目が「きれい」に対応する設定値であったとしても、「標準」に対応する設定値に変更するとよい。
The audio control device 1001 that has received this instruction to add the number of copies may retransmit the audio data transmitted in process 707 . Note that voice data corresponding to "one more sheet" and "additional printing of 3 copies" are also transmitted. The server 1006 performs print data generation processing similar to the processing 708 by receiving these two voice data. Server 1006 then sets the number of copies based on the voice data of the new request. With this processing, the user can easily instruct reprinting using the same image data. Furthermore, after being notified of the completion of printing and before being instructed to print using different print data, the user first speaks a wake word near the voice control device 1001, You can also reflect the content by talking about it. For example, the user may say "Print on larger paper" following the wake word. Upon receiving this instruction, the audio control device 1001 may retransmit the audio data transmitted in process 707 . Voice data corresponding to "Print in a larger size" is also transmitted. The server 1006 performs print data generation processing similar to the processing 708 by receiving these two voice data. The server 1006 then sets the paper size based on the voice data of the new request. With this processing, the user can easily instruct printing of the same image data on paper of different sizes. As will be described later, when another device generates the print data, the device that generates the print data may perform similar processing.
In addition, if an instruction related to print speed is included in the voice instruction, the server 1006 may change the print settings to be applied based on this instruction. Specifically, when the user gives an instruction such as "print quickly", the server 1006 determines that the printing needs to be completed quickly, and changes the setting to print in the speed priority mode. good. Specifically, even if the "print quality" item of the registered print setting has a setting value corresponding to "fine", it is preferable to change the setting value to correspond to "standard".

また、サーバ1006は、過去に受け付けた印刷指示中の設定値を解析することにより、ユーザの印刷設定に関する好みを反映するようにしてもよい。具体的には、デフォルトで登録されているページレイアウトの印刷設定が、1枚に1ページ分を割り付ける設定であったとしても、ユーザが1枚に2ページ分を割り付ける設定を多用している場合は、これを反映するとよい。つまり、登録されているページレイアウトの項目の設定値を「1ページ/枚」に対応する設定値に変更するとよい。 また、プリンタ1004又はサーバ1006は、印刷に関する音声キーワードを保存したメモリを備えてもよい。そして、音声制御デバイス1001は、プリンタ1004又はサーバ1006からこの音声キーワードをダウンロードする。これにより、音声制御デバイス1001は、印刷指示に関するユーザの音声を正確に解釈して音声データを生成することができるため、音声制御デバイス1001は、印刷に関する用語に強くなり、よりユーザの意図に即した印刷を実行することが可能となる。 Further, the server 1006 may reflect the user's preferences regarding print settings by analyzing the setting values in the print instructions received in the past. Specifically, even if the page layout print setting registered by default is a setting that lays out one page on one sheet, the user frequently uses a setting that lays out two pages on one sheet. should reflect this. That is, it is preferable to change the setting value of the registered page layout item to the setting value corresponding to "1 page/sheet". Printer 1004 or server 1006 may also include a memory that stores spoken keywords for printing. Voice control device 1001 then downloads this voice keyword from printer 1004 or server 1006 . As a result, the voice control device 1001 can accurately interpret the user's voice regarding the print instruction and generate voice data. It is possible to execute printing with

<第2実施形態>
次に、第2実施形態について説明する。実施形態1では図7および図9で説明したとおり、サーバ1006が印刷データを生成し、サーバ1006からの印刷データの生成が完了したことを示す通知を使って印刷装置1004が印刷する例について説明した。本実施形態では、音声制御デバイス1001が印刷データを生成する例について説明する。なお、以降の説明では第1実施形態の共通する部分は説明を省略し、第1実施形態と異なる部分を中心に説明する。
<Second embodiment>
Next, a second embodiment will be described. In the first embodiment, as described with reference to FIGS. 7 and 9, an example will be described in which the server 1006 generates print data and the printing apparatus 1004 prints using a notification from the server 1006 indicating completion of print data generation. did. In this embodiment, an example in which the voice control device 1001 generates print data will be described. It should be noted that in the following description, the description of the parts common to the first embodiment will be omitted, and the description will focus on the parts that differ from the first embodiment.

図10は、印刷処理を説明するシーケンス図である。なお、処理701-706は図7と同じであるため詳細な説明は省略する。また、図10および図11では音声制御デバイス1001が印刷データを生成する。そのため、音声制御デバイス1001の外部記憶装置107は、印刷装置1004が解釈可能な印刷データを生成する印刷ソフトウェア、通信に必要な情報等を記憶する。 FIG. 10 is a sequence diagram illustrating print processing. Note that the processes 701 to 706 are the same as those in FIG. 7, so detailed description thereof will be omitted. 10 and 11, the voice control device 1001 generates print data. Therefore, the external storage device 107 of the voice control device 1001 stores print software for generating print data that can be interpreted by the printer 1004, information necessary for communication, and the like.

音声制御デバイス1001は、ウェイクワードの音声を受信することで、続いて話されるワードを受信する。つまり、音声制御デバイス1001は「表示装置1003に表示されている写真Aを印刷して」という音声を受信する。 The voice control device 1001 receives the voice of the wake word, thereby receiving the words to be spoken subsequently. In other words, the voice control device 1001 receives the voice "Print the photo A displayed on the display device 1003".

音声制御デバイス1001は、音声データをサーバ1006へ送信する(707)。 Audio control device 1001 transmits the audio data to server 1006 (707).

サーバ1006は、音声制御デバイス1001から送信された音声データを解析し、音声データに基づく処理を実行する。サーバ1006は、「表示装置1003に表示されている写真Aを印刷して」という音声の音声データを受信している。そのため、サーバ1006は、写真Aに対応する画像データを印刷するための制御コマンドを生成する(1002)。 The server 1006 analyzes the audio data transmitted from the audio control device 1001 and executes processing based on the audio data. The server 1006 receives the voice data of the voice "Print the photo A displayed on the display device 1003". Therefore, the server 1006 generates a control command for printing the image data corresponding to the photo A (1002).

サーバ1006は、処理1002で生成された制御コマンドを音声制御デバイス1001に送信する(1003)。 Server 1006 transmits the control command generated in process 1002 to voice control device 1001 (1003).

音声制御デバイス1001は、制御コマンドに従った処理を実行する。写真Aに対応する画像データを取得して印刷する指示が制御コマンドに含まれているため、音声制御デバイス1001は、サーバ1006から写真Aに対応する画像データを取得する(1004)。 The voice control device 1001 executes processing according to control commands. Since the control command includes an instruction to acquire and print image data corresponding to photograph A, voice control device 1001 acquires image data corresponding to photograph A from server 1006 (1004).

音声制御デバイス1001は、取得した画像データと印刷設定情報に基づいて印刷データを生成する(1005)。なお、実施形態1と同様に、ユーザからの印刷指示として、「表示装置1003に表示されている写真Aを印刷して」という単純な指示の場合、印刷設定に関する情報が含まれていない。よって、本実施形態でも第1実施形態と同様に、音声での指示の中に印刷設定に関する情報が含まれていない場合、画像の印刷設定として、所定の印刷設定を使用する。具体的には、制御コマンド内に印刷設定に関する情報は含まれていない場合、音声制御デバイス1001は、あらかじめ音声制御デバイス1001に登録された所定の印刷設定を適用して印刷データを生成する。なお、印刷設定に関する情報が含まれているかどうかの判定は音声制御デバイス1001ではなくサーバ1006が行ってもよい。この場合、サーバ1006は、音声制御デバイス1001からの音声データ内に印刷設定に関する情報が含まれているかを判定する。そして、印刷設定に関する情報が含まれていない場合は、サーバ1006にあらかじめ登録された所定の印刷設定を適用して制御コマンドを生成するとよい。音声制御デバイス1001は、その制御コマンド内に含まれる印刷設定に基づき、印刷データを生成することができる。 The voice control device 1001 generates print data based on the acquired image data and print setting information (1005). As in the first embodiment, a simple print instruction from the user such as "print photo A displayed on the display device 1003" does not include information about print settings. Therefore, in the present embodiment, as in the first embodiment, when the voice instruction does not include information about print settings, predetermined print settings are used as image print settings. Specifically, if the control command does not include information about print settings, the voice control device 1001 applies predetermined print settings registered in the voice control device 1001 in advance to generate print data. Note that the server 1006 instead of the audio control device 1001 may determine whether or not information about print settings is included. In this case, the server 1006 determines whether the audio data from the audio control device 1001 contains information about print settings. If information about print settings is not included, it is preferable to apply predetermined print settings registered in the server 1006 in advance to generate the control command. The voice control device 1001 can generate print data based on the print settings contained within its control commands.

音声制御デバイス1001は、処理1005で生成した印刷データを印刷装置1004へ送信する(1006)。 The voice control device 1001 transmits the print data generated in process 1005 to the printing device 1004 (1006).

印刷装置1004は、印刷データに基づく印刷処理が完了すると(1007)、印刷完了通知を音声制御デバイス1001に送信する。 When the printing process based on the print data is completed (1007), the printing apparatus 1004 transmits a print completion notification to the audio control device 1001. FIG.

音声制御デバイス1001は、印刷完了通知を受信した場合、音声にて印刷完了を通知する(1009)。 When the voice control device 1001 receives the print completion notification, the voice control device 1001 notifies the print completion by voice (1009).

[音声制御デバイス1001の処理の詳細]
次に図11を用いて音声制御デバイス1001の処理を説明する。図11のフローチャートは、図10の処理1001-処理1009に対応する。
[Details of Processing of Audio Control Device 1001]
Next, the processing of the voice control device 1001 will be explained using FIG. The flowchart in FIG. 11 corresponds to processing 1001 to processing 1009 in FIG.

なお、図11のS1101-S1102は、図9のS901-S902と同じ処理であるため詳細な説明は省略する。 Note that S1101-S1102 in FIG. 11 are the same processing as S901-S902 in FIG. 9, so detailed description thereof will be omitted.

CPU103は、サーバ1006から制御コマンドを受信する(S1103)。CPU103は、受信した制御コマンドを解析し、次に実行すべき処理を特定する。制御コマンドに写真Aの画像データを取得する指示と、画像データの印刷指示が含まれている。よって、CPU103は、サーバ1006から画像データを取得し、印刷データを生成する(S1104)。なお、S1104では、実施形態1におけるサーバ1006の処理と同様に、ユーザからの音声での指示内に印刷設定に関する情報が含まれているかどうか判定し、含まれていない場合は所定の印刷設定を適用する処理を行うとよい。具体的には、CPU103は、制御コマンドを解析し、制御コマンド内に印刷設定に関する情報が含まれているかを判定する。そして、CPU103は、制御コマンド内に印刷設定に関する情報が含まれている場合、制御コマンド内に含まれる印刷設定に関する情報を取得する。一方、制御コマンド内に印刷設定に関する情報が含まれていない場合、CPU103は、所定の印刷設定に関する情報を取得する。ここでは、所定の印刷設定に関する情報として、音声制御デバイス1001にあらかじめ登録されている印刷設定に関する情報(値)を取得する。そして、取得した印刷設定に関する情報を適用して印刷データを生成する。なお、印刷設定に関する情報が含まれているかどうかの判定は音声制御デバイス1001ではなくサーバ1006が行ってもよい。この場合、サーバ1006は、音声制御デバイス1001からの音声データ内に印刷設定に関する情報が含まれているかを判定する。そして、印刷設定に関する情報が含まれていない場合は、サーバ1006にあらかじめ登録された所定の印刷設定を適用して制御コマンドを生成する。よって、音声制御デバイス1001は、その制御コマンド内に含まれる印刷設定に基づき、印刷データを生成することができる。 The CPU 103 receives the control command from the server 1006 (S1103). The CPU 103 analyzes the received control command and identifies the process to be executed next. The control command includes an instruction to acquire image data of photo A and an instruction to print the image data. Accordingly, the CPU 103 acquires image data from the server 1006 and generates print data (S1104). In step S1104, as in the processing of the server 1006 in the first embodiment, it is determined whether or not information regarding print settings is included in the voice instruction from the user. It is advisable to perform the applicable processing. Specifically, the CPU 103 analyzes the control command and determines whether the control command contains information about print settings. If the control command includes information about print settings, the CPU 103 acquires the information about print settings included in the control command. On the other hand, if the control command does not include information about print settings, the CPU 103 acquires information about predetermined print settings. Here, information (values) related to print settings registered in advance in the voice control device 1001 is acquired as information related to predetermined print settings. Then, the print data is generated by applying the acquired information about the print settings. Note that the server 1006 instead of the audio control device 1001 may determine whether or not information about print settings is included. In this case, the server 1006 determines whether the audio data from the audio control device 1001 contains information about print settings. If information about print settings is not included, predetermined print settings registered in advance in the server 1006 are applied to generate a control command. Accordingly, the voice control device 1001 can generate print data based on the print settings contained within the control command.

CPU103は、印刷データを印刷装置1004へ送信する(S1105)。ここでCPU103は、上述した図5の画面507を介した指示に従って、音声制御デバイス1001の制御対象となる装置として表示装置1003と印刷装置1004を登録している。そのためCPU103は、この登録に従って印刷データの送信先を印刷装置1004に決定する。 The CPU 103 transmits the print data to the printing device 1004 (S1105). Here, the CPU 103 has registered the display device 1003 and the printing device 1004 as devices to be controlled by the voice control device 1001 according to the instruction via the screen 507 in FIG. Therefore, the CPU 103 determines the print data transmission destination to be the printing apparatus 1004 according to this registration.

CPU103は、印刷完了通知を受信したか否かを判定し(S1106)、印刷完了通知を受信した場合、印刷が完了したことを音声にて通知する(S1107)。 The CPU 103 determines whether or not a print completion notice has been received (S1106), and if it has received a print completion notice, it notifies by voice that printing has been completed (S1107).

以上の処理により、ユーザは、簡易な操作で所望の写真を印刷することが可能となる。また、サーバ1006の負荷を軽減することも可能となる。 With the above processing, the user can print a desired photograph with a simple operation. Also, the load on the server 1006 can be reduced.

なお、上述の例では、所定の印刷設定に関する情報が音声制御デバイス1001に登録されている例を説明したが、サーバ1006が所定の印刷設定に関する情報を保持してもよい。つまり、サーバ1006は処理1001において音声制御デバイス1001からの音声データ内に印刷設定に関する情報が含まれているかを判定する。そして、サーバ1006は音声データ内に印刷設定に関する情報が含まれていないと判定した場合、サーバ1006にあらかじめ登録された所定の印刷設定に関する情報を制御コマンドに含める。そして、音声制御デバイス1001に送信する。音声制御デバイス1001は、受信した制御コマンドに従い印刷データを生成するとよい。 In the above example, the information regarding the predetermined print settings is registered in the voice control device 1001, but the server 1006 may hold the information regarding the predetermined print settings. In other words, the server 1006 determines in processing 1001 whether the audio data from the audio control device 1001 contains information about print settings. If the server 1006 determines that the voice data does not include information about print settings, it includes information about predetermined print settings registered in advance in the server 1006 in the control command. Then, it transmits to the voice control device 1001 . The voice control device 1001 may generate print data according to the received control command.

また、本実施形態においても、第1実施形態の[変形例]に記載されたサーバ1006の印刷設定に関係する処理を音声制御デバイス1001に置き換えることで、第1実施形態の[変形例]の各例と同様の処理を実行することができる。以下、変形例についても、第1実施形態と同様の処理については説明を省略し、第1実施形態と異なる部分を主に説明する。 Also in this embodiment, by replacing the processing related to the print settings of the server 1006 described in the [Modification] of the first embodiment with the voice control device 1001, Processing similar to each example can be performed. In the following, also for the modified example, description of the same processing as in the first embodiment will be omitted, and differences from the first embodiment will be mainly described.

本実施形態においても、音声での印刷指示の中に印刷設定に関する情報が含まれていない場合、所定の印刷設定で印刷することをユーザに確認してもよい。具体的には、音声制御デバイス1001が、ユーザによる音声での印刷指示又は制御コマンドの中に、印刷設定に関する情報が含まれていないと判定した場合、音声制御デバイス1001が所定の印刷設定で印刷することをユーザに音声で通知するとよい。もちろん、サーバ1006が音声データの中に印刷設定に関する情報が含まれているかを判定し、音声制御デバイス1001に対して所定の印刷設定で印刷することをユーザに音声で通知させるための制御コマンドを送信してもよい。また、第1実施形態と同様に質問形式でユーザに通知してもよく、質問に対するユーザからの返答を受けて印刷設定を確定又は変更するとよい。また、本実施形態においても、音声ではなく、表示により、ユーザに印刷設定を通知してもよい。具体的には、音声制御デバイス1001又はサーバ1003から制御コマンドが表示装置1003に送信され、適用する印刷設定を表示装置1003に表示させてもよい。 Also in the present embodiment, if information about print settings is not included in the print instruction by voice, the user may be confirmed to print with predetermined print settings. Specifically, when the voice control device 1001 determines that the user's voice print instruction or control command does not include information about print settings, the voice control device 1001 prints with predetermined print settings. It is preferable to notify the user by voice that the Of course, the server 1006 determines whether information about print settings is included in the voice data, and issues a control command to the voice control device 1001 to notify the user by voice that printing is to be performed with predetermined print settings. You may send. Further, as in the first embodiment, the user may be notified in the form of a question, and the user's reply to the question may be received to determine or change the print settings. Also in this embodiment, the print setting may be notified to the user by display instead of voice. Specifically, a control command may be transmitted from the voice control device 1001 or the server 1003 to the display device 1003 to cause the display device 1003 to display the print settings to be applied.

また、必要な印刷設定の項目ごとに、音声制御デバイス1001又はサーバ1006が、指示中に情報が含まれているかを確認してもよい。つまり、音声制御デバイス1001は、音声中に含まれてない項目について、あらかじめ音声制御デバイス1001又はサーバ1006に登録された所定の印刷設定の値を適用して印刷データを生成してもよい。また、図14に示すように、音声制御デバイス1001又はサーバ1006は、複数の印刷設定を備えていることが好ましい。そして、その中から印刷指示に基づき所定の印刷設定を選択するとよい。さらに、1つのデータ種類に対して、複数の印刷設定を備えていてもよい。また、所定の印刷設定はユーザの指示により変更可能であることが好ましい。 Also, for each required print setting item, the voice control device 1001 or server 1006 may check whether information is included in the instruction. That is, the voice control device 1001 may apply predetermined print setting values registered in the voice control device 1001 or the server 1006 in advance to generate print data for items not included in the voice. Also, as shown in FIG. 14, the voice control device 1001 or server 1006 preferably has multiple print settings. Then, it is preferable to select a predetermined print setting from among them based on the print instruction. Furthermore, a plurality of print settings may be provided for one data type. Further, it is preferable that the predetermined print settings can be changed according to a user's instruction.

また、音声制御デバイス1001が、「表示装置1003に表示されている写真Aを印刷して」という声から印刷をリクエストしたユーザ名を特定できる場合、そのユーザ名を付加して音声データを生成しても構わない。 Further, when the voice control device 1001 can specify the name of the user who requested the printing from the voice saying "Print the photo A displayed on the display device 1003", the voice control device 1001 generates voice data by adding the user name. I don't mind.

また、印刷完了が通知された後であり、かつ、別の印刷データを使った印刷が指示される前に、ユーザが音声で部数の追加指示を行うことで、この追加の部数について、同じ画像データを使った再印刷を実行可能にすることもできる。さらに、印刷完了が通知された後であり、かつ、別の印刷データを使った印刷が指示される前に、ユーザが異なる印刷設定を音声で指示することで、同じ画像データを使った異なる印刷設定の再印刷を実行可能にすることもできる。 In addition, after the completion of printing is notified and before printing using different print data is instructed, the user gives an instruction to add the number of copies by voice. Reprinting with data can also be enabled. Furthermore, after the completion of printing is notified and before printing using different print data is instructed, the user can instruct different print settings by voice, thereby enabling different printing using the same image data. Reprinting of settings can also be enabled.

また、音声での指示中に印刷速度に関連する指示が含まれていた場合、音声制御デバイス1001又はサーバ1006は、この指示に基づき適用する印刷設定を変更してもよい。また、音声制御デバイス1001又はサーバ1006は、過去に受け付けた印刷指示中の設定値を解析することにより、ユーザの印刷設定に関する好みを反映するようにしてもよい。つまり解析結果に基づき、登録された所定の印刷設定の値を変更してもよい。 In addition, if an instruction related to printing speed is included in the voice instruction, the voice control device 1001 or server 1006 may change the print settings to be applied based on this instruction. Also, the voice control device 1001 or the server 1006 may reflect the user's preferences regarding print settings by analyzing the setting values in the print instructions received in the past. In other words, the registered predetermined print setting values may be changed based on the analysis result.

<第3実施形態>
次に、第3実施形態について説明する。本実施形態では、表示装置1003が印刷データを生成する例について説明する。なお、以降の説明では第1実施形態の共通する部分は説明を省略し、第1実施形態と異なる部分を中心に説明する。
<Third Embodiment>
Next, a third embodiment will be described. In this embodiment, an example in which the display device 1003 generates print data will be described. It should be noted that in the following description, the description of the parts common to the first embodiment will be omitted, and the description will focus on the parts that differ from the first embodiment.

図12は、印刷処理を説明するシーケンス図である。なお、処理701-706は図7と同じであるため詳細な説明は省略する。また処理1201-1203は、図10の処理1001-1003と同じ処理であり、処理1207-1209は、図10の1007-1009と同じ処理であるため詳細な説明は省略する。また、図12の処理では、表示装置が印刷データを生成する。そのため表示装置1003の外部記憶装置207は、印刷装置1004が解釈可能な印刷データを生成する印刷ソフトウェア、通信に必要な情報等を記憶する。 FIG. 12 is a sequence diagram illustrating print processing. Note that the processes 701 to 706 are the same as those in FIG. 7, so detailed description thereof will be omitted. Processing 1201 to 1203 are the same processing as processing 1001 to 1003 in FIG. 10, and processing 1207 to 1209 are the same processing as 1007 to 1009 in FIG. 10, so detailed description thereof will be omitted. Further, in the process of FIG. 12, the display device generates print data. Therefore, the external storage device 207 of the display device 1003 stores printing software for generating print data that can be interpreted by the printing device 1004, information necessary for communication, and the like.

音声制御デバイス1001は、制御コマンドに従った処理を実行する。写真Aに対応する画像データを取得して印刷する指示が制御コマンドに含まれている。図12では、表示装置1003が印刷データを生成する。そのため音声制御デバイス1001は、表示装置1003に制御コマンドを送信する(1204)。 The voice control device 1001 executes processing according to control commands. The control command includes an instruction to acquire image data corresponding to photograph A and print it. In FIG. 12, the display device 1003 generates print data. Therefore, the voice control device 1001 transmits a control command to the display device 1003 (1204).

表示装置1003は、受信した制御コマンドに従った処理を実行する。表示装置1003は、表示用に画像データを既に取得しているため、既に取得すみの画像データに基づいて印刷データを生成する(1205)。なお、実施形態1、2と同様に、ユーザからの印刷指示として、「表示装置1003に表示されている写真Aを印刷して」という単純な指示の場合、印刷設定に関する情報が含まれていない。よって、本実施形態でも第1及び第2実施形態と同様に、音声での指示の中に印刷設定に関する情報が含まれていない場合、画像の印刷設定として、所定の印刷設定を使用する。具体的には、表示装置1003は、あらかじめ表示装置1003に登録された所定の印刷設定を適用して印刷データを生成する。なお、表示装置1003のCPUは、制御コマンドを解析し、制御コマンド内に印刷設定に関する情報が含まれているかを判定する。そして、CPUは、制御コマンド内に印刷設定に関する情報が含まれている場合、制御コマンド内に含まれる印刷設定に関する情報を取得する。一方、制御コマンド内に印刷設定に関する情報が含まれていない場合、CPUは、所定の印刷設定に関する情報を取得する。ここでは、所定の印刷設定に関する情報として、表示装置1003にあらかじめ登録されている印刷設定に関する情報(値)を取得する。そして、取得した印刷設定に関する情報を適用して印刷データを生成する。この際、表示装置1003は、表示部に印刷設定に関する情報を表示しても構わない。なお、印刷設定に関する情報が含まれているかどうかの判定は表示装置1003ではなくサーバ1006又は音声制御デバイス1001が行ってもよい。サーバ1006が判定を行う場合、サーバ1006は、音声制御デバイス1001からの音声データ内に印刷設定に関する情報が含まれているかを判定する。そして、印刷設定に関する情報が含まれていない場合は、サーバ1006にあらかじめ登録された所定の印刷設定を適用して制御コマンドを生成する。よって、表示装置1003は、その制御コマンド内に含まれる印刷設定に基づき、印刷データを生成することができる。音声制御デバイス1001が判定を行う場合、受け付けた音声又は、処理1023で取得した制御コマンドを解析して、印刷設定に関する情報が含まれているかを判定する。そして、印刷設定に関する情報が含まれていない場合は、音声制御デバイス1001にあらかじめ登録された所定の印刷設定を適用して音声データ又は制御コマンドを生成する。これにより、表示装置1003は、その音声データ又は制御コマンド内に含まれる印刷設定に基づき、印刷データを生成することができる。 The display device 1003 executes processing according to the received control command. Since the display device 1003 has already acquired the image data for display, it generates print data based on the already acquired image data (1205). As in Embodiments 1 and 2, when the print instruction from the user is a simple instruction to "print the photo A displayed on the display device 1003," information about print settings is not included. . Therefore, in the present embodiment, as in the first and second embodiments, when the voice instruction does not include information about print settings, predetermined print settings are used as image print settings. Specifically, the display device 1003 applies predetermined print settings registered in the display device 1003 in advance to generate print data. Note that the CPU of the display device 1003 analyzes the control command and determines whether the control command contains information about print settings. Then, if the control command includes information about the print settings, the CPU acquires the information about the print settings included in the control command. On the other hand, if the control command does not include information about print settings, the CPU acquires information about predetermined print settings. Here, information (values) related to print settings registered in advance in the display device 1003 is acquired as information related to predetermined print settings. Then, the print data is generated by applying the acquired information about the print settings. At this time, the display device 1003 may display information about print settings on the display unit. It should be noted that the server 1006 or the voice control device 1001, instead of the display device 1003, may determine whether information about print settings is included. When the server 1006 makes the determination, the server 1006 determines whether the audio data from the audio control device 1001 contains information about print settings. If information about print settings is not included, predetermined print settings registered in advance in the server 1006 are applied to generate a control command. Therefore, the display device 1003 can generate print data based on the print settings included in the control command. When the voice control device 1001 makes the determination, it analyzes the received voice or the control command acquired in the process 1023 and determines whether or not information regarding print settings is included. If information about print settings is not included, predetermined print settings registered in advance in the voice control device 1001 are applied to generate voice data or control commands. This allows the display device 1003 to generate print data based on the print settings included in the voice data or control command.

表示装置1003は、処理1205で生成した印刷データを印刷装置1004へ送信する(1206)。 The display device 1003 transmits the print data generated in processing 1205 to the printing device 1004 (1206).

以上の処理により、ユーザは、簡易な操作で所望の写真を印刷することが可能となる。また、サーバ1006および音声制御デバイス1001の負荷を軽減することも可能となる。 With the above processing, the user can print a desired photograph with a simple operation. Also, the load on the server 1006 and the audio control device 1001 can be reduced.

なお、上述の例では、所定の印刷設定に関する情報が表示装置1003に登録されている例を説明したが、サーバ1006が所定の印刷設定に関する情報を保持してもよい。つまり、サーバ1006は処理1001において音声制御デバイス1001からの音声データ内に印刷設定に関する情報が含まれているかを判定する。そして、サーバ1006は音声データ内に印刷設定に関する情報が含まれていないと判定した場合、サーバ1006にあらかじめ登録された所定の印刷設定に関する情報を制御コマンドに含み、音声制御デバイス1001を介して又は直接表示装置1003に送信する。そして、表示装置1003は、受信した制御コマンドに従い印刷データを生成するとよい。 Note that in the above example, information about predetermined print settings is registered in the display device 1003, but the server 1006 may hold information about predetermined print settings. In other words, the server 1006 determines in processing 1001 whether the audio data from the audio control device 1001 contains information about print settings. If the server 1006 determines that the voice data does not include information about print settings, the control command includes information about predetermined print settings registered in advance in the server 1006, and the control command is sent via the voice control device 1001 or It is transmitted directly to the display device 1003 . Then, the display device 1003 may generate print data according to the received control command.

また、本実施形態においても、第1実施形態の[変形例]に記載されたサーバ1006の印刷設定に関係する処理を表示装置1003に置き換えることで、第1実施形態の[変形例]の各例と同様の処理を実行することができる。
以下、変形例についても、第1実施形態と同様の処理については説明を省略し、第1実施形態と異なる部分を主に説明する。
Also in this embodiment, by replacing the processing related to the print settings of the server 1006 described in the [Modification] of the first embodiment with the display device 1003, each of the [Modification] of the first embodiment can be performed. A process similar to the example can be performed.
In the following, also for the modified example, description of the same processing as in the first embodiment will be omitted, and differences from the first embodiment will be mainly described.

本実施形態においても、音声データ内に印刷設定に関する情報が含まれていない場合、所定の印刷設定で印刷することをユーザに確認してもよい。具体的には、表示装置1003が、ユーザによる音声での印刷指示の中に、印刷設定に関する情報が含まれていないと判定した場合、音声制御デバイス1001が所定の印刷設定で印刷することをユーザに音声で通知するとよい。もちろん、音声制御デバイス1001、サーバ1006のいずれかが印刷設定に関する情報が含まれているかを判定してもよい。また、第1実施形態と同様に質問形式でユーザに通知してもよく、質問に対するユーザからの返答を受けて印刷設定を確定又は変更するとよい。また、本実施形態においても、音声ではなく、表示により、ユーザに印刷設定を通知してもよい。具体的には、音声制御デバイス1001又はサーバ1003から制御コマンドが表示装置1003に送信され、適用する印刷設定を表示装置1003に表示させてもよい。 Also in this embodiment, if information about print settings is not included in the voice data, the user may be asked to confirm that printing is to be performed with predetermined print settings. More specifically, when the display device 1003 determines that information about print settings is not included in the user's voice print instruction, the voice control device 1001 instructs the user to print with predetermined print settings. should be notified by voice. Of course, either the voice control device 1001 or the server 1006 may determine whether information regarding print settings is included. Further, as in the first embodiment, the user may be notified in the form of a question, and the user's reply to the question may be received to determine or change the print settings. Also in this embodiment, the print setting may be notified to the user by display instead of voice. Specifically, a control command may be transmitted from the voice control device 1001 or the server 1003 to the display device 1003 to cause the display device 1003 to display the print settings to be applied.

また、表示装置1003、サーバ1006、音声制御デバイス1001のいずれかが、必要な印刷設定の項目ごとに、指示中に情報が含まれているかを確認してもよい。そして、表示装置1003は、音声中に含まれてない項目について、表示装置1003、サーバ1006、音声制御デバイス1001のいずれかにあらかじめ登録された所定の印刷設定の値を適用して印刷データを生成することができる。 Further, any one of the display device 1003, the server 1006, and the voice control device 1001 may confirm whether information is included in the instruction for each required print setting item. Then, the display device 1003 applies predetermined print setting values registered in advance in any of the display device 1003, the server 1006, and the voice control device 1001 to generate print data for items not included in the voice. can do.

また、図14に示すように、複数の印刷設定を備えていることが好ましい。そして、その中から印刷指示に基づき所定の印刷設定を選択するとよい。さらに、1つのデータ種類に対して、複数の印刷設定を備えていてもよい。また、所定の印刷設定はユーザの指示により変更可能であることが好ましい。 Also, as shown in FIG. 14, it is preferable to have a plurality of print settings. Then, it is preferable to select a predetermined print setting from among them based on the print instruction. Furthermore, a plurality of print settings may be provided for one data type. Further, it is preferable that the predetermined print settings can be changed according to a user's instruction.

また、音声制御デバイス1001が、「表示装置1003に表示されている写真Aを印刷して」という声から印刷をリクエストしたユーザ名を特定できる場合、そのユーザ名を付加して音声データを生成しても構わない。 Further, when the voice control device 1001 can specify the name of the user who requested the printing from the voice saying "Print the photo A displayed on the display device 1003", the voice control device 1001 generates voice data by adding the user name. I don't mind.

また、印刷完了が通知された後であり、かつ、別の印刷データを使った印刷が指示される前に、ユーザが音声で部数の追加指示を行うことで、この追加の部数について、同じ画像データを使った再印刷を実行可能にすることもできる。さらに、印刷完了が通知された後であり、かつ、別の印刷データを使った印刷が指示される前に、ユーザが異なる印刷設定を音声で指示することで、同じ画像データを使った異なる印刷設定の再印刷を実行可能にすることもできる。 In addition, after the completion of printing is notified and before printing using different print data is instructed, the user gives an instruction to add the number of copies by voice. Reprinting with data can also be enabled. Furthermore, after the completion of printing is notified and before printing using different print data is instructed, the user can instruct different print settings by voice, thereby enabling different printing using the same image data. Reprinting of settings can also be enabled.

また、音声での指示中に印刷速度に関連する指示が含まれていた場合、表示装置1003、サーバ1006、音声制御デバイス1001のいずれかは、この指示に基づき適用する印刷設定を変更してもよい。また、表示装置1003、サーバ1006、音声制御デバイス1001のいずれかは、過去に受け付けた印刷指示中の設定値を解析することにより、ユーザの印刷設定に関する好みを反映するようにしてもよい。つまり解析結果に基づき、登録された所定の印刷設定の値を変更してもよい。 Further, if an instruction related to printing speed is included in the voice instruction, any one of the display device 1003, server 1006, and voice control device 1001 may change the print settings to be applied based on this instruction. good. Further, any one of the display device 1003, the server 1006, and the voice control device 1001 may reflect the user's preferences regarding print settings by analyzing the setting values in the print instructions received in the past. In other words, the registered predetermined print setting values may be changed based on the analysis result.

(その他の実施形態)
上述した実施形態では、表示装置1003に表示されている写真を印刷する形態について記載したが、他の形態で印刷が指示されても構わない。
(Other embodiments)
In the above-described embodiment, the form of printing the photograph displayed on the display device 1003 has been described, but printing may be instructed in another form.

例えば、ユーザが、ウェイクワードに続いて「ファイルAを印刷して」と話す。音声制御デバイス1001または印刷装置1801が「ファイルAを印刷して」という音声に対応する音声データをサーバ1006へ送信する。そしてサーバ1006は、ユーザ用に管理しているデータからファイルAという名称のデータを検索し、印刷データを生成しても構わない。 For example, the user may say "Print file A" following the wake word. Voice control device 1001 or printing device 1801 transmits voice data corresponding to voice "Print file A" to server 1006 . Then, the server 1006 may search for data named File A from the data managed for the user and generate print data.

また、上述した実施形態では、写真に対応する画像データを印刷するケースについて説明したが、印刷対象となるデータは画像データに限らず、文書データであっても構わない。 Further, in the above-described embodiment, the case of printing image data corresponding to a photograph has been described, but the data to be printed is not limited to image data, and may be document data.

また、上述した実施形態では、ユーザが発する声での印刷指示に従って印刷装置1004が印刷する形態について説明した。しかし、印刷装置1004は、パーソナルコンピュータにインストールされた印刷ソフトウェア(例えば、プリンタドライバ)に対する音声以外の指示により生成された印刷データに基づいて印刷処理を実行しても良い。なお、音声以外の指示とは、マウスを使った操作や、タッチパネルを使った操作により行われる指示である。 Further, in the above-described embodiment, the printing apparatus 1004 performs printing according to the user's vocal printing instruction. However, the printing apparatus 1004 may execute print processing based on print data generated by instructions other than voice to print software (for example, a printer driver) installed in a personal computer. Instructions other than voice are instructions that are performed using a mouse or a touch panel.

また、上述した実施形態では、近距離無線通信の一例としてBluetoothを挙げたが、その他の通信方式が使用されても良い。例えば、WiFiAwareがBluetoothの代わりに使用されても良い。 Also, in the above-described embodiments, Bluetooth is used as an example of short-range wireless communication, but other communication methods may be used. For example, WiFiAware may be used instead of Bluetooth.

上述した実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(CPU、MPU、プロセッサ等)がプログラムを読み出して実行する処理である。また、プログラムは、1つのコンピュータで実行させても、複数のコンピュータで連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、処理の一部または全部をASIC等のハードウェアで実現するようにしてもよい。また、CPUも1つのCPUで全ての処理を行うものに限らず、複数のCPUが適宜連携をしながら処理を行うものとしてもよい。 The above-described embodiments are also implemented by executing the following processes. That is, software (programs) that realize the functions of the above-described embodiments are supplied to the system or device via a network or various storage media. Then, the computer (CPU, MPU, processor, etc.) of the system or apparatus reads out and executes the program. Also, the program may be executed by one computer or may be executed by a plurality of computers in conjunction with each other. Further, it is not necessary to implement all of the above-described processing by software, and part or all of the processing may be implemented by hardware such as ASIC. Also, the CPU is not limited to a single CPU that performs all the processing, and a plurality of CPUs may perform the processing while appropriately cooperating.

1001 音声制御デバイス
1004 印刷装置
1001 voice control device 1004 printer

Claims (13)

サーバシステムと、印刷装置と、を含むシステムであって、
前記サーバシステムは、
音声制御デバイスに対して音声による印刷指示が行われた場合、第1の情報を取得する第1取得手段と、
前記取得された前記第1の情報に基づき、印刷対象データを取得する第2取得手段と、
を備え、
前記印刷装置は、
前記第2取得手段により取得された前記印刷対象データと、前記サーバシステムにあらかじめ登録された印刷設定と、に基づいて生成される印刷データを受信する受信手段と、
前記受信手段により受信された前記印刷データに基づいて印刷処理を実行する印刷手段と、
を備え、
前記音声制御デバイスは前記サーバシステムにユーザIDと関連付けて登録される第1処理と、前記印刷装置に対するユーザ指示に基づいて、前記印刷装置が前記サーバシステムより取得した所定の情報を前記音声制御デバイス及び前記印刷装置の外部に設けられた端末装置に送信する第2処理と、前記所定の情報に基づいて、前記端末装置が前記サーバシステムにリクエストを送信することにより、前記印刷装置が前記サーバシステムに前記ユーザIDと関連付けて登録される第3処理と、を含む登録処理に基づいて、前記音声制御デバイスと前記印刷装置とが関連付けられ、
前記音声制御デバイスと前記印刷装置とが関連付けられることにより、前記音声による印刷指示に基づく印刷データが前記印刷装置により受信されることを特徴とするシステム。
A system including a server system and a printing device,
The server system is
a first obtaining means for obtaining first information when a print instruction is issued by voice to a voice control device;
a second obtaining means for obtaining print target data based on the obtained first information;
with
The printing device
receiving means for receiving print data generated based on the print target data acquired by the second acquisition means and print settings registered in advance in the server system;
printing means for executing print processing based on the print data received by the receiving means;
with
The voice control device transmits predetermined information acquired by the printing device from the server system to the voice control device based on a first process registered in the server system in association with a user ID and a user instruction to the printing device. and a second process of transmitting a request to a terminal device provided outside the printing device ; the voice control device and the printing device are associated based on a registration process including a third process registered in association with the user ID in
2. A system according to claim 1, wherein print data based on said voice print instruction is received by said printing device by associating said voice control device with said printing device.
前記音声による印刷指示に含まれている印刷設定については、前記音声による印刷指示に含まれる印刷設定が適用されることにより、前記サーバシステムによって前記印刷データが生成されることを特徴とする請求項1に記載のシステム。 3. The print data is generated by the server system by applying the print settings included in the print instruction by voice with respect to the print settings included in the print instruction by voice. 1. The system according to 1. 前記サーバシステムは、複数の印刷設定が登録された登録手段をさらに備え、
前記複数の印刷設定の中から選択された印刷設定が適用されることにより、前記サーバシステムによって前記印刷データが生成されることを特徴とする請求項1又は2に記載のシステム。
The server system further comprises registration means in which a plurality of print settings are registered,
3. The system according to claim 1, wherein the print data is generated by the server system by applying a print setting selected from the plurality of print settings.
前記サーバシステムは、複数の印刷設定が登録された登録手段をさらに備え、
前記サーバシステムは、前記印刷対象データが第1のデータ種類の場合は、前記複数の印刷設定のうち第1の印刷設定を適用し、前記印刷対象データが前記第1のデータ種類と異なる第2のデータ種類の場合は、前記第1の印刷設定とは異なる第2の印刷設定を適用することを特徴とする請求項1乃至3のいずれか1項に記載のシステム。
The server system further comprises registration means in which a plurality of print settings are registered,
The server system applies a first print setting among the plurality of print settings when the print target data is of a first data type, and applies a second print setting different from the first data type to the print target data. 4. The system according to any one of claims 1 to 3, wherein a second print setting different from the first print setting is applied for a data type of .
前記サーバシステムは、前記あらかじめ登録された印刷設定を、ユーザ指示に応じて変更可能であることを特徴とする請求項1乃至4のいずれか1項に記載のシステム。 5. The system according to any one of claims 1 to 4, wherein the server system can change the pre-registered print settings in accordance with a user instruction. 前記印刷データの生成に必要な印刷設定は複数の項目からなり、
前記サーバシステムは、前記複数の項目のうち前記音声による印刷指示に含まれていない項目は前記あらかじめ登録された印刷設定を適用し、前記音声による印刷指示に含まれている項目は前記音声による印刷指示に含まれている印刷設定を適用することを特徴とする請求項1乃至5のいずれか1項に記載のシステム。
The print settings necessary for generating the print data consist of a plurality of items,
The server system applies the pre-registered print settings to items that are not included in the print instruction by voice among the plurality of items, and prints by voice for items that are included in the print instruction by voice. 6. A system according to any preceding claim, wherein the system applies print settings contained in the instructions.
前記サーバシステムは、コマンドを送信する送信手段をさらに備え、
前記送信手段は、印刷設定をユーザに音声で通知するためのコマンドを送信することを特徴とする請求項1乃至6のいずれか1項に記載のシステム。
The server system further comprises transmission means for transmitting commands,
7. The system according to any one of claims 1 to 6, wherein said transmission means transmits a command for notifying the user of print settings by voice.
前記サーバシステムは、過去に受け付けられた印刷指示を解析する解析手段をさらに備え、
前記サーバシステムは、前記解析手段による解析結果に基づき前記あらかじめ登録された印刷設定を変更することを特徴とする請求項1乃至7のいずれか1項に記載のシステム。
The server system further comprises analysis means for analyzing print instructions received in the past,
8. The system according to any one of claims 1 to 7, wherein the server system changes the pre-registered print settings based on the analysis result of the analysis means.
前記登録処理はさらに、前記端末装置が前記音声制御デバイスから送信される情報を取得する処理を含むことを特徴とする請求項1乃至8のいずれか1項に記載のシステム。 9. A system according to any preceding claim, wherein the registration process further comprises the terminal obtaining information transmitted from the voice control device. 前記登録処理はさらに、前記音声制御デバイスと通信可能な前記端末装置に対し、前記サーバシステムへログインするための情報が入力される処理を含むことを特徴とする請求項1乃至9のいずれか1項に記載のシステム。 10. The registration process further includes a process of inputting information for logging into the server system to the terminal device capable of communicating with the voice control device. The system described in paragraph. 前記サーバシステムへログインするための情報は前記ユーザIDとパスワードであることを特徴とする請求項10のいずれか1項に記載のシステム。11. The system according to claim 10, wherein the information for logging into said server system is said user ID and password. 前記音声制御デバイスと前記端末装置との間で、IEEE802.11規格シリーズに準拠した通信を実行可能であることを特徴とする請求項1乃至11のいずれか1項に記載のシステム。 12. The system according to any one of claims 1 to 11 , characterized in that communication conforming to the IEEE 802.11 series of standards can be performed between the voice control device and the terminal device. 前記音声制御デバイスと前記端末装置との間で、Bluetoothに準拠した通信を実行可能であることを特徴とする請求項1乃至12のいずれか1項に記載のシステム。 13. A system according to any one of the preceding claims, characterized in that Bluetooth compliant communication can be performed between the voice control device and the terminal device.
JP2020040363A 2020-03-09 2020-03-09 system Active JP7135022B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020040363A JP7135022B2 (en) 2020-03-09 2020-03-09 system
JP2022136426A JP7447203B2 (en) 2020-03-09 2022-08-30 Information processing equipment, voice control devices, printing equipment and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020040363A JP7135022B2 (en) 2020-03-09 2020-03-09 system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017167761A Division JP6704881B2 (en) 2017-08-31 2017-08-31 system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022136426A Division JP7447203B2 (en) 2020-03-09 2022-08-30 Information processing equipment, voice control devices, printing equipment and programs

Publications (3)

Publication Number Publication Date
JP2020107353A JP2020107353A (en) 2020-07-09
JP2020107353A5 JP2020107353A5 (en) 2020-11-26
JP7135022B2 true JP7135022B2 (en) 2022-09-12

Family

ID=71449228

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020040363A Active JP7135022B2 (en) 2020-03-09 2020-03-09 system
JP2022136426A Active JP7447203B2 (en) 2020-03-09 2022-08-30 Information processing equipment, voice control devices, printing equipment and programs

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022136426A Active JP7447203B2 (en) 2020-03-09 2022-08-30 Information processing equipment, voice control devices, printing equipment and programs

Country Status (1)

Country Link
JP (2) JP7135022B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051887A (en) 2001-08-06 2003-02-21 Minolta Co Ltd Control system and control method
JP2007028423A (en) 2005-07-20 2007-02-01 Ricoh Co Ltd Image processor, setting reporting method and program
JP2008197855A (en) 2007-02-13 2008-08-28 Ricoh Co Ltd Print setting processing device and recording medium
JP2011166781A (en) 2010-02-12 2011-08-25 Toshiba Corp Image processing apparatus and setting method used in the image processing apparatus
JP2014174664A (en) 2013-03-07 2014-09-22 Brother Ind Ltd Program and communication apparatus
CN105487828A (en) 2015-11-24 2016-04-13 珠海奔图电子有限公司 Printing control system and method
JP2017111775A (en) 2015-12-18 2017-06-22 キヤノン株式会社 System and control method thereof
JP2017130214A (en) 2017-02-23 2017-07-27 ブラザー工業株式会社 Terminal device and printer

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6098396B2 (en) 2013-06-28 2017-03-22 ブラザー工業株式会社 Terminal device and printer
JP6039602B2 (en) * 2014-04-04 2016-12-07 キヤノン株式会社 Printer registration device, display device, printer registration method, computer program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051887A (en) 2001-08-06 2003-02-21 Minolta Co Ltd Control system and control method
JP2007028423A (en) 2005-07-20 2007-02-01 Ricoh Co Ltd Image processor, setting reporting method and program
JP2008197855A (en) 2007-02-13 2008-08-28 Ricoh Co Ltd Print setting processing device and recording medium
JP2011166781A (en) 2010-02-12 2011-08-25 Toshiba Corp Image processing apparatus and setting method used in the image processing apparatus
JP2014174664A (en) 2013-03-07 2014-09-22 Brother Ind Ltd Program and communication apparatus
CN105487828A (en) 2015-11-24 2016-04-13 珠海奔图电子有限公司 Printing control system and method
JP2017111775A (en) 2015-12-18 2017-06-22 キヤノン株式会社 System and control method thereof
JP2017130214A (en) 2017-02-23 2017-07-27 ブラザー工業株式会社 Terminal device and printer

Also Published As

Publication number Publication date
JP2022180386A (en) 2022-12-06
JP7447203B2 (en) 2024-03-11
JP2020107353A (en) 2020-07-09

Similar Documents

Publication Publication Date Title
JP6704881B2 (en) system
JP7179929B2 (en) Voice control device, printing device, control method and program thereof
JP7071098B2 (en) Voice control system, control method and program
JP7146379B2 (en) Printing method, voice control system and program
JP7057647B2 (en) Voice control system, control method and program
JP6755834B2 (en) Systems and printers and servers Systems and control methods and programs
US10747477B2 (en) Print control system that transmit to a registered printing apparatus, a change instruction for changing a setting of the power of the registered printing apparatus, and related method
US11706359B2 (en) Print apparatus and control method for performing print processing using print data based on a predetermined content
JP2019096295A (en) Voice control system, control method, and program
US10937422B2 (en) Voice control system, control method, and non-transitory computer-readable storage medium storing program
JP7434519B2 (en) Printing control system and control method
JP7135022B2 (en) system
JP7338025B2 (en) Voice control device, printing device, control method and program thereof
JP7467022B2 (en) System and method for control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R151 Written notification of patent or utility model registration

Ref document number: 7135022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151