JP7455523B2 - 通信システム、制御方法およびプログラム - Google Patents

通信システム、制御方法およびプログラム Download PDF

Info

Publication number
JP7455523B2
JP7455523B2 JP2019124619A JP2019124619A JP7455523B2 JP 7455523 B2 JP7455523 B2 JP 7455523B2 JP 2019124619 A JP2019124619 A JP 2019124619A JP 2019124619 A JP2019124619 A JP 2019124619A JP 7455523 B2 JP7455523 B2 JP 7455523B2
Authority
JP
Japan
Prior art keywords
function
communication device
execute
voice
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019124619A
Other languages
English (en)
Other versions
JP2021013051A (ja
Inventor
政和 野本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019124619A priority Critical patent/JP7455523B2/ja
Priority to EP20182962.9A priority patent/EP3761204B1/en
Priority to US16/918,890 priority patent/US11521613B2/en
Priority to CN202010633977.2A priority patent/CN112181321B/zh
Publication of JP2021013051A publication Critical patent/JP2021013051A/ja
Application granted granted Critical
Publication of JP7455523B2 publication Critical patent/JP7455523B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • G06F3/129Remote printer device, e.g. being remote from client or server in server-printer device-client configuration, e.g. print flow goes from server to printer and then bidirectional from printer to client, i.e. the client does not communicate with the server
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102Entity profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/606Protecting data by securing the transmission between two devices or processes
    • G06F21/608Secure printing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/224Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/34Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/537Arrangements for indicating the presence of a recorded message, whereby the presence information might include a preview or summary of the message
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/10Push-to-Talk [PTT] or Push-On-Call services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、通信システム、制御方法およびプログラムに関する。
従来より、プリンタ等の通信装置に関する機能の実行指示がスマートスピーカ等の音声制御デバイスに対して音声で入力された場合に、当該実行指示に対応する機能を実行するサーバ等の情報処理装置を含む通信システムが知られている(特許文献1)。
特開2019-046102号公報
ところで、情報処理装置が、通信装置に関する機能を実行するためには、当該機能の実行の許可をユーザから事前に取得する必要がある。また、一部の機能については既に実行の許可が得られている状態であっても、通信装置に関する機能として、実行の許可がユーザからまだ得られていない新たな機能が追加される場合がある。上記のような通信システムが普及するにあたり、通信装置に関する機能として、実行の許可がユーザからまだ得られていない新たな機能が追加された場合の処理を適切に実行することが要望されている。
そこで本発明は、通信装置に関する機能として、実行の許可がユーザからまだ得られていない新たな機能が追加された場合の処理を適切に実行することを目的とする。
上述のような課題を解決するための本発明の通信システムは、通信装置に対する処理を管理する第1のサーバシステムと、音声制御デバイスを管理する第2のサーバシステムと、を含む通信システムであって、前記第2のサーバシステムにより管理されている前記音声制御デバイス用のアカウントにログインしている端末装置を介して、前記通信装置に関する第1の機能の前記第2のサーバシステムによる実行の許可を、ユーザから取得する取得手段と、前記取得手段により前記通信装置に関する前記第1の機能の前記第2のサーバシステムによる実行の許可を前記ユーザから取得した後、前記通信装置に関する所定の機能の実行指示が前記音声制御デバイスに対して音声で入力された際に、前記通信装置に関する前記第1の機能と異なる前記通信装置に関する第2の機能であって、前記第2のサーバシステムによる実行の許可を得ていない前記第2の機能が追加されていた場合、前記通信装置に関する前記第2の機能の前記第2のサーバシステムによる実行の許可を前記端末装置を介して取得するための処理を実行するように前記ユーザに促すためのメッセージを、前記音声制御デバイスにおいて音声で通知させるように制御する通知制御手段と、前記通知制御手段が前記メッセージを通知させるように制御した後であって、かつ、前記通信装置に関する前記第2の機能の前記第2のサーバシステムによる実行の許可を前記端末装置を介して取得する前であっても、前記音声制御デバイスに対して音声で入力された前記所定の機能の実行指示が、前記取得手段により既に実行の許可を取得している前記第1の機能の実行指示であった場合、当該実行指示された前記第1の機能に対応する前記第1のサーバシステムにおける処理を前記第1のサーバシステムに実行させ、かつ、当該実行指示された前記第1の機能に対応する前記通信装置における処理を前記通信装置に実行させるように制御する実行制御手段と、を有することを特徴とする。
本発明により、通信装置に関する機能として、実行の許可がユーザからまだ得られていない新たな機能が追加された場合の処理を適切に実行することができる。
通信システムの構成を示す図である。 音声制御デバイスのハードウェア構成図の概略を示すブロック図である。 各サーバのハードウェア構成図の概略を示すブロック図である。 通信装置のハードウェア構成図の概略を示すブロック図である。 端末装置のハードウェア構成図の概略を示すブロック図である。 登録処理を示すシーケンス図である。 音声指示により通信装置に関する機能を実行するための処理を示すシーケンス図である。 音声制御デバイスを用いた印刷処理のシーケンス図である。 ログイン画面の例を示す図である。 許可画面の例を示す図である。 案内メッセージ要否判定に利用されるテーブルを示す図である。 案内メッセージの生成方法の詳細を示すフローチャートである。 各案内メッセージの内容を示すテーブルを示す図である。 通知画面の例を示す図である。
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
(第1実施形態)
<システム構成>
図1に、本実施形態に係る通信システムの構成図の一例を示す。本実施形態のシステムは、例えば、音声制御デバイス101、音声制御デバイス管理サーバ(以下、管理サーバ)102、中継サーバ103、通信装置104、端末装置105、アクセスポイント(AP)106等で構成される。音声制御デバイス101は、例えば、スマートスピーカなどである。端末装置105は、例えば、スマートフォン、PC(Personal Computer)、タブレット端末、携帯電話、PDA(Personal Digital Assistant)等の任意の端末装置である。なお、以下では、端末装置105はスマートフォンである。通信装置104は、本実施形態における通信装置であり、インク等の記録剤を紙等の記録媒体に付加することで、記録媒体上に画像を形成する(印刷する)プリンタである。通信装置104は、複写機能、FAX機能、印刷機能等の複数の機能を備える複合機であってもよい。なお、本実施形態では、通信装置104は、インクジェット方式によって印刷を行う装置であるものとするが、この形態に限定されず、例えば、電子写真方式や熱昇華方式によって印刷を行う装置であっても良い。なお、通信装置として、本実施形態では、通信装置104を例示しているが、これに限定されない。例えば、複写機やファクシミリ装置、スマートフォン、携帯電話、タブレット端末、PDA、デジタルカメラ、音楽再生デバイス、ストレージ、プロジェクタ、PC等、印刷以外のサービスを提供可能な装置であっても良い。AP106は、例えば、無線LANルータである。AP106に接続している装置は、AP106を介してインターネットを利用可能となる。本実施形態では、音声制御デバイス101、通信装置104、端末装置105は、IEEE802.11規格シリーズに準拠した無線LANの無線通信方式に従ってAP106に無線接続する。
音声制御デバイス101、端末装置105は、AP106およびインターネットを介して管理サーバ102と通信可能である。通信装置104は、AP106およびインターネットを介して中継サーバ103と通信可能である。また、音声制御デバイス101と端末装置105は、AP106を介して互いに接続可能(通信可能)である。なお、図1に示すシステム図では、音声制御デバイス101と通信装置104、端末装置105は、同一のAPに接続してインターネットを利用可能な状態となっているが、この形態に限定さない。例えば、音声制御デバイス101と通信装置104、端末装置105は、それぞれ異なるAPに接続してインターネットを利用可能な状態となっても良い。また、APを利用せずに、例えばLTEや4G等の移動体通信網によって、インターネットを利用可能な状態となっても良い。
本実施形態において、管理サーバ102は、音声制御デバイス101のベンダーによって提供されるサーバであり、音声制御デバイス101に対する音声指示によって実行される処理を管理する。また、中継サーバ103は、通信装置104のベンダーによって提供されるサーバであり、インターネットを介して通信装置104に対して指示される処理を管理する。本実施形態では、中継サーバ103は印刷を実行可能な通信装置104を利用する機能(すなわち、印刷サービス)を提供する。なお印刷サービスには、通信装置104に印刷を実行させる機能に限られず、例えば、通信装置104にスキャン処理を実行させる機能等、他の機能も含まれうる。
なお本実施形態では、管理サーバ102と中継サーバ103がそれぞれ1台のサーバ(PC等の情報処理装置)で構成されているが、この形態に限定されない。複数台のサーバが連携して動作することで、管理サーバ102や中継サーバ103として機能しても良い。すなわち、管理サーバ102や中継サーバ103等のそれぞれのサーバシステムには、1又は複数のサーバが含まれていてよい。
図2は、音声制御デバイス101のハードウェア構成図の概略を示すブロック図である。音声制御デバイス101は、スピーカ201、CPU202、ROM203、マイクロフォン204、RAM205、外部記憶装置206、通信部207、近距離無線通信部208を有する。なお、図2乃至図4に示すブロックは、例えば内部バスを用いて相互に接続される。また、CPUはCentral Processing Unitの、ROMはRead Only Memoryの、RAMはRandom Access Memoryの頭字語である。なお、これらの構成は一例であり、各装置は、図示された以外のハードウェアを含んでもよい。また、図2乃至図4における複数のブロックが1つのブロックにまとめられてもよいし、1つのブロックが2つ以上のブロックに分割されてもよい。すなわち、各装置は、後述するような処理を実行可能な範囲で任意の構成をとることができる。
スピーカ201は、後述する処理により音声を発する。CPU202は、システム制御部であり、音声制御デバイス101の全体を制御するプロセッサーである。ROM203は、CPU202が実行する制御プログラムやデータテーブル、組み込みOS(Operating System)プログラム等の固定データを格納する。本実施形態では、ROM203に格納されている各制御プログラムは、ROM203に格納されている組み込みOSの管理下で、スケジューリングやタスクスイッチ、割り込み処理等のソフトウェア実行制御を行うために用いられる。マイクロフォン204は、音声制御デバイスの周囲の音声を受信する。例えば、ユーザが発した声を受信する。RAM205は、例えば、バックアップ電源を必要とするSRAM(Static RAM)等で構成される。なお、RAM205は、不図示のデータバックアップ用の一次電池によってデータが保持されるため、プログラム制御変数等のデータを揮発させずに格納することができる。また、音声制御デバイス101の設定情報や管理データ等を格納するメモリエリアもRAM205に設けられている。また、RAM205は、CPU202の主メモリ及びワークメモリとしても用いられる。外部記憶装置206は、アプリケーションソフトウェアを記憶する。
通信部207は、所定の無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。例えば、通信部207はアクセスポイントに無線接続することができる。また、通信部207は、一時的に使用されるアクセスポイントとして動作することもある。本実施形態で使用される無線通信は、IEEE802.11規格シリーズに準拠した無線LANの無線通信方式(Wi-Fi)に従って動作する能力を有してもよいし、他の無線通信方式に従って動作する能力を有してもよい。
近距離無線通信部208は、音声制御デバイス101と一定の近距離範囲内に存在する他の装置と近距離無線通信を実行する。なお、近距離無線通信部208は、通信部207と異なる無線通信方式によって通信を行う。本実施形態では、近距離無線通信部208は、Bluetooth(登録商標)規格に従って動作するものとする。
図5は、端末装置105のハードウェア構成図の概略を示すブロック図である。端末装置105は、一例として、入力インタフェース501、CPU502、ROM503、表示部504、RAM505、外部記憶装置506、通信部507、近距離無線通信部508を有する。なお、これらのブロックは、例えば内部バスを用いて相互に接続される。
CPU502は、システム制御部であり、装置の全体を制御する。RAM505は、例えばRAM205と同様に、バックアップ電源を必要とするDRAM(Dynamic RAM)等で構成される。RAM505は、CPU502の主メモリとワークメモリとしても用いられる。ROM503は、CPU502が実行する制御プログラムやデータテーブル、OSプログラム等の固定データを格納する。なお、本実施形態では、端末装置105は、音声制御デバイス101用のアプリケーションプログラム(以下、音声制御アプリケーション)をインストールして、ROM503に格納しているものとする。
表示部504は、LED(発光ダイオード)やLCD(液晶ディスプレイ)などから構成され、各種データに基づく画面を表示する。なお、表示部504は、タッチディスプレイ等で構成されることにより、ユーザから各種入力を受け付ける機能を有していても良い。すなわち、表示部504は、ユーザからのデータ入力や動作指示を受け付けるためのインタフェースであり、物理キーボードやボタン、タッチパネル等で構成される操作パネルであっても良い。通信部507は、上述の通信部207と同様の機能を有し、AP106を介して他の装置と無線接続することができる。近距離無線通信部508は、近距離無線通信部208と同じ無線通信方式を用いて、近距離無線通信部208との間で近距離無線通信を行うことができる装置である。
図3は、管理サーバ102および中継サーバ103のハードウェア構成図の概略を示すブロック図である。なお、本実施形態では、管理サーバ102および中継サーバ103がそれぞれ1台のサーバで構成されているが、複数台のサーバが連携して動作することで管理サーバ102や中継サーバ103に対応するサーバシステムが構築される形態であっても構わない。
CPU301は、以下の各部を制御するためのプロセッサーである。ディスク装置302は、CPU301が読み出すアプリケーションプログラム312やデータベース313やOSのほか各種ファイルを格納する。外部記憶メディア読取装置303は、SDカードなどの外部記憶媒体に格納されたファイルなどの情報を読み出すための装置である。メモリ304は、RAMなどで構成され、CPU301が必要に応じてデータの一時的格納やバッファリング等を行う。表示部305は、LED(発光ダイオード)やLCD(液晶ディスプレイ)などから構成され、各種データに基づく画面を表示する。操作部306は、ユーザが各種の入力操作を行うためのキーボードやマウスなどからなる。ネットワーク通信部307は、ネットワーク接続部308を介してインターネット等のネットワークと接続され、各種の通信を行う。なお、ネットワーク通信部307は有線LANや無線LANによって通信する。ネットワーク通信部307が有線LAN対応の場合のネットワーク接続部308は有線LANのケーブルを接続するためのコネクタであり、ネットワーク通信部307が無線LAN対応の場合のネットワーク接続部308はアンテナとなる。なお、ネットワーク接続部308が、有線LANおよび無線LANの両者に対応していても良い。USB(Universal Serial Bus)通信部310は、各種周辺装置とUSB接続部311を介して接続され、USB規格によって各種通信を行う。そして、上述の各部はバス309で相互に接続される。また、後述する管理サーバ102および中継サーバ103の処理は、CPU301が、処理に必要なプログラムを読み出して実行することで実現される。
図4は、通信装置104のハードウェア構成図の概略を示すブロック図である。
通信装置104において、印刷機能はプリンタ部401で、スキャナー機能はスキャナー部402で、ストレージ機能はメモリカード装着部403及びメモリカード404で実現される。
プリンタ部401は、外部から受信した画像データやメモリカード404に格納されている画像データに基づいて印刷を実行する。また、プリンタ部401は、インク残量等のインク情報や用紙残量等の用紙情報も管理している。
スキャナー部402は、原稿台(不図示)にセットされた原稿を光学的に読み取って電子データに変換し、更に指定されたファイル形式に変換した画像データを、ネットワーク経由で外部装置に送信、或いはHDD等の保存領域(不図示)に格納する。また、コピー機能は、原稿台に置かれた原稿をスキャナー部402で読み取って生成した画像データをプリンタ部401へ転送し、プリンタ部401が印刷用紙にその画像データに基づく画像を印刷することで実現される。
メモリカード装着部403に装着されたメモリカード404には、各種ファイルデータが格納される。このファイルデータは、ネットワークを介した外部装置から読み出して編集されることもある。また、外部装置からメモリカード404にファイルデータを格納することも可能である。
更に、通信装置104は、CPU405、プログラムメモリ406、ワークメモリ407、表示部408、操作部409、ネットワーク通信部410、ネットワーク接続部411、フラッシュメモリ412を備える。CPU405は、通信装置104内の各部を制御するためのプロセッサーである。プログラムメモリ406は、ROMなどで構成され、各種のプログラムコードや、中継サーバ103と通信するためのアプリケーション415が格納されている。またアプリケーション415はプリンタ部401にアクセスしてインク情報や用紙情報を取得する。ワークメモリ407は、RAMなどで構成され、各サービス実行時に画像データなどを一時格納したり、バッファリングしたりする。表示部408は、LED(発光ダイオード)やLCD(液晶ディスプレイ)などから構成され、各種データに基づく画面を表示する。操作部409は、ユーザが各種の入力操作を行うためのスイッチ等からなる。ネットワーク通信部410は、ネットワーク接続部411を介してインターネット等のネットワークと接続され、各種の通信を行う。なお、ネットワーク通信部410は有線LANや無線LANによって通信する。ネットワーク通信部410が有線LAN対応の場合のネットワーク接続部411は有線LANのケーブルを接続するためのコネクタであり、ネットワーク通信部410が無線LAN対応の場合のネットワーク接続部411はアンテナとなる。なお、ネットワーク接続部411が、有線LANおよび無線LANの両者に対応していても良い。本実施形態では、ネットワーク通信部410は、無線LANに対応しており、IEEE802.11規格シリーズに準拠した無線LANの無線通信方式に従ってAP106と接続するものとする。
フラッシュメモリ412は、ネットワーク通信部410が受信した画像データなどを格納するための不揮発性のメモリである。そして、上述した各部は、バス413で相互に接続される。また、後述する通信装置104の処理は、CPU405が、処理に必要なプログラムを読み出して実行することで実現される。
<音声制御デバイス101を用いた印刷処理>
図1で示したシステムにおいて、音声制御デバイス101を用いた印刷処理が実行される。まず、音声制御デバイス101を用いた印刷処理が実行されるために、管理サーバ102が各装置を紐づけて管理するための登録処理が実行される必要がある。登録処理について図6のシーケンス図を用いて説明する。なお、本シーケンスにおいて各装置が実行する処理は、各装置のCPUが、各装置のROM等に記憶されているプログラムを実行することにより実現される。なお、端末装置105によって実行されるプログラムは、音声制御アプリケーションである。
まず、管理サーバ102が、各装置を紐づけて管理するための登録処理について説明する。
登録処理が実行される前に、ユーザは、管理サーバ102が管理する、音声制御デバイス101用のユーザアカウント(以下、第1のアカウント)に、端末装置105の音声制御アプリケーションを用いてログインしておく。これにより、管理サーバ102は、端末装置105と、第1のアカウントとを紐づけて管理する。ひいては、管理サーバ102は、第1のアカウントに紐づけられている端末装置105の音声制御アプリケーションに関する情報を認識する。また、端末装置105は、第1のアカウントに関する情報(アカウント名やID、パスワード等)を認識する。
その後、S601において、音声制御デバイス101は、ユーザからの所定の操作を受け付けて、第1登録処理を実行するモードに移行する。具体的には、音声制御デバイス101は、自身が有するアクセスポイントを有効化する。
次にS602において、端末装置105は、音声制御アプリケーションが表示する画面に対する入力により、ユーザから登録処理の実行指示を受け付ける。
次にS603において、端末装置105は、音声制御デバイス101が有するアクセスポイントにWi-Fiによって接続する。
次にS604において、端末装置105は、音声制御デバイス101に接続させる外部アクセスポイントを特定する。具体的には、端末装置105は、周囲の外部アクセスポイントを検索して、発見された外部アクセスポイントのリストを表示する。そして、端末装置105は、リストのうちユーザから選択された外部アクセスポイントを特定する。なお、外部アクセスポイントの特定方法は、この形態に限定されない。例えば、端末装置105は、音声制御デバイス101が実行した検索により発見された外部アクセスポイントのリストを、音声制御デバイス101からWi-Fi接続を介して受信し、そのリストからユーザに選択された外部アクセスポイントを特定しても良い。また、例えば、端末装置105は、ユーザから登録処理の実行指示を受け付けた時に端末装置105が接続していた外部アクセスポイントを特定しても良い。
次にS605において、端末装置105は、S604で特定した外部アクセスポイントに関する情報や、上述した第1のアカウントに関する情報を、Wi-Fi接続を介して音声制御デバイス101に送信する。なお、端末装置105は、S605において情報を送信した後、音声制御デバイス101とのWi-Fi接続を切断して、S604で特定した外部アクセスポイントとのWi-Fi接続を確立しても良い。
なお、上述において、音声制御デバイス101は、第1登録処理に必要な情報をWi-Fiによって受信していたが、この形態に限定されない。例えば、音声制御デバイス101は、第1登録処理を実行するモードにおいて、Bluetooth機能を有効化し、端末装置105とのBluetooth接続によって、第1登録処理に必要な情報を受信しても良い。
次にS606において、音声制御デバイス101は、自身が有するアクセスポイントを無効化して、端末装置105とのWi-Fi接続を切断する。そして、音声制御デバイス101は、端末装置105から受信した外部アクセスポイントに関する情報に基づいて、当該外部アクセスポイントとWi-Fiによって接続する。なお、音声制御デバイス101は、外部アクセスポイントとのWi-Fi接続が成功した場合、その旨を音声で通知しても良い。
次にS607において、音声制御デバイス101は、外部アクセスポイントを介して管理サーバ102にアクセスし、管理サーバ102に、端末装置105から受信した第1のアカウントに関する情報及び、自身の識別情報を送信する。
次にS608において、管理サーバ102は、受信した情報に基づいて、音声制御デバイス101と第1のアカウントと紐づけて管理する。なお、既に管理サーバ102は、端末装置105と、第1のアカウントとを紐づけて管理している。そのため、S608により、音声制御デバイス101と端末装置105と、第1のアカウントとが紐づけられる。
次にS609において、端末装置105は、音声制御デバイス101を用いて利用するサービス(スキル)の登録を行う。本実施形態では、音声制御デバイス101を用いた印刷サービスが利用されるため、通信装置104に対応する印刷サービスが登録されるものとする。そのため、端末装置105は、通信装置104に対応する印刷サービスがユーザによって選択されたことを示す情報を、管理サーバ102に送信する。なおスキルの登録において、第1のアカウントと、印刷サービスに紐づいている中継サーバ103が管理するユーザアカウント(以下、第2のアカウント)とが紐づけられる。そのため以下の処理を、アカウントリンク処理という。
次にS610において、管理サーバ102は、受信した情報に基づいて、通信装置104に対応する印刷サービスと第1のアカウントと紐づけて管理する。すなわち、通信装置104に対応する印刷サービスが登録される。
次にS611において、管理サーバ102は、印刷サービスへのログイン用のURLを端末装置105に送信する。
次にS612において、端末装置105は、S611にて受信したURLを用いて、中継サーバ103にアクセスし、中継サーバ103にログイン画面情報を要求する。ログイン画面情報とは、第2のアカウントに、ログインするためのログイン画面を表示するための情報である。
次にS613において、中継サーバ103は、S612における要求に対する応答として、端末装置105に対し、ログイン画面情報を送信する。
次にS614において、端末装置105は、ログイン画面を表示する。なお、通信装置104を制御するPC等による第2アカウントへのログインが実行されていることで、予め中継サーバ103は、第2のアカウントと通信装置104とを紐づけて管理しているものとする。このとき表示されるログイン画面の例を、図9に示す。領域901は、第2のアカウントのIDを入力するための領域であり、領域902は、第2のアカウントにログインするためのパスワードを入力するための領域である。領域903は、第2のアカウントへのログインを指示するための領域である。
次にS615において、端末装置105は、領域903への操作を受け付ける。そして端末装置105は、領域901と領域902に入力されたログイン情報、第1のアカウントに関する情報及び、管理サーバ102に関する情報を、中継サーバ103に送信する。
次にS616において、中継サーバ103は、受信したログイン情報が正しいか否かを判定する。そして、受信したログイン情報が正しく、第2のアカウントへのログインが成功した場合、中継サーバ103は、端末装置105に対し、許可画面情報を送信する。許可画面情報とは、通信装置104に関する機能(言い換えれば、中継サーバ103を用いて実行可能な機能)の実行を管理サーバ102に許可するか否かの入力を受け付けるための画面である。なお受信したログイン情報が誤っており、第2のアカウントへのログインが失敗した場合、中継サーバ103は、端末装置105に対し、ログインが失敗したことを示す情報を送信する。端末装置105は、ログインが失敗したことを示す情報を受信した場合は、ログインが失敗したことや入力されたログイン情報を誤っていたことをユーザに通知した後、ログイン情報の入力を再び受け付ける。
次にS617において、端末装置105は、許可画面を表示する。このとき表示される許可画面の例を、図10(a)に示す。領域1001は、許可の確認対象である機能を示す領域である。許可の確認対象である機能は例えば、通信装置104に印刷を指示する機能、通信装置104にスキャン処理を指示する機能である。これらの機能の実行が許可された場合、管理サーバ102は、音声制御デバイス101に対するユーザ指示に基づいて、許可された機能を実行することが可能となる。領域1002は、通信装置104に関する機能の実行をユーザが管理サーバ102に許可しない場合に押下されるボタンである。また領域1003は、通信装置104に関する機能の実行をユーザが管理サーバ102に許可する場合に押下されるボタンである。
次にS618において、端末装置105は、領域1003への操作を受け付ける。そして端末装置105は、通信装置104に関する機能の実行が許可されたことを示す情報を中継サーバ103に送信する。
次にS619において、中継サーバ103は、S615で受信した管理サーバ102に関する情報に基づいて、管理サーバ102にアクセスする。そして、中継サーバ103は、第1のアカウントによるアクセスを許可するためのアクセストークン及び、第2のアカウントに関する情報を管理サーバ102に送信する。
次にS620において、管理サーバ102は、受信した情報に基づいて、第1のアカウントと第2のアカウントを紐づけて管理する。
次にS621において、管理サーバ102は、第1のアカウントと第2のアカウントとの紐づけが完了したことを端末装置105に通知する。
次にS622において、端末装置105は、S621の通知に基づいて、第1のアカウントと第2のアカウントとの紐づけが完了したこと通知するための通知画面を表示する。なお、領域1002への操作が受け付けられたことにより通信装置104に関する機能の実行が許可されなかった場合、端末装置105は、第1のアカウントと第2のアカウントとの紐づけが失敗したことを通知するための画面を表示する。
これにより、管理サーバ102は、各装置と各アカウントを紐づけて管理することが可能となり、本実施形態における通知処理において、いずれの情報をいずれの装置に送信すればよいかを認識できるようになる。
なお、上述において、端末装置105が実行する処理は、音声制御アプリケーションではなく、例えば端末装置105が備えるWebブラウザ等を介して実行されても良い。
音声制御デバイス101に対する音声指示により、通信装置104に関する機能を実行するための処理について、図7に示すシーケンス図を用いて説明する。なお、本シーケンスにおいて各装置が実行する処理は、各装置のCPUが、各装置のROM等に記憶されているプログラムを実行することにより実現される。また、本シーケンスにおいて各装置が実行する処理は、図6で説明した登録処理が完了している状態で、実行されるものとする。
まずユーザは、音声制御デバイス101の近辺で、音声制御デバイス101に対応する第1ウェイクワードを音声で発する。これにより、音声制御デバイス101は、ユーザからの音声指示を受け付けるモードに移行する。第1ウェイクワードは具体的には例えば、音声制御デバイスの名前である。その後、ユーザは、通信装置104に関する機能の実行指示として、第2ウェイクワードを音声で発する。第2ウェイクワードは具体的には例えば、「プリンタを起動して」というワードである。
そのため、まずS701にて、音声制御デバイス101は、マイクロフォン204によってユーザの音声を受信することで、通信装置104に関する機能の実行指示(第2ウェイクワード)を受け付ける。
次に、S702にて、音声制御デバイス101は、インターネットを介して、管理サーバ102に、S701で受け付けた音声に基づく音声データを送信する。音声データを送信するとき、音声制御デバイス101は、マイクロフォン204によって受信したユーザの音声をそのまま音声データとして送信しても良いし、ユーザの音声をテキストデータに変換して、テキストデータを音声データとして送信しても良い。
次に、S703にて、管理サーバ102は、受信した音声データを解析する。具体的には、管理サーバ102は、第2ウェイクワードに対応する音声データを解析して、音声制御デバイス101に紐づけられている第1のアカウントや、中継サーバ103、第2のアカウントを特定する。
ところで管理サーバ102は、図6の処理において、通信装置104に関する機能の実行許可をユーザから得ている。しかしながら例えば、通信装置104や中継サーバ103、管理サーバ102のアップデートにより、通信装置104に関する機能として新たな機能が追加されることがある。なお本実施形態では、管理サーバ102のアプリケーションプログラムがアップデートされるものとする。アップデートが行われた場合、管理サーバ102は、追加された機能の実行を管理サーバ102を介して実現するためには、当該機能の実行許可をユーザから得る必要がある。なお、新しく追加される機能とは例えば、通信装置104の情報を取得し、それを音声制御デバイス101で音声通知する機能や、通信装置104に対してメンテナンス処理の実行を指示する機能である。また例えば、通信装置104にコピー処理の実行を指示する機能や、通信装置104の電源状態の切り替えを指示する機能である。なおアップデートには、通信装置104に関する機能として新たな機能が追加される第1アップデートと、通信装置104に関する機能として新たな機能が近日中に追加される(第1アップデートが近日中に行われる)ことを示す第2アップデートが含まれる。アップデートが行われた場合、当該アップデートに関する通知が行われることが好ましい。具体的には例えば、第1アップデートが行われたことにより、通信装置104を利用する機能のなかに第1のアカウントに対応するユーザからまだ実行許可を得ていない機能がある場合、実行許可を行うようユーザを促すための通知が行われることが好ましい。また例えば、第2アップデートが行われ、通信装置104に関する機能として新たな機能が近日中に追加される場合は、通信装置104に関する機能として新たな機能が近日中に追加されることをユーザに認識させるための通知が行われることが好ましい。
そこで、S704にて、管理サーバ102は、アップデートに関する通知を行うか否かを判定する。なお本実施形態では、アップデートに関する通知は、アップデートに関する案内メッセージの送信によって行われる。そのため本判定を、案内メッセージ要否判定という。
案内メッセージ要否判定における具体的な判定方法について説明する。管理サーバ102は、図11に示すようなテーブルをデータベース313内に有している。当該テーブルにおいてユーザID1101は、中継サーバ103が提供するサービスを利用するアカウントを示すIDである。最終利用日1102は、中継サーバ103が提供するサービスを介して、通信装置104に関する機能を各アカウントが最後に実行した日時である。更新コード1103は、中継サーバ103が提供するサービスを介して、通信装置104に関する機能を、最終アップデート日後に各アカウントが実行したか否かを示すフラグである。最終アップデート日とは、一番直近に行われたアップデートにより、通信装置104に関する機能として新たな機能が最後に追加された日時である。なお管理サーバ102は、最終アップデート日を示す情報を、例えばデータベース313内に有している。例えば管理サーバ102は、通信装置104に関する機能が実行された日時と、最終アップデート日とを比較し、更新コード1103を適宜更新する。更新コード1103が「1」である場合、対象のアカウントが、通信装置104に関する機能を最終アップデート日後に実行したことが示される。言い換えれば、対象のアカウントが通信装置104に関する機能を最後に(前回)実行した日時以降にアップデートが行われていないことが示される。一方、更新コード1103が「2」である場合、対象のアカウントが、通信装置104に関する機能を最終アップデート日後に実行していないことが示される。言い換えれば、対象のアカウントが通信装置104に関する機能を最後に(前回)実行した日時以降にアップデートが行われたことが示される。対象のアカウントが、通信装置104を利用する機能を最終アップデート日後に実行していない場合、新たに追加された機能の実行許可は、対象のアカウントから得られていないことになる。そのため本実施形態では、管理サーバ102は、S704における判定を、更新コード1103の値に基づいて実行する。具体的には管理サーバ102は、更新コード1103が「1」であり、第1のアカウントが通信装置104に関する機能を最終アップデート日後に実行している場合、S704における判定を、NOと判定する。また管理サーバ102は、更新コード1103が「2」であり、第1のアカウントが通信装置104に関する機能を最終アップデート日後に実行していない場合、S704における判定を、YESと判定する。なお本判定の詳細はこの形態に限定されない。例えば管理サーバ102は、最終アップデート日において追加された機能を含む、通信装置104を利用するすべての機能の実行許可を対象のアカウントから得ているかどうかを直接的に示すフラグを有していても良い。そして管理サーバ102は、すべての機能の実行許可を対象のアカウントから得ている場合、S704においてNOと判定し、すべての機能の実行許可を対象のアカウントから得ていない場合、S704においてYESと判定しても良い。
S704における判定の結果がNOだった場合の処理について説明する。
S705にて、管理サーバ102は、中継サーバ103に、通信装置104に関する機能の実行指示が受け付けられたことを通知する。なお、このとき送信される情報には、第2のアカウントを示す情報が含まれる。
次に、S706にて、中継サーバ103は、印刷サービスの実行が要求されていることを特定する。また、S705で受信された情報に基づいて第2のアカウントを特定し、いずれの通信装置104に関する機能を実行するかを特定する。
次に、S707にて、通信装置104に関する機能の一覧を通知するための通知情報を、管理サーバ102に送信する。なお、本実施形態では、音声制御デバイス101による通知と、端末装置105による通知の両方が行われるため、中継サーバ103は、音声制御デバイス101用の通知情報と端末装置105用の通知情報のそれぞれを送信する。なお本実施形態において、音声制御デバイス101によって音声で通知されるメッセージの内容は、音声制御デバイス101用の通知情報によって決定される。すなわち、中継サーバ103が、音声制御デバイス101によって音声で通知されるメッセージの内容を制御している。また、同様に、端末装置105によって画面で通知されるメッセージや図の内容は、端末装置105用の通知情報によって決定される。すなわち、中継サーバ103が、端末装置105によって画面で通知されるメッセージや図の内容を制御している。
次に、S708にて、管理サーバ102は、受信した通知情報に基づいて、通信装置104に関する機能の一覧を音声で通知するための音声通知情報を、音声制御デバイス101に送信する。
次に、S709にて、音声制御デバイス101は、受信した音声通知情報に基づいて、通信装置104を利用する機能の一覧を、スピーカ201を用いて音声で通知する。通信装置104に関する機能の例は、上述した通りである。なおこのとき、通信装置104を利用する機能の一覧ではなく、通信装置104を利用する機能の一部のみ通知されても良い。また例えば、通信装置104を利用する機能の詳細が通知されても良い。例えば、通信装置104を利用する機能が、通信装置104に印刷を実行させる機能である場合、当該機能により印刷されるコンテンツ(ニュース、算数の問題、パズル等)が通知されても良い。
次に、S710にて、管理サーバ102は、受信した通知情報に基づいて、通信装置104に関する機能を画面表示によって通知するための画面通知情報を、第1のアカウントに紐づいている端末装置105に送信する。なお、S708よりも前にS710が実行されても良い。
次に、S711にて、端末装置105は、受信した画面通知情報に基づいて、通信装置104に関する機能を通知するための通知画面を、表示部504に表示する。具体的には例えば、図14(a)に示すような通知画面1400を表示する。なお本実施形態では、端末装置105は、音声制御デバイス101が音声で通知する内容よりも詳細な内容を、通知画面によってユーザに通知する。通知画面1400において、通信装置104に関する機能を通知するための領域1401と、印刷機能によって印刷可能なコンテンツの種類を通知するための領域1402が含まれる。なお、S709において音声通知される内容と、S711にて画面通知される内容とが異なっていても良い。具体的には例えば、領域1401に含まれるメッセージは、S709における音声通知によっても通知されるが、領域1402に含まれるメッセージは、S709における音声通知によっては通知されなくとも良い。なお通知画面には、領域1401や領域1402に表示されるメッセージのような、通信装置104に関する情報を通知するためのメッセージに限らず、通信装置104に関する情報を通知するための図が含まれても良い。
これにより、ユーザは、通信装置104に関する機能を把握し、通信装置104に関する機能の実行を指示することができる。
S704における判定の結果がYESだった場合の処理について説明する。
S712にて、管理サーバ102は、図11に示すテーブルの情報を更新する。具体的には管理サーバ102は、第1アカウントに対応する更新コード1103を「2」から「1」に更新する。
次にS713にて、管理サーバ102は、案内メッセージを生成する。案内メッセージの生成方法の詳細については後述する。なお本実施形態では、案内メッセージを含む通知は、音声制御デバイス101による音声通知においてのみ行われるものとするが、この形態に限定されない。案内メッセージを含む通知が、端末装置105による画面通知においても実行されてよい。その場合、管理サーバ102は、音声制御デバイス101用の案内メッセージと端末装置105用の案内メッセージのそれぞれを生成する。そして、端末装置105用の案内メッセージが、第1のアカウントに紐づいている端末装置105に送信されることで、案内メッセージの内容を含む通知画面の表示が端末装置105において実行される。また例えば、音声制御デバイス101による音声通知が行われず、端末装置105による画面通知のみが行われる形態であっても良い。
次にS714にて、管理サーバ102は、音声制御デバイス101用の案内メッセージを、音声制御デバイス101に送信する。
次にS715にて、音声制御デバイス101は、S714で受信した案内メッセージの内容を、スピーカ201を用いて音声で通知する。
なお、案内メッセージの内容を含む通知により、アップデートにより追加された機能の実行許可がユーザに促されるが、アップデートにより追加された機能の実行許可は、S609以降のアカウントリンク処理が再び実行されることで行われる。そのため、案内メッセージは、例えば、アカウントリンク処理の実行をユーザに促すものであっても良い。アップデートにより許可の確認対象である機能が追加された場合に表示される許可画面の例を、図10(b)に示す。領域1004には、アップデート前に表示されていた機能に加えて、アップデートにより追加された機能が表示される。この許可画面において領域1003への操作が受け付けられた場合、アップデートにより追加された機能を含めた、現在有効な機能全ての実行が許可される。
なお後述するように本実施形態では、管理サーバ102は、アップデートによりまだ許可されていない機能があったとしても、既に許可済みの機能については実行可能である。そのため各装置は、S704における判定の結果がYESだった場合の処理においても、S704における判定の結果がNOだった場合の処理を実行しても良い。
S713における案内メッセージの生成方法の詳細を、図12のフローチャートを用いて説明する。なお、図12のフローチャートが示す処理は、管理サーバ102のCPU301が、ディスク装置302等に記憶されているプログラムをメモリ304等に展開して実行することにより実現される。
まずS1201にて、CPU301は、S701で実行指示を音声によって音声制御デバイス101に入力したユーザが、通信装置104の管理権限があるユーザか否かを判定する。なお管理サーバ102は、通信装置104の管理権限があるユーザが発する音声の特徴を予め認識しているものとする。そしてCPU301は、予め認識されている音声と、S701で入力された音声とを比較することで、本判定を行う。CPU301は、判定の結果がYESだった場合、S1205に進み、判定の結果がNOだった場合、S1202に進む。
S1201における判定の結果がNOだった場合の処理について説明する。
S1202にて、CPU301は、通信装置104に関する機能が前回実行された日時以降に行われたアップデートに、第1アップデートが含まれるか否かを判定する。なお判定の結果がNOのケースとは、通信装置104に関する機能が前回実行された日時以降に行われたアップデートが全て第2アップデートであるケースである。CPU301は、判定の結果がYESだった場合、S1204に進み、判定の結果がNOだった場合、S1203に進む。
S1203にて、CPU301は、機能が今後追加されることを第1アカウントのユーザに通知するための案内メッセージ(通知メッセージ)R1を生成する。案内メッセージR1は、機能が追加された場合に当該機能の実行許可を通信装置104の管理権限があるユーザに行わせるように、第1アカウントのユーザを促すためのメッセージでもある。なお管理サーバ102は、図13に示すような、各案内メッセージの内容を示すテーブルをデータベース313内に有している。当該テーブルにおいてメッセージID1301は、各案内メッセージに対応するIDを示す。案内メッセージ1302は、各案内メッセージによって通知される内容を示す。CPU301は、図13に示すテーブルを参照し、案内メッセージR1を生成する。なお案内メッセージR1は、機能が今後追加された場合にアカウントリンク処理を通信装置104の管理権限があるユーザに行わせるように、第1アカウントのユーザを促すためのものであっても良い。また案内メッセージR1は、今後の機能の追加(すなわち今後のアップデート)が行われる日時を通知するためのものであっても良い。その後、CPU301は、本フローチャートの処理を終了し、S714に進む。
S1204にて、CPU301は、アップデートにより追加された機能の実行許可を通信装置104の管理権限があるユーザに行わせるように、第1アカウントのユーザに通知するための案内メッセージR2を生成する。本処理も、図13に示すテーブルが参照されることにより実行される。なお案内メッセージR2は、アカウントリンク処理を通信装置104の管理権限があるユーザに行わせるように、第1アカウントのユーザを促すためのものであっても良い。その後、CPU301は、本フローチャートの処理を終了し、S714に進む。
S1201における判定の結果がYESだった場合の処理について説明する。
S1205にて、CPU301は、通信装置104に関する機能が前回実行された日時以降に行われたアップデートに、第1アップデートが含まれるか否かを判定する。CPU301は、判定の結果がYESだった場合、S1207に進み、判定の結果がNOだった場合、S1206に進む。
S1206にて、CPU301は、機能が今後追加されることを第1アカウントのユーザに通知したり、機能が追加された場合に当該機能の実行許可を行うように、第1アカウントのユーザを促したりするための案内メッセージR3を生成する。本処理も、図13に示すテーブルが参照されることにより実行される。なお案内メッセージR3は、機能が今後追加された場合にアカウントリンク処理を行うように、第1アカウントのユーザを促すためのものであっても良い。また案内メッセージR3は、今後の機能の追加(すなわち今後のアップデート)が行われる日時を通知するためのものであっても良い。その後、CPU301は、本フローチャートの処理を終了し、S714に進む。
S1207にて、CPU301は、通信装置104において前回メンテナンスが実行されてから所定の時間が経過したか否かを判定する。CPU301は、判定の結果がYESだった場合、S1208に進み、判定の結果がNOだった場合、S1209に進む。なお本判定は、第1アップデートにより、通信装置104に対してメンテナンス処理の実行を指示する機能が新たに追加される場合に実行される。
S1208にて、CPU301は、通信装置104に対してメンテナンス処理の実行を指示する機能が新たに追加されたことを第1アカウントのユーザに通知するための案内メッセージR4を生成する。案内メッセージR4は、新たに追加された機能の実行許可を行うように、第1アカウントのユーザを促したりするためのメッセージでもある。本処理も、図13に示すテーブルが参照されることにより実行される。なお案内メッセージR4は、アカウントリンク処理を行うように、第1アカウントのユーザを促すためのものであっても良い。その後、CPU301は、本フローチャートの処理を終了し、S714に進む。
S1209にて、CPU301は、通信装置104に関する機能が新たに追加されたことを第1アカウントのユーザに通知したり、新たに追加された機能の実行許可を行うように、第1アカウントのユーザを促したりするための案内メッセージR5を生成する。本処理も、図13に示すテーブルが参照されることにより実行される。なお案内メッセージR5には、新たに追加された機能の詳細を示す情報が含まれていてもいなくとも良い。また案内メッセージR5は、アカウントリンク処理を行うように、第1アカウントのユーザを促すためのものであっても良い。その後、CPU301は、本フローチャートの処理を終了し、S714に進む。
このような形態とすることにより、アップデートの内容や通信装置104の状態に応じた適切な案内メッセージを生成することができる。
なお上述のように、アップデートの内容や通信装置104の状態に応じて案内メッセージの内容が変化する形態に限定されない。例えば、アップデートの内容や通信装置104の状態に応じず、一律同じ案内メッセージ(例えば、案内メッセージR5)が生成される形態であっても良い。また、生成される案内メッセージの特定に当たり、上述の判定(S1201、S1202、S1205、1207)の全てが実行されなくとも良い。
次に、音声制御デバイス101を用いた印刷処理について説明する。音声制御デバイス101を用いた印刷処理のシーケンス図を図8に示す。なお、本シーケンスにおいて各装置が実行する処理は、各装置のCPUが、各装置のROM等に記憶されているプログラムを実行することにより実現される。また、本シーケンスにおいて各装置が実行する処理は、図7で説明した処理が完了した状態で、実行されるものとする。なお本実施形態では、アップデートにより、通信装置104を利用する機能に新たな機能が追加された場合であっても、第1アカウントと第2アカウントの紐づけは解消されない。そのため本通信システムは、例えば図7の処理におけるS704においてYESと判定され、新しく追加された機能の実行許可が得られていない状態であっても、既に許可されている機能は実行可能である。すなわち本通信システムは、既に印刷機能についてユーザの許可が得られていれば、新しく追加された機能の実行許可が得られていない状態であっても、以下に示す処理を実行可能である。
まずユーザは、通信装置104に関する機能のうち、印刷機能を利用するために、印刷指示として、印刷機能に対応する第3ウェイクワードを音声で発する。
そのため、まずS801にて、音声制御デバイス101は、マイクロフォン204によってユーザの音声を受信することで、印刷指示(第3ウェイクワード)を受け付ける。
次に、S802にて、音声制御デバイス101は、インターネットを介して、管理サーバ102に、S801で受け付けた音声に基づく音声データを送信する。
次に、S803にて、管理サーバ102は、中継サーバ103に、受信した音声データに基づく情報を送信する。
次に、S804にて、中継サーバ103は、S803で受信した情報を解析して、印刷機能の実行が要求されていることを特定する。
次に、S805にて、中継サーバ103は、印刷機能によって印刷可能なコンテンツの種類を音声によって通知するための、音声制御デバイス101用の通知情報を、管理サーバ102に送信する。なお、本実施形態では、印刷機能によって印刷可能なコンテンツの種類は、音声制御デバイス101による音声通知によってしか通知されないが、端末装置105による画面通知によって通知されても良い。すなわち、中継サーバ103は、印刷機能によって印刷可能なコンテンツの種類を画面表示によって通知するための、端末装置105用の通知情報をさらに送信しても良い。
次に、S806にて、管理サーバ102は、受信した通知情報に基づいて、印刷機能によって印刷可能なコンテンツの種類を音声で通知するための音声通知情報を、音声制御デバイス101に送信する。
次に、S807にて、音声制御デバイス101は、受信した音声通知情報に基づいて、印刷機能によって印刷可能なコンテンツの種類を、スピーカ201を用いて音声で通知する。
これにより印刷機能によって印刷可能なコンテンツの種類を把握したユーザは、コンテンツの名前を発することで、印刷機能によって印刷するコンテンツを選択する。なお、このとき、ユーザは、コンテンツの印刷における印刷設定(印刷部数、印刷の色設定等)を音声で発しても良い。
そのため、S808にて、音声制御デバイス101は、マイクロフォン204によってユーザの音声を受信することで、印刷機能によって印刷するコンテンツの選択や印刷設定を受け付ける。
次に、S809にて、音声制御デバイス101は、インターネットを介して、管理サーバ102に、S808で受け付けた音声に基づく音声データを送信する。
次に、S810にて、管理サーバ102は、中継サーバ103に、受信した音声データに基づく情報を送信する。
次に、S811にて、中継サーバ103は、S810で受信した情報を解析して、印刷機能によって印刷するコンテンツを特定する。
次に、S812にて、印刷対象のコンテンツを印刷するためのバイナリ形式の印刷データ、及び第2のアカウントに紐づいている通信装置104に印刷対象のコンテンツの印刷を実行させるための印刷ジョブを生成する。生成された印刷データは、中継サーバ103の所定の格納領域に保存される。また、生成された印刷ジョブには、中継サーバ103の所定の格納領域に保存された印刷データを取得するための情報(URL等)が含まれる。
次に、S813にて、中継サーバ103は、生成した印刷ジョブを、インターネットを介して、第2のアカウントに紐づいている通信装置104に送信する。
次に、S814にて、通信装置104は、受信した印刷ジョブに基づいて、中継サーバ103の所定の格納領域に保存された印刷データを取得するための要求を、中継サーバ103に送信する。
次に、S815にて、中継サーバ103は、S814で受信した要求に応答して、S812で生成した印刷データを通信装置104に送信する。なお、中継サーバ103は、印刷ジョブと印刷データとを別々に通信装置104に送信するのではなく、印刷データを含めた印刷ジョブを、S813にて送信しても良い。
次に、S816にて、通信装置104は、受信した印刷ジョブ及び印刷データに基づく印刷の実行を開始する。なお、通信装置104は、印刷中にエラーが発生した場合は、通信装置104がエラー状態であることを示す状態情報を、中継サーバ103に送信する。
次に、S817にて、中継サーバ103は、通信装置104による印刷が開始されると、選択されたコンテンツが通信装置104によって印刷されていることを通知するための通知情報を、管理サーバ102に送信する。なお、本実施形態では、音声制御デバイス101による通知と、端末装置105による通知の両方が行われるため、中継サーバ103は、音声制御デバイス101用の通知情報と端末装置105用の通知情報のそれぞれを送信する。
次に、S818にて、管理サーバ102は、受信した通知情報に基づいて、選択されたコンテンツが通信装置104によって印刷されていることを音声で通知するための音声通知情報を、音声制御デバイス101に送信する。
次に、S819にて、音声制御デバイス101は、受信した音声通知情報に基づいて、選択されたコンテンツが通信装置104によって印刷されていることを、スピーカ201を用いて音声で通知する。
次に、S820にて、管理サーバ102は、受信した通知情報に基づいて、選択されたコンテンツが通信装置104によって印刷されていることを画面表示によって通知するための画面通知情報を、第1のアカウントに紐づいている端末装置105に送信する。なお、S818よりも前にS820が実行されても良い。
次に、S821にて、端末装置105は、受信した画面通知情報に基づいて、選択されたコンテンツが通信装置104によって印刷されていることを通知するための通知画面を、表示部504に表示する。具体的には例えば、図14(b)に示すような通知画面1403を表示する。なお本実施形態では、端末装置105は、音声制御デバイス101が音声で通知する内容よりも詳細な内容を、通知画面によってユーザに通知する。通知画面1403において、選択されたコンテンツが通信装置104によって印刷されていることを通知するための領域1404と、印刷指示を実行するための、第3ウェイクワードと異なるウェイクワードを通知するための領域1405が含まれる。本実施形態では、領域1404に含まれるメッセージは、S819における音声通知によっても通知されている。しかしながら、領域1405に含まれるメッセージは、S819における音声通知によっては通知されず、S821における画面通知によってのみ通知される。
その後、印刷ジョブに基づく印刷が完了したならば、S822にて、通信装置104は、印刷が完了した状態であることを示す印刷完了状態情報を、中継サーバ103に送信する。
このようにして、通信装置104は、音声制御デバイス101に対する音声での印刷指示をトリガーに、印刷を実行することができる。
なお、S822の後、中継サーバ103は、印刷完了状態情報に基づいて、印刷が完了したことを通知するための通知情報を、音声制御デバイス101や端末装置105に送信しても良い。
このような形態とすることにより、ユーザは、音声制御デバイス101に対する音声指示により、通信装置104を制御することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーまたは回路のネットワークを含みうる。
101 音声制御デバイス
102 管理サーバ
103 中継サーバ
104 通信装置
105 端末装置

Claims (12)

  1. 通信装置に対する処理を管理する第1のサーバシステムと、音声制御デバイスを管理する第2のサーバシステムと、を含む通信システムであって、
    前記第2のサーバシステムにより管理されている前記音声制御デバイス用のアカウントにログインしている端末装置を介して、前記通信装置に関する第1の機能の前記第2のサーバシステムによる実行の許可を、ユーザから取得する取得手段と、
    前記取得手段により前記通信装置に関する前記第1の機能の前記第2のサーバシステムによる実行の許可を前記ユーザから取得した後、前記通信装置に関する所定の機能の実行指示が前記音声制御デバイスに対して音声で入力された際に、前記通信装置に関する前記第1の機能と異なる前記通信装置に関する第2の機能であって、前記第2のサーバシステムによる実行の許可を得ていない前記第2の機能が追加されていた場合、前記通信装置に関する前記第2の機能の前記第2のサーバシステムによる実行の許可を前記端末装置を介して取得するための処理を実行するように前記ユーザに促すためのメッセージを、前記音声制御デバイスにおいて音声で通知させるように制御する通知制御手段と、
    前記通知制御手段が前記メッセージを通知させるように制御した後であって、かつ、前記通信装置に関する前記第2の機能の前記第2のサーバシステムによる実行の許可を前記端末装置を介して取得する前であっても、前記音声制御デバイスに対して音声で入力された前記所定の機能の実行指示が、前記取得手段により既に実行の許可を取得している前記第1の機能の実行指示であった場合、当該実行指示された前記第1の機能に対応する前記第1のサーバシステムにおける処理を前記第1のサーバシステムに実行させ、かつ、当該実行指示された前記第1の機能に対応する前記通信装置における処理を前記通信装置に実行させるように制御する実行制御手段と、
    を有することを特徴とする通信システム。
  2. 前記通知制御手段で前記メッセージを通知させるように制御した後、前記取得手段は、前記通信装置に関する前記第1の機能および前記第2の機能についての前記第2のサーバシステムによる実行の許可を受け付けるための画面を前記端末装置に表示させ、前記端末装置に表示させた画面を介して、前記通信装置に関する前記第1の機能および前記第2の機能についての前記第2のサーバシステムによる実行の許可を、前記ユーザから取得する、ことを特徴とする請求項1に記載の通信システム。
  3. 前記通知制御手段は、前記メッセージを、前記音声制御デバイスにおいて音声通知させるとともに、前記端末装置において画面通知させるように制御することを特徴とする請求項1または2に記載の通信システム。
  4. 記音声制御デバイスに対して音声で前記所定の機能の実行指示を入力したユーザが、前記通信装置の管理権限を有さない場合、前記通知制御手段により通知される前記メッセージは、前記第2の機能の前記第2のサーバシステムによる実行の許可を、前記通信装置の管理権限があるユーザに行わせるように促すためのメッセージであることを特徴とする請求項1乃至3のいずれか1項に記載の通信システム。
  5. 前記第2の機能の内容に基づいて、前記メッセージの内容が変化することを特徴とする請求項乃至4のいずれか1項に記載の通信システム。
  6. 前記通信装置に関する前記第1の機能および前記第2の機能には、前記通信装置が実行可能な処理を前記通信装置に実行させる機能、前記通信装置の状態に関する情報を取得する機能のうち少なくとも1つが含まれることを特徴とする請求項1乃至のいずれか1項に記載の通信システム。
  7. 前記通信装置が実行可能な処理には、印刷処理、スキャン処理、コピー処理、メンテナンス処理のうち少なくとも1つが含まれることを特徴とする請求項に記載の通信システム。
  8. 前記第2のサーバシステム内の所定のアプリケーションプログラムがアップデートされることにより、前記第2の機能が追加されることを特徴とする請求項1乃至のいずれか1項に記載の通信システム。
  9. 前記第1のサーバシステムおよび前記第2のサーバシステムは、1又は複数の情報処理装置によって構成されることを特徴とする請求項1乃至のいずれか1項に記載の通信システム。
  10. 通信装置に対する処理を管理する中継サーバと通信可能であり、かつ、音声制御デバイスを管理する管理サーバであって、
    前記管理サーバにより管理されている前記音声制御デバイス用のアカウントにログインしている端末装置におけるユーザ操作により前記通信装置に関する第1の機能の前記管理サーバによる実行の許可が為されたことを示す情報を、前記中継サーバから受信する受信手段と、
    前記受信手段により前記通信装置に関する前記第1の機能の前記管理サーバによる実行の許可が為されたことを示す情報を受信した後、前記通信装置に関する所定の機能の実行指示が前記音声制御デバイスに対して音声で入力された際に、前記通信装置に関する前記第1の機能と異なる前記通信装置に関する第2の機能であって、前記管理サーバによる実行の許可を得ていない前記第2の機能が追加されていた場合、前記通信装置に関する前記第2の機能の前記管理サーバによる実行の許可を前記端末装置を介して行うための処理を実行するように前記ユーザに促すためのメッセージを、前記音声制御デバイスにおいて音声で通知させるように制御する通知制御手段と、
    前記通知制御手段が前記メッセージを通知させるように制御した後であって、かつ、前記通信装置に関する前記第2の機能の前記管理サーバによる実行の許可が前記端末装置におけるユーザ操作によって為される前であっても、前記音声制御デバイスに対して音声で入力された前記所定の機能の実行指示が、既に許可されている前記第1の機能の実行指示であった場合、前記中継サーバで生成されたデータに基づいて当該実行指示された前記第1の機能に対応する前記通信装置における処理を前記通信装置に実行させるために、当該実行指示された前記第1の機能に対応する前記中継サーバにおける処理を前記中継サーバに実行させるように制御する実行制御手段と、
    を有することを特徴とする管理サーバ。
  11. コンピュータを、請求項10に記載の管理サーバの各手段として機能させるためのプログラム。
  12. 通信装置に対する処理を管理する第1のサーバシステムと、音声制御デバイスを管理する第2のサーバシステムと、を含む通信システムの制御方法であって、
    前記第2のサーバシステムにより管理されている前記音声制御デバイス用のアカウントにログインしている端末装置を介して、前記通信装置に関する第1の機能の前記第2のサーバシステムによる実行の許可を、ユーザから取得する取得ステップと、
    前記取得ステップで前記通信装置に関する前記第1の機能の前記第2のサーバシステムによる実行の許可を前記ユーザから取得した後、前記通信装置に関する所定の機能の実行指示が前記音声制御デバイスに対して音声で入力された際に、前記通信装置に関する前記第1の機能と異なる前記通信装置に関する第2の機能であって、前記第2のサーバシステムによる実行の許可を得ていない前記第2の機能が追加されていた場合、前記通信装置に関する前記第2の機能の前記第2のサーバシステムによる実行の許可を前記端末装置を介して取得するための処理を実行するように前記ユーザに促すためのメッセージを、前記音声制御デバイスにおいて音声で通知させるように制御する通知制御ステップと、
    前記通知制御ステップで前記メッセージを通知させるように制御した後であって、かつ、前記通信装置に関する前記第2の機能の前記第2のサーバシステムによる実行の許可を前記端末装置を介して取得する前であっても、前記音声制御デバイスに対して音声で入力された前記所定の機能の実行指示が、前記取得ステップで既に実行の許可を取得している前記第1の機能の実行指示であった場合、当該実行指示された前記第1の機能に対応する前記第1のサーバシステムにおける処理を前記第1のサーバシステムに実行させ、かつ、当該実行指示された前記第1の機能に対応する前記通信装置における処理を前記通信装置に実行させるように制御する実行制御ステップと、
    を有することを特徴とする制御方法。
JP2019124619A 2019-07-03 2019-07-03 通信システム、制御方法およびプログラム Active JP7455523B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019124619A JP7455523B2 (ja) 2019-07-03 2019-07-03 通信システム、制御方法およびプログラム
EP20182962.9A EP3761204B1 (en) 2019-07-03 2020-06-29 Communication system, control method, and program
US16/918,890 US11521613B2 (en) 2019-07-03 2020-07-01 Communication system, control method, and non-transitory computer-readable storage medium
CN202010633977.2A CN112181321B (zh) 2019-07-03 2020-07-02 通信系统、控制方法和非暂时性计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019124619A JP7455523B2 (ja) 2019-07-03 2019-07-03 通信システム、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021013051A JP2021013051A (ja) 2021-02-04
JP7455523B2 true JP7455523B2 (ja) 2024-03-26

Family

ID=71401647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019124619A Active JP7455523B2 (ja) 2019-07-03 2019-07-03 通信システム、制御方法およびプログラム

Country Status (4)

Country Link
US (1) US11521613B2 (ja)
EP (1) EP3761204B1 (ja)
JP (1) JP7455523B2 (ja)
CN (1) CN112181321B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018144296A (ja) 2017-03-02 2018-09-20 キヤノン株式会社 画像形成装置、方法、プログラム、並びにシステム
JP2019046102A (ja) 2017-08-31 2019-03-22 キヤノン株式会社 音声制御デバイス、印刷装置、それらの制御方法およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL128935A (en) * 1998-09-18 2003-10-31 Direct & Clear Inc Communication method and system utilizing a specific communication code
JP2008198028A (ja) * 2007-02-14 2008-08-28 Sony Corp ウェアラブル装置、認証方法、およびプログラム
CA2746587C (en) * 2010-07-16 2016-10-25 Research In Motion Limited System and method for performing access control
JP5950185B2 (ja) * 2012-03-06 2016-07-13 富士ゼロックス株式会社 装置、システムおよびプログラム
US20150134343A1 (en) * 2012-05-16 2015-05-14 Andrew Michael Kluger Interactive Communications System for the Coordination and Management of patient-Centered Health Care Services
US8978112B2 (en) * 2013-03-14 2015-03-10 Sorenson Communications, Inc. Methods, devices, and systems for remotely controlling a plurality of communication devices
US20150121470A1 (en) * 2013-10-25 2015-04-30 Qualcomm Incorporated Peer-to-peer onboarding of internet of things (iot) devices over various communication interfaces
JP2016071422A (ja) * 2014-09-26 2016-05-09 ブラザー工業株式会社 ソフトウエア提供システム及びインストールプログラム
US9491258B2 (en) * 2014-11-12 2016-11-08 Sorenson Communications, Inc. Systems, communication endpoints, and related methods for distributing images corresponding to communication endpoints
CN109804357A (zh) * 2016-10-07 2019-05-24 索尼公司 服务器、客户端、控制方法和存储介质
JP2018124652A (ja) * 2017-01-30 2018-08-09 京セラドキュメントソリューションズ株式会社 システムおよびログインシステム
JP7123540B2 (ja) * 2017-09-25 2022-08-23 キヤノン株式会社 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム
US11124136B2 (en) * 2017-12-19 2021-09-21 GM Global Technology Operations LLC Controlling vehicle modules based on media content
US11016720B2 (en) * 2018-06-15 2021-05-25 Bose Corporation Audio system
CN109961793B (zh) * 2019-02-20 2021-04-27 北京小米移动软件有限公司 处理语音信息的方法及装置
JP7225985B2 (ja) * 2019-03-20 2023-02-21 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018144296A (ja) 2017-03-02 2018-09-20 キヤノン株式会社 画像形成装置、方法、プログラム、並びにシステム
JP2019046102A (ja) 2017-08-31 2019-03-22 キヤノン株式会社 音声制御デバイス、印刷装置、それらの制御方法およびプログラム

Also Published As

Publication number Publication date
JP2021013051A (ja) 2021-02-04
EP3761204A1 (en) 2021-01-06
EP3761204B1 (en) 2022-10-26
CN112181321A (zh) 2021-01-05
US20210005196A1 (en) 2021-01-07
CN112181321B (zh) 2024-03-26
US11521613B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
KR102497578B1 (ko) 서버 시스템, 인쇄장치, 제어방법, 및 통신 시스템
JP7173761B2 (ja) 印刷システム、制御方法、サーバシステム
JP2023053961A (ja) システムおよび制御方法
JP2014016674A (ja) 出力システム、出力制御装置及び出力制御プログラム
EP3933568A1 (en) Communication system, server system, and communication apparatus
JP2021189693A (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
JP7455523B2 (ja) 通信システム、制御方法およびプログラム
US11825042B2 (en) Peripheral device management system, peripheral device management method, and printing apparatus control system
US11748050B2 (en) Network printing service using instant messaging
JP2019008725A (ja) 通信装置、システム、制御方法、及びプログラム
JP6527566B2 (ja) 画像形成装置及び情報表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231114

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240313

R151 Written notification of patent or utility model registration

Ref document number: 7455523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151