JP7435296B2 - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP7435296B2
JP7435296B2 JP2020105260A JP2020105260A JP7435296B2 JP 7435296 B2 JP7435296 B2 JP 7435296B2 JP 2020105260 A JP2020105260 A JP 2020105260A JP 2020105260 A JP2020105260 A JP 2020105260A JP 7435296 B2 JP7435296 B2 JP 7435296B2
Authority
JP
Japan
Prior art keywords
authentication
user
voice
operations
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020105260A
Other languages
Japanese (ja)
Other versions
JP2021197060A (en
Inventor
晃 三角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2020105260A priority Critical patent/JP7435296B2/en
Publication of JP2021197060A publication Critical patent/JP2021197060A/en
Application granted granted Critical
Publication of JP7435296B2 publication Critical patent/JP7435296B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。 The present invention relates to an information processing device and a program.

音声を用いて利用者の認証を行う技術が知られている。例えば特許文献１には、声紋認識の認証レベルに応じた画像形成装置の機能の使用を許可する技術が記載されている。特許文献２には、コンピュータを用いて入力された音声によって個人を特定する個人認証システムが記載されている。 2. Description of the Related Art Techniques for authenticating users using voice are known. For example, Patent Document 1 describes a technique for permitting use of functions of an image forming apparatus according to an authentication level of voiceprint recognition. Patent Document 2 describes a personal authentication system that identifies an individual based on voice input using a computer.

特開２０１６－１４４０８６号公報Japanese Patent Application Publication No. 2016-144086 特開２００３－３２３１９７号公報Japanese Patent Application Publication No. 2003-323197

音声を用いた利用者の認証と併せて、音声を用いた操作が行われる場合がある。この場合、利用開始の際に利用者の認証を行うだけでは、一旦利用者が認証された後に、第三者がこの利用者になりすまして音声を用いた操作を行う虞がある。このような利用者のなりすましを抑制するには、例えば利用開始の際に利用者の認証を行うのに加えて、利用者が操作のために発した音声を用いて利用者の認証を行うことが考えられる。しかし、例えば画像処理装置の操作のように一連の複数の操作が行われる場合には、これらの操作の全てについてそれぞれ利用者が発した音声を用いて利用者の認証を行うと、利用者の認証に要する処理の負荷が大きくなる。
本発明は、一連の複数の操作の全てについてそれぞれ利用者が発した音声を用いて利用者の認証を行う構成に比して、少ない処理の負荷で、最初の利用者の認証が行われた後に第三者がこの利用者になりすまして操作を行うことを抑制することを目的とする。 In addition to user authentication using voice, operations using voice may be performed. In this case, if the user is only authenticated at the beginning of use, there is a risk that once the user is authenticated, a third party may impersonate the user and perform operations using voice. To prevent such user impersonation, for example, in addition to authenticating the user at the beginning of use, it is also possible to authenticate the user using the voice the user makes for operation. is possible. However, when a series of multiple operations are performed, such as operating an image processing device, if the user is authenticated using the user's voice for each of these operations, the user's The processing load required for authentication increases.
The present invention allows the first user to be authenticated with less processing load than a configuration in which the user is authenticated using the voice uttered by the user for each of a series of multiple operations. The purpose is to prevent a third party from impersonating this user and performing operations later.

請求項１に係る発明は、プロセッサを備え、前記プロセッサは、一連の複数の操作において利用者が発した複数の音声をそれぞれ取得し、前記複数の音声のうち前記複数の操作の最初の操作に対応する音声又は前記複数の音声とは異なる音声を用いて、第１認証を行い、前記第１認証に成功した場合には、前記複数の音声のうち前記複数の操作の一部である特定の操作に対応する音声が前記第１認証で認証された利用者の音声であることを確認する第２認証を行い、前記第２認証が行われると、前記複数の音声の認識結果に関連付けられた複数の操作に応じた処理を実行することを特徴とする情報処理装置である。 The invention according to claim 1 includes a processor, the processor acquires each of a plurality of voices emitted by a user in a series of a plurality of operations, and selects a first operation of the plurality of operations among the plurality of voices. A first authentication is performed using a corresponding voice or a voice different from the plurality of voices, and if the first authentication is successful, a specific voice that is part of the plurality of operations among the plurality of voices A second authentication is performed to confirm that the voice corresponding to the operation is the voice of the user authenticated in the first authentication, and when the second authentication is performed, the voice associated with the recognition results of the plurality of voices is This is an information processing device characterized by executing processing according to a plurality of operations.

請求項２に係る発明は、請求項１に記載の情報処理装置において、前記プロセッサは、前記第２認証に失敗した場合には、前記複数の操作を示す操作情報を予め定められた送信先に送信することを特徴とする。 The invention according to claim 2 is the information processing apparatus according to claim 1, in which, when the second authentication fails, the processor transmits operation information indicating the plurality of operations to a predetermined destination. It is characterized by sending.

請求項３に係る発明は、請求項１に記載の情報処理装置において、前記特定の操作は、前記複数の操作に含まれる各操作の特徴、各操作において発せられる音声の言葉の長さ、又は各操作の選択肢の数に応じて決定されることを特徴とする。 The invention according to claim 3 is the information processing apparatus according to claim 1, in which the specific operation is based on the characteristics of each operation included in the plurality of operations, the length of a voice uttered in each operation, or It is characterized in that it is determined according to the number of options for each operation.

請求項４に係る発明は、請求項３に記載の情報処理装置において、前記特定の操作は切り替えられることを特徴とする。 The invention according to claim 4 is characterized in that, in the information processing apparatus according to claim 3, the specific operation can be switched.

請求項５に係る発明は、請求項１に記載の情報処理装置において、前記プロセッサは、前記複数の音声のうち、前記複数の操作の最初の操作に対応する音声を用いて、前記第１認証を行い、前記第１認証に成功した場合には、前記第２認証を行うことを特徴とする。 The invention according to claim 5 is the information processing apparatus according to claim 1, wherein the processor performs the first authentication using a voice corresponding to a first operation of the plurality of operations among the plurality of voices. If the first authentication is successful, the second authentication is performed.

請求項６に係る発明は、請求項１に記載の情報処理装置において、前記プロセッサは、前記複数の音声とは異なる音声を用いて前記第１認証を行い、前記第１認証に成功した場合には、前記第２認証を行うことを特徴とする。 The invention according to claim 6 is the information processing apparatus according to claim 1, wherein the processor performs the first authentication using a voice different from the plurality of voices, and when the first authentication is successful, is characterized by performing the second authentication.

請求項７に係る発明は、請求項５又は６に記載の情報処理装置において、前記プロセッサは、前記第１認証に失敗した場合には、音声を用いた認証方法とは異なる他の認証方法により前記利用者を識別する第３認証を行い、前記第３認証に成功した場合には、前記特定の操作に対応する前記音声が前記第３認証で認証された利用者の音声であることを確認する第２認証を行い、前記第３認証に成功した場合には、前記複数の操作を示す操作情報を予め定められた送信先に送信することを特徴とする。 The invention according to claim 7 is the information processing apparatus according to claim 5 or 6, in which, when the first authentication fails, the processor uses another authentication method different from the authentication method using voice. Perform a third authentication to identify the user, and if the third authentication is successful, confirm that the voice corresponding to the specific operation is the voice of the user authenticated in the third authentication. If the third authentication is successful, operation information indicating the plurality of operations is transmitted to a predetermined destination.

請求項８に係る発明は、コンピュータに、一連の複数の操作において利用者が発した複数の音声をそれぞれ取得するステップと、前記複数の音声のうち前記複数の操作の最初の操作に対応する音声又は前記複数の音声とは異なる音声を用いて、第１認証を行うステップと、前記第１認証に成功した場合には、前記複数の音声のうち前記複数の操作の一部である特定の操作に対応する音声が前記第１認証で認証された利用者の音声であることを確認する第２認証を行うステップと、前記第２認証が行われると、前記複数の音声の認識結果に関連付けられた複数の操作に応じた処理を実行するステップとを実行させるためのプログラムである。 The invention according to claim 8 includes the step of causing the computer to acquire each of a plurality of voices emitted by a user in a series of a plurality of operations, and a voice corresponding to the first operation of the plurality of operations among the plurality of voices. or performing a first authentication using a voice different from the plurality of voices, and if the first authentication is successful, a specific operation that is part of the plurality of operations among the plurality of voices. performing a second authentication to confirm that the voice corresponding to the voice is the voice of the user authenticated in the first authentication; This is a program for executing steps for executing processes corresponding to a plurality of operations.

請求項１に係る発明によれば、一連の複数の操作の全てについてそれぞれ利用者が発した音声を用いて利用者の認証を行う構成に比して、少ない処理の負荷で、最初の利用者の認証が行われた後に第三者がこの利用者になりすまして操作を行うことが抑制される。
請求項２に係る発明によれば、最初の利用者の認証が行われた後に、第三者がこの利用者になりすまして操作を行った場合でも、第三者により行われた操作が分かる。
請求項３に係る発明によれば、利用者の認証に適した操作に対応する音声を用いて第２認証を行うことができる。
請求項４に係る発明によれば、特定の操作が不変である構成に比して、情報セキュリティが強化される。
請求項５に係る発明によれば、利用者は操作に対応する音声以外の音声を発しなくても、情報処理装置を利用することができる。
請求項６に係る発明によれば、利用者は手動で操作を行わなくても、情報処理装置の利用を開始することができる。
請求項７に係る発明によれば、音声を用いた第１認証に失敗したものの、音声を用いない認証方法による第３認証に成功して、音声を用いた操作が行われた場合でも、利用者により行われた操作が分かる。
請求項８に係る発明によれば、一連の複数の操作の全てについてそれぞれ利用者が発した音声を用いて利用者の認証を行う構成に比して、少ない処理の負荷で、最初の利用者の認証が行われた後に第三者がこの利用者になりすまして操作を行うことが抑制される。 According to the invention according to claim 1, compared to a configuration in which the user is authenticated using the voice uttered by the user for each of a series of multiple operations, the first user can be authenticated with less processing load. After the user is authenticated, a third party is prevented from impersonating the user and performing operations.
According to the invention according to claim 2, even if a third party impersonates the user and performs an operation after the first user has been authenticated, the operation performed by the third party can be known.
According to the invention according to claim 3, the second authentication can be performed using a voice corresponding to an operation suitable for user authentication.
According to the invention according to claim 4, information security is enhanced compared to a configuration in which specific operations remain unchanged.
According to the invention according to claim 5, the user can use the information processing device without emitting any sound other than the sound corresponding to the operation.
According to the invention according to claim 6, the user can start using the information processing device without performing any manual operation.
According to the invention according to claim 7, even if the first authentication using voice fails but the third authentication using an authentication method that does not use voice is successful and an operation using voice is performed, The operations performed by the user can be seen.
According to the invention according to claim 8, compared to a configuration in which the user is authenticated using the voice uttered by the user for each of a series of multiple operations, the first user can be authenticated with less processing load. After the user is authenticated, a third party is prevented from impersonating the user and performing operations.

実施形態に係る画像処理装置１００の構成を示す図である。1 is a diagram showing the configuration of an image processing device 100 according to an embodiment. 操作語辞書１３１の一例を示す図である。3 is a diagram illustrating an example of an operation word dictionary 131. FIG. 認証語辞書１３２の一例を示す図である。3 is a diagram showing an example of an authentication word dictionary 132. FIG. 画像処理装置１００における画面遷移の一例を示す図である。5 is a diagram showing an example of screen transition in the image processing device 100. FIG. 画像処理装置１００の動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of the operation of the image processing apparatus 100. 画像処理装置１００における画面遷移の別の例を示す図である。5 is a diagram showing another example of screen transitions in the image processing device 100. FIG.

１．構成
図１は、本実施形態に係る画像処理装置１００の構成を示す図である。画像処理装置１００は、コピー機能、プリント機能、スキャン機能等の画像を処理する複数の機能を有する機器である。画像処理装置１００は、音声を用いた利用者の認証を行うとともに音声を用いた操作を受け付ける。画像処理装置１００は、本発明に係る「情報処理装置」の一例である。画像処理装置１００は、プロセッサ１１０と、メモリ１２０と、ストレージ１３０と、通信インターフェース１４０と、マイクロフォン１５０と、入力インターフェース１５５と、表示パネル１６０と、表示制御部１６５と、画像読取部１７０と、画像形成部１８０とを備える。これらの部位は、バス１９０を介して接続されている。 1. Configuration FIG. 1 is a diagram showing the configuration of an image processing apparatus 100 according to this embodiment. The image processing apparatus 100 is a device that has multiple functions for processing images, such as a copy function, a print function, and a scan function. The image processing device 100 performs user authentication using voice and accepts operations using voice. The image processing device 100 is an example of an “information processing device” according to the present invention. The image processing device 100 includes a processor 110, a memory 120, a storage 130, a communication interface 140, a microphone 150, an input interface 155, a display panel 160, a display control section 165, an image reading section 170, and an image processing device 100. A forming part 180 is provided. These parts are connected via a bus 190.

プロセッサ１１０は、プログラムを実行することにより、画像処理装置１００の各部を制御し、画像処理装置１００の機能を実現する処理を行う。プロセッサ１１０には、例えばＣＰＵ（Central Processing Unit）が用いられる。また、プロセッサ１１０は、プログラムを実行することにより、音声認証部１１１と、音声認識部１１２として機能する。音声認証部１１１は、音声を用いて利用者を認証する。音声認識部１１２は、利用者の音声の内容を認識する。この音声認識は、既知の音声認識技術を用いて行われる。メモリ１２０は、プロセッサ１１０が実行するプログラムを記憶する。メモリ１２０には、例えばＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）が用いられる。ストレージ１３０は、音声を用いた操作に用いられる操作語辞書１３１と、音声を用いた利用者の認証に用いられる認証語辞書１３２とを記憶している。ストレージ１３０には、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）が用いられる。通信インターフェース１４０は、通信回線を介して接続された他の装置（図示せず）とデータ通信を行う。他の操作には、例えば利用者や管理者が使用する端末装置が含まれる。 The processor 110 controls each part of the image processing apparatus 100 by executing a program, and performs processing to realize the functions of the image processing apparatus 100. For example, a CPU (Central Processing Unit) is used as the processor 110. Furthermore, the processor 110 functions as a voice authentication section 111 and a voice recognition section 112 by executing a program. The voice authentication unit 111 authenticates the user using voice. The speech recognition unit 112 recognizes the content of the user's speech. This speech recognition is performed using known speech recognition technology. Memory 120 stores programs executed by processor 110. For example, RAM (Random Access Memory) and ROM (Read Only Memory) are used as the memory 120. The storage 130 stores an operation word dictionary 131 used for operations using voice, and an authentication word dictionary 132 used for user authentication using voice. For example, a HDD (Hard Disk Drive) or an SSD (Solid State Drive) is used for the storage 130. The communication interface 140 performs data communication with other devices (not shown) connected via a communication line. Other operations include, for example, a terminal device used by a user or administrator.

マイクロフォン１５０は、利用者の認証又は操作のために利用者が発した音声を取得する。入力インターフェース１５５は、マイクロフォン１５０が取得した音声の入力を受け付ける。表示パネル１６０は、利用者との情報のやり取りに用いられる各種の画面を表示する。表示パネル１６０には、例えば液晶ディスプレイが用いられる。また、表示パネル１６０は、例えばタッチパネルを含み、画像処理装置１００に対する利用者の操作を受け付けてもよい。表示制御部１６５は、表示パネル１６０の表示を制御する。画像読取部１７０は、原稿画像を読み取って画像データに変換する。画像読取部１７０には、例えばイメージスキャナが用いられる。画像形成部１８０は、画像データに応じた画像を媒体上に形成する。画像形成部１８０には、例えばプリンターが用いられる。 The microphone 150 acquires the voice emitted by the user for user authentication or operation. The input interface 155 accepts input of audio acquired by the microphone 150. The display panel 160 displays various screens used for exchanging information with users. For example, a liquid crystal display is used for the display panel 160. Further, the display panel 160 may include, for example, a touch panel, and may receive user operations on the image processing apparatus 100. The display control unit 165 controls the display on the display panel 160. The image reading unit 170 reads a document image and converts it into image data. For example, an image scanner is used for the image reading section 170. The image forming unit 180 forms an image on a medium according to the image data. For example, a printer is used as the image forming section 180.

図２は、操作語辞書１３１の一例を示す図である。操作語辞書１３１は、全利用者で共用される。操作語辞書１３１は、操作ＩＤと、操作語と、操作コマンドとが含まれる。操作ＩＤは、画像処理装置１００が受け付ける操作を識別する情報である。画像処理装置１００は、一連の複数の操作を受け付ける。図２に示される例では、画像処理装置１００が受け付ける処理には、機能を選択する操作、コピー機能の設定項目を選択する操作、排出先を設定する操作、枚数を設定する操作、及び処理の実行を指示する操作が含まれる。各操作ＩＤには、その操作を音声で行うときに用いられる操作語が関連付けられている。操作語は、音声で操作を行うときに用いられる予め定められた言葉である。操作に複数の選択肢がある場合には、これらの選択肢のそれぞれについて予め操作語が定められる。図２に示される例では、機能を選択する操作について、「コピー」という操作語と、「プリント」という操作語と、「スキャン」という操作語とが定められている。各操作語には、その利用者がその操作語を音声で発したときに、実行される操作コマンドが関連付けられている。操作コマンドは、利用者の音声を用いた操作に応じて行われる命令である。図２に示される例では、利用者が機能を選択する操作を行う際に、「コピー」という操作語を音声で発すると、コピー機能が選択される。 FIG. 2 is a diagram showing an example of the operation word dictionary 131. The operation word dictionary 131 is shared by all users. The operation word dictionary 131 includes operation IDs, operation words, and operation commands. The operation ID is information that identifies an operation that the image processing apparatus 100 accepts. The image processing device 100 accepts a series of multiple operations. In the example shown in FIG. 2, the processing that the image processing apparatus 100 accepts includes an operation for selecting a function, an operation for selecting a setting item for the copy function, an operation for setting an output destination, an operation for setting the number of sheets, and an operation for setting the number of sheets. Contains operations that instruct execution. Each operation ID is associated with an operation word used when performing the operation with voice. The operation word is a predetermined word used when performing an operation by voice. If there are multiple options for an operation, an operation word is determined in advance for each of these options. In the example shown in FIG. 2, the operation words "copy", "print", and "scan" are defined for the operation of selecting a function. Each operation word is associated with an operation command that is executed when the user utters the operation word. The operation command is an instruction executed in response to a user's operation using voice. In the example shown in FIG. 2, when the user utters the operation word "copy" when performing an operation to select a function, the copy function is selected.

図３は、認証語辞書１３２の一例を示す図である。認証語辞書１３２は、利用者毎に作成される。認証語辞書１３２は、利用者ＩＤと、操作ＩＤと、認証語を示す音声とが含まれる。利用者ＩＤは、利用者を一意に識別する情報である。各利用者ＩＤには、画像処理装置１００が受け付ける一連の複数の操作の一部である特定の操作の操作ＩＤが対応付けられている。この特定の操作は、例えば画像処理装置１００に対して行われる複数の操作に含まれる各操作の特徴に応じて予め決定される。例えば画像処理装置１００においては、コピー機能、プリント機能、及びファクシミリ機能のいずれの機能を利用する場合であっても機能を選択する操作、枚数を設定する操作、処理の実行を指示する操作が必ず行われる。すなわち、これらの操作は、画像処理装置１００の複数の機能に共通する必須の操作である。この場合、これらの操作が特定の操作として決定され、図３に示されるように、これらの操作の操作ＩＤが認証語辞書１３２に含まれる。一方、例えばコピー機能の設定項目を選択する操作や排出先を設定する操作については特定の操作ではないため、これらの操作の操作ＩＤは認証語辞書１３２に含まれない。 FIG. 3 is a diagram showing an example of the authentication word dictionary 132. The authentication word dictionary 132 is created for each user. The authentication word dictionary 132 includes a user ID, an operation ID, and a voice indicating an authentication word. The user ID is information that uniquely identifies a user. Each user ID is associated with an operation ID of a specific operation that is part of a series of multiple operations that the image processing apparatus 100 accepts. This specific operation is determined in advance, for example, according to the characteristics of each operation included in a plurality of operations performed on the image processing apparatus 100. For example, in the image processing apparatus 100, no matter which function is used, such as a copy function, a print function, or a facsimile function, an operation to select the function, an operation to set the number of sheets, and an operation to instruct execution of processing are always required. It will be done. That is, these operations are essential operations common to multiple functions of the image processing apparatus 100. In this case, these operations are determined as specific operations, and the operation IDs of these operations are included in the authentication word dictionary 132, as shown in FIG. On the other hand, for example, the operation of selecting a setting item for a copy function and the operation of setting a discharge destination are not specific operations, and therefore the operation IDs of these operations are not included in the authentication word dictionary 132.

各操作ＩＤには、その操作を音声で行うときに用いられる操作語を示す音声が認証語を示す音声として関連付けられている。認証語を示す音声は、特定の操作において利用者が発する操作語を示す音声である。図２に示されるように、機能を選択する操作には、「コピー」という操作語と、「プリント」という操作語と、「スキャン」という操作語とが用いられる。そのため、図３に示されるように、認証語辞書１３２には、利用者Ａの利用者ＩＤと機能を選択する操作の操作ＩＤとの組に関連付けられて、利用者Ａが発した「コピー」という操作語を示す音声と、「プリント」という操作語を示す音声と、「スキャン」という操作語を示す音声とが含まれる。認証語を示す音声は、利用者が発した音声をデジタル形式に変換したものであってもよいし、利用者が発した音声から抽出された特徴であってもよい。この特徴には、例えば声紋が用いられる。なお、新たな利用者が追加された場合には、新たな利用者により発せられた、認証語として用いられる全ての操作語を示す音声が取得されて認証語辞書１３２に追加される。 Each operation ID is associated with a voice indicating an operation word used when performing the operation by voice as a voice indicating an authentication word. The voice indicating the authentication word is the voice indicating the operation word uttered by the user in a specific operation. As shown in FIG. 2, the operation word ``copy'', the operation word ``print'', and the operation word ``scan'' are used to select a function. Therefore, as shown in FIG. 3, in the authentication word dictionary 132, "copy" issued by user A is associated with a combination of the user ID of user A and the operation ID of the operation to select a function. This includes a voice indicating the operation word ``print'', a voice indicating the operation word ``scan'', and a voice indicating the operation word ``scan''. The voice indicating the authentication word may be a voice uttered by the user converted into a digital format, or may be a feature extracted from the voice uttered by the user. For example, a voice print is used as this feature. Note that when a new user is added, the voices uttered by the new user indicating all the operation words used as authentication words are acquired and added to the authentication word dictionary 132.

２．動作
以下の説明において、プロセッサ１１０が処理の主体として記載される場合、メモリ１２０に記憶されたプログラムと、このプログラムを実行するプロセッサ１１０との協働により、プロセッサ１１０が演算を行い又は他のハードウェア要素の動作を制御することにより、この処理が実現されることを示す。 2. Operation In the following description, when the processor 110 is described as a main body of processing, the processor 110 performs calculations or other hardware operations through cooperation between a program stored in the memory 120 and the processor 110 that executes this program. This process is realized by controlling the operations of hardware elements.

図４は、画像処理装置１００における画面遷移の一例を示す図である。画像処理装置１００の表示パネル１６０には、操作毎に、その操作を受け付ける画面が表示される。図４に示される例では、まずログイン画面２００が表示される。ログイン画面２００は、機能を選択する操作を受け付ける。このログイン画面２００においてコピー機能を選択する操作が行われた場合には、ログイン画面２００に続いて、コピー機能のメニュー画面２１０、排出先の設定画面２２０、枚数の設定画面２６０、及び確認画面２７０が順番に表示される。コピー機能のメニュー画面２１０、排出先の設定画面２２０、枚数の設定画面２６０、及び確認画面２７０はそれぞれ、コピー機能の設定項目を選択する操作、排出先を設定する操作、枚数を設定する操作、及び処理の実行を指示する操作を受け付ける。ただし、コピー機能のメニュー画面２１０において、カラーモード、倍率、又は用紙サイズの設定に進むことを指示する操作が行われた場合には、コピー機能のメニュー画面２１０に続いて、カラーモードの設定画面２１１、倍率の設定画面２１２、又は用紙サイズの設定画面２１３が表示され、その後に排出先の設定画面２２０が表示される。カラーモードの設定画面２１１、倍率の設定画面２１２、及び用紙サイズの設定画面２１３はそれぞれ、カラーモードを設定する操作、倍率を設定する操作、用紙サイズを設定する操作を受け付ける。 FIG. 4 is a diagram showing an example of screen transitions in the image processing device 100. For each operation, a screen for accepting the operation is displayed on the display panel 160 of the image processing apparatus 100. In the example shown in FIG. 4, a login screen 200 is first displayed. Login screen 200 accepts an operation to select a function. When an operation to select a copy function is performed on this login screen 200, the login screen 200 is followed by a copy function menu screen 210, a discharge destination setting screen 220, a number of sheets setting screen 260, and a confirmation screen 270. are displayed in order. The copy function menu screen 210, output destination setting screen 220, number of sheets setting screen 260, and confirmation screen 270 each include an operation for selecting a setting item for the copy function, an operation for setting an output destination, an operation for setting the number of sheets, and receives operations that instruct execution of processing. However, if an operation instructing to proceed to setting the color mode, magnification, or paper size is performed on the copy function menu screen 210, the color mode setting screen will be displayed following the copy function menu screen 210. 211, a magnification setting screen 212 or a paper size setting screen 213 is displayed, and then a discharge destination setting screen 220 is displayed. The color mode setting screen 211, the magnification setting screen 212, and the paper size setting screen 213 each accept an operation for setting a color mode, an operation for setting a magnification, and an operation for setting a paper size.

一方、ログイン画面２００において、プリント機能を選択する操作が行われた場合には、ログイン画面２００に続いて、プリント機能のメニュー画面２３０、枚数の設定画面２６０、及び確認画面２７０が順番に表示される。プリント機能のメニュー画面２３０は、プリント機能の設定項目を選択する操作を受け付ける。また、ログイン画面２００において、スキャン機能を選択する操作が行われた場合には、ログイン画面２００に続いて、スキャン機能のメニュー画面２４０、格納先の設定画面２５０、枚数の設定画面２６０、及び確認画面２７０が順番に表示される。スキャン機能のメニュー画面２４０及び格納先の設定画面２５０はそれぞれ、スキャン機能の設定項目を選択する操作及び格納先を設定する操作を受け付ける。各画面には、その画面が受け付ける操作に用いられる操作語が含まれる。 On the other hand, when an operation is performed to select the print function on the login screen 200, the print function menu screen 230, number of sheets setting screen 260, and confirmation screen 270 are displayed in order following the login screen 200. Ru. The print function menu screen 230 accepts an operation for selecting a print function setting item. In addition, when an operation to select the scan function is performed on the login screen 200, the scan function menu screen 240, storage destination setting screen 250, number of sheets setting screen 260, and confirmation screen are displayed following the login screen 200. Screens 270 are displayed in sequence. The scan function menu screen 240 and the storage destination setting screen 250 each accept an operation for selecting a setting item for the scan function and an operation for setting a storage destination. Each screen includes operation words used for operations accepted by that screen.

図４に示される複数の画面のうち、ログイン画面２００、枚数の設定画面２６０、及び確認画面２７０は、画像処理装置１００に対して行われる一連の複数の操作の中から予め決定された特定の操作を受け付ける。そのため、ログイン画面２００、枚数の設定画面２６０、及び確認画面２７０が受け付ける操作に用いられる操作語は、認証語として用いられる。その他の画面が受け付ける操作に用いられる操作語は認証語として用いられない。図４では、認証語を兼ねる操作語は二重線を付して表され、認証語ではない操作語は一重線を付して表されている。また、ログイン画面２００に対して行われる機能を選択する操作は、画像処理装置１００に対して行われる一連の複数の操作のうち最初の操作であるため、この操作に用いられる操作語は、ログイン認証の認証語として用いられる。 Among the plurality of screens shown in FIG. Accept operations. Therefore, the operation words used for operations accepted by the login screen 200, the number of sheets setting screen 260, and the confirmation screen 270 are used as authentication words. Operation words used for operations accepted by other screens are not used as authentication words. In FIG. 4, operation words that also serve as authentication words are shown with a double line, and operation words that are not authentication words are shown with a single line. Furthermore, since the operation to select a function performed on the login screen 200 is the first operation in a series of multiple operations performed on the image processing device 100, the operation word used for this operation is Used as an authentication word for authentication.

図５は、画像処理装置１００の動作の一例を示すフローチャートである。図５に示されるプロセスは、例えば利用者が画像処理装置１００を利用するときに開始される。ここでは、利用者Ａが画像処理装置１００を利用するものとする。 FIG. 5 is a flowchart illustrating an example of the operation of the image processing apparatus 100. The process shown in FIG. 5 is started, for example, when a user uses the image processing apparatus 100. Here, it is assumed that user A uses the image processing apparatus 100.

ステップＳ１１において、プロセッサ１１０は、表示制御部１６５により表示パネル１６０にログイン画面２００を表示させる。図４に示される例では、ログイン画面２００には、コピー機能を選択する操作に用いられる「コピー」という操作語と、プリント機能を選択する操作に用いられる「プリント」という操作語と、スキャン機能を選択する操作に用いられる「スキャン」という操作語とが含まれる。 In step S11, the processor 110 causes the display control unit 165 to display the login screen 200 on the display panel 160. In the example shown in FIG. 4, the login screen 200 includes the operation word "copy" used to select the copy function, the operation word "print" used to select the print function, and the operation word "print" used to select the print function. This includes the operation word "scan" used for the operation of selecting.

ステップＳ１２において、プロセッサ１１０は、音声を用いてログイン認証を行うことを促すメッセージをログイン画面２００上に表示させる。図４に示される例では、機能を選択する操作に用いられる「コピー」、「プリント」、「スキャン」という操作語は、ログイン認証の認証語として用いられる。例えば利用者Ａがコピー機能を利用する場合には、「コピー」という操作語を示す音声を発する。 In step S12, the processor 110 displays on the login screen 200 a message prompting the user to perform login authentication using voice. In the example shown in FIG. 4, the operation words "copy," "print," and "scan" used in the function selection operation are used as authentication words for login authentication. For example, when user A uses the copy function, a voice indicating the operation word "copy" is emitted.

ステップＳ１３において、プロセッサ１１０は、ログイン画面２００の操作において利用者が発した音声をマイクロフォン１５０にて取得する。例えば利用者が「コピー」という操作語を示す音声を発した場合には、この音声が取得される。また、プロセッサ１１０は、この音声の内容を認識し、操作語辞書１３１を参照してその認識結果に応じた操作コマンドを認識する。まず音声に音声認識処理が施され、音声認識の結果である操作語が認識される。例えば「コピー」という操作語を示す音声に音声認識処理が施され、「コピー」という操作語が認識される。続いて、操作語辞書１３１において、認識された操作語に関連付けられた操作コマンドが認識される。図２に示される例では、機能を選択する操作の操作ＩＤと「コピー」という操作語との組に関連付けられたコピー機能を選択する操作コマンドが認識される。 In step S13, the processor 110 uses the microphone 150 to acquire the voice emitted by the user while operating the login screen 200. For example, if the user utters a voice indicating the operation word "copy," this voice is acquired. Further, the processor 110 recognizes the content of this voice, refers to the operation word dictionary 131, and recognizes an operation command according to the recognition result. First, speech is subjected to speech recognition processing, and the operation word that is the result of speech recognition is recognized. For example, speech recognition processing is performed on a voice indicating the operation word "copy", and the operation word "copy" is recognized. Subsequently, the operation command associated with the recognized operation word is recognized in the operation word dictionary 131. In the example shown in FIG. 2, an operation command for selecting a copy function associated with a pair of an operation ID of an operation for selecting a function and an operation word "copy" is recognized.

ステップＳ１４において、プロセッサ１１０は、ステップＳ１３において取得された利用者の音声を用いてログイン認証を行う。ログイン認証では、利用者が認証される。このログイン認証は、本発明に係る「第１認証」の一例である。まず利用者の音声の特徴と、認証語辞書１３２に含まれる機能を選択する操作に用いられる操作語の各利用者の音声の特徴とを比較することにより、利用者が識別される。例えば「コピー」という操作語を示す利用者の音声の特徴が、図３に示される認証語辞書１３２において利用者Ａという利用者ＩＤと機能を選択する操作の操作ＩＤとの組に関連付けられた「コピー」という操作語を示す音声の特徴と合致する場合には、利用者Ａが識別される。このように利用者が識別された場合には、ログイン認証は成功する。また、利用者が識別された場合には、この利用者の利用者ＩＤがメモリ１２０に記憶される。一方、例えば「コピー」という操作語を示す利用者の音声の特徴が、図３に示される認証語辞書１３２に含まれるいずれの音声の特徴とも合致しない場合には、利用者が識別されない。このように利用者が識別されない場合には、ログイン認証は失敗する。 In step S14, the processor 110 performs login authentication using the user's voice acquired in step S13. In login authentication, a user is authenticated. This login authentication is an example of "first authentication" according to the present invention. First, the user is identified by comparing the voice characteristics of the user with the voice characteristics of each user's operation word used for the operation of selecting a function included in the authentication word dictionary 132. For example, the characteristics of the user's voice indicating the operation word "copy" are associated with the pair of the user ID of user A and the operation ID of the operation to select a function in the authentication word dictionary 132 shown in FIG. User A is identified when the voice matches the characteristics of the voice indicating the operation word "copy." If the user is identified in this way, login authentication is successful. Furthermore, if a user is identified, the user ID of this user is stored in the memory 120. On the other hand, if the characteristics of the user's voice indicating the operation word "copy," for example, do not match any voice characteristics included in the authentication word dictionary 132 shown in FIG. 3, the user is not identified. If the user is not identified in this way, login authentication will fail.

ステップＳ１５において、プロセッサ１１０は、ログイン認証に成功したか否かを判定する。例えばログイン認証に失敗した場合（ステップＳ１５の判定がＮＯ）、プロセッサ１１０は、ステップＳ１６に進み、予め定められた管理者にワンタイムパスワードを発行してもよいかを問い合わせる。ワンタイムパスワードとは、一度限り有効なパスワードをいう。この問合せは、例えば管理者が使用する端末装置（図示せず）に問合せの内容を示す情報を送信することにより行われる。この問合せに応じてワンタイムパスワードを発行してもよいことを示す応答が行われた場合、プロセッサ１１０は、ステップＳ１７に進み、ワンタイムパスワードを発行して利用者に通知する。この通知は、例えば表示パネル１６０にワンタイムパスワードを表示することにより行われてもよいし、利用者が使用する端末装置（図示せず）にワンタイムパスワードを送信することにより行われてもよい。 In step S15, processor 110 determines whether login authentication is successful. For example, if login authentication fails (determination in step S15 is NO), the processor 110 proceeds to step S16 and inquires of a predetermined administrator whether a one-time password may be issued. A one-time password is a password that is valid only once. This inquiry is made, for example, by transmitting information indicating the content of the inquiry to a terminal device (not shown) used by the administrator. If a response indicating that a one-time password may be issued in response to this inquiry is made, the processor 110 proceeds to step S17, issues a one-time password, and notifies the user. This notification may be performed, for example, by displaying the one-time password on the display panel 160, or by transmitting the one-time password to a terminal device (not shown) used by the user. .

ワンタイムパスワードが通知されると、利用者は、例えば表示パネル１６０に対してワンタイムパスワードを入力する操作を行う。ステップＳ１８において、プロセッサ１１０は、この操作に応じてワンタイムパスワードを取得する。ステップＳ１９において、プロセッサ１１０は、このワンタイムパスワードを用いてログイン認証を行う。ワンタイムパスワードを用いたログイン認証は、音声を用いたログイン認証方法とは異なる認証方法により行われる利用者の認証であり、本発明に係る「第３認証」の一例である。利用者により入力されたワンタイムパスワードが画像処理装置１００により発行されたものである場合には、ログイン認証は成功する。また、この場合、ワンタイムパスワードによって利用者が識別される場合には、この利用者の利用者ＩＤがメモリ１２０に記憶される。一方、利用者により入力されたワンタイムパスワードが画像処理装置１００により発行されたものではない場合には、ログイン認証は失敗する。 When the one-time password is notified, the user performs an operation to input the one-time password on the display panel 160, for example. In step S18, processor 110 obtains a one-time password in response to this operation. In step S19, processor 110 performs login authentication using this one-time password. Login authentication using a one-time password is user authentication performed by an authentication method different from the login authentication method using voice, and is an example of "third authentication" according to the present invention. If the one-time password input by the user is one issued by the image processing device 100, the login authentication is successful. Further, in this case, if a user is identified by a one-time password, the user ID of this user is stored in the memory 120. On the other hand, if the one-time password input by the user is not issued by the image processing apparatus 100, the login authentication fails.

ステップＳ２０において、プロセッサ１１０は、ワンタイムパスワードを用いたログイン認証に成功したか否かを判定する。例えばワンタイムパスワードを用いたログイン認証に失敗した場合（ステップＳ２０の判定がＮＯ）、以降の処理は行われずに図５に示されるプロセスは終了する。一方、例えばワンタイムパスワードを用いたログイン認証に成功した場合（ステップＳ２０の判定がＹＥＳ）、プロセッサ１１０は、ステップＳ２１に進み、操作履歴の記録を開始してからステップＳ２２に進む。また、操作履歴の記録が開始されると、以降、利用者により操作の内容を示す操作情報がメモリ１２０又はストレージ１３０に記憶される。この操作情報には、操作に応じて行われた処理に用いられる画像データも含まれる。 In step S20, processor 110 determines whether login authentication using a one-time password has been successful. For example, if login authentication using a one-time password fails (determination in step S20 is NO), the process shown in FIG. 5 ends without performing subsequent processing. On the other hand, if login authentication using a one-time password is successful, for example (YES in step S20), the processor 110 proceeds to step S21, starts recording the operation history, and then proceeds to step S22. Further, once recording of the operation history is started, operation information indicating the contents of the operation by the user is stored in the memory 120 or the storage 130. This operation information also includes image data used for processing performed in response to the operation.

ステップＳ２２において、プロセッサ１１０は、表示制御部１６５により表示パネル１６０に次の操作画面を表示させる。例えばログイン画面２００の操作に用いられる利用者の音声の認識結果に応じてコピー機能を選択する操作コマンドが認識された場合には、図４に示されるコピー機能のメニュー画面２１０が表示される。このコピー機能のメニュー画面２１０には、カラーモードの設定に進むことを指示する操作に用いられる「カラーモード」という操作語と、倍率の設定に進むことを指示する操作に用いられる「倍率」という操作語と、用紙サイズの設定に進むことを指示する操作に用いられる「用紙サイズ」という操作語と、次の画面に進むことを指示する操作に用いられる「次へ」という操作語とが含まれる。例えばカラーモード、倍率、用紙サイズの設定値を変更しない場合には、利用者は、「次へ」という操作語を示す音声を発する。 In step S22, processor 110 causes display control unit 165 to display the next operation screen on display panel 160. For example, if an operation command for selecting a copy function is recognized according to the recognition result of the user's voice used to operate the login screen 200, a menu screen 210 for the copy function shown in FIG. 4 is displayed. The menu screen 210 of this copy function includes the operation word "color mode" used to instruct to proceed to setting the color mode, and the word "magnification" used to instruct to proceed to setting the magnification. It includes an operation word, the operation word "paper size" used for an operation that instructs to proceed to setting the paper size, and the operation word "next" used for an operation that instructs to proceed to the next screen. It will be done. For example, if the settings for color mode, magnification, and paper size are not changed, the user utters a voice indicating the operation word "next."

ステップＳ２３において、プロセッサ１１０は、ステップＳ２２において表示された操作画面の操作において利用者が発した操作語を示す音声をマイクロフォン１５０にて取得する。例えば利用者が「次へ」という操作語を示す音声を発した場合には、この音声が取得される。また、プロセッサ１１０は、上述したステップＳ１３と同様に、この音声の内容を認識し、操作語辞書１３１を参照してその認識結果に応じた操作コマンドを認識する。図２に示される例では、コピー機能の設定項目を選択する操作の操作ＩＤと「次へ」という操作語との組に関連付けられた次の画面に進むことを指示する操作コマンドが認識される。 In step S23, the processor 110 uses the microphone 150 to acquire a voice indicating the operation word uttered by the user while operating the operation screen displayed in step S22. For example, if the user utters a voice indicating the operation word "next", this voice is acquired. Further, the processor 110 recognizes the content of this voice, and refers to the operation word dictionary 131 to recognize an operation command according to the recognition result, similarly to step S13 described above. In the example shown in FIG. 2, an operation command instructing to proceed to the next screen associated with a pair of an operation ID of an operation for selecting a setting item of the copy function and an operation word "Next" is recognized. .

ステップＳ２４において、プロセッサ１１０は、利用者の音声により示される操作語が認証語であるか否かを判定する。例えば利用者の音声により示される「次へ」という操作語は、コピー機能の設定項目を選択する操作に用いられる。しかし、図３に示される例では、認証語辞書１３２の操作ＩＤには、コピー機能の設定項目を選択する操作の操作ＩＤが含まれていない。これは、コピー機能の設定項目を選択する操作は特定の操作ではないため、この操作に用いられる「次へ」という操作語は認証語として用いられないことを示す。この場合、利用者の音声により示される操作語が認証語ではないと判定され（ステップＳ２４の判定がＮＯ）、プロセッサ１１０はステップＳ２８に進む。 In step S24, processor 110 determines whether the operation word indicated by the user's voice is an authentication word. For example, the operation word "next" indicated by the user's voice is used to select a setting item for the copy function. However, in the example shown in FIG. 3, the operation ID of the authentication word dictionary 132 does not include the operation ID of the operation of selecting the setting item of the copy function. This indicates that since the operation of selecting a setting item for the copy function is not a specific operation, the operation word "next" used in this operation is not used as an authentication word. In this case, it is determined that the operation word indicated by the user's voice is not an authentication word (the determination in step S24 is NO), and the processor 110 proceeds to step S28.

ステップＳ２８において、プロセッサ１１０は、処理を開始する指示が行われたか否かを判定する。例えばコピー機能のメニュー画面２１０の操作に用いられる利用者の音声の認識結果に応じて次の画面に進むことを指示する操作コマンドが認識された場合には、処理を開始する指示が行われていないと判定される（ステップＳ２８の判定がＮＯ）。この場合、プロセッサ１１０は、上述したステップＳ２２に戻る。 In step S28, processor 110 determines whether an instruction to start processing has been given. For example, if an operation command instructing to proceed to the next screen is recognized according to the recognition result of the user's voice used to operate the menu screen 210 of the copy function, an instruction to start processing is issued. It is determined that there is no one (determination in step S28 is NO). In this case, the processor 110 returns to step S22 described above.

この場合、ステップＳ２２では、次の排出先の設定画面２２０が表示される。そして、排出先の設定画面２２０について、上述したステップＳ２３以降の処理が繰り返される。この場合、利用者は設定画面２２０の操作に用いられる操作語を示す音声を発する。上述したコピー機能のメニュー画面２１０と同様に、排出先の設定画面２２０は、その操作に用いられる操作語は認証語ではなく、この操作語を示す音声から認識される操作コマンドも処理の開始を指示するコマンドではない。したがって、上述したステップＳ２４及びＳ２８の判定がいずれもＮＯになり、再びステップＳ２２に戻る。 In this case, in step S22, a setting screen 220 for the next discharge destination is displayed. Then, for the discharge destination setting screen 220, the processes from step S23 described above are repeated. In this case, the user utters a voice indicating the operation word used to operate the setting screen 220. Similar to the menu screen 210 for the copy function described above, the output destination setting screen 220 is configured so that the operation word used for the operation is not the authentication word, but also the operation command recognized from the voice indicating this operation word to start the process. It is not a command to instruct. Therefore, the determinations in steps S24 and S28 described above are both NO, and the process returns to step S22 again.

一方、上述したコピー機能のメニュー画面２１０の操作において、利用者が「カラーモード」、「倍率」、又は「用紙サイズ」という操作語を示す音声を発した場合には、ステップＳ２２では、上述した排出先の設定画面２２０に代えてカラーモードの設定画面２１１、倍率の設定画面２１２、又は用紙サイズの設定画面２１３が表示される。そして、カラーモードの設定画面２１１、倍率の設定画面２１２、又は用紙サイズの設定画面２１３について、上述したステップＳ２３以降の処理が繰り返される。上述したコピー機能のメニュー画面２１０と同様に、カラーモードの設定画面２１１、倍率の設定画面２１２、及び用紙サイズの設定画面２１３はいずれも、その操作に用いられる操作語は認証語ではなく、この操作語を示す音声から認識される操作コマンドも処理の開始を指示するコマンドではない。したがって、上述したステップＳ２４及びＳ２８の判定がいずれもＮＯになり、再びステップＳ２２に戻る。この場合、ステップＳ２２では、再びコピー機能のメニュー画面２１０が表示される。 On the other hand, in the operation of the menu screen 210 of the copy function described above, if the user utters a voice indicating the operation word "color mode", "magnification", or "paper size", in step S22, the above-mentioned In place of the discharge destination setting screen 220, a color mode setting screen 211, a magnification setting screen 212, or a paper size setting screen 213 is displayed. Then, the processes from step S23 described above are repeated for the color mode setting screen 211, the magnification setting screen 212, or the paper size setting screen 213. Similar to the copy function menu screen 210 described above, the color mode setting screen 211, magnification setting screen 212, and paper size setting screen 213 all use the operation word used for the operation, not the authentication word. The operation command recognized from the voice indicating the operation word is also not a command for instructing the start of processing. Therefore, the determinations in steps S24 and S28 described above are both NO, and the process returns to step S22 again. In this case, in step S22, the copy function menu screen 210 is displayed again.

また、上述したログイン画面２００の操作において、利用者が「プリント」という操作語を示す音声を発した場合には、ステップＳ２２において、上述したコピー機能のメニュー画面２１０に代えてプリント機能のメニュー画面２３０が表示される。そして、プリント機能のメニュー画面２３０について、上述したステップＳ２３以降の処理が繰り返される。一方、上述したログイン画面２００の操作において、利用者が「スキャン」という操作語を示す音声を発した場合には、ステップＳ２２において、上述したコピー機能のメニュー画面２１０に代えてスキャン機能のメニュー画面２４０及び格納先の設定画面２５０が順番に表示される。そして、スキャン機能のメニュー画面２４０及び格納先の設定画面２５０についてそれぞれ、上述したステップＳ２３以降の処理が繰り返される。上述したコピー機能のメニュー画面２１０と同様に、プリント機能のメニュー画面２３０、スキャン機能のメニュー画面２４０、及び格納先の設定画面２５０はいずれも、その操作に用いられる操作語は認証語ではなく、この操作語を示す音声から認識される操作コマンドも処理の開始を指示するコマンドではない。したがって、上述したステップＳ２４及びＳ２８の判定がいずれもＮＯになり、再びステップＳ２２に戻る。 In addition, in the operation of the login screen 200 described above, if the user utters a voice indicating the operation word "print", in step S22, the menu screen of the print function is displayed instead of the menu screen 210 of the copy function described above. 230 is displayed. Then, for the print function menu screen 230, the processes from step S23 described above are repeated. On the other hand, in the operation of the login screen 200 described above, if the user utters a voice indicating the operation word "scan", in step S22, the menu screen of the scan function is displayed instead of the menu screen 210 of the copy function described above. 240 and a storage location setting screen 250 are displayed in order. Then, the processes from step S23 described above are repeated for the scan function menu screen 240 and the storage destination setting screen 250, respectively. Similar to the above-mentioned copy function menu screen 210, the print function menu screen 230, the scan function menu screen 240, and the storage destination setting screen 250 all use operation words that are not authentication words. The operation command recognized from the voice indicating this operation word is also not a command for instructing the start of processing. Therefore, the determinations in steps S24 and S28 described above are both NO, and the process returns to step S22 again.

排出先の設定画面２２０、プリント機能のメニュー画面２３０、又は格納先の設定画面２５０が表示された後、ステップＳ２２では、次の枚数の設定画面２６０が表示される。例えば枚数の設定画面２６０の操作において利用者が「１」という操作語を示す音声を発した場合、ステップＳ２３では、この音声が取得され認識される。図２に示される例では、枚数を設定する操作の操作ＩＤと「１」という操作語との組に関連付けられた１枚を指定する操作コマンドが認識される。ステップＳ２４では、この「１」という操作語は枚数を指定する操作に用いられるところ、図３に示される例では、認証語辞書１３２の操作ＩＤには、この枚数を指定する操作の操作ＩＤが含まれるため、この操作語は認証語として用いられると判定される（ステップＳ２４の判定がＹＥＳ）。この場合、プロセッサ１１０は、ステップＳ２５に進む。 After the discharge destination setting screen 220, print function menu screen 230, or storage destination setting screen 250 is displayed, in step S22, the next number of sheets setting screen 260 is displayed. For example, when the user utters a voice indicating the operation word "1" while operating the number of sheets setting screen 260, this voice is acquired and recognized in step S23. In the example shown in FIG. 2, an operation command that specifies one sheet associated with a pair of the operation ID of the operation for setting the number of sheets and the operation word "1" is recognized. In step S24, this operation word "1" is used for the operation to specify the number of sheets, but in the example shown in FIG. Since this operation word is included, it is determined that this operation word is used as an authentication word (the determination in step S24 is YES). In this case, the processor 110 proceeds to step S25.

ステップＳ２５において、プロセッサ１１０は、認証語を示す利用者の音声を用いて、追加認証を行う。この追加認証では、認証語を示す音声を発した利用者が、ログイン認証において認識された利用者であることが確認される。この追加認証は、本発明に係る「第２認証」の一例である。この追加認証は、上述したログイン認証と同様に行われる。例えば「１」という操作語を示す利用者の音声の特徴が、図３に示される認証語辞書１３２において利用者Ａという利用者ＩＤと枚数を設定する操作の操作ＩＤとの組に関連付けられた「１」という操作語を示す音声の特徴と合致する場合には、利用者Ａが識別される。このように、ログイン認証において識別された利用者が追加認証において識別された場合には、追加認証は成功する。なお、ログイン認証において識別された利用者は、メモリ１２０に記憶された利用者ＩＤにより示される。一方、ログイン認証において識別された利用者と異なる利用者が追加認証において識別された場合又は利用者が識別されない場合には、追加認証は失敗する。 In step S25, the processor 110 performs additional authentication using the user's voice indicating the authentication word. In this additional authentication, it is confirmed that the user who uttered the voice indicating the authentication word is the user recognized in the login authentication. This additional authentication is an example of "second authentication" according to the present invention. This additional authentication is performed in the same manner as the login authentication described above. For example, the characteristics of the user's voice indicating the operation word "1" are associated with the pair of the user ID of user A and the operation ID of the operation for setting the number of sheets in the authentication word dictionary 132 shown in FIG. If the sound matches the voice characteristic indicating the operation word "1", user A is identified. In this way, if the user identified in the login authentication is identified in the additional authentication, the additional authentication is successful. Note that the user identified in the login authentication is indicated by the user ID stored in the memory 120. On the other hand, if a user different from the user identified in the login authentication is identified in the additional authentication, or if the user is not identified, the additional authentication fails.

ステップＳ２６において、プロセッサ１１０は、追加認証に成功したか否かを判定する。例えば追加認証に失敗した場合には（ステップＳ２６の判定がＮＯ）、プロセッサ１１０は、ステップＳ２７に進み、操作履歴の記録を開始してから、ステップＳ２８に進む。操作履歴の記録が開始されると、上述したステップＳ２１と同様に、以降、利用者により行われる操作の内容を示す操作情報がメモリ１２０又はストレージ１３０に記憶される。一方、例えば追加認証に成功した場合には（ステップＳ２６の判定がＹＥＳ）、プロセッサ１１０は、そのままステップＳ２８に進む。ステップＳ２８では、例えば枚数の設定画面２６０の操作において発せられた利用者の音声から１枚を指定する操作コマンドが認識された場合には、処理を開始する指示が行われていないと判定される（ステップＳ２８の判定がＮＯ）。この場合、プロセッサ１１０は、上述したステップＳ２２に戻る。 In step S26, processor 110 determines whether the additional authentication is successful. For example, if the additional authentication fails (the determination in step S26 is NO), the processor 110 proceeds to step S27, starts recording the operation history, and then proceeds to step S28. Once recording of the operation history is started, operation information indicating the contents of operations performed by the user thereafter is stored in the memory 120 or the storage 130, similarly to step S21 described above. On the other hand, if the additional authentication is successful (YES in step S26), the processor 110 directly proceeds to step S28. In step S28, for example, if an operation command specifying one sheet is recognized from the user's voice uttered when operating the number of sheets setting screen 260, it is determined that an instruction to start the process has not been given. (The determination in step S28 is NO). In this case, the processor 110 returns to step S22 described above.

この場合、ステップＳ２２では、次の確認画面２７０が表示される。例えば利用者が「はい」という操作語を示す音声を発した場合、ステップＳ２３ではこの音声が取得され認識される。図２に示される例では、処理の実行を指示する操作の操作ＩＤと「はい」という操作語との組に関連付けられた処理を開始する操作コマンドが認識される。ステップＳ２４では、この「はい」という操作語は処理の実行を指示する操作に用いられるところ、図３に示される例では、認証語辞書１３２の操作ＩＤには、この処理の実行を指示する操作の操作ＩＤが含まれるため、この操作語は認証語として用いられると判定される（ステップＳ２４の判定がＹＥＳ）。ステップＳ２５では、例えば「はい」という操作語を示す利用者の音声の特徴が、図３に示される認証語辞書１３２において利用者Ａという利用者ＩＤと処理の実行を指示する操作の操作ＩＤとの組に関連付けられた「はい」という操作語を示す音声の特徴と合致する場合には、利用者Ａが識別される。この場合、ステップＳ２６では、追加認証に成功したと判定される（ステップＳ２６の判定がＹＥＳ）。このように、図４に示される例では、ログイン認証に成功した後、追加認証が二回行われる。ステップＳ２８では、例えば確認画面２７０の操作において発せられた利用者の音声から処理を開始する操作コマンドが認識された場合には、処理を開始する指示が行われたと判定される（ステップＳ２８の判定がＹＥＳ）。この場合、プロセッサ１１０は、ステップＳ２９に進む。 In this case, the following confirmation screen 270 is displayed in step S22. For example, if the user utters a voice indicating the operation word "yes", this voice is acquired and recognized in step S23. In the example shown in FIG. 2, an operation command that starts a process associated with a pair of an operation ID of an operation that instructs execution of a process and an operation word "yes" is recognized. In step S24, this operation word "yes" is used for an operation that instructs execution of a process, but in the example shown in FIG. Since the operation ID is included, it is determined that this operation word is used as an authentication word (determination of step S24 is YES). In step S25, for example, the characteristics of the user's voice indicating the operation word "yes" are identified as the user ID of user A and the operation ID of the operation instructing execution of the process in the authentication word dictionary 132 shown in FIG. User A is identified if the voice matches the characteristics of the voice indicating the operational word "yes" associated with the set. In this case, in step S26, it is determined that the additional authentication has been successful (the determination in step S26 is YES). In this way, in the example shown in FIG. 4, after successful login authentication, additional authentication is performed twice. In step S28, for example, if an operation command to start processing is recognized from the user's voice uttered while operating the confirmation screen 270, it is determined that an instruction to start processing has been given (determination in step S28). is YES). In this case, the processor 110 proceeds to step S29.

ステップＳ２９において、プロセッサ１１０は、利用者の音声から認識された操作コマンドに従って処理を実行する。例えばコピー機能を選択する操作コマンド、第１排出部を指定する操作コマンド、１枚を指定する操作コマンド、及び処理を開始する操作コマンドが認識された場合には、画像読取部１７０及び画像形成部１８０により、これらの操作コマンドに従って、原稿画像を１枚コピーして第１排出部に出力するコピー処理が実行される。 In step S29, the processor 110 executes processing according to the operation command recognized from the user's voice. For example, when an operation command for selecting a copy function, an operation command for specifying the first output section, an operation command for specifying one sheet, and an operation command for starting processing are recognized, the image reading section 170 and the image forming section At step 180, a copying process is executed in which one sheet of the original image is copied and outputted to the first discharge section in accordance with these operation commands.

ステップＳ３０において、プロセッサ１１０は、利用者の操作が終了したか否かを判定する。例えばコピー処理が実行された後、利用者が続けて処理を行うことを示す操作を行った場合には、利用者の操作が終了していないと判定される（ステップＳ３０の判定がＮＯ）。この場合、プロセッサ１１０は、ステップＳ２２に戻り、次の操作画面を表示パネル１６０に表示させる。この次の操作画面は、例えばログイン画面２００であってもよい。一方、例えばコピー処理が実行された後、利用者が続けて処理を行うことを示す操作を行わなかった場合には、利用者の操作が終了したと判定される（ステップＳ３０の判定がＹＥＳ）。この場合、プロセッサ１１０は、ステップＳ３１に進む。このとき、上述したステップＳ２１又はＳ２７において操作履歴の記録が行われている場合には、操作履歴の記録が終了する。 In step S30, processor 110 determines whether the user's operation has ended. For example, if the user performs an operation indicating that the process will continue after the copy process is executed, it is determined that the user's operation has not been completed (determination in step S30 is NO). In this case, the processor 110 returns to step S22 and displays the next operation screen on the display panel 160. This next operation screen may be the login screen 200, for example. On the other hand, for example, if the user does not perform an operation indicating that the process should be continued after the copy process is executed, it is determined that the user's operation has ended (the determination in step S30 is YES). . In this case, the processor 110 proceeds to step S31. At this time, if the operation history has been recorded in step S21 or S27 described above, the operation history recording ends.

ステップＳ３１において、プロセッサ１１０は、操作情報が記憶されているか否かを判定する。例えばメモリ１２０又はストレージ１３０に操作情報が記憶されていない場合には（ステップＳ３０の判定がＮＯ）、そのままログアウトして図５に示されるプロセスは終了する。一方、メモリ１２０又はストレージ１３０に操作情報が記憶されている場合には（ステップＳ３０の判定がＹＥＳ）、プロセッサ１１０は、ステップＳ３２に進み、この操作情報を予め定められた送信先に送信する。この予め定められた送信先は、例えば管理者の使用する端末装置（図示せず）又は利用者の上司等の利用者に関連する他の利用者が使用する端末装置（図示せず）である。操作情報が送信されると、ログアウトして図５に示されるプロセスは終了する。 In step S31, processor 110 determines whether operation information is stored. For example, if the operation information is not stored in the memory 120 or the storage 130 (NO in step S30), the user logs out and the process shown in FIG. 5 ends. On the other hand, if the operation information is stored in the memory 120 or the storage 130 (YES in step S30), the processor 110 proceeds to step S32 and transmits this operation information to a predetermined destination. This predetermined destination is, for example, a terminal device (not shown) used by the administrator or a terminal device (not shown) used by another user related to the user, such as the user's boss. . Once the operation information is sent, the user logs out and the process shown in FIG. 5 ends.

図６は、画像処理装置１００における画面遷移の別の例を示す図である。図６に示される例では、まずログイン画面２００が表示される。このログイン画面２００においてコピー機能を選択する操作が行われた場合には、ログイン画面２００に続いて、コピー機能のメニュー画面２１０、カラーモードの設定画面２１１、倍率の設定画面２１２、用紙サイズの設定画面２１３、枚数の設定画面２６０、及び確認画面２７０が順番に表示される。一方、ログイン画面２００においてプリント機能を選択する操作が行われた場合には、ログイン画面２００に続いて、プリント機能のメニュー画面２３０、カラーモードの設定画面２１１、枚数の設定画面２６０、及び確認画面２７０が順番に表示される。また、ログイン画面２００においてスキャン機能を選択する操作が行われた場合には、ログイン画面２００に続いて、スキャン機能のメニュー画面２４０、カラーモードの設定画面２１１、格納先の設定画面２５０、枚数の設定画面２６０、及び確認画面２７０が順番に表示される。 FIG. 6 is a diagram showing another example of screen transitions in the image processing device 100. In the example shown in FIG. 6, a login screen 200 is first displayed. When the operation to select the copy function is performed on this login screen 200, the login screen 200 is followed by a copy function menu screen 210, a color mode setting screen 211, a magnification setting screen 212, and a paper size setting screen. A screen 213, a number setting screen 260, and a confirmation screen 270 are displayed in order. On the other hand, when an operation to select a print function is performed on the login screen 200, the login screen 200 is followed by a print function menu screen 230, a color mode setting screen 211, a number of sheets setting screen 260, and a confirmation screen. 270 are displayed in order. When the scan function is selected on the login screen 200, the scan function menu screen 240, the color mode setting screen 211, the storage destination setting screen 250, and the number of sheets screen are displayed following the login screen 200. A setting screen 260 and a confirmation screen 270 are displayed in order.

図６に示される複数の画面のうち、ログイン画面２００、カラーモードの設定画面２１１、枚数の設定画面２６０、及び確認画面２７０は、画像処理装置１００に対して行われる一連の複数の操作の中から予め決定された特定の操作を受け付ける。これは、図６に示される例では、ログイン画面２００、枚数の設定画面２６０、及び確認画面２７０が受け付ける操作に加えて、カラーモードの設定画面２１１が受け付けるカラーモードを設定する操作についても、画像処理装置１００のコピー機能、プリント機能、及びスキャン機能に共通する必須の操作であるため、特定の操作として決定されるためである。この場合、ログイン画面２００、カラーモードの設定画面２１１、枚数の設定画面２６０、及び確認画面２７０が受け付ける操作に用いられる操作語は、認証語として用いられる。その他の画面が受け付ける操作を音声で行うときに用いられる操作語は認証語に用いられない。図６では、図４と同様に、認証語を兼ねる操作語は二重線を付して表され、認証語ではない操作語は一重線を付して表されている。また、ログイン画面２００に対して行われる機能を選択する操作は、画像処理装置１００に対して行われる一連の複数の操作のうち最初の操作であるため、この操作に用いられる操作語は、ログイン認証の認証語として用いられる。 Among the plurality of screens shown in FIG. accepts a specific predetermined operation. In the example shown in FIG. 6, in addition to the operations accepted by the login screen 200, the number of sheets setting screen 260, and the confirmation screen 270, the color mode setting screen 211 accepts operations for setting the color mode. This is because it is an essential operation common to the copy function, print function, and scan function of the processing device 100, and is therefore determined as a specific operation. In this case, the operation words used for operations accepted by the login screen 200, the color mode setting screen 211, the number of sheets setting screen 260, and the confirmation screen 270 are used as authentication words. Operation words used when voice operations are accepted by other screens are not used as authentication words. In FIG. 6, similarly to FIG. 4, operation words that also serve as authentication words are shown with a double line, and operation words that are not authentication words are shown with a single line. Furthermore, since the operation to select a function performed on the login screen 200 is the first operation in a series of multiple operations performed on the image processing device 100, the operation word used for this operation is Used as an authentication word for authentication.

図６に示される例では、ログイン画面２００の操作において利用者により発せられた操作語を示す音声を用いて、ログイン認証が行われる。また、カラーモードの設定画面２１１、枚数の設定画面２６０、確認画面２７０の操作に用いられる操作語は認証語として用いられるため、利用者により発せられた操作語を示す音声を用いて追加処理が行われる。他の画面については、その操作に用いられる操作語は認証語として用いられないため、利用者により発せられた操作語を示す音声を用いて追加認証は行われない。このように、図６に示される例では、ログイン認証に成功した後、追加認証が三回行われる。 In the example shown in FIG. 6, login authentication is performed using a voice indicating an operation word uttered by the user while operating the login screen 200. In addition, since the operation words used to operate the color mode setting screen 211, the number of sheets setting screen 260, and the confirmation screen 270 are used as authentication words, additional processing is performed using the voice indicating the operation words uttered by the user. It will be done. Regarding other screens, since the operation words used for the operations are not used as authentication words, additional authentication is not performed using the voice indicating the operation words uttered by the user. In this way, in the example shown in FIG. 6, after login authentication is successful, additional authentication is performed three times.

上述した実施形態によれば、ログイン認証が行われた後、少なくとも一回は追加認証が行われるため、ログイン認証が行われた後に第三者がこの利用者になりすまして操作を行うことが抑制される。その結果、情報セキュリティが強化される。また、画像処理装置１００に対して行われる複数の操作の一部である特定の操作について、その操作に用いられる操作語を示す音声を用いて利用者の認証が行われるため、画像処理装置１００に対して行われる全ての操作について、その操作に用いられる操作語を示す音声を用いて利用者の認証が行われる場合に比して、処理の負荷が軽減される。 According to the embodiment described above, after login authentication is performed, additional authentication is performed at least once, which prevents a third party from impersonating the user and performing operations after login authentication is performed. be done. As a result, information security is strengthened. Furthermore, for a specific operation that is part of a plurality of operations performed on the image processing device 100, the user is authenticated using a voice indicating the operation word used for that operation. The processing load is reduced compared to a case where the user is authenticated using a voice indicating the operation word used for the operation for all operations performed on the user.

さらに、画像処理装置１００に対して行われる複数の操作の一部である特定の操作について、その操作に用いられる操作語を示す音声を用いて利用者の認証が行われるため、画像処理装置１００に対して行われる全ての操作について、その操作に用いられる操作語を示す音声を用いて利用者の認証が行われる場合に比して、認証語辞書１３２に含まれる認識語を示す音声の数が少なくなり、認証語辞書１３２のデータ容量が削減される。さらに、操作語辞書１３１は全利用者で共用されるため、音声認識に用いられる辞書を利用者毎に作成する場合に比べて、操作語辞書１３１のデータ容量が削減される。このように、操作語辞書１３１及び認証語辞書１３２のデータ容量が削減されることにより、操作語辞書１３１及び認証語辞書１３２の読み込み時間が短くなり、音声認識及び音声を用いる利用者の認証に要する時間が短くなる。 Furthermore, for a specific operation that is part of a plurality of operations performed on the image processing device 100, the user is authenticated using a voice indicating the operation word used for that operation. For all operations performed on , the number of voices indicating recognized words included in the authentication word dictionary 132 is greater than in the case where the user is authenticated using voices indicating the operation word used for that operation. , and the data capacity of the authentication word dictionary 132 is reduced. Furthermore, since the operation word dictionary 131 is shared by all users, the data capacity of the operation word dictionary 131 is reduced compared to the case where a dictionary used for speech recognition is created for each user. In this way, by reducing the data capacity of the operation word dictionary 131 and the authentication word dictionary 132, the loading time of the operation word dictionary 131 and the authentication word dictionary 132 is shortened, which makes it easier for voice recognition and user authentication using voice. It takes less time.

さらに、ログイン認証に失敗した場合には、ワンタイムパスワードを用いてログイン認証が行われ、このログイン認証に成功した場合には、利用者の操作履歴が記録され、利用者の操作の内容を示す操作情報が予め定められた送信先に送信されるため、このような場合でも、利用者により行われた操作が分かる。さらに、追加認証に失敗した場合には、利用者の操作履歴が記録され、利用者の操作の内容を示す操作情報が予め定められた送信先に送信されるため、ログイン認証が行われた後に、第三者がこの利用者になりすまして操作を行った場合でも、第三者により行われた操作が分かる。 Furthermore, if login authentication fails, login authentication is performed using a one-time password, and if this login authentication is successful, the user's operation history is recorded and shows the details of the user's operation. Since the operation information is transmitted to a predetermined destination, even in such a case, the operation performed by the user can be known. Furthermore, if additional authentication fails, the user's operation history is recorded and operation information indicating the details of the user's operation is sent to a predetermined destination, so after login authentication is performed, , Even if a third party impersonates this user and performs an operation, the operation performed by the third party can be known.

さらに、各操作の特徴に応じて特定の操作が決定されるため、利用者の認証に適した操作に対応する音声を用いて追加認証が行われる。さらに、画像処理装置１００に対して行われる最初の操作に用いられる操作語を示す音声を用いてログイン認証が行われるため、利用者は画像処理装置１００の操作に用いられる操作語を示す音声以外の音声を発しなくても、画像処理装置１００を利用することができる。 Furthermore, since a specific operation is determined according to the characteristics of each operation, additional authentication is performed using a voice corresponding to an operation suitable for user authentication. Furthermore, since login authentication is performed using the voice that indicates the operation word used for the first operation performed on the image processing device 100, the user cannot use the voice that indicates the operation word used for the operation of the image processing device 100. The image processing device 100 can be used without making any sound.

３．変形例
本発明は、上述した実施形態に限定されない。上述した実施形態は以下の例のように変形して実施されてもよい。このとき、以下の２以上の変形例が組み合わせて実施されてもよい。 3. Modifications The present invention is not limited to the embodiments described above. The embodiment described above may be modified and implemented as in the following example. At this time, two or more of the following modifications may be implemented in combination.

上述した実施形態において、特定の操作は、各操作において発せられる音声の言葉の長さに応じて決定されてもよい。例えば画像処理装置１００に対して行われる複数の操作のうち、操作語を示す音声の長さが基準値以下となる操作が特定の操作として決定されてもよい。例えば数字、「はい」又は「いいえ」という操作語は、文字数が少ないため、操作語を示す音声の長さが短い。このような操作語を用いる操作が特定の操作として決定されてもよい。音声を用いた利用者の認証においては、音声の長さが短い程、利用者の認証精度が向上する。この変形例によれば、利用者の認証に用いられる音声の長さが短くなるため、利用者の認証精度が向上する。また、特定の操作は、各操作において行われる操作の選択肢の数に応じて決定されてもよい。また、画像処理装置１００に対して行われる複数の操作のうち、選択肢の数が基準値以下の操作が特定の操作として決定されてもよい。例えば、「はい」又は「いいえ」という操作語を用いる操作は、操作の選択肢が二つしかないため、このような操作語を用いる操作が特定の操作として決定されてもよい。この変形例によれば、認証語辞書１３２に含まれる認証語を示す音声の数が少なくなるため、認証語辞書１３２のデータ量が削減される。 In the embodiments described above, the specific operation may be determined depending on the length of the spoken word uttered in each operation. For example, among a plurality of operations performed on the image processing device 100, an operation in which the length of the sound indicating the operation word is equal to or less than a reference value may be determined as the specific operation. For example, a number or an operation word such as "yes" or "no" has a small number of characters, so the length of the sound indicating the operation word is short. An operation using such an operation word may be determined as a specific operation. In user authentication using voice, the shorter the length of voice, the better the accuracy of user authentication. According to this modification, the length of the voice used for user authentication is shortened, so that the accuracy of user authentication is improved. Further, the specific operation may be determined according to the number of operation options to be performed in each operation. Further, among a plurality of operations performed on the image processing device 100, an operation for which the number of options is equal to or less than a reference value may be determined as a specific operation. For example, since there are only two operation options for an operation using the operation word "yes" or "no", an operation using such an operation word may be determined as a specific operation. According to this modification, the number of voices representing the authentication word included in the authentication word dictionary 132 is reduced, so the amount of data in the authentication word dictionary 132 is reduced.

上述した実施形態において、特定の操作は切り替えられてもよい。例えば三つの特定の操作の候補が予め決められている場合、これらの候補の中から選択された二つの候補が特定の操作として用いられてもよい。この選択は、ランダムに行われてもよいし、順番に従って行われてもよい。この変形例によれば、特定の操作が不変である構成に比して、情報セキュリティが強化される。 In the embodiments described above, certain operations may be switched. For example, if three specific operation candidates are determined in advance, two candidates selected from these candidates may be used as the specific operation. This selection may be made randomly or sequentially. According to this modification, information security is enhanced compared to a configuration in which specific operations remain unchanged.

また、利用者、利用者の役職、又は画像処理装置１００の設置場所によって、特定の操作の数が変更されてもよい。この特定の操作の数は、追加認証が行われる回数に対応する。特定の操作の数が増えると、追加認証が行われる回数も増える。例えば三つの特定の操作の候補が予め決められている場合、信頼性の高い利用者については、これらの候補の中から選択された一つの候補が特定の操作として用いられてもよい。一方、それ以外の利用者については、これらの三つの候補が特定の操作として用いられてもよい。同様に、信頼性の高い役職の利用者については、これらの候補の中から選択された一つの候補が特定の操作として用いられてもよい。一方、それ以外の役職の利用者については、これらの三つの候補が特定の操作として用いられてもよい。また、画像処理装置１００の設置場所が会社等の出入りする人が限られている場所である場合には、これらの候補の中から選択された一つの候補が特定の操作として用いられてもよい。一方、画像処理装置１００の設置場所がオープンスペース等の不特定多数の人が出入りする場所である場合には、これらの三つの候補が特定の操作として用いられてもよい。この変形例によれば、情報セキュリティのレベルを変えることができる。 Further, the number of specific operations may be changed depending on the user, the user's position, or the installation location of the image processing apparatus 100. This number of specific operations corresponds to the number of times additional authentication is performed. As the number of specific operations increases, the number of additional authentications performed also increases. For example, if three specific operation candidates are determined in advance, one candidate selected from these candidates may be used as the specific operation for a highly reliable user. On the other hand, for other users, these three candidates may be used as specific operations. Similarly, for a user with a highly reliable position, one candidate selected from these candidates may be used as a specific operation. On the other hand, for users with other positions, these three candidates may be used as specific operations. Furthermore, if the image processing device 100 is installed in a place such as a company where only a limited number of people come in and out, one candidate selected from these candidates may be used as the specific operation. . On the other hand, if the installation location of the image processing device 100 is an open space or other location where an unspecified number of people come and go, these three candidates may be used as the specific operation. According to this modification, the level of information security can be changed.

上述した実施形態において、画像処理装置１００の操作に用いられる操作語を示す音声とは異なる音声を用いてログイン認証が行われてもよい。この場合、ログイン認証には、例えば利用者の名前や利用者により予め設定されたログイン認証用の言葉を示す音声が用いられてもよい。この変形例によれば、利用者は手動で操作を行わなくても、音声を発するだけで、画像処理装置１００の利用を開始することができる。 In the embodiment described above, login authentication may be performed using a voice different from the voice indicating the operation word used to operate the image processing device 100. In this case, for login authentication, for example, a voice indicating the user's name or login authentication words preset by the user may be used. According to this modification, the user can start using the image processing apparatus 100 simply by uttering a voice without performing any manual operation.

上述した実施形態において、ログイン認証に失敗した場合に行われるログイン認証の認証方法は、ワンタイムパスワードを用いた認証方法に限定されない。この認証方法は、音声を用いた認証方法と異なる他の認証方法であればどのような認証方法であってもよい。例えばこの認証方法は、ＩＣカード（integrated circuit）を用いた認証方法やカメラにより撮影された利用者の顔画像を用いた認証方法であってもよい。 In the embodiments described above, the authentication method for login authentication performed when login authentication fails is not limited to the authentication method using a one-time password. This authentication method may be any other authentication method that is different from the authentication method using voice. For example, this authentication method may be an authentication method using an IC card (integrated circuit) or an authentication method using an image of the user's face taken by a camera.

上述した実施形態において、追加認証に失敗した場合において、利用者が識別されないときとログイン認証において識別された利用者とは異なる利用者が識別されたときとで、その後の処理が異なってもよい。例えばログイン認証において識別された利用者とは異なる利用者が追加認証において識別された場合には、上述した実施形態のように、操作履歴の記録を開始してから処理が継続されてもよい。一方、追加認証において利用者が識別されない場合には、例えばログアウトしてプロセスが終了してもよい。 In the embodiment described above, when additional authentication fails, subsequent processing may be different depending on whether the user is not identified or when a user different from the user identified in login authentication is identified. . For example, if a user different from the user identified in the login authentication is identified in the additional authentication, the process may be continued after recording the operation history, as in the above-described embodiment. On the other hand, if the user is not identified in the additional authentication, the process may be terminated by, for example, logging out.

上述した実施形態において、画像処理装置１００の構成は例示であり、この例に限定されない。例えば操作語辞書１３１及び認証語辞書１３２は、ストレージ１３０に代えてメモリ１２０に記憶されてもよい。音声認証部１１１及び音声認識部１１２は、プロセッサ１１０に代えて、専用回路により実現されてもよい。 In the embodiment described above, the configuration of the image processing device 100 is an example, and the configuration is not limited to this example. For example, the operation word dictionary 131 and the authentication word dictionary 132 may be stored in the memory 120 instead of the storage 130. The voice authentication section 111 and the voice recognition section 112 may be realized by a dedicated circuit instead of the processor 110.

上述した実施形態において、画像処理装置１００において行われる処理の少なくとも一部が他の装置において行われてもよい。さらに、上述した画像処理装置１００の処理の順序は例示であり、矛盾の無い限り、順序を入れ替えてもよい。 In the embodiments described above, at least a portion of the processing performed in the image processing device 100 may be performed in another device. Further, the order of processing by the image processing apparatus 100 described above is an example, and the order may be changed as long as there is no contradiction.

上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Central Processing Unit等）や、専用のプロセッサ（例えばＧＰＵ：Graphics Processing Unit、ＡＳＩＣ:Application Specific Integrated Circuit、ＦＰＧＡ：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。 In the above embodiments, the processor refers to a processor in a broad sense, including a general-purpose processor (for example, CPU: Central Processing Unit, etc.) and a dedicated processor (for example, GPU: Graphics Processing Unit, ASIC: Application Specific Integrated Circuit, FPGA: field programmable gate array, programmable logic device, etc.).

また上記実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。 Further, the operation of the processor in the above embodiments may be performed not only by one processor, but also by the cooperation of a plurality of processors located at physically separate locations. Further, the order of each operation of the processor is not limited to the order described in each of the above embodiments, and may be changed as appropriate.

本発明は、画像処理装置１００において実行されるプログラムとして提供されてもよい。画像処理装置１００は、本発明に係る「コンピュータ」の一例である。このプログラムは、インターネットなどの通信回線を介してダウンロードされてもよいし、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。 The present invention may be provided as a program executed in the image processing device 100. The image processing device 100 is an example of a "computer" according to the present invention. This program may be downloaded via a communication line such as the Internet, or may be stored on a computer such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium (optical disk, etc.), a magneto-optical recording medium, a semiconductor memory, etc. may be provided in a state recorded on a readable recording medium.

１００：画像処理装置、１１０：プロセッサ、１１１：音声認証部、１１２：音声認識部、１２０：メモリ、１３０：ストレージ、１３１：操作語辞書、１３２：認証語辞書、１４０：通信インターフェース、１５０：マイクロフォン、１５５：入力インターフェース、１６０：表示パネル、１６５：表示制御部、１７０：画像読取部、１８０：画像形成部 100: Image processing device, 110: Processor, 111: Voice authentication unit, 112: Voice recognition unit, 120: Memory, 130: Storage, 131: Operation word dictionary, 132: Authentication word dictionary, 140: Communication interface, 150: Microphone , 155: input interface, 160: display panel, 165: display control section, 170: image reading section, 180: image forming section

Claims (8)

プロセッサを備え、
前記プロセッサは、
一連の複数の操作において利用者が発した複数の音声をそれぞれ取得し、
前記複数の音声のうち前記複数の操作の最初の操作に対応する音声又は前記複数の音声とは異なる音声を用いて、第１認証を行い、
前記第１認証に成功した場合には、前記複数の音声のうち前記複数の操作の一部である特定の操作に対応する音声が前記第１認証で認証された利用者の音声であることを確認する第２認証を行い、
前記第２認証が行われると、前記複数の音声の認識結果に関連付けられた複数の操作に応じた処理を実行する
ことを特徴とする情報処理装置。 Equipped with a processor,
The processor includes:
Acquires multiple voices emitted by the user during a series of multiple operations,
Performing a first authentication using a voice corresponding to a first operation of the plurality of operations among the plurality of voices or a voice different from the plurality of voices,
If the first authentication is successful, the voice corresponding to a specific operation that is part of the plurality of operations among the plurality of voices is the voice of the user authenticated in the first authentication. Perform the second authentication to confirm,
The information processing apparatus is characterized in that, when the second authentication is performed, processing is executed according to a plurality of operations associated with the recognition results of the plurality of voices. 前記プロセッサは、前記第２認証に失敗した場合には、前記複数の操作を示す操作情報を予め定められた送信先に送信する
ことを特徴とする請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the processor transmits operation information indicating the plurality of operations to a predetermined destination if the second authentication fails. 前記特定の操作は、前記複数の操作に含まれる各操作の特徴、各操作において発せられる音声の言葉の長さ、又は各操作の選択肢の数に応じて決定される
ことを特徴とする請求項１に記載の情報処理装置。 Claim characterized in that the specific operation is determined according to the characteristics of each operation included in the plurality of operations, the length of the voice uttered in each operation, or the number of options for each operation. 1. The information processing device according to 1. 前記特定の操作は切り替えられる
ことを特徴とする請求項３に記載の情報処理装置。 The information processing device according to claim 3, wherein the specific operation is switched. 前記プロセッサは、
前記複数の音声のうち、前記複数の操作の最初の操作に対応する音声を用いて、前記第１認証を行い、
前記第１認証に成功した場合には、前記第２認証を行う
ことを特徴とする請求項１に記載の情報処理装置。 The processor includes:
performing the first authentication using a voice corresponding to a first operation of the plurality of operations among the plurality of voices;
The information processing apparatus according to claim 1, wherein the second authentication is performed if the first authentication is successful. 前記プロセッサは、
前記複数の音声とは異なる音声を用いて前記第１認証を行い、
前記第１認証に成功した場合には、前記第２認証を行う
ことを特徴とする請求項１に記載の情報処理装置。 The processor includes:
performing the first authentication using a voice different from the plurality of voices;
The information processing apparatus according to claim 1, wherein the second authentication is performed if the first authentication is successful. 前記プロセッサは、
前記第１認証に失敗した場合には、音声を用いた認証方法とは異なる他の認証方法により前記利用者を識別する第３認証を行い、
前記第３認証に成功した場合には、前記特定の操作に対応する前記音声が前記第３認証で認証された利用者の音声であることを確認する第２認証を行い、
前記第３認証に成功した場合には、前記複数の操作を示す操作情報を予め定められた送信先に送信する
ことを特徴とする請求項５又は６に記載の情報処理装置。 The processor includes:
If the first authentication fails, a third authentication is performed to identify the user using another authentication method different from the authentication method using voice;
If the third authentication is successful, perform a second authentication to confirm that the voice corresponding to the specific operation is the voice of the user authenticated in the third authentication,
The information processing apparatus according to claim 5 or 6, wherein when the third authentication is successful, operation information indicating the plurality of operations is transmitted to a predetermined destination. コンピュータに、
一連の複数の操作において利用者が発した複数の音声をそれぞれ取得するステップと、
前記複数の音声のうち前記複数の操作の最初の操作に対応する音声又は前記複数の音声とは異なる音声を用いて、第１認証を行うステップと、
前記第１認証に成功した場合には、前記複数の音声のうち前記複数の操作の一部である特定の操作に対応する音声が前記第１認証で認証された利用者の音声であることを確認する第２認証を行うステップと、
前記第２認証が行われると、前記複数の音声の認識結果に関連付けられた複数の操作に応じた処理を実行するステップと
を実行させるためのプログラム。 to the computer,
a step of acquiring each of a plurality of voices uttered by a user in a series of a plurality of operations;
performing a first authentication using a voice corresponding to a first operation of the plurality of operations among the plurality of voices or a voice different from the plurality of voices;
If the first authentication is successful, the voice corresponding to a specific operation that is part of the plurality of operations among the plurality of voices is the voice of the user authenticated in the first authentication. performing a second authentication to confirm;
and, when the second authentication is performed, executing processing according to a plurality of operations associated with the recognition results of the plurality of voices.
JP2020105260A 2020-06-18 2020-06-18 Information processing device and program Active JP7435296B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020105260A JP7435296B2 (en) 2020-06-18 2020-06-18 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020105260A JP7435296B2 (en) 2020-06-18 2020-06-18 Information processing device and program

Publications (2)

Publication Number Publication Date
JP2021197060A JP2021197060A (en) 2021-12-27
JP7435296B2 true JP7435296B2 (en) 2024-02-21

Family

ID=79195707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020105260A Active JP7435296B2 (en) 2020-06-18 2020-06-18 Information processing device and program

Country Status (1)

Country Link
JP (1) JP7435296B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048208A (en) 2004-08-02 2006-02-16 Seiko Epson Corp Data processing system and data output device
JP2006048209A (en) 2004-08-02 2006-02-16 Seiko Epson Corp Data transmission and reception system, data reception device, and data transmission device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048208A (en) 2004-08-02 2006-02-16 Seiko Epson Corp Data processing system and data output device
JP2006048209A (en) 2004-08-02 2006-02-16 Seiko Epson Corp Data transmission and reception system, data reception device, and data transmission device

Also Published As

Publication number Publication date
JP2021197060A (en) 2021-12-27

Similar Documents

Publication Publication Date Title
JP2007171534A (en) Electronic device and speech operation program
US11140284B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
US10972632B2 (en) Information processing apparatus with voice print authentication and program
US20110238617A1 (en) Document management apparatus, document management method, and computer-readable non-transitory storage medium storing document management program
US20100319057A1 (en) Information Processing Apparatus Capable of Authentication Processing with Improved User Convenience, Control Program for Information Processing Apparatus, and Recording Medium Having Control Program for Information Processing Apparatus Recorded Thereon
JP5234098B2 (en) Print system, image forming apparatus, image forming method, and image forming program
JP2024074811A (en) Information processing device and program
JP4657097B2 (en) Electronic equipment and voice operation program
JP2007028202A (en) Image processing apparatus, program, and recording medium
US20200053236A1 (en) Image forming apparatus allowing voice operation, control method therefor, storage medium storing control program therefor, and image forming system
JP7409179B2 (en) Information processing device and program
US20200366800A1 (en) Apparatus
JP7435296B2 (en) Information processing device and program
US20200312326A1 (en) Image forming apparatus and job execution method
JP6822374B2 (en) Image forming device
JP7314499B2 (en) Information processing system, information processing device, job control method and job control program
US11647129B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
JP7139937B2 (en) Speech processing system, job generation device, job generation method and job generation program
JP7409145B2 (en) Password authentication device, image processing device, password authentication method
JP7361509B2 (en) Peripheral device management system, printing device control system, control method, printing control device and program
JP2021082857A (en) Input control device, image forming apparatus, and input control method
US11861140B2 (en) System and image forming system
JP7139934B2 (en) Information processing device and program
US11350014B2 (en) Communication system, receiving apparatus, and method for secure facsimile communication
US20230109068A1 (en) Information processing system and control method for controlling information processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240122

R150 Certificate of patent or registration of utility model

Ref document number: 7435296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150