JP4169714B2

JP4169714B2 - 操作器

Info

Publication number: JP4169714B2
Application number: JP2004068058A
Authority: JP
Inventors: 一浩三木
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-03-10
Filing date: 2004-03-10
Publication date: 2008-10-22
Anticipated expiration: 2024-03-10
Also published as: JP2005260507A

Description

本発明は、機器を操作する操作器に関する。

機器を操作するための操作器では、利用者が操作面を見ながら、キー操作を行って、所望する操作を行う。しかし、操作面が見えにくい場所に設けられている場合には、利用者は、操作を行う際に操作面を確認しなければならず、操作しにくいという問題がある。また、周囲が暗い場合には、利用者が操作面を認識することが困難である。

また、電子機器の高機能化に伴い、電子機器の動作を制御する操作器も高機能化している。このような操作器は、キー数の増加や操作手順の複雑化を招来する。特に、操作器の操作が複雑な場合には、習熟度の低い利用者は、正しい操作を行っているかどうかを確認しながら、操作の入力を望む場合がある。

この様な問題を解決するため、所定の操作手順の各ステップにおいてその操作方法を音声により案内する操作器が提案されている（例えば、特許文献１参照）。

特開２００２−２４７６７０号公報（特許請求の範囲、段落０００５〜段落００１１）

しかし、同一の利用者であっても、各操作への習熟度は異なる。あるいは利用者ごとに同一の操作に対する習熟度は異なる。このため、特許文献１に記載の操作器のように、各ステップにおいて常時音声を出力することとすると、利用者が、操作内容を認知して行っている場合には、煩わしさを感ずる。

この場合に、利用者が操作を入力する際に、その操作方法を音声により出力するか否かを切り替える方法も考えられる。しかし、利用者が操作のステップごとに音声の出力／非出力の切り替えを選択することは、利用者に操作の煩わしさを与える。

すなわち、本発明は、上記問題に鑑みなされたものであり、その目的は、一連の操作においてステップごとに音声の出力／非出力の切り替えを自動的に行うことを、利用者が選択できる操作器を提供することにある。

また、本発明の別の目的は、音声の出力／非出力の切り替えを精度良く行える操作器を提供することにある。

上記目的を達成するために、本発明の操作器は、利用者が所定の操作内容の指示を入力するための操作入力手段と、上記操作内容に対応する音声を出力する音声出力モード、上記操作内容に対応する音声を出力しない音声非出力モード、あるいは、上記操作内容に対応する音声を出力するか否かを自動で判別させる自動判別モードのいずれかを利用者が設定するための操作モード入力手段と、音声出力モード、音声非出力モード又は自動判別モードのいずれであるかを判別する操作モード判別手段と、当該操作器の周囲の明るさを計測する明度計測手段と、計測された上記明るさが、予め設定された明るさの閾値を超えているか否かを判定する明度判定手段と、操作履歴から、利用者が行った該当操作内容の正誤の回数を基に、又は、音声出力開始から決定までの時間を基に、利用者の当該操作機器の習熟度を抽出する習熟度抽出手段と、上記習熟度抽出手段により抽出された習熟度が、予め設定された習熟度の閾値より高いか低いかを判定する習熟度判断手段と、操作内容に対応する音声を出力する音声出力手段と、上記音声で出力された操作内容が希望の操作である場合に利用者が指示して確定させる操作確定手段と、上記操作内容の指示を実行する操作実行手段と、を備え、
（１）上記操作モード判別手段が上記音声非出力モードであると判断した場合、利用者が上記操作入力手段を用いて上記所定の操作内容の指示を行うと、即時、上記操作実行手段がその指示された操作内容を実行し、
（２）上記操作モード判別手段が上記音声出力モードであると判断した場合、利用者が上記操作入力手段を用いて上記所定の操作内容の指示を行うと、上記音声出力手段が上記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを上記操作確定手段により確定させて、上記操作実行手段がその指示された操作内容を実行し、
（３）上記操作モード判別手段が上記自動判別モードであると判断した場合、利用者が上記操作入力手段を用いて上記所定の操作内容の指示を行うと、上記明度判定手段が、計測された上記明るさが、予め設定された明るさの閾値を超えているか否かを判定し、
１）上記設定された明るさの閾値を超えている場合には、上記操作実行手段がその指示された操作内容を実行し、
２）上記設定された明るさの閾値を超えていない場合には、上記習熟度抽出手段が、上記操作履歴を調べて、利用者の当該操作機器の習熟度を抽出し、この抽出された習熟度をもとに上記習熟度判断手段が、予め設定された習熟度の閾値より高いか低いかを判定し、
i）利用者の習熟度が上記習熟度の閾値より高い場合には、上記操作実行手段がその指示された操作内容を実行し、
ii）利用者の習熟度が上記習熟度の閾値より低い場合には、上記音声出力手段が上記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作であると判断した場合にそれを上記操作確定手段により確定させられたとき、上記操作実行手段がその指示された操作内容を実行する。

本発明の好ましい実施態様によれば、上記明るさの閾値を変更する閾値変更手段を備える。

本発明の好ましい実施態様によれば、予め設定された上記習熟度を更新する習熟度更新手段を備える。

上記習熟度更新手段は、操作器に設けられた上記操作入力手段ごとに、上記習熟度を更新するのが好ましい。

上記操作モード判別手段は、上記操作入力手段ごとに、音声出力モード、音声非出力モード又は自動判別モードのいずれであるかを判別するのが好ましい。

本発明に係る操作方法は、利用者が所定の操作内容の指示を入力するための操作入力ステップと、上記操作内容に対応する音声を出力する音声出力モード、上記操作内容に対応する音声を出力しない音声非出力モード、あるいは、上記操作内容に対応する音声を出力するか否かを自動で判別させる自動判別モードのいずれかを利用者が設定するための操作モード入力ステップと、音声出力モード、音声非出力モード又は自動判別モードのいずれであるかを判別する操作モード判別ステップと、当該操作器の周囲の明るさを計測する明度計測ステップと、計測された上記明るさが、予め設定された明るさの閾値を超えているか否かを判定する明度判定ステップと、操作履歴から、利用者が行った該当操作内容の正誤の回数を基に、又は、音声出力開始から決定までの時間を基に、利用者の当該操作機器の習熟度を抽出する習熟度抽出ステップと、上記習熟度抽出ステップにおいて抽出された習熟度が、予め設定された習熟度の閾値より高いか低いかを判定する習熟度判断ステップと、操作内容に対応する音声を出力する音声出力ステップと、上記音声で出力された操作内容が希望の操作である場合に利用者が指示して確定させる操作確定ステップと、
上記操作内容の指示を実行する操作実行ステップと、を備え、
（１）上記操作モード判別ステップにおいて、上記音声非出力モードであると判断した場合、利用者が上記操作入力ステップにおいて上記所定の操作内容の指示を行うと、即時、上記操作実行手段がその指示された操作内容を実行し、
（２）上記操作モード判別ステップにおいて上記音声出力モードであると判断した場合、利用者が上記操作入力ステップにおいて上記所定の操作内容の指示を行うと、上記音声出力ステップにおいて上記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを上記操作確定ステップにおいて確定させて、上記操作実行ステップにおいてその指示された操作内容を実行し、
（３）上記操作モード判別ステップにおいて上記自動判別モードであると判断した場合、利用者が上記操作入力ステップにおいて上記所定の操作内容の指示を行うと、上記明度判定ステップにおいて計測された上記明るさが、予め設定された明るさの閾値を超えているか否かを判定し、
１）上記設定された明るさの閾値を超えている場合には、上記操作実行ステップにおいてその指示された操作内容を実行し、
２）上記設定された明るさの閾値を超えていない場合には、上記習熟度抽出ステップにおいて、上記操作履歴を調べて、利用者の当該操作機器の習熟度を抽出し、この抽出された習熟度をもとに上記習熟度判断ステップにおいて、予め設定された習熟度の閾値より高いか低いかを判定し、
i）利用者の習熟度が上記習熟度の閾値より高い場合には、上記操作実行ステップにおいてその指示された操作内容を実行し、
ii）利用者の習熟度が上記習熟度の閾値より低い場合には、上記音声出力ステップにおいて上記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを上記操作確定ステップにおいて確定させられたとき、上記操作実行ステップにおいてその指示された操作内容を実行する。

本発明に係る操作プログラムは、利用者が所定の操作内容の指示を入力するための操作入力ステップと、上記操作内容に対応する音声を出力する音声出力モード、上記操作内容に対応する音声を出力しない音声非出力モード、あるいは、上記操作内容に対応する音声を出力するか否かを自動で判別させる自動判別モードのいずれかを利用者が設定するための操作モード入力ステップと、音声出力モード、音声非出力モード又は自動判別モードのいずれであるかを判別する操作モード判別ステップと、当該操作器の周囲の明るさを計測する明度計測ステップと、計測された上記明るさが、予め設定された明るさの閾値を超えているか否かを判定する明度判定ステップと、操作履歴から、利用者が行った該当操作内容の正誤の回数を基に、又は、音声出力開始から決定までの時間を基に、利用者の当該操作機器の習熟度を抽出する習熟度抽出ステップと、上記習熟度抽出ステップにおいて抽出された習熟度が、予め設定された習熟度の閾値より高いか低いかを判定する習熟度判断ステップと、操作内容に対応する音声を出力する音声出力ステップと、上記音声で出力された操作内容が希望の操作である場合に利用者が指示して確定させる操作確定ステップと、上記操作内容の指示を実行する操作実行ステップと、をコンピュータに実行させる操作プログラムにおいて、
（１）上記操作モード判別ステップにおいて、上記音声非出力モードであると判断した場合、利用者が上記操作入力ステップにおいて上記所定の操作内容の指示を行うと、即時、上記操作実行手段がその指示された操作内容を実行し、
（２）上記操作モード判別ステップにおいて上記音声出力モードであると判断した場合、利用者が上記操作入力ステップにおいて上記所定の操作内容の指示を行うと、上記音声出力ステップにおいて上記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを上記操作確定ステップにおいて確定させて、上記操作実行ステップにおいてその指示された操作内容を実行し、
（３）上記操作モード判別ステップにおいて上記自動判別モードであると判断した場合、利用者が上記操作入力ステップにおいて上記所定の操作内容の指示を行うと、上記明度判定ステップにおいて計測された上記明るさが、予め設定された明るさの閾値を超えているか否かを判定し、
１）上記設定された明るさの閾値を超えている場合には、上記操作実行ステップにおいてその指示された操作内容を実行し、
２）上記設定された明るさの閾値を超えていない場合には、上記習熟度抽出ステップにおいて、上記操作履歴を調べて、利用者の当該操作機器の習熟度を抽出し、この抽出された習熟度をもとに上記習熟度判断ステップにおいて、予め設定された習熟度の閾値より高いか低いかを判定し、
i）利用者の習熟度が上記習熟度の閾値より高い場合には、上記操作実行ステップにおいてその指示された操作内容を実行し、
ii）利用者の習熟度が上記習熟度の閾値より低い場合には、上記音声出力ステップにおいて上記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを上記操作確定ステップにおいて確定させられたとき、上記操作実行ステップにおいてその指示された操作内容を実行させることを特徴とする。

また、本発明は、前記操作プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。

本発明の操作器は、入力された操作が、利用者の所望する操作かどうかを自動的に判定する操作判定手段を備える。この構成により、利用者が自動判定モードを選択した場合には、入力した操作が利用者の所望する操作であるかどうかを判定することができる。判定結果から、入力された操作が利用者の所望する操作である場合には、その操作が実行される。この結果、一連の操作においてステップごとに音声の出力／非出力の切り替えを自動的に行うことを、利用者が選択できる操作器を提供することができる。

また、本発明の操作器は、自動判定モードにおいて、入力した操作が利用者の所望する操作であるかどうかを判定する際に、その入力以前に入力された操作の情報を閾値として用い、自動判定の精度を向上させることとする。この結果、音声の出力／非出力の切り替えを精度良く行える操作器を提供することができる。

以下に、本発明を実施するための最良の形態を、図面を参照しながら説明する。なお、本発明は、これらによって限定されるものではない。

［実施の形態］
図１は、本発明の操作器のブロック図である。本発明の操作器とは、操作対象機器に、コマンドコードを送信して操作対象機器を制御するコマンダである。図１に示すように本発明の操作器は、操作モードを入力する操作モード入力部１０１と、利用者が所定の操作の指示を入力する操作入力部１０２と、入力された操作モードに従って、入力された操作を処理する操作モード判定部１０３と、自動選択モードで入力された操作が所望の操作かどうかを判定する操作判定部１０４と、入力された操作内容を音声で出力する音声出力部１０５と、音声で出力された操作を確定する操作確定部１０６と、各モードを選択した際の明度情報や、操作の履歴を保存する操作履歴保存部１０７とを有し、利用者が所望する操作を操作対象機器１０８に指示する。

本発明の操作器では、まず利用者が、音声非出力モード、音声出力モード、または自動判別モードのいずれかの操作モードを選択して、操作モード入力部１０１に入力する。次に、利用者は、所定の操作の指示を操作入力部１０２に入力する。操作入力部は、操作器上に設けられているボタンや、スティック、トラックボールなどの入力装置である。

操作モードが音声非出力モードである場合には、操作モード判定部１０３は、入力された操作の実行をそのまま操作対象機器１０８に指示する。操作対象機器１０８は、指示された操作を実行する。

操作モードが音声出力モードである場合には、操作モード判定部１０３は、音声出力部１０５に、操作内容を音声出力するよう指示する。音声出力部１０５は、操作内容を音声で出力する。利用者は、音声で出力された操作内容が所望の操作である場合には、操作確定部１０６で、操作を確定する。操作確定部１０６は、確定された操作の実行を操作対象機器１０８に指示する。操作対象機器１０８は、指示された操作を実行する。音声で出力された操作内容が所望の操作でない場合には、利用者は、再度操作の入力を行うことになる。

操作モードが自動判別モードである場合には、モード判定部１０３は、利用者が入力した操作が、利用者の所望する操作であるかどうかの判定を、操作判定部１０４にゆだねる。操作判定部１０４は、操作履歴保存部１０７に保存されている情報などを用いて、入力された操作を利用者が認知して行ったか否かを判断する。利用できる情報としては、操作器周囲の明度、利用者の習熟度などが挙げられる。これらの情報は、処理しようとしている操作が入力される前に、音声出力モード、音声非出力モード、および自動判別モードのいずれかの操作モードを利用した際の情報を用いる。利用者が認知して操作を行ったと判定された場合には、操作判定部１０４は、入力された操作の実行を操作対象機器に指示する。利用者が認知して操作を行っていないと判定された場合には、その操作は、音声出力部１０５に送られ、操作内容が音声出力される。後の手順は、音声出力モードと同様に行われる。

（動作）
以下に本発明の操作器の動作を図２および図３を参照しながら説明する。図２は、本発明にかかる操作器の動作を説明するフローチャートである。図３は、本発明の実施形態である携帯電話を利用したテレビリモコンソフトウェア（以下、リモコンということもある）の外観を示す図である。図中、３０１はボタンを、３０２はカメラ部を、３０３はボタン「＃」を、３０４はボタン「５」を、３０５はボタン「６」をそれぞれ示す。

ステップＳ１０１では、利用者が操作モードを入力する。図３のリモコンにおいて、操作モードの入力は、各ボタン３０１に割り当てられた機器操作用のボタンのうち、操作モード入力用のボタンを押下する。
なお、以下に述べる自動判別モードで、明度を用いて、利用者が認知して操作を入力したかどうかを判別する場合には、（１）音声非出力モード、（２）音声出力モード、（３）自動判別モードのいずれのモードであっても、操作モード入力時の明度を計測する。明度の計測は、例えば図３に示す携帯電話の場合であれば、デジタルカメラ機能のカメラ部からの入力画像から行う。また、カメラ機能が搭載されていない操作器においては、別途光入力センサを設ければよい。ステップＳ１０９では、計測された明度を、操作モードに対応させて記録し、操作履歴を更新する。

ステップＳ１０２では、利用者は、所望の操作を入力する。たとえば、図３のリモコンで、各番号のボタンにテレビのチャンネルが割り当てられているとする。この場合に、チャネル変更の操作入力手段は、ボタンの押下である。ここで、利用者がチャンネルを「６チャンネル」に変更するためにボタン「６」３０６を押下した場合、ボタン「６」を押下げしたという情報が、ステップＳ１０２に与えられる。ステップＳ１０３では、入力された操作を、与えられた操作モードに基づいて以下の処理を行う。以下に、（１）音声非出力モード、（２）音声出力モード、（３）自動判別モードの各モードにおける処理を説明する。

（１）音声非出力モード
操作モードが音声非出力モードである場合では、利用者は、入力した操作を認知して行っていると考えられる。したがって、１回操作ボタンを押下げすれば、ステップＳ１０８に進み、入力した操作を実行する。

（２）音声出力モード
操作モードが音声出力モードである場合では、利用者は、入力した操作を認知して行っていないと考えられる。音声出力モードでは、１回操作ボタンを押下げすれば、ステップＳ１０５に進む。ステップＳ１０５では、操作内容が音声で出力される。例えば、利用者がチャンネルを「６チャンネル」に変更するためにボタン「６」３０６を押下した場合、操作内容として「６チャンネル」が音声で出力される。この音声出力は、外部から設定される各種手段により、操作内容を対応付けて音声出力できる方法であれば、特に限定されない。例えば、予め収録されている音声を出力する、あるいはテキストで与えられた情報を読み上げるテキスト音声合成を用いるなど、公知の方法を用いることができる。

ステップＳ１０５にて、音声で出力された操作内容は、ステップＳ１０６にて利用者により所望の操作か否かが判断される。所望の操作であると判断された場合は、ステップＳ１０７に進み、この操作を確定する。操作の確定は、例えば、操作を入力したボタンと同じボタンを再度押下することによってもよく、別に定めた操作確定ボタンを押し下げることによってもよい。具体的には、音声で出力された「６チャンネル」が、利用者の所望の操作である場合には、利用者が再度ボタン「６」３０６を押下することによって、操作が確定する。あるいは、ボタン「＃」３０３が、別に定めた操作確定ボタンである場合には、利用者が、ボタン「＃」を押下することによって、操作が確定する。確定された操作は、ステップＳ１０８にて、実行される。

音声で出力された操作内容が、利用者の所望の操作でないと判断された場合には、ステップＳ１０２に戻り、再度操作が入力される。

音声で出力された操作内容が、利用者の所望の操作であるか否かに関わらず、ステップＳ１０９で、操作履歴が更新される。操作履歴には、その操作モードの明度に加え、入力された操作が所望の操作であったか否か、あるいは音声出力がされてから操作が確定するまでの時間などが記録される。

（自動判別モード）
操作モードが自動判別モードである場合では、利用者は、入力した操作を認知して行っていないと考えられる。このため、入力された操作が、利用者の所望の操作であるか否かの判断は、リモコンが行う。自動選択モードで入力された操作が、利用者の所望する操作かどうかの判定は、ステップＳ１０４で行われる。ステップＳ１０４で、利用者の所望する操作であると判断された場合は、ステップＳ１０８に進み、入力した操作を実行する。一方、ステップＳ１０４で、利用者の所望する操作でないと判断された場合は、ステップＳ１０５に進み、操作内容が音声で出力される。これ以降は、上記音声出力モードの場合と同様に動作する。

自動判別モードで、最も重要なのは、利用者の所望の操作であるか否かの判定である。判定方法は特に制限されないが、以下では、（Ａ）操作器周囲の明度を用いる方法、（Ｂ）操作の習熟度を用いる方法、（Ｃ）明度と習熟度とを組み合わせて用いる方法について説明する。

（Ａ）操作器周囲の明度を用いる方法
図４は、明度を用いる自動判定モードにおける操作判定部の構成要素と、明度を用いる自動判定モードの動作を説明する図である。図４（ａ）は、操作器周囲の明度を用いる場合に必要な操作判定部の構成要素を示し、図４（ｂ）は、明度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す、図４（ｃ）は、利用者が操作モードを変更する際の明度を用いて、前記閾値を逐次変更する動作を説明するフローチャートを示す。

図４（ａ）に示すように、操作判定部１０４は、操作器周囲の明度を計測する明度計測部４０１と、計測された明度と予め設定された閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断部４０２とを有する。操作器周囲の明度は、携帯電話に設けられたカメラ部からの入力や光センサからの入力に基づいて計測される。操作認知判断部４０２では、この計測された明度と、操作履歴保存部１０７に保存されている閾値とを比較して、利用者が認知して操作をしたかどうかが判断される。また、明度計測部４０１で、計測された明度は、操作履歴保存部１０７に送られ、閾値の更新に用いられる。

（動作）
図４（ｂ）に示すように、ステップＳ２０１では、操作モード入力時の操作器周囲の明度が計測される。ステップＳ２０２では、ステップＳ２０１で計測された明度Ｘと、リモコン内に保存されている予め設定された閾値ＭＬとを比較する。計測された明度Ｘが、閾値ＭＬより大きいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。計測された明度が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていないと考えられる。したがって、この場合には、ステップＳ１０５に進み、入力された操作の内容が音声で出力される。

［閾値］
明度の比較に用いられる閾値ＭＬは、当該操作が入力される以前に、利用者が行った操作により決定される。最も簡単な閾値ＭＬの設定は、音声出力モードから音声非出力モードへの操作モードの変更された際、および自動判別モードから音声非出力モードへの操作モードの変更された際の操作器周囲の明度を用いればよい。これらの操作モードの変更時には、利用者が明確にその操作を認識できる明るさであり、操作内容を音声出力しなくてもよいことが最低限保障される明るさであると考えられるからである。

閾値の変更は、以下のようにして行う。図４（ｃ）に示すように、ステップＳ３０１で、操作モードを変更した際の明度Ｌを計測する。次に、ステップＳ３０２で、上記のように操作モードを変更した際の明度Ｌと予め操作履歴データベースに保存されている閾値ＭＬとを比較する。明度Ｌが閾値ＭＬより小さい場合には、ステップＳ３０３で、閾値ＭＬをＬに変更する。このようにして、閾値ＭＬは、自動的に逐次変更される。この閾値の変更は、操作モードの変更が、利用者が明確にその操作を認識できる明るさのもとで行われたことを利用する。明度Ｌが閾値ＭＬより小さい場合に閾値を変更するため、誤動作を生ずる可能性がある。しかし、誤動作が起こっても問題が少ない操作に関しては、操作内容を音声で出力される回数が減るので、利用者が感ずる煩わしさを軽減できる。

一方、誤動作の発生を軽減したい場合には、操作モードを変更した際の明度Ｌと予め操作履歴データベースに保存されている閾値ＭＬとを比較して、明度Ｌが閾値ＭＬより大きい場合に、閾値ＭＬをＬに変更すればよい。より明度が大きいものを閾値として採用するので、より確実に自動判定することが可能になる。

閾値および閾値の変更は、特に制限されず、上記以外に種々の方法を採用してもよい。例えば、音声出力モードの場合であって操作が確定した場合、および自動判定モードにおいて音声出力され、操作が確定した場合にも、利用者が明確にその操作を認識できる明るさで操作したと考えられ、操作内容を音声出力しなくてもよいことが最低限保障される明るさであると考えられる。したがって、この場合の明度を、閾値として採用することもできる。さらに、操作内容が、音声で出力されたが、操作が確定しなかった場合の明度を用いて、利用者が操作を認識できなかった明度を利用して、閾値を上げる、すなわち操作内容を音声出力し易いほうに変更することもできる。このように、操作が確定しなかった場合の明度を用いることで、自動判別モードで、読み上げが必要な領域にあることが望ましい場合に、閾値を読み上げが必要な値に修正することができる。閾値は、単独の明度を用いずに、複数の明度の平均値を用いて、閾値とすることもできる。また、操作内容を音声出力しやすくなる方向には、動き辛く、音声出力しにくくなる方向には、動きやすい関数を設定して、閾値を変更してもよい。

このような動的に閾値を変更せずに、静的な値を用いることもできる。また、明度は、物理量として定義できるものであれば、どのようなパラメータを用いてもよい。

（Ｂ）操作の習熟度を用いる方法
図５は、習熟度を用いる自動判定モードにおける操作判定部の構成要素と、明度を用いる自動判定モードの動作を説明する図である。図５（ａ）は、習熟度を用いる場合に必要な操作判定部の構成要素を示し、図５（ｂ）は、習熟度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す。

図５（ａ）に示すように、操作判定部１０４は、所定の操作に対する習熟度を抽出する習熟度抽出部５０１と、抽出された習熟度と、予め設定された習熟度に基づく閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断部５０２とを有する。また、操作履歴保存部１０７は、前記習熟度に基づく閾値を更新する習熟度更新部５０３を有する。

（動作）
図５（ｂ）に示すように、ステップＳ５０１では、利用者が操作を入力する際の慣れを数値化できるものを習熟度として習熟度を抽出する。ステップＳ４０２では、ステップＳ４０１で抽出された習熟度と、操作履歴保存部に保存されている予め設定された習熟度に基づく閾値とが比較される。抽出された習熟度が、閾値より大きいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。抽出された習熟度が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていないと考えられる。したがって、この場合には、ステップＳ１０５に進み、入力された操作の内容が音声で出力される。

［習熟度］
習熟度は、利用者が操作を入力する際の「慣れ」を数値化できるものであれば、特に制限はされない。以下に、音声出力時の操作の正誤を用いる習熟度の例と、音声出力開始時から操作確定時までにかかった時間を用いる習熟度の例を説明する。図６は、習熟度に関する閾値を逐次変更する動作を説明するフローチャートである。図６（ａ）は、音声出力時の操作の正誤を用いる習熟度に関する閾値を逐次変更する動作を説明するフローチャートを示し、図６（ｂ）は、音声出力開始時から操作確定時までにかかった時間を用いる習熟度に関する閾値を逐次変更する動作を説明するフローチャートを示す。

（操作の正誤を用いる習熟度）
図６（ａ）に示すように、操作内容が音声で出力された場合には、ステップＳ５０１で、利用者は、その音声を聞いて、操作面が見難いような暗い環境の下で手探りで行った操作が希望していた操作であったか、否かを判断し、望んでいた所望の動作に間違いなかった場合は、即、操作確定ボタンを押す。所望の操作であった場合には、操作を誤らなかったのあるから、利用者は、当該操作を行うことに習熟している(慣れている)と考えられる。この場合に、ステップＳ５０２で、その習熟度を＋１として、加算する。一方、所望の操作でなかった場合には、確定ボタンを押さずに、再度、操作入力部で操作が入力される。この場合、利用者は、先の操作は誤ったのであるから、当該操作を行うことに習熟していない(慣れていない)と考えられる。この場合に、ステップＳ５０３で、その習熟度を−１として、減算する。このような習熟度の計算は操作ごとに行い、各操作における習熟度の更新を行う。このように、習熟度は、操作が入力されるたびに更新される。また、入力される回数が多いと、習熟度の精度が高くなる。

操作の習熟度は、操作器上の入力装置の配置や入力装置の形状により、変動する。例えば、操作器の角に設けられたボタンや特殊な形状のボタンは、利用者が覚えやすく、操作の間違いを生じにくい。一方、同様の形状のボタンが多数並んで配置されている中に位置するボタンは、利用者が覚えにくく、操作の間違いを生じやすい。操作の正誤を用いて得られる習熟度は、操作ごとに習熟度が得られるので、このような入力装置の配置の場所や形状による習熟度の違いに対応しやすい。

上記例では、習熟度のカウントは、＋１と−１とを用いた。さらに、覚えやすいボタンと覚えにくいボタンなどを考慮して、カウント数に重みを加えてもよい。

（時間を用いる習熟度）
利用者が普段よく利用する操作に関しては、容易に行われる。このような操作では、操作器上で入力装置が配置されている位置に関係なく、利用者は操作面を見なくても操作できる。例えば、図３において、利用者がボタン「５」３０４をよく利用する場合には、特徴的な位置にないボタン「５」３０４に対する利用者の習熟度は高くなる。このように利用者が入力に習熟している操作については、音声出力開始時から操作が決定されるまでの時間は短い。一方、利用者が入力に習熟していない操作については、音声出力開始時から操作が決定されるまでの時間は長くなる。したがって、音声出力開始時から操作が決定されるまでの時間を用いて、利用者が認知して操作を行ったかどうかの判断が行える。

時間に基づく閾値は、操作履歴保存部１０７に記録されている、その操作が入力されるより前の音声出力開始時から操作が決定されるまでの時間に基づいて、入力された音声出力開始時から操作が決定されるまでの時間が、操作履歴保存部に記録されている時間よりより短いかどうかを判断する。時間Ｔが、操作履歴保存部に記録されている閾値より短ければ、閾値を変更する。一方、入力された音声出力開始時から操作が決定されるまでの時間が、操作履歴保存部に記録されている時間より長ければ、閾値変更の処理を行わない。

習熟度を判断する閾値は、入力装置全体に対する閾値であってもよく、入力装置ごとに設定してもよい。入力装置ごとに閾値を設定する場合には、上記操作の正誤による習熟度の場合と同様に、操作器上に配置される入力装置の位置によって、閾値に重みを付けてもよい。例えば、角に位置する入力装置に対して、習熟度算出時に、習熟度を２倍の値にするなどである。

（その他）
上記操作の正誤を用いる習熟度と時間を用いる習熟度とは、それぞれ単独で用いてもよいが、両者を組み合わせて使用してもよい。この場合には、図６（ａ）の閾値の更新に加え、図６（ｂ）に示す閾値の更新が行われる。ステップＳ６０１で、入力された音声出力開始時から操作が決定されるまでの時間Ｔが、操作履歴保存部に記録されている閾値より短いかどうかを判断する。時間Ｔが、操作履歴保存部に記録されている閾値より短ければ、ステップ６０２で、閾値に＋１を加える。一方、入力された音声出力開始時から操作が決定されるまでの時間Ｔが、操作履歴保存部に記録されている閾値より長ければ、閾値変更の処理を行わない。

（Ｃ）明度と習熟度とを組み合わせて用いる方法
図７は、明度と習熟度を用いる自動判定モードにおける操作判定部の構成要素と、明度と習熟度を用いる自動判定モードの動作を説明する図である。図７（ａ）は、明度と習熟度を用いる場合に必要な操作判定部の構成要素を示し、図７（ｂ）は、明度と習熟度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す。

図７（ａ）に示すように、操作判定部１０４は、操作器周囲の明度を計測する明度計測部４０１と、計測された明度と予め設定された閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する第１の操作認知判断部６０２と、所定の操作に対する習熟度を抽出する習熟度抽出部５０１と、抽出された習熟度と予め設定された習熟度に基づく閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する第２の操作認知判断部６０２とを有する。操作履歴保存部１０７は、閾値を更新する習熟度更新部５０３を有する。操作器周囲の明度は、携帯電話に設けられたカメラ部からの入力や光センサからの入力に基づいて計測される。第１の操作認知判断部６０２では、この計測された明度と、操作履歴保存部に保存されている閾値とを比較して、利用者が認知して操作をしたかどうかが判断される。第２の操作認知判定部では、第１の操作認知判断部６０２で、利用者が認知して操作を行っていないと判断された操作について、習熟度に基づいて利用者が認知して操作をしたかどうかが判断される。

（動作）
図７（ｂ）に示すように、ステップＳ７０１では、操作モード入力時の操作器周囲の明度が計測される。ステップＳ７０２では、ステップＳ７０１で計測された明度Ｘと、リモコン内に保存されている予め設定された閾値ＭＬとが比較される。計測された明度Ｘが、閾値ＭＬより大きいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。計測された明度が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていない可能性がある。したがって、この場合には、ステップＳ７０３に進み、入力された操作について習熟度に基づく閾値を用いて、利用者が認知して操作をしたかどうかが判断される。

ステップＳ７０３では、利用者が操作を入力する際の慣れを数値化できるものを習熟度として習熟度を抽出する。ステップＳ７０４では、ステップＳ７０３で抽出された習熟度と、操作履歴保存部に保存されている予め設定された習熟度に基づく閾値とが比較される。抽出された習熟度が、閾値より大きいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。抽出された習熟度が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていないと考えられる。したがって、この場合には、ステップＳ１０５に進み、入力された操作の内容が音声で出力される。

このように、明度と習熟度とを組み合わせて、利用者が入力する操作を認知して行っているかどうかを判断するので、より確実に自動判定することができる。

［実施の形態の変形例］
この変形例は、ボリュームの調整、チャンネルの順送りなどの、連続的に変化する可能性のある操作に対して適用される。このような操作に関しては、前回操作から所定の期間内に同様の操作が行われた場合には、読み上げを行わないなどの条件を予め設定しておく。この場合には、操作の履歴をそのまま利用して、利用者が認知して操作をしたかどうかが判断できる。連続操作の可能性がある操作のうち、本変形例を適用する操作については、利用者が予め選択して、設定しておけばよい。

（動作）
図８は、実施の形態の変形例の動作を説明するフローチャートである。ステップＳ８０１では、連続操作の可能性のある第１の操作が操作時刻１で、入力される。ステップＳ８０２では、先の操作と同じ操作である第２の操作が操作時刻２で入力される。ステップＳ８０３では、第１の操作と第２の操作が連続操作であるかどうかが判断される。連続操作でないと判断されれば、ステップＳ１０５に進み、操作内容が音声出力される。連続操作であると判断されれば、ステップＳ８０４に進む。ステップＳ８０４では、操作間時間計測部にて第１の操作の確定時刻から第２の操作開示時刻までの時間から、操作間時間を求める。次に、操作認知判断部にて、求めた操作間時間と予め設定したし閾値とを比較する。操作間時間が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。操作間時間が、閾値より大きいと判断された場合は、利用者が入力する操作を認知して行っていないと考えられる。したがって、この場合には、ステップＳ１０５に進み、入力された操作の内容が音声で出力される。

（その他の実施形態）
ところで、上記各実施の形態における操作器としての機能は、プログラム記録媒体に記録された情報処理プログラムによって実現される。上記各実施の形態における上記プログラム記録媒体は、ＲＡＭ（ランダム・アクセス・メモリ）とは別体に設けられたＲＯＭ（リード・オンリー・メモリ）でなるプログラムメディアである。または、外部補助記録装置に装着されて読み出されるプログラムメディアであってもよい。尚、何れの場合においても、上記プログラムメディアから情報処理プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、ＲＡＭに設けられたプログラム記憶エリアにダウンロードし、上記プログラム記憶エリアにアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアからＲＡＭの上記プログラム記録エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。

ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フレキシブルディスク、ハードディクス等の磁気ディスクやＣＤ（コンパクトディスク）−ＲＯＭ、ＭＯ（光磁気）ディスク、ＭＤ(ミニディスク)、ＤＶＤ（デジタル多用途ディスク）等の光ディスクのディスク系、ＩＣ（集積回路）カードや光カード等のカード系、マスクＲＯＭ、ＥＰＲＯＭ（紫外線消去型ＲＯＭ）、ＥＥＰＲＯＭ（電気的消去型ＲＯＭ）、フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。

また、上記実施の形態における操作器は、モデムを備えてインターネットを含む通信ネットワークと接続可能となっている。この場合、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。

図１は、本発明の操作器のブロック図である。図２は、本発明にかかる操作器の動作を説明するフローチャートである。図３は、本発明の実施形態である携帯電話を利用したテレビリモコンソフトウェアの外観を示す図である。図４は、明度を用いる自動判定モードにおける操作判定部の構成要素と、明度を用いる自動判定モードの動作を説明する図である。図４（ａ）は、操作器周囲の明度を用いる場合に必要な操作判定部の構成要素を示し、図４（ｂ）は、明度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示し、図４（ｃ）は、利用者が操作モードを変更する際の明度を用いて、前記閾値を逐次変更する動作を説明するフローチャートを示す。図５は、習熟度を用いる自動判定モードにおける操作判定部の構成要素と、明度を用いる自動判定モードの動作を説明する図である。図５（ａ）は、習熟度を用いる場合に必要な操作判定部の構成要素を示し、図５（ｂ）は、習熟度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す。図６は、習熟度に関する閾値を逐次変更する動作を説明するフローチャートである。図６（ａ）は、音声出力時の操作の正誤を用いる習熟度に関する閾値を逐次変更する動作を説明するフローチャートを示し、図６（ｂ）は、音声出力開始時から操作確定時までにかかった時間を用いる習熟度に関する閾値を逐次変更する動作を説明するフローチャートを示す。図７は、明度と習熟度を用いる自動判定モードにおける操作判定部の構成要素と、明度と習熟度を用いる自動判定モードの動作を説明する図である。図７（ａ）は、明度と習熟度を用いる場合に必要な操作判定部の構成要素を示し、図７（ｂ）は、明度と習熟度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す。図８は、実施の形態の変形例の動作を説明するフローチャートである。

符号の説明

１０１操作モード入力部
１０２操作入力部
１０３操作モード判定部
１０４操作判定部
１０５音声出力部
１０６操作確定部
１０７操作履歴保存部
１０８操作対象機器
３０１ボタン
３０２カメラ部
３０３ボタン「＃」
３０４ボタン「５」
３０６ボタン「６」
４０１明度計測部
４０２、５０２操作認知判断部
５０１習熟度抽出部
５０３習熟度更新部
６０２第１の操作認知判定部
６０３第２の操作認知判定部

Claims

利用者が所定の操作内容の指示を入力するための操作入力手段と、
前記操作内容に対応する音声を出力する音声出力モード、前記操作内容に対応する音声を出力しない音声非出力モード、あるいは、前記操作内容に対応する音声を出力するか否かを自動で判別させる自動判別モードのいずれかを利用者が設定するための操作モード入力手段と、
音声出力モード、音声非出力モード又は自動判別モードのいずれであるかを判別する操作モード判別手段と、
当該操作器の周囲の明るさを計測する明度計測手段と、
計測された前記明るさが、予め設定された明るさの閾値を超えているか否かを判定する明度判定手段と、
操作履歴から、利用者が行った該当操作内容の正誤の回数を基に、又は、音声出力開始から決定までの時間を基に、利用者の当該操作機器の習熟度を抽出する習熟度抽出手段と、
前記習熟度抽出手段により抽出された習熟度が、予め設定された習熟度の閾値より高いか低いかを判定する習熟度判断手段と、
操作内容に対応する音声を出力する音声出力手段と、
前記音声で出力された操作内容が希望の操作である場合に利用者が指示して確定させる操作確定手段と、
前記操作内容の指示を実行する操作実行手段と、を備え、
（１）前記操作モード判別手段が前記音声非出力モードであると判断した場合、利用者が前記操作入力手段を用いて前記所定の操作内容の指示を行うと、即時、前記操作実行手段がその指示された操作内容を実行し、
（２）前記操作モード判別手段が前記音声出力モードであると判断した場合、利用者が前記操作入力手段を用いて前記所定の操作内容の指示を行うと、前記音声出力手段が前記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを前記操作確定手段により確定させて、前記操作実行手段がその指示された操作内容を実行し、
（３）前記操作モード判別手段が前記自動判別モードであると判断した場合、利用者が前記操作入力手段を用いて前記所定の操作内容の指示を行うと、前記明度判定手段が、計測された前記明るさが、予め設定された明るさの閾値を超えているか否かを判定し、
１）前記設定された明るさの閾値を超えている場合には、前記操作実行手段がその指示された操作内容を実行し、
２）前記設定された明るさの閾値を超えていない場合には、前記習熟度抽出手段が、前記操作履歴を調べて、利用者の当該操作機器の習熟度を抽出し、この抽出された習熟度をもとに前記習熟度判断手段が、予め設定された習熟度の閾値より高いか低いかを判定し、
i）利用者の習熟度が前記習熟度の閾値より高い場合には、前記操作実行手段がその指示された操作内容を実行し、
ii）利用者の習熟度が前記習熟度の閾値より低い場合には、前記音声出力手段が前記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作であると判断した場合にそれを前記操作確定手段により確定させられたとき、前記操作実行手段がその指示された操作内容を実行する操作器。
前記明るさの閾値を変更する閾値変更手段を備える請求項１に記載の操作器。
予め設定された前記習熟度を更新する習熟度更新手段を備える請求項１または２に記載の操作器。
前記習熟度更新手段は、操作器に設けられた前記操作入力手段ごとに、前記習熟度を更新することを特徴とする請求項３に記載の操作器。
前記操作モード判別手段は、前記操作入力手段ごとに、音声出力モード、音声非出力モード又は自動判別モードのいずれであるかを判別する請求項１に記載の操作器。
利用者が所定の操作内容の指示を入力するための操作入力ステップと、
前記操作内容に対応する音声を出力する音声出力モード、前記操作内容に対応する音声を出力しない音声非出力モード、あるいは、前記操作内容に対応する音声を出力するか否かを自動で判別させる自動判別モードのいずれかを利用者が設定するための操作モード入力ステップと、
音声出力モード、音声非出力モード又は自動判別モードのいずれであるかを判別する操作モード判別ステップと、
当該操作器の周囲の明るさを計測する明度計測ステップと、
計測された前記明るさが、予め設定された明るさの閾値を超えているか否かを判定する明度判定ステップと、
操作履歴から、利用者が行った該当操作内容の正誤の回数を基に、又は、音声出力開始から決定までの時間を基に、利用者の当該操作機器の習熟度を抽出する習熟度抽出ステップと、
前記習熟度抽出ステップにおいて抽出された習熟度が、予め設定された習熟度の閾値より高いか低いかを判定する習熟度判断ステップと、
操作内容に対応する音声を出力する音声出力ステップと、
前記音声で出力された操作内容が希望の操作である場合に利用者が指示して確定させる操作確定ステップと、
前記操作内容の指示を実行する操作実行ステップと、を備え、
（１）前記操作モード判別ステップにおいて、前記音声非出力モードであると判断した場合、利用者が前記操作入力ステップにおいて前記所定の操作内容の指示を行うと、即時、前記操作実行手段がその指示された操作内容を実行し、
（２）前記操作モード判別ステップにおいて前記音声出力モードであると判断した場合、利用者が前記操作入力ステップにおいて前記所定の操作内容の指示を行うと、前記音声出力ステップにおいて前記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを前記操作確定ステップにおいて確定させて、前記操作実行ステップにおいてその指示された操作内容を実行し、
（３）前記操作モード判別ステップにおいて前記自動判別モードであると判断した場合、利用者が前記操作入力ステップにおいて前記所定の操作内容の指示を行うと、前記明度判定ステップにおいて計測された前記明るさが、予め設定された明るさの閾値を超えているか否かを判定し、
１）前記設定された明るさの閾値を超えている場合には、前記操作実行ステップにおいてその指示された操作内容を実行し、
２）前記設定された明るさの閾値を超えていない場合には、前記習熟度抽出ステップにおいて、前記操作履歴を調べて、利用者の当該操作機器の習熟度を抽出し、この抽出された習熟度をもとに前記習熟度判断ステップにおいて、予め設定された習熟度の閾値より高いか低いかを判定し、
i）利用者の習熟度が前記習熟度の閾値より高い場合には、前記操作実行ステップにおいてその指示された操作内容を実行し、
ii）利用者の習熟度が前記習熟度の閾値より低い場合には、前記音声出力ステップにおいて前記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを前記操作確定ステップにおいて確定させられたとき、前記操作実行ステップにおいてその指示された操作内容を実行する操作方法。
利用者が所定の操作内容の指示を入力するための操作入力ステップと、
前記操作内容に対応する音声を出力する音声出力モード、前記操作内容に対応する音声を出力しない音声非出力モード、あるいは、前記操作内容に対応する音声を出力するか否かを自動で判別させる自動判別モードのいずれかを利用者が設定するための操作モード入力ステップと、
音声出力モード、音声非出力モード又は自動判別モードのいずれであるかを判別する操作モード判別ステップと、
当該操作器の周囲の明るさを計測する明度計測ステップと、
計測された前記明るさが、予め設定された明るさの閾値を超えているか否かを判定する明度判定ステップと、
操作履歴から、利用者が行った該当操作内容の正誤の回数を基に、又は、音声出力開始から決定までの時間を基に、利用者の当該操作機器の習熟度を抽出する習熟度抽出ステップと、
前記習熟度抽出ステップにおいて抽出された習熟度が、予め設定された習熟度の閾値より高いか低いかを判定する習熟度判断ステップと、
操作内容に対応する音声を出力する音声出力ステップと、
前記音声で出力された操作内容が希望の操作である場合に利用者が指示して確定させる操作確定ステップと、
前記操作内容の指示を実行する操作実行ステップと、をコンピュータに実行させる操作プログラムにおいて、
（１）前記操作モード判別ステップにおいて、前記音声非出力モードであると判断した場合、利用者が前記操作入力ステップにおいて前記所定の操作内容の指示を行うと、即時、前記操作実行手段がその指示された操作内容を実行し、
（２）前記操作モード判別ステップにおいて前記音声出力モードであると判断した場合、利用者が前記操作入力ステップにおいて前記所定の操作内容の指示を行うと、前記音声出力ステップにおいて前記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを前記操作確定ステップにおいて確定させて、前記操作実行ステップにおいてその指示された操作内容を実行し、
（３）前記操作モード判別ステップにおいて前記自動判別モードであると判断した場合、利用者が前記操作入力ステップにおいて前記所定の操作内容の指示を行うと、前記明度判定ステップにおいて計測された前記明るさが、予め設定された明るさの閾値を超えているか否かを判定し、
１）前記設定された明るさの閾値を超えている場合には、前記操作実行ステップにおいてその指示された操作内容を実行し、
２）前記設定された明るさの閾値を超えていない場合には、前記習熟度抽出ステップにおいて、前記操作履歴を調べて、利用者の当該操作機器の習熟度を抽出し、この抽出された習熟度をもとに前記習熟度判断ステップにおいて、予め設定された習熟度の閾値より高いか低いかを判定し、
i）利用者の習熟度が前記習熟度の閾値より高い場合には、前記操作実行ステップにおいてその指示された操作内容を実行し、
ii）利用者の習熟度が前記習熟度の閾値より低い場合には、前記音声出力ステップにおいて前記操作内容を音声で出力し、利用者がその音声で出力された操作内容が希望の操作である場合にそれを前記操作確定ステップにおいて確定させられたとき、前記操作実行ステップにおいてその指示された操作内容を実行させることを特徴とする操作プログラム。
請求項７に記載の操作プログラムを記録したコンピュータ読み取り可能な記録媒体。