JP7482640B2 - 音声入力装置およびその制御方法ならびにプログラム - Google Patents

Description

本発明は、音声入力装置およびその制御方法ならびにプログラムに関する。

近年、発話された音声入力を認識して、音声入力に対応した操作を行うことができる音声操作機能を備える装置が知られている。音声操作機能により、例えば、閲覧する所望のページを表示させる操作や、装置の現在の設定値を変更する操作、天気や気温を表示させる操作、特定の相手に電話をかけたり、メールの文章を入力したりする操作を音声を使って行うことができる。音声操作機能には、自然な発話で操作を行うことができるといった利点がある一方で、意図しない音声に装置が反応し、誤動作が発生する場合がある。

特許文献１では、音声操作可能な装置がウェイクワードという音声操作を有効にするための特定の音声コマンドを受け付け、ウェイクワードから所定期間にのみ音声操作を受け付けることにより誤動作の発生を低減させる技術を提案している。また、特許文献２では、複数の制御対象機器を操作するために、部材操作が行われた期間に応じて音声入力の受付期間を変動させ、当該受付期間に受け付けた音声入力を有効にする技術を提案している。

特開２０１９－８６５３５号公報 特開２００２－３５１４９３号公報

特許文献１で提案された技術では、音声操作を有効にする期間が予め定められた固定期間であり、操作対象の機能によっては音声操作の有効な期間が短すぎて適切な操作指示を与えられない場合や、有効な期間が長すぎて意図しない音声が入力される場合がある。例えば、所望のページを表示させる操作では、前の音声操作と次の音声操作の間には文章に目を通す作業が挟まるため、前の音声操作から比較的長い期間が空いてから次の音声操作が発生されることが推測される。この場合、音声操作を有効にする期間が短すぎるとユーザの操作性を低下させることが考えられる。一方、天気や設定値を確認したり変更する音声操作では、気温や設定値を確認する操作の後に、気温や設定値を変更する次の音声操作が比較的短い期間内に連続的に行われることが推測される。この場合、音声操作の有効な期間は短くてよく、長すぎると意図しない音声を拾って誤動作が発生する可能性がある。

また、特許文献２で提案された技術では、部材操作が行われた期間に応じて音声入力の受付期間を変動させることを提案するにすぎず、入力された音声命令に応じて音声操作の操作性を向上させることについては考慮していなかった。

本発明は、上記課題に鑑みてなされ、その目的は、入力された音声命令に応じて音声操作の操作性を向上させることが可能な技術を実現することである。

この課題を解決するため、例えば本発明の音声入力装置は以下の構成を備える。すなわち、音声入力装置であって、音声を入力する音声入力手段と、前記音声入力装置に第１の音声命令が入力された後の所定の期間に、前記音声入力装置を操作するための第２の音声命令が入力された場合に、前記第２の音声命令に対応する処理を実行する制御手段とを有し、前記制御手段は、前記第１の音声命令に応じて、前記所定の期間の長さを異ならせ、
前記第１の音声命令は、前記音声入力装置に対する音声による操作を有効にするためのウェイクワードであって前記所定の期間を通常の長さを表す第１の長さにする第１のウェイクワードと、前記音声入力装置に対する音声による操作を有効にするためのウェイクワードであって前記所定の期間を前記通常の長さより長くする第２のウェイクワードとを含む、ことを特徴とする。

本発明によれば、入力された音声命令に応じて音声操作の操作性を向上させることが可能になる。

本実施形態に係る音声入力装置の一例としてのデジタルカメラの外観を示す図 本実施形態に係るデジタルカメラの機能構成例を示すブロック図 本実施形態に係るメイン処理の一連の動作を示すフローチャート 本実施形態における音声受付期間設定画面の非設定状態と設定状態の一例を示す図 本実施形態における参照されるテーブルの一例を示す図 本実施形態に係る音声命令処理の一連の動作を示すフローチャート 本実施形態における音声命令認識処理の一連の動作を示すフローチャート 本実施形態におけるヘルプガイド画面の先頭ページ、途中ページ、末尾ページの一例を示す図 本実施形態における写真の再生画面の一例を示す図

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下では音声入力装置の一例として、音声認識を用いた操作が可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、音声認識を用いた操作の可能な他の機器にも適用可能である。これらの機器には、例えば、スマートフォン、パーソナルコンピュータ、ゲーム機、タブレット端末、音楽プレーヤ、医療機器などが含まれてよい。

（デジタルカメラの構成）
図１（ａ）及び図１（ｂ）は、本実施形態に係る音声入力装置の一例としてのデジタルカメラ１００の外観図を示している。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。表示部２８は画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル７０ａは、表示部２８の表示面（操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は外部機器との接続ケーブルとデジタルカメラ１００とを接続するコネクタ（不図示）を保護するカバーである。

メイン電子ダイヤル７１は操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が可能である。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行うことができる。十字キー７４は操作部７０に含まれ、４方向に押し込み可能な押しボタンを有する操作部材である。十字キー７４の押下した方向に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン７６は、動画撮影（記録）の開始、停止の指示に用いられる。音声入力ボタン７７は、デジタルカメラ１００の設定に応じて、当該ボタンを押下している時だけ音声による操作有効にするように制限することができるボタンである。但し、以下の説明では、音声入力ボタン７７の押下の有無にかかわらず、音声を入力することができる設定値が設定されており、音声操作に応じて各種処理が動作する場合を例に説明する。拡大ボタン７８は操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦを行うための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。メニューボタン８１は、操作部７０に含まれ、押下することにより各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、十字キー７４やＳＥＴボタン７５を用いて各種設定を行うことができる。

通信端子１０はデジタルカメラ１００が後述するレンズユニット１５０（着脱可能）と通信を行う為の通信端子である。接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザは、接眼部１６を介して内部のＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）２９に表示された映像を視認することができる。接眼検知部５７は接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。

蓋２０２は記録媒体２００を格納するスロットの蓋である。グリップ部９０は、ユーザがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

次に、図２を参照して、本実施形態によるデジタルカメラ１００の機能構成例について説明する。図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略化して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６と前述の通信端子１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行う。その後ＡＦ駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、後述するメモリ制御部１５からのデータに対し所定の画素補間、縮小などのリサイズ処理、及び色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８、ＥＶＦ２９に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８、ＥＶＦ２９により表示される。表示部２８、ＥＶＦ２９は、ＬＣＤや有機ＥＬ等の表示器上に、メモリ制御部１５からの信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを、表示部２８またはＥＶＦ２９に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行える。以下、ライブビューで表示される画像をライブビュー画像（ＬＶ画像）と称する。

赤外発光ダイオード１６６は、ファインダー画面内におけるユーザの視線位置を検出するための発光素子であり、接眼部１６に接眼したユーザの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスから成る。

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は少なくとも１つのプロセッサを含み、視線検知センサー１６４の出力信号に基づき、ユーザの眼球（目）１６１の画像または動きからユーザの視線位置を検出し、検出情報をシステム制御部５０に出力する。このようにダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、赤外発光ダイオード１６６、視線検出回路１６５により視線検出ブロック１６０が構成される。視線検出ブロック１６０では、例えば、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード１６６から発した赤外光が眼球（目）１６１の特に角膜で反射した反射光と、眼球（目）１６１の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式など、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の視線検出手段の方式を用いてもよい。

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするデジタルカメラ１００の様々な設定値が表示される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ－ＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータープログラムのことである。

システム制御部５０は、１つ以上のプロセッサを含み、デジタルカメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開、実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。

操作部７０は、ユーザからの操作を受け付ける入力部としての各種操作部材である。上述したように、操作部７０には、シャッターボタン６１やタッチパネル７０ａ、メイン電子ダイヤル７１、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５などが含まれる。また、動画ボタン７６、音声入力ボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１なども操作部７０に含まれる。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量を検出する。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等を含む。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、例えば通信回路又は通信モジュールを含み、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は携帯電話用無線通信や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ライブビュー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部５７はファインダーの接眼部１６に対する目（物体）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくともデジタルカメラ１００が撮影待機状態、かつ、撮像部２２で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７は、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（不図示）から投光した赤外線が反射して赤外線近接センサーの受光部（不図示）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。なお、本実施形態では接眼検知部５７の投光部および受光部は前述の赤外発光ダイオード１６６および視線検知センサー１６４とは別体のデバイスであるものとする。ただし、接眼検知部５７の投光部を赤外発光ダイオード１６６で兼ねてもよい。また、受光部を視線検知センサー１６４で兼ねてもよい。非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

システム制御部５０は視線検出ブロック１６０からの出力に基づいて以下の操作、あるいは状態を検知できる。
・接眼部１６に接眼したユーザの視線が新たに入力（検出）されたこと。すなわち、視線入力の開始。
・接眼部１６に接眼したユーザの視線入力がある状態であること。
・接眼部１６に接眼したユーザが注視している状態であること。
・接眼部１６に接眼したユーザが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部１６に接眼したユーザが何も視線入力していない状態。
ここで述べた注視とは、ユーザの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を提供できる。システム制御部５０はタッチパネル７０ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

音声入力部８５は、不図示のマイクロフォンを含み、デジタルカメラの周囲の音や後述ユーザからの音声命令を取得する処理を行う。また、デジタルカメラ本体に限らず、有線または無線通信を介してデジタルカメラ（ネットワークカメラを含む）と通信し、デジタルカメラを遠隔で制御する制御装置にも本発明を適用可能である。デジタルカメラを遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側からデジタルカメラに各種動作や設定を行わせるコマンドを通知することにより、デジタルカメラを遠隔から制御可能である。また、デジタルカメラで撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

（メイン処理の一連の動作）
次に、本実施形態に係るメイン処理について図３を参照して説明する。メイン処理の動作は、音声受付期間設定画面で音声の受付期間を設定し、ウェイクワードで音声入力を可能な状態にしてから、音声操作が完了するまでの動作である。なお、メイン処理の各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。ウェイクワードは、デジタルカメラ１００に対する音声による操作を有効にするための特定の音声命令である。

Ｓ３０１において、システム制御部５０は、音声受付期間の設定画面への遷移指示が行われたかを判定する。システム制御部５０は、音声受付期間の設定画面へ遷移指示が行われたと判定した場合はＳ３０２へ進み、それ以外の場合はＳ３１０へ進む。

Ｓ３０２において、システム制御部５０は、音声受付期間の設定画面を表示部２８に表示する。図４（ａ）及び図４（ｂ）は、表示部２８に表示される音声受付期間の設定画面の一例を示している。図４（ａ）に示す画面には、音声受付期間を個別に設定可能な音声命令が表示されている。音声命令には、それに対応する音声受付期間設定が並記されている。図４（ｂ）に示す画面は、１つの音声命令に対して、音声受付期間を設定している設定状態の例を示している。１つの音声命令に対して設定可能な音声受付期間は、例えば、「推奨設定」、「ユーザ設定」、「自動設定」の中から一つを選択することにより設定することができる。「推奨設定」は、デジタルカメラ１００に初期値として予め設定されている標準値である。「ユーザ設定」は、音声命令に対して、ユーザ自身が対応する音声受付期間を変更可能な設定である。例えば、ユーザは操作部７０のダイヤルを回すことにより、所望の音声受付期間を設定することができる。すなわち、音声受付期間の設定画面は、異なる音声命令に対してユーザが異なる期間を設定可能な手動設定に係る画面である。

「自動設定」は、ユーザの発した実際の命令間隔（すなわち過去の命令の履歴）に基づいて自動で音声受付期間を設定可能な設定である。音声命令と、各種別に対して選択可能な音声受付期間との関係は、例えば、図５（ａ）に示すテーブルのように表される。

Ｓ３０３において、システム制御部５０は、音声命令に対応する音声受付期間をユーザ設定に変更する指示が行われたかを判定する。システム制御部５０は、音声命令に対応する音声受付期間をユーザ設定に変更する指示が行われたと判定した場合はＳ３０４へ進み、それ以外の場合はＳ３０５へ進む。なお、本ステップでは、音声命令の一例として、「ガイダンスのページ送り」、「写真のページ送り」、「Ｔｖ値の確認」「Ａｖ値の確認」を例に説明しているが、音声命令はこれに限らず、他の種別が含まれてよい。なお、上述の例では、ユーザが指示した内容が「ページ送り」である場合に、システム制御部５０が、現在のデジタルカメラ１００のコンテンツ表示モードが「ガイダンス」か「写真」かに応じて、対応する音声受付期間による処理が可能であることを表している。このような現在のデジタルカメラ１００の動作モードに応じた動作は、「ガイダンス」や「写真」以外のコンテンツに対しても有効である。Ｓ３０４において、システム制御部５０は、音声命令に対応する音声受付期間をユーザが設定した値に変更し、例えばメモリ３２（システムメモリ５２であってよい。以下同様。）に記憶する。

Ｓ３０５において、システム制御部５０は、音声命令に対応する音声受付期間を自動設定に変更する指示が行われたかを判定する。システム制御部５０は、音声命令に対応する音声受付期間を自動設定に変更する指示が行われた場合はＳ３０６へ進み、それ以外の場合はＳ３０７へ進む。Ｓ３０６において、システム制御部５０は、音声命令に対応する音声受付期間を自動的に算出された値に変更し、メモリ３２に記憶する。なお、音声受付期間の自動的な算出は、音声命令の時間間隔によって行われるが、まだ一度も音声が命令されていないなど、時間間隔を算出できない場合がある。この場合には、例えば、自動設定の算出値には推奨設定の値が入力される。

Ｓ３０７において、システム制御部５０は、音声命令に対応する音声受付期間を推奨設定に変更する指示が行われたかを判定する。システム制御部５０は、音声命令に対応する音声受付期間を推奨設定に変更する指示が行われたと判定した場合はＳ３０８へ進み、それ以外の場合はＳ３０９へ進む。Ｓ３０８において、システム制御部５０は、音声命令に対応する音声受付期間を推奨設定に変更し、メモリ３２に記憶する。

Ｓ３０９において、システム制御部５０は、音声受付期間の設定画面を終了する指示がなされたかを判定する。システム制御部５０は、音声受付期間の設定画面を終了する指示がなされたと判定した場合はS３１０へ進み、それ以外の場合はＳ３０３に戻る。

Ｓ３１０において、システム制御部５０は、音声入力部８５から音声命令を受信したかを判定する。システム制御部５０は、音声入力部８５からの信号に基づいて音声命令を受信したと判定した場合はＳ３１１へ進み、それ以外の場合はＳ３１７へ進む。

Ｓ３１１において、システム制御部５０は、音声命令による操作が有効である状態かどうかを判定する。システム制御部５０は、例えばデジタルカメラ１００に対する設定の状態に応じて、音声命令による操作が有効であると判定した場合はＳ３１２へ進み、音声命令による操作が有効状態でないと判定した場合はＳ３１３へ進む。

Ｓ３１２において、システム制御部５０は、音声命令処理を実行する。音声命令処理の具体的な処理については、後述する。Ｓ３１３において、システム制御部５０は、受信した音声命令がウェイクワードかどうかを判定する。例えば、システム制御部５０は、受信した音声を認識した結果、当該認識結果が予め定められたウェイクワードと一致した場合、受信した音声命令がウェイクワードであると判定してＳ３１４へ進む。一方、受信した音声命令がウェイクワード以外を表すと判定した場合、Ｓ３１７へ進む。

Ｓ３１４において、システム制御部５０は、受信したウェイクワードが音声受付期間をより長くするためのウェイクワードであるかを判定する。システム制御部５０は、受信したウェイクワードが音声受付期間をより長くするためのワードであると判定した場合、Ｓ３１５へ進み、ウェイクワードが音声受付期間をより長くするワードでないと判定した場合、Ｓ３１６へ進む。例えば、システム制御部５０は、音声受付期間の長さを制御するための２つのウェイクワードを識別する。例えば、音声受付期間の長さが通常の長さを表す第１のウェイクワードを例えば「Ok Voice Input」に定めておく。また、音声受付期間を通常の長さより長くする第２のウェイクワードを例えば「Ok Voice Input For A Long Time」と定めておく。このようにすることで、ユーザはウェイクワードを使って音声受付期間をコントロールすることが可能である。

Ｓ３１５において、システム制御部５０は、音声受付期間を長くするため、例えば６０秒の間、音声命令による操作を有効にする。一方、Ｓ３１６において、システム制御部５０は、音声受付期間を短いままにするため、例えば５秒の間、音声命令による操作を有効にする。

Ｓ３１７において、システム制御部５０は、例えば電源スイッチ７２を電源オフにする等の、メイン処理終了指示が行われたかを判定する。システム制御部５０は、メイン処理終了指示が行われたと判定した場合、メイン処理に係る一連の動作を終了する。システム制御部５０は、それ以外の場合には、上述の処理を繰り返すためにＳ３０１へ進む。なお、メイン処理の動作において、モードダイヤルなどを回されるなどの異常系操作が行われた場合、システム制御部５０は、途中でメイン処理の動作を中断してもよい。

（音声命令処理の一連の動作）
次に、図６を参照して、Ｓ３１２において実行される音声命令処理の一連の動作について説明する。図６に示す音声命令処理の動作は、音声命令を認識する処理を行って、音声命令が有効な期間を更新するまでの動作である。音声命令処理は、メイン処理と同様に、システム制御部５０が不揮発性メモリ５６に格納されたプログラムを実行することにより実現される。

Ｓ６０１において、システム制御部５０は、音声命令認識処理を実行する。音声命令認識処理に係る動作については後述する。Ｓ６０２において、システム制御部５０は、音声命令認識処理における認識結果の音声命令と当該音声命令に対応する時間を、履歴としてメモリ３２に保存する。

Ｓ６０３において、システム制御部５０は、音声命令に対応する音声受付期間が「ユーザ設定」の期間であるかどうかを判定する。システム制御部５０は、音声命令に対応する音声受付期間が「ユーザ設定」に設定されていると判定した場合にはＳ６０４へ進み、音声命令に対応する音声受付期間が「ユーザ設定」以外に設定されていると判定した場合にはＳ６０５へ進む。Ｓ６０４において、システム制御部５０は、ユーザ設定の音声受付期間だけ、音声命令の受け付けを有効にする。

Ｓ６０５において、システム制御部５０は、音声命令認識結果に対応する音声受付期間が「自動設定」に設定されているかどうかを判定する。システム制御部５０は、音声命令に対応する音声受付期間が「自動設定」に設定されていると判定した場合はＳ６０６へ進み、音声命令に対応する音声受付期間が「自動設定」に設定されていない場合はＳ６１０へ進む。

Ｓ６０６において、システム制御部５０は、音声命令が、初めて認識された音声命令かどうかを判定する。システム制御部５０は、処理対象の音声命令とメモリ３２に保存されている音声命令とを比較して、一致する音声命令が存在しない場合には、音声命令が初めて認識された音声命令であると判定した場合はＳ６１０へ進む。一方、処理対象の音声命令がメモリ３２の音声命令と一致するする場合には、音声命令が初めて認識された音声命令でないと判定してＳ６０７へ進む。

Ｓ６０７において、システム制御部５０は、認識された音声命令が入力された今回の時間と前回の時間とをメモリ３２から取得する。Ｓ６０８において、システム制御部５０は、認識された音声命令が入力された今回の時間と前回の時間とから音声命令の入力間隔を計算する。システム制御部５０は、例えば、図５（ｂ）に示すように、入力された音声命令の前回の時間と今回の時間の差分から単純に入力間隔を算出する場合を例に説明する。しかし、音声命令の入力間隔は、過去の履歴情報から音声命令の入力間隔の平均値や中央値を算出するなど別の算出方法を用いてもよい。

Ｓ６０９において、システム制御部５０は、認識された音声命令の入力間隔の間だけ音声命令の受け付けを有効にする。Ｓ６１０において、システム制御部５０は、認識された音声命令に対応する推奨設定の音声受付期間の間だけ音声命令の受け付けを有効にする。なお、音声命令処理の中で、モードダイヤルなどを回されるなどの異常系操作が行われた場合、一連の動作を途中で中断してもよい。

（音声命令認識処理の一連の動作）
更に、図７を参照して、Ｓ６０１で実行される音声命令認識処理の一連の動作について説明する。音声命令認識処理の動作は、音声命令の認識を開始して、音声操作を実行するまでの動作である。本処理も他の処理と同様に、システム制御部５０がプログラムを実行することにより実現される。

Ｓ７０１において、システム制御部５０は、受信した音声命令がページ送りに関する音声命令であるかどうかを判定する。システム制御部５０は、既知の音声認識処理を施して、受信した音声命令がページ送りを表すと判定した場合はＳ７０２へ進み、受信した音声命令がページ送りを表すものではないと判定した場合はＳ７０６へ進む。

Ｓ７０２において、システム制御部５０は、デジタルカメラ１００の表示状態がガイダンスコンテンツ表示モードかどうかを判定する。具体的には、システム制御部５０は、デジタルカメラ１００の設定値に基づいて、デジタルカメラ１００の表示状態がガイダンスコンテンツ表示モードであると判定した場合はＳ７０３へ進む。一方、システム制御部５０は、デジタルカメラ１００の表示状態がガイダンスコンテンツ表示モードでないと判定した場合はＳ７０４へ進む。すなわち、システム制御部５０は、音声命令が入力されたときに、デジタルカメラ１００が、入力された音声命令に対応する状態（動作モード）である場合には、当該音声命令に対応する処理を実行する。一方、システム制御部５０は、入力された音声命令に対応する状態（動作モード）でない場合には、音声命令に対応する処理を実行しない。

Ｓ７０３において、システム制御部５０は、ガイダンスのページ送りを実行する。例えば、図８は、本実施形態におけるガイダンスのページ送りの一例を示している。図８（ａ）は音声入力のヘルプガイド画面の先頭ページを、図８（ｂ）は音声入力のヘルプガイド画面の途中ページを、図８（ｃ）は音声入力のヘルプガイド画面の末尾ページを示している。システム制御部５０が音声入力のヘルプガイド画面でページ送りを実行（例えば図８（ａ）から順に図８（ｃ）へページを送る）する場合、先のページ送りと後のページ送りとの間にユーザが文章を読んで確認する作業が発生する。このため、ユーザがの文章コンテンツを確認する時間はユーザが写真を確認する場合よりも長くなると想定される。従って、図５に示したように、システム制御部５０が制御するガイダンスのページ送りの音声受付期間は、写真のページ送りの音声受付期間より長い。

Ｓ７０４において、システム制御部５０は、デジタルカメラ１００の表示状態が写真コンテンツ表示モードかどうかを判定する。具体的には、システム制御部５０は、デジタルカメラ１００の設定値に基づいて、デジタルカメラ１００の表示状態が写真コンテンツ表示モードであると判定した場合はＳ７０５へ進む。一方、システム制御部５０は、デジタルカメラ１００の表示状態が写真コンテンツ表示モードでないと判定した場合はＳ７０６へ進む。

Ｓ７０５において、システム制御部５０は、写真のページ送りを実行する。図９は、写真の再生画面の一例を示している。システム制御部５０が写真に対してページ送りを実行する場合、ページ送りとページ送りの間にユーザが写真を確認する作業が発生するが、ガイダンスのページ送りと比較してユーザが確認する時間は短くなると想定される。このため、従って、図５に示したように、システム制御部５０が制御する写真のページ送りの音声受付期間は、ガイダンスのページ送りの音声受付期間より短い。

Ｓ７０６において、システム制御部５０は、受信した音声命令が設定値の確認かどうかを判定する。システム制御部５０は音声命令が設定値の確認であると判定した場合はＳ７０７へ進み、受信した音声命令が設定値の確認でないと判定した場合は音声命令認識処理を終了する。

Ｓ７０７において、システム制御部５０は、デジタルカメラ１００の現在の撮影状態がシャッター速度優先モード（Ｔｖモード）かどうかを判定する。例えば、システム制御部５０は、デジタルカメラ１００の設定値に基づいて、デジタルカメラ１００の現在の撮影状態がシャッター速度優先モード（Ｔｖモード）であると判定した場合はＳ７０８へ進む。一方、システム制御部５０は、デジタルカメラ１００の現在の撮影状態がシャッター速度優先モード（Ｔｖモード）でないと判定した場合はＳ７０９へ進む。

Ｓ７０８において、システム制御部５０は、ユーザがシャッター速度の設定値を確認することができるように、シャッター値を取得して例えば表示部２８に表示させる。Ｓ７０９において、システム制御部５０は、デジタルカメラ１００の現在の撮影状態が絞り優先モード（Ａｖモード）かどうかを判定する。例えば、システム制御部５０は、デジタルカメラ１００の設定値に基づいて、デジタルカメラ１００の現在の撮影状態が絞り優先モード（Ａｖモード）であると判定した場合はＳ７１０へ進む。一方、システム制御部５０は、デジタルカメラ１００の現在の撮影状態が絞り優先モード（Ａｖモード）でないと判定した場合は音声命令認識処理を終了する。

Ｓ７１０において、システム制御部５０は、絞りの設定値を確認することができるように、絞り値を取得して例えば表示部２８に表示させる。なお、音声命令認識処理の中でモードダイヤルなどを回されるなどの異常系操作が行われた場合、途中で動作が中断されてもよい。

以上説明したように本実施形態では、システム制御部５０が、受信した音声命令を受け付けると、認識した音声命令の種別又は音声命令の内容に応じて適した音声受付期間を設定するようにした。すなわち、先の音声命令が入力された後の所定の期間に、操作用の音声命令が入力された場合に、当該操作用の音声命令に対応する処理を実行する構成において、先の音声命令（の種別又は内容）に応じて、音声を受け付ける期間の長さを異ならせる。このようにすることで、入力された音声音声に応じて音声操作の操作性を向上させ、音声操作を行う際の誤動作をより低減することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…デジタルカメラ、２８…表示部、５０…システム制御部、７０…操作部、２００…記憶媒体、８５…音声入力部

Claims (10)

1. 音声入力装置であって、
   音声を入力する音声入力手段と、
   前記音声入力装置に第１の音声命令が入力された後の所定の期間に、前記音声入力装置を操作するための第２の音声命令が入力された場合に、前記第２の音声命令に対応する処理を実行する制御手段とを有し、
   前記制御手段は、前記第１の音声命令に応じて、前記所定の期間の長さを異ならせ、
   前記第１の音声命令は、前記音声入力装置に対する音声による操作を有効にするためのウェイクワードであって前記所定の期間を通常の長さを表す第１の長さにする第１のウェイクワードと、前記音声入力装置に対する音声による操作を有効にするためのウェイクワードであって前記所定の期間を前記通常の長さより長くする第２のウェイクワードとを含む、ことを特徴とする音声入力装置。
2. 前記第１の音声命令は、前記音声入力装置を操作するための音声命令と、前記音声入力装置に対する音声による操作を有効にするための音声命令とを含む、ことを特徴とする請求項１に記載の音声入力装置。
3. 前記第１の音声命令に含まれる異なる音声命令に対してユーザが異なる前記所定の期間を設定可能である手動設定手段を更に有する、ことを特徴とする請求項１または２に記載の音声入力装置。
4. 前記第１の音声命令に含まれる異なる音声命令に対して、過去の音声命令の履歴に基づいて異なる前記所定の期間を設定可能な自動設定手段を更に有する、ことを特徴とする請求項１または２に記載の音声入力装置。
5. 前記過去の音声命令の履歴は、複数の音声命令の間の入力間隔を含む、ことを特徴とする請求項４に記載の音声入力装置。
6. 前記制御手段は、前記第２の音声命令が入力されたときに、前記音声入力装置が、入力された前記第２の音声命令に対応する状態である場合には、前記第２の音声命令に対応する処理を実行し、入力された前記第２の音声命令に対応する状態でない場合には、前記第２の音声命令に対応する処理を実行しない、ことを特徴とする請求項１から５のいずれか１項に記載の音声入力装置。
7. 前記第２の音声命令に対応する状態は、前記音声入力装置の動作モードを含む、ことを特徴とする請求項６に記載の音声入力装置。
8. 前記音声入力装置の動作モードは、前記音声入力装置の表示手段にコンテンツを表示させるモード、又は、前記音声入力装置の表示手段に前記音声入力装置の設定値を表示させるモードを含む、ことを特徴とする請求項７に記載の音声入力装置。
9. 音声を入力する音声入力手段を備える音声入力装置の制御方法であって、
   前記音声入力装置に第１の音声命令が入力された後の所定の期間に、前記音声入力装置を操作するための第２の音声命令が入力された場合に、前記第２の音声命令に対応する処理を実行する制御工程を有し、
   前記制御工程では、前記第１の音声命令に応じて、前記所定の期間の長さを異ならせ、
   前記第１の音声命令は、前記音声入力装置に対する音声による操作を有効にするためのウェイクワードであって前記所定の期間を通常の長さを表す第１の長さにする第１のウェイクワードと、前記音声入力装置に対する音声による操作を有効にするためのウェイクワードであって前記所定の期間を前記通常の長さより長くする第２のウェイクワードとを含む、ことを特徴とする音声入力装置の制御方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の音声入力装置の各手段として機能させるためのプログラム。

Images