JP6775563B2 - 人工知能機器の自動不良検出のための方法およびシステム - Google Patents

Description

以下の説明は、音声認識基盤の人工知能機器の不良を自動検出する技術に関する。

一般的に、個人秘書システム、チャットボットプラットフォーム（ｃｈａｔｂｏｔ ｐｌａｔｆｏｒｍ）、人工知能（ＡＩ）スピーカなどで使用される人工知能対話システムは、人間が発した命令語の意図を理解し、これに対応する返答文を提供する方式を採用している。

主に、人工知能対話システムは、人間が機能的な要求を伝達すると、このような人間の要求に対する解答を機械が提供する方式をとっており、マイク（ｍｉｃｒｏｐｈｏｎｅ）でユーザの音声入力を受信し、受信した音声入力に基づいてデバイスの動作やコンテンツの提供を制御するようになる。

例えば、特許文献１（公開日２０１１年１２月３０日）には、ホームネットワークサービスにおいて、移動通信網の他にＷｉ−Ｆｉのような第２通信網を利用してホームネットワークサービスを提供することができ、ホーム内の複数のマルチメディア機器を、ユーザがボタン操作をしなくても音声命令によってマルチコントロールすることができる技術が開示されている。

音声認識を支援するデバイスの場合、デバイスの不良や故障などにより、認識率が期待値よりも大幅に低くなることがある。

韓国公開特許第１０−２０１１−０１３９７９７号公報

音声認識によって動作する人工知能機器の不良を自動探知することにより、ユーザの不便を緩和させることができる方法およびシステムを提供する。

コンピュータで実現される電子機器におけるデバイス不良検出方法であって、前記電子機器におけるデバイス不良を自動探知する機能であるセルフ検証が必要な状況を認識する段階、セルフ検証が必要な状況が認識された場合、セルフ検証用の特定発話による音声を認識する段階、およびセルフ検証用の特定発話に対する音声認識結果を利用してデバイスの不良を判断する段階を含む、デバイス不良検出方法を提供する。

一側面によると、前記セルフ検証用の特定発話による音声を認識する段階は、前記電子機器のユーザに前記セルフ検証用の特定発話を要求して前記ユーザ発話による音声を認識するか、前記セルフ検証用の特定発話を直接再生し、再生された発話による音声を認識してよい。

他の側面によると、前記デバイス不良検出方法は、前記セルフ検証用の特定発話による音声を認識する段階を繰り返すことにより、複数のセルフ検証用の特定発話を繰り返して認識してよい。

また他の側面によると、前記デバイス不良を判断する段階は、前記複数のセルフ検証用の特定発話に対して一定回数以上の認識エラーが発生した場合に、デバイス不良と判断する段階を含んでよい。

また他の側面によると、前記デバイス不良を判断する段階は、前記電子機器のマイク入力によって背景雑音や音声信号の大きさを測定することで、セルフ検証が可能な環境であるかを確認する段階を含んでよい。

また他の側面によると、前記デバイス不良を判断する段階は、セルフ検証の環境に対する確認結果に応じてセルフ検証の最適化環境を誘導するためのガイド情報を提供する段階をさらに含んでよい。

また他の側面によると、セルフ検証が必要な状況を認識する段階は、前記電子機器が初期化された場合、前記電子機器における音声認識エラーが一定頻度以上に発生した場合、前記電子機器の非活性化状態が一定時間以上続いた場合、事前に定められた周期に該当する場合のうちの少なくとも１つの時点を、セルフ検証時点として認識してよい。

また他の側面によると、前記セルフ検証が必要な状況を認識する段階は、前記電子機器のマイク入力によって背景雑音や音声信号の大きさを測定することでセルフ検証が可能な環境であるかを確認し、確認結果に基づいてセルフ検証時点を認識してよい。

さらに他の側面によると、前記デバイス不良検出方法は、セルフ検証結果から前記電子機器の不良と判断された場合、前記電子機器と関連するサービスセンターに関する情報を前記電子機器に提供するか、前記サービスセンターに連結するサービスを前記電子機器に提供する段階をさらに含んでよい。

コンピュータと結合して前記デバイス不良検出方法をコンピュータに実行させる、コンピュータプログラムを提供する。

前記デバイス不良検出方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、コンピュータ読取可能な記録媒体を提供する。

コンピュータで実現される電子機器のデバイス不良検出システムであって、コンピュータ読取可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記電子機器におけるデバイス不良を自動探知する機能であるセルフ検証が必要な状況を認識し、前記セルフ検証が必要な状況が認識された場合、セルフ検証用の特定発話による音声を認識し、前記セルフ検証用の特定発話に対する音声認識結果を利用してデバイス不良を判断するセルフ検証実行部を備える、デバイス不良検出システムを提供する。

本発明の実施形態によると、音声認識によって動作する人工知能機器のデバイスの不良を自動判断することができ、これによってユーザの不便を緩和させることができる。

本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の例を示した図である。 本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の他の例を示した図である。 本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、電子機器のプロセッサが含むことができる構成要素の例を示した図である。 本発明の一実施形態における、電子機器が実行することができるデバイス不良検出方法の例を示したフローチャートである。 本発明の一実施形態における、セルフ検証を実行する過程の例を示したフローチャートである。

以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。

本発明の実施形態に係るデバイス不良検出システムは、ユーザとの対話を基盤として動作するインタフェースを提供する電子機器によって実現されてよい。このとき、デバイス不良検出システムは、音声認識結果を利用して電子機器の不良を自動探知する機能を提供してよい。

本発明の実施形態に係るデバイス不良検出方法は、上述した電子機器によって実行されてよい。このとき、電子機器には、本発明の一実施形態に係るコンピュータプログラムがインストールおよび駆動されてよく、電子機器は、駆動するコンピュータプログラムの制御に従って本発明の一実施形態に係るデバイス不良検出方法を実行してよい。上述したコンピュータプログラムは、コンピュータで実現される電子機器と結合してデバイス不良検出方法をコンピュータに実行させるために、コンピュータ読取可能な記録媒体に格納されてよい。

図１は、本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の例を示した図である。図１の実施形態では、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）やホームネットワークサービスのように宅内のデバイスを連結して制御する技術において、音声を基盤として動作するインタフェースを提供する電子機器１００が、ユーザ１１０の発話によって受信した音声入力「電気を消して」を認識および分析し、宅内で電子機器１００と内部ネットワークを介して繋がっている宅内照明機器１２０の電源を制御する例について示している。

例えば、宅内のデバイスは、上述した宅内照明機器１２０の他にも、テレビ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、周辺機器、エアコン、冷蔵庫、ロボット清掃機などのような家電製品はもちろん、水道、電気、冷暖房機器などのようなエネルギー消費装置、ドアロックや監視カメラなどのような保安機器など、オンライン上で連結して制御される多様なデバイスを含んでよい。また、内部ネットワークには、イーサネット（Ｅｔｈｅｒｎｅｔ）（登録商標）、ＨｏｍｅＰＮＡ、ＩＥＥＥ １３９４のような有線ネットワーク技術や、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＵＷＢ（ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）（登録商標）、Ｗｉｒｅｌｅｓｓ １３９４、Ｈｏｍｅ ＲＦのような無線ネットワーク技術などが活用されてよい。

電子機器１００は、宅内のデバイスのうちの１つであってよい。例えば、電子機器１００は、宅内に備えられた人工知能スピーカやロボット清掃機などのようなデバイスのうちの１つであってよい。また、電子機器１００は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどのようなユーザ１１０のモバイル機器であってもよい。このように、電子機器１００は、ユーザ１１０の音声入力を受信して宅内のデバイスを制御するために宅内のデバイスと連結可能な機能を含む機器であれば、特に制限されることはない。また、実施形態によっては、上述したユーザ１１０のモバイル機器が宅内のデバイスとして含まれてもよい。

図２は、本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の他の例を示した図である。図２は、音声を基盤として動作するインタフェースを提供する電子機器１００がユーザ１１０の発話によって受信した音声入力「今日の天気」を認識および分析し、外部ネットワークを介して外部サーバ２１０から今日の天気に関する情報を取得し、取得した情報を「今日の天気は・・・」のように音声で出力する例について示している。

例えば、外部ネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。

図２の実施形態でも、電子機器１００は、宅内のデバイスのうちの１つであるか、ユーザ１１０のモバイル機器のうちの１つであってよく、ユーザ１１０の音声入力を受信して処理するための機能と、外部ネットワークを介して外部サーバ２１０に接続して外部サーバ２１０が提供するサービスやコンテンツをユーザ１１０に提供するための機能を含む機器であれば、特に制限されることはない。

このように、本発明の実施形態に係る電子機器１００は、音声基盤インタフェースでユーザ１１０の発話によって受信される音声入力を含むユーザ命令を処理することのできる機器であれば、特に制限されなくてよい。例えば、電子機器１００は、ユーザの音声入力を直接に認識および分析して音声入力に適した動作を実行することによってユーザ命令を処理してよいが、実施形態によっては、ユーザの音声入力に対する認識や認識された音声入力の分析、ユーザに提供される音声の合成などの処理を、電子機器１００と連係する外部のプラットフォームで実行してもよい。

図３は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図３は、電子機器３１０とクラウド人工知能プラットフォーム３２０、およびコンテンツ・サービス３３０を示している。

一例として、電子機器３１０は、宅内に備えられるデバイスを意味してよく、少なくとも上述した電子機器１００を含んでよい。このような電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリケーション（以下、「アプリ」とする。）は、インタフェースコネクト３４０を介してクラウド人工知能プラットフォーム３２０と連係することができる。ここで、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリの開発のためのＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を開発者に提供してよい。また、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０にインストールおよび駆動されるアプリが、クラウド人工知能プラットフォーム３２０で提供する機能を活用することを可能にする、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者は、インタフェースコネクト３４０により提供されるＳＤＫおよび／または開発文書を利用して開発した機器やアプリが、インタフェースコネクト３４０が提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０により提供される機能を活用できるようにする。

ここで、クラウド人工知能プラットフォーム３２０は、音声基盤のサービスを提供するための機能を提供してよい。例えば、クラウド人工知能プラットフォーム３２０は、受信した音声を認識し、出力する音声を合成するための音声処理モジュール３２１、受信した映像や動画を分析して処理するためのビジョン処理モジュール３２２、受信した音声に適した音声を出力するために適合する対話を決定するための対話処理モジュール３２３、受信した音声に適した機能を薦めるための推薦モジュール３２４、人工知能がデータ学習に基づいて文章単位で言語を翻訳するように支援するニューラル機械翻訳（Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ：ＮＭＴ）３２５などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。

例えば、図１および図２の実施形態において、電子機器１００は、ユーザ１１０の音声入力を、インタフェースコネクト３４０が提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０に送信してよい。この場合、クラウド人工知能プラットフォーム３２０は、受信した音声入力を上述したモジュール３２１〜３２５を活用して認識および分析してよく、受信した音声入力に応じて適切な返答音声を合成して提供したり、適切な動作を推薦したりしてよい。

また、拡張キット３５０は、第三者コンテンツ開発者または会社がクラウド人工知能プラットフォーム３２０を基盤とした新たな音声基盤機能を実現することのできる開発キットを提供してよい。例えば、図２の実施形態において、電子機器１００は、ユーザ１１０の音声入力を外部サーバ２１０に送信してよく、外部サーバ２１０は、拡張キット３５０により提供されるＡＰＩを利用してクラウド人工知能プラットフォーム３２０に音声入力を送信してよい。この場合、上述と同じように、クラウド人工知能プラットフォーム３２０は、受信した音声入力を認識および分析して適切な返答音声を合成して提供したり、音声入力に応じて処理すべき機能に対する推薦情報を外部サーバ２１０に提供したりしてよい。一例として、図２において、外部サーバ２１０は、音声入力「今日の天気」をクラウド人工知能プラットフォーム３２０に送信し、クラウド人工知能プラットフォーム３２０から音声入力「今日の天気」の認識によって抽出されるキーワード「今日の」および「天気」を受信したとする。この場合、外部サーバ２１０は、キーワード「今日の」および「天気」に基づいて「今日の天気は・・・」のようなテキスト情報を生成し、生成されたテキスト情報をクラウド人工知能プラットフォーム３２０に再送してよい。このとき、クラウド人工知能プラットフォーム３２０は、テキスト情報を音声で合成して外部サーバ２１０に提供してよい。外部サーバ２１０は、合成された音声を電子機器１００に送信してよく、電子機器１００は、合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ１１０から受信した音声入力「今日の天気」を処理することができる。

このとき、電子機器１００は、ユーザとの対話を基盤としてデバイス動作やコンテンツ提供を実施するためのものである。

図４は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図４の電子機器４１０は、上述した電子機器１００に対応してよく、サーバ４２０は、上述した外部サーバ２１０またはクラウド人工知能プラットフォーム３２０を実現する１つのコンピュータ装置に対応してよい。

電子機器４１０とサーバ４２０はそれぞれ、メモリ４１１、４２１、プロセッサ４１２、４２２、通信モジュール４１３、４２３、および入力／出力インタフェース４１４、４２４を含んでよい。メモリ４１１、４２１は、コンピュータ読取可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブなどのような永久大容量記憶装置は、メモリ４１１、４２１とは区分される別の永久記憶装置として電子機器４１０やサーバ４２０に含まれてもよい。また、メモリ４１１、４２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器４１０にインストールされ、特定のサービスの提供のために電子機器４１０で駆動するアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ４１１、４２１とは別のコンピュータ読取可能な記録媒体からロードされてよい。このような別のコンピュータ読取可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読取可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読取可能な記録媒体ではない通信モジュール４１３、４２３を通じてメモリ４１１、４２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク４３０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいて電子機器４１０のメモリ４１１にロードされてよい。

プロセッサ４１２、４２２は、基本的な算術、ロジック、および入力／出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ４１１、４２１または通信モジュール４１３、４２３によって、プロセッサ４１２、４２２に提供されてよい。例えば、プロセッサ４１２、４２２は、メモリ４１１、４２１のような記憶装置に格納されたプログラムコードに従って受信される命令を実行するように構成されてよい。

通信モジュール４１３、４２３は、ネットワーク４３０を介して電子機器４１０とサーバ４２０とが互いに通信するための機能を提供してもよく、電子機器４１０および／またはサーバ４２０が他の電子機器または他のサーバと通信するための機能を提供してもよい。一例として、電子機器４１０のプロセッサ４１２がメモリ４１１のような記憶装置に格納されたプログラムコードに従って生成した要求が、通信モジュール４１３の制御に従ってネットワーク４３０を介してサーバ４２０に伝達されてよい。これとは逆に、サーバ４２０のプロセッサ４２２の制御に従って提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール４２３およびネットワーク４３０を経て電子機器４１０の通信モジュール４１３を通じて電子機器４１０で受信されてもよい。例えば、通信モジュール４１３を通じて受信したサーバ４２０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ４１２やメモリ４１１に伝達されてよく、コンテンツやファイルなどは、電子機器４１０がさらに含むことができる記録媒体（上述した永久記憶装置）に格納されてよい。

入力／出力インタフェース４１４は、入力／出力装置４１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を含んでよく、出力装置は、ディスプレイ、スピーカ、ハプティックフィードバックデバイス（ｈａｐｔｉｃ ｆｅｅｄｂａｃｋ ｄｅｖｉｃｅ）などのような装置を含んでよい。他の例として、入力／出力インタフェース４１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置４１５は、電子機器４１０と１つの装置で構成されてもよい。また、サーバ４２０の入力／出力インタフェース４２４は、サーバ４２０と連結されるかサーバ４２０が含むことのできる、入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器４１０のプロセッサ４１２がメモリ４１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ４２０や他の電子機器が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース４１４を経てディスプレイに表示されてよい。

また、他の実施形態において、電子機器４１０およびサーバ４２０は、図４の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器４１０は、上述した入力／出力装置４１５のうちの少なくとも一部を含むように実現されてもよく、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器４１０がスマートフォンである場合、一般的にスマートフォンに含まれている加速度センサやジャイロセンサ、動作センサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器４１０にさらに含まれるように実現されてよい。

本実施形態において、電子機器４１０は、ユーザの音声入力を受信するためのマイクを入力／出力装置４１５として基本的に含んでよく、ユーザの音声入力に対応する返答音声やオーディオコンテンツのような音を出力するためのスピーカを入力／出力装置４１５としてさらに含んでよい。

図５は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図６は、本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。

本実施形態に係る電子機器４１０内にデバイス不良検出システムを構成することができる。デバイス不良検出システムは、ＰＣ基盤のプログラムまたはモバイル端末専用のアプリケーションで構成されてよい。本実施形態におけるデバイス不良検出システムは、独立的に動作するプログラム形態で実現されるか、あるいは特定のアプリケーションのイン−アプリ（ｉｎ−ａｐｐ）形態で構成されて当該特定のアプリケーション上で動作可能であるように実現されてよい。

例えば、電子機器４１０にインストールされたアプリケーションが提供する命令に基づき、電子機器４１０に実現されたデバイス不良検出システムは、デバイス不良検出方法を実行してよい。図６に係るデバイス不良検出方法を実行するために、電子機器４１０のプロセッサ４１２は、構成要素として、図５に示すように、セルフ検証実行部５１０および検証結果提供部５２０を備えることができる。実施形態によっては、プロセッサ４１２の構成要素は、選択的にプロセッサ４１２に含まれても除外されてもよい。また、実施形態によっては、プロセッサ４１２の構成要素は、プロセッサ４１２の機能の表現のために分離されても併合されてもよい。

このようなプロセッサ４１２およびプロセッサ４１２の構成要素は、図６のデバイス不良検出方法が含む段階６１０〜段階６４０を実行するように電子機器４１０を制御することができる。例えば、プロセッサ４１２およびプロセッサ４１２の構成要素は、メモリ４１１に含まれるオペレーティングシステムのコードと、少なくとも１つのプログラムのコードによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

ここで、プロセッサ４１２の構成要素は、電子機器４１０に格納されたプログラムコードが提供する命令（一例として、電子機器４１０で駆動するアプリケーションが提供する命令）に従ってプロセッサ４１２によって実行される、プロセッサ４１２の互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、電子機器４１０がデバイスの不良を自動探知する機能であるセルフ検証を実行するように上述した命令に従って電子機器４１０を制御するプロセッサ４１２の機能的表現として、セルフ検証実行部５１０が利用されてよい。

段階６１０において、プロセッサ４１２は、電子機器４１０の制御と関連する命令がロードされたメモリ４１１から必要な命令を読み取ることができる。この場合、読み取った命令には、プロセッサ４１２が以下で説明される段階６２０〜段階６４０を実行するように制御するための命令が含まれてよい。

本発明に係るデバイス不良検出システムは、電子機器４１０が音声入力を正常に処理することのできない非正常的な状況を、デバイスの故障と判断することができる。デバイスの故障は、電子機器４１０での音声認識率に影響を与える不良状態であると言うことができ、例えば、マイクの故障によって音声を正常に取得することができない場合、マイクとプロセッサ４１２を連結する回路あるいは音声認識処理モジュール（例えば、コーデック（ｃｏｄｅｃ）など）などの不良によってマイクで取得した音声がプロセッサ４１２に伝達されない場合、プロセッサ４１２自体の不良によってプロセッサ４１２が正常に動作せず、収集した音声が正常に処理されないかサーバ４２０に伝達されない場合などが含まれてよい。

上述したデバイス不良検出システムは、ユーザ発話の問題（例えば、ユーザ発音が正確でない場合）、周辺環境問題（例えば、雑音がひどい場合）、サーバ４２０で支援していない機能などを含んだ正常な原因を排除した状態で、電子機器４１０の音声認識性能を検証してよい。

段階６２０において、セルフ検証実行部５１０は、電子機器４１０に対するデバイスの不良を自動探知する機能であるセルフ検証が必要な状況を認識することができる。一例として、セルフ検証実行部５１０は、電子機器４１０のインストールや起動などによって電子機器４１０が初期化された時点を、セルフ検証が必要な状況として認識してよい。他の例として、セルフ検証実行部５１０は、以前の履歴において音声認識エラーが一定頻度以上に発生した場合を、セルフ検証が必要な状況として認識してよい。また他の例として、セルフ検証実行部５１０は、電子機器４１０の非活性化状態が一定時間以上続いた場合、例えば、電子機器４１０のユーザの音声入力や背景雑音が一定時間以上ない場合や、電子機器４１０の動作センサまたはカメラモジュールなどを利用した動き感知が一定時間以上何も起こらない場合を、セルフ検証時点として認識してもよい。また他の例として、セルフ検証実行部５１０は、電子機器４１０のマイク入力から背景雑音や音声信号の大きさを測定し、セルフ検証を実行するのに適した環境であるか（例えば、静かな状況であるか、話し声が聞こえない１人でいる状況など）を確認し、これに基づいてセルフ検証時点を認識してもよい。さらに他の例として、セルフ検証実行部５１０は、事前に定められた周期あるいはユーザによって設定された周期ごとに、セルフ検証が必要な状況を認識してもよい。上述した状況は例示的なものに過ぎず、これに限定されることはなく、この他にも電子機器４１０の内／外部的な環境などによってセルフ検証が必要な状況を自動認識することができる。セルフ検証実行部５１０は、セルフ検証が必要な状況が認識されると、電子機器４１０を、セルフ検証が可能な状態に自動活性化させてよい。

段階６３０において、セルフ検証実行部５１０は、セルフ検証が必要な状況が認識された場合、セルフ検証用の特定発話に対する音声認識結果を利用してデバイスの不良を自動探知することによって、セルフ検証を実行することができる。セルフ検証用の特定発話とは、セルフ検証のための特定文章の発話を意味し、認識率が保障されている上に発音が簡単かつ明確な少なくとも１つの文章（例えば、「こんにちは」や「テスト」など）と、文章別の正解音声データが予め指定されてよい。一例として、セルフ検証実行部５１０は、電子機器４１０のユーザにセルフ検証用の特定発話を要求した後、ユーザの発話に対する音声認識結果を利用してセルフ検証を実行してよい（ユーザ直接検証方法）。言い換えれば、ユーザ直接検証方法は、ユーザが、電子機器４１０に提示されたセルフ検証用の文章を直接に発話し、ユーザの発話による音声を認識してセルフ検証を実行するものであると言える。他の例として、セルフ検証実行部５１０は、セルフ検証用の特定発話を自動再生し、自動再生された発話に対する音声認識結果を利用してセルフ検証を実行してよい（デバイス直接検証方法）。例えば、セルフ検証実行部５１０は、電子機器４１０のスピーカや音声認識専用アプリを利用してセルフ検証用の特定発話を自動再生した後、再生された発話を電子機器４１０のマイクに入力することによって該当の発話の音声を認識してよい。デバイス直接検証方法は、ユーザ直接検証方法に比べてユーザ介入を最小化することができ、ユーザ発話の特性による変動を取り除くことができる。

段階６４０において、検証結果提供部５２０は、セルフ検証による検証結果を、電子機器４１０、該電子機器４１０と関連するサーバ４２０、またはサービスセンターの端末（図示せず）のうちの少なくとも１つに提供することができる。一例として、検証結果提供部５２０は、セルフ検証による検証結果から電子機器４１０の不良と判断された場合、電子機器４１０の入力／出力装置４１５（例えば、スピーカやディスプレイなど）を介して、電子機器４１０の不良をユーザに知らせてよい。さらに、検証結果提供部５２０は、サービスセンターの詳細情報（電話番号や位置など）を案内しながらサービスセンターを訪問することを勧めたり、サービスセンターに直接連結するサービス（例えば、電話、メッセージ（ＳＭＳ、リアルタイムチャットなど）、ウェブページ接続など）を提供したり、サーバ４２０にデバイス不良の報告を送信したりすることができる。このとき、検証結果提供部５２０は、デバイス不良と判断された電子機器４１０の検証結果をサーバ４２０および／またはサービスセンターの端末に伝達する過程において、該当の電子機器４１０と電子機器４１０のユーザのうちの少なくとも一方に関する情報を共に伝達してよい。

図７は、本発明の一実施形態における、セルフ検証を実行する段階６３０の例を示したフローチャートである。

セルフ検証実行部５１０は、セルフ検証が必要な状況が認識された場合、電子機器４１０の入力／出力装置４１５（例えば、スピーカやディスプレイなど）を介してセルフ検証の通知を提供することができる（７０１）。例えば、セルフ検証実行部５１０は、電子機器４１０で音声認識エラーが高い頻度で起こるなど不良の兆しが見えた場合、セルフ検証が必要な状況であることをユーザに知らせてよい。

セルフ検証実行部５１０は、セルフ検証の通知を出力した後、所定の時間（例えば、３秒）が経過した時点にセルフ検証過程に直ぐに進むか、あるいはセルフ検証に対するユーザの受諾の意思に応じて選択的にセルフ検証を開始することもできる。言い換えれば、セルフ検証実行部５１０は、セルフ検証の通知を提供すると同時に、検証の実行可否を電子機器４１０のユーザに尋ね、ユーザが検証の実行を受諾した場合にセルフ検証を開始し、ユーザが検証の実行を拒否した場合にはサービスセンターを訪問することを勧める追加通知を提供した後、セルフ検証過程はスキップ（ｓｋｉｐ）してよい。

セルフ検証実行部５１０は、セルフ検証過程の実行が受諾されると、電子機器４１０の入力／出力装置４１５（例えば、スピーカやディスプレイなど）を介してセルフ検証環境に関するガイド情報を提供することができる（７０２）。セルフ検証実行部５１０は、環境的要素を排除した状態でセルフ検証を実行できるように、最適化環境（例えば、静かな環境や近距離からの発話など）を誘導するためのガイド情報を提供することができる。このとき、セルフ検証実行部５１０は、電子機器４１０のマイク入力によって背景雑音や音声信号の大きさを測定することで、セルフ検証が可能な環境であるかを直接確認し、確認結果から周辺の騒音が一定レベル以上であると判断された場合に、ガイド情報によってセルフ検証のための環境変更をユーザに要求してもよい。

セルフ検証実行部５１０は、電子機器４１０の入力／出力装置４１５（例えば、スピーカやディスプレイなど）からセルフ検証用の特定発話を電子機器４１０のユーザに要請するか、直接再生することができる（７０３）。セルフ検証実行部５１０は、音声認識結果を利用してデバイスの不良を自動探知するためにセルフ検証用の特定発話を電子機器４１０のユーザに要求した後、ユーザの発話による音声入力を認識してもよく、セルフ検証用の特定発話を直接再生した後、再生された発話による音声入力を認識してもよい。

セルフ検証実行部５１０は、音声認識結果とセルフ検証用の特定発話の正解音声データとを比較し、音声認識が正しくなされているかどうかを確認することができる（７０４）。セルフ検証用の特定発話とは、セルフ検証のための特定文章の発話を意味し、認識しやすい上に発音が簡単かつ明確な文章を事前に指定することができ、各文章別の音声信号を正解データとして格納しておくことができる。検証の正確度を高めるために、上述した過程７０３〜過程７０４を繰り返しながら、複数の発話を繰り返し認識してよい。

セルフ検証実行部５１０は、音声認識結果とセルフ検証用の特定発話の正解との比較の結果が、事前に設定された誤差範囲から外れた場合、すなわち、セルフ検証用の特定発話に対して認識エラーが発生した場合を、デバイスの不良と判断することができる（７０５）。このとき、セルフ検証実行部５１０は、複数のセルフ検証用の特定発話を繰り返し認識した場合、該当の発話に対して認識エラーが一定回数以上に高い頻度で発生すれば、デバイスの不良と判断してよい。

検証結果提供部５２０は、セルフ検証実行部５１０によるセルフ検証結果からデバイスの不良と判断された場合、該当のセルフ検証結果を電子機器４１０のユーザに提供するか、あるいは電子機器４１０と関連するサーバ４２０またはサービスセンター端末に提供してよい。一方、セルフ検証が必要な状況であるにもかかわらず、セルフ検証結果から電子機器４１０は正常状態であると判断された場合には、周辺騒音、発話の距離や大きさなどのような使用環境による一時的な認識エラーと判断し、電子機器４１０の使用環境を変更することをユーザに要求してよい。

このように、本発明の実施形態によると、音声認識を基盤として動作する人工知能機器に対し、音声認識結果を利用することによってデバイスの不良を自動判断することができ、これによる必要な対応を迅速に進めてユーザの不便を緩和させることができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことを理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサと１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、所望のとおりに動作するように処理装置を構成してもよく、独立的または集合的に処理装置に命令してもよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記憶媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読取可能な記録媒体に格納されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読取可能な媒体に記録されてよい。このとき、媒体は、コンピュータで実行可能なプログラムを継続して格納するものであってもよく、実行またはダウンロードのために一時的に格納するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接に接続する媒体に限定されてはならず、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が格納されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給あるいは流通するサイト、サーバなどで管理する記録媒体あるいは格納媒体が挙げられてもよい。

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって代替されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

４１２：プロセッサ
５１０：セルフ検証実行部
５２０：検証結果提供部

Claims (14)

1. コンピュータで実現される電子機器における音声入力の処理に関するデバイス不良の検出方法であって、
   前記電子機器における前記デバイス不良を自動探知する機能であるセルフ検証が必要な状況を認識する段階、
   前記セルフ検証が必要な状況が認識された場合、セルフ検証用の特定発話による音声を認識する段階、および
   前記セルフ検証用の特定発話に対する音声認識結果を利用して、前記デバイス不良を判断する段階
   を含み、
   前記セルフ検証用の特定発話による音声を認識する段階は、
   前記電子機器のユーザに前記セルフ検証用の特定発話を要求して前記ユーザの発話による音声を認識すること
   を含む、デバイス不良検出方法。
2. 当該デバイス不良検出方法は、
   前記セルフ検証用の特定発話による音声を認識する段階を繰り返すことにより、複数のセルフ検証用の特定発話を繰り返し認識すること
   を特徴とする、請求項１に記載のデバイス不良検出方法。
3. 前記デバイス不良を判断する段階は、
   前記複数のセルフ検証用の特定発話に対して一定回数以上の認識エラーが発生した場合を、デバイス不良と判断する段階
   を含む、請求項２に記載のデバイス不良検出方法。
4. 前記デバイス不良を判断する段階は、
   前記電子機器のマイク入力によって背景雑音や音声信号の大きさを測定することにより、セルフ検証が可能な環境であるかを確認する段階
   を含む、請求項１に記載のデバイス不良検出方法。
5. 前記デバイス不良を判断する段階は、
   セルフ検証の環境に対する確認結果に応じてセルフ検証の最適化環境を誘導するためのガイド情報を提供する段階
   をさらに含む、請求項４に記載のデバイス不良検出方法。
6. 前記セルフ検証が必要な状況を認識する段階は、
   前記電子機器が初期化された場合、前記電子機器における音声認識エラーが一定頻度以上に発生した場合、前記電子機器の非活性化状態が一定時間以上続いた場合、事前に定められた周期に該当する場合のうちの少なくとも１つの時点を、セルフ検証時点として認識すること
   を特徴とする、請求項１に記載のデバイス不良検出方法。
7. 前記セルフ検証が必要な状況を認識する段階は、
   前記電子機器のマイク入力によって背景雑音や音声信号の大きさを測定してセルフ検証が可能な環境であるかを確認し、確認結果に基づいてセルフ検証時点を認識すること
   を特徴とする、請求項１に記載のデバイス不良検出方法。
8. 当該デバイス不良検出方法は、
   セルフ検証の結果から前記電子機器の不良と判断された場合、前記電子機器と関連するサービスセンターに関する情報を前記電子機器に提供するか、前記サービスセンターに連結するサービスを前記電子機器に提供する段階
   をさらに含む、請求項１に記載のデバイス不良検出方法。
9. 請求項１乃至８のうちのいずれか一項に記載のデバイス不良検出方法をコンピュータに実行させる、コンピュータプログラム。
10. 請求項１乃至８のうちのいずれか一項に記載のデバイス不良検出方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、コンピュータ読取可能な記録媒体。
11. コンピュータで実現される電子機器の音声入力の処理に関するデバイス不良の検出システムであって、
    コンピュータ読取可能な命令を実行するように実現される少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    前記電子機器における前記デバイス不良を自動探知する機能であるセルフ検証が必要な状況を認識し、前記セルフ検証が必要な状況が認識された場合、セルフ検証用の特定発話による音声を認識し、前記セルフ検証用の特定発話に対する音声認識結果を利用して前記デバイス不良を判断するセルフ検証実行部
    を備え、
    前記セルフ検証実行部は、
    前記電子機器のユーザに前記セルフ検証用の特定発話を要求して前記ユーザの発話による音声を認識する、
    デバイス不良検出システム。
12. 前記セルフ検証実行部は、
    前記電子機器のマイク入力によって背景雑音や音声信号の大きさを測定することで、セルフ検証が可能な環境であるかを確認し、
    セルフ検証の環境に対する確認結果に応じてセルフ検証の最適化環境を誘導するためのガイド情報を提供すること
    を特徴とする、請求項１１に記載のデバイス不良検出システム。
13. 前記セルフ検証実行部は、
    前記電子機器が初期化された場合、前記電子機器における音声認識エラーが一定頻度以上に発生した場合、前記電子機器の非活性化状態が一定時間以上続いた場合、事前に定められた周期に該当する場合のうちの少なくとも１つの時点を、セルフ検証時点として認識すること
    を特徴とする、請求項１１に記載のデバイス不良検出システム。
14. 前記セルフ検証実行部は、
    前記電子機器のマイク入力によって背景雑音や音声信号の大きさを測定してセルフ検証が可能な環境であるかを確認し、確認結果に基づいてセルフ検証時点を認識すること
    を特徴とする、請求項１１に記載のデバイス不良検出システム。

Images