JP2024054093A - 仮想手話言語システム - Google Patents

Abstract

【課題】仮想手話言語システムを使用して、手話言語入力を受信し、その後、受信した手話言語入力に対応する出力を生成する方法を提供する。【解決手段】方法は、仮想手話言語システムを使用する情報処理装置で、ユーザから仮想キーボードで提供された手話言語要素入力を受信し、仮想手話言語システムを使用して、手話言語要素入力から得られた手話言語要素検索結果のセットを決定し、仮想キーボードを使用しているユーザから、検索結果のセットから１つの検索結果を選択する入力を受信し、仮想手話言語システムを使用して、選択した１つの検索結果に対応する出力を提供する。【選択図】図３

Description

手話言語は、伝統的な聴覚的な方法でコミュニケーションをとることが難しい人々によって一般に用いられているコミュニケーション方法である。手話言語を使用してコミュニケーションをとる人々の大半を耳が聞こえない人々が占めている場合がある。あ者などの他の人々もまた、この言語を使用してコミュニケーションをとることができる。口頭言語を聞き取れなかったり、話せなかったりすると、手振りによるコミュニケーションに頼ることになる。手話言語には通常、口頭言語とは一致しない場合がある、独自の文法と語彙がある。

要約すると、１つの態様は方法を提供し、該方法は、仮想手話言語システムを使用する情報処理装置で、ユーザから仮想キーボードで提供された手話言語要素入力を受信し、仮想手話言語システムを使用して、手話言語要素入力から得られた手話言語要素検索結果のセットを決定し、仮想キーボードを使用しているユーザから、検索結果のセットから１つの検索結果を選択する入力を受信し、仮想手話言語システムを使用して、選択した１つの検索結果に対応する出力を提供することを含む。

別の態様はシステムを提供し、システムは、仮想キーボードと、仮想キーボードに動作可能に結合されたプロセッサと、命令を記憶するメモリ装置とを含み、前記命令がプロセッサによって実行されると、仮想手話言語システムを使用して、ユーザから仮想キーボードで提供された手話言語要素入力を受信し、仮想手話言語システムを使用して、手話言語要素入力から得られた手話言語要素検索結果のセットを決定し、仮想キーボードを使用しているユーザから、検索結果のセットから１つの検索結果を選択する入力を受信し、仮想手話言語システムを使用して、選択した１つの検索結果に対応する出力を提供する。

別の態様は製品を提供し、製品は、実行可能なコードを記憶するコンピュータ読み取り可能な記憶装置を含み、前記実行可能なコードがプロセッサによって実行されると、仮想手話言語システムを使用して、ユーザから仮想キーボードで提供された手話言語要素入力を受信し、仮想手話言語システムを使用して、手話言語要素入力から得られた手話言語要素検索結果のセットを決定し、仮想キーボードを使用しているユーザから、検索結果のセットから１つの検索結果を選択する入力を受信し、仮想手話言語システムを使用して、選択した１つの検索結果に対応する出力を提供する。

前記は要約であり、したがって簡素化、一般化、及び詳細の省略を含む場合があり、結果として当業者は、要約は単に例示的であり、いかなる形であれ限定を意図していないことを理解するであろう。

実施形態をその他のさらなる特徴及び利点と共によりよく理解するために、添付の図面と併せて以下の説明を参照されたい。本発明の範囲は添付の特許請求の範囲で指摘される。

情報処理装置回路の例を示す。 情報処理装置回路の別の例を示す。 仮想手話言語システムの仮想キーボードでユーザが提供した手話言語要素入力に対応する出力を提供する、例示的な方法を示す。 仮想手話言語システムの仮想キーボードを示す。

実施形態の構成要素は、本明細書の図面で概して説明され図示されるように、説明されている例示的な実施形態に加えて、幅広く様々な構成で配置され設計されてもよいことは容易に理解されよう。したがって、図に示されているように、例示的な実施形態の以下のより詳しい説明は、特許請求の範囲に記載されている通り、実施形態の範囲を限定することは意図されておらず、単に例示的な実施形態を代表するものである。

本明細書を通じて、「１つの実施形態」又は「実施形態」（など）の用語は、実施形態に関連して説明されている特定の機能、構造、又は特徴が、少なくとも１つの実施形態に含まれていることを意味する。したがって、本出願の全体を通して、様々な箇所で「１つの実施形態において」又は「実施形態において」などの文言が使われているときは、必ずしも全てが同じ実施形態を指しているとは限らない。

さらに、説明されている機能、構造、又は特徴は、任意の適切な方法で、１つ以上の実施形態に組み込まれてもよい。以下の説明において、実施形態の完全な理解をもたらすために、多くの具体的な詳細が提供される。しかしながら、様々な実施形態が１つ以上の具体的な詳細なしに、或いは他の方法、構成要素、材料などを用いて実施できることが当業者には理解されよう。他の事例では、混乱を避けるために、周知の構造、材料、又は動作については、詳細な図示若しくは説明はされていない。

手話言語の使用に頼っている人は、一般に伝統的な口頭でのコミュニケーション方法を使用することに問題を抱えている。ユーザがろう者、あ者などであっても、このように口頭でのコミュニケーションに問題を抱えている人は、手話言語によって手振りでコミュニケーションをとることができる。口頭でのコミュニケーション方法によってコミュニケーションをとる能力を失った人、例えば、かつては聞こえていたが時がたつにつれて徐々に聴力を失った人の場合、ユーザはいくつかの正式な口頭言語訓練を受けている場合がある。正式な口頭言語訓練とは、口頭でのコミュニケーション方式に関連付けられた、読み方及び／又は書き方を学習することを指す。言い換えれば、正式な言語訓練は、話し方、そしてさらに口頭言語で読み書きする方法を学習することを含む。アルファベットを形成する言語の発音及び文字の使用に基づいて、言葉を音韻的に分解するユーザの能力は、通常は口頭でのコミュニケーション方法を使って口頭言語を習得した結果である。口頭でのコミュニケーションの問題に悩まされることがない人にとって、言語の音韻を学習することは、話し言葉及び／又は文書を使用したコミュニケーション方法の基礎にもなりうる。より詳細には、正式な口頭言語訓練によってユーザは、口頭言語の正しい規則及び方式に合った方法で、口頭言語の読み書きを学習することができる。

しかしながら、生まれつき口頭言語を聞き取る能力を持っていなかった可能性がある人の場合、主なコミュニケーション方法として、長期にわたって手話言語に頼ることになる場合がある。手話言語には独自の文法及び語彙があるため、それが補おうとする言語とは一致しない場合がある。また、正式な口頭言語訓練を受けることはめったにない。ユーザが口頭でコミュニケーションをとれないことにより、口頭言語の音韻を学習することが困難になっている。これに加えて、又はこれに代えて、手話言語を学習することには時間と意志が必要になるため、個人にとって、正式な口頭言語訓練を受けようとしながら、さらに手話言語訓練を受けることは困難であろう。結果として、口頭でのコミュニケーションに問題を抱えている人には、正式な口頭言語訓練は通常は行われず、このような人々は、口頭言語と一致することを意図した書き言葉による方法によって、分解やコミュニケーションをすることに困難を感じている場合がある。

正式な口頭言語訓練を行うこと以外に、口頭言語によるコミュニケーションができないことを克服しようとする方法がないことにより、このような口頭でのコミュニケーションに問題を抱えている人は、口頭言語に合わせることを意図した書き言葉の様式を介して、コミュニケーションをとる能力をほとんど失っている。言語の音韻は、口頭でのコミュニケーションに問題を抱えている人が学習することは困難なので、このような人々に口頭言語の書き言葉の様式を教えることは、多くの国において通常は行われていない。したがって、手話言語入力、及び／又は手話言語入力に関するパラメータを、口頭でのコミュニケーションに問題を抱えているユーザのために、書き言葉に翻訳できるシステム及び方法が必要とされている。

したがって、説明するシステム及び方法は、仮想手話言語システムを使用して、手話言語入力を受信し、その後、受信した手話言語入力に対応する出力を提供する技術を提供する。仮想手話言語システムは情報処理装置で使用され、仮想キーボードを使用しているユーザから仮想手話言語要素入力を受信することができる。手話言語要素入力は、手話言語で使用される手話のパラメータ及び音韻規則を特定する入力を含む。手話言語を使用してコミュニケーションをとる際の手話を受信しようとするシステムではなく、該システムは、仮想手話言語システムの仮想キーボードでの、所望する手話のパラメータ及び音韻規則を特定する入力を受信することができる。手話ではなくキーボードでの入力を受信することによって、システムは、ユーザが行っている手話を特定するために動画処理を使用する必要がない。また、手話は少なくとも初めのうちは、例えば、手型、手話が行われている位置、手話を行っている（両）手、並びに手話が動きを含んでいるかどうかなどの、異なるパラメータ及び音韻規則に分割することができる。パラメータ及び音韻規則を使用することによって、キーボードを入力領域のセットに分割でき、これにより、可能だとしても極端に複雑なキーボードになりかねない、考えられるあらゆる手話を含むキーボードを必要とすることなく、ほぼ全ての手話を見つけることが可能になる。

手話言語要素入力の受信に続いて、仮想手話言語システムは、受信した手話言語要素入力から、手話言語要素検索結果のセットを決定する作業を行うことができる。手話言語要素入力は、考慮している所望の手話が入力されてよい。しかしながら、手話言語に存在する複数の手話が、少なくとも２つの異なる手話を含んでいる場合があっても、手話言語要素入力が受信される際は同じパラメータ及び音韻規則の範囲内に入る。手話言語要素入力によって複数の手話が生成される可能性があるため、ユーザは、決定した検索結果のセットから検索結果を選択する入力を提供してもよい。所望の手話を行っているユーザによるこの選択は、その後、選択に対応する出力を生成し、情報処理装置上に存在するアプリケーションと組み合わせて、且つ／又はこれに従って機能している、アプリケーションへの出力を提供することができる。システムにおいて、提供される出力は、選択した１つの検索結果の動画を含んでもよい。システムにおいて、提供される出力は、テキスト形式の、選択した１つの検索結果を含んでもよい。

示されている例示的な実施形態は、図面を参照することで最もよく理解されよう。以下の説明は例であることのみが意図され、単にいくつかの例示的な実施形態を示している。

情報処理装置では、様々な他の回路、回路構成又は構成要素が使用される場合がある一方で、図１に示す例のスマートフォン及び／又はタブレット回路１００に関しては、タブレットその他のモバイル・コンピューティング・プラットフォームなどに見られる、チップ設計上のシステムを含む。ソフトウェア及び（複数の）プロセッサが、単一チップ１１０に組み込まれる。プロセッサは、当業者にはよく知られているように、内部演算ユニット、レジスタ、キャッシュメモリ、バス、入力／出力（Ｉ／Ｏ）ポートなどを含む。内部バスなどは業者によって異なるが、基本的に全ての周辺装置（１２０）は単一チップ１１０に接続されてよい。回路１００は、プロセッサと、メモリ制御と、Ｉ／Ｏコントローラ・ハブとを全て単一チップ１１０に組み込んでいる。また、この種のシステム１００は、通常はシリアルＡＴＡ（ＳＡＴＡ）や周辺構成要素相互接続（ＰＣＩ）や低ピン数バス（ＬＰＣ）は使用しない。一般的なインターフェースは、例えば、安全なデジタル入出力（ＳＤＩＯ）及び集積回路間バス（Ｉ２Ｃ）を含む。

バッテリ管理ユニット（ＢＭＵ）などの（複数の）電力管理チップ１３０があり、充電式バッテリ１４０などによって供給された電力を管理し、充電式バッテリ１４０は、電源（図示せず）に接続することによって充電されてもよい。少なくとも１つの設計では、基本入出力システム（ＢＩＯＳ）のような機能、及び動的ランダム・アクセス・メモリ（ＤＲＡＭ）メモリに供給するために、１１０などの単一チップが使用される。

システム１００は通常、電気通信ネットワーク、及びアクセスポイントなどの無線インターネット装置などの様々なネットワークに接続するために、無線広域ネットワーク（ＷＷＡＮ）送受信機１５０、及び無線ローカル・エリア・ネットワーク（ＷＬＡＮ）送受信機１６０のうちの１つ以上を含む。また、一般に無線通信装置、外部記憶装置などの装置１２０が含まれる。システム１００は、データ入力、及び表示／レンダリング用に、タッチスクリーン１７０を含んでいることが多い。システム１００はまた、通常はフラッシュメモリ１８０、及び同期式動的ランダム・アクセス・メモリ（ＳＤＲＡＭ）１９０などの様々なメモリ装置を含んでいる。

図２は、情報処理装置回路、回路構成、又は構成要素の別の例のブロック図を示す。図２に示されている例は、パーソナルコンピュータその他の装置などの、コンピューティングシステムに対応することができる。本明細書の記載から明らかなように、実施形態は、図２に示されている例の他の特徴、又は特徴の一部のみを含んでもよい。

図２の例は、製造者によって異なる場合があるアーキテクチャを有する、いわゆるチップセット２１０（共に作動する一群の集積回路又はチップ、チップセット）を含む。チップセット２１０のアーキテクチャは、コア及びメモリ制御グループ２２０、並びに直接管理インターフェース（ＤＭＩ）２４２又はリンクコントローラ２４４を介して情報（データ、信号、コマンドなど）を交換するＩ／Ｏコントローラ・ハブ２５０を含む。図２において、ＤＭＩ２４２は、チップ間インターフェースである（「ノースブリッジ」と「サウスブリッジ」との間のリンクになるものと呼ばれることもある）。コア及びメモリ制御グループ２２０は、フロント・サイド・バス（ＦＳＢ）２２４を介して情報を交換する、１つ以上のプロセッサ２２２（例えば、シングル又はマルチコア）、及びメモリ・コントローラ・ハブ２２６を含み、グループ２２０の構成要素は、従来の「ノースブリッジ」式のアーキテクチャに代わるチップ内に統合されてもよい点に留意されたい。１つ以上のプロセッサ２２２は、当業者にはよく知られているように、内部演算ユニット、レジスタ、キャッシュメモリ、バス、Ｉ／Ｏポートなどを含む。

図２において、メモリ・コントローラ・ハブ２２６は、（例えば、「システムメモリ」又は「メモリ」とも呼ばれる場合がある、ある種のランダム・アクセス・メモリ（ＲＡＭ）に支援を与えるために）メモリ２４０とインターフェースをとる。メモリ・コントローラ・ハブ２２６は、表示装置２９２（ブラウン管（ＣＲＴ）、フラットパネル、タッチスクリーンなど）用の低電圧差動信号（ＬＶＤＳ）インターフェース２３２をさらに含む。ブロック２３８は、低電圧差動信号（ＬＶＤＳ）インターフェース２３２によって支援される場合があるいくつかの技術（例えば、シリアル・デジタル・ビデオ、高精細度マルチメディア・インターフェース／デジタル・ビジュアル・インターフェース（ＨＤＭＩ（登録商標）／ＤＶＩ）、表示ポート）を含む。メモリ・コントローラ・ハブ２２６は、ディスクリート・グラフィックス２３６を支援する場合がある、ＰＣＩエクスプレス・インターフェース（ＰＣＩ‐Ｅ）２３４をさらに含む。

図２において、Ｉ／Ｏコントローラ・ハブ２５０は、（例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）２８０など用の）ＳＡＴＡインターフェース２５１、（例えば、無線通信２８２用の）ＰＣＩ‐Ｅインターフェース２５２、（例えば、デジタイザ、キーボード、マウス、カメラ、電話、マイク、記憶装置、他の接続された装置などの装置２８４用の）ユニバーサル・シリアル・バス（ＵＳＢ）インターフェース２５３、ネットワーク・インターフェース２５４（例えば、ローカル・エリア・ネットワーク（ＬＡＮ））、汎用Ｉ／Ｏ（ＧＰＩＯ）インターフェース２５５、（特定用途向け集積回路（ＡＳＩＣ）２７１、信用済プラットフォームモジュール（ＴＰＭ）２７２、スーパーＩ／Ｏ２７３、ファームウェアハブ２７４、ＢＩＯＳ支援２７５、並びに読み取り専用メモリ（ＲＯＭ）２７７、フラッシュ２７８、及び不揮発性ＲＡＭ（ＮＶＲＡＭ）２７９などの様々な種類のメモリ２７６用の）ＬＰＣインターフェース２７０、電力管理インターフェース２６１、クロック発生器インターフェース２６２、（例えば、スピーカ２９４用の）音声インターフェース２６３、時間制御操作（ＴＣＯ）インターフェース２６４、システム管理バス・インターフェース２６５、並びにＢＩＯＳ２６８及びブートコード２９０を含むことができる、シリアル周辺インターフェース（ＳＰＩ）フラッシュ２６６を含む。Ｉ／Ｏコントローラ・ハブ２５０は、ギガビットイーサネット支援を含んでもよい。

システムは、電源を入れると、ＳＰＩフラッシュ２６６に記憶された、ＢＩＯＳ２６８のブートコード２９０を実行するように構成されてもよく、その後、１つ以上のオペレーティングシステム及び（例えば、システムメモリ２４０に記憶された）アプリケーションソフトウェアの制御下でデータを処理する。オペレーティングシステムは、様々な位置のいずれかに記憶され、例えば、ＢＩＯＳ２６８の命令に従ってアクセスされてもよい。本明細書で説明するように、装置は、図２のシステムに示されているよりも少ない、又は多い機能を含んでもよい。

情報処理装置回路は、例えば図１又は図２に概要が示されているように、一般にタブレット、スマートフォン、パーソナルコンピュータ装置で使用されてもよく、且つ／又はユーザから手話言語要素入力を受信し、その後、受信した手話言語要素入力に基づいて選択した検索結果に対応する出力を提供するシステムに使用される場合がある、電子機器などの装置で使用されてもよい。例えば、図１に概要が示されている回路は、タブレット又はスマートフォンの実施形態で実施されてもよく、図２に概要が示されている回路は、パーソナルコンピュータの実施形態で実施されてもよい。

図３は、仮想手話言語システムを使用して、受信した手話言語要素入力から結果のセットを決定し、その後、結果のセットから選択した出力を提供する例示的な方法を示す。該方法は、プロセッサ、メモリ装置、出力装置（表示装置など）、入力装置（キーボード、タッチスクリーン、マウス、マイク、センサ、生物測定スキャナなど）、並びに／或いは図１及び／又は２に関連して説明されているものなどの他の構成要素を含むシステムで実施されてもよい。システムが周知のハードウェア及びソフトウェア構成要素、並びに／又は将来開発されるハードウェア及びソフトウェア構成要素を含む場合がある一方で、仮想手話言語システム自体は本明細書で説明する機能を実行するように特にプログラムされ、ユーザからの手話言語要素入力から仮想手話言語システムによって生成された、選択した少なくとも１つの検索結果に対応する出力を提供する。

仮想手話言語システムは、情報処理装置のバックグラウンドで稼働してもよく、装置が有効化されたときに有効化されてもよい。これに加えて、又はこれに代えて、システムは、手話言語コミュニケーション方法（例えば、テキストメッセージングのプラットフォーム、言語処理プログラム、マルチメディア処理プログラムなど）に関連するアプリケーションが有効化、検出、或いは開放されたときに有効化されてもよい。システムはまた、仮想キーボードで手話言語要素入力を受信した際にシステムを有効化してもよい。この場合、仮想手話言語システムは、ユーザに関連付けられた情報処理装置で少なくとも１つの手話言語要素入力が受信されるまで有効化されない場合がある。

装置で仮想手話言語システムが有効化されると、システムは、ユーザから仮想キーボードで提供された手話言語要素入力を受信し、手話言語要素入力から得られた手話言語要素検索結果のセットを決定し、仮想キーボードで、検索結果のセットから１つの検索結果を選択する入力選択を受信し、選択した１つの検索結果に対応する出力を提供するプロセス全体を通じて使用することができる。手話言語要素入力を受信し、手話言語要素検索結果のセットを決定する仮想手話言語システムを使い続けることで、正確な検索セットを生成して、ユーザが検索結果のセットから、所望する１つの検索結果を選択できるように装置を訓練することになる。言い換えれば、システムはユーザから選択を学習し、ユーザに対して、これらを使用して検索結果をより正確に特定したり提供したりすることができる。言い換えれば、以前に選択した検索結果に基づいて、システムは異なる可能な検索結果の重み付け又は優先順位指定をしてもよく、これによって、より可能性が低い選択と比較して、より可能性が高い選択を第１位又は上位に提示することができる。

仮想手話言語システムに存在するステップを実行し、手話言語要素入力から手話言語要素検索結果のセットを正確に決定するために、仮想手話言語システムは、ニューラルネットワーク、機械学習モデル、及び／又は他の学習アルゴリズムを使用してもよく、これらは読みやすくするために機械学習モデルと総称される。機械学習モデルは、以前に提供された手話言語要素入力、及び以前に生成された手話言語要素検索結果のセットを使用して訓練することができる。言い換えれば、機械学習モデルは、以前に受信した手話言語要素入力へのアクセスを与えられ、特定の手話言語要素入力から検索結果のセットを生成する。また、機械学習モデルは、機械学習モデルをさらに訓練するために、検索結果のセットから以前に選択した検索結果を受信し、その後、ユーザによって関連付けられ選択された出力を受信する。このような確立された手話言語要素、検索結果セット、ユーザ検索結果選択、及び選択した検索結果の出力は、訓練データセットと呼ばれる。

経時的に変化する場合がある訓練データセットを使用して、機械学習モデルは、受信した手話言語要素入力と、表示された検索結果と、ユーザによる選択との間の微妙な差異を学習する。これにより、ユーザが所望する検索結果の特定、及び選択した検索結果の出力がより正確になる。例えば、機械学習モデルは、ユーザが選択した検索結果を動画として出力することを選択するとき、且つ／又はユーザが選択した検索結果をテキスト形式で出力することを選択するときについて学習することができる。追加の例として、システムは、ユーザが提供したパラメータ及び音韻規則から、ユーザが選択する手話言語結果を学習することができる。受信した手話言語要素入力から得られた手話言語検索結果のセット内で情報が決定されると、機械学習モデルはさらに微妙な差異を学習でき、時間が経つにつれてより正確且つ精緻になることができる。したがって、機械学習モデルを最初に訓練するために使用される初期訓練データセットがある一方で、機械学習モデルは、機械学習モデルが受信した新しい情報に基づいて経時的に学習しており、これによってより正確になるように進化している。

ステップ３０１において、仮想手話言語システムを含む情報処理装置の使用中に、システムは、ユーザから手話言語要素入力を受信することができる。手話言語要素は「手話」とも呼ばれ、手話言語要素入力はユーザから入力されたものであり、画像形式になっている手話のパラメータその他の特徴を記述又は特定する。仮想手話言語システムは、ユーザからこのような手話言語要素入力を受信するために、仮想キーボードを使用してもよい。この仮想キーボードは、受信した手話言語入力の特定のパラメータ及び音韻規則に対応する、区画又は入力領域を含むように設計されてもよい。先に述べたように、手話言語要素入力の受信は、手話を行っているユーザから収集されるのではなく、ユーザは手話言語要素入力を仮想キーボードで提供して、後で選択される所望の手話のパラメータ及び／又は音韻規則を特定することができる。言い換えれば、ユーザは手話を行うのではなく、仮想キーボードから所望の手話のパラメータ及び音韻規則を選択する。

システムにおいて、仮想手話言語システムの仮想キーボード上でユーザが提供した手話言語要素入力は、所望の手話の特定のパラメータ及び音韻規則と相関する。例示的なパラメータは、手型を含んでもよい。手型の手話言語入力パラメータは、手話を開始及び／又は実行したときに、手話者の片手又は両手がどのように配向され、且つ／又は形成されうるかを特定することができる。システムにおいて、ユーザの最初の手型が記録されてもよい。一部の手話言語の手話は、手話を表すために、ユーザの腕、ユーザの頭、ユーザの胴など体の他の部分を使う場合があるので、手型という用語は体の形にも拡張される場合がある。したがって、手型という用語が使用される際は、これが手の形及び／又は向きだけではなく、特定の手話に適用可能なユーザの体の形及び／又は向きをも意味することを理解されたい。

図４に見られるように、例示的な仮想キーボードが提供され、仮想キーボードの左半分は手型に関連付けられている。図４では、３行分の手型タイプがある。手型手話言語入力は、手型の省略された選択肢から選択されてもよい。手型の省略された選択肢は、手話言語タイプにおける最も一般的な手型に基づいて決定されてもよい。手型の省略された選択肢は、最も一般的にユーザが選択するものやユーザが設定するものなどに基づいていてもよい。これに加えて、又はこれに代えて、システムにおいて、ユーザは、手型の選択オプションを全ての手型選択オプションにまで拡張することを選択してから、手話言語要素入力を提供してもよい。例えば、ユーザは、所望の手型と似た手型を長押ししてもよく、仮想キーボード上で手型の選択が保持されていることを検出すると、仮想手話言語システムは、当初は仮想キーボード上には存在しなかった追加の類似した手型を提供してもよい。仮想手話言語システムは、例えば、手話言語に存在する全ての手型を表示する追加のオプションを選択すると、全ての手型のリストを提供してもよい。仮想手話言語システムの仮想キーボード上では、手話を行っているユーザの手型によって、ユーザが所望する手話のパラメータを特定することができる。

別の例示的なパラメータ、つまり手話言語要素入力は、人体に対する手話の位置である。言い換えれば、位置は、体のどこで手話が行われているかを特定する。手話を行うときは、人体に対して手話が行われる位置によって、手話の意味が変わる場合がある。例えば、別の手話と同じパラメータを持つ手話を別の体の位置で行うと、結果として手話の意味が異なる場合がある。図４に戻ると、手話言語要素の位置は、例えば、仮想キーボードの最上段の最後の３つの選択領域を含む。図４に見られるように、且つ例として使用されているように、仮想キーボード上に表示されているパラメータは、左から右に、「頭」の位置、「体」の位置、及び「ニュートラルスペース」の位置を含む。選択可能な領域内の体の強調表示部分は、パラメータ選択入力を示すことができる。

これに加えて、又はこれに代えて、体のある位置で手話を行うことは、仮想キーボード上で当初提供されていた３つの位置よりもさらに詳細であったり、これらとは異なったりしている場合がある。手型パラメータについて先に説明したオプションの拡張と同様に、ユーザは、位置オプションのうちの１つを長押ししてもよく、これによってより詳細な位置の選択を提供することができる。一例として、ユーザは所望の手話要素と最も密接に関連する位置を選択してもよく、仮想キーボード上で、選択した位置を選択して保持すると、仮想手話言語システムは、手話を行っている位置に関するより詳細なオプションを提供することができる。例えば、システムにおいて、「体」パラメータのオプションを選択してその選択肢を長押しすると、仮想キーボードは、所望の手話言語要素の位置を特定するために、肩、胸板、腹部など、ユーザに特定の体の領域を提供することができる。

別の例示的なパラメータ、つまり手話言語入力要素は、手話のために行われる動きである。言い換えれば、ユーザは、手話を行っているときにユーザの（両）手が動いているか、又は（両）手が静止したままかを選択してもよい。先に述べたように、これは、手話の実行中に動く場合がある他の体の部分に適用されてもよい。例えば、一度に１つの文字を綴る且つ／又は提供するときに、ユーザの（両）手が静止したまま、又は動いていないというオプションをユーザが選択したときは、仮想キーボードは、これ以上動きに関する入力がないまま、選択を受け入れてもよい。これに加えて、又はこれに代えて、先に述べたようなパラメータオプションの拡張と同様に、システムは動きを含む手話を特定する入力を受け入れてもよく、したがって、ユーザにより詳細な動きのパターンを選択するオプションを提供してもよい。このような追加のオプションは、仮想キーボードで動きの入力を選択している際に、長押しの手法を使用して提供されてもよい。これに加えて、又はこれに代えて、動きのオプションを１つ選択すると（１回の入力押下、タップなど）、仮想キーボードは、例えば、追加のオプションを含むポップアップ表示を提示してもよく、動きのオプションを表示するように仮想キーボードを変更してもよい。図４において、例えば、中央の行に存在する最後の２つの選択オプションは、最初の動きのタイプ、動きがないこと、又は動きがあることを特定する。

別の手話言語要素入力、つまり手話言語要素の音韻規則は、ハンドタイプを含む。手話言語入力のハンドタイプ音韻規則は、手話を行うときに片手が使われるか両手が使われるかを特定することができる。手話を行っている間に他の体の部分が使用される場合には、仮想キーボードはこのような体の部分を含んでもよく、或いはユーザが入力を提供して、他の体の部分を含めるようにハンドタイプ音韻規則選択を拡張してもよい。ハンドタイプ音韻規則は、片手が使われるか両手が使われるかを特定するだけでなく入力オプションも特定し、同じパラメータで両手が動くかどうか、言い換えれば、同じ動き及び他のパラメータを行いながら並行して動くのか、それとも両手が異なるパラメータで動くのかを特定する。

図４を参照すると、仮想キーボードは、ハンドタイプのオプションを示す３つの手話言語入力オプションを含むことができる。仮想キーボードの最下段の最後の３つの入力オプションにこれが見られる。片手の入力を選択すると、仮想手話言語システムは、選択したパラメータをユーザの利き手に適用してもよい。ハンドタイプのオプションは、２つの別の両手オプションを含んでいるが、手話言語オプションが同じパラメータ内にあるか、又は別のパラメータ内にあるかを選択するだけで、ステップ３０２で決定されるように、仮想言語システムが正確な手話言語要素検索結果のセットを提供するのに十分な情報を提供することができる。

手話言語入力オプションを受信した後、システムはステップ３０２において、仮想手話言語システムが、受信した手話言語要素入力から、手話言語結果のセットを決定できるかどうかを決定してもよい。手話言語入力オプションは、全ての考えられる手話言語要素に適用される検索照会パラメータとして使用されてもよい。この検索照会の結果は、手話言語結果のセットである。システムはこれに加えて、又はこれに代えて、受信した手話言語入力と相関する手話言語要素検索結果のセットを生成するために、機械学習モデルを使用してもよい。手話言語要素のパラメータ及び音韻規則を特定することにより、アクセス可能なデータベース及び／又は記憶位置から、入力されたパラメータ及び音韻規則を含む、且つ／又はこれと密接な関連がある手話言語要素を検索するのに十分な情報を仮想手話言語システムに提供することができる。

仮想キーボードで提供されたパラメータ及び音韻規則に基づいて、少なくとも１つの手話言語要素検索結果が存在することが決定すると、仮想手話言語システムは、検索結果のセットを提供することができる。検索結果のセットを提供する１つの手法は、仮想キーボード上に、提供されたパラメータ及び音韻規則を含む手話を表示する動画を提供することを含む。検索結果のセット内に存在する各手話言語要素の動画が、ユーザに提供されてもよい。別の手法は、静止した手話の画像のセット、及び／又は手話が動きを含んでいる場合に、各結果に対する一連の画像ステップを提供することを含んでもよい。図４を参照すると、例えば、仮想キーボードの上部に沿った大きい空白のバーが、手話言語要素検索結果のセットがユーザに提供される場所であってもよい。システムにおいて、ステップ３０２で、受信したユーザからの手話言語要素入力に基づいて、少なくとも１つの手話言語要素が生成できないことが決定されたときは、ステップ３０２に示すように、システムは手話言語要素の出力を提供しない場合がある。

しかしながら、ステップ３０２において、仮想手話言語システムが、手話言語要素入力から手話言語要素検索結果のセットを生成でき、結果がユーザに提供されることが決定されたときは、ステップ３０３において、システムは、検索結果のセットから１つの検索結果を選択する入力をユーザから受信してもよい。システムにおいて、入力を受信すること、或いはステップ３０３において、検索結果のセットからユーザが１つの検索結果を選択することにより、ユーザは、仮想手話言語システムから戻される所望の手話言語要素に関して決定をすることが必要になる。入力は、例えば、所望の手話言語要素をクリックすること、所望の手話言語要素を強調表示すること、所望の手話言語要素を保持することなどを含んでよい。検索結果のセットが、仮想キーボードに収まるよりも多い結果を含んでいる場合は、ユーザは、結果を拡張したり、別のオプションに変更したりしなければならないことを示す入力を提供してもよい。ユーザはさらに、近い結果であるが正しいものではないことを示す入力を提供してもよく、例えば、近い結果に対して「同様のものをさらに表示する」という入力を提供してもよい。これは、選択した近い結果を照会入力として使用した、追加検索になる場合がある。

検索結果のセットから検索結果を選択する入力を受信すると、ステップ３０４において、システムは、選択した検索結果に対応する出力を提供することができる。出力を提供するステップは、選択した検索結果の動画を提供することを含んでよい。仮想手話言語システムは、そのような状況を支援できるアプリケーションに、手話言語要素を実行している動画を含めることを取り入れてもよい。例えば、システムは、アプリケーションがｇｉｆ画像を提供するのと同様の方法で、ソーシャルメディアのプラットフォームを介したダイレクトメッセージによって、動画出力を提供することができる。これに加えて、又はこれに代えて、例えば、システムは、動画視聴プラットフォーム用に編集されアップロードされた動画と同様に、手話言語要素を含む動画の実演を模倣する行動を求める動画の送信を許可することができる。

ステップ３０４における出力を提供するステップは、選択した検索結果をテキスト形式で提供することを含んでよい。仮想手話言語システムは、テキストに基づくシステムで実施されるように、選択した１つの検索結果をテキスト形式に変換してもよい。先に述べたように、口頭でコミュニケーションをとる能力がなく、且つ／又は（読み書きなどの）正式な口頭言語訓練を受けたことがない人々は、口頭言語に対応する、伝統的なテキストによるコミュニケーション方法を用いてコミュニケーションをとることができない場合がある。ユーザによって提供された、受信した手話言語要素入力から生成された動画をテキスト形式に変換するシステムの性能により、このようなユーザに、より伝統的な方法でコミュニケーションをとる機会を提供する。

このようにして、ユーザは入力を提供して、手話言語入力要素を選択することができる。想像できる通り、ユーザは、一連の検索結果となる一連の入力を提供することができる。ユーザが一連の検索結果を選択すると、システムは、出力を提供するときに、出力時に選択した口頭言語規則を適用することができる。例えば、ユーザが手話言語要素の選択肢を用いて文章を提供したい場合、文章の手話言語要素が全て選択されると、システムは、口頭言語の文法、構文、語彙、及び／又は他の規則を変換された出力に適用でき、これによって口頭言語規則に従った動画若しくはテキストに基づいた出力を生成する。したがって、説明したシステムにより、ユーザは、通常は必要とされる正式な口頭言語訓練を受けることなく、口頭言語の正しい規則に従った方法でコミュニケーションをとることが可能になり、さらに、変換する入力を提供するための快適な方法をユーザに与えることができる。

当業者には理解されるように、様々な態様が、システム、方法、又は装置のプログラム製品として具体化されてもよい。したがって、態様は、全体的にハードウェアの実施形態、又はソフトウェアを含む実施形態の形をとってもよく、これらは全て、本明細書において一般に「回路」、「モジュール」、又は「システム」と呼ばれる場合がある。さらに、態様は、それと共に具体化された、装置読み取り可能なプログラムコードを含む、１つ以上の装置可読媒体に具体化された、装置のプログラム製品の形をとってもよい。

本明細書に記載する様々な機能は、プロセッサによって実行される無信号記憶装置などの、装置可読記憶媒体に記憶された命令を使用して実施されてもよいことに留意されたい。記憶装置は、例えば、電子、磁気、光学、電磁、赤外線、又は半導体のシステム、機器、又は装置、或いは前記の任意の適切な組み合わせであってもよい。記憶媒体のより詳細な例は、携帯可能なコンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能且つプログラミング可能な読み取り専用メモリ（ＥＰＲＯＭ若しくはフラッシュメモリ）、光ファイバ、携帯可能コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は前記の任意の適切な組み合わせを含む。本明細書の文脈において、記憶装置は信号ではなく、また電波その他の自由に伝播する電磁波、導波管その他の伝送媒体を通じて伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、又はワイヤを通じて伝送される電気信号など、それ自体で一時的な信号であるものとは解されない。また、「非一時的」という用語は、信号媒体以外の全ての媒体を含む。

記憶媒体上で具体化されたプログラムコードは、これに限定されないが、無線、有線、光ファイバ・ケーブル、無線周波など、又は前記の任意の適切な組み合わせを含む、任意の適切な媒体を使用して伝送されてもよい。

動作を実施するプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで書かれてよい。プログラムコードは、完全に単一の装置上で実行してもよく、部分的に単一の装置上で実行してもよく、独立型のソフトウェア・パッケージとして実行してもよく、部分的に単一の装置上且つ部分的に別の装置上で実行してもよく、或いは完全に他の装置上で実行してもよい。場合によっては、装置は、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む、任意の種類の接続又はネットワークを介して接続されてもよく、或いは他の装置を介して（例えば、インターネット・サービス・プロバイダを使用したインターネットを介して）、近距離通信などの無線接続を介して、或いはＵＳＢ接続などの有線接続を介して接続されてもよい。

例示的な実施形態が図を参照しながら本明細書で説明され、これらは様々な例示的な実施形態による例示的な方法、装置、及びプログラム製品を示す。動作及び機能は、少なくとも部分的にプログラム命令によって実施されてもよいことが理解されよう。これらのプログラム命令は、機械を製造するために装置のプロセッサ、特定用途向けの情報処理装置その他のプログラム可能なデータ処理装置に提供されてもよく、その結果、命令は、装置のプロセッサを介して実行されて、指定された機能／動作を実行する。

図面内で特定のブロックが使用され、ブロックの特定の順序付けが示されているが、これらは非限定的な例であることに特に留意されたい。特定の文脈において、２つ以上のブロックが組み合わされてもよく、ブロックは２つ以上のブロックに分割されてもよく、或いは特定のブロックが適宜並べ替えられたり再編成されたりしてもよく、明示的に図示されている例は説明する目的でのみ使用され、限定するものとは解されない。

本明細書で用いられるように、単数形の「ａ」及び「ａｎ」は、そうでないことが明確に示されない限り、複数形の「１つ以上」を含むものと解されてよい。

本開示は、例示及び説明の目的のために提示されているが、網羅的又は限定的であることは意図されていない。多くの変更及び変形が、当業者にとって明らかであろう。例示的な実施形態は、原理及び実際の適用を説明するため、且つ当業者が、予期される特定の用途に適した、様々な変更を含む様々な実施形態の開示を理解できるようにするために選択され説明されたものである。

このように、例示的な実施形態が添付の図面を参照して本明細書で説明されてきたが、この説明は限定的なものではなく、当業者であれば、本開示の範囲又は精神から逸脱することなく、他の様々な変更及び修正がそこに影響を及ぼす場合があることを理解されたい。

１００ 回路
１１０ 単一チップ
１２０ 周辺装置
１３０ 電力管理チップ
１４０ 充電式バッテリ
１５０ 無線広域ネットワーク（ＷＷＡＮ）送受信機
１６０ 無線ローカル・エリア・ネットワーク（ＷＬＡＮ）送受信機
１７０ タッチスクリーン
１８０ フラッシュメモリ
１９０ 同期式動的ランダム・アクセス・メモリ（ＳＤＲＡＭ）
２１０ チップセット
２２０ （複数の）コア及びメモリ制御グループ
２２２ （複数の）プロセッサ
２２４ フロント・サイド・バス（ＦＳＢ）
２２６ メモリ・コントローラ・ハブ
２３２ 低電圧差動信号ＬＶＤＳインターフェース
２３４ ＰＣＩエクスプレス・インターフェース（ＰＣＩ‐Ｅ）
２３６ ディスクリート・グラフィックス
２３８ ブロック
２４０ システムメモリ
２４２ 直接管理インターフェース（ＤＭＩ）
２４４ リンクコントローラ
２５０ Ｉ／Ｏコントローラ・ハブ
２５１ ＳＡＴＡインターフェース
２５２ ＰＣＩ‐Ｅインターフェース
２５３ ユニバーサル・シリアル・バス（ＵＳＢ）インターフェース
２５４ ネットワーク・インターフェース
２５５ 汎用Ｉ／Ｏ（ＧＰＩＯ）インターフェース
２６１ 電力管理インターフェース
２６２ クロック発生器インターフェース
２６３ 音声インターフェース
２６４ 時間制御操作（ＴＣＯ）インターフェース
２６５ システム管理バス・インターフェース
２６６ シリアル周辺インターフェース（ＳＰＩ）フラッシュ
２６８ ＢＩＯＳ
２７０ ＬＰＣインターフェース
２７１ （複数の）特定用途向け集積回路（ＡＳＩＣ）
２７２ 信用済プラットフォームモジュール（ＴＰＭ）
２７３ スーパーＩ／Ｏ
２７４ ファームウェアハブ
２７５ ＢＩＯＳ支援
２７６ メモリ
２７７ 読み取り専用メモリ（ＲＯＭ）
２７８ フラッシュ
２７９ 不揮発性ＲＡＭ（ＮＶＲＡＭ）
２８０ ハードディスクドライブ（ＨＤＤ）／ソリッドステートドライブ（ＳＳＤ）
２８２ 無線通信
２８４ 装置
２９０ ブートコード
２９２ 表示装置
２９４ （複数の）スピーカ

Claims (20)

1. 仮想手話言語システムを使用する情報処理装置で、ユーザから仮想キーボードで提供された手話言語要素の入力を受信し、
   前記仮想手話言語システムを使用して、前記手話言語要素の入力から得られた手話言語要素の検索結果のセットを決定し、
   前記仮想キーボードを使用している前記ユーザから、前記検索結果のセットから１つの検索結果を選択する入力を受信し、
   前記仮想手話言語システムを使用して、前記選択された１つの検索結果に対応する出力を提供すること、
   を含む方法。
2. 前記手話言語要素の入力が、前記手話言語要素のパラメータ及び音韻規則のうちの少なくとも１つを特定する入力を含む、請求項１に記載の方法。
3. 前記手話言語要素の前記パラメータが手型を含む、請求項２に記載の方法。
4. 前記手話言語要素のパラメータが、前記手話言語要素が提供される人体における位置を含む、請求項２に記載の方法。
5. 前記手話言語要素の前記パラメータが、前記手話言語要素が行われたときの動きを含む、請求項２に記載の方法。
6. 前記手話言語要素の前記音韻規則が、ハンドタイプである、請求項２に記載の方法。
7. 前記仮想キーボードを表示することを含み、前記仮想キーボードは複数の手話言語要素入力領域を備え、前記複数の手話言語要素入力領域のそれぞれが、前記手話言語要素のパラメータ又は音韻規則に対応している、請求項１に記載の方法。
8. 決定する前記ステップが、前記受信した手話言語要素入力に対応する複数の検索結果を表示することを含む、請求項１に記載の方法。
9. 前記出力が、前記選択した１つの検索結果の動画を含む、請求項１に記載の方法。
10. 前記出力が、テキスト形式の前記選択した１つの検索結果を含む、請求項１に記載の方法。
11. 仮想キーボードと、
    プロセッサと、
    命令を記憶するメモリ装置とを含み、
    前記命令が前記プロセッサによって実行されると、
    仮想手話言語システムを使用して、ユーザから前記仮想キーボードで提供された手話言語要素の入力を受信し、
    前記仮想手話言語システムを使用して、前記手話言語要素の入力から得られた手話言語要素の検索結果のセットを決定し、
    前記仮想キーボードを使用している前記ユーザから、前記検索結果のセットから１つの検索結果を選択する入力を受信し、
    前記仮想手話言語システムを使用して、前記選択した１つの検索結果に対応する出力を提供するシステム。
12. 前記手話言語要素の入力が、前記手話言語要素のパラメータ及び音韻規則のうちの少なくとも１つを特定する入力を含む、請求項１１に記載のシステム。
13. 前記手話言語要素の前記パラメータが、手型を含む、請求項１２に記載のシステム。
14. 前記手話言語要素の前記パラメータが、前記手話言語要素が提供される人体における位置を含む、請求項１２に記載のシステム。
15. 前記手話言語要素の前記パラメータが、前記手話言語要素が行われたときの動きを含む、請求項１２に記載のシステム。
16. 前記手話言語要素の前記音韻規則が、ハンドタイプである、請求項１２に記載のシステム。
17. 前記仮想キーボードを表示することを含み、前記仮想キーボードは、複数の手話言語要素入力領域を備え、前記複数の手話言語要素入力領域のそれぞれが、前記手話言語要素のパラメータ又は音韻規則に対応する、請求項１１に記載のシステム。
18. 前記出力が、前記選択した１つの検索結果の動画を含む、請求項１１に記載のシステム。
19. 前記出力が、テキスト形式の前記選択した１つの検索結果を含む、請求項１１に記載のシステム。
20. 実行可能なコードを記憶するコンピュータ読み取り可能な記憶装置を含み、
    前記実行可能なコードがプロセッサによって実行されると、
    仮想手話言語システムを使用して、ユーザから仮想キーボードで提供された手話言語要素の入力を受信し、
    前記仮想手話言語システムを使用して、前記手話言語要素の入力から得られた手話言語要素の検索結果のセットを決定し、
    前記仮想キーボードを使用している前記ユーザから、前記検索結果のセットから１つの検索結果を選択する入力を受信し、
    前記仮想手話言語システムを使用して、前記選択した１つの検索結果に対応する出力を提供する製品。

Images