JP7109498B2 - 音声入力装置 - Google Patents
音声入力装置 Download PDFInfo
- Publication number
- JP7109498B2 JP7109498B2 JP2020070652A JP2020070652A JP7109498B2 JP 7109498 B2 JP7109498 B2 JP 7109498B2 JP 2020070652 A JP2020070652 A JP 2020070652A JP 2020070652 A JP2020070652 A JP 2020070652A JP 7109498 B2 JP7109498 B2 JP 7109498B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- input
- voice input
- voice
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
かかる音声入力では、人間の声などをコンピュータに認識させて、これを文字列に変換する音声認識機能が利用されている。
特に近年では、この音声認識機能の精度が向上し、誤認識の確率も大幅に低減している。
そこで音声認識された結果をひとまずディスプレイ等に表示し、これを見ながらキーボードの操作により文節の区切りに適当に句読点を挿入し文書を作成することも考えられるが、これでは文書化するまでに多大な手間と時間がかかり実用化する上で好ましくない。
そこで従前においては、当該句点や読点などの入力について、以下の技術が提案されている。
具体的には、この文献で提案している音声入力装置は、入力音声を認識する手段と、認識された音声が表す文字列を複数の形態素に分割する手段と、該複数の形態素の属性を利用して、文章の末尾に位置する形態素(文末形態素)を検出する手段と、検出された文末形態素の後に句点を挿入する手段とを備えて構成されている。
しかしながら、前記特許文献1で提案されている音声入力装置は、認識された音声が表す文字列を複数の形態素に分割し、その属性を利用して、文章の末尾に位置する形態素(文末形態素)を検出し、その後に句点を挿入することから、句点の挿入処理に時間を要し、迅速な音声入力が困難であった。
但しこれらの機器は、入力装置などの付随機器や画面のサイズにより操作法が一部異なる状況が生じる。
また本発明の音声入力装置において、前記補助入力表示部は、文章の最初に入力される文字及び記号を含む認識前画面と、文章の最初に入力される文字及び記号を除いた認識中画面とを選択表示可能であり、音声の認識と同時に、認識前画面を認識中画面に変化させる画面変更手段を備えることができる。また更に入力した文字列を編集または修正する編集修正部を備えており、当該編集修正部は、入力された文字の指定範囲に対して、音声入力によって他の文字を挿入することができる。そして更に、範囲指定した文字列を音声出力する音声出力部と、表示装置に表示されている任意の領域を拡大表示する拡大表示部とを備えることができる。
本明細書における括弧〔 〕内の数字は、本明細書における段落番号を示している。
特に本実施形態では、コンピュータ、携帯端末、スマートウォッチにおいて具体化した音声入力装置について説明する。
但しこれらの機器は、入力装置などの付随機器や画面のサイズにより操作法が一部異なる状況が生じる。
そこで以下では、同一機能については併用して説明し、それぞれの機器で異なる部分は「コンピュータについては」「携帯端末については」「スマートウォッチについては」と但し書きで分けて説明する。
コンピュータにおいては主に主文入力時間の最短化を主目的とするため、例えば、右手でマウスを操作して位置指定、左手でタッチパネルとして構成された画面をタッチすることで句読点入力や書体を整え、主文は音声入力する3つの処理を同時進行する装置とすることができ、更に音声入力のオン・オフを断続的に行える機能を備えることも音声入力処理の最速化の観点で望ましい。
当該携帯端末は、キーボードなどの外部入力機器が無くても正確に入力できることを主目的とし、これによりインターネットなどで高精度な検索が出来る。
また翻訳機では正確な母国語を翻訳用AI(即ち「人工知能」以下同じ)に送信できるため、結果的に得られる翻訳精度が向上する。
携帯端末同様にキーボード等の外部入力機器が無くても正確に入力できることを主目的とし、簡易なSNS(即ち、「Social Networking Service」以下同じ)の発信機として、又、インターネット内の正確に検索した情報を小画面の文字表示に依存せず、音声で操作者に伝える機能を本実施形態では更に付与する。
そして入力者は話しかけることにより音声入力が開始される。
但し、操作時間を短縮するという目的を達成する場合には、コンピュータのマウス等の入力装置に、押している間のみ音声認識が起動するボタンと、受音マイクの双方を設けることが望ましい。
これは、持ち替えのタイムロスを減らすことと、周囲環境例えば雑音や他者へのエチケットなどを配慮することにより、使用者が自分の口にマウスを近づけて話せるという優位性も得られる。
よって、その操作ボタン自体も当然本体に設けられており、使用環境によっては本体自体を口元に近づけて使用することになる。
音声入力(基本的には一文節)が終了したら、音声入力ボタンを「離す」行為が、テキストの固定化(コンピュータであればエンターキー若しくは「実行」と同義)することにより、入力操作の迅速化を実現することができる。
次に各機器において、音声入力装置を実現した際の実施形態について、具体的に説明する。
第1の実施の形態は、コンピュータを用いて形成した音声入力装置である。
特にコンピュータを用いて音声入力装置を構成する際、当該音声入力処理は特定のソフトウェアを別途起動することにより開始されるものでは無く、オペレーティングシステム、デバイスドライバ或いはBIOS(Basic Input/Output System)などのコンピュータの基本プログラムの機能とし、それによって元々起動させていたソフトウェアを遮断・阻害しないように構成するのが望ましい。
特に、本実施の形態に係る音声入力装置を実現する為のプログラム(即ち、音声入力プログラム)は、オペレーティングシステム等として、ハードウエアに組み込まれることが、より最速化の目的に合致する。
図1では、コンピュータでメール本文を入力する際に、本発明を用いて音声入力を行っている例として説明する。
なお、タッチ句読点等の配置は後述〔0046〕欄の通り、操作者がカスタマイズできるので、図内の項目についてはあくまで一例である。
当該音声入力ボタンは、コンピュータに接続されている機器(マウス等)やコンピュータ自体に設けられるか、或いは画面上にも表示することができる。
また認識前画面10は前記ディスプレイの最も前面側に表示するものとし、更に音声入力対象となるメールソフトウェア画面を透過表示させるように表示させる。
この「透過表示」により、入力目的のソフトウェアを全画面表示状態で見ながら音声入力作業も併用可能となり、入力対象物に対して表示サイズとしては何の制約も及ぼさない。
図1の状況としては、本実施の形態で、既に「本発明は音声入力装置に関し、」のテキストの音声入力を完了し、その後で次の文章を音声入力する前の認識前画面10を示している。
即ち、この認識前画面10は、次の文節については、一音声も認識する前の状態の待ち受け画面を現しているものである。
但し、当該仕切りは必須ではなく、少なくとも当該項目に対応した指定領域を特定できれば良い。また当該領域をタッチするタイミングや結果については〔0058〕欄にて後述する。
よって、この認識前画面10には、音声入力ロック状態(音声入力ボタンを押したままの状態であると機器が認識した状態)を実行する為の画面タッチ領域(指定領域)としての「音声入力Lock」領域11を存在させる。
これは音声入力ボタンの「押したままの保持」をコンピュータに認識させるものであり、操作者の負担を軽減する為である。
音声入力Lockタッチ後はマウス等の音声入力ボタンから指を離しても、「押され続けているもの」としての機器側の認識が継続される。
再度音声入力タッチ部を押すと「タッチ操作認識」が優先され、その指を画面から離した瞬間に音声入力ボタンも離した物と同義に認識される。
音声入力ボタンを離す、若しくは一回音声入力Lock領域の画面タッチを行った後で、それを解除することは、キーボードでテキストを入力した後のエンターキーと同じく、入力したテキストの確定となる。
音声入力Lock解除の画面領域に触れたまま、更にマウス側の音声入力ボタンを再度押したままにしてから、Lock解除しても、音声入力終了、即ちエンターキーと同義の「確定」には移行せず、マウスの音声入力ボタンを再度押した後で、Lock解除の操作をすることで、保留状態をマウス側の操作に取り戻せる選択ができるからである。
また、複数行に渡る長文を音声入力したあと、点検・校正する場合、点検作業が終了に近付いて来た時には、操作者側はテキスト確定操作に掛かるLock解除の予備動作として、事前に画面に触れておける状況を作れる為、僅かながら確定操作に移行する際の時間短縮が図れる。
「。」や「、」などの句読点は文頭には付かず、また括弧や鉤ぎ括弧の「閉じ」側も文頭には付かない。
その空白領域を「数字優先」「英字優先」「カタカナ優先」などに割り振る。
優先認識の定義は、指定のタッチ認識後に音声入力を感知した機器側AIが、認識した音声をテキスト化する際に、数字の羅列・英字(アルファベット)・全てカタカナの固有名詞などに変換候補を判断する際の方向性の指定を掛けるプログラムが実行されるものである。
そこで操作者は「英字優先」の指定領域12を画面タッチした後で「えー」を発音し、「A」(※aと出力された場合は変換キー)を確認してから音声入力ボタンを離してAのテキストを固定化してから、再度音声入力ボタンを押して「数字優先」の指定領域13を画面タッチ(選択)した後で「ご」を発音し「5」のテキストを得る。
その後は、そのまま音声入力を続行することができる。
但し当該優先認識は、タッチ操作後の音声入力での一文節に限定された認識である。
優先認識が適用され続けると操作者が意図しない音声入力(機器側の誤認識)になり自然な音声入力の妨げになるからである。
これらは、外部入力装置としてのキーボードが存在するコンピュータでの使用頻度は低いが、外部入力装置としてのキーボードが無い携帯端末サイズ以下の機器では必須の選択方法になる。
表計算ソフトの計算式入力が省力化できるからである。
そのように、咄嗟に変えたい状況もあり得る為、色調だけを簡易に変更可能とする為の「クイックカラーチェンジ」タッチの領域16も選択できるように構成するのが望ましい。
本実施の形態では、当該クイックチェンジとして、半透明句読点などのタッチ部の色調を「桃色」「水色」「緑色」「橙色」等に変更できるように構成する。
当該の色を直接タッチすればその色にジャンプし、「領域」をタッチすれば「桃色」→「水色」→「緑色」→「橙色」→「桃色」に戻る、このようにローテーションする。
例においては認識前画面10に配置しているが、当然音声入力の中間で太字が得たい場合も有り得る為、以下の〔0046〕欄に記載する設定画面などにより後述の認識中画面のタッチ領域の一つに配置することもできる。
また同様に、太字の代わりに斜体文字・下線文字などの後述〔0038〕欄などのタッチ領域を設定画面において配置できる。
通常のキーボードでのテキスト入力の際に書体指定のアイコンをクリックするものと同様の操作で、更に書体変更を終了するコマンドも「タッチを離す」行為だけで良いため、キーボード入力での「再度同アイコンクリックで解除」よりも手間が少ない。
もしも、長い範囲に書体指定を掛ける場合は、通常通りマウスでアイコンをクリックする事前操作を掛ければ良い。
この音声入力ボタンでの入力は、音声入力処理の開始、及び入力した文字の確定を実行する処理を繰り返し行なうことができる。
このように必要最低限の操作により、ソフトウェア内でテキスト化させたい部分だけ音声入力を断続的に機能させることができ、例えば表計算ソフトの、摘要欄・備考等のセルに対する入力の時だけ音声入力のボタンを押して音声入力し、数値データを入力する際には今まで通りテンキーを用いることで、より入力速度を高かめることができる。
再掲になるが、これを実現する為に、当該音声入力処理のプログラムは、オペレーティングシステムなどの基本ソフトウェアとしてコンピュータに実装することが望ましい。
これは、各言語の文法の都合上、句読点(日本語であれば「、」や「。」など)の画面タッチ領域が必要となるため、前記〔0027〕欄の認識前画面10内の(「数字優先」13、「英字優先」12、「カタカナ優先」)等の部分の領域を、句点「。」21、読点「、」22などに明け渡すことで、タッチ領域を可変させて同じ画面サイズ内の分割数を有効に使うものである。
つまり、本実施の形態に係る音声入力装置は、音声の認識と同時に、認識前画面10を認識中画面20に変化させる画面変更手段を備え、これにより音声認識前と音声入力中の
タッチ領域を、同一画面サイズ内で効率良く利用できる。
当該認識前画面の配置例としては「。」「、」「記号」「変換」「( 」『「』「空白」「改行」「 )」『 」』「BS」「音声入力Lock」「単語」「句読点タッチ一時消去」「/(スラッシュ)」「一つ戻る」の項目を表示しているものである。
音声入力の途中でその重なった部分を視認したい時に、「句読点タッチ一時消去」の画面タッチ領域に触れている間、半透明句読点は画面から消えた状態で音声入力を続行できる。
このタッチ領域の存在により、一旦音声入力ボタンを離す、つまり音声入力自体を中断して、そこまで生成されたテキストの確定をせずとも、半透明句読点を画面上から消すことが可能になる。
殆どの場合、重なっている視認したい部分を確認したら、すぐ当該タッチを離して音声入力自体は続行する使用法が主となる。
状況としては、一単語だけで、句読点も無く、頻繁に改行を要する場合(例えば、電話の相手の話の要点だけを、思い出しながら紙のメモの代わりに音声入力をする時)など、そうした文章形態や内容によっては、画面タッチや音声入力ボタンを都度入/切操作するよりもエンターキー連打の方が素早く入力できるからである。
更に一旦音声入力ボタンを離して、音声入力でのテキストを固定化すれば、キーボードで入力したテキストと同じであり、これをマウス・キーボード側で修正できるようにする。
或いは、キーボードから入力したテキストの末尾をマウスで位置指定して、音声入力ボタンを押して発声をすれば、元のテキストに音声入力の文章を付け加えることも可能である。
もしも音声入力で認識しにくいフレーズが出現したら、そこまでで一度音声入力のボタンを離し(音声入力を終了し)、途中までのテキストを固定化し、認識しにくい部分だけをキーボードから入力して、その後で音声入力を再開すれば最も効率的な入力処理を行なうことができる。
当該アイコンクリック後の設定画面等のイメージ図は〔0045〕欄にて後述する。
また、単語と画面設定の2つのタッチ領域が、同一箇所に混在している説明については、この機能を多用する携帯翻訳機以下のサイズの機器に関する〔0082〕欄において後述する。
これは後述のスマートウォッチなど、画面の小さい機器とタッチ領域の種類や配置位置を合致させることで、同一の操作者が両方の機器を使用する際に混乱が少なくなることと、配置を記憶してしまい、句読点タッチの透明度の濃さを前項・次項で説明する設定画面内で下げて、視認に因らず「ブラインドタッチ」での操作を行える優位性も考慮している。
図4(A)は、認識前画面の表示中に、設定画面に移行した状態を示しており、半透明句読点タッチ(即ち補助入力部)が、音声入力使用時の「全画面サイズ表示」と比較し、左下に向かって80%程度に縮小表示され、画面上端と右端に空白域を設ける状態を表している。
図4(B)は、図4(A)で確保された空白域に、「各種設定専用のタッチ領域」を出現させた状態を表している。
なお説明用に図4(A)と図4(B)は別々の図としているが、実際には同時に画面遷移・展開がなされる。
設定画面内においては、認識前画面のほか、今後説明していく認識中画面及び編集・修正画面の、どの句読点タッチ画面をカスタマイズするのかの選択箇所が上列に常時存在し、すぐ目的の画面設定にジャンプすることができる。
変更できる内容としては、色調選択・色調濃淡・フォントサイズ・分割数などが選択できる。
仮に認識前画面で色調や濃淡を変化させると、認識中画面や編集・修正画面も同様にリンクして変化し、3つの句読点タッチの色調等に違いが生じることにはならない。
単語登録については、コンピュータにおいては基本的にIMEオプション(登録商標)の辞書ツールや登録単語にリンクしており、コンピュータにおいては本画面内で単語登録は行わない。
使用者のニーズ(専門業など)によって特定の記号(例「m2」や「Σ」など)を頻繁に使うケースがあるからである。
このような記号を使用する場合には、丸括弧「(」「)」を使用することがあっても、口語調で使用するカギ括弧『「』『」』はあまり使用しないと考えられることから、カギ括弧『「』『」』の部分に記号(例「m2」や「Σ」など)を充てるなどの選択ができる。
タッチ内容を変えたい場合、縮小表示された既存タッチ領域の一箇所を一定時間長押し(約2秒程度、以下同じ)すると、色調が反転するので、その後キーボードで例えば「m2」と入力すると、「m2と入れ替えますか? Y/N」と確認メッセージがコンピュータ側から確認され、「Y」にて選択・決定される。
タッチ句読点の位置変更は、当該句読点タッチを前述の長押し色調反転の後、マウスでのドラッグ&ドロップ操作同様にモニター上にて指で引っ張り移動の後に指を離すことで、タッチ位置の交換ができる。
なお、画面外に素早く大きく右フリックを行うと、当該句読点タッチ項目の削除も可能である。
なお、タッチ領域に設定できるものは、特に形式に制限は無く、「¥や*など一文字の
記号」などと限定はしない。
登録する際に「音声 太郎」と直接キーボード入力して、名前程度の字数であれば一つのタッチ項目として登録できる。
但し、全てのタッチ画面で「一つ戻る」タッチ領域は位置を変えることはできても消すことはできない。
後述の編集・修正画面における「変換」タッチ領域も位置を変えることができても消すことはできない。
これは今後説明する操作上の矛盾になるため、そうしたカスタマイズは「論理エラー」として受けつけないようプログラムされる。
図4(C)は、『「』(鉤ぎ括弧起点)をm2(平方メートル)に変更中での「決定前状態」を表している。
図4(D)は、「※」(コメ印)を「音声 太郎」に変更中での「決定前状態」を表している。
図4(E)は、「計算式優先」の領域を「モニター画面を指で触れてドラッグ操作中の状態」を表しており、ドロップ操作と同時に「太字」と位置関係は入れ替わる。
また、「記号と設定画面移行タッチ箇所を混在」させていた領域から、「記号の項目」だけを排除した状態も示している。
図4(F)は、図4(B)にて外周に新規出現させた、「長押し時間」の操作イメージ画面を示している。
公知技術として、多くのボタンを備えた多機能マウスも提供されているため、これを画面タッチ領域の一部代用として利用することもできる。
例えば当該多機能マウスの設定画面或いは前記設定画面で、音声入力時のみ適用される仕様として、多機能マウス50の各ボタンを特定の項目機能(例えば、句読点や鉤ぎ括弧等)に割り当てる機能割当画面(後述の図6(B)~(D))を設けることもできる。
例えば図5に示すように、多機能マウス50のボタン51には句点「。」、ボタン52には「改行」、ボタン53には読点「、」、ボタン54には「音声入力ボタン」を設定し、更に当該マウス50には、音声マイク55を設けている。
操作の例は、コンピュータでの音声入力の基本的項目が終了したあと〔0059〕欄にて後述する。
具体的設定方法は、図4に示した設定画面における「濃度」のタッチ領域を選択し、図6(A)に示す「半透明句読点タッチの濃度設定部分」の選択領域61をタッチした状態の選択バーで「表示しない」濃度を選択した場合、「モニター句読点タッチを利用しない」を指定するチェックボックス62の追加選択肢を出現させることから開始される。
単純に句読点タッチの表示濃度が薄いだけであれば、〔0044〕欄で説明した「ブラインドタッチ」の状態であり、モニター画面の所定の場所に触れれば句読点や括弧等はテキスト化される。
しかし「画面タッチを使用しない」チェックボックス62をクリックすると、以後モニター画面のタッチ入力はコンピュータ側からは全て無効と判断され受け付けられなくなる。
但し当該チェックボックス62のクリック後は、設定画面内に更なる追加選択肢「多機能マウス設定」を選択するチェックボックス63が出現する。
更に当該「多機能マウス設定」を選択するチェックボックス63をクリックすると、図6(B)に示す多機能マウスの各ボタンに「どの句読点や括弧等を割り振るかの」設定画面に遷移する。
設定操作としては図6(B)の左横上ボタン51の領域を一定時間画面の長押し(若しくはマウスでの右クリック)をすると、領域とマウスイメージ図のボタン51の色調が同時に反転し、この時点でキーボードの「。」を押した後、機器側からの「Y/N」選択が示されYで決定する。
同様に図6(B)に示した画面内の左横下ボタン52及び右横上ボタン53など目的の設定作業が終了した上で、設定画面右下の「決定」をクリックし設定の上書きは完了となる。
但しボタン割り振り設定画面(図6(B))の上列に「認識前画面」「認識中画面」「編集・修正画面」と表記があるように、マウスの各ボタンは各画面(即ち「音声入力中の状況ごと」)に異なる役割を設定できる。
操作者が使用法を習熟して行く過程で、文法に合わせて「認識前画面」においては「英字や数字の各優先認識タッチ」などを、また「認識中画面」においてはテキストの途中に入る鉤括弧等などに割り振ることで、限られた多機能マウスボタン数を効率良く利用することが可能になる。
また、現存する多機能マウスのボタン数は一定では無い。
よってマウスのボタン数に合わせて当該設定画面の分割数自体も変化させる必要がある。
例示した図6(C)(句読点タッチ領域に代わるボタン数3、設定画面内分割数9)と図6(D)(句読点タッチ領域に代わるボタン数5、設定画面内分割数11)において、画面配置の割り振り数そのものが異なるのは、そのイメージを説明している。
原則として、マウスの基本機能である「左右上面のクリックボタン」には句読点タッチ等の設定は不可とするよう制限を設ける、これは一般的な操作上の混乱を避ける為である。
但し、音声入力ボタンそのものを無くすことはできないものの、位置を変える(選択するボタンを異なるものにする)ことは妨げない。
後述する編集・修正画面のマウスボタンの配置設定も図内に含まれるが、コンピュータにおいては携帯翻訳機の〔0091〕欄で説明するような「指で画面をタッチ操作する編集・修正」は殆ど行わないため、作成済のテキストに対して後付け句読点を入力する形態となる。
例文:本項の説明内容は多機能マウスの設定方法です。
なお、図6(D)は認識中画面であるが、編集・修正画面においても同様の各ボタン配置を設定しているものと仮定する。
通常のマウス操作で、「は」と「多」の間の位置を指定し、図6(D)におけるボタン56をクリックし『「 』を入力し、同様に「ス」と「の」の間の位置で図6(D)におけるボタン57をクリックし『」』を入力する。
結果:本項の説明内容は「多機能マウス」の設定方法です。
このような「後付け句読点」の使用法となる。
マウス側の操作依存度を上げることで、画面タッチ認識機能の無いディスプレイを使用
した場合でも、音声入力時における句読点等の入力を多機能マウス側からある程度は可能になる為、コンピュータ装置一式の全体価格を下げる優位性もある。
また、操作者が片上肢に障害を持つ人の場合、画面タッチ(若しくはキーボード入力)を行わずに、多機能マウス50だけで音声入力が完結できる方が有利だからである。
また執筆業など長文を作成する専門職などは、半透明句読点タッチ領域と入力対象画面そのものとの重複表示は目の疲れの原因となり、〔0020〕欄に記載の通りの両手配置であれば、画面タッチの都度左手を挙上する行為も疲労の原因となる。
よってスマートフォンや小型のタブレット端末などの付属機器に、句読点タッチ等の役割だけを独立させるよう構成するのも望ましい。
右手は音声入力ボタンが追加されるだけのマウスでの座標指定操作は変わらず、左手は卓上に付いたままスマートフォン等で句読点や改行などの書体編集操作を行い、キーボードの代わりに音声入力を行うと言うことである。
また、操作者の心情的に画面モニターに触りたくない(指紋などを付けたくない)場合にも、スマートフォン等の付属機器での句読点タッチ等の手法は有効になる。
その際、コンピュータの場合は、一度音声入力のボタンを離して、テキストを固定化してから〔0042〕欄に記載の手法のとおりマウス・キーボードで修正することが容易にできるので、音声入力を中断する必要性が無い。
また、桁の多い金額などを入力する場合、キーボード入力にて後で訂正することを前提にして、音声入力を行うことも考えられる。
例文「この自動車は税込みで2,159,784円です。」と入力したい場合に、操作者は「この自動車は税込みで1万円です。」と一旦音声入力する。
その後通常のマウス操作で「1万」部分をなぞって色調反転させて、キーボードにおけるテンキーからの入力で、一度前記で音声入力した「1万」を「2,159,784」に変更する。
たとえ〔0032〕欄における「数字認識」があったとしても、単純な数字の羅列はテンキーで直接入力した方が、同じ結果を得るうえでは早いからである。
つまり本発明による音声入力を必ず行わなければならない状況は無い為、操作上のデメリットは存在せず、購入者は少しずつ音声入力を用いたテキスト入力手法を習得して行くことができる。
定画面にて調整できる、以下「一定時間」とする)を経過すると、図7に示す編集・修正画面に遷移する。
これにより、音声入力対象である文書入力ソフトや表計算ソフト及びWebページの画面などの元々のソフトウェアは、閉じられることは無いが、コンピュータ本体側(オペレーティングシステム側等)が、一時入力操作の処理を遮断して、モニター上は極端に色調を薄くし「背景化」させる。
図7の編集・修正画面70では、今現在入力中のテキストが句読点タッチと同色の半透明文字(※透過度はより濃い色調に変化する)で大フォント・広い字間でモニター一杯に出力される。
なお、図7の編集・修正画面70では、〔0027〕欄における音声入力によるテキスト作成を進めて、その後に誤って認識された部分の修正入力をこれから行う具体例である。
表示する句読点タッチの例としては、左上から右下にかけて『「』『」』「(」「)」「改行」「。」「一つ戻る」「、」「変換」「空白」「BS」「記号」などを設けるものである。
一時的に背景化されたソフトウェア側よりも、音声入力最中のテキストのみの拡大フォント画面が「視認の主たる部分」になると言うことである。
フォント・字間の拡大からテキストが画面内に収まりきらない場合は、位置調整の縦バー71が出現するように構成する。
なお、誤変換や同音異議語の修正など、修正する範囲が短い場合、コンピュータにおいては〔0042〕欄に記載の通り一旦テキストを固定化してから、通常のマウス及びキーボードでの入力し直しが早いため、ここで編集・修正画面内における編集手法説明は行わず、マウス・キーボードが存在しない携帯機以下のサイズの機器に関する〔0091〕から〔0108〕欄にて詳細説明を行う。
即ち、音声入力の開始に際しては、コンピュータやその周辺機器(マウスなど)に設けられた音声入力ボタンをオンにする。
これにより、音声認識を開始する前の画面である、「認識前画面」をディスプレイに出力する。
この認識前画面は、音声入力を行うプログラムの入力画面上に、当該入力画面を透過させるように表示する。
そしてこの認識前画面に設定された項目の指定により、当該領域に設定されている処理を行う。
例えば括弧(起点側)などの項目の指定領域が選択された場合には、当該選択(タッチ)された内容を音声入力を行うプログラムの入力画面に入力し、また英字優先、数字優先、カタカナ優先、計算式優先、音声入力Lock等の項目が選択された場合には、当該項目に設定されている処理を実行する。
この認識中画面がディスプレイに表示されている状態において利用者が音声を発することにより、当該音声認識装置は発音された音声を認識して、音声入力を行うべき画面にテキストで入力していく。
そしてこの音声入力中に、前記記号や制御文字を入力する際には、前記認識中画面における該当項目を選択・指定し、音声入力したテキストに追加する。
以上の処理によって、音声入力と同時に、記号や制御文字及び改行など書体を整えることをタッチパネル、キーボード又はマウスなどの入力デバイスを用いて併用入力することが可能となり、これにより音声入力自体はテキスト部分しか話さない自然な流れのまま、迅速かつ正確なテキスト入力を行うことができる。
図9は表計算ソフトにおける入力画面であり、数値部分と摘要部分(音声入力箇所)の断続性を説明したものである。
B列3行やB列4行などの摘要欄は音声入力を用い、C列3行以降の数値データはテンキーを用いるなど、音声入力の断続性から常に最速の入力方法を選択可能と言うことである。
また、「実績値」と入力したい時に「実績地」と同音異義語で認識された場合、マウスで「地」をなぞり色調を反転させてから「あたい」とキーボードで入力し、変換キーを押せば修正操作は容易である。
図10の多機能マウス入力画面は多機能マウスに一部の句読点タッチを割り振り、画面で句読点タッチをせずに、テキストを作成する手法の説明である。
マウスには通常の機能のほか、句点「。」を設定したボタン51、「改行」を設定したボタン52、読点「、」を設定したボタン53、「音声入力ボタン」を設定したボタン54、音声マイク55を割り振っており、テキストの下線部は音声入力ボタンの押したままの状態を示している。
よって下線の引かれていないテキストはキーボードを使用し通常通り入力している。
この例文内では、「 」(鉤括弧)と、PDF及び@(アッドマーク)がそれにあたる。
なお、説明を単純化するため、本項内では誤認識等は生じなかった前提で説明している。
図11の文章入力画面はワードプロセッサーに代表される、文書入力ソフトでの基本的な操作手順である、主だったテキストは全て音声入力であり下線は省略している。
図11内のエンターキーマーク111は文字通りキーボードのエンターキー若しくは句読点タッチの改行のどちらでも同じ結果となる。
図内の□(ブランク)112は空白を示している、キーボードのスペースキー若しくは句読点タッチの空白のどちらでも同じ結果となる。
なお、改行や空白の「当該タッチの押したままでの自動連打判定」が、キーボードの当該キーの押したままでの自動連打状態と同様に実行される。
この定義の為、後述〔0132〕の携帯機以下のサイズの機器にて説明する「押したままの状態で音声入力を行った場合の特殊書体入力は」改行や空白タッチ部分には論理エラーとして設定できない。
「、」や「。」「( )カッコ」などの句読点は、全て音声入力中のタイミングに合わせた句読点タッチで構成可能である。
「:(コロン)」113や「_(アンダーバー)」114はキーボードで直接入力するか、「記号」タッチ後に「ころん」「あんだーばー」の音声入力で得ることも可能である。
特殊文字115も、テンキーで「1」「2」を入力後に変換キーを押すことも、音声入力で機器が認識する能力があるのであれば「いちまる」「にまる」と音声入力だけで得ることもできる。
本実施の形態の一つとして、電子カルテの入力方法について実施した場合を説明する。
これらの特殊な業種と異なり、一般的な業種では医療業の「電子カルテの入力」において、スピードが求められるものである。
特に大病院勤務医の長時間労働などは社会問題化しており、カルテの入力にとどまらず、診断書・紹介状及び各サマリーの記載作業が早くなることは、医療従事者の負担軽減に寄与するものである。
強いて挙げるのであれば、図1に示す認識前画面で「病名優先」「医療英略字優先」の選択項目や、AIの能力次第では、それらを一つにまとめた「医療用語優先」の選択タッチ領域などがあれば更に良く、また診療科毎に異なる専門用語に対応する為、単語の登録可能数を一般モデルより増やすといった細かな調整で、充分医療用専用機として対応可能である。
例1:音声入力「でぃーえむ」 DM (糖尿病の英略字) →(矢印は都度の変換タッチを表わす) I型糖尿病(主に先天性) → II型糖尿病(主に生活習慣) → Diabetes(英) → DMに変換が戻る。
例2:音声入力「えるしー」 LC(肺癌の英略字) → Lung cancer(英) → 小細胞肺癌 → 非小細胞肺癌 → LCに変換が戻る。
例3:音声入力「えりてまとーです」 → エリテマトーデス → 全身性エリテマトーデス → 全身性紅斑性狼瘡 → SLE → Systemic lupus erythematosus(英) → Lupus erythematodes(独) → エリテマトーデスに変換が戻る、などである。
この医療用語優先の変換パターンは電子カルテシステムにおいて公知技術であるが、現状のシステムでは操作者が意図せずに、機器側が医療用語に誤認識してしまう場合がある。
本実施における優先認識タッチは原則〔0032〕欄に記載の通り「タッチ認識後の次の音声入力の1フレーズ」に限定されるため、全体を通して誤りが生じにくい優位性がある。
各利用者に応じた、例えば〔0062〕欄に記載のとおり机上で医師等がカルテや診断書等を作成する場合を「ノーマルモード」とし、看護師等が何らかの処置中に並行してカルテに入力する場合は「ノータッチモード」等として設定することもできる。
これは、医療(又は介護においても)の現場においては、医療処置中(又は介護中)で手を離せない状況や、手指衛生上の都合(消毒済の手や、オムツ交換の実施中など)によっては、マウスやタッチ画面に触れられない場面も想定されるからである。
そこでこのような場面をフォローする為に、音声入力する際の状況に合わせて、原則として手の「表側」を使用しないで機器を操作する手法である。
但し、このような音声入力ボタンの操作は、同時に行いたい処置や介護の手を拘束するので、初めに2回連続押しで音声入力状態を維持できる状態(モニター上の音声入力Lockタッチと同義)とし、もう一回音声認識ボタンを押すとLock状態を解除し、同時にエンターキー操作とすることで解決できる。
前項のLock解除操作でも、指(手の表側)を使用しないと言うことである。
よって、ノータッチモードでの電子カルテへの音声入力に際しては、公知技術における音声入力処理、例えば記録したい本文内容から一拍インターバルを開けた上で「てん」「まる」「かいぎょう」など単語を口頭で話すことで、句読点や書体編集を入力する処理を伴うこともできるように機器側の音声認識のプログラムが変化する。
つまり、ゆっくり・はっきりと単独で発声された「、」「。」「改行」などをテキスト化せず、機器側は書体や記号コマンドとして認識するということである。
日中の介護・夜間の介護など状況も異なるため、この無音時間検知は事前に任意設定できるように構成する。
これにより、処置や介護の手を、〔0065〕欄の記載における実行(エンターキー)及び音声入力の解除操作の為に拘束しないで済ませることができる。
また、操作者が音声入力の終了処理を忘れたり、意図せず手が離せなくなった時に、患者との会話が無意味に延々と記録され続けるのを防止する上でも有効である。
よってマウス側の音声入力ボタンを押した場合は、自動的にノーマルモードになるように設定し、ノート型コンピュータの角押しや、ベルト・手首甲のスイッチが押された場合には、自動的にノータッチモードとなるように、ハードウエア(オペレーティングシステムを含む)側で定義した方が効率的である。
また、医療専用のノート型コンピュータを新規開発する場合は、指の反対側の関節部で位置指定のマウス操作ができると手指衛生上有利なので、「タッチパッド」のサイズ等を拡大する事が望ましい。
電子カルテ同様に、特定ワードの優先認識やタッチ句読点のカスタマイズで、専用機以上の能力を発揮できる例として、音声入力によるコンピュータプログラミング(ボイスコーディング:Voice coding)がある。
このボイスコーディング自体は公知技術であるが、本実施による手法は、半透明句読点タッチ領域をプログラム入力において多用するものに切り替えることで実現する。
よってそれらの領域を 例 function(ファンクション:関数) 例2 arry(アレイ:連想配列)などに割り振る。
また同様に一部の句読点(鉤ぎカッコ起点や太字)などもプログラムでは使用しないので、{ }(中カッコ)や;(セミコロン)などプログラムで多用する物に割り振る。
専門的なプログラム用語に限らず、エクセルマクロ(登録商標)における、TRUE(トゥルー:正常値) FALSE(フォルス:不正値)なども認識率が上がるが、〔0033〕欄の記載における計算式優先と異なり、自動で計算式の書式には移行しない。
そうした際に発声前の都度、プログラム優先のタッチ領域を押すことは操作者の負担になり、最速化の目的にも合致しないため、プログラム優先タッチ領域と音声入力Lockタッチ領域を同時にタッチすると、「プログラム優先」にもLockがかかり、常に優先識別が適用され続けることで解決できる。
これを解除する場合は、〔0030〕欄の記載と同様に音声入力Lock領域を再度タッチしすぐ離す入力方法で解除を行う。
またプログラムの件とは別であり、用途も稀な例であるが、カタカナ優先や英字優先などでも同様の同時押しタッチで特定認識のLockをし続けることができる。
洋食のメニュー原稿を作成するときなど、カルボナーラ ペスカトーレ ジェノベーゼ アラビアータ… (Carbonara)(Pescatora)(genovese)(Arrabbiata)…など、カタカナ・英文などを連続して単語のみで入力する状況も有り得るからである。
この特定認識Lock継続は、後述〔0132〕欄に記載の携帯機以下のサイズの機器における、各優先認識タッチ領域の押したままによる、太字やアンダーバーなど書体を整える特殊操作とは別個の処理である。
更に〔0046〕欄に記載のとおり短文も句読点タッチとして登録できることを応用して、ほぼ全ての半透明句読点タッチ領域に「プログラミング言語やプログラムで多用する記号」に充てる方法が有効になる。
ただ句読点タッチ領域にランダムに割り振る訳ではなく、図12(A)に示す認識前画面の半透明句読点タッチ領域121には「プログラムの行のはじめ」に使用されやすいプログラミング言語や記号を、図12(B)に示す認識中画面の半透明句読点タッチ領域122には「プログラムの行の中間点」に使用されやすいプログラミング言語や記号を、図12(C)に示す編集・修正画面の半透明句読点タッチ領域123には「プログラムの行の末尾」に使用されやすいプログラミング言語や記号を重視して配分する。
認識前画面と認識中画面及び編集・修正画面のプログラミング用語では、プログラム内容によっては前後する場合もありえるため、「認識前画面にジャンプ」「編集・修正画面にジャンプ」と言った句読点タッチ領域を設定することで対応する。
なお各画面の空白領域は、全て操作者が任意にカスタマイズした、プログラム用語とプログラム句読点の領域である。
それらの業種はテンキーを中央配置し、ファンクションキーを多数追加した専用キーボードを使用している。
また、プログラム言語は桃色・水色・黄色など複数の文字色が同時にモニター内に表示される。
〔0035〕欄の記載においてクイックカラーチェンジ機能があったとしても、より専門度が高まるほど画面タッチ句読点は色調が重なることも含めて視認の障害になり、前述のとおり〔0050〕欄に記載の多機能マウスに持ち替えることも無いため、当然画面タッチで手をキーボードから離す行為自体専門職の最速化目的には合致しない。
そうした場合は、プログラム(パンチャー)専用キーボードに「音声入力ボタン」が追加されるだけで良く、多数配置されたファンクションキーで足りないプログラム言語を音声入力する機能だけで、画面表示を妨げず且つ持ち替えも無く、プログラミング作業の最速化に寄与できる。
このように、汎用機(個人)から専用機(専門業)まで、画面タッチの有無や多機能マウスの有無などと組み合わせ、操作者の用途に適合した音声入力機能を付与したコンピュータプログラムの環境を提供できる。
なお、2020年からプログラミングは日本の義務教育に導入されるため、社会的貢献も期待できる実施手法である。
特殊な例となるが、両上肢に障害を持つ者が使用する場合には、図13(A)に示すような、足踏みで操作できるタッチパッド130を使用することができる。
足踏みタッチで句読点を選択可能であり、足でポインタの移動を指示する位置指定領域131を備えたマウスの併用で、入力の支援を行うツールと成り得る。
かかる図13(A)に示す足踏みタッチパッド130においては、足の動きによる操作であることから、ダブルクリック処理の受付時間は比較的長く設定することが望ましい。
図13(A)に示す様に、左ボタン領域132及び右ボタン領域134は、通常のマウスの左ボタン及び右ボタンに該当する。
なお、片足だけが健常な場合を考慮し、左ボタン領域132の左端領域133、及び右ボタン領域134の右端領域135を指定すると、当該領域の指定状態が維持され、再度指定することにより、当該指定状態を解除するように構成することもできる。
また、足元スペースの制限やコスト観点から、一枚のマットを、句読点などの記号を指定する為の「句読点タッチ処理用のパッドと、通常のマウスとしての処理を行うパッドマウス操作」とで切り替えて使用する「句読点モード切替」指定領域136を設けることもできる。
当該指定領域136のタッチ後は、図13(B)に示す句読点モードの足踏みタッチパッドに移行し、テキストの音声入力において、句読点等の入力補助が行える。
但し、コンピュータに関する〔0027〕欄における認識前画面とは異なり、図13(B)に示す位置指定領域モードの足踏みタッチパッドに移行する指定領域137として「マウス操作に戻る」を設ける。
また、かかる足踏みタッチのパッド130は、脳卒中などで右半身/左半身麻痺が発症した場合も有効に使用できる。
この場合、前述〔0050〕欄で示した多機能マウスと、足踏み句読点パッドを組み合わせることで、健常者に近い速度で、コンピュータの入力や執筆作業が可能になる。
現代社会において、コンピュータを健常者同様に扱えるようになることは、身体障碍者の社会進出や労働力不足の解消にとても有効である。
携帯端末、特にスマートフォンサイズの携帯端末については、より複雑となる携帯翻訳機で形成した音声入力装置の実施の形態に基づいて説明する。
よって、図14の携帯翻訳機の初期画面に示すように、本実施の形態に係る音声入力装置は、母国語入力ボタン143と、相手方の外国語入力ボタン141の両方が存在する。
また両ボタンの中間に位置するCボタン142については、画面内タッチ領域「一つ戻る」の機能に近い、クリア及びキャンセルを意味する「C」と、変換つまりチェンジ及びコンバージョンを意味する「C」を兼用しており、その使用法については後述する。
オンライン・オフライン状態を問わず、音声で入力可能な携帯翻訳機自体は既存商品が多数存在するが、母国語側を入力する際に、キーボードやマウスを接続せずに編集・修正等を可能とすることが、本実施の形態に係る音声入力装置の最大の特徴である。
母国語入力側の認識がそもそも間違っていれば、翻訳結果は当然間違った意味、つまり相手側の外国人に致命的な誤解を与えることから、携帯翻訳機において最も必要とされる能力になる。
この音声入力携帯翻訳機では、国旗が各ボタン上に並列に表示されており、「何語と何語の翻訳機器」の意味を表した状態を示している。
外国語の種類設定を変更した場合や、電源を入れた直後状態の画面でもある。
この状態の国旗部分145を画面タッチすると、翻訳言語の選択設定画面に移行することができる。
なお、国旗自体は母国語と外国語ボタンの「ボタン色」と一致した色で囲われた状態で表示され、ボタンとの共通性を操作者や相手方の外国人に判りやすくしている。
当該のボタンと同色の囲みや、国旗の表示自体も半透明色で表示し、認識前画面内における句読点タッチ領域の説明が全く視認できない状態にならないように構成する。
また、国旗以外の空白部分を左フリック操作146することで機器のシステム設定の画面にジャンプし、右フリック操作147の場合は後述〔0117〕欄に記載のプレゼンテーション画面へジャンプする。
これは相手方の外国人に変化状態を伝え易くさせる為である。
配置の例としては、「数字優先」「英字優先」「カタカナ優先」「無変換」「( 」『「 』「記号及び設定画面」(この2項目は同一タッチ領域の中で交互に明滅している)「@」「音声入力Lock」「単語」「※」「一つ戻る」などである。
この状態がコンピュータにおける認識前画面と同義の状態となる。
記号については、音声入力であっどまーく「@」、くえすちょんまーく「?」と単発で指定する方法である。
単語については、事前登録を行い、操作の際は「単語」の指定領域を画面タッチで選択した後で、該当単語音声入力の出だしから予測変換され、この表示単語で正しいか否かの「Y/N」表示部を画面に出現させ、例えば「Y」の画面タッチで選択して当該単語を選択する。
頻繁に使う記号等を設定画面で自由配置できるのはコンピュータにおける〔0046〕欄の場合と同様である。
また後述〔0108〕欄で示す修正・編集画面内でも、一部の句読点や記号はテキストの積み上がり後であっても後付け入力できる。
しかしながら「半透明句読点タッチ」であることは共通であり、視覚障がいの中の「色弱障がい」の場合、句読点が一色のみの場合視認出来ない可能性がある。
よって「桃色」「水色」「緑色」「橙色」の色調選択や、句読点タッチのカスタマイズはコンピュータ同様に行える。
携帯翻訳機(スマートフォンを含む)、以下のサイズの機器は、画面のタッチ領域の一つ一つの面積が小さく、コンピュータにおける「タッチ領域とは別個に設定画面に移行するアイコンをクリックする」手法が困難であるため、音声入力自体が機器本体へのコマンドを兼ねることができる。
これは後述の〔0123〕欄におけるタイプライターモードにおいて、その手法を説明する。
携帯翻訳機における設定画面へのジャンプと、その詳細について図16及び17を参照して説明する。
図16(A)は「記号及び設定画面」のタッチ領域161を長押し(2秒程度、以下同じ)し、「設定画面」へのジャンプ(遷移)を実行した状態を示している。
同一のタッチ領域に別々のコマンドを指定する手法と目的は次項にて説明する。
図16(B)は、コンピュータ〔0045〕欄の記載同様に、句読点タッチ領域の80% 程度への縮小と、それに伴い生じたスペースに「設定画面専用のタッチアイコン」162を表示した状態を示している。
更に当該設定画面専用のタッチアイコン162における上列専用タッチアイコンのうち「認識中画面」を選択し、音声認識中のタッチ領域区分けの画面を呼び出した状態を示している。
図16(C)は「変換」のタッチ領域163を「記号」のタッチ領域の場所へ、ドラック&ドロップ操作で移動している状態であり、手順や結果はコンピュータの例と同様である。
図16(D)は「色調変更」のタッチ領域164を選択した場合の画面遷移を示している。
図17(A)は、後述〔0123〕欄に記載する、「タイプライターモード」での音声入力による機器への指示で、設定画面を呼び出す状況を示している。この例では、母国語入力ボタン143と、相手方の外国語入力ボタン141の両方の選択により、当該処理を実行している。
図17(B)は「※」のタッチ領域171を長押しし、タッチ領域の移動や内容変更を受け付けている状態を示している。
図17(C)は、音声入力を再度開始し、「音声太郎」と自身の名前をタッチ領域として設定する状況を示している。
その範囲指定や画面の遷移は、後述の〔0091〕欄において説明する。
図17(D)は、句読点タッチ領域の「決定」を確認している状態を示しており、「Y」 をタッチすることで決定され、「N」のタッチで「一つ戻る」が選択されたものと同義となる。
この図18において、カギ括弧『「 」』、句点「。」、読点「、」、丸括弧「( )」等は、相互にドラッグアンドドロップで表示位置の交換が可能であり、エクスクラメーションマーク「!」の表示領域を長押し後、音声入力「アットマーク」で「@」を入力できる。
また「単語登録」の表示領域を長押し後、「新規/変更?」の確認から音声入力で、漢字と読みかなをそれぞれ入力し単語の登録をする。
図17内の記号と設定画面は前項の通り交互に明滅しており、タッチしてすぐ離せば「次の一フレーズ音声入力は記号選択のコマンド」に機器側の認識が変化することになるが、一定時間以上同箇所のタッチ領域を押したままの場合は、設定画面へのジャンプコマンドとして機器側が認識するものである。
このように限られたタッチ領域に「兼用」を掛けるものである。
なお、兼用は必須ではなく、設定画面内で記号を削除(色調反転後の右フリック操作)で「設定画面へのジャンプ」の単独タッチにもカスタマイズできる。
ほか、タッチ領域の入れ替えや変更はコンピュータの〔0046〕欄に記載した手法に準じるが、キーボードは存在しないため、新しい句読点や単語の登録方法は、既存のタッチ領域の一定時間長押し色調反転後に音声入力にて行う。
手法自体は後述〔0091〕欄に記載の誤認識時の言い直し操作と同様である。
全て一からやり直す「リセット操作」の意味合いを持つ。
配置の例としては、「。」「、」「変換」「( 」『「 』「改行」「 )」『 」』「音声入力Lock」「単語」「記号」「一つ戻る」などである。
仮に音声入力したまま、機器本体のAIによる自動変換で、入力したい母国語テキストが初めから正確に完成されていたら、音声入力ボタンを離すことで、インターネット等を介して翻訳用AIに送信され、翻訳結果を待つことになる。
つまり、以降説明する各種の修正や編集の手法は「もし間違いの発見や修正したい箇所があった場合」の説明であり、現行の修正・編集のできない音声入力の携帯機器に対して、本発明はレスポンスの面で全くデメリットが存在しない。
なお、図19内のテキストにおいては、コンピュータの〔0055〕欄と同様の認識誤りが発生している状況と仮定して表示させている。
また、修正が可能になる性質上、長文の入力ケースが増えることが予想され、画面内に音声入力で積み上がったテキストが入りきらない場合、後述〔0089〕欄に記載の編集・修正画面で多用するスクロールバー同様の「画面位置選択縦バー」が自動出現する。
つまり、国旗の上下関係と句読点タッチ表示は維持されるが、今まで音声入力したテキストだけは全て消えて、やり直しの状態になる意味である。
これはリセット操作の〔0084〕欄の記載と異なり、音声認識を継続したまま「冒頭から言い直す」状況へ操作できる方が、携帯翻訳機のインターネット環境への接続の繰り返しが起きないため、機器への負荷(接続エラー)やレスポンスの面で有利になるからである。
もしもその後で音声入力ボタンを離せば、〔0078〕欄の記載と同様に国旗並列の初期画面に戻ったり、外国語ボタン141を押せば、すぐ英語から日本語に翻訳する認識前画面になる。
この場合は翻訳AIとの接続カットや、選択する外国語によってはインターネット内に存在する別の翻訳AIの選択し直し(再接続)が発生する。
また、外国語ボタン141を押した場合、設定によっては後述〔0120〕欄に記載の通り画面の天地表示は逆になる。
これは長文を入力する際に、コンピュータ同様に操作者の負担を軽減する為であり、解除の手法も〔0030〕欄の記載と同様にLockを再度タッチして離した瞬間に実行される。
句読点タッチ項目等の配置の例としては、左上から右下にかけて『「 』『 」』「。」「、」「一つ戻る」「変換」「?」「!」「初期句読点に戻る」などを設けるものである。
操作者が話す内容に迷ったり、言い淀んで意図せずこの画面に遷移しても、追加で音声入力を続ければ、図19に示す認識中画面に戻り、末尾に音声入力でのテキストが積み上がることは変わらない。
よって図20に示す編集・修正画面に遷移すると、それまで入力したテキストは自動的にフォントが拡大され、字間も空白の広いレイアウトに変化する。
そのため、図19に示した認識中画面の状態では、画面内に全テキストが収まっていても、図20に示す編集・修正画面に遷移した瞬間に、フォントと字間の拡大及び補助入力表示部203の出現により、修正テキスト入力画面201内に収まらなくなるケースは多く、縦スクロールバー202による表示画面位置の移動機能は必須の物となる。
よって当該ロックの解除(携帯翻訳機においては、編集・修正作業が完了し翻訳AIに送信する行為)を行いたい場合、コンピュータでの、段落番号〔0029〕欄に記載のマウス側に音声入力ボタンの解除権を取り戻す操作を応用し、「音声入力ボタン(母国語ボタン)を押してすぐ離す操作」だけでLock解除を可能とする。
勿論、認識前画面等で音声入力Lockタッチを行わず、終始音声入力ボタンを押したまま編集・修正画面に遷移している場合、翻訳AIへの送信は当該音声入力ボタンを「離すだけ」となる。
このようにタッチ領域数が減少する状況を、元々存在する物理ボタンで同様操作の代用とするものである。
これは更に画面サイズが限定される、後述のスマートウォッチにおいても同様である。
例文については、コンピュータに関する〔0055〕欄に記載の物と同様であり、以下コンピュータにおいても、音声入力ボタンを離さないまま、キーボードを使用せずに画面タッチだけで、今後説明する同様の操作は全て可能である。
本実施形態で音声入力した例文『音声入浴でも「修正」や「言い直し」などの編集が可能です』における「入浴」を「入力」に修正する場合を例に説明する。
図21に示す様に、先ず、「入浴」を「入力」に変更する場合(即ち、誤認識の修正)には、図21(A)の認識中画面において、音声入力無音状態とすることにより、図21(B)に示す編集・修正画面を表示させる。
そして操作者は、この編集・修正画面において、まず修正したい誤フレーズの起点211と終点212の字間を指で画面タッチして選択する。
これにより機器側は当該起点と終点のテキストを入れ替えたいフレーズの「目的位置」として一時記憶する。
この瞬間、表音文字が明確な言語(日本語など)は、指定範囲全てがひらかなに戻る。
操作者が誤認識なのか、同音異義語だったのかの視認を改めて行えるようにする為である。
「一つ戻る」の選択領域の画面タッチは誤った句読点等を消すほか、始点・終点の位置の画面タッチの操作を誤った場合にも使用する。
そして、そのまま新たな音声入力を加えると、機器側は「上書きしたいフレーズ」として一時記憶する。
この新たな音声入力のテキストが画面内に積み上がる際は、図21(C)の修正テキスト入力画面201を表示させ、今まで入力した全文が一時的に画面から消え、言い直している部分のテキストしか画面に出ない処理を実行する。
しかしながら単独フレーズで「にゅうりょく」とだけ話しても、機器側におけるAIでの認識は文章の前後から単語を推測するため、変換精度が低下してしまう。
よって、操作者は、例えば「こんぴゅーたににゅうりょくする」のように、目的である「入力」のテキストが出やすい内容を予測して、音声を発する。
その後、入力テキスト部分の字間の起点211・終点212を画面タッチして選択することで、「上書きしたいフレーズの内容指定」が確定し、図21(D)に示す様に、当初の「入れ替えたい目的位置のフレーズ部分」に入れ替わることで修正結果を得ることができる。
目的単語を得るために、連想して音声入力を行ったとしても、同音異義語が選択されてしまったり、指タッチでの位置指定を誤る可能性はあるため、「変換」と「一つ戻る」タッチ領域は言い直しテキスト視認の障害になり難い、右下の空白部に設定される。
なお、追加言い直しの音声入力のうち範囲指定外の「こんぴゅーたに」及び「する」の部分テキストは「入力」を得る為の一時的な物であり結果的には無視しデータは廃棄するものである。
例文「Please tell me how to operate this machine.(この機械の操作方法を教えてください、の意味)」について、機器側は「Please tell me how to open it with this machine.」(この機械で開く方法を教えてください、の意味)と、一部分だけ誤認識されてしまったとする。
これによって、最初に位置指定された「誤ったフレーズ」と2回目の音声入力の「得たいフレーズ」が入れ替わり目的を達する処理がなされる。
その際「など」の起点211・終点212の指定は前述〔0091〕欄に記載の修正したい目的位置の通りである。
そして変更対象を指定した後に、「Cボタン142」(画面内に変換タッチを設定している場合は「変換」タッチ)を押して選択すると、「チェンジ:change若しくはコンバージョン:conversion」(変換の意味)の処理を実行する。
編集・修正画面において、修正範囲指定後のCボタン142等の選択は、前記音声入力処理時等におけるクリアやキャンセルの処理ではなく、「変換」の処理を実行するようにプログラムで設定する。
これらは、例えば、コンピュータでの文章入力において、入力済のテキストをマウスで範囲指定し色調を反転させてから、変換キーを押したのと同じ処理である。
「Cボタン142」を独立設定するのは、使用頻度が高い携帯翻訳専用機ならではの機能であり、コンピュータやスマートフォンの場合は「変換」はキーボードや画面のタッチ領域の一つとなる。
再掲になるが、基本的に変換は起点・終点の位置指定後に、まず選択領域のテキストが「全てひらかな化」される。
次の変換タッチ(若しくはCボタンの選択)で「最初にAIが選択した以外の次の漢字候補を数例」→「全カタカナ」などが変換されて行く。
例えば、(目的文)「この件について誤って○○○を変換した。」と入力したい場合に、機器側から「この件について謝って○○○を返還した。」と同音異義語に認識された場合、起点・終点の選択で「謝って」を起点・終点操作で選択すると、「あやまって」の平仮名に変換される。
そしてこれを操作者は確認し、変換タッチ(若しくはCボタン)を複数回押して、「あやまって」を「過って」→「誤まって」→「誤って」と変換し、目的とするフレーズが出たら変換タッチ(若しくはCボタン)を離さず一定時間長押しすることで確定する。
そして次の「返還」の誤認識部の再変換の為の起点タッチへと、前記同様の操作を続ける。
なお、変換決定コマンドとしてのCボタンの長押しは〔0084〕欄の記載における「リセットして初期画面に戻る」とは別のプログラムであり、変換候補選択中は適用されない。
仮に変換タッチを押しているうちに、目的とする変換候補が行き過ぎてしまった場合には、「一つ戻る」領域を画面タッチすることで、一つ前の候補に戻ることができる。
その際は「一つ戻る」タッチ直後、戻った目的の変換候補が表示されたあと、機器側が(Y/N)の選択肢を表示しYESで決定する。
Noの場合は同音異義語の変換タッチ(若しくはCボタン)を再継続できる。
後述〔0102〕から〔0107〕欄に記載する「後から別の言い方で、付け加えてから移動・削除」の処理を実行した方が効率的だからである。
現在のオンラインAI翻訳において、翻訳対象から外して「母国語の原音表現」を外国人側に伝達する場合、この変換候補は必要になる。
なおAIは日々進化しており、将来的には翻訳のルールが変わる可能性はある。
例文を示すと「この曲名は日本語ではさくらんぼと発音します。意味は果物のさくらんぼです。」を、現状のAI翻訳を使用して英語に翻訳した場合には、「This song name is pronounced cherry in Japanese. The meaningis fruit cherries.」となり、また中国語に翻訳した場合には、「▲這▼个曲名用日▲語友▼音▲為▼櫻桃。意思是水果的櫻桃。」となり、意図を伝達できない。
そこで、入力側の日本文に工夫を加え、一回目のさくらんぼの入力時に変換タッチを繰り返し、ダブルクォーテーション内のローマ字の"Sakuranbo"を選択して「この曲名は日本語では"Sakuranbo"と発音します。意味は果物のさくらんぼです。」と入力して、AI翻訳に送信する。
これにより英語では「This song is pronounced "Sakuranbo" in Japanese. The meaning is fruit cherries.」となり、また中国語では「▲這▼个曲名用日▲語友▼音▲為▼"Sakuranbo"。意思是水果的櫻桃。」となり、正確な翻訳結果を得ることができる。
そしてその後に、現状のインターネット内の一般的翻訳ソフトの音声出力マイクアイコン等をクリックしても、日本語の発音に近い「さくらんぼ」は聞き取ることができ、目的を達する。
これは、自分の名前を紹介する場合にも、AI側に勝手に翻訳されてしまうことを防ぐ変換手法となる。
これは日常的にあまり使わない、変換候補の下位の同音異義語からなる文章内容を作成したい時に使用する手法である。
例文「教会からの宣託を受けました。」 これが目的文である。
誤認識「教会からの選抜を受けました」 「宣託」が周囲環境や機器側の誤認識で「選抜」と認識されてしまったものと仮定する。
前記〔0091〕欄に記載の手法により、「選抜」→「宣託」に言い直し操作を掛けたとする。
様々な手法(表現)で言い直しても日常使用される機会が少ない「宣託」が得られない、次々と「選択」「洗濯」「洗たく」「せんたく」「センタク」「"Sentaku"」などしか候補が出現しない場合は手詰まりが発生してしまう。
よって、変換タッチ(若しくはCボタン)を押したままの状態で「ゆっくり・はっきり一単語だけ」の発声で「せ・ん・た・く」と音声入力を開始し、「く」の字の発声と同時に変換タッチ(若しくはCボタン)を離すと、「せんたく」のひらかなが色調反転して、変換待ちの状態でテキスト化される。
通常のキーボード入力で日本語を入力した状態と同様に、テキスト入力直後に最初から変換キーが押される状況を待っている状態(色調反転若しくは波下線の状態のテキスト)と同じである。
この場合、携帯翻訳機などであっても通常のコンピュータキーボード入力同様に変換候補の下位まで延々と候補が出現し、これで目的の「宣託」を得ることができる。
なお、通常の再変換操作は編集・修正画面内において行われるが、この「ゆっくり・はっきり一単語だけ」の入力時については、音声認識画面中において行う操作なので、変換タッチ(若しくはCボタン142)も、この画面内のままで直接受け付ける。
もし「ひらかなに戻すだけの」操作目的だった場合、編集・修正画面でひらかなに戻したあと、別の修正箇所移行や追加音声入力をした時と同様に、「ひらかなのまま」当該テキストは残されて、別の操作(タッチ)や追加音声入力のテキスト表示に移行するだけであり、全ひらかな化への応用、つまり初期設定では認識中画面には存在しない「無変換タッチ」の代用も兼ねる操作法となる。
但し、Cボタンと変換タッチが同時に押されることは矛盾操作にも繋がるため、Cボタンが別途存在する機器について、変換タッチが認識中画面側に追加設定で存在する場合は、Cボタンに「変換」のコマンド権は与えられず、クリア・キャンセル専用のコマンドボタンとなるようプログラムする。
しかし「長押し全クリア」が実行されるまでの約2秒の間に新たな音声入力を機器側が感知した場合は、全クリアのコマンド認識はキャンセルされ、「ゆっくり・はっきり一単語」のひらかなテキスト化の認識側が優先される。
図20に示した編集・修正画面において、表示領域201に表示されたテキストの一点だけ字間を画面タッチにより指定して音声入力を追加で開始すると「フレーズの挿入」処理を実行するように構成する。
図22(A)に示す様に、例えば「この新型機の特徴は言い直しや再変換ができる所です。」と一旦音声入力したテキストに、後から「及び各種の編集」のテキストを、入力済みである「再変換」の後の位置に追加したい場合には、音声入力ボタンをオンにした状態で一定時間の無音状態を維持して、図22(B)に示したような編集・修正画面を表示させる。
そして表示領域201に表示されたテキストにおいて、「再変換」と「ができる」の字間221を、指での一点タッチによって指定した後に、図22(C)に示す様に、追加するテキスト「及び各種の編集」を発音して音声入力し、この修正テキスト入力画面において、音声入力でテキスト化された「及び各種の編集」における入力始点211と終点212を指定する。
これにより、図22(D)に示す様に、当該「及び各種の編集」のテキストが、前記画面タッチによって指定した位置(「再変換」と「ができる」の字間)に挿入され、「この新型機の特徴は言い直しや再変換及び各種の編集ができる所です。」となり目的文を得ることができる。
例文(目的文)「こんにちは、商品棚の果物はとても美味しそうです。飾ってあるりんごとバナナを、各一個ずつ買いたいです。私の所持金は見ての通りですが、足りるでしょうか?」
機器の認識テキスト「今日は、商品棚の果物はとても美味しそうです。飾ってあるりんごとバナナを、各一個ずつ買いたいです。私の所持金は見ての通りですが、タイルでしょうか」 と2箇所誤っている箇所が生じたと仮定する。
1箇所目「こんにちは」が→「今日は」に変換されている、翻訳結果は「Hello」→「Today」になってしまう。
2箇所目「足りる」が→「タイル」に誤認識。
※これらは実際に現行の音声入力携帯翻訳機での誤認例を参考にしている。
また、更に操作者は当初の音声入力の最中に「レモンも一緒に購入したい」と考えたものと仮定する。
但し「レモン」と単独で発声しても、りんご"と"バナナのように、間に繋ぐ"と"が得れない、完成目的文である「りんごとバナナとレモン」を得るためには、追加の音声入力で得たい目的テキストは「とレモン」になる。
こうした送りかなや助動詞と融合した名詞は、単独の音声入力ではAIは生成できない。
例えば「オレンジとレモンジュース」のように、AI側が推測できる追加発声から「とレモン」を切り取り・貼り付けする必要があると言うことである。
この場合、操作者は「こんにちは(誤今日は)、商品棚の果物はとても美味しそうです。飾ってあるりんごとバナナを、各一個ずつ買いたいです私の所持金は見ての通りですが、足りる(誤タイル)でしょうか」の後に続けて「オレンジとレモンジュース」との音声入力を続行する。
以後通常の再変換・言い直しのほか、移動・削除を伴う編集・修正の手順を説明する。
誤りの1箇所目は2点(〔0091〕欄の記載における始点・終点)指定で全ひらかな化で「こんにちは」に戻し目的を達する、再変換や言い直しの待機状態で「こんにちは」は反転色調になっているが、誤り2箇所目の「タイル」の起点をタッチした時点で〔0091〕欄の記載内の定義の通りそれは解除される。
誤り2箇所目は2点指定後の追加音声入力で、「足りる」の単語発声では同じ機器なので再度「タイル」と再誤認識される可能性が高いため、「じゅうぶんにたりる」と連想入力し〔0091〕欄に記載の通り「足りる」部分だけを起点・終点指定で決定して、ここまでは目的を達する。
この状態になると、色調が反転し操作者は移動・削除が可能になった文字列と判別できる。
なお、たまたま一単語だけの移動目的での終点タッチの後に〔0091〕欄記載の定義により、全てひらかなに一旦変化しても終点タッチを離さず一定時間を経過し「移動・削除可能状態」になると、最初にAIが選択していた変換候補に戻る。
また、例文とは異なるケースだが、長文(段落全てなど)を起点・終点の位置指定の対象にした場合、操作当初から移動・削除の範囲指定と認識され、一定時間を待たず指定範囲内の全テキストの色調は反転する。
移動・削除目的だけの範囲認識であり、その後の変換タッチには反応しない。
これはコンピュータおいても、広範囲(一行程度以上)を範囲指定してから変換キーを押しても反応しないのと同義で、AIが変換候補を生成できないからである。
コンピュータにおける、マウスで範囲指定後にその部分を移動して置くのと同様の操作になる。
または、現状のタブレット端末などにおける「スワイプ操作」と同様の操作イメージになる。
削除についての操作法は〔0105〕欄に記載の通り、終点の位置指定をして指を離さず、移動・削除の受付を示す色調反転表示に遷移させるまでは同様である。
その後、当該部分を素早く大きく「右フリック操作」を行うことにより、選択フレーズを放り投げるイメージ通りに、選択したテキストの「削除」となり、そのテキストの空白部は詰める処理を行う。
しかしながら、この手法の場合、編集・修正画面に2回の画面遷移が生じることになる。
また、音声入力それ自体も、主文入力と追加入力の「オレンジとレモンジュース」について、編集・修正画面へ遷移してから2回に分けて発声することになる。
前記〔0103〕欄での説明の通り続行して音声入力することで、画面遷移も発声も一まとめにできる為、結果的には〔0103〕欄以降に記載の手法の方が省力化できる。
また、現在市販されている音声入力携帯翻訳機は全て、言い直し・再変換・編集・修正及び加除移動は不可能であり、間違いを発見したら、音声入力を最初から行わなければならない。
本発明における各手法で入力最中に誤認識や同音異議語を操作者が発見しても、「後から幾らでも修正できること」は操作者の精神的負担も軽減できるもので、一気に最後まで言い切ってしまう方が、都度言い直しや編集・修正画面への遷移を掛けるより、結果的に早いものとなる。
手順(A):「今日は」を起点・終点位置指定し、全ひらかな化(変換タッチは押さない)。
手順(B):「タイル」を起点・終点位置指定し、更に音声入力追加「じゅうぶんにたりる」、から得られた「足りる」部分だけを起点・終点指定。
「る」の終点タッチと同時にタイルとの入れ替わりが起こる、なお起点・終点の位置指定を誤った場合は「一つ戻る」タッチで操作履歴が一つ戻る。
手順(C):「とレモン」の起点・終点を位置指定し、終点位置指定の指を離さず、移動可能状態(色調反転)を待つ。
手順(D):バナナの「ナ」と次の「を」の間に、手順(C)の指を離さないまま移動する。
手順(E):追加音声入力で残された「オレンジジュース」を起点・終点指定し、終点の指を離さず色調反転を待ち、反転後は右フリック操作で削除する。
手順(F):外枠アイコン部から「?」を引っ張り、文末に移動させる。
これを現状のインターネット内のAI翻訳で逆転翻訳(〔0118〕欄参照)をかけた場合には、「こんにちは、棚の果物はとても美味しいです。飾られたリンゴ1個、バナナ1個、レモン1個を買いたいです。私のお金はあなたが見るとおりです、それで十分ですか?」との正確な翻訳結果が得られる。
インターネット内の翻訳AIに送信されてしまった後では、操作者の手を離れた「外国語テキスト」に変化するからである。
よって、本文の冒頭ではなく中間位置に「英字・数字等が組み合わさった特殊な固有名詞」が必要になった場合の対応手法を説明する。
例えばコンピュータの英字優先・数字優先について〔0032〕欄で説明した、「A5版」と言う固有名詞を全文の「中間部」に入れる場合などである。
例文(目的文)「現場で使用するので、A5版の縦書きで提出すること。」
このような場合、コンピュータなどであれば、前記の「離すことができない」制約が無いので「現場で使用するので、」の音声入力後に一旦ボタンを離して、そこまでのテキストを固定してから音声入力を再開すれば、「A」と「5」を冒頭にできるので、入力操作上問題が無い。
しかし翻訳機だけは先の制約の都合上それはできない為、「初期句読点に戻る」との特殊なタッチ領域を設定することで課題を解決する。
音声入力が「現場で使用するので、」まで進んだ時点で、図20の編集・修正画面内の「初期句読点に戻る」の領域をタッチして図24の初期句読点画面に遷移させる。
これにより本文の音声入力の途中であっても、通常は認識前画面に存在する「本文冒頭の優先認識」を呼び出せるようになり、特殊な固有名詞(英字・数字の組み合わされた施設名やアーチスト名)などに対応ができるようになる。
なお、これは頻繁に使う機能では無いので、初期値(デフォルト)の句読点タッチ領域には割り振られず、〔0046〕欄等に記載の手法によりカスタマイズで認識中画面や編集・修正画面内に選択できるものとする。
配置の例としては、「冒頭英字/Caps Lock241」「冒頭数字/全角・半角242」「冒頭無変換/全ひらかな243」「一つ戻る」「冒頭カタカナ/全角・半角244」「句読点通常に戻る245」「単語登録」などである。
英語で音声入力する場合、当然英字優先やカタカナ優先の認識タッチ領域は必要が無い。
その代わりに「Caps Lock」で大文字・小文字などの指定領域が文法上必要になる場合がある。
また、中国語の句読点は「。」「、」と「,(カンマ)」の3種が存在する。
そうした外国語の各種パターンの例について、英語での音声入力の場合における認識前画面は、図25(A)に示す様に「Number priority(数字優先)」「English abbreviation priority(英略字優先)」「Caps Lock」「$」「(」「"」「symbol(記号)」「Settings screen(設定画面)」(この2つは同一領域に混在)「@」「Voice input Lock」「Registered words(登録単語)」「※」「Go back one step(一作業戻る)」からなる補助入力表示部とすることができ、また認識中画面は、図25(B)に示す様に「.」「,」「:(コロン)」「(」「"」「new line(改行)」「)」「"」「Voice input Lock」「Registered words」「symbol」「Go back one step」からなる補助入力表示部とすることができ、更に編集・修正画面においては図25(C)に示す様に「"」「"」「.」「,」「Go back one step」「change若しくはconversion」「?」「!」「-(ハイフン)」からなる補助入力表示部とすることができる。
なお、英略字優先の定義は当該タッチの後に、例えば「United Nations」(国際連合の意味)と音声入力した場合、自動的にダブルクォーテーションで囲まれた「"UN"」と言う英字の頭文字に略された固有名詞として認識される確率を上げるプログラムである。
同様に中国語での音声入力の場合における認識前画面は、図25(D)に示す様に「号▲碼優▼先(数字優先)」「字母▲優▼先(英字優先)」「#」「"」「(」「《」「▲簽▼收(記号)」「▲設▼定画面」(この2つは同一領域に混在)「@」「▲語▼音▲輸▼入固定(音声入力Lock)」「注册▲詞▼(登録単語)」「※」「返回一▲項▼任▲務▼(一作業戻る)」からなる補助入力表示部とすることができ、また認識中画面は、図25(E)に示す様に「。」「,」「、」「"」「(」「《」「"」「)」「》」「注册▲詞▼(登録単語)」「※」「▲語▼音▲輸▼入固定(音声入力Lock)」からなる補助入力表示部とすることができ、更に編集・修正画面においては図25(F)に示す様に「。」「,」「、」「(」「返回一▲項▼任▲務▼」「)」「?」「▲轉換▼次数(変換)」「:」からなる補助入力表示部とすることができる。
なお外国語による音声入力の事例は、英語と中国語のほかにも、選択言語に応じて表示される句読点や説明文は変えることができる。
例えばアラビア語の場合には、「?」マークは左右逆、「、」は上下逆などとなり、フランス語の一操作戻るは「Reculer d'une operation」、冒頭数字は「Priorite aux numeros」などが初期設定される。
なお全て、コンピュータに関する〔0046〕欄の記載と同様に、各半透明句読点タッチはカスタマイズが可能である為、あくまで一例である。
何故ならば、日本語などの漢字圏より必要性は乏しいものの、英語でも「Homonyms:ホモニム」と呼ばれる同音異議語が存在するからである。
例えば、「ad(広告)」と「add(加える)」や、「ball(玉)」と「bawl(怒鳴る)」などである。
現在のAIでは、文章の前後から何れの語句かを自動選択しているが、一旦誤ってAI側に選ばれてしまうと、短いフレーズの言い直しでは無意味なので再変換指示機能は携帯翻訳機では必須となる。
特に日本語と他言語の間の翻訳で、主語と目的語の順番が違う為、翻訳においてはその影響が大きくなる。
本発明における手法では任意に句読点、特に「。」や「.(ピリオド)」が入力できると言うことであり、文節の境目が確定するので従来の携帯翻訳機と比較して、長文の翻訳結果が正確になる優位性を持っている。
アドリブでの直接対応の翻訳を主目的とせず、プレゼンテーションの内容を事前に作り溜めしておくのが主目的となる。
またプレゼンテーションの途中で、相手からの質疑応答などのアドリブ翻訳を行っても、保存BOXを再度呼び出し、プレゼンテーション再開の場合、アドリブ翻訳前の途中経過の位置が表示されるようにプログラムし、全体の流れが遮断されず、外国人向けの商品のPRや、スポーツインストラクターの外国人向けレッスンなどに有効である。
この為、順序付けたテキストの保存と、当該保存したテキストの出力処理を実行すると共に、当該実行中における音声入力翻訳も実行する処理を行うように構成する。
機器への操作法としては、〔0078〕欄に記載の初期画面において、国旗外の空白部を右フリックすると、翻訳履歴の修正画面(プレゼンテーションのグループや順番付与の作業画面)に移行する。
例えば日本語から英語に翻訳した結果テキストを逆利用して、日本語に再翻訳させ検証を行う処理(以下「逆転翻訳」とする)を実行する。
これらより誤翻訳が生じていないか確認した上で、それを前項のプレゼンテーションの内容として記録出来るので、完成品(即ち翻訳文)の精度が向上する。
機器の操作法としては、翻訳結果を再再生(マイクアイコンをタッチし、外国語を機器側に再発声させる)の最中に母国語ボタンを押すと、翻訳AIに外国語テキストを送り返すコマンドとする。
本実施手法で相手方(外国人)への直接翻訳においては、編集・修正作業を完了し「間違いの無い母国語」をAI翻訳に送信することが主目的であり、それ以降再編集をする状況はない。
しかしながら〔0117〕欄に記載したプレゼンテーションの作成作業の場合は、前項における翻訳結果の検証作業により、翻訳AIを経由したうえで、より精度を高めた完成品を作成する余地も機能的に追加されることになる。
また、現在の翻訳AIの精度は向上しており、長文でない限りは不適切な部分が複数存在することは稀であり、「気になる一か所」だけを修正したい状況が大半になると推測される。
プレゼンテーションを再作成する場合は、操作者は修正したい部分について「同じ意味の別の言い方」を思い浮かべて、「初めから音声入力をやり直す」ことが一般的である。
この作業を省力化する為、前項の逆転翻訳にて日本語テキストに再翻訳し直されたテキストを表示している画面には、「再編集」のタッチ領域を設定する。
「再編集」のタッチ領域を選択した場合、AI翻訳に送信前の当初に音声入力した母国語テキスト内容の編集・修正画面が、音声入力Lock状態で再現される。
これにより修正したい箇所のみ、再編集作業にすぐ取り掛かれるため、特に連続でプレゼンテーション内容を作成する際に大幅な省力化が図れる。
翻訳機は一対一の応対が主となるため、実使用の場面においては並列で並ぶ状況よりも対面で並ぶ状況の方が圧倒的に多い。
これは、公共機関の窓口や国際線の空港カウンターなどにおいても同様である。
外国人側が翻訳結果のテキストを見たい時や、自分で句読点タッチ操作をしたい時は、都度機器をひっくり返すのは手間であり、最初から翻訳結果の表示や外国語入力ボタンを押している最中などでは、画面表示が天地逆に設定できる仕様が選択できると、相手側への視認性に利するものである。
よって、設定画面において表示内容を天地逆転させる処理を実行する指示部分と、これを実行するプログラムを実装することが望ましい。
なお天地逆転の最中は、操作者(所有者側)が内容(翻訳結果)を再確認したい場合もあり得るため、一時的に天地逆転をキャンセルし、正位置に戻すタッチアイコンが画面内に出現するようにする。
公知技術としてカメラ付き携帯翻訳機は既に存在するが、母国語と外国語がセットでテキスト化される結果を、目の前に居る外国人へのアドリブ翻訳として使用せず、不特定多数へのSNS発信用に、例えば英語や中国語の翻訳結果も日本語本文に自動でセット出力されるため、インバウンド向けの店舗のPR 広告用SNS等の原文作成の手段として利用することである。
特にカメラ付き当該機であれば直接SNSの発信も可能で、カメラの搭載機能が存在しない翻訳機でも、本文のみ自宅のコンピュータやスマートフォンに転送すれば、既存SNS発信機器に母国語と翻訳した外国語がセットになった文章を添付することが、翻訳機側に特段の機能を搭載しなくても可能になる。
前項の通り、コンピュータ等と当該携帯翻訳機を接続することにより、音声入力で結果を得ることが難しいテキストの課題解決ができる。
例えば架空の病名であるが「先天性鬱滞性脂肪織炎性II型」との病名があったとすると、修正・編集・移動等を繰り返しても、キーボード無しで音声入力だけにより、この結果を得るのは不可能では無いものの非常に手間が掛かる。
そこで、先にキーボードで入力した難解な単語を逆にコンピュータ側から携帯翻訳専用機側の単語辞書(保存BOX等)に送信、保存しておけば、翻訳機句読点「単語」を画面タッチし、音声入力において、「先天性…」からの入力だけで予測候補を出力できる為に、超難解ワードの音声入力機器でのテキスト出力目的を達成することができる。
これは翻訳機として運用せず、携帯翻訳機やスマートフォンの「音声認識機能」だけを取り出して、音声入力に対応した機能が無いコンピュータに後付け音声入力マイクとしての能力を付与させる意味である。
機器の操作法としては、母国語と外国語ボタンを同時に長押しすることで、当該モードの開始として自動的に機器側に判別される。
その場合、タッチ句読点は母国語ベースで表示される。
基本的に連続した認識となり、次項など一部の例外を除き、Cボタンの長押しでリセットしない限り、当該モードは継続される。
スマートフォンを音声入力機器に代用する方法として、公知技術のリモートマウス(登録商標)が存在するが、これは基本的に「言いっ放し」であり、修正・編集はコンピュータ画面とキーボードで行うことを大前提にしている。
本発明では、音声入力の作業時点で、誤認識及び同音異義語の修正、書体の編集などが事前に可能であり、ある程度整った「完成したテキスト」をコンピュータに送信することが可能であり、特に出先で作業を行う場合(コンピュータと接続していない状況)で優位性がある。
作成したテキストは、有線又は無線、或いはインターネットなどのネットワークを介して、自宅のコンピュータにデータを送信し更に校正(頭出しの位置調整やフォントサイズ変更など)を掛けた上で、プリントアウトなどをして完成品を得られる。
なお、タイプライターモードでは、〔0112〕欄で説明した音声入力ボタンを離すこと(若しくはLockタッチを解除すること)による、「翻訳AIへの送信」に伴う制約が存在しなくなる。
よって、一旦音声入力ボタンを離して、テキストの固定後に再度音声入力を掛けることが可能になるので〔0112〕欄で説明した「句読点初期に戻る」の手法や〔0102〕欄で説明した「とレモン」を得る方法などにおいても、一度音声入力を中断しテキスト固定後に、各優先タッチ後音声入力を再開するコンピュータ同様の省力化の手法を用いることが一般的と思われる。
長文の音声入力の場合には、「比較的ゆっくりはっきり単語で話す指示キーワード」と長文内容が重なることは稀なので、機器側は無視して単純に長文はテキスト化される。
もし本体機器側に指示を出すつもりで音声を発し、それが誤認識されてしまった場合は、母国語・外国語ボタン同時押しを再度行ったまま、一定時間無音状態を関知すると、修正・編集画面に移行するのは通常の片方のボタンを押したままにする〔0091〕欄に記載した編集・修正の一定時間無音による遷移と同じである。
このプレゼンテーションの指定位置へのジャンプ機能があると、外国人側の質問内容やタイプ(スポーツの場合は癖など)によって、プレゼンテーションの内容を分派させることが可能になる。
なお、この設定画面へのジャンプ認識や、プレゼンテーションの位置指定ジャンプのコマンド認識後は、当該のプレゼンテーションの再再生待ちの画面に移行し目的を達すると共に、タイプライターモード自体も自動解除される。
ある程度の年齢に達してから、途中で聾話(耳が聞こえない障がい、事故・脳卒中・薬害などで生じる)になった場合、後から手話を習得するのは困難なため、現在は筆談を仲介する要約筆記ボランティアに依存することになる。
しかし本「タイプライターモード」を使用すれば、二人同時に話さないルールだけを守れば、延々と会話が文字化されるため、この障がいを持つ方々への支援ツールとしても有効である。
かかる翻訳機においては、基本的な画面分割数及び句読点タッチ等の配列など、全て携帯翻訳機の認識前画面(〔0080〕欄参照)や認識中画面(〔0085〕欄参照)、及び編集・修正画面(〔0088〕欄参照)の各図とデフォルト(初期値)は同一である。
句読点タッチの内容を、前記〔0046〕欄に記載の手法でカスタマイズしたり、その結果として〔0112〕欄に記載の通り「句読点初期に戻る」追加画面が発生することも同様である。
しかしながら、スマートフォンには専用機と異なり「3つの物理的ボタン」が存在しない為、句読点タッチ領域の下段に各ボタンに相当するタッチ領域を追加し、結果的には「初期値は15分割」になる。
音声入力の最中に編集・修正画面等に遷移しても、ボタン相当の3箇所のタッチ領域は全く変化しない。
つまり、常時母国語ボタン・外国語ボタン・その中間にCボタンが存在する仮想状態が維持され、操作法に違いが無いようにすることで、両方の機器を所有したり、専用機からスマートフォンのダウンロード版に翻訳機器を切り替えた時にも、操作法を覚え直す必要がないようにする為でもある。
変換タッチ(若しくはCボタン)に限らず、言い始める前に、句読点のカッコ類の起点タッチ"("や"「"を押ししたままにして音声入力を行うと、カッコの起点タッチを離した瞬間にカッコの終点(閉じ側)が自動的に付与されるものである。
これによりタッチ数全体を減らす省力化が可能になる。
また、そのようなカッコ閉じと、変換をタッチしながら音声入力などの機器側のひらかな化判定は重複して行うこともできる。
以下、例文及び操作説明を示す。
前提条件として、「さくらんぼ」を無指定で音声入力した場合、当該機器側はカタカナの「サクランボ」を選択してしまう状況と仮定する。
以下、図26について説明する。
なお、図26におけるA行の項目は「画面のタッチ」を説明している。
B行の項目は音声入力(操作者の発声)そのものを示している。
C行の項目は生成される(目的の)テキストを示している。
そしてこの図26における横軸は時系列(タイミング)を示している。
よって、この図26では、A行の操作とB行の発音を図面の左から右に時系列で行う事により、C行のテキストを作成することができる。
本発明におけるキーボードに依存しない各種の編集・修正は、携帯翻訳機に限定するものではなく、コンピュータにおいても全て可能である。
但し、コンピュータでは携帯翻訳機における〔0112〕欄にて説明した制約が無いことは、前記〔0123〕欄に記載のタイプライターモードと同様であり、小フォント且つ字間が狭いままでも位置指定ができるマウスが存在するので、特殊な操作法を実施せず、殆どの場合一旦音声入力を中断し、キーボードで修正操作を行うのが最も現実的であり手間も掛からない。
但し、「長文を挿入したい」場合には、音声入力での追加処理に優位性がある。
更に、作成中のメール等を一時保存すれば、当然様式は、メールのアプリケーションの様式(小フォント・字間も狭い物)で記録される。
そうした小フォントの様式に、後から音声入力にて上書きする場合、コンピュータの場合、マウスで範囲指定(色調反転)させた物に音声入力を掛けた場合は「上書き」、マウスで一点指定の後で音声入力を掛けた場合は「挿入」であり、前記〔0042〕欄や〔0052〕欄に記載の定義のとおりキーボードでの修正や挿入操作と何ら違いはない。
但し、前項のコンピュータの場合と異なり、メールのアプリケーションや企業のお問い合わせページに一旦固定したり、メールを一時保存して様式が変化したテキストへの修正は、当該機にはマウスは存在しない為、スマートフォンの基本操作である、ピンチイン/ピンチアウトの操作で相当拡大しないと、指での範囲指定タッチは、視認性や機器側での位置特定の認識上できない。
具体的な操作法として、インターネット内の企業ホームページの「お問い合わせ欄」にスマートフォンで入力して行く例として説明する。
翻訳の必要は無いので、〔0123〕欄に記載のタイプライターモードで入力を開始していく。
図27(A)のとおり、@(アッドマーク)などは当該タッチ句読点や「記号」タッチ後に、音声入力で「あっどまーく」と入力することでも得られる。
図27(B)のとおり、メールアドレスは英字優先やCapsLockを使用し大文字・小文字に対応するが、都度の入力は煩雑なので、〔0122〕欄に記載の手法で保存Boxに登録しておいたり、「単語登録」へ事前に入れておくと省力化できる。
図27(C)のとおり、上述の手法を駆使して、可能な限り編集・修正画面の内に一時的な校正を終えて、入力したい内容を積み上げていく。
図27(D)のとおり、一旦入力対象のホームページ側のレイアウトになったテキストは、ピンチイン/アウトの操作にてスマートフォン画面内で相当拡大し、指で位置指定のタッチを行う。
図27(E)のとおり、音声入力ボタンを押していない状態(音声入力待ちでは無く、タッチ句読点も出現しない状態)での指でのタッチは、マウスの操作と同義であり、範囲指定(色調反転し再入力や再変換待ち)であり、例においては「始めまして」を範囲指定する。
この場合〔0091〕欄に記載の起点・終点指定後に「一旦ひらがなに戻る」定義は適用されない。
一度音声入力を完了し固定化され、既に企業ホームページ側の様式(ソフトウェア側など)に変化しているからであり、もう一度音声入力をやり直し再度機器側に誤認識されてしまう「始めまして」を、固定化する前に仮想Cボタンや変換タッチで「はじめまして」に変化させてから再固定することになる。
図27(F)のとおり、一点指定(挿入位置指定)後に、音声入力で新しいフレーズを挿入する。
仮の例であるが、「対処法」と「をご教示」の間に、「若しくは予防方法」などのテキストを新規に音声入力したいとする。
この場合は「新規音声入力」なので、図27(E)とは異なり〔0091〕欄に記載のとおり、「若しくは予防方法」部分は編集・修正画面に遷移する余地を持っている。
このように、キーボードが存在しない機器でも、長文入力の際は「仮完成後、全文を通して校正作業」のうえで完成文を作成していくことができる。
Cボタン(若しくは変換タッチ)押したままで、音声入力を一文節のみ、ゆっくり・はっきり話し、Cボタン(若しくは変換タッチ)を離して、「再変換前提の全ひらかな表記」は〔0098〕欄にて説明したところであるが、設定画面における英字・数字・カタカナなどの各優先認識タッチ領域に、「長押し中の音声認識は書体を整える役割のタッチ」を別途設定するものである。
例えば、コンピュータにおいて太字や下線のアイコンをマウスでクリックしてから、キーボードでテキスト入力を開始する状況と同義である。
さらにタッチを離す行為が書式変更の解除操作も兼ねる為、マウスが存在するコンピュータ以上に素早く断続が可能である。
なお、もしこの特殊書体の入力中に誤認識等が発生した場合、一旦音声入力ボタンを離して固定した誤ったテキストに対し、言い直しや再変換操作しても特殊書体は維持される。
書体修正したい位置指定操作終了の時点で、機器側がその書体を一時記録していると言うことであり、これも現状のコンピュータでのキーボード入力時と同様である。
以下、例文及び操作説明を示す。
事前に図28(A)~(D)に示す様に、数字優先(押したままの音声認識)にアンダーバー(下線)を数種類、例:「全て(後で選択)」「一本下線」「二重下線」「点下線」「波下線」「見え消し線」を設定する。
同様に、図29(A)~(C)に示す様に、英字優先(押したままの音声認識)に書体を数種類、例:「全て(後で選択)」「太字」「斜体文字」「中抜文字」「ルビ」などを設定する。
例文(目的書式) 「音声入力装置でも 書体(※太字) が変えられます。」において「音声入力装置」にアンダーライン、「書体」を太字にする場合は、以下の様に操作する(図30(A)参照)。
操作法、「おんせいにゅうりょくそうち」の発声中は、数字優先タッチを押したままにする。
「装置」の発音における「ち」の発声と同時に数字優先タッチを離した瞬間の書体の選択画面への一時ジャンプした時の画面は図28(D)に示す。
次に、「しょたい」の発声中は、英字優先タッチを押したままにする。
「体の:い」の発声と同時に数字優先タッチを離した瞬間の書体の選択画面への一時ジャンプした時の画面は図29(C)に示す。
図28(A)は「書体」のタッチ領域を選択した状態を示している。
図28(B)は、これから書体を設定する「優先認識」のタッチ領域を事前設定している状況を示している。
図28(C)は、選択できる書体等の選択肢を示している。
なお、タッチを誤る状況も有り得るため、「一つ戻る」タッチ領域が画面上に無い場合でも、Cボタンを(一つ戻る)として代用できる。
図28(D)は、選択できる下線等の選択肢を示している。
初期値は「全て」が選択されており、〔0132〕欄に記載した「音声入力と同時に書体変更の優先タッチ領域を離した」(書体変更の範囲指定を終了した)際のジャンプする画面は、当該画面から「全て」を除いた画面になる。
図29(A)は「英字優先」のタッチ領域に別の書体変更のコマンドを設定する状況を示している。
図29(B)は「飾り文字」の選択をした状態を示している。
図29(C)は「飾り文字」の選択肢を示しており、図28(D)同様に初期値は「全て」であり、範囲指定後に「後から選択」する形態となる。
図29(D)は、2つの優先認識に(下線)と(飾り文字)書式設定のコマンドとして適用されている状態を示している。
説明用に着色しているが、設定後に色調に変化が生じることはない。
応用例として、一種類のみの書体指定タッチの場合、複数の書体指定のタッチを同時押ししたまま音声入力を行い、同時に両タッチを離すと、特殊書体が重複して適用される。
前記〔0127〕欄に記載の全ひらかな化と『」』(鉤ぎカッコ閉じ)を同時に掛けるコマンドと同様である。
以下、図30(A)を参照しながら、例文及び操作説明を示す。
数字優先(押したまま判定中音声入力)に「二重下線」の一種類のみを設定する。
英字優先(押したまま判定中音声入力)に「斜体文字」の一種類のみを設定する。
このような単独設定の場合、前項のように優先認識を離した瞬間に「どの書式を選択するか?」の画面遷移は発生せず、離した瞬間に書式変更は適用される。
更に書体の縦書きと飾り文字の毛筆体を数字優先及び英字優先の領域に特殊書体を設定した場合、図30(B)のような極端な例(封筒に縦書きで「御祝い 職員一同」など)も理論上は可能である。
なお図30中のA・B・C行の定義については、〔0127〕欄の記載と同様である。
なお、こうした書式変更の設定は原則〔0123〕欄の記載におけるタイプライターモード専用である、翻訳AIに特殊書体を送信するとエラー原因になる可能性がある為である。
結果的に「本来は手書き部分」に活字テキストで完成品を作成できると言うことである。
本発明においてコンピュータに関する〔0042〕欄に記載の通り、キーボードでテキスト入力を行っているものと音声入力を行っているものに違いは無く、入力対象ソフトウェア側からの認識は同一である。
よって〔0121〕欄から〔0123〕欄に記載した、コンピュータとの接続とタイプライターモードを応用することで、前記の「履歴書などの様式の枠内」に音声入力でのテキスト入力も可能になる。
本発明の普及において、操作者の音声入力による編集・修正の習熟度や、元々のタイピング能力にも因るが、簡易なキーボードやタッチパッドが存在するタブレット端末はおろか、フルサイズのキーボードやマウスが存在するコンピュータ以上の速度でテキスト作成ができるようになり、言い換えれば出先でスマートフォン一つだけで、長編小説の原稿を問題なく作成することが実現可能になる。
2020年現在、特に外国人において、スマートフォンは必要性から所持しているが、パーソナルコンピュータは所持していない、いわゆるモバイル機器のみしか所持していない人口は2億人以上であり、そのような状況の人々が、執筆活動での自己表現の機会を得られることになる。
また、例え紙ではなくメール内の添付データであったとしても、書式を整えた履歴書を企業に提示できるようになることは、世界的に格差の固定化が社会問題化している状況において、雇用条件改善への貢献も期待できるものである。
コンピュータについては〔0042〕欄に記載のとおり、基本的に修正箇所はマウスで当該座標を指定し、キーボードの入力で上書きを掛けることが一般的と思われる。
しかしながらコンピュータでの使用環境においても、外国語の翻訳AIを仲介させて、外国人とコミュニケーションを取る状況は、グローバル化の流れに従い今後益々増加していく。
例を挙げれば、海外事務所とのテレビ会議や、映像が不要であれば個人的な商品取引や海外旅行で知り合った友人などに、直接メールでのリアルタイムの応対をする状況などである。
特に、個人レベルで通訳を頼める状況は現実的では無く、当然一般的なインターネット内の翻訳AIに依存することになる。
この場合〔0112〕欄で説明した「音声入力ボタンを離すことができず、編集・修正画面内で完結させる」制約がコンピュータにおいても発生する。
よって音声入力からの一時無音状態による編集・修正画面内(〔0055〕欄参照)でも、コンピュータのモニターをタッチしながら誤認識や同音異義語などを修正し、外国人側に送信し、相手側はAI翻訳を経由した文字データとして外国語のテキストを得て、必要があれば自身のコンピュータから自身の言語の音声情報も得ることになる。
こうしたアドリブでのやり取りのほか、商品取引など何度も同じ説明を繰り返す場合は「定形文」も都度引き出せると利便性が高まるため、〔0117〕欄の記載における、プレゼンテーションの登録や整列機能もコンピュータ側に追加機能として付与できることが望ましい。
このように、本発明は直接応対の為の携帯翻訳機とは別に「インターネットを介した、遠く離れた外国人との直接コミュニケーション」にも寄与できる応用性を持っている。
携帯端末、特にスマートウォッチなどの腕時計サイズ携帯端末は、自身の健康状態(バイタルなどの監視)のほか、特定のキーワードを音声入力することで、「天気予報」や「15分後にアラーム」などの情報処理を行うものが現状でも提供されている。
そこで先ず、本発明におけるスマートウォッチで音声入力装置を構成することの優位性を説明する。
なお、現在のスマートウォッチにおいては、スマートフォン等の情報処理装置との同期によるリモート設定が可能であり、本実施の形態では、当該同期設定以外の構成を中心に説明する。
公知技術としてスマートウォッチの小画面(以下:「盤面」とする)にて目的のアイコンをタッチしたり、音声入力で各種機能を呼び出すことは、前述の通り存在する。
しかし本発明での「正確性の付与」はメリットだけであり、操作法上現行のスマートウォッチの基本機能を阻害しないため、デメリットは存在しない。
例えばインターネットにおける商品の購入の操作程度は可能であるが、動画などの視聴には特に向かない。
そのため本発明においては前項の通り、短いキーワードでも「修正しながら正確に入力できる」ことに優位性を見い出す。
例えばインターネット上で提供されている情報検索サイトや、インターネット上におけるニュースの検索等に有効である。
但し狙った検索キーワードで目的のWebページを表示させても、やはり前項の通り盤面が小さいことから表示テキストを読むのは困難である。
そこで公知技術であるOCR認識とそれに伴う音声出力を利用し、インターネット内の辞書・論文やネットニュースの本文を、音声出力ボタンを押すことで、スマートウォッチ側に「テキストの読み上げ」をさせるものである。
即ち、音声入力に基づいてインターネット検索を行い、機器側の音声出力で、操作者はピンポイントに必要な情報を得ることができる。
具体的手法は後述〔0152〕欄にて説明する。
スマートウォッチでは、利用者が身に着けていることから受信に気付かないことは無く、返信の書体も余り気にする必要が無い。
音声入力に際して使用する句読点を、特有のSNSのスタンプに設定画面にて変更し、「いいね」の意思表示等も盤面上のワンタッチ操作で素早く済ませることができる。
本実施の形態に係る音声入力装置は、コンサートや有料のスポーツ観戦及び改札などにおいて、支払い済のQRコード(登録商標)を正確な音声入力によって、都度的確に使い分けて呼び出し盤面に表示させ、多種類のゲート通過認証等に利用できる。
また仕事上の環境からスマートフォンを取り出しにくい時に利用したり、片手がふさがっている時などは荷物を持ち替えた上で電話に出ることができる。
このように、突然の電話や、音声入力によって機器操作を咄嗟に行ったり、正確な検索や比較的正確なショートメールの作成などに有効である。
長文については、出先で作成した下書きとして一時記録に溜め、コンピュータやスマートフォン等にネットワーク等を経由して送信し、編集・修正及び最終的な校正は、後からコンピュータや最低でもスマートフォンサイズ以上の画面を持つ機器で行った方が効率的である。
この実施の形態に係る携帯端末では、音声入力ボタンを押し、一音も発生しない状況では、図31(A)に示す認識前画面の状態となる。
特に丸ベゼルタイプの腕時計の場合、テキストの活字視認部分を可能な限り確保するため、文字盤中心部に仮想の正方形又は長方形等の空白部を設けるレイアウトとするのが望ましい。
但し、この図31(A)に示している文字盤の領域を仕切っている実線は、領域の分担を説明する為のものであり、実際の製品において境界線は色分けなどで行う。
前記したスマートフォンサイズの携帯端末における操作・処理手法と異なり、タッチ領域を一箇所でも多く確保するために画面タッチとボタンで、実行させる処理や役割を分担している。
ボタンを押してコマンドを実行させる処理も、認識前画面、認識中画面、編集・修正画面で異なるため、盤面内には、小さいながらも「ボタン操作の説明」の表示領域311を設ける。
「一つ戻る」の操作・処理を実行する為に、中央に透過色でバッテン「×」312を表示させている。
句読点の打ち間違いなど、初めから入力し直したい場合は、バッテン「×」312の画面タッチをしたまま長押しすると「リセット全クリアし初期画面(スマートウォッチの場合時計状態)に戻る」のは、携帯翻訳機に関する〔0084〕欄の定義と同様である。
ボタン及びタッチのレイアウト説明としては、ボタン左上→右上→左下→右下の説明順とし、次に画面タッチ上→左→右→下の順で記載する。
以下、認識中画面及び編集・修正画面の説明においても同様である。
初期配置の例としては「画面拡大」「音声入力Lock」「画面縮小」「音声入力」「
数字優先」「英字優先」「記号」「クイックカラーチェンジ」を設定している。
音声入力で「おんせいにゅうりょくせってい」と発声してもコマンドとして受け付けるほか、携帯翻訳機における〔0082〕欄の記載と同様にタッチ箇所の一つに長押し判定で設定画面へのジャンプのタッチ領域を同一領域に配置させることもできる。
最も多用される操作法は音声入力ボタンを押しながら一音声も発せず、画面を上下左右にフリック操作すると、特定の設定画面へジャンプする「ショートカット入力法」である。
図32(A)のとおり、左にフリック321すると「システム設定画面」、右にフリック322すると「色調設定画面」にジャンプする。
図32(B)のとおり、上に2回フリック323すると「認識前画面325a」の配置変更、上に1回フリック323すると「認識中画面325b」の配置変更、下に1回フリック324すると「編集・修正画面325c」の配置変更、下に2回フリック324すると後述の「ルーペ325d」の設定画面へジャンプする。
図32(C)は色調変更画面のレイアウトを例にしている。各ボタンの近くには、当該ボタンの説明を表示させることができる。
図31(B)に示した補助入力表示部の項目は、あくまで初期値の例であり、設定画面で補助入力表示部の項目句読点をカスタマイズすることができ、タッチ選択肢の少なさから、スマートフォンサイズよりもカスタマイズの必要性が重視されるものとなる。
初期配置の例としては「画面上へスライド」「記号(スタンプ含む)」「画面下へスライド」「音声入力」「。」「、」「空白」「改行」及び中央の×(一つ戻る)を設定している。
画面位置のスライド機能は、スマートフォンサイズ程度の画面サイズがあれば、長文以外「編集・修正画面」に遷移してテキストが画面内に収まり切らなくならない限り出現しないものであるが、スマートウォッチは盤面の小ささから、1文字以上の認識開始時点で「画面表示位置のスライド縦バー313」を初めから存在させている。
入力したテキストの始点・終点などの位置指定をする画面タッチ操作を妨害しないように、「一つ戻る」の処理を指定する領域又はボタンは、盤面の中心から4隅の何れかのタッチ領域又はボタンに移動する。
また盤面には、表示領域をスライド移動させる「画面表示位置のスライド縦バー313」を設けている。
盤面自体の小ささから多用することになるが、当該「画面表示位置のスライド縦バー313」は、盤面表示領域を可能な限り確保するためにテキストと半透明色で重ねて表示する。
この「縦バー313」自体の操作は、スマートフォンサイズの携帯端末に関する〔0089〕欄の記載と異なり、ウォッチ本体のボタン側314,315で前進・後退を操作する。
これは、縦バー移動を画面内のタッチで操作すると、盤面が小さいためテキストの起点・終点の位置指定タッチと誤認しやすいからである。
初期配置の例としては「画面上へスライド」「一つ戻る」「画面下へスライド」「音声入力」「。」「、」「変換」「?」を設定している。
かかる音声入力画面の呼び出し操作は、音声入力にて「えすえぬえす」や「でんわ」などの単語入力による音声起動で行うことができる。
図33(A)に示す様に、ショートメッセージを送受信するSNSでは、句読点の代わりに「スタンプ」などを配置しても良い。
これにより絵文字やマーク等を入力する手間を大幅に簡略化できる。
またスマートウォッチで電話することは一般的な公知技術であるが、画面タッチにおけるダイヤル表示の例は図33(B)にて説明する。
基本的には事前登録した電話帳データ内でやり取りをすることが一般的と思われるが、画面分割のタッチ箇所を応用して音声入力以外でも電話番号を直接タッチで入力できるようにするものである。
一つのボタンやタッチ領域に複数の数字があてがわれているが、例えば右上のボタンを一回押してすぐ離せば「4」、2回連続してボタンを押した場合「5」が選択される。
最小となる丸ベゼルの腕時計サイズにあっては、盤面(文字盤であるタッチパネル)は4分割程度で使用することとなる。
スマートウォッチの形状や画面サイズ(四角形のスマートウォッチ等)によっては、タッチパネルを6~9分割等にしたタッチ領域で構成することも可能である。
現在、各種の大手サーチエンジン(検索サイト)においては、起動時のトップページの検索キー入力部分に、最初からカーソル位置が充てられているのが基本設定であることから、当該サーチエンジンの表示に続けて音声入力にて検索したい内容を話すのが最短の音声入力および検索手法である。
インターネット検索においては、Webブラウザーの起動時に、トップページにおける検索バー(検索キーの入力領域)内でカーソルカーソルが点滅しているので、そのまま検索キーを音声入力すると言うことである。
例えば「おーしーあーるよみあげ」などの目的だけ音声入力をして直接検索に移行できる。
しかしながら盤面が小さいため、目的の検索キー箇所に音声入力を行っても図34(A)の検索キー画面全体のサイズでは、検索キーの内容(音声入力の機器側の認識結果)に誤りが生じていないかチェックできない。
これは、目的のWebページ等は検索キーを含んだページ全体の前半部を、横長長方形のコンピュータのモニターで見られている前提で画面レイアウトが構成されているからである。
よって通常は図34(B)に示す表示サイズまで、機器側を操作して検索キーの内容を拡大表示しないと、誤りが生じていないか確認することができない。
ここで、本発明における〔0055〕欄に記載の手法を応用して、音声入力ボタンを離さずに意図的に無音状態を作ると、Webページ(例においては架空検索エンジン)側が薄色・背景化して、図35の通り入力中のテキスト側が拡大され視認の中心となるので、音声入力した検索キーの内容を余分な操作は一切無くチェック可能となる。
内容に問題が無ければ音声入力ボタンを離すだけで検索キーが入力され、検索結果として目的Webページの全体像(図36に相当する、例として「ネット架空大辞典」の当該ページ)画面が得られることになる。
そこで、視認性が低いデメリットを解消する為に、OCR認識による音声出力機能を付与する。
但し、音声では情報伝達ができない内容、例えば天気予報をインターネットから呼び出しても「晴れ」や「雨」はテキストでは無く、殆どの場合「晴マーク/雨マーク」で示されており、この音声出力は得られないので、一時的にでも視覚情報に頼らなければならない状況が生じる。
よって、スマートウォッチ用の音声入力によって起動する機能として、「ルーペモード」を設定する。
例えば、起動させる機能として、(ここでは特に「ルーペ(拡大鏡や虫眼鏡の意味)モード」)である場合には、音声入力ボタンの選択後に、「るーぺもーど」の音声を発する。
スマートウォッチ等の携帯端末では、この発声を認識すると、画面は、図37に示すルーペモードの表示画面に示すものが出現する。
このルーペモードの表示画面内では、インターネット等における情報表示画面内の任意の領域の画面を拡大表示する。
表示領域の移動操作は、全てスマートウォッチの盤面内に半透明色で擬似表現されたルーペ(虫眼鏡)部371を盤面タッチすることにより行う。
例えばルーペ表示領域372の外側の領域(即ち、背景)をスライド操作することで、ルーペ内の表示領域を早く動かし、ルーペの枠371を選択して、選択したルーペの外枠を上下左右・斜めに押して傾けるような操作を行った場合には、ゆっくり移動する微調整と、2つの画面移動方法を組み合わせて位置決めするように構成する。
仮想状態的ではあるが、紙の上に実際に拡大鏡等を置いた場合の自然な動きに似せることで操作者に判り易くさせる。
図37で二重表示にしているのは、ルーペの外側がWebページ画面の大部分ではあるが、その字は細かくて読み取れなくても、画面のどの部分にルーペが来ているか、感覚的に操作者に判らせる為である。
しかし、従前における前記音声出力に関して、仮に範囲指定せずにWebページの冒頭から音声出力を行った場合には、本文に至るまで非常に無駄が多い。
図38の×印で囲った範囲381、つまりタイトルや注意書き、現実的なインターネットの環境では広告などである。
よって、表示している画面内において、音声出力の始点を指定することにより、指定した個所からの音声出力を行うように構成する。
即ち、ルーペ内において起点位置を長押し(指を静止)させた位置を起点とし、その起点操作後は、今までは「音声入力」であったボタンの説明が「音声出力ボタン」に変化する。
そして当該「音声出力」のボタンを押すと、表示されている画面からOCR認識を行い、認識したテキストに基づいて、機器AIがテキスト化し音声出力する。
つまり、図38の「趣旨」の直前の空白部382を長押しし、ルーペ内の起点ポイントが確定した瞬間、もうそれ以上は音声入力で検索する必要は無く目的情報に到達したものと同義であり、4隅ボタン右下の「音声入力ボタン」は「当該箇所から読み上げる音声出力の開始ボタン」に性質が変化しても問題が無いと言うことである。
必要な情報部分の聞き取りが終わったら、「一つ戻る」ボタンを選択して、音声出力は中断する(「一つ戻る」ボタンを長押しすると、時計表示等の初期画面まで戻る)。
また起点を指定後、ルーペモード内で更に移動し、位置383を再度位置指定すると「終点指定となり」、音声出力を開始した場合の「範囲指定」が事前にできる。
なお、範囲指定を掛けた場合、一度聞き終えた内容も、再度音声出力ボタンを押すことでリピート再生される。
OCR認識で機器側が判別できない記号など(例えば天気予報のマークなど)は、音声出力をスキップし、次の文字テキストの音声出力を続行する。
また、こうした「任意の領域を拡大表示させた上でルーペをゆっくり動かせる」ことで、音声出力を得られなくても、〔0150〕欄に記載のような週間天気予報マークなどの内容把握自体には問題が無いと考えられる。
前記〔0145〕欄に記載の設定画面で自動起動する時間や、自動起動不可などの設定を行うことができる。
自動起動が実行されるまでの設定時間が長いほど、呼び出したインターネット画面全体のレイアウトを、操作者が「全体的に把握する」時間を長くすることができる。
見慣れたWebページしか呼び出さないケースでは「最初からルーペモードを起動、即ち待ち時間0秒」などを設定することが一般的と思われる。
ルーペが自動出現すると視認の妨げになる場合もあるため(例えば、小画面であっても画像や写真の全体像だけ確認したい場合など)、出現したルーペシルエットにおけるの「ルーペのグリップと仮定した左下に突き出している棒状部分」をタッチし、大きく右フリックする操作で、「イメージ的にルーペを紙上から除く操作」として、当該表示している「ルーペの削除操作」とする。
なお、全体像を把握した後で改めて細部を確認したい状況が生じたのであれば、再度「るーぺもーど」と音声入力すればルーペは再出現する。
よってルーペそのものの色調と偶然似通ってしまった場合の対策として、コンピュータに関する〔0035〕欄に記載したクイックカラーチェンジ同様に、半透明ルーペの色調にもクイックカラーチェンジを設定する。
但し、盤面の狭さから専用のタッチアイコンを設定することは難しいため、ルーペ左下に突き出した「仮想のルーペのグリップ」を指で連打することで「色調変更」のコマンド操作とする。
他の例と同様に、桃色→水色→緑色→橙色→桃色系に戻る、こうしたローテーションにより対応する。
よって、同じWebページの再検索などの操作量自体を減らす為に、前回使った最後のアプリケーションや頻繁に使用するソフトウェアは、その固有名詞を音声入力することで、直接呼び出すことができる、これは公知技術である。
他の既存例としては、時計自体としてのデザインを無視して、検索エンジンや頻繁に使用するアプリケーションのアイコンを盤面に散りばめる手法なども多数存在する。
本発明における正確な検索キー入力により、デザイン性を損ねず、また小画面のままでありながら的確なWebページ等を呼び出すことができるとしても、電波状態が良好で無い時は、当然目的のWebページを呼び出すことはできない。
また、インターネット内の地図情報などや長い論文を見る時など、自身が目的地に近付く都度または読み進める都度など、何度も同じWebページを検索しなければならなくなる。
本項冒頭の通り、大型の機器と比較すれば操作自体が困難であることと、携帯性に優れる反面電波が悪い状況での使用頻度が上がる性質の機器の為、何度も同じWebページにアクセスする必要が生じないよう、Webページ画面の全体像(論文等であれば1ページ) をトリミングする機能がスマートウォッチ本体側にあることが望ましい。
その操作は、Web内の地図情報(仮に最終駅から目的地までの徒歩経路)の画面や長い論文の丸1ページなどを、盤面内に位置調整後「さつえい」や「とりみんぐ」と音声入力されることで実行される。
機器のメモリーの能力にも因るが、地図情報は自宅から最初に乗る駅までの1枚、次に駅から目的駅まで1枚、最後に到着駅から目的地まで1枚と次々と内容を保存したり、論文も2ページ目以降次々作業を繰り返せば目的情報全ての「最初から最後まで」記録自体はできる。
使用する際は、音声入力で「保存BOX」を呼び出すことで、見たい内容が電波状態に左右されず、検索用の入力操作の手間も無く得ることができる。
1ページの定義は、閲覧中のWebページを、コンピュータにおいて「印刷指示を行った場合の1ページ目」と同義の範囲であり、仮に図38であれば「図全体」の範囲である。
なお、当該ページ内で一部だけの範囲指定を掛けて機器に記録させたい場合は、一旦ルーペを出現させてから記録したい範囲全体をルーペに収めた状態で「さつえい」や「とりみんぐ」の音声コマンド操作を行うと、ルーペ内の内容だけがトリミング(記録)される。
地図情報では自身は目的地に近付いて行くことになり、長い論文等であれば読み込み(若しくは聞き込み)が進行していく。
当然起動状態を続ければスマートウォッチのバッテリーは消耗するので、地図を再確認するのは要所ごとであり、論文を読む(聞く)ことでも、一例であるが休み時間の終了や周囲に音を出せない状況に変わってしまう(近くに無関係の人が来る)など中断を余儀なくされることはある。
前項の説明の通り、簡単な音声入力コマンドで再度保存BOXから呼び出しても、もしルーペの位置が都度起点位置になっていると、地図であれば現在位置まで、論文等なら読み進めた位置までルーペを進める余分な操作が必須になってしまう。
よって保存している画像データにルーペモードを掛けた場合、その画面を閉じる(一つ戻るタッチ)操作をした時に「その瞬間のルーペの位置と拡大率」も一緒に上書き保存される設定とする。
これにより「操作者にとっては途中経過」が自動的に記録される為、再度呼び出した際の利便性が向上する。
論文等をOCR認識で読み上げさせる場合も、次項のルーペの自動スライドの途中位置から音声出力のボタンワンタッチで再開できるため、操作量が少なくすぐに続きを聞くことが可能になる。
仮想の論文ページであるが、殆どの場合は〔0152〕欄の説明のとおり、広告欄や注意書きが冒頭に掲載されており、本文読み上げの妨げとなる。
ルーペモードの呼び出し若しくは一定時間経過での自動出現の後、拡大や位置調整で「情報を得たい本文の冒頭」(図38の位置382)に位置指定するのが一般的と思われる。
本文文頭を長押して始点指定し、音声入力ボタンを押した時に、目的であるOCR認識での「音声出力」が得られるが、ルーペ内の視覚情報も無為にはしない。
OCR認識の読み上げに合わせて、ルーペ自体も読み上げ中の文節を中心位置にして自動スライドする。
但し、位置指定の為に相当ルーペを拡大していた場合、ルーペ内の文字の流れが早すぎて内容は視認できなくなると思われる。
よって音声出力及びルーペ自動スライドの最中であっても、スマートウォッチ本体の拡大と縮小のボタンはその操作を受け付ける。
適度にルーペの拡大率を落とすと、音声と同調した文字情報を視認しながら、より理解が得られたりレイアウト全体の読み上げ部分の位置関係が把握できるからである。
図38の読み上げ領域の途中の位置384で一度音声出力をキャンセル(一つ戻る)を押して読み上げの一時中止後に、次回同じ保存BOXから再度データを呼び出せば図38の拡大率と位置でルーペが存在すると言うことであり、その状態で音声入力ボタン(つまり音声出力の再開)をすれば、図38の読み上げ途中の位置385からルーペが音声出力と同調してスライドしていくものである。
12 指定領域
17 タッチ領域
20 認識中画面
50 多機能マウス
61 選択領域
70 編集・修正画面
71 縦バー
130 足踏みタッチパッド
130 パッド
141 外国語入力ボタン
142 Cボタン
143 母国語入力ボタン
153 補助入力表示部
201 修正テキスト入力画面
211 起点
212 終点
325a 認識前画面
325b 認識中画面
325c 編集・修正画面
371 ルーペ(虫眼鏡)部
372 ルーペ表示領域
Claims (5)
- 音声を認識してこれを文字情報に変換する音声入力装置であって、
入力した音声を認識する音声認識部と、
当該音声認識部で認識した音声を文字列に変換する文字変換部と、
当該文字変換部で変換した文字列を表示する文字列表示部と、
当該文字列表示部に、句点、読点、括弧及び関数の少なくとも何れからなる図形文字、及び/又は制御文字を表示させる補助入力表示部と、
補助入力表示部に表示された図形文字及び/又は制御文字の選択により、前記文字変換部で変換した文字列に挿入する記号挿入部と、
入力した文字列を編集または修正する編集修正部を備えており、
当該編集修正部は、音声認識部における音声認識での誤認識を修正する為の編集・修正画面を、音声認識中の認識中画面から切り替えて表示させ、
当該編集・修正画面で指定した指定範囲または指定位置の文字列を一時記憶すると共に、当該指定範囲または指定位置の文字列を、音声入力によって文字列表示部に表示した文字列から選択した上書きしたい文字列で置き換える、音声入力装置。 - 前記文字列表示部に表示された文字列の範囲を指定する範囲指定部と、
当該範囲指定部で指定した範囲の文字列を再変換する再変換部を有し、
範囲指定部により指定した範囲の文字列を平仮名に変換する、請求項1に記載の音声入力装置。 - 前記補助入力表示部は、入力対象の表示領域に重ねて、当該入力対象の表示画面を透過させて表示され、文章の最初に入力される記号を含む認識前画面と、文章の最初に入力される記号を除き、文章の途中に入力される鉤括弧等の記号及び句読点を含む認識中画面とを選択表示可能であり、
音声の認識と同時に、認識前画面を認識中画面に変化させる画面変更手段を備える、請求項1又は2に記載の音声入力装置。 - 更に、表示装置に表示されている任意の領域を拡大表示する拡大表示部を備えており、
当該拡大表示部内において、起点位置指定、終点位置指定、または範囲指定が可能である、請求項1~3の何れか一項に記載の音声入力装置。 - 更に、範囲指定した文字列を音声出力する音声出力部を備え、
音声出力における読み上げの一時中止後に音声出力を再開した時は、読み上げ途中の位置から音声出力を行う、請求項1~4の何れか一項に記載の音声入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020070652A JP7109498B2 (ja) | 2020-04-09 | 2020-04-09 | 音声入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020070652A JP7109498B2 (ja) | 2020-04-09 | 2020-04-09 | 音声入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021168020A JP2021168020A (ja) | 2021-10-21 |
JP7109498B2 true JP7109498B2 (ja) | 2022-07-29 |
Family
ID=78079751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020070652A Active JP7109498B2 (ja) | 2020-04-09 | 2020-04-09 | 音声入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7109498B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013228523A (ja) | 2012-04-25 | 2013-11-07 | Casio Comput Co Ltd | 数式入力装置およびプログラム |
JP2014142934A (ja) | 2013-01-23 | 2014-08-07 | Lg Electronics Inc | 電子機器及び電子機器の制御方法 |
WO2018034059A1 (ja) | 2016-08-17 | 2018-02-22 | パナソニックIpマネジメント株式会社 | 音声入力装置、翻訳装置、音声入力方法、及び音声入力プログラム |
JP2018180883A (ja) | 2017-04-12 | 2018-11-15 | 株式会社アドバンスト・メディア | 端末装置及びプログラム |
-
2020
- 2020-04-09 JP JP2020070652A patent/JP7109498B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013228523A (ja) | 2012-04-25 | 2013-11-07 | Casio Comput Co Ltd | 数式入力装置およびプログラム |
JP2014142934A (ja) | 2013-01-23 | 2014-08-07 | Lg Electronics Inc | 電子機器及び電子機器の制御方法 |
WO2018034059A1 (ja) | 2016-08-17 | 2018-02-22 | パナソニックIpマネジメント株式会社 | 音声入力装置、翻訳装置、音声入力方法、及び音声入力プログラム |
JP2018180883A (ja) | 2017-04-12 | 2018-11-15 | 株式会社アドバンスト・メディア | 端末装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021168020A (ja) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR0180333B1 (ko) | 전자 번역 장치 | |
KR100931466B1 (ko) | 전자사전장치와 그 전자사전장치의 사전검색방법 | |
US6401065B1 (en) | Intelligent keyboard interface with use of human language processing | |
KR101290071B1 (ko) | 사용자의 입력을 실시간 예상하는 사용자-기계 인터페이스 | |
KR100318573B1 (ko) | 문자 입력 장치 및 문자 입력 프로그램을 기억한 기록 매체 | |
JP4920154B2 (ja) | 言語入力ユーザインタフェース | |
CN105573503B (zh) | 用于接收触敏显示设备上的文本输入的方法和系统 | |
JP4277903B2 (ja) | 辞書機能を備えた電子機器及びプログラム | |
JP2007133884A5 (ja) | ||
JP2008123553A (ja) | 情報機器 | |
US20240193194A1 (en) | Book search apparatus, book search database generation apparatus, book search method, book search database generation method, and program | |
TW201512858A (zh) | 電子裝置及其文字輸入介面顯示方法 | |
JP7109498B2 (ja) | 音声入力装置 | |
KR102544285B1 (ko) | 전자 필사 시스템의 전자 필사 서비스 제공 방법 | |
JP2011186994A (ja) | 文字入力装置および文字入力方法 | |
JP5008248B2 (ja) | 表示処理装置、表示処理方法、表示処理プログラム、および記録媒体 | |
JP5011511B2 (ja) | 辞書機能を備えた電子機器およびプログラム | |
Oxley et al. | Considerations for Chinese text input methods in the design of speech generating devices: a tutorial | |
JP3533591B2 (ja) | 文字入力装置、文字入力方法および文字入力制御プログラムを記録した記録媒体 | |
Hitchcock | Computer access for people after stroke | |
JP2018072509A (ja) | 音声読み上げ装置、音声読み上げシステム、音声読み上げ方法、およびプログラム | |
JP5561312B2 (ja) | 辞書機能を備えた電子機器、辞書機能を備えた電子機器における検索文字の入力方法およびプログラム | |
Liu | Chinese Text Entry with Mobile Devices | |
JPH0934890A (ja) | 手書き文字入力装置及び仮名漢字変換方法 | |
JP2009134728A (ja) | 電子辞書装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7109498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |