JP6601827B1

JP6601827B1 - 結合プログラム、結合装置、及び結合方法

Info

Publication number: JP6601827B1
Application number: JP2018155849A
Authority: JP
Inventors: 鈴木　健司; 健司鈴木
Original assignee: Ｚホールディングス株式会社
Priority date: 2018-08-22
Filing date: 2018-08-22
Publication date: 2019-11-06
Anticipated expiration: 2038-08-22
Also published as: JP2020030324A

Abstract

【課題】音声入力に関するユーザビリティを向上させる。【解決手段】本願に係る結合プログラムは、音声を介して入力された複数の情報（例えば、ユーザの音声入力に対し音声認識の結果となる文字列など）を表示する表示手順と、表示手順により表示された複数の情報のうち、いずれかの情報の選択を伴う所定の操作（例えば、タップ操作や、スライド操作など）を受け付けた場合に選択された情報を他の情報と結合して表示する結合手順とをコンピュータに実行させることを特徴とする。【選択図】図１

Description

本発明は、結合プログラム、結合装置、及び結合方法に関する。

従来、入力した音声情報を編集する技術が知られている。例えば、音声入力を受付けた場合に音声を音声データに変換し、変換した音声データの変換候補漢字を表示する技術が開示されている。

特開２００１−２８５４１３号公報

しかしながら、上記の従来技術では、ユーザビリティが良いとは言えない場合がある。

本願は、上記に鑑みてなされたものであって、音声入力に関するユーザビリティを向上させることを目的とする。

本願に係る結合プログラムは、音声を介して入力された複数の情報を表示する表示手順と、前記表示手順により表示された複数の情報のうち、いずれかの情報の選択を伴う所定の操作を受け付けた場合に選択された情報を他の情報と結合して表示する結合手順とをコンピュータに実行させることを特徴とする。

実施形態の一態様によれば、音声入力に関するユーザビリティを向上させることができるという効果を奏する。

図１は、実施形態に係る端末装置の一例を示す図である。図２は、実施形態に係る端末装置の構成例を示す図である。図３は、実施形態に係る音声入力アプリケーションの構成例を示す図である。図４は、実施形態に係る表示処理手順の一例を示すフローチャートである。図５は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に本願に係る結合プログラム、結合装置、及び結合方法を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る結合プログラム、結合装置、及び結合方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．結合処理〕
図１を用いて、本実施形態の結合プログラム等により実現される結合処理を説明する。図１は、実施形態に係る端末装置の一例を示す図である。図１では、ユーザの音声入力に対し音声認識の結果となる文字列を表示し、表示した文字列を他のアプリケーションに出力する音声入力アプリケーション（以下、「音声入力アプリ」と記載する場合がある）が端末装置１００に実装されている例を示す。なお、図１では、音声入力アプリの機能によって実施形態に係る結合処理が実現されるものとする。

図１に示す端末装置１００は、ユーザによって利用されるスマートフォンやタブレット等のスマートデバイスであり、３Ｇ（Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。図１に示す例では、端末装置１００がユーザＵ１によって利用されるスマートフォンである場合を示す。また、端末装置１００は、液晶ディスプレイ等の出力部（以下、画面と記載する場合がある）を有し、タッチパネルが採用されているものとする。すなわち、ユーザＵ１は、指や専用ペンで出力部の表示面をタッチすることにより端末装置１００の各種操作を行う。また、図１の例において、端末装置１００には、音を集音する集音機器（マイク等）が含まれているものとする。なお、端末装置１００は、スマートデバイスのみならず、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等の情報処理装置であってもよい。

以下、図１を用いて、端末装置１００が行う音声入力アプリの表示処理について説明する。なお、以下の説明では、端末装置１００の画面の状態遷移を図示する場合、順に第１状態、第２状態、・・・、第Ｎ状態（Ｎは任意の数）と表記する。

図１の第１状態は、ユーザＵ１による音声入力に対する音声認識の結果となる文字列を表示した画面の状態を示す。ここで、図１の第１状態において、端末装置１００は、ユーザＵ１の音声入力に対し、文字列「賢治」を音声認識の結果として領域ＡＲ１に表示したものとする。

続いて、図１の第２状態は、第１状態において領域ＡＲ１に表示した文字列「賢治」の読み仮名「けんじ」の他の漢字への変換候補を表示した画面の状態を示す。図１の第２状態において、端末装置１００は、ユーザＵ１による所定のタッチ操作（例えば、領域ＡＲ１のタップなど）等を受け付け、文字列「賢治」の読み仮名「けんじ」に対応する他の変換候補の漢字を領域ＡＲ２に表示する。

ここで、図１の第２状態において、ユーザＵ１が希望する変換候補が領域ＡＲ２に表示されず、また、ユーザＵ１が領域ＡＲ１に表示された「賢」のみを他の変換候補の漢字に変換することを希望したものとする。この場合、端末装置１００は、ユーザＵ１の指Ｆ１０により選択された編集点（「賢」及び「治」の間）で文字列「賢治」を分割して表示する図１の第３状態に画面を遷移させる。例えば、図１の例において、端末装置１００は、ユーザＵ１の指Ｆ１０が領域ＡＲ１に表示された「賢」及び「治」の間の領域へのタッチ操作（例えば、タップ）を受け付けることにより、画面を図１の第３状態に遷移させる。

なお、端末装置１００は、種々の編集点の選択操作をユーザＵ１から受け付けてもよい。例えば、端末装置１００は、音声認識の結果となる文字列へのユーザＵ１の指Ｆ１０によるタッチ操作を受け付けることにより、文字列を所定の編集点で分割して表示してもよい。具体的には、端末装置１００は、文字列に含まれる各漢字の間や、漢字及びひらがなの間を編集点としてもよい。また、図１の例において、端末装置１００は、ユーザＵ１の指Ｆ１０が文字列「賢治」に触れた状態から、「賢」及び「治」の間をなぞる操作を受け付けることにより、画面を図１の第３状態に遷移させてもよい。

続いて、図１の第３状態は、第２状態において選択された編集点で文字列「賢治」を分割して表示した画面の状態を示す。図１の第３状態において、端末装置１００は、「賢」を領域ＡＲ３に表示し、「治」を領域ＡＲ４に表示する。ここで、端末装置１００は、ユーザＵ１の指Ｆ１０による領域ＡＲ３へのタッチ操作（例えば、ダブルタップ）を受け付けることにより、領域ＡＲ３に表示された「賢」を、「賢」の読み仮名「け」及び「ん」に分割して表示する図１の第４状態に画面を遷移させる。

続いて、図１の第４状態は、第３状態においてユーザＵ１のタッチ操作が行われた領域ＡＲ３の「賢」の読み仮名を分割して表示した画面の状態を示す。図１の第４状態において、端末装置１００は、「け」を領域ＡＲ５に表示し、「ん」を領域ＡＲ６に表示する。ここで、図１の第４状態において、ユーザＵ１が領域ＡＲ５に表示した「け」及び領域ＡＲ６に表示した「ん」を結合することを希望したものとする。この場合、端末装置１００は、ユーザＵ１の指Ｆ１０によるタッチ操作を受け付けることにより、「け」及び「ん」を結合して表示する図１の第５状態に画面を遷移させる。例えば、図１の例において、端末装置１００は、ユーザＵ１の指Ｆ１０が領域ＡＲ５に触れた状態から、領域ＡＲ５を領域ＡＲ６の方向へスライドさせるタッチ操作を受け付けることにより、画面を図１の第５状態に遷移させる。

なお、端末装置１００は、図１の第２状態から、第３状態を介さず第４状態へ画面を遷移させてもよい。言い換えると、端末装置１００は、ユーザＵ１の指Ｆ１０により選択された位置を編集点として文字列を複数の情報に分割する。そして、端末装置１００は、各情報に含まれる漢字であって、読み仮名が複数のひらがなによって構成される漢字をひらがなに変換し、各ひらがなを分割して画面に表示する。

続いて、図１の第５状態は、第４状態においてユーザＵ１による結合に関するタッチ操作を受け付けた領域ＡＲ５及び領域ＡＲ６を結合した画面の状態を示す。図１の第５状態において、端末装置１００は、「けん」を領域ＡＲ７に表示する。また、端末装置１００は、ユーザＵ１による所定のタッチ操作（例えば、領域ＡＲ７のタップなど）を受け付け、「けん」に対応する変換候補の漢字を領域ＡＲ２に表示する。

ここで、ユーザＵ１が行った音声入力に誤入力があり、図１の第５状態において領域ＡＲ７に表示した情報の再入力を希望したものとする。この場合、端末装置１００は、ユーザＵ１の指Ｆ１０による領域ＡＲ７への所定のタッチ操作（例えば、領域ＡＲ７のロングタップなど）を受け付けることにより、画面を図１の第６状態に画面を遷移させる。

続いて、図１の第６状態は、再度ユーザＵ１による音声入力を受け付けるための画面の状態を示す。図１の第６状態において、端末装置１００は、「けん」に替えて、音声入力を受け付け可能であることを示すアイコン画像を領域ＡＲ７に表示する。端末装置１００は、ユーザＵ１から音声入力を受け付け、画面を図１の第７状態に遷移させる。

続いて、図１の第７状態は、ユーザＵ１による音声入力に対する音声認識の結果となる文字列を表示した画面の状態を示す。図１の第７状態において、端末装置１００は、アイコン画像に替えて、音声認識の結果である「こう」を領域ＡＲ７に表示する。すなわち、端末装置１００は、音声入力された文字列を、再度音声入力を受け付けることにより更新する。また、端末装置１００は、ユーザＵ１による所定のタッチ操作（例えば、領域ＡＲ７のタップなど）等を受け付け、「こう」に対応する変換候補の漢字を領域ＡＲ２に表示する。ここで、端末装置１００は、ユーザＵ１の指Ｆ１０による領域ＡＲ２へのタッチ操作により領域ＡＲ７に表示された文字列の変換先の漢字を受け付け、図１の第８状態に画面を遷移させる。

続いて、図１の第８状態は、領域ＡＲ７に表示した文字列をユーザＵ１から受け付けた変換先の漢字に変換した画面の状態を示す。図１の第８状態において、端末装置１００は、「こう」に替えて、「こう」を漢字に変換した「浩」を領域ＡＲ７に表示する。ここで、端末装置１００は、ユーザＵ１の指Ｆ１０が領域ＡＲ７に触れた状態から、領域ＡＲ７を領域ＡＲ４の方向へスライドさせるタッチ操作を受け付けることにより、領域ＡＲ４及び領域ＡＲ７に表示された情報を結合させた文字列「浩治」を画面に表示する。そして、端末装置１００は、ユーザＵ１から文字列の出力操作（例えば、文字列が表示された領域以外の画面の領域のタッチ操作）を受け付けることにより、文字列「浩治」を音声入力アプリ以外の他のアプリケーションに出力する。

なお、上述の実施形態では、端末装置１００は、タッチ操作として、タップや、ダブルタップ、スライド、ロングタップ等のユーザＵ１の操作を受け付けた場合に画面の表示処理を行う例を示した。しかし、端末装置１００は、上述したタッチ操作以外の操作が行われた場合にも画面の表示処理を行ってもよい。例えば、端末装置１００は、ピンチアウト、ピンチイン、フリック、スワイプ、ドラッグ、タッチアンドホールド、シェイク、ピーク（Peek）、ポップ（Pop）等のタッチ操作を受け付け、上述した画面の表示処理を行ってもよい。

以上のように、実施形態に係る端末装置１００は、音声入力された文字列に対し、情報の分割処理及び結合処理、並びに、情報の更新処理を、画面に対するユーザのタッチ操作等に応じて行う。これにより、ユーザは、キーボード等を用いた操作を行わず、ユーザの感覚的な操作により音声入力を行うことができる。すなわち、実施形態に係る端末装置１００は、音声入力におけるユーザビリティを向上させることができる。

〔２．端末装置の構成〕
次に、上述した表示処理を実現するための端末装置１００について図２を用いて説明する。図２は、実施形態に係る端末装置の構成例を示す図である。図２に示すように、端末装置１００は、通信部１１０と、入力部１２０と、出力部１３０と、物理センサ１４０と、制御部１５０とを有する。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、音声入力アプリや、その他のアプリケーションを配信するアプリケーション配信サーバ等との間で情報の送受信を行う。

（入力部１２０及び出力部１３０について）
入力部１２０は、ユーザから各種操作を受け付ける入力装置である。例えば、入力部１２０は、キーボードやマウスや操作キー等によって実現される。出力部１３０は、各種情報を表示するための表示装置である。つまり、出力部１３０は、端末装置１００の表示画面に相当する。例えば、出力部１３０は、液晶ディスプレイ等によって実現される。なお、端末装置１００にタッチパネルが採用される場合には、入力部１２０と出力部１３０とは一体化される。

（物理センサ１４０について）
物理センサ１４０は、端末装置１００の物理的な状態を検知するセンサである。例えば、物理センサ１４０は、端末装置１００の画面に対するユーザのタッチ操作等における圧量を検知する圧力センサである。

（制御部１５０について）
制御部１５０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。なお、制御部１５０は、上述した表示処理を実現する制御情報又はアプリケーションをアプリケーション配信サーバ等から配信された場合、かかる制御情報又はアプリケーションに従って動作し、表示処理を実現する。

また、制御部１５０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部１５０は、図２に示すように、音声入力アプリケーション１５１や、第１アプリケーション１５２、第２アプリケーション１５３等を有する。音声入力アプリケーション１５１は、上述した表示処理の機能や作用を実現または実行し、ユーザの音声入力に対する音声認識の結果となる情報を、第１アプリケーション１５２や、第２アプリケーション１５３等の他のアプリケーションに出力する。以下、図３を用いて、音声入力アプリケーション１５１が有する機能構成の一例ついて説明する。図３は、実施形態に係る音声入力アプリケーションの構成例を示す図である。実施形態に係る音声入力アプリケーション１５１は、図３に示すように、認識部１５１１と、表示部１５１２と、受付部１５１３と、分割部１５１４と、更新部１５１５と、結合部１５１６と、出力部１５１７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

（認識部１５１１について）
認識部１５１１は、後述する受付部１５１３によって受け付けられたユーザの音声入力に対し音声認識処理を実行する。例えば、図１の例において、認識部１５１１は、ユーザＵ１による音声入力に対して音声認識処理を実行し、音声を文字列に変換する。

（表示部１５１２について）
表示部１５１２は、音声を介して入力された情報を表示する。例えば、表示部１５１２は、ユーザによる音声入力に対して認識部１５１１が実行した音声認識処理の結果となる情報を表示する。

また、表示部１５１２は、音声認識の結果となる文字列を表示してもよい。例えば、表示部１５１２は、音声を介して入力された文字列であって、漢字を含む文字列を表示する。例えば、図１の例において、表示部１５１２は、ユーザＵ１の音声入力に対し、文字列「賢治」を音声認識の結果として表示する。

また、表示部１５１２は、音声を介して入力された複数の情報を表示してもよい。例えば、表示部１５１２は、音声認識の結果となる情報を分割した複数の情報を表示する。具体的には、表示部１５１２は、認識部１５１１が実行した音声認識処理の結果である文字列を分割した複数の情報を表示する。ここで、表示部１５１２は、文字列に含まれる各漢字を分割して表示してもよい。また、表示部１５１２は、文字列に含まれる漢字と、ひらがなとを分割して表示してもよい。

（受付部１５１３について）
受付部１５１３は、表示部１５１２が表示した複数の情報のうちいずれかを選択する操作を受け付けた場合に音声を介して新たな情報の入力を受け付ける。また、受付部１５１３は、後述する分割部１５１４が情報を複数の情報に分割して表示した後、複数の情報のうちいずれかを選択する操作を受け付けた場合に音声を介して新たな情報の入力を受け付ける。例えば、図１の例において、受付部１５１３は、ユーザＵ１の指Ｆ１０によって領域ＡＲ７へ所定のタッチ操作が行われた場合、音声入力を受け付け可能であることを示すアイコン画像を領域ＡＲ７に表示し、ユーザＵ１から音声を介して新たな情報の入力を受け付ける。

また、受付部１５１３は、複数の情報を結合する操作を受け付けてもよい。例えば、図１の例において、受付部１５１３は、ユーザＵ１の指Ｆ１０が領域ＡＲ７に触れた状態から、領域ＡＲ７を領域ＡＲ４の方向へスライドさせるタッチ操作を、領域ＡＲ４及び領域ＡＲ７を結合する操作として受け付ける。

（分割部１５１４について）
分割部１５１４は、表示部１５１２により表示された情報のうち、編集点となる位置を選択する操作を受け付けた場合に当該編集点で情報を分割して表示する。例えば、図１の例において、分割部１５１４は、ユーザＵ１の指Ｆ１０が領域ＡＲ１に表示された「賢」及び「治」の間の領域を編集点とするタッチ操作を受け付けることにより、領域ＡＲ１を「賢」を表示する領域ＡＲ３及び「治」を表示する領域ＡＲ４に分割して表示する。

また、分割部１５１４は、表示部１５１２により表示された情報の選択を伴う所定の操作を受け付けた場合に情報を分割して表示してもよい。例えば、図１の例において、分割部１５１４は、ユーザＵ１の指Ｆ１０が領域ＡＲ１に触れた状態から、所定のタッチ操作を受け付けることにより、領域ＡＲ１に表示された文字列を分割して表示する。

また、分割部１５１４は、表示部１５１２により表示された情報のうち、所定の操作が行われた位置を編集点として情報を分割して表示する。例えば、図１の例において、分割部１５１４は、ユーザＵ１の指Ｆ１０が領域ＡＲ１に触れた状態から、「賢」及び「治」の間をなぞる操作を受け付けることにより、「賢」及び「治」の間の領域を編集点として領域ＡＲ１に表示された文字列を分割して表示する。

また、分割部１５１４は、表示部１５１２により表示された情報のうち、情報の選択を伴う第１の操作が行われた位置を第１の編集点として情報を複数の情報に分割して表示した後、複数の情報のいずれかの選択を伴う第２の操作を受け付けた場合に、第２の操作が行われた位置を第２の編集点として選択された情報を分割して表示してもよい。例えば、図１の例において、分割部１５１４は、領域ＡＲ１に表示された「賢」及び「治」の間の領域を第１の編集点として、領域ＡＲ１に表示された文字列を領域ＡＲ３及び領域ＡＲ４に分割して表示する。そして、分割部１５１４は、領域ＡＲ３に対するユーザＵ１の第２の操作（タッチ操作）を受け付けることにより、領域ＡＲ３に表示された「賢」の読み仮名「け」及び「ん」の間の領域を第２の編集点として、領域ＡＲ３に表示された情報を領域ＡＲ５及び領域ＡＲ６に分割して表示する。

また、分割部１５１４は、表示部１５１２が表示した文字列に含まれる漢字を複数のひらがなに変換し、各ひらがなを分割して表示してもよい。例えば、図１の例において、分割部１５１４は、ユーザＵ１の指Ｆ１０が領域ＡＲ１に表示された「賢」及び「治」の間の領域を編集点とするタッチ操作を受け付け、領域ＡＲ１に表示された文字列を領域ＡＲ３及び領域ＡＲ４に分割すると共に、領域ＡＲ３に表示された情報を領域ＡＲ５及び領域ＡＲ６に分割して表示する。

（更新部１５１５について）
更新部１５１５は、選択された情報を受付部１５１３が受け付けた新たな情報に更新する。例えば、図１の例において、更新部１５１５は、第６状態にて受付部１５１３が受け付けたユーザＵ１による音声入力に対する音声認識の結果となる文字列を領域ＡＲ７に表示し、領域ＡＲ７に表示される文字列を「けん」から「こう」に更新する。

（結合部１５１６について）
結合部１５１６は、受付部１５１３が複数の情報を結合する操作を受け付けた場合に複数の情報を結合して表示する。例えば、結合部１５１６は、表示部１５１２により表示された複数の情報のうち、いずれかの情報の選択を伴う所定の操作を受け付けた場合に選択された情報を他の情報と結合して表示する。具体的には、表示部１５１２がユーザの音声を介して入力された文字列を複数の情報に分割して表示した場合（例えば、文字列に含まれる各漢字を分割して表示した場合や、文字列に含まれる漢字及びひらがなを分割して表示した場合など）、結合部１５１６は、ユーザから情報の選択を伴う所定の操作を受け付け、選択された情報を他の情報と結合して表示する。

また、結合部１５１６は、分割部１５１４が情報を複数の情報に分割して表示した後、複数の情報を結合する操作を受け付けた場合に複数の情報を結合して表示してもよい。例えば、図１の例において、結合部１５１６は、ユーザＵ１による領域ＡＲ７へのタッチ操作を受け付けることにより、領域ＡＲ４及び領域ＡＲ７に表示された情報を結合させた文字列「浩治」を画面に表示する。

また、結合部１５１６は、複数の情報のうち選択された情報を他の情報が表示された方向へ移動させる操作を受け付けた場合に選択された情報を他の情報と結合して表示してもよい。例えば、結合部１５１６は、複数の情報のうち、選択に伴いスライド操作が行われた情報をスライド方向の情報と結合して表示する。例えば、図１の例において、結合部１５１６は、ユーザＵ１の指Ｆ１０が領域ＡＲ７に触れた状態から、領域ＡＲ７を領域ＡＲ４の方向へスライドさせるタッチ操作を受け付けることにより、領域ＡＲ４及び領域ＡＲ７を結合させた文字列「浩治」を画面に表示する。

また、結合部１５１６は、複数の情報のうち、選択に伴いタップ操作が行われた情報を他の情報と結合して表示してもよい。例えば、結合部１５１６は、タップ操作が行われた情報を、当該情報の所定の方向に表示された情報と結合して表示する。

また、結合部１５１６は、複数の情報を変更せずに結合して表示してもよい。例えば、図１の例において、結合部１５１６は、領域ＡＲ７に表示された情報を、漢字に変換された状態のまま領域ＡＲ４に表示された情報と結合して表示する。

（出力部１５１７について）
出力部１５１７は、ユーザの音声入力に対する音声認識の結果となる情報を、第１アプリケーション１５２や、第２アプリケーション１５３等の他のアプリケーションに出力する。例えば、図１の例において、出力部１５１７は、ユーザＵ１から文字列の出力操作を受け付けた時点で画面に表示されている文字列「浩治」を、他のアプリケーションに出力する。

〔３．表示処理のフロー〕
ここで、図４を用いて、実施形態に係る音声入力アプリの表示処理の手順について説明する。図４は、実施形態に係る表示処理手順の一例を示すフローチャートである。

図４に示すように、端末装置１００は、ユーザから音声入力を受け付ける（ステップＳ１０１）。続いて、端末装置１００は、音声入力に対する音声認識の結果を表示する（ステップＳ１０２）。本説明において、端末装置１００は、音声認識の結果となる文字列を表示する。続いて、ユーザから音声認識した文字列に対する分割操作を受け付けた場合（ステップＳ１０３；Ｙｅｓ）、端末装置１００は、音声認識した文字列を分割して表示する（ステップＳ１０４）。例えば、端末装置１００は、ユーザのタッチ操作等により選択された編集点で文字列を分割して表示する。一方、文字列に対する分割操作を受け付けなかった場合（ステップＳ１０３；Ｎｏ）、端末装置１００は、文字列をそのまま表示する。

続いて、画面に表示した文字列を構成するいずれかの情報が選択された場合（ステップＳ１０５；Ｙｅｓ）、端末装置１００は、ユーザから新たな音声入力を受け付け、選択された情報を更新する（ステップＳ１０６）。例えば、図１の例において、端末装置１００は、領域ＡＲ１に表示した文字列を領域ＡＲ４及び領域ＡＲ７に分割して表示している状態において領域ＡＲ７が選択され音声入力を受け付け可能であることを示すアイコン画像を領域ＡＲ７に表示する。そして、端末装置１００は、新たに音声入力に対する音声認識の結果となる文字列を領域ＡＲ７に表示する。一方、文字列を構成する情報が選択されなかった場合（ステップＳ１０５；Ｎｏ）、端末装置１００は、文字列をそのまま表示する。

続いて、画面に表示した文字列を構成する情報の結合操作が行われた場合（ステップＳ１０７；Ｙｅｓ）、端末装置１００は、操作対象となる情報を結合して表示する（ステップＳ１０８）。例えば、図１の例において、端末装置１００は、ユーザＵ１の指Ｆ１０が領域ＡＲ７に触れた状態から、領域ＡＲ７を領域ＡＲ４の方向へスライドさせるタッチ操作を受け付けることにより、領域ＡＲ４及び領域ＡＲ７に表示された情報を結合させた文字列を画面に表示する。一方、文字列を構成する情報の結合操作が行われなかった場合（ステップＳ１０７；Ｎｏ）、端末装置１００は、文字列をそのまま表示する。

続いて、画面に表示した文字列の出力操作が行われた場合（ステップＳ１０９；Ｙｅｓ）、端末装置１００は、文字列を他のアプリケーションに出力し（ステップＳ１１０）、処理を終了する。一方、文字列の出力操作が行われなかった場合（ステップＳ１０９；Ｎｏ）、端末装置１００は、文字列をそのまま表示し、再び分割操作、情報の更新、並びに、結合操作を受け付ける。

〔４．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。

〔４−１．文字列について〕
上述の実施形態において、端末装置１００が日本語で構成される文字列の表示処理を行う例を示したが、端末装置１００は上述した例に限られず、各種自然言語において用いられる文字により構成される文字列の表示処理を行ってもよい。例えば、端末装置１００は、英語の音声入力を受け付ける場合、ユーザによる「ライト」という音声入力に対し、「right」や、「light」などのアルファベットで構成される文字列であって、発音が類似する文字列を音声認識の結果や変換候補として表示する。また、端末装置１００は、英語を音声認識の結果として表示する場合、英語の各品詞の語形変化を変換候補として表示してもよい。例えば、端末装置１００は、音声認識の結果として「go」を表示する場合、変換候補として「goes」、「went」、「gone」などを表示してもよい。また、端末装置１００は、英語を音声認識の結果として複合語を表示する場合、複合語を構成要素の品詞に分割可能としてもよい。例えば、端末装置１００は、音声認識の結果として「policeman」を表示した場合、ユーザの分割操作を受け付け、「police」及び「man」と分割して表示（例えば、「police」及び「man」の間に空白領域を設けて表示）してもよい。

また、端末装置１００は、種々のアプリケーションにおけるテキスト等の入力欄に入力可能であれば、記号（例えば、丸、バツ印、三角、四角、矢印、ハイフン、絵文字など）や数字を含む文字列の表示処理を行ってもよい。

〔４−２．新たな情報の挿入について〕
受付部１５１３は、音声を介して入力された情報に挿入される新たな情報を受け付けてもよい。例えば、図１の第５状態において、受付部１５１３は、領域ＡＲ７の左側、領域ＡＲ４及び領域ＡＲ７の間、並びに、領域ＡＲ４の右側のいずれかに所定範囲の空白領域を生じさせるタッチ操作を受け付けた場合、当該空白領域に音声入力を受け付け可能であることを示すアイコン画像を表示し、ユーザＵ１から空白領域に挿入される情報の音声入力を受け付ける。そして、更新部１５１５は、受付部１５１３が受け付けた新たな情報を空白領域に挿入し、端末装置１００に表示された文字列を更新する。

〔５．効果〕
上述してきたように、実施形態に係る端末装置１００が有する音声入力アプリケーション１５１は、認識部１５１１と、表示部１５１２と、受付部１５１３と、分割部１５１４と、更新部１５１５と、結合部１５１６と、出力部１５１７とを有する。認識部１５１１は、ユーザの音声入力に対し音声認識処理を実行する。表示部１５１２は、音声を介して入力された情報を表示する。受付部１５１３は、分割部１５１４が情報を複数の情報に分割して表示した後、複数の情報のうちいずれかを選択する操作を受け付けた場合に音声を介して新たな情報の入力を受け付ける。分割部１５１４は、表示部１５１２により表示された情報のうち、編集点となる位置を選択する操作を受け付けた場合に当該編集点で情報を分割して表示する。更新部１５１５は、選択された情報を受付部１５１３が受け付けた新たな情報に更新する。結合部１５１６は、分割部１５１４が情報を複数の情報に分割して表示した後、複数の情報を結合する操作を受け付けた場合に複数の情報を結合して表示する。出力部１５１７は、ユーザの音声入力に対する音声認識の結果となる情報を、他のアプリケーションに出力する。

これにより、実施形態に係る端末装置１００は、ユーザの感覚的な操作により音声入力を行うことができるため、音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、表示部１５１２は、音声を介して入力された複数の情報を表示する。そして、受付部１５１３は、表示部１５１２が表示した複数の情報のうちいずれかを選択する操作を受け付けた場合に音声を介して新たな情報の入力を受け付ける。そして、更新部１５１５は、選択された情報を受付部１５１３が受け付けた新たな情報に更新する。

これにより、実施形態に係る端末装置１００は、表示された複数の情報からいずれかの情報を選択し、新たな情報に更新できるため、文字列の音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、表示部１５１２は、音声を介して入力された複数の情報を表示する。そして、結合部１５１６は、表示部１５１２により表示された複数の情報のうち、いずれかの情報の選択を伴う所定の操作を受け付けた場合に選択された情報を他の情報と結合して表示する。

これにより、実施形態に係る端末装置１００は、表示された複数の情報から結合させる情報を選択できるため、文字列の音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、表示部１５１２は、音声認識の結果となる情報を分割した複数の情報を表示する。

これにより、実施形態に係る端末装置１００は、分割された情報に対し操作を行うことができるため、文字列の音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、表示部１５１２は、音声認識の結果となる文字列を表示する。

これにより、実施形態に係る端末装置１００は、音声認識の結果として文字列を表示することにより、文字列の音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、分割部１５１４は、表示部１５１２により表示された情報の選択を伴う所定の操作を受け付けた場合に情報を分割して表示する。

これにより、実施形態に係る端末装置１００は、ユーザの操作に応じて表示された情報を分割できるため、音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、分割部１５１４は、表示部１５１２により表示された情報のうち、所定の操作が行われた位置を編集点として情報を分割して表示する。

これにより、実施形態に係る端末装置１００は、ユーザの操作が行われた位置を編集点として分割し、分割した情報に種々の操作を行うことができるため、音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、分割部１５１４は、表示部１５１２により表示された情報のうち、情報の選択を伴う第１の操作が行われた位置を第１の編集点として情報を複数の情報に分割して表示した後、複数の情報のいずれかの選択を伴う第２の操作を受け付けた場合に、当該第２の操作が行われた位置を第２の編集点として選択された情報を分割して表示する。

これにより、実施形態に係る端末装置１００は、分割した情報をさらに分割し、種々の操作を行うことができるため、音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、表示部１５１２は、音声を介して入力された文字列であって、漢字を含む文字列を表示する。そして、分割部１５１４は、表示部１５１２が表示した文字列に含まれる漢字を複数のひらがなに変換し、各ひらがなを分割して表示する。

これにより、実施形態に係る端末装置１００は、漢字を含む文字列に対する変換操作を容易に行うことができるため、音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、受付部１５１３は、複数の情報を結合する操作を受け付ける。そして、結合部１５１６は、受付部１５１３が複数の情報を結合する操作を受け付けた場合に複数の情報を結合して表示する。

これにより、実施形態に係る端末装置１００は、表示された情報を結合することができるため、音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、結合部１５１６は、複数の情報のうち選択された情報を他の情報が表示された方向へ移動させる操作を受け付けた場合に選択された情報を他の情報と結合して表示する。

これにより、実施形態に係る端末装置１００は、感覚的な操作により表示された情報を結合できるため、音声入力に関するユーザビリティを向上させることができる。

また、実施形態に係る端末装置１００において、例えば、結合部１５１６は、選択に伴いタップ操作が行われた情報を他の情報と結合して表示する。

また、実施形態に係る端末装置１００において、例えば、結合部１５１６は、複数の情報のうち、選択に伴いスライド操作が行われた情報をスライド方向の情報と結合して表示する。

また、実施形態に係る端末装置１００において、例えば、結合部１５１６は、複数の情報を変更せずに結合して表示する。

これにより、実施形態に係る端末装置１００は、ユーザによって操作が行われた情報を変更せずに結合できるため、音声入力に関するユーザビリティを向上させることができる。

〔６．ハードウェア構成〕
また、上述してきた各実施形態に係る端末装置は、例えば図５に示すような構成のコンピュータ１０００によって実現される。以下、端末装置１００を例に挙げて説明する。図５は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１５０の機能を実現する。また、ＨＤＤ１４００には、端末装置１００の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

〔７．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した端末装置１００は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、認識部は、認識手段や認識回路に読み替えることができる。

１００端末装置
１１０通信部
１２０入力部
１３０出力部
１４０物理センサ
１５０制御部
１５１１認識部
１５１２表示部
１５１３受付部
１５１４分割部
１５１５更新部
１５１６結合部
１５１７出力部
１５２第１アプリケーション
１５３第２アプリケーション

Claims

音声を介して入力された複数の情報であって、音声の認識結果である文字列を分割した複数の文字にそれぞれ対応する複数の情報を表示する表示手順と、
前記表示手順により表示された複数の情報のうち、選択された情報を他の情報が表示された方向へ移動させる操作を受け付けた場合に選択された情報を他の情報と結合して表示する結合手順と
をコンピュータに実行させることを特徴とする結合プログラム。
前記結合手順は、
前記複数の情報のうち、選択に伴いタップ操作が行われた情報を他の情報と結合して表示する
ことを特徴とする請求項１に記載の結合プログラム。
前記結合手順は、
前記複数の情報のうち、選択に伴いスライド操作が行われた情報をスライド方向の情報と結合して表示する
ことを特徴とする請求項１に記載の結合プログラム。
前記表示手順は、
音声認識の結果となる文字列を表示する
ことを特徴とする請求項１から３のいずれか一つに記載の結合プログラム。
前記表示手順は、
音声認識の結果となる情報を分割した複数の情報を表示する
ことを特徴とする請求項１から４のいずれか一つに記載の結合プログラム。
前記結合手順は、
前記複数の情報を変更せずに結合して表示する
ことを特徴とする請求項１から５のいずれか一つに記載の結合プログラム。
音声を介して入力された複数の情報であって、音声の認識結果である文字列を分割した複数の文字にそれぞれ対応する複数の情報を表示する表示部と、
前記表示部により表示された複数の情報のうち、選択された情報を他の情報が表示された方向へ移動させる操作を受け付けた場合に選択された情報を他の情報と結合して表示する結合部と
を備えることを特徴とする結合装置。
コンピュータが実行する結合方法であって、
音声を介して入力された複数の情報であって、音声の認識結果である文字列を分割した複数の文字にそれぞれ対応する複数の情報を表示する表示工程と、
前記表示工程により表示された複数の情報のうち、選択された情報を他の情報が表示された方向へ移動させる操作を受け付けた場合に選択された情報を他の情報と結合して表示する結合工程と
を含むことを特徴とする結合方法。