JP5556270B2 - 候補表示装置および候補表示方法 - Google Patents

Description

本発明は、候補の表示を行うための候補表示装置および候補表示方法に関する。

タッチパネルの普及に伴い、ディスプレイ装置にタッチパネルを採用したコンピュータ装置、ＰＤＡ（Personal Digital Assistance）または携帯電話等が、数多く製品化されてきている。タッチパネルの採用により、様々なアプリケーションの利用時において、入力等の操作性を高めることができる。また、タッチパネルにおけるタッチ対象ボタンの表示位置をユーザに応じて変更することにより、操作性をより高めることができる。

例えば、タッチパネルを有する表示装置に表示されているメニュー画面等の初期画面へ、操作者が最初にタッチを行った場合のタッチ分布等に基づき操作者の利き手を判定し、判定した利き手に応じて次回以降の操作画面を変更する技術が知られている（例えば、特許文献１参照。）。また、キーボードのキーが左手で打鍵されたか右手で打鍵されたかを検出する技術が知られている（例えば、特許文献２参照。）。さらに、キーボードの使用形態が、ユーザが両手を用いてキー入力可能な第１の使用モード、又は、ユーザが一方の手でマウスを使用し他方の手のみを用いてキー入力可能な第２の使用モードのうちいずれであるかを検出する技術が知られている（例えば、特許文献３参照。）。

特開２００６−３３１０９２号公報 特開２００６−８５６８７号公報 特開２００２−３５８１５１号公報

例えば、コンピュータ装置のディスプレイ装置としてタッチパネルを採用することにより、従来のキーボードによる入力と、タッチパネルによる入力とが可能となる。この場合の入力形態について、かな漢字変換アプリケーションを例に挙げて説明する。図１は、コンピュータ装置１０上において、タッチパネルとキーボードとを用いてかな漢字変換処理を行う場合の一例を示す模式図である。

まず、ユーザは、右手１１または左手１２を用いて、キーボード１３上の所望の文字キーをキー入力する。例えば、いわゆるローマ字入力方式で「ふじ」を入力する場合、「Ｆ」、「Ｕ」、「Ｊ」、「Ｉ」の各文字キーを押下する。この場合、ユーザのキー入力に従い、エディタ画面１６には、かな文字「ふじ」が表示される。コンピュータ装置１０は、キー入力された文字列「ふじ」に基づいて予測変換を行い、１または複数の変換候補を、優先順位の高い順にタッチパネル１４上に表示させる。図１においては、文字列「ふじ」に対する変換候補として、「富士」、「富士山」および「富士登山」の各変換候補が優先順位の高い順に表示される。

ユーザは、タッチパネル上において目的とする変換候補を発見すると、その変換候補（例えば、変換候補１５。）が表示されているタッチパネルの表面部分を、左手１２（または左手）を用いてタッチ（接触）選択する。コンピュータ装置１０は、ユーザがタッチ選択したタッチパネル１４上の座標位置に基づいて、何れの変換候補が選択されたのかを認識し、この認識した変換候補を、入力された文字（例えば、「ふじ」。）に対する変換文字列（例えば、「富士」。）として決定する。

このように、キーボード１３とタッチパネル１４という２つの入力装置を連携させて文字入力を行うコンピュータ装置１０においては、タッチパネルによる入力は、従来、キーボード１３による入力のみで行っていた文字入力操作（例えば、入力〜変換〜確定等。）を補助するものといえる。また、上記コンピュータ装置１０においては、キーボード１３は文字入力機能に特化しており、タッチパネル１４は変換候補の選択機能に特化している。つまり、上記コンピュータ装置１０では、入力操作を行うキーボード１３と、選択操作を行うタッチパネル１４とという２つの装置に各機能を分離することで、個々の装置に対する操作を単純化して、ユーザの操作性の向上を図ることが可能となる。

仮に、上述した、キーボード１３とタッチパネル１４という２つの入力装置を連携させて文字入力を行うコンピュータ装置１０に対して、操作者の利き手（例えば、図１の１１または１２。）を判定して利き手に応じた操作画面に変更して表示する技術を適用した場合、例えば、過去のタッチパネル１４の利用状況から利き手を判定し、判定した利き手に応じた位置に変換候補１５を表示させることができる。

また、仮に、上述した、キーボード１３とタッチパネル１４という２つの入力装置を連携させて文字入力を行うコンピュータ装置１０に対して、キーボードのキーが左手１２で打鍵されたか右手１１で打鍵されたかを検出する技術を適用した場合、例えば、キーボードを打鍵した手がいずれであるかを判定し、判定した手に応じた位置に変換候補を表示させることができる。

さらに、仮に、上述した、キーボード１３とタッチパネル１４という２つの入力装置を連携させて文字入力を行うコンピュータ装置１０に対して、両手を用いてキー入力可能な第１の使用モードか一方の手でマウスを使用し他方の手のみを用いてキー入力可能な第２の使用モードかを検出する技術を適用した場合、例えば、キー入力可能な手が、両手（例えば、図１の１１および１２。）であるか片手（例えば、図１の１１または１２。）であるかを判定し、キー入力可能な手に応じた位置に変換候補を表示させることができる。

しかしながら、キーボード１３とタッチパネル１４という２つの入力装置を連携させて文字入力を行う場合において、利き手がいずれであるか、打鍵した手がいずれであるか、または、片手か両手か等に基づいて変換候補の表示位置を決定するだけでは、変換候補の表示選択にかかる操作性を十分に高めることはできない。

なぜなら、ユーザが、タッチパネルに対して左右の手を割り当てるやり方（例えば、癖等。）は、ユーザの能力（例えば、ユーザの手の運動性能、ユーザの視野角またはユーザの注意力等。）やユーザの嗜好性等によって異なってくるからである。つまり、上記のような装置では、ユーザの能力や嗜好性等の操作状況に適した態様で候補を表示することができないため、候補選択時におけるユーザの利便性を向上させることができない、という問題がある。このような問題は、特に、高齢者や障害者において顕著となり得る。

本発明は、上記のような点に鑑みてなされたものであり、ユーザの操作状況に適した態様で候補を表示して、候補選択時におけるユーザの利便性を向上させることのできる候補表示装置および候補表示方法を提供することを目的とする。

上記の目的を達成するために、以下に開示する候補表示装置は、入力装置に対するユーザの入力操作を受け付ける入力操作受付部と、表示選択装置に対してユーザがタッチ選択可能なように候補を表示させ、前記表示選択装置に表示させた候補についてユーザからのタッチ選択を受け付けるタッチ選択制御部と、前記入力操作受付部において受け付けたユーザからの入力操作に基づいて決定された少なくとも１つの候補を取得する候補取得部と、前記入力装置において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する入力操作状況取得部と、前記入力操作状況に基づいて、前記表示選択装置に表示させる候補の表示位置を決定する表示位置決定部とを備える。

本願明細書の開示によれば、ユーザの操作状況に適した態様で候補を表示して、候補選択時におけるユーザの利便性を向上させることが可能となる。

タッチパネルとキーボードを用いて、かな漢字変換処理を行う場合の一例を示す模式図である。 候補表示装置１における各機能部の関係の一例を示す図である。 図２に示した候補表示装置１を、ＣＰＵを用いて実現したハードウェア構成の例を示す図である。 候補表示装置１のＣＰＵ３０２で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。 タッチパネル付きディスプレイ３０１に表示される画面の一例を示す図である。 キー入力方向の判定処理のオペレーションチャートの一例を示す図である。 キー入力方向判定処理のオペレーションチャートの一例を示す図である。 Ｘ−Ｙ−Ｚ軸による三次元座標空間上において、キーボード３０５上の最後の入力キーの位置Ｐ１からタッチパネル付きディスプレイ３０１上の候補表示位置Ｐ２との距離Ｌを示す模式図である。 タッチパネル付きディスプレイ３０１のＸ０−Ｙ０軸の座標平面において、左上角を原点として候補表示位置Ｐ２（ｘ，ｙ）を定義する模式図である。 タッチパネル付きディスプレイ３０１のＸ０−Ｙ１軸の座標平面において、右下角を原点として候補表示位置Ｐ２（ｘ，ｈ−ｙ）を定義する模式図である。 キーボード３０５のＡ−Ｂ軸の座標平面において、右上角を原点として候補表示位置Ｐ１（ａ，ｂ）を定義する模式図である。ここで、ｄはキーボード３０５のＢ軸方向における長さである。 キーボード３０５とタッチパネル付きディスプレイ３０１との関係を示す模式図である。 タッチパネル付きディスプレイ３０１の候補表示位置に変換候補を表示させた場合の一例を示す図である。 タッチパネル付きディスプレイ３０１の候補表示位置に変換候補を表示させた場合の一例を示す図である。 タッチ選択後のタッチパネル付きディスプレイ３０１の状態の一例を示す図である。 第２の実施における候補表示の一例を示す図である。 Ｘ−Ｙ−Ｚ軸による三次元座標空間上において、キーボード３０５上の最後の入力キーの位置Ｐ１からタッチパネル付きディスプレイ３０１上の候補表示位置Ｐ３との関係を示す模式図である。 第３の実施における候補表示の一例を示す図である。 候補表示装置１のＣＰＵ３０２で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。 指向性記録データの一例を示す図である。 指向性記録データの作成処理のオペレーションチャートの一例を示す図である。 候補表示装置１のＣＰＵ３０２で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。 第５の実施形態において変換候補をしたタッチパネル付きディスプレイの一例を示す図である。 第５の実施形態において変換候補をしたタッチパネル付きディスプレイの一例を示す図である。 第５の実施形態において変換候補をしたタッチパネル付きディスプレイの一例を示す図である。 第５の実施形態において変換候補をしたタッチパネル付きディスプレイの一例を示す図である。 候補表示装置１における各機能部の関係の一例を示す図である。 候補表示装置１のＣＰＵ３０２で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。 評価データの一例を示す図である。

以下においては、本発明の実施形態について図面を用いて具体的に説明する。

［１．第１の実施形態］
以下、本実施形態にかかる候補表示装置を、いわゆるノート型のコンピュータ装置を用いて構成する場合の例について説明する。なお、本実施形態にかかる候補表示装置を、例えば携帯電話またはＰＤＡ（Personal Digital Assistance）等の装置を用いて構成してもよい。

［１−１．システム構成］
図２は、本実施形態にかかる候補表示装置における各機能部の関係の一例を示す図である。本実施形態にかかる候補表示装置１は、一例として、かな漢字変換処理を行うかな漢字変換プログラムと連携して機能する。図２に示す候補表示装置１は、入力操作受付部２０１、入力操作状況取得部２０２、表示位置決定部２０３、タッチ選択制御部２０４、候補決定部２０５、候補予測部２０６、候補取得部２０７、入力操作方向判定部２１０、入力操作方向取得部２１１、タッチ選択方向取得部２１２および、タッチ選択方向判定部２１３を備える。

入力操作受付部２０１は、入力装置であるキーボード３０５に対するユーザの入力操作を受け付ける。タッチ選択制御部２０４は、表示選択装置であるタッチパネル付きディスプレイ３０１に対してユーザがタッチ選択可能なように候補を表示させ、タッチパネル付きディスプレイ３０１（前記表示選択装置）に表示させた候補についてユーザからのタッチ選択を受け付ける。

候補予測部２０６は、入力操作受付部２０１において受け付けたユーザからの入力操作に基づいて、変換対象となり得る１または複数の候補を予測する。候補取得部２０７は、入力操作受付部２０１において受け付けたユーザからの入力操作に基づいて決定された、少なくとも１つの候補を取得する。

入力操作状況取得部２０２は、入力装置であるキーボード３０５において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する。入力操作方向取得部２１１は、キーボード３０５（入力装置）に対して、ユーザがいずれの方向から入力操作を行うかを示す入力操作方向を取得する。タッチ選択方向取得部２１２は、タッチパネル付きディスプレイ３０１（表示選択装置）に対して、ユーザがいずれの方向からタッチ選択を行うかを示すタッチ選択方向を取得する。

入力操作方向判定部２１０は、キーボード３０５（入力装置）に配置された、２以上の入力操作についての入力時間間隔に基づいて、入力操作方向を判定する。タッチ選択方向判定部２１３は、ユーザがタッチ選択を行う際における、タッチパネル付きディスプレイ３０１（表示選択装置）に対する垂直進入方向に基づいて、タッチ選択方向を判定する。

表示位置決定部２０３は、入力操作状況に基づいて、タッチパネル付きディスプレイ３０１（表示選択装置）に表示させる候補の表示位置を決定する。

このように、入力操作受付部２０１において、入力装置に対するユーザからの入力操作を受け付け、候補取得部２０７において、入力操作受付部２０１において受け付けたユーザからの入力操作に基づいて決定された少なくとも１つの候補を取得し、入力操作状況取得部２０２において、入力操作受付部２０１において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得し、表示位置決定部２０３において、入力操作状況に基づいて、表示選択装置に表示させる候補の表示位置を決定することにより、ユーザの操作状況に適した態様で候補を表示して、候補選択時におけるユーザの利便性を向上させることのできる候補表示装置の提供が可能となる。

なお、図２の候補表示装置１において示した各機能部は、プログラムによって実現されるＣＰＵの機能を含む概念である。ここで、プログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

［１−２．ハードウェア構成］
図３は、図２に示した候補表示装置１を、ＣＰＵを用いて実現したハードウェア構成の例を示す図である。上記候補表示装置１は、タッチパネル付きディスプレイ３０１、ＣＰＵ３０２、メモリ３０３、ハードディスク３０４およびキーボード３０５を少なくとも備える。ハードディスク３０４には、ＯＳ（オペレーティング・システム、図示せず。）の他、候補表示プログラム３０４ａおよび、かな漢字変換処理プログラム３０４ｂ等が記録される。ＣＰＵ３０２は、ＯＳおよび候補表示プログラム３０４ａおよび、かな漢字変換処理プログラム３０４ｂ等に基づく処理を実行する。

図２に示した候補表示装置１を構成する、入力操作受付部２０１、タッチ選択制御部２０４、入力操作状況取得部２０２、表示位置決定部２０３、候補決定部２０５、候補取得部２０７、入力操作方向判定部２１０、入力操作方向取得部２１１、タッチ選択方向取得部２１２および、タッチ選択方向判定部２１３は、一例として、ＣＰＵ３０２上において、候補表示プログラム３０４ａを実行することによって実現される。また、候補予測部２０６は、一例として、ＣＰＵ３０２上において、かな漢字変換処理プログラム３０４ｂを実行することによって実現される。

［１−３．候補表示処理］
上述の図２および図３に加え、図４〜図１０Ｃを用いて、上記候補表示装置１における候補表示プログラム３０４ａの処理内容を説明する。なお、候補表示装置１には、候補表示プログラム３０４ａおよび、かな漢字変換処理プログラム３０４ｂがインストールされているものとする。

上記処理の概要を説明すると、ＣＰＵ３０２は、候補表示プログラム３０４ａおよび、かな漢字変換処理プログラム３０４ｂを実行することによって、ユーザがキーボード３０５を用いてキー入力した文字列に基づくかな漢字変換候補を、タッチパネル付きディスプレイ３０１（以下、ディスプレイ３０１とする。）に表示させ、ディスプレイ３０１上においてユーザがタッチ選択したかな漢字変換候補を、キー入力した文字列に対する変換対象として決定する。

図４は、候補表示装置１のＣＰＵ３０２で実行される候補表示プログラム３０４ａおよび、かな漢字変換処理プログラム３０４ｂに基づく候補表示処理のオペレーションチャートの一例を示す図である。図５は、ディスプレイ３０１に表示される画面の一例を示す図である。

［１−３−１．候補取得処理］
図４のオペレーションチャートにおいて、ＣＰＵ３０２は、キー入力がされたか否かを判断する（Ｏｐ４０１）。例えば、Ｏｐ４０１におけるキー入力の有無の判断は、キーボード３０５からの出力信号に基づいて行う。この場合、図５に示すように、ユーザは、エディタの入力領域５１内に、かな漢字変換処理の変換前文字列として「ふじ」を入力する。

ＣＰＵ３０２は、キー入力がされたと判断すると（Ｏｐ４０１、Ｙｅｓ）、いずれの入力キーを押下してキー入力されたかについての情報を記録する（Ｏｐ４０２）。例えば、キーボードのドライバ情報等に基づいてキーの配列情報（例えば、ＪＩＳ配列等。）を取得し、配列情報に基づく入力キーに関する情報（例えば、キーの位置情報等。）をメモリ３０３上に記録する。

ＣＰＵ３０２は、入力キーを記録した後、入力文字列に基づいて候補を予測する（Ｏｐ４０３）。例えば、Ｏｐ４０３の処理は、かな漢字変換処理プログラム３０４ｂによって実行される。具体的には、過去の変換履歴等に基づいて、入力文字列から予測可能な変換候補を抽出する処理を行う。

ＣＰＵ３０２は、候補が存在すると判断すると（Ｏｐ４０４、Ｙｅｓ）、予測可能な変換候補の情報を取得する（Ｏｐ４０５）。この場合、変換候補が複数個あれば、変換候補の表示の優先順位とともに変換候補の情報を取得する。なお、この優先順位は、例えば、過去の変換回数に基づいて決定される。

ＣＰＵ３０２は、ユーザが最後にキー入力を行った入力キーに関する情報を取得する（Ｏｐ４０６）。例えば、最後にキー入力を行った入力キーに関する情報は、Ｏｐ４０２において、直前にメモリ３０３上に記録した入力キーの情報から取得可能である。例えば、かな文字「ふじ」が、いわゆるローマ字入力方式により入力されていた場合、「Ｆ」、「Ｕ」、「Ｊ」、「Ｉ」の順にキー入力が行われるため、直前に記録した入力キーは「Ｉ」である。したがって、この場合、最後にキー入力を行った入力キーに関する情報として、「Ｉ」が取得される。

ＣＰＵ３０２は、キーボード３０５に対して、ユーザがいずれの方向から入力操作を行うかを示す入力操作方向を取得する（Ｏｐ４０７）。ここで、入力操作方向とは、キーボードを用いて入力を行う場合に、左手、右手または両手のいずれを使って入力を行うかを示すものである。

入力操作方向の取得は、例えば、キー入力方向判定処理を介して取得することができる（Ｏｐ４１４）。なお、Ｏｐ４１４のキー入力方向判定処理は、キー入力の都度実行してもよいし、任意のタイミングで実行してもよい。

［１−３−２．キー入力方向判定処理］
図６は、Ｏｐ４１４のキー入力方向判定処理のオペレーションチャートの一例を示す図である。この処理において、ＣＰＵ３０２は、まず、左右領域をまたがる連続キー入力の入力速度データＡを収集する（Ｏｐ６０１）。例えば、左右領域は、ＪＩＳ配列キーボードの場合、「Ｔ」と「Ｙ」、「Ｇ」と「Ｈ」、「Ｂ」と「Ｎ」の各キーの間を境界として、キーボード上の各キーを左右に分離することによって決定する。例えば、Ｏｐ４０２においてメモリ３０３に記録したキー入力情報を参照し、左右領域を超えて連続して入力された２つの入力キーの組合せを少なくとも１組抽出し、各キーの入力時刻と距離との関係に基づいて、１または複数の入力速度データＡを算出する。例えば、入力速度データＡは、キーボード３０５上における２つの入力キー間の距離を、２つの入力キーの入力時間間隔で除算することにより算出される。

次に、ＣＰＵ３０２は、左右領域をまたがらない連続キー入力の入力速度データＢを収集する（Ｏｐ６０２）。例えば、右側領域のみまたは左側領域のみにおいて、連続して入力された２つの入力キーの組合せを少なくとも１組抽出し、各キーの入力時刻と距離との関係に基づいて、１または複数の入力速度データＢを算出する。例えば、入力速度データＢは、入力速度データＡと同様に、キーボード３０５上における２つの入力キー間の距離を、２つの入力キーの入力時間間隔で除算することにより算出される。

ＣＰＵ３０２は、入力速度データＡの平均値が、入力速度データＢの平均値よりも高いか否かを判断する（Ｏｐ６０３）。ＣＰＵ３０２は、入力速度データＡの平均値が、入力速度データＢの平均値よりも高いと判断する場合には（Ｏｐ６０３、Ｙｅｓ）、両手操作と判定する（Ｏｐ６０４）。

一方、ＣＰＵ３０２は、入力速度データＡの平均値が、入力速度データＢの平均値よりも高いと判断しない場合には（Ｏｐ６０３、Ｎｏ）、さらに、右側領域内と左側領域内の連続キー入力の速度データ群の平均値が、有意に差があるか否かを判断する（Ｏｐ６０５）。例えば、有意の判断には、分散分析を用いてデータの平均値に有意差が存在するか否かを検定すればよい。そして、ＣＰＵ３０２は、左側領域の入力速度データＡまたはＢの平均値が有意に高い場合には、左手片手操作と判定する（Ｏｐ６０６）。反対に、右側領域の入力速度データＡまたはＢの平均値が有意に高い場合には、右手片手操作と判定する（Ｏｐ６０８）。さらに、左側領域および右側領域の入力速度データＡまたはＢの平均値に差がない場合には、両手操作と判定する（Ｏｐ６０７）。

上記のように判断する理由は、例えば、右手を用いて、左側領域において連続する２つのキー入力を行うためには、右手によるキー間移動において指や腕を伸ばす動作に時間がかかると考えられるからである。

一般的には、平面上に前腕をおき肘を９０°に屈曲させた状態を基準とする場合において、上腕長軸における回旋角度が大きくなるほど（例えば、右手がキーボードの左側に移動するほど）、対象を認知する時間がかかり、対象の触知が困難になり、作業遂行の主観的な困難度が上がることが知られている。このことから、例えば、右手が左側にいくほどキーボードの操作に対する主観的困難度、対象の触知困難性または不正確さが増大し、動作に時間がかかると考えられる。

このため、右側領域において連続する２つのキー入力を行う場合は、上記動作に時間を要せず左側領域に比べて入力速度が有意に速くなると考えられる。

なお、キーボードの中央付近においては、左右の手を使用することもあり得るので、キーボードの中央付近の所定キーの重み付けを軽くして、上記平均値を算出するようにしてもよい。これにより、操作手の判定精度を向上させることができる。

上記Ｏｐ４１４においては、同一のユーザによってある程度入力操作が行われた後でなければ適切な判定処理を行うことができない。このため、メモリ３０３に入力キーの操作履歴が十分に記録されていない場合には、デフォルト値として「両手操作」と判定してもよい。

また、ユーザからの自己申告に基づいて、右手操作、左手操作または両手操作を決定してもよい。例えば、コンピュータ装置の使用開始時等において、操作手の設定登録画面を表示して、ユーザが選択動作を行うようにしてもよい。

さらに、他の判定方法に基づいて、右手操作、左手操作または両手操作を決定してもよい。例えば、カメラ装置やセンサ等を用いて、ユーザのキー入力が右手操作、左手操作または両手操作のいずれで行われているかを判定するようにしてもよい。

［１−３−３．タッチ選択方向判定処理］
図４の処理に戻ると、ＣＰＵ３０２は、ディスプレイ３０１に対して、ユーザがいずれの方向からタッチ選択を行うかを示すタッチ選択方向を取得する（Ｏｐ４０８）。ここで、タッチ選択方向とは、ディスプレイ３０１にタッチ選択を行う場合に、左手、右手または両手のいずれを使って選択を行うかを示すものである。

タッチ選択方向の取得は、例えば、タッチ選択方向判定処理を介して取得することができる（Ｏｐ４１５）。なお、タッチ選択方向判定処理は、タッチ選択の都度実行してもよいし、任意のタイミングで実行してもよい。なお、上記Ｏｐ４１５においては、同一のユーザによってある程度タッチ選択が行われた後でなければ適切な判定処理を行うことができない。このため、メモリ３０３にタッチ選択の操作履歴が十分に記録されていない場合には、デフォルト値として「両手操作」と判定してもよい。

図７は、タッチ選択方向判定処理のオペレーションチャートの一例を示す図である。この処理において、ＣＰＵ３０２は、まず、手の進入データ（三次元データ（ＸＹＺ）群）と最終侵入位置（ＸＹ）のペアを収集する（Ｏｐ７０１）。例えば、手の進入データの取得には、画面法線方向のセンシングが可能な静電容量方式のタッチパネルを用いればよい。

次に、ＣＰＵ３０２は、手の進入ベクトルを計算し、常に垂直傾向の強い進入位置(垂直侵入位置)を算出する（Ｏｐ７０２）。例えば、垂直傾向が強ければ、その進入位置の正面に位置する側の手を用いてタッチしていると考えられるからである。

ＣＰＵ３０２は、垂直進入位置は一箇所か否かを判断する（Ｏｐ７０３）。例えば、垂直進入位置が二カ所以上であれば両手を使ってタッチ選択を行っていると考えられるからである。よって、ＣＰＵ３０２は、垂直進入位置が一箇所でないと判断した場合（Ｏｐ７０３、Ｎｏ）、両手操作と判定する（Ｏｐ７０４）。

ＣＰＵ３０２は、垂直進入位置が一箇所であると判断した場合（Ｏｐ７０３、Ｙｅｓ）、三次元データから、手が、奥行き（Ｚ）一定の閾値内で横に平行移動をしているときのデータを抽出し、その横方向平均移動速度を、横方向座標に紐つけて収集する。この後、ＣＰＵ３０２は、垂直進入位置の右領域と左領域で平均進入ベクトルの左右傾き度合いはどちらが強いかを判断する（Ｏｐ７０６）。

ＣＰＵ３０２は、上記平均進入ベクトルが、ディスプレイ３０１から見て、ほとんど右側に傾いていると判断する場合には、左手片手操作と判定する（Ｏｐ７０７）。一方、ＣＰＵ３０２は、上記平均進入ベクトルが、ディスプレイ３０１から見て、ほとんど左側に傾いていると判断する場合には、右手片手操作と判定する（Ｏｐ７０９）。他方、ＣＰＵ３０２は、上記平均進入ベクトルが、ディスプレイ３０１から見て、左右の傾きに差がないと判断する場合には、両手操作と判定する（Ｏｐ７０８）。

［１−３−４．Ｏｐ４１０の候補表示位置算出処理］
図４の処理に戻ると、ＣＰＵ３０２は、入力操作方向とタッチ選択方向とが共通するか否かを判断する（Ｏｐ４０９）。例えば、入力操作方向を示す手が「右手」かつタッチ選択方向を示す手が「右手」であれば、入力操作方向とタッチ選択方向とが「右手」で共通する。また、入力操作方向を示す手が「左手」かつタッチ選択方向を示す手が「左手」であれば、入力操作方向とタッチ選択方向とが「左手」で共通する。

ＣＰＵ３０２は、入力操作方向とタッチ選択方向とが共通する場合（Ｏｐ４０９、Ｙｅｓ）、最後の入力キーの位置からタッチパネル上の候補表示位置を算出する（Ｏｐ４１０）。この場合、優先順位の最も高い変換候補（Ｏｐ４０５で取得済み。）を、キーボード３０５上における最後の入力キー（Ｏｐ４０６で取得済み。）から、ディスプレイ３０１までの距離が他の変換候補よりも近くなる位置に表示するように各候補表示位置を算出する。これにより、キーボード３０５とディスプレイ３０１との連携操作を行う手の移動距離を比較的小さくすることができる。このため、ユーザの手の疲労を発生し難くすることができる。

以下、Ｏｐ４１０において候補の表示位置を算出する処理について具体的に説明する。図８は、Ｘ−Ｙ−Ｚ軸による三次元座標空間上において、キーボード３０５上の最後の入力キーの位置Ｐ１からディスプレイ３０１上の候補表示位置Ｐ２との距離Ｌを示す模式図である。図９Ａは、ディスプレイ３０１のＸ０−Ｙ０軸の座標平面において、左上角を原点（０，０）として候補表示位置Ｐ２（ｘ，ｙ）を定義した場合の模式図である。図９Ｂは、ディスプレイ３０１のＸ０−Ｙ１軸の座標平面において、右下角を原点（０，０）として候補表示位置Ｐ２（ｘ，ｈ−ｙ）を定義した場合の模式図である。ここで、ｈはディスプレイ３０１のＹ０軸またはＹ１軸方向における長さである。

図９Ｃは、キーボード３０５のＡ−Ｂ軸の座標平面において、右上角を原点（０，０）として候補表示位置Ｐ１（ａ，ｂ）を定義した場合の模式図である。ここで、ｄはキーボード３０５のＢ軸方向における長さである。図９Ｃに示す座標系上（Ａ−Ｂ軸の座標平面）のＰ１を、図８に示す座標系上（Ｘ−Ｙ−Ｚ軸による三次元座標空間）において表すと以下のようになる。

図９Ｄは、キーボード３０５とディスプレイ３０１との関係を示す模式図である。ここで、θは、コンピュータ装置１０におけるディスプレイ３０１の開き角度であって、この角度は、Ｘ−Ｙ平面に該当するキーボード３０５とディスプレイ３０１との関係によって定まる角度である。図９Ｂに示す座標系上（Ｘ０−Ｙ１軸の座標平面）のＰ２を、図９Ｄに示す座標系上（Ｘ−Ｙ−Ｚ軸による三次元座標空間）において表すと以下のようになる。

以上により、図９Ｄに示す座標系上（Ｘ−Ｙ−Ｚ軸による三次元座標空間）において、Ｐ１とＰ２との距離Ｌは以下の式で算出される。

したがって、Ｏｐ４１０においてＣＰＵ３０２は、変換候補を表示可能な代表座標位置（例えば、表示面積に対する重心位置等。）について上記距離Ｌを算出しておき、表示の有線順位が高いほど、上記距離Ｌが小さくなるように、各変換候補の表示位置を算出する。

なお、本実施形態においてはノート型のコンピュータ装置を用いているが、キーボード３０５とディスプレイ３０１との位置関係に基づいて、座標系変換時に適切な補正をかけることによって上記距離Ｌを算出してもよい。

例えば、キーボード３０５とディスプレイ３０１とが、それぞれ独立しているデスクトップ型のコンピュータ装置を用いる場合には、キーボード３０５とディスプレイ３０１との距離や角度に基づく位置関係を取得して上記距離Ｌを算出すればよい。また、位置関係を取得する際には、例えば、ディスプレイ等に内蔵したカメラを用いてキーボード上を撮影しておき、キー入力がなされたキーを画像認識により特定することによって、上記距離を算出してもよい。さらに、例えば、ノート型のコンピュータ装置でディスプレイ３０１が回転可能である場合には、キーボード３０５とディスプレイ３０１との距離や回転角に基づく位置関係を取得して上記距離Ｌを算出すればよい。

［１−３−５．Ｏｐ４１２の候補表示位置算出処理］
図４の処理に戻ると、ＣＰＵ３０２は、入力操作方向とタッチ選択方向とが共通しない場合（Ｏｐ４０９、Ｎｏ）、入力操作方向とタッチ選択方向とが正反対であるか否かを判断する（Ｏｐ４１１）。例えば、入力操作方向を示す手が「右手」かつタッチ選択方向を示す手が「左手」であれば、入力操作方向とタッチ選択方向とが正反対となる。また、入力操作方向を示す手が「左手」かつタッチ選択方向を示す手が「右手」であれば、入力操作方向とタッチ選択方向とが正反対となる。

ＣＰＵ３０２は、入力操作方向とタッチ選択方向とが正反対となる場合（Ｏｐ４１１、Ｙｅｓ）、ディスプレイ３０１上のタッチ選択方向端部からタッチパネル上の候補表示位置を算出して決定する（Ｏｐ４１２）。この場合、優先順位の最も高い変換候補（Ｏｐ４０５で取得済み。）を、ディスプレイ３０１上の左右の端部からの距離が他の変換候補よりも近くなる位置に表示するように各候補表示位置を算出する。これにより、ディスプレイ３０１においてタッチ選択を行う操作手に近い側（左右）に選択可能性の高い変換候補を優先的に表示して、連携操作を行う手の移動距離を比較的小さくすることができる。このため、ユーザの手の疲労を発生し難くすることができる。

［１−３−６．Ｏｐ４１３の候補表示位置算出処理］
ＣＰＵ３０２は、上記Ｏｐ４１１において入力操作方向とタッチ選択方向とが正反対とならない場合（Ｏｐ４１１、Ｎｏ）、デフォルト設定からタッチパネル上の候補表示位置を算出して決定する（Ｏｐ４１３）。この場合、例えば、優先順位の最も高い変換候補（Ｏｐ４０５で取得済み。）を、ディスプレイ３０１の左側から順に表示するように各候補表示位置を算出する。

［１−３−７．候補表示処理］
図４の処理に戻ると、ＣＰＵ３０２は、ディスプレイ３０１に信号を出力して、上記Ｏｐ４０５において取得した各変換候補を上記において決定した候補表示位置に表示させる（Ｏｐ４１６）。図１０Ａおよび図１０Ｂは、ディスプレイ３０１の候補表示位置に変換候補を表示させた場合の一例を示す図である。

図１０Ａは、上記Ｏｐ４１０において、最後の入力キー「Ｉ」の位置３０５ｉから最も近い位置に、優先順位の最も高い変換候補「富士」を表示させ、「富士」の左隣の位置に、その次に優先順位の高い変換候補「富士山」を表示させ、「富士山」の左隣の位置に、優先順位が最も低い変換候補「富士登山」を表示させた場合の例を示している。

図１０Ｂは、上記Ｏｐ４１２において、ディスプレイ３０１上のタッチ選択方向端部１０２から最も近い位置に、優先順位の最も高い変換候補「富士」を表示させ、「富士」の右隣の位置に、その次に優先順位の高い変換候補「富士山」を表示させ、「富士山」の右隣の位置に、優先順位が最も低い変換候補「富士登山」を表示させた場合の例を示している。

なお、優先順位が２番目以降の変換候補についての表示位置は任意である。例えば、変換候補が数多くある場合には、複数列に分けて表示してもよい。この場合は、最も優先順位の高い変換候補の表示位置に対する上下左右の距離に基づいて、優先順位順に各変換候補を振り分ければよい。

ＣＰＵ３０２は、各変換候補を表示すると、ユーザがいずれかの候補をタッチ選択するまで待機する（Ｏｐ４１７）。なお、タッチ選択することなくキー入力が再度開始された場合等には、上記ステップＳ４０１に戻って処理を繰り返せばよい（図示しない。）。

ユーザからのタッチ選択があると、ディスプレイ３０１は、ＣＰＵ３０２に対してタッチ選択された変換候補の座標位置を通知する。ＣＰＵ３０２は、通知された座標位置に基づいて、いずれの変換候補がタッチ選択されたかを認識する。この場合、上記Ｏｐ４１５において説明したように、タッチ選択方向判定処理が実行され、ユーザのタッチ選択の操作履歴に基づいてタッチ選択方向が判定される。これにより、ユーザによるタッチ選択の回数が増加するにつれて、タッチ選択方向の精度を向上させることができる。

また、ＣＰＵ３０２は、タッチ選択がされた変換候補の情報を、かな漢字変換処理プログラムに引き渡す。これにより、タッチ選択がされた変換候補が変換対象として決定されることになる（Ｏｐ４１８）。図１０Ｃは、タッチ選択後のディスプレイ３０１の状態の一例を示す図である。具体的には、エディタの入力領域５１に、ユーザがタッチ選択した変換候補「富士」が表示され、他の変換候補（「富士山」および「富士登山」）が画面上から消去される。

［１−３−８．まとめ］
以上に説明したとおり、上記候補表示装置１においては、キーボード入力を行う手とタッチ選択を行う手との組合せに基づいて変換候補の表示位置を決定するため、ユーザの操作状況に適した態様で候補を表示して、タッチ選択時におけるユーザの利便性を向上させることができる。

この実施形態において、入力操作受付部２０１は、一例として、図４のＯｐ４０１の処理機能を含む。タッチ選択制御部２０４は、一例として、図４のＯｐ４１６およびＯｐ４１７の処理機能を含む。入力操作状況取得部２０２は、一例として、図４のＯｐ４０７またはＯｐ４０８の処理機能を含む。表示位置決定部２０３は、一例として、図４のＯｐ４１０またはＯｐ４１２の処理機能を含む。候補決定部２０５は、一例として、図４のＯｐ４１８の処理機能を含む。候補予測部２０６は、一例として、図４のＯｐ４０３の処理機能を含む。候補取得部２０７は、一例として、図４のＯｐ４０４およびＯｐ４０５の処理機能を含む。入力操作方向判定部２１０は、一例として、図４のＯｐ４１４の処理機能を含む。入力操作方向取得部２１１は、一例として、図４のＯｐ４０７の処理機能を含む。タッチ選択方向取得部２１２は、一例として、図４のＯｐ４０８の処理機能を含む。タッチ選択方向判定部２１３は、一例として、図４のＯｐ４１５の処理機能を含む。

［２．第２の実施形態］
本実施形態にかかる候補表示装置も、第１の実施形態と同様に、いわゆるノート型のコンピュータ装置、携帯電話またはＰＤＡ（Personal Digital Assistance）等の装置を用いて構成可能である。

［２−１．システム構成およびハードウェア構成］
本実施形態にかかる候補表示装置１のシステム構成およびハードウェア構成の一例は、図２を用いて説明した第１の実施形態と基本的に同様である。

［２−２．候補表示処理］
本実施形態の候補表示装置１における候補表示処理の内容は、図４〜図７を用いて説明した第１の実施形態と基本的に同様である。しかし、本実施形態では、図８〜図１０Ｃに示した変換候補の表示方法が異なる。具体的には、図４のＯｐ４１０の候補表示位置算出処理が異なる。

［２−２−１．Ｏｐ４１０の候補表示位置算出処理］
以下、本実施形態のＯｐ４１０（図４）において候補の表示位置を算出する処理について具体的に説明する。図１１は、本実施形態における候補表示の一例を示す図である。本実施形態においては、最後のキー入力位置Ｐ１と、エディタの入力領域５１のカーソル位置Ｐ２とによって決定される直線ｍ１を、ディスプレイ３０１上の平面に射影させて得られる直線ｍ２上の位置に、優先順位が最も高い候補（図１１では「富士」とする。）を表示させる。

図１２は、Ｘ−Ｙ−Ｚ軸による三次元座標空間上において、キーボード３０５上の最後の入力キーの位置Ｐ１とカーソル位置Ｐ２とによって決定される直線上の点Ｐ４と、この点Ｐ４をディスプレイ３０１上の平面（Ｘ０−Ｙ０軸の座標平面）に射影した点Ｐ３（ｘ１，ｙ１）との関係を示す模式図である。なお、直線ｎは、候補の表示位置（高さ）の基準線を示している。

射影点Ｐ３を、Ｘ０−Ｙ０座標系で(ｘ１，ｙ１)とすると、これは、Ｘ−Ｙ−Ｚ座標系で表すと以下のようになる。

ここで、Ｐ４は、ベクトルＰ１Ｐ２の途中にあるので、以下のように表せる。

ベクトルＰ１Ｐ２と、ベクトルＰ３Ｐ４が直交する場合、内積が０となるため、以下の式が成り立つ。

このとき、未知数は、Ｘ１およびｔとなる。上述の内積の方程式を解くことで、高確率候補の基準点Ｘ１が求まる。なお、Ｐ３Ｐ４を結ぶ直線は、ユーザの視点を通る直線であることが望ましい。さらに、Ｐ３Ｐ４を結ぶ直線は、ユーザの視線と一致することが望ましい。

このように、Ｏｐ４１０においてＣＰＵ３０２は、Ｐ３を算出し、表示の優先順位が最も高い変換候補をＰ３上に表示する。これにより、最後に入力したキーからカーソル位置に向かうユーザの視線上に、変換候補を配置して視認性を高めることができる。なお、２番目以降の優先順位の変換候補は視線を遮らない方向を優先して表示させることが望ましい。例えば、図１１において、２番目の優先順位である「富士山」は、最優先の変換候補の右側に配置することによって、「富士山」のタッチ選択時に視線を遮らないようにして操作性を向上させている。

［３．第３の実施形態］
本実施形態にかかる候補表示装置も、第１の実施形態と同様に、いわゆるノート型のコンピュータ装置、携帯電話またはＰＤＡ（Personal Digital Assistance）等の装置を用いて構成可能である。

［３−１．システム構成およびハードウェア構成］
本実施形態にかかる候補表示装置１のシステム構成およびハードウェア構成の一例は、図２を用いて説明した第１の実施形態と基本的に同様である。

［３−２．候補表示処理］
本実施形態の候補表示装置１における候補表示処理の内容は、図４〜図７を用いて説明した第１の実施形態と基本的に同様である。しかし、本実施形態では、図８〜図１０Ｃに示した変換候補の表示方法が異なる。具体的には、図４のＯｐ４１０の候補表示位置算出処理が異なる。

［３−２−１．Ｏｐ４１０の候補表示位置算出処理］
以下、本実施形態のＯｐ４１０（図４）において候補の表示位置を算出する処理について限定して説明する。図１３は、本実施形態における候補表示の一例を示す図である。本実施形態においては、キーボード操作の手とタッチ選択の手とが異なる場合、最後のキー入力位置Ｐ１と、ディスプレイ３０１上の位置との距離が各候補間において最小となる位置Ｐ２から所定距離を隔てた位置Ｐ３に、優先順位が最も高い候補を表示させる。

ここで、最後のキー入力位置Ｐ１と、ディスプレイ３０１上の位置との距離が各候補間において最小となる位置Ｐ２の算出方法は、第１の実施形態（図８、図９）と同様である。また、Ｐ３の位置は、Ｘ軸において、タッチ選択の手のある方向へＰ２から所定距離隔てた位置とする。例えば、タッチ選択の手が左手であれば、Ｘ軸のマイナス方向の位置とする。また、所定距離は、一例として、左手の平均的な幅とすればよい。

これにより、最後に入力したキーを入力した手とタッチ選択をした手とがクロスすることを防止することができる。このため、タッチ選択時の操作性を向上させることができる。

［４．第４の実施形態］
本実施形態にかかる候補表示装置も、第１の実施形態と同様に、いわゆるノート型コンピュータ装置、携帯電話またはＰＤＡ（Personal Digital Assistance）等の装置を用いて構成可能である。本実施形態においては、第１の実施形態において示した候補表示装置１において、キーボードによる入力操作が行われた回数や最後に押下された入力キー等によって決定される、入力操作時の指向性に基づいて、変換候補の表示位置を決定する例について説明する。

［４−１．システム構成およびハードウェア構成］
本実施形態にかかる候補表示装置１のシステム構成およびハードウェア構成の一例は、図２を用いて説明した第１の実施形態と基本的に同様である。

［４−２．候補表示処理］
本実施形態の候補表示装置１における候補表示処理の内容は、図４〜図１０Ｃを用いて説明した第１の実施形態と基本的に同様である。しかし、本実施形態では、ユーザのキー入力操作の指向性を考慮して、タッチ選択方向を判断する点が異なる。図１４は、本実施形態における候補表示装置１のＣＰＵ３０２で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。以下、キー入力指向性に基づく処理部分に限定して説明する。

［４−２−１．Ｏｐ４０８ａおよびＯｐ４０８ｂの候補表示位置算出処理］
図１４において、ＣＰＵ３０２は、上記Ｏｐ４０８にてタッチ選択方向を取得した後、キー入力指向性があるか否かを判断する（Ｏｐ４０８ａ）。キー入力指向性は、例えば、指向性記録データに基づいて判断される。図１５は、指向性記録データの一例を示す図である。この指向性記録データは、キー入力からタッチ選択までの一連の操作を記録したログデータに基づいて任意のタイミングで作成される。本実施形態の指向性記録データは、少なくとも、最後にキー入力が行われたキーを示す「直前キー」１５１、１回のかな漢字変換処理において入力される文字列の長さを示す「入力文字列数」１５２、タッチ操作を行った手が左右のいずれであるかを示す「タッチ選択方向（タッチ選択手）」１５３等を記録する。

図１６は、指向性記録データの作成処理のオペレーションチャートの一例を示す図である。ＣＰＵ３０２は、手の進入データ（三次元データ（ＸＹＺ）群）と、ディスプレイ上における手の最終侵入位置（ＸＹ）のペアを取得する（Ｏｐ１６０１）。上述したように、例えば、手の進入データの取得には、画面法線方向のセンシングが可能な静電容量方式のタッチパネルを用いればよい。

次に、ＣＰＵ３０２は、タッチ選択方向を示すタッチ選択手を判定する（Ｏｐ１６０２）。上述したように、例えば、タッチ選択手は、手の進入ベクトルを計算し、常に垂直傾向の強い進入位置(垂直侵入位置)を算出することによって判定すればよい。

ＣＰＵ３０２は、タッチ選択操作直前のキー入力の打鍵キーの情報を取得する（Ｏｐ１６０３）。例えば、直前のキーは、上記Ｏｐ４０２においてメモリ３３等にキー情報から取得される。続いて、ＣＰＵ３０２は、入力文字列数を取得する（Ｏｐ１６０４）。例えば、かな漢字変換処理プログラムに引き渡した入力文字列の数を、都度メモリ３３等に記録しておき、当該処理においてメモリ３３等から入力文字列数を取得する。

ＣＰＵ３０２は、上記Ｏｐ１６０３にて取得した入力キーおよび、上記Ｏｐ１６０４にて取得した入力文字列数を、上記Ｏｐ１６０２にて判定したタッチ選択手に対応付けて指向性記録データに記録する（Ｏｐ１６０５）。

図１４の処理に戻ると、ＣＰＵ３０２は、キー入力指向性があると判断すれば（Ｏｐ４０８ａ、Ｙｅｓ）、キー入力指向性データに基づいてタッチ選択方向を決定する（Ｏｐ４０８ｂ）。例えば、図１５のレコード１５０に示すように、直前キーが「Ｉ」であり、入力文字列数が「１０」文字以上である場合には、タッチ選択方向を示すタッチ選択手は「右手」であるというキー入力指向性があると判断される。この場合、例え、Ｏｐ４０８において取得したタッチ選択方向が「左手」または「両手」であっても、タッチ選択手を「右手」として以降の処理（Ｏｐ４０９〜）が続行される。

以上のように、ユーザの入力操作の指向性を考慮してタッチ選択方向を判断することにより、ユーザの入力特性（例えば、癖。）に応じた位置に変換候補を表示することができる。このため、タッチ選択時の操作性を向上させることができる。

なお、上記においては、キー入力指向性の判断指標として「入力文字列数」を用いたが、他の指標を用いてもよい。例えば、ユーザがキーボード上のキーを何回押下したかを示す、キー入力回数を判断指標として採用してもよい。

［５．第５の実施形態］
本実施形態にかかる候補表示装置も、第１の実施形態と同様に、いわゆるノート型コンピュータ装置、携帯電話またはＰＤＡ（Personal Digital Assistance）等の装置を用いて構成可能である。本実施形態においては、第１の実施形態において示した候補表示装置１において、キーボードによる入力操作が行われた回数や最後に押下された入力キー等によって、変換候補の上下方向（高さ方向）の表示位置を決定する例について説明する。

［５−１．システム構成およびハードウェア構成］
本実施形態にかかる候補表示装置１のシステム構成およびハードウェア構成の一例は、図２を用いて説明した第１の実施形態と基本的に同様である。

［５−２．候補表示処理］
本実施形態の候補表示装置１における候補表示処理の内容は、図４〜図１０Ｃを用いて説明した第１の実施形態と基本的に同様である。しかし、本実施形態では、Ｏｐ４１６の前において、ユーザのキー入力操作の現在の状況を考慮して、最終的に変換候補を表示する上下方向の位置を調整する点が異なる。図１８Ａ〜図１８Ｄは、本実施形態において変換候補をしたタッチパネル付きディスプレイ３０１の一例を示す図である。

一般に、比較的長い文字列について、キーボードとタッチパネルとの連携操作を行っている場合は、ユーザはキーボードのみを凝視して入力操作をしている可能性が高い。なぜなら、文字列が長ければ、入力に夢中になって、ディスプレイ表示に気づきにくい場合があるからである。

そこで、入力文字列が比較的長い場合には、顔を上げてエディタの入力領域を見たときに、同時に予測変換候補に気づきやすくするために、ディスプレイ上においてエディタの入力領域に近くなる位置に、高確率の予測変換候補を優先して表示する。例えば、図１８Ａまたは図１８Ｂに示すように、最優先の変換候補１８０を、通常の表示位置よりも上下方向において高くなる位置に変換候補を表示する。これにより、入力時における視線移動を低減することができる。このため、操作性および視認性が向上する。

一方、入力文字列が比較的短い場合には、ユーザが予測変換候補に気づきやすいように、例えば、図１８Ｃまたは図１８Ｄに示すように、ディスプレイ上においてキーボード側に近い位置に、高確率の予測変換候補１８０を優先して表示する。これにより、入力時における視線移動を低減することができる。このため、操作性および視認性が向上する。

また、ユーザが各打鍵キーを見ながらキー入力操作を行っている場合、直前の入力キーがキーボードの上下方向でどの位置に属するかによって、ユーザの視線や視野が異なる。例えば、最終打鍵位置指向性が、キー入力装置の「上領域」に見られる場合、利用者は、キー入力装置を凝視しており、表示装置上の予測候補に気づきにくい性質があると推測できる。

そこで、キー入力の上下位置に応じて、予測候補の表示位置（上下）を変えて、ユーザの予測候補利用を促すため、例えば、図１８Ｃまたは図１８Ｄに示すように、ディスプレイ上においてキーボード側に近い位置に、高確率の予測変換候補１８０を優先して表示する。これにより、入力時における視線移動を低減することができる。このため、操作性および視認性が向上する。

［５−２−１．Ｏｐ４１３ａおよびＯｐ４１３ｂの候補表示位置算出処理］
図１７は、本実施形態における候補表示装置１のＣＰＵ３０２で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。以下、図４と図１７との相違部分に限定して説明する。

図１７において、ＣＰＵ３０２は、上記Ｏｐ４１０，Ｏｐ４１２またはＯｐ４１３にてタッチパネル上の候補表示位置を算出した後、ユーザの現在の入力状況によるキー入力回数が所定値以上であるか否かを判断する（Ｏｐ４１３ａ）。例えば、入力文字列が１０文字以上である場合には、変換候補の表示位置を高めに設定する（Ｏｐ４１３ｂ）。例えば、ディスプレイ３０１上においてエディタ入力領域５１に近い上下位置（つまり、上方に）に、高確率の予測変換候補を優先して表示する。

次に、ＣＰＵ３０２は、ユーザの現在の入力状況によるキー入力回数が所定値以下であるか否かを判断する（Ｏｐ４１３ｃ）。例えば、入力文字列が３文字以下である場合には、変換候補の表示位置を低めに設定する（Ｏｐ４１３ｄ）。例えば、ディスプレイ３０１上においてキーボード３０５に近い側の上下位置（つまり、下方に）に、高確率の予測変換候補を優先して表示する。

次に、ＣＰＵ３０２は、Ｏｐ４０２において記録した最後の入力キーが、キーボード３０５において上段に位置するキーであるか否かを判断する（Ｏｐ４１３ｅ）。例えば、ＪＩＳ配列キーボードを使用している場合には、「Ｑ、Ｗ、Ｅ、…、Ｉ、Ｏ、Ｐ」と並ぶキーの列を上段とし、「Ａ、Ｓ、Ｄ、…、Ｊ、Ｋ、Ｌ」と並ぶキーの列を中段とし、「Ｚ、Ｘ、Ｃ、…、Ｂ、Ｎ、Ｍ」と並ぶキーの列を下段とする。例えば、最後の入力キーが「Ｉ」であれば、この入力キーは、上段に位置するキーと判断し、変換候補の表示位置を低めに（つまり、下方に）設定する（Ｏｐ４１３ｆ）。

なお、上記においては、キー入力回数の判断指標として「入力文字列数」を用いたが、他の指標を用いてもよい。例えば、ユーザがキーボード上のキーを何回押下したかを示す、キー入力回数を判断指標として採用してもよい。

［６．第６の実施形態］
本実施形態にかかる候補表示装置も、第１の実施形態と同様に、いわゆるノート型コンピュータ装置、携帯電話またはＰＤＡ（Personal Digital Assistance）等の装置を用いて構成可能である。本実施形態の候補表示装置１は、表示選択装置に候補を表示させた時刻と、表示選択装置においてユーザからのタッチ選択を受け付けた時刻とに基づいて、タッチ選択に関する速度を計測する。本実施形態の候補表示装置１は、タッチ選択計測部において計測されたタッチ選択に関する速度の履歴情報に基づいて、表示選択装置に表示させる候補の表示タイミングを調整する。本実施形態の候補表示装置１は、調整した表示タイミングに基づいて候補表示位置を決定して候補を表示する。

［６−１．システム構成およびハードウェア構成］
本実施形態にかかる候補表示装置１のシステム構成およびハードウェア構成の一例は、図２を用いて説明した第１の実施形態と基本的に同様である。但し、本実施形態のシステム構成例においては、図２に加えて、タッチ選択計測部および表示タイミング調整部をさらに備える。図１９は、本実施形態にかかる候補表示装置における各機能部の関係の一例を示す図である。

図１９において、タッチ選択計測部２０９は、表示選択装置であるディスプレイ３０１に候補を表示させた時刻と、ディスプレイ３０１（表示選択装置）においてユーザからのタッチ選択を受け付けた時刻とに基づいて、タッチ選択に関する速度を計測する。また、表示タイミング調整部２０８は、タッチ選択計測部２０９において計測されたタッチ選択に関する速度の履歴情報に基づいて、ディスプレイ３０１（表示選択装置）に表示させる候補の表示タイミングを調整する。そして、表示位置決定部２０３は、表示タイミング調整部２０８から出力された表示タイミングに基づいて候補を表示する。

図１９に示した候補表示装置１を構成する、タッチ選択計測部２０９、表示タイミング調整部２０８は、一例として、ＣＰＵ３０２上において候補表示プログラム３０４ａ（図３）を実行することによって実現される。

［６−２．候補表示処理］
本実施形態の候補表示装置１における候補表示処理の内容は、図４〜図１０Ｃを用いて説明した第１の実施形態と基本的に同様である。しかし、本実施形態では、図４のＯｐ４１８において変換候補を決定した後、評価データを記録しておき、次回の候補表示時においてフィードバック制御を行う。

［６−２−１．Ｏｐ４１６の候補表示表示処理］
図２０は、本実施形態における候補表示装置１のＣＰＵ３０２で実行される候補表示プログラムに基づく候補表示処理のオペレーションチャートの一例を示す図である。以下、図４と図２０との相違部分に限定して説明する。

図２０において、ＣＰＵ３０２は、上記Ｏｐ４１８にてかな漢字変換候補を決定した後、評価データ保持部２００に評価データを記録する（Ｏｐ４１９）。評価データ保持部２００は、例えば、メモリ３０３またはハードディスク３０４に記録される。

図２１は、評価データの一例を示す図である。評価データ２００には、かな漢字変換候補として決定された文字列を示す「変換対象文字列」２１１、ユーザがタッチ選択操作にて候補を確定した時刻を示す「確定時刻」２１２、ユーザがキー入力操作にて最後に入力したキーを示す「最終入力キー」２１３、ユーザがキー入力操作にて最後に入力したキーの入力時刻を示す「入力時刻」２１４、ユーザがキー入力操作にて最後に入力したキーとエディタ入力領域との距離および、ユーザが最後のキーを入力した時刻からユーザがタッチ選択を行った時刻までの経過時間によって算出された「タッチ選択速度」２１５等が記録される。

例えば、図１０Ａ〜図１０Ｃに示したタッチ選択を実施している場合、図２１のレコード２１０に示すように、「変換対象文字列」２１１として「富士」、「確定時刻」２１２として「12:00:05」、「最終入力キー」２１３として「Ｉ」、「入力時刻」２１４として「12:00:04」、「タッチ選択速度」２１５として「０．３ｍ／ｓ」が記録される。

評価データ保持部２００に評価データが記録された後、次回のＯｐ４１６の処理において、ＣＰＵ３０２は、評価データ保持部２００を参照して、候補表示状況を評価する（Ｏｐ４１６）。具体的には、評価データ保持部２００を参照して、直近の評価データレコードを含む複数のレコードを取得する。

もし、評価データレコードの過去の履歴から、タッチ選択速度が向上している場合には、タッチ選択状況が良好であると判断して現在の設定状態を維持する。つまり何らの処理をも行わない。一方、タッチ選択速度が向上していない場合には、表示タイミングを調整する。

例えば、表示タイミングの調整においては、ユーザがキー入力を行った時刻から、変換候補を表示するまでの時刻の間隔を増減させる。特に、ユーザが高齢者の場合には、表示タイミングを遅らせることで、ユーザのキー入力終了時に合わせて変換候補を表示することが望ましい場合がある。また、ユーザが若年である場合には、表示タイミングを早めることで、ユーザのキー入力状況に合わせて変換候補を表示することが望ましい場合がある。

なお、上記において、タッチ選択に関する速度を、ディスプレイ３０１に候補を表示させた時刻と、ユーザからのタッチ選択を受け付けた時刻とに基づいて算出するように構成したが、タッチ選択に関する速度は、他の条件に基づいて算出してもよい。例えば、ディスプレイ３０１に候補を表示させた時刻に代えて、ユーザがキーボード３０５から手を離した時刻としてもよい。この場合、ユーザがキーボード３０５から手を離したかどうかの判断は、センサスイッチ等で行えばよい。

この実施形態において、タッチ選択計測部２０８は、一例として、図４のＯｐ４１９またの処理機能を含む。表示タイミング調整部２０９は、一例として、図４のＯｐ４１６の処理機能を含む。

［７．その他の実施形態］
上記第１〜第６の実施形態において説明した構成の一部または全部を、２以上組合せた構成としてもよい。

上記実施形態においては、入力操作受付部としてキーボードを用いて候補表示装置１を構成したが、キー操作の位置を検出可能な他の装置を用いてもよい。例えば、ペンタブレット入力装置、タッチパネル式キーボードまたはマウス等を用いてもよい。

上記実施形態においては、エディタの入力領域と変換候補とを１つのタッチパネル付きディスプレイ上に表示させる構成としたが、エディタの入力領域と変換候補とは必ずしも同一のディスプレイ上に表示させる必要はない。例えば、エディタの入力領域を表示するディスプレイから独立したサブディスプレイ（タッチパネル機能付きのもの）に、変換候補を表示させてもよい。

上記実施形態においては、図２等に示す各機能ブロックを、ソフトウェアを実行するＣＰＵの処理によって実現している。しかし、その一部もしくは全てを、ロジック回路等のハードウェアによって実現してもよい。なお、プログラムの一部の処理をさらに、オペレーティング・システム（ＯＳ）にさせるようにしてもよい。

２０１ 入力操作受付部
２０２ 入力操作状況取得部
２０３ 表示位置決定部
２０４ タッチ選択制御部
２０５ 候補決定部
２０６ 候補予測部
２０７ 候補取得部
２０８ 表示タイミング調整部
２０９ タッチ選択計測部
２１０ 入力操作方向判定部
２１１ 入力操作方向取得部
２１２ タッチ選択方向取得部
２１３ タッチ選択方向判定部

Claims (16)

1. 表示装置に重畳されない入力装置に対するユーザの入力操作を受け付ける入力操作受付部と、
   前記表示装置および前記表示装置に重畳された選択装置からなる表示選択装置に対してユーザがタッチ選択可能なように候補を表示させ、前記表示選択装置に表示させた候補についてユーザからのタッチ選択を受け付けるタッチ選択制御部と、
   前記入力操作受付部において受け付けたユーザからの入力操作に基づいて決定された少なくとも１つの候補を取得する候補取得部と、
   前記入力装置において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する入力操作状況取得部と、
   前記入力操作状況に基づいて、前記表示選択装置に表示させる候補の表示位置を決定する表示位置決定部とを備える候補表示装置。
2. 前記表示位置決定部は、前記最後に行われた入力操作における前記入力装置上の位置と、前記表示選択装置上の位置との距離に基づいて前記表示位置を決定する、請求項１に記載の候補表示装置。
3. 前記入力操作状況は、ユーザがいずれの方向からタッチ選択を行うかを示すタッチ選択方向に関する情報を含み、
   前記表示位置決定部は、前記タッチ選択方向に基づいて前記表示位置を決定する、請求項１または２に記載の候補表示装置。
4. 前記入力操作受付部における入力操作は、複数のキーの中から所望のキーを入力して行うキー入力操作を含み、
   前記入力操作状況は、最後にキー入力操作が行われたキーの位置に関する情報である、請求項１〜３のいずれか一項に記載の候補表示装置。
5. 前記入力装置に対して、ユーザがいずれの方向から入力操作を行うかを示す入力操作方向を取得する入力操作方向取得部と、
   前記表示選択装置に対して、ユーザがいずれの方向からタッチ選択を行うかを示すタッチ選択方向を取得するタッチ選択方向取得部とをさらに備え、
   前記入力操作状況は、前記入力操作方向と前記タッチ選択方向とが共通するか正反対であるかに関する情報である、請求項１〜４のいずれか一項に記載の候補表示装置。
6. 前記候補取得部は、前記少なくとも１つの候補とともに、当該候補を表示する優先順位を取得し、
   前記表示位置決定部は、前記入力操作方向と前記タッチ選択方向とが共通する場合、前記入力装置において最後に行われた入力操作の位置と、前記表示選択装置上の位置との距離が各候補間において最小となる位置に、前記優先順位が最も高い候補を表示させるように前記表示位置を決定する、請求項５に記載の候補表示装置。
7. 前記表示位置決定部は、前記入力操作方向と前記タッチ選択方向とが共通する場合、前記入力装置において最後に行われた入力操作の位置と、前記表示選択装置における入力カーソルの位置とによって決定される直線を、前記表示選択装置によって構成される平面に射影させて得られる直線上の位置に、前記優先順位が最も高い候補を表示させるように前記表示位置を決定する、請求項５に記載の候補表示装置。
8. 前記表示位置決定部は、前記入力操作方向と前記タッチ選択方向とが正反対である場合、前記表示選択装置における前記タッチ選択方向側の端部からの距離が各候補間において最小となる位置に、前記優先順位が最も高い候補を表示させるように前記表示位置を決定する、請求項５〜７のいずれか一項に記載の候補表示装置。
9. 前記表示位置決定部は、前記入力操作方向と前記タッチ選択方向とが正反対である場合、前記入力装置において最後に行われた入力操作の位置と、前記表示選択装置上の位置との距離が各候補間において最小となる位置から前記タッチ選択方向側へ所定距離を隔てた位置に、前記優先順位が最も高い候補を表示させるように前記表示位置を決定する、請求項５〜７のいずれか一項に記載の候補表示装置。
10. 前記入力装置上における２以上の入力操作についての入力時間間隔に基づいて、前記入力操作方向を判定する入力操作方向判定部をさらに備える、請求項５〜９のいずれか一項に記載の候補表示装置。
11. 前記入力操作方向判定部は、前記入力装置に配置されたキーを左右の各領域に分けた場合において、前記左右の各領域にまたがる２以上のキーの入力時間間隔と、前記左右の各領域にまたがらない２以上のキーの入力時間間隔との相違に基づいて前記入力操作方向を判定する、請求項１０に記載の候補表示装置。
12. ユーザがタッチ選択を行う際における、前記表示選択装置に対する垂直進入方向に基づいて、前記タッチ選択方向を判定するタッチ選択方向判定部をさらに備える、請求項５〜１１のいずれか一項に記載の候補表示装置。
13. 前記入力操作状況は、前記入力操作が行われた回数に関する情報を含み、
    前記表示位置決定部は、前記入力操作が行われた回数が所定回数以上であるか否かに基づいて前記表示位置を決定する、請求項１〜１２のいずれか一項に記載の候補表示装置。
14. 前記表示選択装置に候補を表示させた時刻と、前記表示選択装置においてユーザからのタッチ選択を受け付けた時刻とに基づいて、タッチ選択に関する速度を計測するタッチ選択計測部と、
    前記タッチ選択計測部において計測されたタッチ選択に関する速度の履歴情報に基づいて、前記表示選択装置に表示させる候補の表示タイミングを調整する表示タイミング調整部とをさらに備え、
    前記表示位置決定部は、前記表示タイミング調整部から出力された表示タイミングに基づいて、前記表示位置を決定する、請求項１〜１３のいずれか一項に記載の候補表示装置。
15. 表示装置に重畳されない入力装置に対するユーザの入力操作を受け付ける入力操作受付処理と、
    前記表示装置および前記表示装置に重畳された選択装置からなる表示選択装置に対してユーザがタッチ選択可能なように候補を表示させ、前記表示選択装置に表示させた候補についてユーザからのタッチ選択を受け付けるタッチ選択制御処理と、
    前記入力操作受付処理において受け付けたユーザからの入力操作に基づいて決定された少なくとも１つの候補を取得する候補取得処理と、
    前記入力装置において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する入力操作状況取得処理と、
    前記入力操作状況に基づいて、前記表示選択装置に表示させる候補の表示位置を決定する表示位置決定処理とをコンピュータに実行させる候補表示プログラム。
16. 表示装置に重畳されない入力装置に対するユーザの入力操作を受け付ける入力操作受付工程と、
    前記表示装置および前記表示装置に重畳された選択装置からなる表示選択装置に対してユーザがタッチ選択可能なように候補を表示させ、前記表示選択装置に表示させた候補についてユーザからのタッチ選択を受け付けるタッチ選択制御工程と、
    前記入力操作受付工程において受け付けたユーザからの入力操作に基づいて決定された少なくとも１つの候補を取得する候補取得工程と、
    前記入力装置において最後に行われた入力操作の位置に関する情報を含む入力操作状況を取得する入力操作状況取得工程と、
    前記入力操作状況に基づいて、前記表示選択装置に表示させる候補の表示位置を決定する表示位置決定工程とを含む候補表示方法。
    

Images