本出願に係る電子機器、制御方法、及びプログラムを実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。以下では、電子機器の例として、スマートフォンについて説明する。
図1から図3を参照しながら、実施形態に係るスマートフォン1の全体的な構成について説明する。図1から図3に示すように、スマートフォン1は、ハウジング20を有する。ハウジング20は、フロントフェイス1Aと、バックフェイス1Bと、サイドフェイス1C1~1C4とを有する。フロントフェイス1Aは、ハウジング20の正面である。バックフェイス1Bは、ハウジング20の背面である。サイドフェイス1C1~1C4は、フロントフェイス1Aとバックフェイス1Bとを接続する側面である。以下では、サイドフェイス1C1~1C4を、どの面であるかを特定することなく、サイドフェイス1Cと総称することがある。
スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン(キー)3A~3Cと、照度センサ4と、近接センサ5と、レシーバ7と、マイク8と、カメラ12とをフロントフェイス1Aに有する。スマートフォン1は、スピーカ11と、カメラ13とをバックフェイス1Bに有する。スマートフォン1は、ボタン3D~3Fと、コネクタ14とをサイドフェイス1Cに有する。以下では、ボタン3A~3Fを、どのボタンであるかを特定することなく、ボタン3と総称することがある。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。図1の例では、ディスプレイ2A及びタッチスクリーン2Bはそれぞれ略長方形状であるが、ディスプレイ2A及びタッチスクリーン2Bの形状はこれに限定されない。ディスプレイ2A及びタッチスクリーン2Bは、それぞれが正方形又は円形等のどのような形状もとりうる。図1の例では、ディスプレイ2A及びタッチスクリーン2Bは重ねて配置されているが、ディスプレイ2A及びタッチスクリーン2Bの配置はこれに限定されない。ディスプレイ2A及びタッチスクリーン2Bは、例えば、並べて配置されてもよいし、離して配置されてもよい。図1の例では、ディスプレイ2Aの長辺はタッチスクリーン2Bの長辺に沿っており、ディスプレイ2Aの短辺はタッチスクリーン2Bの短辺に沿っているが、ディスプレイ2A及びタッチスクリーン2Bの重ね方はこれに限定されない。ディスプレイ2Aとタッチスクリーン2Bとが重ねて配置される場合、例えば、ディスプレイ2Aの1ないし複数の辺がタッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。ここで、タッチスクリーンディスプレイ2は、矩形形状であり、4つの辺2C、2D、2E、2Fが、ハウジング20のサイドフェイス1C1~1C4のそれぞれに隣接している。タッチスクリーンディスプレイ2は、辺2Cがハウジング20のサイドフェイス1C4と隣接している。タッチスクリーンディスプレイ2は、辺2Dがハウジング20のサイドフェイス1C3と隣接している。
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro-Luminescence Display)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号、及び図形等を表示する。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触した位置を検出することができる。以下の説明では、タッチスクリーン2Bに対して接触する指、ペン、又はスタイラスペン等を、「接触オブジェクト」又は「接触物」と呼ぶことがある。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン1を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。
スマートフォン1は、タッチスクリーン2Bにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーン2Bに対して行われる操作である。スマートフォン1によって判別されるジェスチャは、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトを含むがこれらに限定されない。
スマートフォン1は、タッチスクリーン2Bを介して判別するこれらのジェスチャに従って動作を行う。このため、利用者にとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってスマートフォン1が行う動作は、ディスプレイ2Aに表示されている画面に応じて異なることがある。以下の説明では、説明を簡単にするために、「タッチスクリーン2Bが接触を検出し、検出された接触に基づいてジェスチャの種別をスマートフォン1がXと判別すること」を、「スマートフォンがXを検出する」、又は「コントローラがXを検出する」と記載することがある。
図4は、スマートフォン1のブロック図である。スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12及び13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17と、気圧センサ19とを有する。
タッチスクリーンディスプレイ2は、上述したように、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aは、文字、画像、記号、又は図形等を表示する。タッチスクリーン2Bは、接触を検出する。コントローラ10は、スマートフォン1に対するジェスチャを検出する。具体的には、コントローラ10は、タッチスクリーン2Bと協働することによって、タッチスクリーン2B(タッチスクリーンディスプレイ2)に対する操作(ジェスチャ)を検出する。
図5に示すように、タッチスクリーン2Bは、複数の第1電極2B1と、複数の第2電極2B2とを含む。複数の第1電極2B1は、タッチスクリーン2Bの長辺方向に延在する電極である。複数の第2電極2B2は、タッチスクリーン2Bの短辺方向に延在する電極である。複数の第1電極2B1と複数の第2電極2B2とは、マトリックス状に交差している。第1電極2B1と第2電極2B2とが交差する部分は、タッチスクリーン2Bの検出点60である。タッチスクリーン2Bは、複数の検出点60を含む。複数の検出点60は、スマートフォン1がタッチスクリーン2Bにおける接触物の接触位置(接触点)を特定する場合に用いられる。複数の検出点60は、マトリックス状に位置している。
タッチスクリーン2Bは、導電性の接触物が第1電極2B1と第2電極2B2とに近づくと、当該接触物と電極間に容量結合が発生する。タッチスクリーン2Bは、容量結合が発生した電極間の検出点60の検出値が変化する。図5に示す例では、タッチスクリーン2Bは、接触物の接触点70付近の検出点60の検出値が、他の検出点60の検出値よりも大きくなる。このため、スマートフォン1は、変化した検出点60の検出値に基づいて、タッチスクリーン2Bにおける接触物の接触点70を検出することができる。
ボタン3は、利用者によって操作される。ボタン3は、ボタン3A~ボタン3Fを有する。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュを含むが、これらに限定されない。
ボタン3A~3Cは、例えば、ホームボタン、バックボタン又はメニューボタンである。ボタン3Dは、例えば、スマートフォン1のパワーオン/オフボタンである。ボタン3Dは、スリープ/スリープ解除ボタンを兼ねてもよい。ボタン3E及び3Fは、例えば、音量ボタンである。
照度センサ4は、スマートフォン1の周囲光の照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、タッチスクリーンディスプレイ2が顔に近付けられたことを検出する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる通信方式は、無線通信規格である。無線通信規格として、例えば、2G、3G、4G等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、LTE(Long Term Evolution)、W-CDMA(Wideband Code Division Multiple Access)、CDMA2000(Wideband Code Division Multiple Access 2000)、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy-phone System)等を含む。無線通信規格として、さらに、例えば、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)等を含む。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
レシーバ7及びスピーカ11は、音を出力する出力部の1つの例である。レシーバ7及びスピーカ11は、コントローラ10から送信される音信号を音として出力できる。レシーバ7は、例えば、通話時に相手の声を出力するために用いてもよい。スピーカ11は、例えば、着信音及び音楽を出力するために用いてもよい。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、音を入力する入力部の1つの例である。マイク8は、利用者の音声等を音信号へ変換してコントローラ10へ送信できる。
ストレージ9は、プログラム及びデータを記憶できる。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域として利用してよい。ストレージ9は、記録媒体を含む。記録媒体は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non-transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bを介して検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーション及び制御プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
ストレージ9は、例えば、制御プログラム9A、入力プログラム9B、第1キーデータ9C、第2キーデータ9D、条件データ9E、文書データ9F等を記憶する。
制御プログラム9Aは、スマートフォン1を稼働させるための各種制御に関する機能を提供できる。制御プログラム9Aは、例えば、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる。制御プログラム9Aが提供する機能には、タッチスクリーン2Bを介して検出されたジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能が含まれる。制御プログラム9Aが提供する機能には、加速度センサ15及び気圧センサ19等を制御することによって、スマートフォン1を所持する利用者の移動、停止等を検出する機能が含まれる。制御プログラム9Aが提供する機能は、算出アプリケーション及び電話アプリケーション等の他のプログラムが提供する機能と組み合わせて利用されることがある。
入力プログラム9Bは、スマートフォン1へのテキスト(文字)入力するための機能を提供できる。入力プログラム9Bは、第1キー領域に第1キーを表示させ、第2キー領域に第2キーを表示させ、文字入力を実現する。具体的な文字入力の方法については、後述する。入力プログラム9Bは、他の入力方法で文字入力をできる機能を備えていてもよい。入力プログラム9Bは、対象となる情報を読み上げる機能を提供できる。入力プログラム9Bは、文字を編集する機能を提供できる。
第1キーデータ9Cは、入力プログラム9Bで設定される第1キー領域に表示する第1キーの情報を含む。第2キーデータ9Dは、入力プログラム9Bで設定される第2キー領域に表示する第2キーの情報を含む。第2キーデータ9Dは、第1キーデータ9Cに対応付けられたキーのデータである。
以下、図6及び図7を用いて、第1キーデータ9Cと第2キーデータ9Dの一例を説明する。図6は、第1キーデータの一例を示す図である。図7は、第2キーデータの一例を示す図である。図6及び図7は、日本語の「かな」入力を行う場合のデータの一例である。第1キーデータ9Cは、第1キー領域に含まれる第1キーに対して、表示画像と入力候補が対応付けられている。例えば、第1キーの1には、表示画像「あ行」と入力候補「あ」が対応付けられている。第1キーの2には、表示画像「か行」と入力候補「か」が対応付けられている。第2キーデータ9Dは、第2キー領域に含まれる第2キーに対して、第1キーとの対応が記憶されている。第2キーとして対応付けられている複数の文字が表示画像となり、複数の文字のいずれかが入力候補となる。例えば、第1キーの「あ行」には、第2キーの1に、「あ」、第2キーの2に、「い」、第2キーの3に、「う」、第2キーの4に、「え」、第2キーの5に、「お」、第2キーの6に、「改行」が対応付けられている。ここで、改行、削除等は、入力する文字ではなく、文字入力で実行する処理となる。
以下、図8及び図9を用いて、第1キーデータ9Cと第2キーデータ9Dの一例を説明する。図8は、第1キーデータの一例を示す図である。図9は、第2キーデータの一例を示す図である。図8及び図9は、アルファベット入力を行う場合のデータの一例である。第1キーデータ9Cは、第1キー領域に含まれる第1キーに対して、表示画像と入力候補が対応付けられている。例えば、第1キーの1には、表示画像「abc」と入力候補「a」が対応付けられている。第1キーの2には、表示画像「def」と入力候補「d」が対応付けられている。第2キーデータ9Dは、第2キー領域に含まれる第2キーに対して、第1キーとの対応が記憶されている。第2キーとして対応付けられている複数の文字が表示画像となり、複数の文字のいずれかが入力候補となる。例えば、第1キーの「abc」には、第2キーの1に、「a」、第2キーの2に、「b」、第2キーの3に、「c」、第2キーの4に、「A」、第2キーの5に、「B」、第2キーの6に、「C」が対応付けられている。
第1キーデータ9Cと第2キーデータ9Dのキーの対応付けと表示と文字入力との関係は後述する。ここで、上記実施形態では、キーに対して1つの文字を対応付けたが、キーに対して、単語、文章等を含む2つ以上の文字の文字列を対応付けてもよい。例えば、「あ行」に対応する第2キーの1つに入力候補として「ありがとうございます」、「明日」を対応つけてもよい。また2つ以上の文字が意味をなしていない文字の組み合わせでもよい。
条件データ9Eは、入力プログラム9Bで処理を実行する各種条件が設定されている。具体的には、条件データ9Eは、検出したタッチジェスチャと実行する処理との対応関係や、プログラムの条件、停止条件等が設定されている。
文書データ9Fは、文字列、文字等の情報を含む。文字列は、複数の文字を含む。文字は、例えば、漢字、ひらがな、カタカナ、アルファベット、数字等を含む。例えば、文書データ9Fは、入力プログラム9Bの実行によって作成される。例えば、文書データ9Fは、通信ユニット6を介して、他の電子機器から取得される。
コントローラ10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System-on-a-chip)、MCU(Micro Control Unit)、FPGA(Field-Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。コントローラ10は、スマートフォン1の動作を統括的に制御できる。コントローラ10の各種機能は、コントローラ10の制御に基づいて実現される。
具体的には、コントローラ10は、ストレージ9に記憶されているプログラムに含まれる命令を実行できる。コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照できる。コントローラ10は、データ及び命令に応じて機能部を制御する。コントローラ10は、機能部を制御することによって、各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、レシーバ7、及びスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、加速度センサ15、方位センサ16、ジャイロスコープ17、及び気圧センサ19を含むが、これらに限定されない。
コントローラ10は、例えば、制御プログラム9Aまたは入力プログラム9Bを実行することにより、タッチスクリーン2Bを介して検出されたジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を実行できる。
カメラ12は、フロントフェイス1Aに面している物体を撮影するインカメラである。カメラ13は、バックフェイス1Bに面している物体を撮影するアウトカメラである。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。
加速度センサ15は、スマートフォン1に働く加速度の方向及び大きさを検出できる。方位センサ16は、地磁気の向きを検出できる。ジャイロスコープ17は、スマートフォン1の角度及び角速度を検出できる。気圧センサ19は、スマートフォン1に作用する気圧を検出できる。加速度センサ15、方位センサ16、ジャイロスコープ17、及び気圧センサ19の検出結果は、スマートフォン1の位置及び姿勢の変化を検出するために、組み合わせて利用される。
図4においてストレージ9が記憶するプログラム及びデータの一部又は全部は、通信ユニット6による無線通信で他の装置からダウンロードされてもよい。図4においてストレージ9が記憶するプログラム及びデータの一部又は全部は、ストレージ9に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。図4においてストレージ9が記憶するプログラム及びデータの一部又は全部は、コネクタ14に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、CD(登録商標)、DVD(登録商標)、Blu-ray(登録商標)等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、及びソリッドステート記憶媒体を含むが、これらに限定されない。
図4に示したスマートフォン1の構成は一例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、ボタン3の数と種類は図4の例に限定されない。スマートフォン1は、画面に関する操作のためのボタンとして、ボタン3A~3Cに代えて、テンキー配列又はQWERTY配列等のボタンを備えていてもよい。スマートフォン1は、画面に関する操作のために、ボタンを1つだけ備えてもよいし、ボタンを備えなくてもよい。図4に示した例では、スマートフォン1が2つのカメラを備えるが、スマートフォン1は、1つのカメラのみを備えてもよいし、カメラを備えなくてもよい。図4に示した例では、スマートフォン1が位置及び姿勢を検出するために4種類のセンサを備えるが、スマートフォン1は、このうちいくつかのセンサを備えなくてもよい。あるいは、スマートフォン1は、位置及び姿勢の少なくとも1つを検出するための他の種類のセンサを備えてもよい。
次に、図10を用いて、スマートフォン1による文字入力処理について説明する。図10は、表示画面の一例を示す図である。スマートフォン1は、入力プログラム9Bを用いて文字入力処理を実行する場合、図10に示す画面を表示させる。図10に示す画面は、第1キー領域40と、第2キー領域42と、状態通知欄44と、終了キー46と、入力テキスト表示欄48と、決定キー49と、を含む。第1キー領域40及び第2キー領域42は、複数のソフトウェアキーを表示する領域を含む。第1キー領域40及び第2キー領域42は、タッチスクリーン2Bと重なった位置に設けられている。
第1キー領域40は、タッチスクリーンディスプレイ2の辺2Cに沿って設けられており、辺2Cに隣接している。つまり、第1キー領域40は、ハウジング20のサイドフェイス1C4に隣接している。第1キー領域40は、複数の第1キー50a、50b、50c、50d、50e、50f、50g、50h、50i、50jが表示されている。本実施形態の複数の第1キー50a、50b、50c、50d、50e、50f、50g、50h、50i、50jは、辺2Cに沿って、画面上側から下側に列状に配置される。ここで、本実施形態の複数の第1キー50a、50b、50c、50d、50e、50f、50g、50h、50i、50jは、それぞれの第1キーに第1キーデータ9Cの1から10の内容が対応付けられている。したがって、第1キー50aには、第1キーデータ9Cの1の情報が対応付けられ、「かな」入力の場合、「あ行」の画像が表示される。
第2キー領域42は、タッチスクリーンディスプレイ2の辺2Dに沿って設けられており、辺2Dに隣接している。つまり、第2キー領域42は、ハウジング20のサイドフェイス1C3に隣接している。第2キー領域42は、第1キー領域40とは異なる辺、本実施形態では向かい合う辺に配置されている。第2キー領域42は、複数の第2キー52a、52b、52c、52d、52e、52f、52g、52h、52i、52jが表示されている。本実施形態の複数の第2キー52a、52b、52c、52d、52e、52f、52g、52h、52i、52jは、辺2Dに沿って、画面上側から下側に列状に配置される。ここで、本実施形態の複数の第2キー52a、52b、52c、52d、52e、52f、52g、52h、52i、52jは、それぞれの第2キーに第2キーデータ9Dの1から10の内容が対応付けられている。したがって、第2キー52aには、第2キーデータ9Dの1の情報が対応付けられ、「かな」入力であり、第1キー50aの「あ行」が選択されている場合、「あ」の画像が表示される。
以下の説明では、複数の第1キー50a、50b、50c、50d、50e、50f、50g、50h、50i、50jを区別しない場合、第1キー50と記載する。複数の第2キー52a、52b、52c、52d、52e、52f、52g、52h、52i、52jを区別しない場合、第2キー52と記載する。
状態通知欄44は、入力候補として選択している文字が表示される。終了キー46は、テキスト入力の終了操作が対応付けられているキーである。入力テキスト表示欄48は、入力された文字を表示させる欄である。図10では、入力テキスト表示欄48に、入力された文字列「ありがとう」が表示されている。なお、図10の文字列は一例である。決定キー49は、入力候補の文字を入力する文字として決定する操作が対応付けられているキーである。決定キー49は、辺2Cと辺2Dの両方に接している。決定キー49は、第1キー領域40と第2キー領域42の両方と接している。なお、決定キー49の配置位置はこれに限定されない。
スマートフォン1は、入力候補の文字または入力した文字列、本実施形態では入力テキスト表示欄48に表示されているテキスト(文字列)を音声出力させることで、画面の表示を確認できない状況でも、選択している文字また入力した文字を確認することができる。なお、入力候補の文字は、入力候補の文字が変化するたびに音声出力してもよいが、設定した規則を満たす場合または設定された操作を実行した場合に音声出力するようにしてもよい。
本実施形態では、ディスプレイ2Aに第1キー50及び第2キー52の画像を表示させたが、これに限定されない。スマートフォン1は、上述した第1キー領域40、第2キー領域42に対応する位置にキーの入力を割り当てればよく、画像を非表示としてもよい。つまり、タッチスクリーン2Bが各領域で入力を検出した場合に、キー入力として検出すればよく、タッチスクリーン2Bが各領域に第1キー領域40、第1キー50、第2キー領域42及び第2キー52を対応付ければよい。したがって、電子機器は、ディスプレイ2Aに画像を表示していない状態で文字入力を有効としてもよいし、電子機器がディスプレイ2Aを備えていなくてもよい。また、電子機器は、画像を表示させない場合、上述したキーの操作を検出した際の音声出力を実行することが好ましい。
本実施形態では、スマートフォン1は、第1キー50に第1キーデータ9Cの内容、第2キー52に第2キーデータ9Dの内容を割り当てる場合について説明したが、これに限定されない。例えば、スマートフォン1は、第2キー52に第1キーデータ9Cの内容、第1キー50に第2キーデータ9Dの内容を割り当ててもよい。
本実施形態では、スマートフォン1は、第1キー50および第2キー51を10個のキーで実現する場合について説明するが、これに限定されない。例えば、スマートフォン1の第1キー50および第2キー51は、10個より多い数のキーで実現してもよいし、10個よりも少ない数のキーで実現してもよい。また、第1キー50と第2キー51とは、異なる個数のキーとして実現してもよい。
次に、図11から図12を用いて、スマートフォン1による文字編集処理の一例について説明する。文字編集処理は、編集対象の文字または文字列を複数のキーに割り当てる処理と、当該キーに割り当てた文字を編集する処理とを含む。本実施形態では、文字編集処理は、入力プログラム9Bの実行により実現される場合について説明するが、これに限定されない。例えば、文字編集処理は、編集プログラムとして、入力プログラム9Bとは別に設けてもよい。
図11は、文書データ9Fの一例を示す図である。図11に示すように、文書データ9Fは、例えば、複数の行からなる文書を示す情報を含む。文書は、複数の文字列を含む。スマートフォン1は、例えば、利用者によって指定された文書データ9F、入力テキスト表示欄48に入力された文字列等を編集することができる。
図11に示す例では、文書データ9Fは、9行の日本語の文書を示す情報を含む。文書データ9Fは、1行目として、「また後日お会いできることを」の文字列を含んでいる。文書データ9Fは、2行目として、「心待ちにしております。」の文字列を含んでいる。文書データ9Fは、3行目として、「ところで、ご質問いただい」の文字列を含んでいる。文書データ9Fは、4行目として、「ていた例の件ですが、もう」の文字列を含んでいる。文書データ9Fは、5行目として、「少し回答にお時間いただ」の文字列を含んでいる。文書データ9Fは、6行目として、「けませんでしょうか?」の文字列を含んでいる。文書データ9Fは、7行目として、「お手数おかけして大変申」の文字列を含んでいる。文書データ9Fは、8行目として、「し訳ありませんが、何卒宜」の文字列を含んでいる。文書データ9Fは、9行目として、「しくお願いいたします。」の文字列を含んでいる。文書データ9Fは、1行目から9行目の文字列が繋がって1つの文書となっている。
スマートフォン1は、入力プログラム9Bの文字編集処理を実行することにより、編集対象の文字または文字列を、第1キー50または第2キー52に割り当てることができる。スマートフォン1は、編集対象の文字または文字列を、複数のパターンで第1キー50または第2キー52に割り当てることができる。例えば、編集対象が日本語である場合、複数のパターンは、ひらがな、一文字、単語、一行、句読点の割り当てパターンを有する。ひらがなの割り当てパターンは、編集対象の文字または文字列をひらがなに変換し、当該ひらがなを一文字ごとに第1キー50または第2キー52に割り当てるパターンを含む。一文字の割り当てパターンは、文字の種類に関係なく、編集対象の文字または文字列を順番に第1キー50または第2キー52に割り当てるパターンを含む。単語の割り当てパターンは、編集対象の文字列を、文法上でまとまった意味、機能を持つ言語の最小単位で、第1キー50または第2キー52に割り当てるパターンを含む。一行の割り当てパターンは、編集対象の文章の一行ごとの文字列を、第1キー50または第2キー52に割り当てるパターンを含む。句読点の割り当てパターンは、編集対象の文字列を、句点または読点の単位で、第1キー50または第2キー52に割り当てるパターンを含む。
図12は、文字または文字列の第1キー50に対する割り当て例を示す図である。図12に示す例は、利用者がスマートフォン1を横向きにして利用する場合の一例を示している。図12に示す例は、図11に示す文書データ9Fを編集する場合の一例を示している。図12に示す例では、スマートフォン1は、10個の第1キー50のうち、第1キー50j、50aに、前のキー群、後ろのキー群への移動を利用者に選択させる機能を割り当てているが、これに限定されない。スマートフォン1は、例えば、10個の第1キー50の全てを、文字または文字列の割り当て対象としてもよい。
パターンP1は、「ひらがな」の単位での割り当てパターンを示している。例えば、スマートフォン1は、利用者によってひらがなの割り当てパターンが選択されると、文書データ9Fの漢字をひらがなに変換する。例えば、スマートフォン1は、複数のひらがなの各々を、第1キー50i、50h、50g、50f、50e、50d、50c、50bの順に割り当てる。例えば、文書データ9Fが8文字よりも多くのひらがなを含む場合、スマートフォン1は、9番目以降のひらがなを、第1キー50i、50h、50g、50f、50e、50d、50c、50bの順に繰り返し割り当てることができる。
パターンP2は、「一文字」の単位での割り当てパターンを示している。例えば、スマートフォン1は、文書データ9Fの複数の文字の各々を、第1キー50i、50h、50g、50f、50e、50d、50c、50bの順に割り当てる。例えば、文書データ9Fが8文字よりも多くの文字を含む場合、スマートフォン1は、9番目以降の文字を、第1キー50i、50h、50g、50f、50e、50d、50c、50bの順に繰り返し割り当てることができる。
パターンP3は、「単語」の単位での割り当てパターンを示している。例えば、スマートフォン1は、文書データ9Fの複数の単語の各々を、第1キー50i、50h、50g、50f、50e、50d、50c、50bの順に割り当てる。例えば、文書データ9Fが8個の単語よりも多くの単語を含む場合、スマートフォン1は、9番目以降の単語を、第1キー50i、50h、50g、50f、50e、50d、50c、50bの順に繰り返し割り当てることができる。なお、図12に示す例では、スマートフォン1は、文書データ9Fをひらがなに変換して、単語に区分する場合について説明したが、これに限定されない。例えば、スマートフォン1は、文書データ9Fをひらがなに変換せずに、ひらがなと漢字とが混在した文字列に基づいて、単語を区分してもよい。
パターンP4は、「一行」の単位での割り当てパターンを示している。例えば、スマートフォン1は、文書データ9Fにおける1行目から8行目の文字列の各々を、第1キー50i、50h、50g、50f、50e、50d、50c、50bの順に割り当てる。例えば、文書データ9Fが8行よりも多くの文字を含む場合、スマートフォン1は、9行目以降の文字列を、第1キー50i、50h、50g、50f、50e、50d、50c、50bの順に繰り返し割り当てることができる。
図12に示す例では、スマートフォン1は、パターンP1として、第1キー50i、50h、50g、50f、50e、50d、50c、50bの各々に、「ま」、「た」、「ご」、「じ」、「つ」、「お」、「あ」、「い」の各々のひらがなを割り当てる。
図12に示す例では、スマートフォン1は、パターンP2として、第1キー50i、50h、50g、50f、50e、50d、50c、50bの各々に、文書データ9Fの「ま」、「た」、「後」、「日」、「お」、「会」、「い」、「で」の各々の文字を割り当てる。
図12に示す例では、スマートフォン1は、パターンP3として、第1キー50i、50h、50g、50f、50e、50d、50c、50bの各々に、文書データ9Fの「また」、「ごじつ」、「おあい」、「できる」、「こと」、「を」、「こころまち」、「に」の各々の単語を割り当てる。本実施形態では、スマートフォン1は、単語をひらがなで割り当てる場合について説明するが、これに限定されない。例えば、スマートフォン1は、文書データ9Fの漢字をひらがなに変換せずに、漢字とひらがなとを含む文書を単語に区分してもよい。
図12に示す例では、スマートフォン1は、パターンP4として、第1キー50i、50h、50g、50f、50e、50d、50c、50bの各々に、文書データ9Fの1行目から8行目の文字例の各々を割り当てる。
本実施形態では、スマートフォン1は、文書データ9Fが横書きの文書であったため、横向きの編集の画面を表示する場合について説明したが、これに限定されない。例えば、スマートフォン1は、文書データ9Fが横書きであっても、縦向きの編集の画面を表示するようにしてもよい。
次に、図13から図26を用いて、スマートフォン1による文字編集処理の一例について説明する。図13から図26は、文字編集処理に係る表示画面の一例を示す図である。例えば、スマートフォン1は、入力プログラム9Bを用いて、日本語の文字編集処理を実行する場合、図13から図26の編集の画面をタッチスクリーンディスプレイ2に表示する。図13から図26に示す編集の画面は、第1キー領域40と、第2キー領域42と、状態通知欄44と、編集欄45と、終了キー46と、決定キー49と、を含む。ボタン3A~3Cは、第1キー50及び第2キー52の確定操作に用いてもよい。スマートフォン1は、第1キー領域40または第2キー領域42の一部のキーを確定操作に用いてもよい。例えば、スマートフォン1は、第1キー領域40でパターンが割り当てられていないキーを確定操作に用いてもよい。
編集欄45は、編集対象の文書、文字等を表示させる欄を含む。編集欄45は、第1キー領域40と第2キー領域42との間に設けられている。例えば、タッチスクリーンディスプレイ2が横向きである場合、編集欄45は、第2キー領域42が上方に配置され、第1キー領域40が下方に配置される。例えば、タッチスクリーンディスプレイ2が縦向きである場合、編集欄45は、第1キー領域40が右方に配置され、第2キー領域42が左方に配置される。
スマートフォン1は、文書データ9Fの文字編集が要求されると、図13に示す編集の画面をタッチスクリーンディスプレイ2に表示する。スマートフォン1は、文書データ9Fの文書を示す情報を編集欄45に表示する。図13に示す例では、スマートフォン1は、編集の画面の第2キー52j、52i、52h、52g、52fの各々に、割り当てパターンの種類を示す画像の各々を表示している。スマートフォン1は、第2キー52eに対して文字の削除機能が割り当てており、「削除」の画像を第2キー52eに表示している。図13に示す場面では、割り振りパターンが確定していないため、スマートフォン1は、第1キー50には、文字または文字列を割り当てていない。
図14に示すように、利用者は、「一文字」に対応する第2キー52iに対し、ロングタッチ、タップ、ダブルタップ等の選択操作をしている。選択操作は、例えば、第2キー52iを仮選択した状態で、決定キー49またはボタン3A~3Cのいずれかに対する操作を含む。スマートフォン1は、タッチスクリーン2Bを介して、第2キー52iに対する選択操作を検出すると、編集の画面の第2キー52iを選択状態に変更する。この場合、スマートフォン1は、「一文字に読み上げを設定しました。」等の音声をスピーカ11から出力してもよい。スマートフォン1は、文字編集処理を実行することにより、選択された第2キー52iに対応する一文字のパターンで、文書データ9Fを第1キー50に割り当てる。
図14に示す例では、スマートフォン1は、第1キー50i、50h、50g、50f、50e、50d、50c、50bの各々に、文書データ9Fの「ま」、「た」、「後」、「日」、「お」、「会」、「い」、「で」の画像の各々を表示している。スマートフォン1は、第1キー50j、50aの各々に、「前へ」、「次へ」の画像の各々を表示している。スマートフォン1は、「前へ」の第1キー50jが選択されると、第1キー50i、50h、50g、50f、50e、50d、50c、50bに対して、割り当てている文字群の前の文字群を新たに割り当てることができる。スマートフォン1は、「次へ」の第1キー50aが選択されると、第1キー50i、50h、50g、50f、50e、50d、50c、50bに対して、割り当てている文字群の次の文字群を新たに割り当てることができる。例えば、スマートフォン1は、表示している文字群の前方または後方に文字群が存在しない場合、第1キー50j、50aに機能を割り当てない、または、文字群が存在しないことを報知してもよい。
図15に示すように、利用者は、第1キー50iを指等で仮選択操作をしている。仮選択操作は、例えば、タッチ等の操作を含む。スマートフォン1は、タッチスクリーン2Bを介して、第1キー50iの仮選択操作を検出すると、図15に示す画面の第1キー50iを仮選択状態に変更する。スマートフォン1は、読み上げ処理によって第1キー50iに対応した「ま」の音声をスピーカ11から出力する。読み上げ処理は、例えば、読み上げ対象のデータを音声に変換する処理を含む。音声として変換するデータは、文字、文字列等を含む。同様に、利用者が第1キー50h、50gを順番にタッチすると、スマートフォン1は、「た」、「後」の音声をスピーカ11から出力する。なお、文字が漢字である場合、スマートフォン1は、文字の読みと、文字を単語として用いる事例を音声で出力できる。例えば、文字が漢字の「後」である場合、スマートフォン1は、「ご、・・・後半のこう」と読み上げることができる。
以上により、スマートフォン1は、文字または文字列を編集する場合、編集対象の文字または文字列を、利用者が指定するパターンで所定の第1キー50に割り当てることができる。スマートフォン1は、第1キー50に割り当てられた文字または文字列を、音声によって利用者に通知することができる。その結果、利用者は、タッチスクリーン2Bの縁に沿って並ぶ第1キー50に触れることにより、編集対象の文字と文字の並びとを確認することができるので、編集欄45における編集位置を探しやすくなる。利用者は、第1キー50を操作することにより、自分のペースで文字の読み上げを行ったり、所望の文字から読み上げを行ったりすることができることから、編集位置を確認する効率を向上できる。よって、スマートフォン1は、利用者が編集したい箇所を探す操作性を向上させることができる。スマートフォン1は、利用者が編集したい箇所を間違えてしまう可能性を低減させることができる。
図16に示すように、利用者は、「後」の文字を修正する場合、第1キー50gに対して選択操作を行う。スマートフォン1は、タッチスクリーン2Bを介して、第1キー50gに対する選択操作を検出すると、第1キー50gを選択状態に変更する。スマートフォン1は、選択された文字に対する編集を受け付ける、すなわち編集機能を有効とする。この場合、スマートフォン1は、第1キー50gに対応した編集欄45の「後」の文字を、他の文字とは異なる表示態様としてもよい。図16に示す例では、スマートフォン1は、「後」の文字を、他の文字よりも大きいサイズで強調表示している。例えば、スマートフォン1は、「後」に対してカーソルを表示させてもよい。スマートフォン1は、編集を受け付けると、日本語の「かな」入力を行う場合の表示画像を第2キー52に対して割り当てる。
図17に示すように、スマートフォン1は、第2キー52j、52i、52h、52g、52f、52e、52d、52c、52b,52aの各々に、文字入力の「あ行」、「か行」、「さ行」、「た行」、「な行」、「は行」、「ま行」、「や行」、「ら行」、「わ行」の表示画像の各々を表示させる。スマートフォン1は、図17に示す編集の画面に、第3キー領域47をさらに表示する。第3キー領域47は、複数のソフトウェアキーを表示する領域を含む。第3キー領域47は、タッチスクリーン2Bと重なった位置に設けられている。第3キー領域47は、第2キー領域42に沿って設けられている。すなわち、第3キー領域47は、タッチスクリーン2Bの縁に沿って設けられている。第3キー領域47は、複数の第3キー54a、54b、54c、54d、54e、54fが表示される。本実施形態の複数の第3キー54a、54b、54c、54d、54e、54fは、第2キー領域42に沿って、画面左側から右側に列状に配置される。スマートフォン1は、編集の画面において、第2キー領域42と編集欄45との間に、状態通知欄44と第3キー領域47とを表示することにより、編集欄45の表示サイズを小さくし、スクロール可能としている。以下の説明では、複数の第3キー54a、54b、54c、54d、54e、54fを区別しない場合、第3キー54と記載する。
本実施形態では、スマートフォン1は、第3キー領域47を第2キー領域42に沿って設ける一例について説明するが、これに限定されない。例えば、スマートフォン1は、第3キー領域47を第1キー領域40に沿って設けてもよい。本実施形態では、スマートフォン1は、第3キー領域47を有する編集の画面に、状態通知欄44と編集欄45とを設ける一例について説明するが、これに限定されない。例えば、スマートフォン1は、第3キー領域47を有する編集の画面に、状態通知欄44と編集欄45とを設けなくてもよい。例えば、スマートフォン1は、第3キー領域47を有する編集の画面に、状態通知欄44と編集欄45とのいずれか一方のみを設けてもよい。例えば、スマートフォン1は、編集の画面に状態通知欄44と編集欄45とを設けない場合、第3キー領域47を第2キー領域42及び第1キー領域40に沿って設けてもよい。
図18に示すように、利用者は、第2キー52jに対して仮選択操作をしている。スマートフォン1は、タッチスクリーン2Bを介して、第2キー52jに対する仮選択操作を検出すると、第2キー52jを仮選択状態に変更する。スマートフォン1は、「あ行」に対応した入力候補と変換キーとを、第3キー54a、54b、54c、54d、54e、54fに割り当てる。図18に示す例では、スマートフォン1は、第3キー54a、54b、54c、54d、54eの各々に、「あ」、「い」、「う」、「え」、「お」、「変換」を示す画像の各々を表示する。
図19に示すように、利用者は、「あ」の文字が割り当てられた第3キー54aに対して選択操作をしている。スマートフォン1は、タッチスクリーン2Bを介して、第3キー54aに対する選択操作を検出すると、第3キー54aに対応した文字の入力を受け付け、第3キー54aを選択状態に変更する。スマートフォン1は、選択された文字を画面の状態通知欄44に表示する。図19に示す例では、スマートフォン1は、選択された第3キー54aに対応する「あ」の文字を状態通知欄44に表示している。
図20に示すように、利用者は、「さ行」が割り当てられた第2キー52hに対して仮選択操作をし、「す」が割り当てられた第3キー54cに対して選択操作をしている。スマートフォン1は、タッチスクリーン2Bを介して、第2キー52hに対する仮選択操作を検出すると、第2キー52hを仮選択状態に変更する。この場合、スマートフォン1は、「さ行」に対応した入力候補と変換キーとを、第3キー54a、54b、54c、54d、54e、54fに割り当てる。スマートフォン1は、第3キー54cに対する選択操作を検出すると、第3キー54cに対応した文字の入力を受け付け、第3キー54cを選択状態に変更する。図20に示す例では、スマートフォン1は、選択された第3キー54cに対応する「す」の文字を状態通知欄44に追加して表示している。すなわち、スマートフォン1は、ひらがなの「あす」の文字列を状態通知欄44に表示している。
図21に示すように、利用者は、入力した文字を変換するために、「変換」の第3キー54fに対して選択操作をしている。スマートフォン1は、タッチスクリーン2Bを介して、第3キー54fに対する選択操作を検出すると、第3キー54fを選択状態に変更する。この場合、スマートフォン1は、状態通知欄44に表示している文字または文字列に対する変換候補を取得する。例えば、スマートフォン1は、文字または文字列に対応する変換候補を、辞書データ、サーバ等から取得する。
図22に示すように、スマートフォン1は、文字または文字列に対する変換候補を特定すると、当該変換候補を第2キー52に割り当てる。スマートフォン1は、割り当てた変換候補の画像を第2キー52に表示する。図22に示す例では、スマートフォン1は、「あす」の文字に対する変換候補として、「明日」、「あす」、「アス」の変換候補を取得している。スマートフォン1は、第2キー52j、52i、52hの各々に、変換候補の「明日」、「あす」、「アス」の表示画像の各々を表示している。本実施形態では、スマートフォン1は、変換候補を表示する場合、図22に示す編集の画面から、第3キー領域47を消去する場合について説明するが、これに限定されない。例えば、スマートフォン1は、図22に示す編集の画面に、画像を表示していない複数の第3キー54を含む第3キー領域47を表示させてもよい。
図22に示す例では、利用者は、「明日」の第2キー52jに対して選択操作をしている。スマートフォン1は、タッチスクリーン2Bを介して、第2キー52jに対する選択操作を検出すると、第2キー52jを選択状態に変更する。この場合、スマートフォン1は、第1キー50gに割り当てられた文字の編集を確定する。図22に示す例では、スマートフォン1は、第1キー50gに割り当てられた「後」が「明日」の文字に編集されたことを確定する。この場合、スマートフォン1は、確定した「明日」の文字を状態通知欄44に表示してもよい。
図23に示すように、スマートフォン1は、編集された文字を、編集欄45に表示している文書を示す情報に反映する。図23に示す例では、スマートフォン1は、編集欄45の編集対象の「後」を「明日」に変更し、当該「明日」の部分を強調表示している。スマートフォン1は、「後」を割り当てていた第1キー50gに対し、編集された「明日」を新たに割り当てている。
図23に示す例では、スマートフォン1は、編集の画面の第1キー50i、50h、50g、50f、50e、50d、50c、50bの各々に、文書データ9Fの「ま」、「た」、「明日」、「日」、「お」、「会」、「い」、「で」の画像の各々を表示する。スマートフォン1は、画面の第2キー52j、52i、52h、52g、52fの各々に、上記の割り当てパターンの種類を示す複数の画像の各々を表示する。スマートフォン1は、第2キー52eに編集の削除機能を割り当て、「削除」の画像を第2キー52eに表示する。
例えば、図23において、スマートフォン1は、タッチスクリーン2Bを介して、第1キー50i、50h、50g、50f、50e、50d、50c、50bのいずれかに対する仮選択操作を検出すると、該当する第1キー50に割り当てられた文字または文字列を読み上げることができる。例えば、利用者は、第1キー50g、50fを順にタッチすると、スマートフォン1の文字の読み上げにより、「明日」の後に「日」の文字が重複していることを認識できる。利用者は、「日」の文字を削除するために、スマートフォン1に対して削除の操作を行う。
図24に示すように、利用者は、一文字単位での文字の削除を設定するために、「削除」の第2キー52eに対して選択操作をしている。スマートフォン1は、第2キー52eに対する選択操作を検出すると、文字または文字列の削除が要求されたと判別する。この場合、スマートフォン1は、編集対象の文字または文字列を、一文字単位で編集の画面の第1キー50に割り当てている。よって、スマートフォン1は、一文字単位での文字の削除が要求されたと判別する。例えば、スマートフォン1は、設定が一文字単位での削除であることを音声出力で通知してもよい。
図25に示すように、利用者は、「日」の文字を削除するために、「日」の第1キー50fに対して選択操作をしている。スマートフォン1は、タッチスクリーン2Bを介して、第1キー50fに対する選択操作を検出すると、第1キー50fを選択状態に変更する。この場合、スマートフォン1は、利用者に対して選択した文字の削除を確認した後、第1キー50fに割り当てられた文字を削除する。図25に示す例では、スマートフォン1は、第1キー50fに割り当てられた「日」の文字を文書データ9Fから削除する。例えば、スマートフォン1は、読み上げ処理により、文字を削除したことを利用者に通知する。図25に示す例では、スマートフォン1は、「日、・・・日曜のにちを削除しました」の音声をスピーカ11から出力する。
図26に示すように、スマートフォン1は、編集欄45に表示している文書から、選択された文字を削除する。スマートフォン1は、編集後の文字を第1キー50に割り当てし直す。例えば、スマートフォン1は、第1キー50i、50h、50g、50f、50e、50d、50c、50bの各々に、文書データ9Fの「ま」、「た」、「明」、「日」、「お」、「会」、「い」、「で」の画像の各々を表示する。その結果、利用者は、第1キー50i、50h、50g、50f、50e、50d、50c、50bに対して順に仮選択操作を行うと、スマートフォン1の文字の読み上げにより、編集した文字を確認することができる。図26に示す例では、利用者は、編集欄45に表示している文書の「後日」を「明日」に変更できたことを確認することができる。
以上により、スマートフォン1は、文字または文字列が割り当てられた第1キー50が利用者によって選択操作されると、当該第1キー50に割り当てられた文字または文字列を編集することができる。例えば、視覚障害者にとっては、文字入力も困難であるが、文書の修正箇所を探すことはさらに困難である。スマートフォン1は、第1キー50を操作して文書の編集箇所を特定でき、当該編集箇所の文字または文字列を変更及び確認できるので、例えば、視覚障害者にとっての編集作業の難易度を低下させることができる。
上記の実施形態では、スマートフォン1は、一文字単位での文字の編集を行う際に、1つの第1キー50に対する文字数が増加しても、編集対象以外の第1キー50に割り当てられた文字を変更しない場合について説明したが、これに限定されない。例えば、スマートフォン1は、編集対象の第1キー50に割り当てられた文字数が増減した場合、編集が確定した時点で、編集対象以降の第1キー50に割り当てられた文字を割り当てし直してもよい。例えば、スマートフォン1は、編集対象の第1キー50に割り当てられた文字数が増減した場合、編集対象以降の第1キー50に割り当てられた文字の割り当てし直しを、利用者に要求させてもよい。
例えば、上述した図23に示す例では、スマートフォン1は、編集の画面の第1キー50i、50h、50g、50f、50e、50d、50c、50bの各々に、文書データ9Fの「ま」、「た」、「明日」、「日」、「お」、「会」、「い」、「で」の画像の各々を表示している。すなわち、第1キー50gは、他の第1キー50とは異なり、編集によって二文字が割り当てられている。例えば、利用者は、編集後の文字を第1キー50に一文字単位で割り当てたい場合、図23に示す編集の画面の第2キー52iに対して選択操作を行う。スマートフォン1は、タッチスクリーン2Bを介して、第2キー52iに対する選択操作を検出すると、編集の画面の第2キー52iを選択状態に変更する。この場合、スマートフォン1は、「一文字に読み上げを設定しました。」等の音声をスピーカ11から出力してもよい。スマートフォン1は、文字編集処理を実行することにより、第1キー50に割り当てている編集後の文字を、選択された第2キー52iに対応する一文字のパターンで第1キー50に割り当てし直す。
図27は、文字編集処理に係る表示画面の他の一例を示す図である。図27に示す例では、スマートフォン1は、第1キー50i、50h、50g、50f、50e、50d、50c、50bの各々に、編集後の「ま」、「た」、「明」、「日」、「日」、「お」、「会」、「い」の画像の各々を表示する。例えば、利用者は、第1キー50g、50f、50eを順にタッチすると、スマートフォン1の文字の読み上げにより、「明」、「日」の後に「日」の文字が重複していることを認識できる。この場合、利用者は、「日」の文字を削除するために、スマートフォン1に対して第2キー50fまたは第2キー50eに割り当てられた「日」の文字の削除操作を行えばよい。例えば、スマートフォン1は、第1キー50に割り当てられた文字を削除した場合、自動的または利用者の要求に応じて、編集後の文字を第2キー50に割り当てし直してもよい。
次に、図28から図29を参照しながら、スマートフォン1による文字編集に関する制御の処理手順について説明する。図28は、スマートフォン1による制御の一例の処理手順を示すフローチャートである。図28に示す処理手順は、コントローラ10が入力プログラム9Bを実行することによって実現される。図28に示す処理手順は、利用者によって文字編集が要求された状態で実行される処理である。
図28に示すように、スマートフォン1のコントローラ10は、編集の画面をディスプレイ2Aに表示する(ステップS101)。例えば、コントローラ10は、図14に示すような画面をディスプレイ2Aに表示する。コントローラ10は、タッチスクリーン2Bを介して、第2キー52に対する操作を検出しているか否かを判定する(ステップS102)。コントローラ10は、第2キー52に対する操作を検出していないと判定した場合(ステップS102でNo)、処理を後述するステップS106に進める。コントローラ10は、第2キー52に対する操作を検出していると判定した場合(ステップS102でYes)、処理をステップS103に進める。コントローラ10は、第2キー52に対する仮選択操作であるかを判定する(ステップS103)。コントローラ10は、第2キー52に対する仮選択操作であると判定した場合(ステップS103でYes)、処理をステップS104に進める。
コントローラ10は、仮選択操作を検出した第2キー52を選択状態へ変更する(ステップS104)。例えば、コントローラ10は、仮選択状態に対応した表示態様で、第2キー52を編集の画面に表示させる。例えば、既に選択状態の第2キー52が存在している場合、コントローラ10は、当該第2キー52の選択状態を解除できる。コントローラ10は、仮選択操作を検出した第2キー52に割り当てられた文字または文字列を読み上げる(ステップS105)。例えば、コントローラ10は、当該第2キー52に割り当てられた文字または文字列を読み上げ処理によって読み上げる。
コントローラ10は、読み上げが終了すると、文字編集を終了するか否かを判定する(ステップS106)。例えば、コントローラ10は、文字編集の終了操作、終了要求等を検出した場合に、文字編集を終了すると判定する。コントローラ10は、文字編集を終了しないと判定した場合(ステップS106でNo)、処理を既に説明したステップS102に戻す。コントローラ10は、文字編集を終了すると判定した場合(ステップS106でYes)、処理をステップS107に進める。コントローラ10は、編集の画面をディスプレイ2Aから消去する(ステップS107)。コントローラ10は、編集の画面を消去すると、図28に示す処理手順を終了させる。
コントローラ10は、第2キー52への仮選択操作ではないと判定した場合(ステップS103でNo)、処理をステップS108に進める。コントローラ10は、第2キー52に対する選択操作であるかを判定する(ステップS108)。コントローラ10は、第2キー52への選択操作ではないと判定した場合(ステップS108でNo)、処理を既に説明したステップS106に進める。コントローラ10は、第2キー52への選択操作であると判定した場合(ステップS108でYes)、処理をステップS109に進める。コントローラ10は、文字編集処理を実行する(ステップS109)。なお、文字編集処理については、後述する。コントローラ10は、文字編集処理が終了すると、処理を既に説明したステップS106に進める。
図29は、スマートフォン1による文字編集処理の一例に係る処理手順を示すフローチャートである。図29に示す処理手順は、コントローラ10が入力プログラム9Bを実行することによって実現される。図29に示す処理手順は、図28に示すステップS109で実行される処理である。
図29に示すように、スマートフォン1のコントローラ10は、選択操作を検出した第2キー52に対応するパターンで、文字を第1キー50に割り当てる(ステップS201)。例えば、コントローラ10は、図14に示すように、文書データ9Fの文字を、選択されたパターンに基づいて第1キー50b~50iに割り当てる。コントローラ10は、第1キー50の割り当て結果に基づいて、編集の画面の第1キー50を変更する(ステップS202)。例えば、コントローラ10は、割り付けた文字を示す画像を第1キー50に表示させる。
コントローラ10は、タッチスクリーン2Bを介して、編集の画面の第1キー50に対する操作を検出しているか否かを判定する(ステップS203)。コントローラ10は、第1キー50に対する操作を検出していないと判定した場合(ステップS203でNo)、処理を後述するステップS207に進める。コントローラ10は、第1キー50に対する操作を検出していると判定した場合(ステップS203でYes)、処理をステップS204に進める。コントローラ10は、第1キー50に対する仮選択操作であるかを判定する(ステップS204)。コントローラ10は、第1キー50に対する仮選択操作であると判定した場合(ステップS204でYes)、処理をステップS205に進める。
コントローラ10は、仮選択操作を検出した第1キー50を選択状態へ変更する(ステップS205)。例えば、コントローラ10は、仮選択状態に対応した表示態様で、第1キー50を編集の画面に表示させる。例えば、既に選択状態の第1キー50が存在している場合、コントローラ10は、当該第1キー50の選択状態を解除できる。コントローラ10は、仮選択操作を検出した第1キー50に割り当てられた文字または文字列を読み上げる(ステップS206)。例えば、コントローラ10は、当該第1キー50に割り当てられた文字または文字列を読み上げ処理によって読み上げる。
コントローラ10は、文字編集処理を終了するか否かを判定する(ステップS207)。例えば、コントローラ10は、利用者による編集終了、編集の画面の消去要求等を検出した場合に、編集機能を終了すると判定する。コントローラ10は、文字編集処理を終了しないと判定した場合(ステップS207でNo)、処理を既に説明したステップS203に戻す。コントローラ10は、文字編集処理を終了すると判定した場合(ステップS207でYes)、図29に示す処理手順を終了させる。
コントローラ10は、第1キー50への仮選択操作ではないと判定した場合(ステップS204でNo)、処理をステップS208に進める。コントローラ10は、第1キー50に対する選択操作であるかを判定する(ステップS208)。コントローラ10は、第1キー50に対する選択操作ではないと判定した場合(ステップS208でNo)、処理を既に説明したステップS207に進める。コントローラ10は、第1キー50に対する選択操作であると判定した場合(ステップS208でYes)、処理をステップS209に進める。
コントローラ10は、選択操作を検出した第1キー50に対応した文字を編集対象として特定する(ステップS209)。コントローラ10は、特定した文字に対する編集処理を実行する(ステップS210)。例えば、編集対象として特定する文字は、文字列であってもよい。例えば、編集処理は、第1キー50に割り当てられた編集対象の文字を利用者に編集させる処理を含む。例えば、編集処理は、第1キー50に割り当てた文字を維持したまま、第2キー52と第3キー54とを用いて、利用者に文字を入力させる処理を含む。例えば、編集処理は、利用者によって入力された文字を変換する処理を含む。例えば、編集処理は、読み上げ処理によって編集した文字を読み上げる処理を含む。例えば、編集処理は、利用者の編集確定操作を検出した場合に、編集対象の文字に対する編集を終了する。例えば、編集処理は、第1キー50に割り当てられた文字を利用者に削除させる処理を含む。コントローラ10は、編集処理を終了すると、処理を既に説明したステップS207に進める。
上記の実施形態では、スマートフォン1は、編集の画面の第1キー50に編集対象の文字または文字列を割り当てる場合について説明したが、これに限定されない。例えば、スマートフォン1は、編集対象の文字または文字列を第2キー52または第3キー54に割り当ててもよい。
上記の実施形態では、スマートフォン1は、割り当てた文字または文字列の画像を第1キー50に表示させる場合について説明したが、これに限定されない。例えば、スマートフォン1は、第1キー50に対応する位置にキーの入力を割り当てればよく、画像を非表示としてもよい。例えば、スマートフォン1は、タッチスクリーン2Bが各領域で入力を検出した場合に、キー入力として検出すればよく、タッチスクリーン2Bが各領域に仮想のキーを対応付ければよい。したがって、電子機器は、ディスプレイ2Aに画像を表示していない状態で文字編集を有効としてもよいし、電子機器がディスプレイ2Aを備えていなくてもよい。また、電子機器は、画像を表示させない場合、上述したキーの操作を検出した際の音声出力を実行することが好ましい。
本出願の開示する実施形態は、発明の要旨及び範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態及びその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。
例えば、図4に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。
上記の実施形態では、タッチスクリーン2Bを備える電子機器の例として、スマートフォン1について説明したが、添付の請求項に係る電子機器は、スマートフォンに限定されない。添付の請求項に係る電子機器は、スマートフォン以外の携帯電子機器であってもよい。携帯電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、スマートウォッチ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機を含むが、これに限定されない。
図30は、電子機器の他の例の正面図である。図30に示す電子機器101は、ハウジング101a及びタッチスクリーンディスプレイ102の外縁が円となる。電子機器101は、ハウジング101a及びタッチスクリーンディスプレイ102の外縁の異なる位置のそれぞれに、第1キー領域110と第2キー領域112が設けられる。このように、ハウジング101a及びタッチスクリーンディスプレイ102の外縁が円となる場合も外縁に沿って、第1キー領域110と第2キー領域112とを設けることで、タッチしている領域を確認しない状態でも、キーの入力がしやすくなる。また、図30では、辺を備えない電子機器としてハウジング101a、タッチスクリーンディスプレイ102、タッチスクリーンとディスプレイの外形(外縁)の形状を円形としたが、これに限定されない。電子機器は、ハウジング101a、タッチスクリーンディスプレイ102、タッチスクリーンとディスプレイの外形(外縁)の形状を楕円としてもよい。また、電子機器は、ハウジング101a、タッチスクリーンディスプレイ102、タッチスクリーンとディスプレイの外形(外縁)の形状を、矩形以外の多角形としてもよいし、円弧と直線を組み合わせた形状としてもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。