JP5024355B2

JP5024355B2 - 指示位置検出装置及び指示位置検出方法と、表示装置及びその表示制御方法と、携帯情報端末、プログラム

Info

Publication number: JP5024355B2
Application number: JP2009254511A
Authority: JP
Inventors: 利晴西野; 君平小林; 信岩崎
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2009-11-06
Filing date: 2009-11-06
Publication date: 2012-09-12
Anticipated expiration: 2029-11-06
Also published as: JP2011100301A

Description

本発明は、表示画面に対する任意の指示位置を検出する技術に関するものである。

従来、ＬＣＭ（液晶パネルモジュール）やＣＲＴ等の表示装置に設けられ、表示装置の表示画面における任意の位置を指示するための装置として抵抗膜方式のタッチパネルが公知である。抵抗膜方式のタッチパネルは、例えばベースとなるガラス面の表面にスペーサをはさんでフィルムが貼り付けられ、ガラスとフィルムとの双方の対向面にＩＴＯ（Indium Tin Oxide）と呼ばれる透明な電極格子が設けられた構造である。係るタッチパネルでは、フィルム側の表面をペンまたは指で押圧したときには、その位置に相当する場所でＩＴＯが導通するため、指示位置に相当する抵抗分の電圧を測定することによって指示位置が検出される（例えば下記特許文献１参照）。

特開２００９−４８６５３号公報

しかしながら、抵抗膜方式のタッチパネルにおいては、電極格子が設けられたフィルムによって表示装置の表示画面を覆うことが不可欠であるため、ＬＣＭ等の表示特性を低下させてしまう。また、指示位置として表示画面内における位置、つまり平面上の位置しか検出することができないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、表示装置の表示特性を低下させることなく表示画面に対する指示位置を検出し、しかも指示位置として３次元空間の位置を検出可能とすることを目的とする。

前記課題を解決するため、請求項１記載の発明に係る指示位置検出装置にあっては、表示画面に対する指示位置を検出する指示位置検出装置であって、
前記表示画面の外周部に互いに離間して配置され三組のマイクロフォンを構成するとともに、前記表示画面の上方における任意の位置から発信された指示音を検出する複数のマイクロフォンと、
前記三組のマイクロフォンの各組のマイクロフォン間における前記指示音の到達時間差をそれぞれ取得する時差取得手段と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を前記時差取得手段により取得された各組のマイクロフォン間における到達時間差に基づき取得する位置情報取得手段と
を備え、
前記位置情報取得手段は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする。

また、請求項２記載の発明に係る指示位置検出装置にあっては、各組のマイクロフォンは、前記表示画面の外周部に、前記表示画面を挟むように配置されたことを特徴とする。

また、請求項３記載の発明に係る指示位置検出装置にあっては、前記複数のマイクロフォンの１又は複数が、互いに異なる二組のマイクロフォンを構成することを特徴とする。

また、請求項４記載の発明に係る指示位置検出装置にあっては、前記三組のマイクロフォンのうちの一組のマイクロフォンは、他の二組のマイクロフォンの各々における一方側のマイクロフォンにより構成されることを特徴とする。

また、請求項５記載の発明に係る指示位置検出装置にあっては、前記複数のマイクロフォンは、前記表示画面に平行な同一平面上に配置されたことを特徴とする。

また、請求項６記載の発明に係る指示位置検出装置にあっては、前記他の二組のマイクロフォンの一方側の組のマイクロフォンと他方側の組のマイクロフォンとは、直交する２つの直線の一方側の直線上と他方側の直線上とにそれぞれ組をなして配置されたことを特徴とする。

また、請求項７記載の発明に係る指示位置検出装置にあっては、前記２つの直線は、前記表示画面の中心を通る軸上において直交することを特徴とする。

また、請求項８記載の発明に係る指示位置検出装置にあっては、前記表示画面は矩形であり、前記他の二組のマイクロフォンの一方側の組のマイクロフォンと他方側の組のマイクロフォンとは、前記表示画面の一方の対角線を含む一方の直線上と他方の対角線を含む他方の直線上とにそれぞれ組をなして配置されたことを特徴とする。

また、請求項９記載の発明に係る指示位置検出装置にあっては、前記時差取得手段に、前記三組のマイクロフォンの各組のマイクロフォンの組合せを第１の組合せとして三組のマイクロフォンの各組における指示音の到達時間差をそれぞれ取得させるとともに、前記位置情報取得手段に、前記時差取得手段に取得された第１の組合せからなる三組のマイクロフォンの各組における指示音の到達時間差に基づいて、３次元空間における前記指示音の発信位置を示す位置情報を前記表示画面に対する指示位置を示す第１の指示位置情報として取得させる一方、前記三組のマイクロフォンの各組のマイクロフォンの組合せを前記第１の組合せと異なる第２の組合せ三組のマイクロフォンの各組における指示音の到達時間差をそれぞれ取得させるとともに、前記位置情報取得手段に、前記時差取得手段に取得された第２の組合せからなる三組のマイクロフォンの各組における指示音の到達時間差に基づいて、３次元空間における前記指示音の発信位置を示す位置情報を前記表示画面に対する指示位置を示す第２の指示位置情報として取得させ位置取得制御手段と、前記位置情報取得手段に取得された第１の指示位置情報を、前記位置情報取得手段により取得された第２の指示位置情報により補正し、補正後の第３の指示位置情報を、前記表示画面に対する指示位置を示す最終的な指示位置情報として取得する補正手段とを備えたことを特徴とする。

また、請求項１０記載の発明に係る指示位置検出方法にあっては、表示画面に対する指示位置を検出する指示位置方法であって、
前記表示画面の外周部に互いに離間して配置された複数のマイクロフォンにより構成される三組のマイクロフォンの各組のマイクロフォン間における、前記表示画面の上方における任意の位置から発信された指示音の到達時間差をそれぞれ取得する工程と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を、前記取得した各組のマイクロフォン間における到達時間差に基づいて取得する工程と
を含み、
前記位置情報を取得する工程において、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする。

また、請求項１１記載の発明に係るプログラムにあっては、コンピュータに、
表示画面の外周部に互いに離間して配置された複数のマイクロフォンにより構成される三組のマイクロフォンの各組のマイクロフォン間における、前記表示画面の上方における任意の位置から発信された指示音の到達時間差をそれぞれ取得する処理と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を、前記取得した各組のマイクロフォン間における到達時間差に基づいて取得する処理と
を実行させ、
前記位置情報を取得する処理は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得する処理と、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得する処理とを含むことを特徴とする。

また、請求項１２記載の発明に係る表示装置にあっては、表示手段と、
前記表示手段が有する表示画面の外周部に互いに離間して配置され三組のマイクロフォンを構成するとともに、前記表示画面の上方における任意の位置から発信された指示音を検出する複数のマイクロフォンと、
前記三組のマイクロフォンの各組のマイクロフォン間における前記指示音の到達時間差をそれぞれ取得する時差取得手段と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を前記時差取得手段により取得された各組のマイクロフォン間における到達時間差に基づき取得する位置情報取得手段と
前記位置情報取得手段により取得された指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御する表示制御手段と
を備え、
前記位置情報取得手段は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする。

また、請求項１３記載の発明に係る表示装置にあっては、前記複数のマイクロフォンは、前記表示画面の上方における任意の位置から発信された指示音であって、一定の時間間隔で発信される各回の指示音を検出し、前記位置情報取得手段は、前記表示画面に対する指示位置を示す指示位置情報を、前記複数のマイクロフォンにより各回の指示音が検出される毎に取得し、前記表示制御手段は、前記位置情報取得手段によって指示位置情報が前記一定の時間間隔で連続して取得されている間に、前記指示位置情報に基づいて前記表示手段が表示画面に表示する表示内容を制御することを特徴とする。

また、請求項１４記載の発明に係る表示装置にあっては、前記表示制御手段は、前記指示位置情報に基づいて、前記表示手段が表示画面に表示中の表示内容を制御することを特徴とする。

また、請求項１５記載の発明に係る表示制御方法にあっては、表示手段が有する表示画面の外周部に互いに離間して配置された複数のマイクロフォンにより構成される三組のマイクロフォンの各組のマイクロフォン間における、前記表示画面の上方における任意の位置から発信された指示音の到達時間差をそれぞれ取得する工程と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を、前記取得した各組のマイクロフォン間における到達時間差に基づいて取得する工程と
取得した指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御する工程と
を含み、
前記位置情報を取得する工程において、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする。

また、請求項１６記載の発明に係るプログラムにあっては、コンピュータに、
表示手段が有する表示画面の外周部に互いに離間して配置された複数のマイクロフォンにより構成される三組のマイクロフォンの各組のマイクロフォン間における、前記表示画面の上方における任意の位置から発信された指示音の到達時間差をそれぞれ取得する処理と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を、前記取得した各組のマイクロフォン間における到達時間差に基づいて取得する処理と
取得した指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御する処理と
を実行させ、
前記位置情報を取得する処理は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得する処理と、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得する処理とを含むことを特徴とする。

また、請求項１７記載の発明に係る携帯情報端末にあっては、情報入力機能を備えた携帯情報端末において、
表示手段と、
前記表示手段が有する表示画面の外周部に互いに離間して配置され三組のマイクロフォンを構成するとともに、前記表示画面の上方における任意の位置から発信された指示音を検出する複数のマイクロフォンと、
前記三組のマイクロフォンの各組のマイクロフォン間における前記指示音の到達時間差をそれぞれ取得する時差取得手段と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を前記時差取得手段により取得された各組のマイクロフォン間における到達時間差に基づき取得する位置情報取得手段と
前記位置情報取得手段により取得された指示位置情報に基づいた情報入力処理を行う入力処理手段と、
前記入力処理手段による情報入力処理に際し、前記位置情報取得手段により取得された指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御する表示制御手段と
を備え、
前記位置情報取得手段は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする。

また、請求項１８記載の発明に係る携帯情報端末にあっては、前記複数のマイクロフォンは、前記表示画面の上方における任意の位置から発信された指示音であって、一定の時間間隔で発信される各回の指示音を検出し、前記位置情報取得手段は、前記表示画面に対する指示位置を示す指示位置情報を、前記複数のマイクロフォンにより各回の指示音が検出される毎に取得し、前記入力処理手段は、前記位置情報取得手段によって指示位置情報が前記一定の時間間隔で連続して取得されている間に、前記位置情報取得手段により取得される各々の指示位置情報に基づいた情報入力処理を行い、前記表示制御手段は、前記位置情報取得手段によって指示位置情報が前記一定の時間間隔で連続して取得されている間に、前記位置情報取得手段により取得される各々の指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御することを特徴とする。

本発明によれば、表示装置の表示特性を低下させることなく表示画面における指示位置を検出し、しかも指示位置として３次元空間の位置を検出することが可能となる。

本発明に係る携帯情報端末を示す構成図である。表示部の概略構造を示す断面図携帯情報端末の電気的構成の概略を示すブロック図である。（ａ）は各マイクロフォンのＸＹ座標系での座標位置、（ｂ）は３次元空間における任意の指示位置の位置を示す図である。指示位置情報の取得方法を示す説明図である。ソフトキー・モードでの処理内容を示すフローチャートである。指示位置情報取得処理を示したフローチャートである。ソフトキー・モードにおける携帯情報端末の動作を例示する説明図である。ソフトキーの詳細を示す説明図である。毛筆モードでの処理内容を示すフローチャートである。毛筆モードにおける携帯情報端末の動作を例示する説明図である。線画モードでの処理内容を示すフローチャートである。線画モードにおける携帯情報端末の動作を例示する説明図である。マイクロフォンの他の配置例を示す、図４（ａ）に対応する図である。三組のマイクロフォンの他の組合せを示す説明図である。

以下、本発明の実施形態について説明する。図１は、本発明の指示位置検出装置としての構成、及び本発明の表示装置としての構成を備えた携帯情報端末１を示す構成図である。携帯情報端末１は、スケジュール管理機能や、辞書等のデータ参照機能、ペン入力機能等の種々の機能を備えたものであり、以下の構成を有している。

図１に示したように携帯情報端末１の本体２は横長状であり、本体２の表面には、文字情報や画像情報等の種々の情報を表示する横長の表示部３と、電源ボタン４と、ユーザが携帯情報端末１の操作に際して使用する複数の操作キー５ａ〜５ｅとが設けられている。また、表示部３の外周部には第１〜第４のマイクロフォン６Ａ〜６Ｄが設けられている。

図２は、表示部３の概略構造を示す断面図である。表示部３は、表示手段であるカラー表示が可能なＬＣＭ３１により構成されている。ＬＣＭ３１は、表側と裏側との２枚の透明なガラス基板３２，３３と、双方のガラス基板３２，３３間に封入された液晶３４と、ガラス基板３２，３３の外面にそれぞれ貼着された偏光板３５，３６と、裏側の偏光板３６の背面に設けられた導光板３７、及び光反射シート３８とから構成されている。なお、導光板３７の図示しない外周部にはＬＥＤ（light emitting diode）等の光源が配置されている。

裏側のガラス基板３３の内面には透明な画素電極３９がパターン形成されており、画素電極３９において画素に対応する部分にはＴＦＴ４０がそれぞれ形成されている。表側のガラス基板３２の内面には、所定の色配列を有するカラーフィルタ４１と透明なコモン電極４２とが順に層をなしてパターン形成されている。

ＬＣＭ３１の表側の偏光板３５の周囲は、本体２の表面を構成するフレームカバー４３によって覆われている。フレームカバー４３には、表側の偏光板３５が露出する表示窓４３ａが開口しており、表示窓４３ａの内側には第１〜第４のマイクロフォン６Ａ〜６Ｄが配置されている。なお、携帯情報端末１においては、ＬＣＭ３１の表示面（表側の偏光板３５の表面）において表示窓４３ａから視認可能な矩形領域が表示画面３１ａである。

第１〜第４のマイクロフォン６Ａ〜６Ｄは、図１に示したように、表示画面３１ａの中心Ｑにおいて直交するとともに、表示画面３１ａに平行な平面、つまり表示画面３１ａに対向する同一平面に存在する２本の直線Ｌ，Ｍ上に、それぞれ対をなして配置されている。すなわち第１及び第３のマイクロフォン６Ａ，６Ｃが、表示画面３１ａの長辺に平行する一方の直線Ｌ上に対をなして配置されており、また第２及び第４のマイクロフォン６Ｂ，６Ｄが、表示画面３１ａの短辺に平行する他方の直線Ｍ上に対をなして配置されている。なお、図２は、上記の直線Ｌに沿った断面図である。

第１〜第４のマイクロフォン６Ａ〜６Ｄは、携帯情報端末１に付随して用意されている図２に示したスタイラスペン７０から発信される指示音を個別に検出するためのものである。

スタイラスペン７０は、携帯情報端末１が有するペン入力機能を用いてユーザが文字情報等を入力する際に使用するものであり、ペン型の本体７１と、本体７１の周面に設けられた小型のプッシュスイッチ７２とを備えている。なお、プッシュスイッチ７２は、ユーザによって押されている間だけ動作状態を維持する自動復帰形である。

スタイラスペン７０の図示しない本体７１の内部には、小型の電源と、本体７１の先端部に配置されるとともにプッシュスイッチ７２が押されたとき指示音を発生する小型スピーカーやブザー等の放音手段を含む指示音生成回路とが内蔵されている。そして、スタイラスペン７０は、プッシュスイッチ７２が押されている間、特定の周波数帯域の指示音を一定の時間間隔（ｎ回／秒）で周期的に発信するよう動作する。

図３は、携帯情報端末１の電気的構成の概略を示すブロック図である。携帯情報端末１は、装置全体を制御する制御部５１と、ＲＯＭ（Read Only Memory）５２、フラッシュメモリ５３、キー入力部５４、駆動回路５５、信号処理部５６とを備えている。駆動回路５５にはＬＣＭ３１が接続されており、信号処理部５６には、第１〜第４のマイクロフォン６Ａ〜６Ｄが、それぞれアンプ５７を介して接続されている。

制御部５１は、ＣＰＵ（Central Processing Unit）、及びその周辺回路から構成されている。制御部５１は、ＲＯＭ５２に記憶されている種々の制御プログラムに従い携帯情報端末１の動作を制御する。制御プログラムは、携帯情報端末１の制御に不可欠な基本ソフト（ＯＳ：Operating System）、及び携帯情報端末１が有する各機能を実現するための複数のアプリケーションソフトである。なお、ＲＯＭ５２には、上記制御プログラム以外にも辞書データ等の各種のデータが記憶されている。

フラッシュメモリ５３は、携帯情報端末１の動作を規定する設定データや、ユーザにより入力された文字情報等を記憶する不揮発性半導体メモリである。

キー入力部５４は、図１に示した複数の操作キー５ａ〜５ｅであり、ユーザに操作された操作キーに応じた操作信号を制御部５１へ供給する。

駆動回路５５は、制御部５１の命令に従いＬＣＭ３１を駆動するための駆動信号を生成し、生成した駆動信号をＬＣＭ３１に供給することによって表示画面３１ａに所定の文字情報や画像情報を表示させる。

信号処理部５６は、アンプ５７によってそれぞれ増幅された第１〜第４のマイクロフォン６Ａ〜６Ｄの出力信号、すなわちアナログの音響信号をデジタル信号に変換するとともに、雑音除去等のフィルタ処理を施し、フィルタ処理後の音響信号を制御部５１へ供給する。

そして、携帯情報端末１においては、ユーザがペン入力機能を使用する際、スタイラスペン７０から発信される指示音を第１〜第４のマイクロフォン６Ａ〜６Ｄによって検出するとともに、制御部５１が、指示音の発信位置をユーザによって指示された表示画面３１ａに対する指示位置として、その指示位置を示す指示位置情報を取得する。

制御部５１が取得する指示位置情報は３次元空間内における任意の指示位置を示すものである。すなわち指示位置情報は、図４（ａ）に示したように直交座標の座標位置Ｐ（ｘ，ｙ，ｚ）であり、表示画面３１ａの左下の角を原点（０，０，０）とし、かつ表示画面３１ａの長辺をｘ軸、表示画面３１ａの短辺をｙ軸としたときの座標位置である。なお、図４（ｂ）は、上記の直交座標におけるＸＹ平面での第１〜第４のマイクロフォン６Ａ〜６Ｄの座標位置を示した図である。

次に、制御部５１における指示位置情報の取得方法について説明する。任意の位置でスタイラスペン７０が指示音を発信したとき、指示音は各方向に等速度（音速）で伝わっていく。その際、指示音の発信位置から第１〜第４のマイクロフォン２Ａ〜２Ｄの各々までの距離に差がある場合、いずれか２つのマイクロフォンを一組としたとき、各組のマイクロフォン間には指示音の到達時間に差が生じる。

図５（ａ）は、指示音が発生したときの第１〜第４のマイクロフォン２Ａ〜２Ｄの出力信号における音圧レベルの変化と、予め決められている複数組のマイクロフォンの各々における指示音の到達時間差とを便宜的に示した図である。図５（ａ）において、横軸は時間、縦軸は音圧レベルであり、各々の音圧レベルがピークに達した時点（ｔ_A，ｔ_B，ｔ_C，ｔ_D ）が第１〜第４のマイクロフォン２Ａ〜２Ｄにおける指示音の検出時点であり、本実施形態では指示音が到達した時点である。なお、音圧レベルは、スタイラスペン７０が発する指示音の、予め決められている周波数帯域における音圧レベルである。

また、図５（ａ）において、第１及び第３のマイクロフォン６Ａ，６Ｃからなる一組のマイクロフォン間における指示音の到達時間差がｔ_AC であり、同様に第２及び第４のマイクロフォン６Ｂ，６Ｄからなる一組のマイクロフォン間における指示音の到達時間差がｔ_BD 、第１及び第４のマイクロフォン６Ａ，６Ｄからなる一組のマイクロフォン間における指示音の到達時間差がｔ_AD である。

そして、各組のマイクロフォン間における指示音の到達時間差（ｔ_AC ，ｔ_BD ，ｔ_AD ）に音速を乗じると、各組のマイクロフォン間における指示音の発信位置からの距離差を得ることができる。

ここで、第１及び第３のマイクロフォン６Ａ，６Ｃから一定の距離差にある空間内の点は、第１及び第３のマイクロフォン６Ａ，６Ｃを焦点とする双曲面（二葉双曲面）に存在する。同様に、第２及び第４のマイクロフォン６Ｂ，６Ｄから一定の距離差にある空間内の点は、第２及び第４のマイクロフォン６Ｂ，６Ｄを焦点とする双曲面に存在する。また、第１及び第４のマイクロフォン６Ａ，６Ｄから一定の距離差にある空間内の点は、第１及び第４のマイクロフォン６Ａ，６Ｄを焦点とする双曲面に存在する。

したがって、各組のマイクロフォンを焦点とした各々の双曲面の交点が指示音の発信位置、つまり表示画面３１ａに対する指示位置となる。すなわち図５（ｂ）は、各組のマイクロフォンを焦点とした各々の双曲面を表示画面３１ａに平行な平面で切ったときの切口、つまり双曲線を示した図である。図５（ｂ）に示したように、第１及び第３のマイクロフォン６Ａ，６Ｃを焦点とする第１の双曲面（双曲線）１０１，１０２と、第２及び第４のマイクロフォン６Ｂ，６Ｄを焦点とする第２の双曲面（双曲線）２０１，２０２と、第１及び第４のマイクロフォン６Ａ，６Ｄを焦点とする第３の双曲面（双曲線）３０１，３０２との交点が指示位置Ｐとなる。なお、図５（ｂ）は、各々の双曲面（双曲線）を便宜的に示したものに過ぎず、形状や位置関係は実際のものとは異なる。

一方、各組のマイクロフォンを焦点とした各々の双曲面は、次式（１）

によって表すことができる。但し、式（１）は、焦点がｚ軸上に存在する場合の一般式である。

また、第１及び第３のマイクロフォン６Ａ，６Ｃ間の距離（Ｌ_x ）は既知であるため、指示位置Ｐまでの距離差を２ａ_x とすれば、上記の式（１）から、第１及び第３のマイクロフォン６Ａ，６Ｃを焦点とする第１の双曲面１０１，１０２を表す式として次式（２）

を得ることができる。

同様に、第２及び第４のマイクロフォン２Ｂ，２Ｄ間の距離（Ｌy ）は既知であるため、指示位置Ｐまでの距離差を２ａy とすれば、上記の式（１）から、第２及び第４のマイクロフォン２Ｂ，２Ｄを焦点とする第２の双曲面２０１，２０２を表す式として次式（３）

を得ることができる。

一方、第１及び第４のマイクロフォン６Ａ，６Ｄがｘ軸上に位置し、かつ第１のマイクロフォン６Ａが原点（０，０，０）に位置としていると仮定して、第１及び第４のマイクロフォン６Ａ，６Ｄ間の距離を距離（ｘ）とし、指示位置Ｐまでの距離差を２ａ_xy とすれば、上記の式（１）から、第１及び第４のマイクロフォン６Ａ，６Ｄを焦点とする仮想上の双曲面を表す式として次式（４）

を得ることができる。

さらに、上記の仮想上の双曲面に存在する各点の座標位置（ｘ，ｙ，ｚ）は、次式（５）

を用いて変換すれば、第１及び第４のマイクロフォン６Ａ，６Ｄを焦点とする実際の第３の双曲面３０１，３０２における座標位置（ｘ，ｙ，ｚ）に変換することができる。

このため、式（４）及び式（５）から、第１及び第４のマイクロフォン６Ａ，６Ｄを焦点とする第３の双曲面３０１，３０２を表す式として次式（６）

を得ることができる。

したがって、式（２）、式（３）、式（６）を全て満足する座標位置（ｘ，ｙ，ｚ）が、各組のマイクロフォンを焦点とした各々の双曲面の交点であって、指示音の発信位置、つまり表示画面３１ａに対する任意の指示位置Ｐの座標位置（ｘ，ｙ，ｚ）となる。

しかしながら、例えば各組のマイクロフォンの到達時間差（ｔ_AC ，ｔ_BD ，ｔ_AD ）に誤差が存在すると、各組のマイクロフォン間における指示音の発信位置からの距離差（２ａ_x，２ａ_y，２ａ_xy ）にも誤差が生じるため、式（２）、式（３）、式（６）を全て満足する座標位置（ｘ，ｙ，ｚ）を得ることができない。

そのため、制御部５１においては、次式（７）
ｎ＝｛Ｆ（ｘ，ｙ，ｚ）｝2＋｛Ｇ（ｘ，ｙ，ｚ）｝2＋｛Ｆ（ｘ，ｙ，ｚ）｝2
・・・式（７）
ただし、
・Ｆ（ｘ，ｙ，ｚ）＝式（１）の（左辺）−（右辺）
・Ｇ（ｘ，ｙ，ｚ）＝式（２）の（左辺）−（右辺）
・Ｈ（ｘ，ｙ，ｚ）＝式（３）の（左辺）−（右辺）
を用いることにより任意の指示位置Ｐの座標位置（ｘ，ｙ，ｚ）、つまり指示位置情報を取得する。

上記の式（７）は、各組のマイクロフォンの到達時間差（ｔ_AC ，ｔ_BD ，ｔ_AD ）から得られる、各組のマイクロフォン間における指示音の発信位置からの距離差（２ａ_x，２ａ_y，２ａ_xy ）に誤差がないとき、演算結果（ｎ）が０（特定の値）となる判別式である。

制御部５１が指示位置情報を取得する際の具体的な手順は、以下の通りである。すなわち制御部５１においては、上記の式（７）の座標値（ｘ，ｙ，ｚ）に、（０，０，０）から（Ｌ_x，Ｌ_y，Ｌ_z ）までの座標値を順に代入して演算結果（ｎ）をそれぞれ求める。ここで、座標値（Ｌ_x，Ｌ_y，Ｌ_z ）におけるｚ座標（Ｌ_z ）は、指示位置のｚ軸における検出範囲として予め決められている最大座標位置である。つまり制御部５１は、式（７）の座標値（ｘ，ｙ，ｚ）に、表示画面３１ａの上方の一定範囲内の３次元空間の各点を示す座標値を順に代入して演算結果（ｎ）をそれぞれ求める。そして、制御部５１は、演算結果（ｎ）が最小であったときの座標値（ｘ，ｙ，ｚ）を指示位置情報として取得する。

一方、携帯情報端末１には、ペン入力機能を使用するための動作モードとして、ソフトキー・モードと毛筆モードと線画モードとの３種類の動作モードが予め用意されており、ペン入力機能の使用時にはユーザが必要に応じて任意の動作モードを設定することができる。ソフトキー・モードは文字や記号を入力するために用意されている動作モードであり、毛筆モードと線画モードとは線画を入力するために用意されている動作モードである。

そして、携帯情報端末１においては、３種類の動作モードのいずれが設定されているときにも、制御部５１が本発明の時差取得手段、位置情報取得手段、表示制御手段、入力処理手段として機能する。

以下、携帯情報端末１においてユーザによりペン入力機能が使用されるときの、制御部５１による指示位置情報の具体的な取得手順を含む動作内容について説明する。

（ソフトキー・モード）
まず、ユーザによりソフトキー・モードが設定されたときの携帯情報端末１の動作について説明する。図６及び図７は、制御部５１の処理内容を示したフローチャート、図８（ａ）〜図８（ｄ）は、ソフトキー・モードの設定中におけるスタイラスペン７０の操作と、スタイラスペン７０の操作に応じたＬＣＭ３１の表示画面３１ａにおける表示内容の変化の一例を示す説明図である。

図６に示したように、制御部５１は、ソフトキー・モードの設定とともに動作を開始し、まずスタイラスペン７０から発信される指示音の検出動作を開始するとともに、ＬＣＭ３１の表示画面３１ａに、図８に示したソフトキー５０１を表示させる（ステップＳＡ１）。

ここで、指示音の検出動作は、第１〜第４のマイクロフォン６Ａ〜６Ｄにおける出力信号の音圧レベルの変化を逐次確認する動作であり、制御部５１は、指示音の検出動作の開始した時点において、先に説明した複数組のマイクロフォンの各々における指示音の到達時間差の計算に使用する経過時間のカウントを開始する。

また、ソフトキー５０１は複数の操作ボタンから構成される画像であり、ソフトキー５０１の各操作ボタンには、五十音の各行の文字と、句点や読点等の複数の記号とが予め割り当てられている。ステップＳＡ１において表示される初期状態のソフトキー５０１には、操作ボタン毎に、各々の操作ボタンに割り当てられている複数の文字や記号の１つが表示される。すなわち、図８に示したように、「あ」、「か」、「さ」、「た」、「な」、・・・等の文字と、読点「。」とが表示される。

また、図８には省略して示したが、図９（ａ）に示したようにソフトキー５０１を構成する各々の操作ボタン５０１ａには、上記の文字や記号の他に、各々の操作ボタン５０１ａに割り当てられている複数の文字や記号を示すガイド文字（「あ〜お」、「。、・ー」等）が、上記の文字や記号よりも小さく表示される。

一方、ソフトキー５０１を構成する各々の操作ボタン５０１ａには、押圧方向（ｚ軸方向と逆方向）に複数段階の操作位置が仮想的に設けられており、各段階の操作位置に、同じ操作ボタン５０１ａに割り当てられている特定の文字や記号の１つが割り当てられている。例えば五十音の各行の操作ボタン５０１ａには５段階の操作位置が仮想的に設けられており、図９（ｂ）に示したように、「あ」行の操作ボタン５０１ａの１段目の操作位置には「あ」の文字が割り当てられ、かつ２段目〜５段目の各操作位置には、「い」〜「お」の各文字が割り当てられている。つまり、制御部５１は、初期状態のソフトキー５０１の各々の操作ボタン５０１ａには、各々の操作ボタン５０１ａの１段目の操作位置に割り当てられている文字や記号を表示させる。

なお、「。」、「、」、「・」、「ー」の複数の記号が割り当てられている操作ボタン５０１ａの操作位置は、割り当てられている記号の数と同様に４段階である。以下の説明では各操作ボタン５０１ａの各段位置に割り当てられている文字及び記号を文字等という。

ステップＳＡ１の処理を行った後、制御部５１は、スタイラスペン７０の指示音が検出できたか否かを逐次確認する（ステップＳＡ２）。すなわち制御部５１は、第１〜第４のマイクロフォン６Ａ〜６Ｄの出力信号の音圧レベルに僅かな時間差でピークが表れたか否かを逐次確認する。

そして、制御部５１は、第１〜第４のマイクロフォン６Ａ〜６Ｄの出力信号の音圧レベルに僅かな時間差でピークが表れたことが確認できると（ステップＳＡ２：ＹＥＳ）、その時点で指示音が検出できたと判断し、指示音の発生源である指示位置を示す指示位置情報、つまり図４（ａ）に示した直交座標における座標位置（ｘ，ｙ，ｚ）を先に説明した方法によって取得する（ステップＳＡ３）。

図７は、制御部５１における指示位置情報の取得手順を示したフローチャートである。指示位置情報の取得に際して制御部５１は、第１〜第４のマイクロフォン６Ａ〜６Ｄの出力信号の音圧レベルにピークが表れた時点を各マイクロフォンに指示音が到達した時点とする。

そして、制御部５１は、第３のマイクロフォン６Ｃに指示音が到達した時点での経過時間（ｔ_C ）から、第１のマイクロフォン６Ａに指示音が到達した時点での経過時間（ｔ_A ）を減算することによって、第１及び第３のマイクロフォン６Ａ，６Ｃにおける指示音の到達時間差ｔ_AC を取得する（ステップＳＡ１０１）。

また、制御部５１は、第４のマイクロフォン６Ｄに指示音が到達した時点での経過時間（ｔ_D ）から、第２のマイクロフォン６Ｂに指示音が到達した時点での経過時間（ｔ_B ）を減算することによって、第２及び第４のマイクロフォン６Ｂ，６Ｄにおける指示音の到達時間差ｔ_BD を取得する（ステップＳＡ１０２）。

さらに、制御部５１は、第４のマイクロフォン６Ｄに指示音が到達した時点での経過時間（ｔ_D ）から、第１のマイクロフォン６Ａに指示音が到達した時点での経過時間（ｔ_A ）を減算することによって、第１及び第４のマイクロフォン６Ａ，６Ｄにおける指示音の到達時間差ｔ_AD を取得する（ステップＳＡ１０３）。

引き続き、制御部５１は、図４（ａ）に示した直交座標における任意の点の座標位置（ｘ，ｙ，ｚ）として、（０，０，０）から（Ｌ_x，Ｌ_y，Ｌ_z ）までの座標位置を順に設定する処理を行い（ステップＳＡ１０４）、先に説明した判別式である式（７）に、設定した座標位置（ｘ，ｙ，ｚ）と、ステップＳＡ１０１〜ステップＳＡ１０３で取得した各組のマイクロフォンの到達時間差（ｔ_AC ，ｔ_BD ，ｔ_AD ）とを代入して演算結果（ｎ）を求め（ステップＳＡ１０５）、求めた演算結果（ｎ）を、設定した座標位置（ｘ，ｙ，ｚ）と対応させて内部メモリに記憶する（ステップＳＡ１０６）。以後、制御部５１は、座標位置（ｘ，ｙ，ｚ）が（Ｌ_x，Ｌ_y，Ｌ_z ）となるまで（ステップＳＡ１０７：ＮＯ）、ステップＳＡ１０４〜ステップＳＡ１０６の処理を繰り返す。

そして、制御部５１は、座標位置（ｘ，ｙ，ｚ）に（Ｌ_x，Ｌ_y，Ｌ_z ）を代入したときの演算結果（ｎ）を記憶した後（ステップＳＡ１０７：ＹＥＳ）、記憶した全ての演算結果（ｎ）の中で最小値の演算結果（ｎ）が得られたときの座標位置（ｘ，ｙ，ｚ）を確認し、確認した座標位置（ｘ，ｙ，ｚ）を、指示位置を示す座標位置、つまり指示位置情報として取得する（ステップＳＡ１０８）。

なお、式（７）の演算結果（ｎ）が最小値となる座標位置（ｘ，ｙ，ｚ）を得るための具体的な処理手順は任意である。

一方、制御部５１は、指示位置情報としての座標位置（ｘ，ｙ，ｚ）を取得した後には図６に示した処理に戻り、取得した座標位置（ｘ，ｙ，ｚ）に対応する表示画面３１ａ内の指示位置（ｘ，ｙ）がボタン領域内であるか否かを確認する（ステップＳＡ４）。つまり制御部５１は、取得した座標位置（ｘ，ｙ，ｚ）によって示されるＸＹ平面の座標位置（ｘ，ｙ）が、ソフトキー５０１を構成するいずれかの操作ボタン５０１ａの表示領域内に含まれているか否かを確認する。

そして、制御部５１は、表示画面３１ａ内の指示位置（ｘ，ｙ）がボタン領域内でなければ（ステップＳＡ４：ＮＯ）、何もせずステップＳＡ２の処理へ戻る。また、制御部５１は、表示画面３１ａ内の指示位置（ｘ，ｙ）がボタン領域内であったときには（ステップＳＡ４：ＹＥＳ）、指示位置（ｘ，ｙ）に対応する操作ボタンが既に選択中の操作ボタンであるか否かをさらに確認する（ステップＳＡ５）。

処理開始当初においては、表示画面３１ａ内の指示位置（ｘ，ｙ）がボタン領域内であっても、指示位置（ｘ，ｙ）に対応する操作ボタンは選択中の操作ボタンではない（ステップＳＡ５：ＮＯ）。したがって、制御部５１は、まず指示位置（ｘ，ｙ）に対応する位置の操作ボタンに表示中の文字等（１段目の操作位置の文字または記号）を反転表示させるとともに、当該操作ボタンを選択中の操作ボタンとして、当該操作ボタンを示す所定のボタン識別情報を内部メモリに記憶する（ステップＳＡ６）。さらに、制御部５１は、ステップＳＡ３で取得した座標位置（ｘ，ｙ，ｚ）のｚ座標をｚ軸方向（高さ方向）の基準位置として内部メモリに記憶した後（ステップＳＡ７）、直ちにステップＳＡ２の処理へ戻る。

したがって、ユーザが、例えばプッシュスイッチ７２を押した状態でスタイラスペン７０の先端部を「あ」行の操作ボタンの上方に移動させると、「あ」行の操作ボタンが選択中の操作ボタンとして記憶されるとともに、図８（ａ）に示したように、１段目の「あ」の文字が反転表示される。同時に、スタイラスペン７０の先端部の上下方向の位置が記憶される。

引き続き、制御部５１は、指示音を検出する毎に（ステップＳＡ２：ＹＥＳ）、新たな座標位置（ｘ，ｙ，ｚ）を取得する（ステップＳＡ３）。そして、制御部５１は、ステップＳＡ３で新たな座標位置（ｘ，ｙ，ｚ）を取得した際、表示画面３１ａ内の指示位置（ｘ，ｙ）がボタン領域内であるが（ステップＳＡ４：ＹＥＳ）、指示位置（ｘ，ｙ）に対応する操作ボタンが選択中の操作ボタンではないとき、つまり指示位置（ｘ，ｙ）に対応する操作ボタンが他の操作ボタンに変わったときには（ステップＳＡ５：ＮＯ）、ステップＳＡ６，ＳＡ７の処理を再び実行する。

すなわち制御部５１は、新たな指示位置（ｘ，ｙ）に対応する位置の操作ボタンに表示中の文字等を反転表示させるとともに、当該操作ボタンを選択中の操作ボタンとして、当該操作ボタンを示す所定のボタン識別情報を内部メモリに記憶する（ステップＳＡ６）。さらに、制御部５１は、新たに取得した座標位置（ｘ，ｙ，ｚ）のｚ座標をｚ軸方向の基準位置として内部メモリに記憶する（ステップＳＡ７）。

したがって、ユーザが、プッシュスイッチ７２を押しながら、例えばスタイラスペン７０の先端部を「あ」行の操作ボタンから「ら」行の操作ボタンの上方に移動させると、「ら」行の操作ボタンが選択中の操作ボタンとして記憶されるとともに、図８（ｂ）に示したように、１段目の「ら」の文字が反転表示される。同時に、スタイラスペン７０の先端部の上下方向の位置が記憶される。

また、制御部５１は、ステップＳＡ３で新たな座標位置（ｘ，ｙ，ｚ）を取得した際、表示画面３１ａ内の指示位置（ｘ，ｙ）がボタン領域内であり（ステップＳＡ４：ＹＥＳ）、かつ指示位置（ｘ，ｙ）に対応する操作ボタンが選択中の操作ボタンであれば（ステップＳＡ５：ＹＥＳ）、ｚ座標に変化があったか否かを確認する（ステップＳＡ８）。

ｚ座標に変化がなければ（ステップＳＡ８：ＮＯ）、制御部５１は直ちにステップＳＡ２の処理へ戻る。また、制御部５１は、ｚ座標に変化があれば（ステップＳＡ８：ＹＥＳ）、基準位置として記憶しているｚ座標の値から新たなｚ座標の値を減算することによって、指示位置（指示音の発信位置）における、ステップＳＡ７で記憶した基準位置から下方向への移動量を計算する（ステップＳＡ９）。なお、ステップＳＡ９の処理において制御部５１は、移動量が負の値であった場合には、移動量を０とする。

次に、制御部５１は、反転表示中の文字等が、ステップＳＡ９で計算した移動量に応じて予め決められている操作位置（段位置）の文字等であるか否かを確認する（ステップＳＡ１０）。なお、移動量と段位置とは、移動量が一定量増える毎に操作位置が１段ずつ増える関係にある。

そして、制御部５１は、反転表示中の文字等が計算した移動量に応じた段位置の文字等であれば（ステップＳＡ１０：ＹＥＳ）、何もせずステップＳＡ２の処理へ戻る。逆に、反転表示中の文字が計算した移動量に応じた操作位置の文字等でなければ（ステップＳＡ１０：ＮＯ）、制御部５１は、反転中の文字等を移動量に応じた操作位置の文字等に変更した後（ステップＳＡ１１）、いったんステップＳＡ２の処理へ戻る。

したがって、ユーザが、プッシュスイッチ７２を押しながら、例えばスタイラスペン７０の先端部を「ら」行の操作ボタンの上方に移動させた後、スタイラスペン７０の先端部を表示画面３１ａ側（下方側）へ所定量だけ移動させると、図８（ｃ）に示したように、反転中の文字が「ら」から「れ」に変更される。

一方、制御部５１は、ステップＳＡ２以降の処理を繰り返す間に、指示音ができず（ステップＳＡ２：ＮＯ）、かつ指示音が検出できない状態が所定時間以上、すなわちスタイラスペン７０における指示音の発信間隔よりも長い所定時間以上続いたときには（ステップＳＡ１２：ＹＥＳ）、以下の処理を実行する。

まず、制御部５１は、直前における表示画面３１ａ内の指示位置（ｘ，ｙ）がボタン領域内であったか否かを確認する（ステップＳＡ１３）。そして、制御部５１は、直前の指示位置（ｘ，ｙ）がボタン領域内であったときには（ステップＳＡ１３：ＹＥＳ）、選択中の操作ボタンに表示中の文字等を表示画面３１ａ内の所定の文字入力領域に表示する（ステップＳＡ１４）。つまり文字情報の入力処理を行う。

したがって、ユーザが、例えば図８（ｃ）に示した状態で、プッシュスイッチ７２を押す操作を止めて指示音の発生を停止させると、図８（ｄ）に示したように、表示画面３１ａ内の所定の文字入力領域に「れ」の文字が入力されることとなる。

また、制御部５１は、ステップＳＡ１３の処理に際して、直前の指示位置（ｘ，ｙ）がボタン領域内でなかったときには（ステップＳＡ１３：ＮＯ）、ソフトキー５０を初期化した後、つまりソフトキー５０をステップＳＡ１において表示したときと同様の初期状態に戻した後（ステップＳＡ）、ステップＳＡ２の処理へ戻る。

以後、制御部５１は、ユーザによりソフトキー・モードが解除されるまでの間、ステップＳＡ２以降の処理を繰り返し実行する。

以上のように、ペン入力機能の使用に際して携帯情報端末１にソフトキー・モードが設定されている場合、ユーザハスタイラスペン７０を用いて所望の文字等を入力することができる。

（毛筆モード）
次に、ユーザにより毛筆モードが設定されたときの携帯情報端末１の動作について説明する。図１０は、制御部５１の処理内容を示したフローチャート、図１１（ａ）〜図１１（ｄ）は、毛筆モードの設定中におけるスタイラスペン７０の操作と、スタイラスペン７０の操作に応じたＬＣＭ３１の表示画面３１ａにおける表示内容の変化の一例を示す説明図である。

図１０に示したように、制御部５１は、毛筆モードの設定とともに動作を開始し、まずスタイラスペン７０が発する指示音の検出動作を開始するとともに、描画すべき線の太さ（線幅）を予め決められている基準の太さに設定する（ステップＳＢ１）。なお、指示音の検出動作は、ソフトキー・モードの場合と同様であり、制御部５１は、指示音の検出動作の開始した時点において、先に説明した複数組のマイクロフォンの各々における指示音の到達時間差の計算に使用する経過時間のカウントを開始する。

ステップＳＡ１の処理を行った後、制御部５１は、スタイラスペン７０の指示音が検出できたか否かを逐次確認する（ステップＳＢ２）。すなわち制御部５１は、第１〜第４のマイクロフォン６Ａ〜６Ｄの出力信号の音圧レベルに僅かな時間差でピークが表れたか否かを逐次確認する。

そして、制御部５１は、第１〜第４のマイクロフォン６Ａ〜６Ｄの出力信号の音圧レベルに僅かな時間差でピークが表れたことが確認できると、その時点で指示音が検出できたと判断し（ステップＳＢ２：ＹＥＳ）、指示音の発生源である指示位置を示す指示位置情報、つまり図４（ａ）に示した直交座標における座標位置（ｘ，ｙ，ｚ）を、図７に示した既説した処理によって取得する（ステップＳＢ３）。

引き続き、制御部５１は、取得した座標位置（ｘ，ｙ，ｚ）によって示されるＸＹ平面の座標位置（ｘ，ｙ）が表示画面３１ａ内の位置であるか否かを確認する（ステップＳＢ４）。

制御部５１は、指示位置（ｘ，ｙ）が表示画面３１ａ内でなければ（ステップＳＢ４：ＮＯ）、何もせずステップＳＢ２の処理へ戻る。また、制御部５１は、指示位置（ｘ，ｙ）が表示画面３１ａ内であったときには（ステップＳＢ４：ＹＥＳ）、描画中であるか否かをさらに確認する（ステップＳＢ５）。なお、ステップＳＢ５の確認は、内部メモリに後述する描画フラグが記憶されているか否かを確認することにより行う。

処理開始当初においては、指示位置（ｘ，ｙ）が表示画面３１ａ内であっても、描画している状態ではない（ステップＳＢ５：ＮＯ）。したがって、制御部５１は、まずステップＳＢ３で取得した座標位置（ｘ，ｙ，ｚ）のｚ座標をｚ軸方向（高さ方向）の基準位置として内部メモリに記憶する（ステップＳＢ６）。

さらに、制御部５１は、表示画面３１ａ内の指示位置（ｘ，ｙ）を描画位置として内部メモリに記憶し、さらに描画中であることを示す描画フラグを設定する（ステップＳＢ７）。なお、描画フラグの設定は、描画フラグを内部メモリに記憶する処理である。しかる後、制御部５１は、表示画面３１ａ内の指示位置（ｘ，ｙ）に始点を表示し（ステップＳＢ８）、いったんステップＳＢ２の処理へ戻る。

つまり、ユーザがスタイラスペン７０の先端部を表示画面３１ａの所望する位置の上方に位置させた状態でプッシュスイッチ７２を押すと、図１１（ａ）に示したように、表示画面３１ａの所望する位置に始点Ｓが表示される。同時に、表示画面３１ａ内の指示位置（ｘ，ｙ）と、スタイラスペン７０の先端部の上下方向の位置が記憶される。

引き続き、制御部５１は、指示音を検出する毎に（ステップＳＢ２：ＹＥＳ）、新たな座標位置（ｘ，ｙ，ｚ）を取得する（ステップＳＢ３）。そして、制御部５１は、ステップＳＢ３で新たな座標位置（ｘ，ｙ，ｚ）を取得した際、ＸＹ平面の座標位置（ｘ，ｙ）が表示画面３１ａ内の位置であり（ステップＳＢ４：ＹＥＳ）、かつ描画中であれば（ステップＳＢ５：ＹＥＳ）、新たなＸＹ平面の座標位置（ｘ，ｙ）を今回の描画位置として内部メモリに記憶する（ステップＳＢ９）。

しかる後、制御部５１は以下の処理を実行する。まず、制御部５１はｚ座標が変化したか否かを確認する（ステップＳＢ１０）。そして、制御部５１は、ｚ座標に変化がなければ（ステップＳＢ１０：ＮＯ）、直ちに表示画面３１ａ内における、前回の描画位置（ｘ，ｙ）と今回の描画位置（ｘ，ｙ）との間に、今回の描画位置（ｘ，ｙ）での太さを設定中の太さとする線を描画する（ステップＳＢ１３）。

一方、制御部５１は、ｚ座標に変化があれば（ステップＳＢ１０：ＹＥＳ）、基準位置として記憶しているｚ座標の値から新たなｚ座標の値を減算することによって、指示位置（指示音の発信位置）における、ステップＳＢ６で記憶した基準位置からの上下方向への移動量を計算する（ステップＳＢ１１）。すなわち制御部５１は、移動量として正又は負の値を取得する。

引き続き、制御部５１は、計算した移動量に応じて描画すべき線の太さを増減する（ステップＳＢ１２）。ステップＳＢ１２の処理において制御部５１は、計算した移動量が正の値であって、指示位置が基準位置から下方へ移動していた場合には、描画すべき線の太さを移動量に応じた分だけ基準の太さよりも太くする設定を行う。また、ステップＳＢ１２の処理において制御部５１は、計算した移動量が負の値であって、指示位置が基準位置から上方へ移動していた場合には、描画すべき線の太さを移動量に応じた分だけ基準の太さよりも細くする設定を行う。

しかる後、制御部５１は、表示画面３１ａ内における、前回の描画位置（ｘ，ｙ）と今回の描画位置（ｘ，ｙ）との間に、今回の描画位置（ｘ，ｙ）での太さを設定中の太さとする線を描画する（ステップＳＢ１３）。以後、制御部５１はいったんステップＳＢ２の処理へ戻り、指示音が検出できている間においは、指示音を検出する毎にステップＳＢ９〜ステップＳＢ１３の処理を繰り返し実行する。

したがって、図１１（ａ）に示したように表示画面３１ａに始点Ｓが表示された後、例えばユーザがプッシュスイッチ７２を押しながらスタイラスペン７０（の先端部）を斜め右下方向へ移動させると、図１１（ｂ）に示したように表示画面３１ａには、始点Ｓから右方向へ向かい徐々に太くなる線Ｋが描画される。さらに、ユーザがスタイラスペン７０を斜め右上方向へ移動させると、図１１（ｃ）に示したように、描画中の線Ｋが、太さが徐々に細くなりながら右方向へ延びることとなる。つまり線画情報の入力処理が行われる。

一方、制御部５１は、ステップＳＢ２以降の処理を繰り返す間に、指示音ができず（ステップＳＢ２：ＮＯ）、かつ指示音が検出できない状態が所定時間以上、すなわちスタイラスペン７０における指示音の発信間隔よりも長い所定時間以上続いたときには（ステップＳＢ１４：ＹＥＳ）、以下の処理を実行する。

すなわち制御部５１は、描画すべき線の太さを基準の太さに戻し（ステップＳＢ１５）、さらに描画フラグをオフ状態とする（ステップＳＢ１６）。描画フラグをオフ状態とする処理は、描画フラグを内部メモリから消去する処理である。以後、制御部５１はステップＳＢ２の処理へ戻り、ユーザにより毛筆モードが解除されるまでの間、ステップＳＢ２以降の処理を繰り返し実行する。

したがって、ユーザは、所望の線を描画したら、プッシュスイッチ７２を押す操作をいったん止めて指示音の発生を停止させた後、再びプッシュスイッチ７２を押すことにより、新たな線の描画を開始することができる。

以上のことから、ペン入力機能の使用に際して携帯情報端末１に毛筆モードが設定されている場合、ユーザは、スタイラスペン７０を表示画面３１ａに対して縦横方向に移動させることにより所望の線を描画することができる。同時に、ユーザは、線の描画中にスタイラスペン７０を上下させることにより線の太さを変えることができる。つまりユーザは、毛筆で線や文字を書く場合と同様の感覚で、線の太さを自在に調整しながら所望形状の線や文字等を表示画面３１ａに描画することができる。

（線画モード）
次に、ユーザにより線画モードが設定されたときの携帯情報端末１の動作について説明する。図１２は、制御部５１の処理内容を示したフローチャート、図１３（ａ）〜図１３（ｄ）は、線画モードの設定中におけるスタイラスペン７０の操作と、スタイラスペン７０の操作に応じたＬＣＭ３１の表示画面３１ａにおける表示内容の変化の一例を示す説明図である。

図１２に示したように、制御部５１は、線画モードの設定とともに動作を開始し、まずスタイラスペン７０が発する指示音の検出動作を開始するとともに、描画すべき線の太さを予め決められている基準の太さに設定する（ステップＳＣ１）。なお、指示音の検出動作は、ソフトキー・モード及び毛筆モードの場合と同様であり、制御部５１は、指示音の検出動作の開始した時点において、先に説明した複数組のマイクロフォンの各々における指示音の到達時間差の計算に使用する経過時間のカウントを開始する。

ステップＳＣ１の処理を行った後、制御部５１は、スタイラスペン７０の指示音が検出できたか否かを逐次確認する（ステップＳＣ２）。すなわち制御部５１は、第１〜第４のマイクロフォン６Ａ〜６Ｄの出力信号の音圧レベルに僅かな時間差でピークが表れたか否かを逐次確認する。

そして、制御部５１は、第１〜第４のマイクロフォン６Ａ〜６Ｄの出力信号の音圧レベルに僅かな時間差でピークが表れたことが確認できると、その時点で指示音が検出できたと判断し（ステップＳＣ２：ＹＥＳ）、指示音の発信位置である指示位置を示す指示位置情報、つまり図４（ａ）に示した直交座標における座標位置（ｘ，ｙ，ｚ）を、図７に示した既説した処理によって取得する（ステップＳＣ３）。

引き続き、制御部５１は、取得した座標位置（ｘ，ｙ，ｚ）におけるｚ座標をｙ座標に変換した後（ステップＳＣ４）、変換後の座標位置（ｘ，ｙ）が表示画面３１ａ内の位置であるか否かを確認する（ステップＳＣ５）。

制御部５１は、変換後の座標位置（ｘ，ｙ）が表示画面３１ａ内でなければ（ステップＳＣ５：ＮＯ）、何もせずステップＳＣ２の処理へ戻る。また、制御部５１は、変換後の座標位置（ｘ，ｙ）が表示画面３１ａ内であったときには（ステップＳＣ５：ＹＥＳ）、描画中であるか否かをさらに確認する（ステップＳＣ６）。なお、ステップＳＣ６の確認は、内部メモリに後述する描画フラグが記憶されているか否かを確認することにより行う。

処理開始当初においては、変換後の座標位置（ｘ，ｙ）が表示画面３１ａ内であっても、描画している状態ではない（ステップＳＣ６：ＮＯ）。したがって、制御部５１は、まず変換後の座標位置（ｘ，ｙ）を描画位置として内部メモリに記憶し、さらに描画中であることを示す描画フラグを設定する（ステップＳＣ７）。なお、描画フラグの設定は、描画フラグを内部メモリに記憶する処理である。しかる後、制御部５１は、表示画面３１ａ内の描画位置（ｘ，ｙ）に始点を表示し（ステップＳＣ８）、いったんステップＳＣ２の処理へ戻る。

つまり、ユーザがスタイラスペン７０の先端部を表示画面３１ａの所望する位置の上方側に位置させた状態でプッシュスイッチ７２を押すと、図１３（ａ）に示したように、表示画面３１ａに始点Ｓが表示される。同時に、表示画面３１ａ内の描画位置（ｘ，ｙ）が記憶される。ただし、先に説明した毛筆モードの場合とは異なり、表示画面３１ａの縦方向（ｙ軸方向）が３次元空間での上下方向（ｚ軸方向）となっているため、例えばスタイラスペン７０の先端部が表示画面３１ａに当接していたときには、始点Ｓの表示位置は表示画面３１ａの下辺に接する位置となる。

引き続き、制御部５１は、指示音を検出する毎に（ステップＳＣ２：ＹＥＳ）、新たな座標位置（ｘ，ｙ，ｚ）を取得し（ステップＳＣ３）、取得した座標位置（ｘ，ｙ，ｚ）におけるｚ座標をｙ座標に変換する（ステップＳＣ４）。

そして、制御部５１は、変換後の座標位置（ｘ，ｙ）が表示画面３１ａ内の位置であり（ステップＳＣ５：ＹＥＳ）、かつ描画中であれば（ステップＳＣ６：ＹＥＳ）、新たに取得した変換後の座標位置（ｘ，ｙ）を今回の描画位置として内部メモリに記憶する（ステップＳＣ９）。しかる後、制御部５１は、表示画面３１ａに、前回の描画位置（ｘ，ｙ）と今回の描画位置（ｘ，ｙ）との間を結ぶ線を描画する（ステップＳＣ１０）。

以後、制御部５１はいったんステップＳＣ２の処理へ戻り、指示音が検出できている間においは、指示音を検出する毎に、ステップＳＣ４〜ステップＳＣ６、ステップＳＣ９、ステップＳＣ１０の各処理を繰り返し実行する。

したがって、図１３（ａ）に示したように表示画面３１ａに始点Ｓが表示された後、例えばユーザがプッシュスイッチ７２を押しながらスタイラスペン７０（の先端部）を、表示画面３１ａから離れる方向（上方）に向かって螺旋を描くように移動させると、表示画面３１ａには、図１３（ｂ）、図１３（ｃ）に示した順に線Ｋが描画される。つまり線画情報の入力処理が行われる。

すなわち表示画面３１ａには、視線を表示画面３１ａと平行で、かつ表示画面３１ａの縦方向（ｙ軸方向）と一致させて観察している状態、つまり特定の方向から観察している状態におけるスタイラスペン７０の先端部の軌跡を表す線Ｋが描画される。

一方、制御部５１は、ステップＳＣ２以降の処理を繰り返す間に指示音ができず（ステップＳＣ２：ＮＯ）、かつ指示音が検出できない状態が所定時間以上、すなわちスタイラスペン７０における指示音の発信間隔よりも長い所定時間以上続いたときには（ステップＳＣ１１：ＹＥＳ）、描画フラグをオフ状態とする（ステップＳＢ１６）。描画フラグをオフ状態とする処理は、描画フラグを内部メモリから消去する処理である。以後、制御部５１はステップＳＣ２の処理へ戻り、ユーザにより線画モードが解除されるまでの間、ステップＳＣ２以降の処理を繰り返し実行する。

したがって、ユーザは、所望の線を描画したら、プッシュスイッチ７２を押す操作をいったん止めて指示音の発信を停止させた後、再びプッシュスイッチ７２を押すことにより、新たな線の描画を開始することができる。

以上のことから、ペン入力機能の使用に際して携帯情報端末１に線画モードが設定されている場合、ユーザは、スタイラスペン７０を表示画面３１ａの上方側で移動させることにより、スタイラスペン７０の先端部の３次元空間での移動軌跡に対応するとともに、移動軌跡を特定の方向から観察したときの形状を表す線画を描画することができる。

ここで、以上説明したように携帯情報端末１においては、ユーザによりペン入力機能が使用されるとき、スタイラスペン７０が発する指示音を第１〜第４のマイクロフォン６Ａ〜６Ｄによって検出し、互いに組をなすマイクロフォン間における指示音の到達時間差に基づいて、指示音の発信位置であるタイラスペン７０の先端部の位置を示す座標位置（ｘ，ｙ，ｚ）を、表示画面３１ａに対する指示位置を示す指示位置情報として取得する。

したがって、表示画面３１ａに対する指示位置を抵抗膜方式のタッチパネルを用いて検出する場合のように表示画面３１ａを他の部材で覆う必要がない。よって、ＬＣＭ１の表示特性を低下させることなく表示画面３１ａにおける指示位置を検出することができる。

しかも、携帯情報端末１においては、指示位置情報として３次元の位置情報（ｘ，ｙ，ｚ）を取得するため、前述したソフトキー・モードにおいて表示画面３１ａに表示させるソフトキー５０１には、複数の操作ボタンの一つひとつに複数の文字等を割り当てることができる。つまり、一般的なソフトウェアキーボードを用いて画面上のボタン選択により文字等を入力可能とする場合と比べ、表示画面３１ａ内に表示する操作ボタン数を削減することができる。よって、ソフトキー５０１の表示面積を小さくすることにより、ペン入力機能によって文字等を入力可能とする際、表示画面３１ａを有効に使用することができる。

また、前述した毛筆モードにおいては、既に述べたように、表示画面３１ａに描画中の線の太さを、スタイラスペン７０の上下動に応じて逐次変化させることによって、ユーザに、毛筆で線や文字を書く場合と同様の感覚で線の太さを自在に調整させることができる。

また、前述した線画モードにおいては、既に述べたように、スタイラスペン７０の先端部の３次元空間での移動軌跡に対応するとともに、移動軌跡を特定の方向から観察したときの形状を表す線画を描画することができる。しかも、ユーザは、線画の描画作業中には、実際の視点とは異なる視点による線画（移動軌跡）を逐次確認することにより、多少複雑な３次元形状を表す線画であっても比較的容易に描画することができる。

なお、本発明の実施に際しては、本実施形態で説明した携帯情報端末１の構成等を以下のように変更してもよい。
例えば、第１〜第４のマイクロフォン６Ａ〜６Ｄのうち互いに二組のマイクロフォンがそれぞれ配置された、互いに直交する２本の直線Ｌ，Ｍは、必ずしも同一平面に存在するものでなくともよく、２本の直線Ｌ，Ｍは、互いに平行する異なる平面に存在するものでも構わない。さらに、２本の直線Ｌ，Ｍは、互いに平行していない異なる平面に存在するものでも構わない。

さらに、２本の直線Ｌ，Ｍは、本実施形態のように直交するものである方が、表示画面３１ａに対する任意の指示位置Ｐを示す座標位置（ｘ，ｙ，ｚ）の計算には都合がよいが、２本の直線Ｌ，Ｍは、少なくとも表示画面３１ａに投影したとき表示画面３１ａ内において単に交差するものであっても構わない。

また、第１〜第４のマイクロフォン６Ａ〜６Ｄは、図１４に示したように、表示画面３１ａの各々の角部に配置してもよい。つまり第１〜第４のマイクロフォン６Ａ〜６Ｄは、表示画面３１ａの一方の対角線を含む直線Ｌ１上と他方の対角線を含む直線Ｍ１上とにそれぞれ対をなして配置してもよい。

さらに、ＬＣＭ１における第１〜第４のマイクロフォン６Ａ〜６Ｄの設置箇所は、ユーザが表示画面３１ａに対して任意の位置を指示した際に表示画面３１ａの上方でスタイラスペン７０が発信する指示音が検知できれば適宜変更することができる。つまり第１〜第４のマイクロフォン６Ａ〜６Ｄは互いに離間していればよく、表示画面３１ａの外周部分の任意の位置に配置することができる。

また、本実施形態では、表示画面３１ａの外周部に第１〜第４のマイクロフォン６Ａ〜６Ｄを設け、三組のマイクロフォンのうちの一組のマイクロフォンを他の二組のマイクロフォンの各々における一方側のマイクロフォンとした。つまり第１及び第４のマイクロフォン６Ａ，６Ｄを一組のマイクロフォンとして扱うようにした。

しかし、例えば表示画面３１ａの外周部に、第１〜第４のマイクロフォン６Ａ〜６Ｄに加えて第５のマイクロフォンと第６のマイクロフォンとを別途設けることにより、三組のマイクロフォンの各組のマイクロフォンを、他の組のマイクロフォンを構成しない２つのマイクロフォンによって構成するようにしてもよい。

また、例えば表示画面３１ａの外周部に第１〜第４のマイクロフォン６Ａ〜６Ｄに加えて第５のマイクロフォンのみを別途設けることにより、５つのマイクロフォンのいずれか１つのみを互いに異なる二組のマイクロフォンを構成するものとして扱うようにしても構わない。

さらに、表示画面３１ａの外周部に第１〜第３のマイクロフォン６Ａ〜６Ｃのみを設け、３つのマイクロフォンの各々を、異なる二組のマイクロフォンの一方側の組と他方側の組を構成するものとして扱うようにしても構わない。すなわち、第１及び第２のマイクロフォン６Ａ，６Ｂを第１の組として扱い、第２及び第３のマイクロフォン６Ｂ，６Ｃを第２の組として扱い、第３及び第１のマイクロフォン６Ｃ，６Ａを第３の組として扱うようにしてもよい。

また、本実施形態のように表示画面３１ａの外周部に第１〜第４のマイクロフォン６Ａ〜６Ｄの４つのマイクロフォンを設ける場合はもとより、前述したように表示画面３１ａの外周部に５つのマイクロフォンや６つのマイクロフォンを設ける場合においても、各組のマイクロフォンの組合せについては任意の組合せを採用することができる。

さらに、表示画面３１ａの外周部に３つのマイクロフォンや、５つのマイクロフォンや、６つのマイクロフォンを設ける場合においても、外周部における各マイクロフォンの具体的な配置形態についても任意の配置形態を採用することができる。

また、制御部５１には、本発明における位置取得制御手段、及び補正手段としての機能を付加することにより、指示音を検出したとき本実施形態とは異なる以下の処理によって表示画面３１ａに対する任意の指示位置Ｐを示す座標位置（ｘ，ｙ，ｚ）を取得させてもよい。

例えば制御部５１に、本実施形態で説明した手順によって、図５（ｂ）に示した異なる３つの双曲面の交点Ｐの座標位置（ｘ，ｙ，ｚ）を演算し、演算結果を第１の指示位置情報として取得する処理を行わせる。次に、制御部５１に、３つの双曲面のうち、第１及び第４のマイクロフォン６Ａ，６Ｄを焦点とする第３の双曲面（双曲線）３０１，３０２を、図１５に示したように、第２及び第３のマイクロフォン６Ｂ，６Ｃを焦点とする双曲面４０１，４０２に変更した上で、本実施形態と同様の原理に従い、異なる３つの双曲面の交点Ｐの座標位置（ｘ，ｙ，ｚ）を演算させる。

つまり制御部５１に、本実施形態における組合せ（第１の組合せ）と異なる他の組合せ（第２の組合せ）からなる三組のマイクロフォンの各組における指示音の到達時間差をそれぞれ取得し、取得した各組の到達時間差に基づいて、３つの双曲面の交点Ｐの座標位置（ｘ，ｙ，ｚ）を演算し、演算結果を第２の指示位置情報として取得する処理を行わせる。なお、図１５は、図５（ｂ）と同様、各々の双曲面（双曲線）を便宜的に示したものに過ぎず、形状や位置関係は実際のものとは異なる。

その後、制御部５１に、第１の指示位置情報におけるｘ座標と、第２の指示位置情報におけるｘ座標との中間に位置する点のｘ座標を計算し、計算結果を補正後のｘ座標として取得させる。同様に、制御部５１に、第１の指示位置情報におけるｙ座標と、第２の指示位置情報におけるｙ座標との中間に位置する点のｙ座標を計算し、計算結果を補正後のｙ座標として取得させる。さらに、制御部５１に、第１の指示位置情報におけるｚ座標と、第２の指示位置情報におけるｚ座標との中間に位置する点のｚ座標を計算し、計算結果を補正後のｚ座標として取得させる。

言い換えると、制御部５１に、第１の指示位置情報を第２の指示位置情報によって補正し、補正後におけるｘ，ｙ，ｚの各座標からなる座標位置（ｘ，ｙ，ｚ）を第３の指示位置情報として取得し、第３の指示位置情報を最終的な指示位置情報として取得させる。

上記のように、三組のマイクロフォンのうち一組のマイクロフォンの組合せを変えて第１の指示位置情報と第２の指示位置情報とを取得し、取得した第１の指示位置情報を第２の指示位置情報によって補正することにより、最終的な指示位置情報（第３の指示位置情報）を取得するようにすれば、表示画面３１ａにおける指示位置の検出精度を上げることができる。なお、上記の例とは異なり、第１の指示位置情報と第２の指示位置情報とを取得する際には、三組のマイクロフォンの全ての組のマイクロフォンの組合せを変えるようにしてもよい。

また、本実施形態では、制御部５１が指示位置情報を取得する際、式（７）の座標値（ｘ，ｙ，ｚ）に、表示画面３１ａの上方の一定範囲内の３次元空間の各点を示す座標値を順に代入して演算結果（ｎ）をそれぞれ求め、演算結果（ｎ）が最小であったときの座標値（ｘ，ｙ，ｚ）を指示位置情報として取得する構成について説明した。しかし、指示位置情報、すなわち３つの双曲面の交点（又は、交点と判断できる点）の座標位置（ｘ，ｙ，ｚ）を求める際の具体的な方法には任意の方法を適用することができる。

一方、第１〜第４のマイクロフォン６Ａ〜６Ｄが検出する指示音は、可聴範囲の周波数帯域に特性を有するものであってもよいし、非可聴範囲の周波数帯域に特性を有するものであってもよい。指示音を可聴範囲の周波数帯域に特性を有するものとした場合には、スタイラスペン７０の操作中にユーザに対して確実な操作感を提供することができる。また、指示音を非可聴範囲の周波数帯域に特性を有するものとした場合には、指示音が聞こえることが煩わしいと感じるユーザに対して良好な操作環境を提供することができると同時に、周囲の者に指示音をノイズとして感じさせてしまう不都合を無くすことができる。

また、携帯情報端末１には、指示音の検出モードとして、検出すべき指示音が可聴範囲の周波数帯域に特性を有するものである第１の検出モードと、検出すべき指示音が非可聴範囲の周波数帯域に特性を有するものである第２の検出モードとの２種類の検出モードを有し、ユーザが指示音の検出モードを必要に応じて切り替えることができる構成を確保してもよい。携帯情報端末１に上記構成を確保すれば、ユーザが、スタイラスペンとして可聴範囲の周波数帯域に特性を有する指示音を発するものと、非可聴範囲の周波数帯域に特性を有する指示音を発する構成を有するものとを、好みや使用環境に応じて選択的に使い分けることが可能となる。

また、本実施形態においては、ペン入力機能が使用されるときの動作モードとしてソフトキー・モードが設定されているとき、制御部５１がＬＣＭ３１の表示画面３１ａに複数の操作ボタンから構成されるソフトキー５０１を表示させるものについて説明した。しかし、ソフトキー・モードにおいては、複数段階の操作位置が仮想的に設けられているものであれば、制御部５１が単一の操作ボタンを表示画面３１ａに表示させる構成としてもよい。

また、本実施形態においては、ソフトキー５０１の一例として、複数の操作ボタンに五十音の各行の文字と、句点や読点等の複数の記号とが割り当てられているものを示した。しかし、ソフトキー５０１は、例えば各々の操作ボタンにアルファベットの各文字をグループ分けして割り当てたものとしてもよいし、アラビア数字やローマ数字を複数グループ分けして割り当てたものとしてもよい。

また、制御部５１がＬＣＭ３１の表示画面３１ａに表示させるソフトキー５０１や単一の操作ボタンには、各段階の操作位置に対応して予め割り当てられている情報であれば、文字情報以外の他の情報を表示させてもよい。

また、本実施形態においては、ペン入力機能が使用されるときの動作モードとして線画モードが設定されているとき、制御部５１がＬＣＭ３１の表示画面３１ａに表示させる線画が、視線を表示画面３１ａと平行で、かつ表示画面３１ａの縦方向（ｙ軸方向）と一致させて観察している状態におけるスタイラスペン７０の先端部の軌跡を表す線Ｋとした。しかし、線画モードにおいて制御部５１がＬＣＭ３１の表示画面３１ａに表示させる線画は、例えばスタイラスペン７０の先端部の軌跡を、先端部の移動範囲を斜め上方から観察した状態のものとしても構わない。

さらに、制御部５１がＬＣＭ３１の表示画面３１ａに表示させる線画は単一でなくともよい。すなわち、例えばＬＣＭ３１の表示画面３１ａには、スタイラスペン７０の先端部の軌跡をｘ軸方向から観察した状態の線画と、ｙ軸方向から観察した状態の線画と、ｚ軸方向から観察した状態の線画の３種類の線画を同時に表示させてもよい。

また、本実施形態においては、携帯情報端末１にペン入力機能を使用するための動作モードとして、ソフトキー・モードと毛筆モードと線画モードとの３種類の動作モードが予め用意されている場合について説明した。しかし、携帯情報端末１には、３種類の動作モード以外にも他の動作モードを設けてもよい。

他の動作モードとしては、例えば制御部５１が、表示画面３１ａに表示中のソフトキー５０１とは異なる他の画像等を、表示画面３１ａに対する指示位置（指示位置情報）に応じて制御する動作モードや、制御部５１が、表示画面３１ａに、表示画面３１ａに対する指示位置（指示位置情報）に応じて、線画とは別の任意の情報（画像情報や文字情報）を新たに表示させる動作モードである。

また、上記の他の動作モードにおいては、制御部５１に、表示画面３１ａに表示中の画像等を制御したり、表示画面３１ａに任意の情報を新たに表示させたりする処理を、スタイラスペン７０における指示音の発信周期に応じた一定の時間間隔で指示位置情報を連続して取得している期間内に行わせてもよいし、指示位置情報を取得した任意の時点で行わせてもよい。

また、本実施形態においては、本発明の指示位置検出装置としての構成、及び本発明の表示装置としての構成を備えるとともに、スタイラスペン７０を用いた文字や線画の入力を可能としたペン入力機能を有する携帯情報端末１について説明した。しかし、本発明の指示位置検出装置および表示装置は、携帯情報端末１に限らず他の装置にも組み込むことができる。

また、いうまでもなく、本発明において検出する指示位置、すなわち３次元空間内における指示音の発信位置を示す座標位置（ｘ，ｙ，ｚ）は、本実施形態で説明したＬＣＭ３１が有する表示画面に対する指示位置に限定されるものではなく、ＬＣＭ１以外のＣＲＴ等の他の表示機器が有する表示画面における任意の指示位置であっても構わない。

１携帯情報端末
３表示部
６Ａ第１のマイクロフォン
６Ｂ第２のマイクロフォン
６Ｃ第３のマイクロフォン
６Ｄ第４のマイクロフォン
３１ＬＣＭ
３１ａ表示画面
４３ａ表示窓
５１制御部
５２ＲＯＭ
７０スタイラスペン
７２プッシュスイッチ
１０１，１０２第１の双曲面
２０１，２０２第２の双曲面
３０１，３０２第３の双曲面
Ｌ直線
Ｍ直線
Ｐ指示位置
Ｑ中心

Claims

表示画面に対する指示位置を検出する指示位置検出装置であって、
前記表示画面の外周部に互いに離間して配置され三組のマイクロフォンを構成するとともに、前記表示画面の上方における任意の位置から発信された指示音を検出する複数のマイクロフォンと、
前記三組のマイクロフォンの各組のマイクロフォン間における前記指示音の到達時間差をそれぞれ取得する時差取得手段と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を前記時差取得手段により取得された各組のマイクロフォン間における到達時間差に基づき取得する位置情報取得手段と
を備え、
前記位置情報取得手段は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする指示位置検出装置。
各組のマイクロフォンは、前記表示画面の外周部に、前記表示画面を挟むように配置されたことを特徴とする請求項１記載の指示位置検出装置。
前記複数のマイクロフォンの１又は複数が、互いに異なる二組のマイクロフォンを構成することを特徴とする請求項１又は２記載の指示位置検出装置。
前記三組のマイクロフォンのうちの一組のマイクロフォンは、他の二組のマイクロフォンの各々における一方側のマイクロフォンにより構成されることを特徴とする請求項３記載の指示位置検出装置。
前記複数のマイクロフォンは、前記表示画面に平行な同一平面上に配置されたことを特徴とする請求項４記載の指示位置検出装置。
前記他の二組のマイクロフォンの一方側の組のマイクロフォンと他方側の組のマイクロフォンとは、直交する２つの直線の一方側の直線上と他方側の直線上とにそれぞれ組をなして配置された
ことを特徴とする請求項４又は５記載の指示位置検出装置。
前記２つの直線は、前記表示画面の中心を通る軸上において直交することを特徴とする請求項６記載の指示位置検出装置。
前記表示画面は矩形であり、
前記他の二組のマイクロフォンの一方側の組のマイクロフォンと他方側の組のマイクロフォンとは、前記表示画面の一方の対角線を含む一方の直線上と他方の対角線を含む他方の直線上とにそれぞれ組をなして配置されたことを特徴とする請求項４又は５記載の指示位置検出装置。
前記時差取得手段に、前記三組のマイクロフォンの各組のマイクロフォンの組合せを第１の組合せとして三組のマイクロフォンの各組における指示音の到達時間差をそれぞれ取得させるとともに、前記位置情報取得手段に、前記時差取得手段に取得された第１の組合せからなる三組のマイクロフォンの各組における指示音の到達時間差に基づいて、３次元空間における前記指示音の発信位置を示す位置情報を前記表示画面に対する指示位置を示す第１の指示位置情報として取得させる一方、前記三組のマイクロフォンの各組のマイクロフォンの組合せを前記第１の組合せと異なる第２の組合せ三組のマイクロフォンの各組における指示音の到達時間差をそれぞれ取得させるとともに、前記位置情報取得手段に、前記時差取得手段に取得された第２の組合せからなる三組のマイクロフォンの各組における指示音の到達時間差に基づいて、３次元空間における前記指示音の発信位置を示す位置情報を前記表示画面に対する指示位置を示す第２の指示位置情報として取得させる位置取得制御手段と、
前記位置情報取得手段に取得された第１の指示位置情報を、前記位置情報取得手段により取得された第２の指示位置情報により補正し、補正後の第３の指示位置情報を、前記表示画面に対する指示位置を示す最終的な指示位置情報として取得する補正手段と
を備えたことを特徴とする請求項１乃至８いずれか記載の指示位置検出装置。
表示画面に対する指示位置を検出する指示位置方法であって、
前記表示画面の外周部に互いに離間して配置された複数のマイクロフォンにより構成される三組のマイクロフォンの各組のマイクロフォン間における、前記表示画面の上方における任意の位置から発信された指示音の到達時間差をそれぞれ取得する工程と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を、前記取得した各組のマイクロフォン間における到達時間差に基づいて取得する工程と
を含み、
前記位置情報を取得する工程において、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする指示位置検出方法。
コンピュータに、
表示画面の外周部に互いに離間して配置された複数のマイクロフォンにより構成される三組のマイクロフォンの各組のマイクロフォン間における、前記表示画面の上方における任意の位置から発信された指示音の到達時間差をそれぞれ取得する処理と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を、前記取得した各組のマイクロフォン間における到達時間差に基づいて取得する処理と
を実行させ、
前記位置情報を取得する処理は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得する処理と、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得する処理とを含むことを特徴とするプログラム。
表示手段と、
前記表示手段が有する表示画面の外周部に互いに離間して配置され三組のマイクロフォンを構成するとともに、前記表示画面の上方における任意の位置から発信された指示音を検出する複数のマイクロフォンと、
前記三組のマイクロフォンの各組のマイクロフォン間における前記指示音の到達時間差をそれぞれ取得する時差取得手段と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を前記時差取得手段により取得された各組のマイクロフォン間における到達時間差に基づき取得する位置情報取得手段と
前記位置情報取得手段により取得された指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御する表示制御手段と
を備え、
前記位置情報取得手段は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする表示装置。
前記複数のマイクロフォンは、前記表示画面の上方における任意の位置から発信された指示音であって、一定の時間間隔で発信される各回の指示音を検出し、
前記位置情報取得手段は、前記表示画面に対する指示位置を示す指示位置情報を、前記複数のマイクロフォンにより各回の指示音が検出される毎に取得し、
前記表示制御手段は、前記位置情報取得手段によって指示位置情報が前記一定の時間間隔で連続して取得されている間に、前記指示位置情報に基づいて前記表示手段が表示画面に表示する表示内容を制御する
ことを特徴とする請求項１２記載の表示装置。
前記表示制御手段は、前記指示位置情報に基づいて、前記表示手段が表示画面に表示中の表示内容を制御することを特徴とする請求項１２又は１３記載の表示装置。
表示手段が有する表示画面の外周部に互いに離間して配置された複数のマイクロフォンにより構成される三組のマイクロフォンの各組のマイクロフォン間における、前記表示画面の上方における任意の位置から発信された指示音の到達時間差をそれぞれ取得する工程と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を、前記取得した各組のマイクロフォン間における到達時間差に基づいて取得する工程と
取得した指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御する工程と
を含み、
前記位置情報を取得する工程において、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする表示制御方法。
コンピュータに、
表示手段が有する表示画面の外周部に互いに離間して配置された複数のマイクロフォンにより構成される三組のマイクロフォンの各組のマイクロフォン間における、前記表示画面の上方における任意の位置から発信された指示音の到達時間差をそれぞれ取得する処理と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を、前記取得した各組のマイクロフォン間における到達時間差に基づいて取得する処理と
取得した指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御する処理と
を実行させ、
前記位置情報を取得する処理は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得する処理と、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得する処理とを含むことを特徴とするプログラム。
情報入力機能を備えた携帯情報端末において、
表示手段と、
前記表示手段が有する表示画面の外周部に互いに離間して配置され三組のマイクロフォンを構成するとともに、前記表示画面の上方における任意の位置から発信された指示音を検出する複数のマイクロフォンと、
前記三組のマイクロフォンの各組のマイクロフォン間における前記指示音の到達時間差をそれぞれ取得する時差取得手段と、
前記表示画面に対する指示位置を示す指示位置情報として、前記指示音の３次元空間における発信位置を示す位置情報を前記時差取得手段により取得された各組のマイクロフォン間における到達時間差に基づき取得する位置情報取得手段と
前記位置情報取得手段により取得された指示位置情報に基づいた情報入力処理を行う入力処理手段と、
前記入力処理手段による情報入力処理に際し、前記位置情報取得手段により取得された指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御する表示制御手段と
を備え、
前記位置情報取得手段は、
前記指示音の３次元空間における発信位置を示す位置情報として、前記到達時間差により表される各組のマイクロフォンにおける前記指示音の発信位置までの距離差によりそれぞれ特定される、第１の組のマイクロフォンをそれぞれ焦点とする第１の双曲面と、第２の組のマイクロフォンをそれぞれ焦点とする第２の双曲面と、第３の組のマイクロフォンをそれぞれ焦点とする第３の双曲面との交点に相当する特定位置を示す位置情報を取得し、
３次元空間における点を示す座標値を未知数とし、かつ前記座標値に前記第１の双曲面と前記第２の双曲面と前記第３の双曲面との交点を示す座標値を代入したとき特定の値が得られる方程式を判別式として用いるとともに、当該判別式における未知数である座標値に前記表示画面の上方の予め決められた範囲内での３次元空間の各点を示す座標値を代入したとき前記特定の値に最も近い値が得られる座標値を、前記指示音の３次元空間における発信位置を示す位置情報として取得することを特徴とする携帯情報端末。
前記複数のマイクロフォンは、前記表示画面の上方における任意の位置から発信された指示音であって、一定の時間間隔で発信される各回の指示音を検出し、
前記位置情報取得手段は、前記表示画面に対する指示位置を示す指示位置情報を、前記複数のマイクロフォンにより各回の指示音が検出される毎に取得し、
前記入力処理手段は、前記位置情報取得手段によって指示位置情報が前記一定の時間間隔で連続して取得されている間に、前記位置情報取得手段により取得される各々の指示位置情報に基づいた情報入力処理を行い、
前記表示制御手段は、前記位置情報取得手段によって指示位置情報が前記一定の時間間隔で連続して取得されている間に、前記位置情報取得手段により取得される各々の指示位置情報に基づいて、前記表示手段が表示画面に表示する表示内容を制御する
ことを特徴とする請求項１７記載の携帯情報端末。