JP5158606B2 - 端末装置、表示方法、及びプログラム - Google Patents

Description

本発明は、端末装置、表示方法、及びプログラムに関し、特に、より現実の３次元の世界の操作に近い操作感を実現することができる端末装置、表示方法、及びプログラムに関する。

近年、視差を利用した仮想的な３次元表示が広く利用されるようになり、３次元表示ならではのユーザインタフェイスが工夫されている。

このような３次元表示を行うものとして、特許文献１には、タッチパネルに触れたときに、指し示しているオブジェクト以外のオブジェクトを手前に移動させ、タッチパネルを奥行き方向に押し込んだ場合は、押し込み量に応じて、指し示しているオブジェクト以外のオブジェクトを奥行き方向に移動させる技術が開示されている。

特開２００６−２９３８７８号公報

しかしながら、特許文献１に開示の技術では、３次元立体画像を、観測者から見てタッチパネルより手前にも表示するものであるため、現実の３次元の世界の操作からほど遠く、観測者に却って違和感を与えてしまうといった問題があった。

本発明は、上記の課題を解決するためになされたものであり、より現実の３次元の世界の操作に近い操作感を実現することができる端末装置、表示方法、及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る端末装置は、タッチパネルとして機能する表示部を備えた端末装置であって、当該端末装置の動きを検出する検出手段と、前記タッチパネルで押圧された前記表示部に表示されているオブジェクトを特定する特定手段と、前記検出手段により当該端末装置の動きが検出された場合に、前記特定手段により特定されたオブジェクトを他の表示内容と区別して、前記検出された動きに応じて、前記表示部による表示内容に所定の制御を行なう制御手段と、を備えることを特徴とする。

上記の端末装置において、前記制御手段は、前記検出手段により検出された動きが当該端末装置を垂直方向に押し込む動きであった場合、前記タッチパネルで押圧されているオブジェクト以外が手前に飛び出すように表示を制御する、ようにしてもよい。

また、上記の端末装置において、前記制御手段は、前記検出手段により検出された動きが当該端末装置を垂直方向に手前に引く動きであった場合、前記タッチパネルで押圧されているオブジェクト以外が奥に引っ込むように表示を制御する、ようにしてもよい。

さらに、上記の端末装置において、前記制御手段は、前記押圧されたオブジェクト以外が手前に飛び出している或いは奥に引っ込むように表示されている状態で、前記検出手段により当該端末装置の水平方向への動きが検出された場合、前記押圧されたオブジェクトを前記表示部上で移動させる、ようにしてもよい。

加えて、上記の端末装置は、前記押圧されたオブジェクト以外が手前に飛び出している或いは奥に引っ込むように表示されている状態であることを示す表示指示手段を更に備える、ことが好ましい。

そして、上記の端末装置において、前記表示部は、仮想的な３次元表示を行なう、ことが好ましい。

また、本発明の第２の観点に係る表示方法は、タッチパネルとして機能する表示部を備えた端末装置における表示方法であって、当該端末装置の動きを検出する検出ステップと、前記タッチパネルで押圧された前記表示部に表示されているオブジェクトを特定する特定ステップと、前記検出ステップにより当該端末装置の動きが検出された場合に、前記特定ステップにより特定されたオブジェクトを他の表示内容と区別して、前記検出された動きに応じて、前記表示部による表示内容に所定の制御を行なう制御ステップと、を備えることを特徴とする。

そして、本発明の第３の観点に係るプログラムは、タッチパネルとして機能する表示部を備えた端末装置のコンピュータに、当該端末装置の動きを検出する検出手順と、前記タッチパネルで押圧された前記表示部に表示されているオブジェクトを特定する特定手順と、前記検出手順により当該端末装置の動きが検出された場合に、前記特定手順により特定されたオブジェクトを他の表示内容と区別して、前記検出された動きに応じて、前記表示部による表示内容に所定の制御を行なう制御手順と、を実行させる。

本発明によれば、より現実の３次元の世界の操作に近い操作感を実現することができる端末装置、表示方法、及びプログラムを提供することができる。

端末装置の構成例を示すブロック図である。 右目と左目の平面投影位置の差を例示する説明図である。 （ａ）は、左目用の画像を例示する説明図であり、（ｂ）は、右目用の画像を例示する説明図である。 測定値記録領域の構成例を示す図である。 インタフェイス用記録領域の構成例を示す図である。 押し込む操作が行われたときの左目側の描画例を示す説明図である。 タイマタスク処理の一例を示すフローチャートである。 センサタスク処理の一例を示すフローチャートである。 アルバム管理処理の一例を示すフローチャートである。 アルバム管理処理の一例を示すフローチャートの続きである。 アルバム管理処理が実行されたときの表示例を示す図である。 テキスト編集処理の一例を示すフローチャートである。 スクロール処理の一例を示すフローチャートである。 奥行き移動処理の一例を示すフローチャートである。 奥行き移動処理が実行されたときの表示例を示す図である。 タッチ関連処理の一例を示すフローチャートである。 テキスト編集処理が実行されたときの表示例を示す図である。 配置キャレットの表示例を示す図である。

以下、本発明を実施するための最良の形態について説明する。

まず、本実施形態に係る端末装置について図面を参照しつつ説明する。

図１は、本実施形態に係る端末装置の構成例を示すブロック図である。

端末装置１は、例えば移動体通信端末やＰＤＡ（Personal Digital Assistance）などによって実現され、図１に示すように、表示部１１と、左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒと、立体表示制御部１３と、横方向、縦方向、及び奥行き方向の加速度センサ１４ｘ、１４ｙ、及び１４ｚと、透明操作部１５と、主制御装置１６と、を備えている。

表示部１１は、仮想的な３次元表示（立体表示）を行うことができるもので、例えばＬＣＤ（Liquid Crystal Display）などから構成されている。表示部１１は、例えば視差バリア方式などを用いて左目用の画像と右目用の画像とを表示することで、立体的な画像表示を実現することができる。

左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒは、例えばＶＲＡＭ（Video RAM）などから構成され、左目用の表示メモリ１２Ｌには、左目用の画像データが、右目用の表示メモリ１２Ｒには、右目用の画像データが、それぞれ書き込まれる。

立体表示制御部１３は、例えばＶＤＰ（Video Display Processor）や、ＣＧＲＯＭ（Character Generator ROM）、ＬＣＤ駆動回路などから構成され、表示部１１に接続されている。立体表示制御部１３は、左目用の表示メモリ１２Ｌに書き込まれた左目用の画像データと、右目用の表示メモリ１２Ｒに書き込まれた右目用の画像データと、を表示部１１に送って左目用の画像表示と右目用の画像表示とを行うことで、表示部１１における立体表示を制御する。

図２は、右目と左目の平面投影位置の差を例示する説明図である。

ユーザが、奥行き距離がそれぞれ違う３つの矢印を見ているときに、これらの矢印を任意の平面上に投影すると、図２に示すように、左目と右目とで矢印が見えている位置が違ってくる。すなわち、投影面よりも奥側にある、換言すれば投影面よりも奥行き距離が遠い左側の矢印の先端は、左目と右目とでΔｄａだけずれて見え、投影面よりも手前にある、換言すれば投影面よりも奥行き距離が近い右側の矢印の先端は、左目と右目とで−Δｄｂだけずれて見える。なお、図２に示す例では、左目の視線と右目の視線とが途中で交差し、ずれ量が反転されるため、右側の矢印の先端に対する左目と右目とでのずれ量Δｄｂには、マイナスが付されている。

図３（ａ）は、左目用の画像を例示する説明図であり、図３（ｂ）は、右目用の画像を例示する説明図である。

図１に示す立体表示制御部１３は、図３（ａ）及び（ｂ）に示すように、左目用の画像と右目用の画像とをずれ量Δｄａ及び−Δｄｂ分だけずらして表示部１１の表示画面に表示させることで、逆に表示画面の奥側に左側の矢印が、手前に右側の矢印があるかのようにユーザに見せることができる。

図１に示す横方向、縦方向、及び奥行き方向の加速度センサ１４ｘ、１４ｙ、及び１４ｚは、それぞれ端末装置１の筐体の横方向、縦方向、奥行き方向といった３軸方向での動きを検知する。

透明操作部１５は、表示部１１の表示画面に重ねられて配置され、ユーザが表示画面を指などで触ったことを感知可能なタッチセンサ１５１を備えている。透明操作部１５は、ユーザが表示部１１の表示画面を見ながら表示画面を指などでタッチして端末装置１の操作を行うことを可能にする。すなわち、透明操作部１５は、表示部１１をタッチパネルとして機能させることができる。

主制御装置１６は、例えばＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成され、ＣＰＵがＲＡＭをワークメモリとして用いてＲＯＭ等に記録されている各種プログラムを適宜実行することにより、端末装置１の各部の動作を制御する。

本実施形態において、主制御装置１６のＣＰＵは、マルチタスク動作を行う。本実施形態では、２種類の計５つのタスクから構成され、具体的には、１つのタイマタスクと４つのセンサタスクと、から成る。

タイマタスクは、一定間隔で割り込みを発生させて各タスクを起動させる役割を担い、本実施形態では、一定間隔で４つのセンサタスクを同時に起動させている。

センサタスクは、動作原理が同じものが４つ用意され、それぞれ横方向加速度センサ１４ｘ、縦方向加速度センサ１４ｙ、奥行き方向加速度センサ１４ｚ、及びタッチセンサ１５１の読取値を管理する。

また、本実施形態において、主制御装置１６のＲＡＭには、測定値記録領域と、メインタスクとのインタフェイス用記録領域と、が設けられている。

図４は、測定値記録領域の構成例を示す図である。

測定値記録領域は、横方向、縦方向、及び奥行き方向の加速度センサ１４ｘ、１４ｙ、及び１４ｚの読取値から重力（地球の引力）加速度と、誤差範囲内の細かいぶれと、を取り除くためのもので、図４に示すように、横方向加速度センサ１４ｘ、縦方向加速度センサ１４ｙ、奥行き方向加速度センサ１４ｚ、及びタッチセンサ１５１毎に、その読取値を測定値として記録する。

図５は、インタフェイス用記録領域の構成例を示す図である。

インタフェイス用記録領域は、横方向加速度センサ１４ｘ、縦方向加速度センサ１４ｙ、奥行き方向加速度センサ１４ｚ、及びタッチセンサ１５１の読取値の変化が、誤差範囲を超える場合に、その変化値を、図５に示すように、測定値として記録する。

係る構成を備えることにより、主制御装置１６は、奥行き方向の加速度センサ１４ｚを監視することによって、端末装置１の筐体が押し込まれる方向に動いたか、事前に引かれた動きを加えられたかを検知することができる。

また、主制御装置１６は、表示部１１の表示画面に例えば３つの矢印が表示されている場合に、ユーザがそのうちの１つを指で触わり筐体ごと押し込む動作をすると、透明操作部１５のタッチセンサ１５１の検知結果と奥行き方向の加速度センサ１４ｚの検知結果とによって、ユーザにより矢印の一つがタッチされたまま押し込む操作がされたことを検知することができる。

さらに、主制御装置１６は、ユーザによりタッチされている矢印について左目用の画像と右目用の画像との表示位置に差を付けない一方で、その他の矢印について左目用の画像と右目用の画像との表示位置を変えて見かけ上の奥行き距離を保ったまま、タッチされている矢印だけが奥側に押し込まれたかのように、表示部１１の表示画面に表示させることができる。

図６は、押し込む操作が行われたときの左目側の描画例を示す説明図である。

図６（ａ）は、中央の矢印を押し込む操作が行われる前の描画例を示し、指で触られていない左側及び右側の矢印の先端の座標を、それぞれＡ及びＢとする。

図６（ｂ）は、中央の矢印を押し込む操作が行われた後の描画例を示している。中央の矢印を押し込む操作が行われた場合、左側の矢印の先端の座標をＡ’とし、右側の矢印の先端の座標をＢ’とすることで、ユーザの目には、指で触っていない左側及び右側の矢印が手前に残ったように見える。なお、図６（ｂ）に示す例では、左側及び右側の矢印の先端の座標がずれていることを分かり易くするために、ずらす前の左側及び右側の矢印の先端の座標Ａ及びＢを、ずらす前の左側及び右側の矢印と同じ間隔で示している。

ここで、矢印を触っている指は、現実のもので左目及び右目でずれて見えるものではない。このため、図１に示す主制御装置１６は、指で触られている中央の矢印の座標を変化させないようにすることで表示部１１での立体表示の効果を高めている。

次に、上記の構成を備える端末装置１が実行する処理について図面を参照しつつ説明する。

図７は、タイマタスク処理の一例を示すフローチャートである。

このタイマタスク処理において、主制御装置１６のＣＰＵは、まず、図７に示すように、サンプリング周期の設定を行う（ステップＳ１）。本実施形態では、横方向加速度センサ１４ｘ、縦方向加速度センサ１４ｙ、奥行き方向加速度センサ１４ｚ、及びタッチセンサ１５１の値（センサ値）を読み取る周期などが設定される。

その後、ＣＰＵは、割り込みが発生する毎に、ステップＳ１の処理にて設定したセンサ値の読取周期に基づいて、センサ値の読取タイミングであるセンス時刻になったか否かを判別する（ステップＳ２）。

ここで、センス時刻になっていれば（ステップＳ２；Ｙｅｓ）、ＣＰＵは、４つのセンサタスクを同時に起動するための処理を実行した後（ステップＳ３）、ステップＳ２の処理へリターンする。これに対して、センス時刻になっていなければ（ステップＳ２；Ｎｏ）、ＣＰＵは、ステップＳ１の処理におけるサンプリング周期の設定に従って、他のタスクを起動するための処理を実行した後（ステップＳ４）、ステップＳ２の処理へリターンする。

ステップＳ３の処理が実行されることにより、４つのセンサタスクが同時に起動されると、ＣＰＵは、下記のセンサタスク処理を、横方向加速度センサ１４ｘ、縦方向加速度センサ１４ｙ、奥行き方向加速度センサ１４ｚ、及びタッチセンサ１５１毎に実行する。

図８は、センサタスク処理の一例を示すフローチャートである。

このセンサタスク処理において、主制御装置１６のＣＰＵは、まず、図８に示すように、センサ値を読み取る（ステップＳ１１）。

具体的に、横方向加速度センサ１４ｘに対応するセンサタスク処理では、横方向加速度センサ１４ｘの値が、縦方向加速度センサ１４ｙに対応するセンサタスク処理では、縦方向加速度センサ１４ｙの値が、奥行き方向加速度センサ１４ｚに対応するセンサタスク処理では、奥行き方向加速度センサ１４ｚの値が、タッチセンサ１５１に対応するセンサタスク処理では、タッチセンサ１５１の値が、それぞれ読み取られる。

次に、ＣＰＵは、ステップＳ１１の処理にて読み取ったセンサ値（今回の読取値）と、図４に示す測定値記録領域に測定値として記録されている前回の読取値と、を引算比較して、その変化量が誤差範囲内であるか否かを判別する（ステップＳ１２）。

ここで、変化量が誤差範囲を超えていれば（ステップＳ１２；Ｎｏ）、ＣＰＵは、その変化量を示す値（変化値）を測定値として図５に示すインタフェイス用記録領域に記録することで、変化量をセットするとともに（ステップＳ１３）、検知イベントを発行する（ステップＳ１４）。

具体的に、横方向加速度センサ１４ｘに対応するセンサタスク処理では、イベントＩＤ（Identification Data）が「１」の検知イベントが、縦方向加速度センサ１４ｙに対応するセンサタスク処理では、検知ＩＤが「２」の検知イベントが、奥行き方向加速度センサ１４ｚに対応するセンサタスク処理では、検知ＩＤが「３」の検知イベントが、タッチセンサ１５１に対応するセンサタスク処理では、検知ＩＤが「４」の検知イベントが、それぞれ発行される。

これに対して、変化量が誤差範囲内であれば（ステップＳ１２；Ｙｅｓ）、ＣＰＵは、ステップＳ１３及びステップＳ１４の処理をスキップする。

そして、ＣＰＵは、ステップＳ１１の処理にて読み取ったセンサ値（今回の読取値）を、測定値として図４に示す測定値記録領域に記録してから（ステップＳ１５）、センサタスク処理を終了する。

また、図７に示すステップＳ４の処理が実行されることにより、本実施形態では、音楽プレーヤのアルバムを管理するためのアルバム管理処理や、テキスト編集処理などが実行される。

図９及び図１０は、アルバム管理処理の一例を示すフローチャートである。

このアルバム管理処理において、主制御装置１６のＣＰＵは、まず、図９に示すように、音楽アルバム及びＣＤ（Compact Disc）ラックの３Ｄ（Three Dimensional）オブジェクトを通常位置に配置するための左目用及び右目用の画像データを、それぞれ左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒに書き込む（ステップＳ２１）。

次に、立体表示制御部１３は、左目用の表示メモリ１２Ｌに書き込まれた左目用の画像データと、右目用の表示メモリ１２Ｒに書き込まれた右目用の画像データと、を表示部１１に送って左目用の画像表示と右目用の画像表示とを行うことで、表示部１１の表示画面に音楽アルバム及びＣＤラックの３Ｄオブジェクトを描画して３Ｄ立体表示させる（ステップＳ２２）。

続いて、ＣＰＵは、図５に示すインタフェイス用記録領域を参照してイベントチェックを行い（ステップＳ２３）、図８に示すステップＳ１４の処理にて検知イベント（センサイベント）が発行されたか否かを判別する（ステップＳ２４）。

ここで、検知イベント（センサイベント）が発行されていれば（ステップＳ２４；Ｙｅｓ）、ＣＰＵは、その検知ＩＤが「１」であるか否かをチェックするなどして、発行された検知イベントが横方向加速度センサ１４ｘの検知イベントであるか否かを判別する（ステップＳ２５）。

ここで、横方向加速度センサ１４ｘの検知イベントであれば（ステップＳ２５；Ｙｅｓ）、ＣＰＵは、その検知イベントをクリアしてから（ステップＳ２６）、ステップＳ２３の処理へリターンする。

これに対して、横方向加速度センサ１４ｘの検知イベントでなければ（ステップＳ２５；Ｎｏ）、ＣＰＵは、その検知ＩＤが「２」であるか否かをチェックするなどして、発行された検知イベントが縦方向加速度センサ１４ｙの検知イベントであるか否かを判別する（ステップＳ２７）。

ここで、縦方向加速度センサ１４ｙの検知イベントであれば（ステップＳ２７；Ｙｅｓ）、ＣＰＵは、その検知イベントをクリアしてから（ステップＳ２８）、ステップＳ２３の処理へリターンする。

これに対して、縦方向加速度センサ１４ｙの検知イベントでなければ（ステップＳ２７；Ｎｏ）、ＣＰＵは、その検知ＩＤが「３」であるか否かをチェックするなどして、発行された検知イベントが奥行き方向加速度センサ１４ｚの検知イベントであるか否かを判別する（ステップＳ２９）。

ここで、奥行き方向加速度センサ１４ｚの検知イベントでなければ（ステップＳ２９；Ｎｏ）、ＣＰＵは、発行された検知イベントがタッチセンサ１５１の検知イベントであると判別して、その検知イベントをクリアする（ステップＳ３０）。

続いて、ＣＰＵは、図５に示すインタフェイス用記録領域に記録されているタッチセンサ１５１の測定値に基づいて、ユーザが表示部１１の表示画面のタッチを開始したか否かを判別する（ステップＳ３１）。

ここで、ユーザが表示画面のタッチを開始する場合には（ステップＳ３１；Ｙｅｓ）、例えばＲＡＭなどに設けられたタッチ状態フラグをオンにセットするなどして、タッチありの状態にしてから（ステップＳ３２）、ステップＳ２３の処理へリターンする。

これに対して、奥行き方向加速度センサ１４ｚの検知イベントであれば（ステップＳ２９；Ｙｅｓ）、ＣＰＵは、その検知イベントをクリアした後（図１０に示すステップＳ３３）、タッチ状態フラグがオンであるか否かをチェックするなどして、タッチありの状態になっているか否かを判別する（ステップＳ３４）。

ここで、タッチありの状態でなければ（ステップＳ３４；Ｎｏ）、ＣＰＵは、図９に示すステップＳ２３の処理へリターンする。これに対して、タッチありの状態であれば（図１０に示すステップＳ３４；Ｙｅｓ）、ＣＰＵは、ユーザが表示画面をタッチしたまま端末装置１の筐体ごと押し込む（筐体を向側に押す）動作をしたか、或いはＣＤラック上で指を滑らせてアルバム名を表示させながら音楽アルバムを選択し、手を離さずに表示画面を筐体ごと手前に引く動作をしたか否かを判別する（ステップＳ３５）。

ここで、ユーザが表示画面を押し込む動作をした場合には（ステップＳ３５；Ｙｅｓ）、図１１（ａ）に示すように、音楽アルバム及びＣＤラックの３Ｄオブジェクトが通常位置に配置されているか否かを判別し（ステップＳ３６）、通常位置に配置されていなければ（ステップＳ３６；Ｎｏ）、ＣＰＵは、図９に示すステップＳ２３の処理へリターンする。

これに対して、通常位置に配置されていれば（図１０に示すステップＳ３６；Ｙｅｓ）、ＣＰＵは、タッチされていない音楽アルバム及びＣＤラックの３Ｄオブジェクトを手前に移動させる処理を行うための左目用及び右目用の画像データを、それぞれ左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒに書き込んでから（ステップＳ３７）、図９に示すステップＳ２２の処理へリターンする。

これにより、表示部１１の表示画面には、図１１（ｂ）に示すように、ユーザが指を添えていない音楽アルバムと、奥にあるＣＤラックと、が手前に移動されて表示され、ユーザの目には、相対的にタッチしている音楽アルバムが奥に押し込められたかのように見える。

これに対して、ユーザが表示画面のタッチを既に開始している場合には（図９に示すステップＳ３１；Ｎｏ）、図５に示すインタフェイス用記録領域に記録されているタッチセンサ１５１の測定値に基づいて、ユーザがラックの上段又は下段を選んで表示画面から手を離したか否かを判別する（図１０に示すステップＳ３８）。

ここで、ユーザが表示画面から手を離した場合には（ステップＳ３８；Ｙｅｓ）、音楽アルバムをＣＤラックに格納する処理を行うための左目用及び右目用の画像データを、それぞれ左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒに書き込むとともに、タッチ状態フラグをクリアしてオフにしてから（ステップＳ３９）、図９に示すステップＳ２２の処理へリターンする。

これにより、表示部１１の表示画面には、音楽アルバムがＣＤラックにひらりと舞い込むように格納される画像が表示される。

これに対して、ユーザが表示画面から手を離していない場合には（図１０に示すステップＳ３８；Ｎｏ）、音楽アルバムをＣＤラックに格納する処理以外の操作処理を行うための左目用及び右目用の画像データを、それぞれ左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒに書き込んでから（ステップＳ４０）、図９に示すステップＳ２２の処理へリターンする。

これに対して、ユーザが手を離さずに表示画面を手前に引く動作をした場合には（図１０に示すステップＳ３５；Ｎｏ）、タッチされていない音楽アルバム及びＣＤラックの３Ｄオブジェクトが手前に移動されて配置されているか否かを判別する（ステップＳ４１）。

ここで、手前に移動されて配置されていなければ（ステップＳ４１；Ｎｏ）、ＣＰＵは、図９に示すステップＳ２３の処理へリターンする。これに対して、手前に移動されて配置されていれば（図１０に示すステップＳ４１；Ｙｅｓ）、ＣＰＵは、図９に示すステップＳ２１の処理へとリターンする。

これにより、表示部１１の表示画面には、ユーザにより選択された音楽アルバムの３Ｄオブジェクトの配置が初期化されることで、音楽アルバムの３Ｄオブジェクトが手前に持ってこられて、図１１（ａ）に示す通常位置に並べて表示される。

これに対して、検知イベント（センサイベント）が発行されていなければ（図９に示すステップＳ２４；Ｎｏ）、ＣＰＵは、その他の処理を行ってから（ステップＳ４２）、ステップＳ２３の処理へリターンする。

図１２は、テキスト編集処理の一例を示すフローチャートである。

このテキスト編集処理において、主制御装置１６のＣＰＵは、まず、図１２に示すように、テキストを貼り付けた３Ｄオブジェクト（単純な平面にテクスチャが貼られたもの）を生成する（ステップＳ５１）。

次に、ＣＰＵは、テキストを貼り付けた３Ｄオブジェクトを表示するための左目用及び右目用の画像データを、それぞれ左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒに書き込んで、表示部１１の表示画面に３Ｄオブジェクトによるテキスト描画を行って３Ｄ立体表示させる（ステップＳ５２）。

続いて、ＣＰＵは、図５に示すインタフェイス用記録領域を参照してイベントチェックを行い（ステップＳ５３）、図８に示すステップＳ１４の処理にて検知イベント（センサイベント）が発行されたか否かを判別する（ステップＳ５４）。

ここで、検知イベント（センサイベント）が発行されていれば（ステップＳ５４；Ｙｅｓ）、ＣＰＵは、その検知ＩＤが「１」であるか否かをチェックするなどして、発行された検知イベントが横方向加速度センサ１４ｘの検知イベントであるか否かを判別する（ステップＳ５５）。

ここで、横方向加速度センサ１４ｘの検知イベントであれば（ステップＳ５５；Ｙｅｓ）、ＣＰＵは、横方向のスクロール処理を実行する（ステップＳ５６）。これに対して、横方向加速度センサ１４ｘの検知イベントでなければ（ステップＳ５５；Ｎｏ）、ＣＰＵは、ステップＳ５５の横方向のスクロール処理をスキップする。

続いて、ＣＰＵは、その検知ＩＤが「２」であるか否かをチェックするなどして、発行された検知イベントが縦方向加速度センサ１４ｙの検知イベントであるか否かを判別する（ステップＳ５７）。

ここで、縦方向加速度センサ１４ｙの検知イベントであれば（ステップＳ５７；Ｙｅｓ）、ＣＰＵは、縦方向のスクロール処理を実行する（ステップＳ５８）。これに対して、縦方向加速度センサ１４ｙの検知イベントでなければ（ステップＳ５７；Ｎｏ）、ＣＰＵは、ステップＳ５８の縦方向のスクロール処理をスキップする。

続いて、ＣＰＵは、その検知ＩＤが「３」であるか否かをチェックするなどして、発行された検知イベントが奥行き方向加速度センサ１４ｚの検知イベントであるか否かを判別する（ステップＳ５９）。

ここで、奥行き方向加速度センサ１４ｚの検知イベントであれば（ステップＳ５９；Ｙｅｓ）、ＣＰＵは、奥行き移動処理を実行する（ステップＳ６０）。これに対して、奥行き方向加速度センサ１４ｚの検知イベントでなければ（ステップＳ５９；Ｎｏ）、ＣＰＵは、ステップＳ６０の奥行き移動処理をスキップする。

続いて、ＣＰＵは、その検知ＩＤが「４」であるか否かをチェックするなどして、発行された検知イベントがタッチセンサ１５１の検知イベントであるか否かを判別する（ステップＳ６１）。

ここで、タッチセンサ１５１の検知イベントであれば（ステップＳ６１；Ｙｅｓ）、ＣＰＵは、タッチ関連処理を実行してから（ステップＳ６２）、ステップＳ５３の処理へリターンする。これに対して、タッチセンサ１５１の検知イベントでなければ（ステップＳ６１；Ｎｏ）、ＣＰＵは、そのままステップＳ５３の処理へリターンする。

これに対して、検知イベント（センサイベント）が発行されていなければ（ステップＳ５４；Ｎｏ）、ＣＰＵは、その他の処理を行ってから（ステップＳ６３）、ステップＳ５３の処理へリターンする。

図１３は、スクロール処理の一例を示すフローチャートである。

このスクロール処理において、主制御装置１６のＣＰＵは、まず、図１３に示すように、３Ｄオブジェクトのテクスチャを、表示したいテキストの範囲に沿って作り直す（再生成する）（ステップＳ１０１）。

具体的に、横方向のスクロール処理では、端末装置１の筐体が左方向に移動したらテキストの表示範囲を左に、右方向に移動したら表示範囲を右に、それぞれ変更したテクスチャが再生成される。また、縦方向のスクロール処理では、端末装置１の筐体が上方向に移動したらテキストの表示範囲を上に、下方向に移動したら表示範囲を下に、それぞれ変更したテクスチャが再生成される。

そして、ＣＰＵは、テクスチャが作り直された３Ｄオブジェクトを表示するための左目用及び右目用の画像データを、それぞれ左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒに書き込んで、表示部１１の表示画面にテクスチャが作り直された３Ｄオブジェクトによるテキスト描画を行って３Ｄ再表示させてから（ステップＳ１０２）、スクロール処理を終了する。

図１４は、奥行き移動処理の一例を示すフローチャートである。

この奥行き移動処理において、主制御装置１６のＣＰＵは、まず、図１４に示すように、３Ｄオブジェクトに貼り付ける範囲を変更してテクスチャを作り直すことで、表示部１１の表示画面に表示される文字数及び行数を変える（ステップＳ２０１）。

具体的に、ユーザが表示部１１の表示画面を押し込む操作をした場合には、図１５（ｃ）に示すように、３Ｄオブジェクトに貼り付ける範囲を狭くしたテクスチャを再生成することで、表示画面に表示される文字数及び行数を減少させる。これに対して、ユーザが表示部１１の表示画面を引く操作をした場合には、図１５（ｂ）に示すように、３Ｄオブジェクトに貼り付ける範囲を広くしたテクスチャを再生成することで、表示画面に表示される文字数及び行数を増加させる。

次に、ＣＰＵは、３Ｄオブジェクトの奥行き方向の座標を変更する（図１４に示すステップＳ２０２）。

具体的には、図１５（ａ）に示すように、ユーザが表示画面を押し込む操作をした場合であれば、奥行き方向の座標を手前に移動させ、引く操作をした場合であれば、奥行き方向の座標を奥に移動させる。

続いて、ＣＰＵは、テキストが貼り付けられた３Ｄオブジェクトを最終的に表示画面全体に表示させるべく、３Ｄオブジェクトの大きさを調整する（図１４に示すステップＳ２０３）。

具体的に、ユーザにより表示画面を押し込む操作がされて３Ｄオブジェクトの奥行き方向の座標が手前に移動されている場合には、図１５（ｅ）に示すように、３Ｄオブジェクトのサイズを小さく調整し、ユーザにより表示画面を引く操作がされて３Ｄオブジェクトの奥行き方向の座標が奥に移動されている場合には、図１５（ｄ）に示すように、３Ｄオブジェクトのサイズを大きく調整する。

その後、ＣＰＵは、テクスチャが作り直された３Ｄオブジェクトを表示するための左目用及び右目用の画像データを、それぞれ左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒに書き込んで、表示部１１の表示画面にテクスチャが作り直された３Ｄオブジェクトによるテキスト描画を行って３Ｄ再表示させる（図１４に示すステップＳ２０４）。

これにより、ユーザの目には、表示画面を押し込む操作をした場合、テキスト文章が近づくように見え、表示画面を引く操作をした場合には、逆にテキスト文章が遠ざかるように見える。

そして、ＣＰＵは、例えばＲＡＭなどに設けられた範囲指定中状態フラグをクリアしてオフにすることにより、後述するタッチ関連処理にて遷移される範囲指定中状態を解除する（ステップＳ２０５）。

図１６は、タッチ関連処理の一例を示すフローチャートである。

このタッチ関連処理において、主制御装置１６のＣＰＵは、まず、図１６に示すように、まず、図５に示すインタフェイス用記録領域に記録されているタッチセンサ１５１の測定値に基づいて、ユーザが表示部１１の表示画面のタッチを開始したか否かを判別する（ステップＳ３０１）。

ここで、ユーザが表示画面のタッチを開始する場合には（ステップＳ３０１；Ｙｅｓ）、ユーザが指で範囲指定していることを示す範囲指定中状態フラグをオンにセットするなどして、範囲指定中状態にしてから（ステップＳ３０２）、タッチ関連処理を終了する。

これに対して、ユーザが表示画面のタッチを既に開始している場合には（ステップＳ３０１；Ｎｏ）、図５に示すインタフェイス用記録領域に記録されているタッチセンサ１５１の測定値に基づいて、ドラッグされているか否かを判別する（ステップＳ３０３）。

ここで、ドラッグされていれば（ステップＳ３０３；Ｙｅｓ）、ＣＰＵは、範囲指定中状態フラグがオンであるか否かをチェックするなどして、範囲指定中状態になっているか否かを判別する（ステップＳ３０４）。

ここで、範囲指定中状態になっていれば（ステップＳ３０４；Ｙｅｓ）、ＣＰＵは、範囲指定された文字や文字列を取り出した小さい３Ｄオブジェクトを生成したり、小さい３Ｄオブジェクトに貼り付けられるテクスチャを更新したりする（ステップＳ３０５）。この小さい３Ｄオブジェクトの奥行きの座標は０に設定される。

これに対して、ドラッグされていなければ（ステップＳ３０３；Ｎｏ）、ＣＰＵは、図５に示すインタフェイス用記録領域に記録されているタッチセンサ１５１の測定値に基づいて、リリースされたか否かを判別する（ステップＳ３０６）。

ここで、リリースされていれば（ステップＳ３０６；Ｙｅｓ）、ＣＰＵは、範囲指定中状態フラグがオンであるか否かをチェックするなどして、範囲指定中状態になっているか否かを判別する（ステップＳ３０７）。

ここで、範囲指定中状態になっていれば（ステップＳ３０７；Ｙｅｓ）、ＣＰＵは、範囲指定中フラグをクリアしてオフにして、範囲指定中状態を解除してから（ステップＳ３０８）、タッチ関連処理を終了する。

そして、ドラッグされたときに、範囲指定中状態でなければ（ステップＳ３０４；Ｎｏ）、ＣＰＵは、貼付位置を表す配置キャレットの３Ｄオブジェクトを生成したり、配置キャレットの３Ｄオブジェクトや小さい３Ｄオブジェクトの位置を変更したりする（ステップＳ３０９）。

これに対して、リリースされたときに、範囲指定中状態でなければ（ステップＳ３０６；Ｎｏ）、ＣＰＵは、配置キャレットの３Ｄオブジェクト、及び小さい３Ｄオブジェクトを表示画面から削除した後（ステップＳ３１０）、テキスト文章に、選択された文字や文字列を挿入する（ステップＳ３１１）。

続いて、ＣＰＵは、テキストが貼り付けられた３Ｄオブジェクトのテクスチャを更新する（ステップＳ３１２）。これにより、表示画面では、表示されるテキスト文章が更新される。

そして、ステップＳ３０５、ステップＳ３０９、及びステップＳ３１２の処理を実行した後、ＣＰＵは、ＣＰＵは、テクスチャが生成又は更新された３Ｄオブジェクトを表示するための左目用及び右目用の画像データを、それぞれ左目用及び右目用の表示メモリ１２Ｌ及び１２Ｒに書き込んで、表示部１１の表示画面にテクスチャが生成又は更新された３Ｄオブジェクトによるテキスト描画を行って３Ｄ再表示させてから（ステップＳ３１３）、タッチ関連処理を終了する。

これに対して、ドラッグもリリースもされていない場合には（ステップＳ３０６；Ｎｏ）、その他の処理を実行してから（ステップＳ３１４）、タッチ関連処理を終了する。

上記の処理を実行する端末装置の具体的動作について図面を参照しつつ説明する。

図１７は、テキスト編集処理が実行されるときの表示例を示す図である。

例えばユーザが端末装置１のテキスト編集機能を用いてテキスト文章を編集している場合において、以前に入力した文字又は文字列を再利用したいときには、まず、その文字又は文字列が入力されている部分を表示部１１の表示画面に表示させる。

そして、図１７（ａ）に示すように、ユーザが表示画面を指でタッチし、再入力したい文字又は文字列を指で範囲指定をすると、端末装置１では、図１６に示すステップＳ３０１〜ステップＳ３０８の処理が実行されることにより、コピー対象の文字又は文字列が特定されて選択される。

次に、ユーザが端末装置１の筐体ごと指で引く動作をすると、端末装置１では、図１４に示す奥行き移動処理が実行されて範囲指定中状態が解除される。これにより、端末装置１では、図１６に示すステップＳ３０９及びステップＳ３１３の処理が実行されるため、選択された文字や文字列と、テキスト文書と、が区別される。そして、ステップＳ３０５の処理にて選択された文字や文字列の３Ｄオブジェクトの奥行き方向の座標が０に設定されるため、図１４に示す奥行き移動処理が実行されることにより、選択された文字や文字列の３Ｄオブジェクト以外の奥行き座標及び大きさのみが変更される。具体的に、表示画面をタッチしたまま端末装置１の筐体を垂直方向に押し込む動きであった場合には、選択された文字や文字列の３Ｄオブジェクト以外が手前に飛び出すように表示され、手前に引く動きであった場合には、奥に引っ込むように表示される。この結果、表示画面には、図１７（ｂ）に示すように、選択された文字や文字列がユーザの指に吸い付いたかのように浮き上がって表示されるとともに、その後方では、テキスト文書が広い範囲で表示される。

続いて、ユーザが筐体を下方向に動かすと、端末装置１では、これが縦方向の加速度センサ１４ｙにて検知され、図１３に示す縦方向のスクロール処理が実行されることにより、表示画面には、図１７（ｃ）に示すように、後方のテキスト文章全体が縦方向にスクロール表示される。このような動作を実行することにより、端末装置１は、ユーザに、表示部１１の表示画面をあたかもテキスト文書を覗く窓のように感じさせることができる。

なお、図１７に示す例では、テキスト文章の幅が、表示部１１の表示画面の幅と同一であるが、テキスト文章の幅を表示画面の幅より広くしてもよく、この場合、ユーザが筐体全体を左右に動かす動作をすると、端末装置１では、これが横方向の加速度センサ１４ｘにて検知され、図１３に示す横方向のスクロール処理が実行されることにより、選択された文字や文字列を配置したい場所まで横方向にスクロール表示させることもできる。

そして、ユーザが、選択した文字や文字列を配置したい場所を見つけて筐体を押し込む動作をすると、端末装置１では、図１４に示す奥行き移動処理が実行されることにより、表示画面には、図１７（ｄ）に示すように、浮き上がっていた文字列が、後方のテキスト文章と同じ奥行きになって表示される。

その後、ユーザが、文字や文字列が吸い付いた指を目的の場所まで移動させて手を離すと、端末装置１では、図１６に示すステップＳ３１０〜ステップＳ３１３の処理が実行されることにより、テキスト文章に、選択された文字や文字列が挿入されて配置される。

なお、図１７に示す例では、簡単のため図示を省略したが、選択されたコピー対象の文字や文字列がユーザの指に吸い付いた状態のときには、図１８（ａ）及び（ｂ）に示すように、配置キャレットが表示画面に表示される。このような配置キャレットを表示することにより、端末装置１は、選択された文字や文字列が指に吸い付いていることや、指を離したらどの場所に挿入されるかをユーザに明示することができる。さらに、ユーザが筐体を押し込む動作をしたときには、配置キャレットがある場所を中心にズームアップする動作をすることにより、選択された文字や文字列が挿入される場所をユーザにより分かり易く示してもよい。

以上説明したように、本実施形態に係る端末装置１は、タッチパネルとして機能する表示部１１を備え、横方向、縦方向、及び奥行き方向の加速度センサ１４ｘ、１４ｙ、及び１４ｚにより端末装置１の動きを検出する。また、端末装置１は、透明操作部１５のタッチセンサ１５により、タッチパネルで押圧された表示部１１に表示された３Ｄオブジェクトを特定する。そして、端末装置１の動きが検出された場合、端末装置１の主制御装置１６は、特定された３Ｄオブジェクトを他の表示内容と区別して、検出された動きに応じて、表示部１１による表示内容に所定の制御を行なう。このため、端末装置１では、現実の３次元の世界の操作に近い操作感で表示部１１上で表示されている３Ｄオブジェクトの操作ができる。

具体的に、端末装置１は、検出された動きが端末装置１の筐体をタッチしたまま垂直方向に押し込む動きであった場合、タッチパネルで押圧されている３Ｄオブジェクト以外が手前に飛び出すように表示を制御する。これにより、ユーザの目には、３Ｄオブジェクトが押し込まれたかのように見えるため、押圧している３Ｄオブジェクトを押し込んだ操作感を得ることができる。

これに対して、検出された動きが端末装置１の筐体をタッチしたまま垂直方向に手前に引く動きであった場合には、タッチパネルで押圧されている３Ｄオブジェクト以外が奥に引っ込むように表示を制御する。これにより、ユーザは、３Ｄオブジェクト以外が引っ込んで３Ｄオブジェクトが指にくっついてきたかのように感じることができるため、押圧している３Ｄオブジェクトが指に吸い付いて飛び出したような操作感を得ることができる。

このように、本実施形態に係る端末装置１によれば、指で触っている部分を不動点とし、その他の部分に演算による３Ｄ効果を付けることにより、３Ｄ効果を強調することができるので、リアルな操作感の新感覚ユーザインタフェイスを提供することができる。

また、奥行きを扱うことができるようになるため、機能操作やゲームなどに、より官能的なインタフェイスを提供することができる。

さらに、端末装置１は、押圧された３Ｄオブジェクト以外が手前に飛び出している或いは奥に引っ込むように表示されている状態で、端末装置１の水平方向への動きが検出された場合、押圧された３Ｄオブジェクトを表示部１１上で移動させることができる。これにより、ユーザは、押圧している３Ｄオブジェクトを実際に移動させているような操作感を得ることができる。

加えて、端末装置１は、配置キャレットを表示することにより、押圧された３Ｄオブジェクト以外が手前に飛び出している或いは奥に引っ込むように表示されている状態あることをユーザに示している。これにより、ユーザは、押圧している３Ｄオブジェクトが表示制御されていることが分かる。

そして、表示部１１が仮想的な３次元表示を行なうことで、ユーザは、よりリアルな操作感を得ることができる。

なお、本発明は、上記実施形態に限定されず、種々の変形、応用が可能である。以下、本発明に適用可能な上記実施形態の変形態様について、説明する。

上記実施形態では、端末装置１の筐体をタッチしたまま垂直方向に押し込む動きであった場合、タッチパネルで押圧されている３Ｄオブジェクト以外が手前に飛び出すように表示され、手前に引く動きであった場合、押圧されている３Ｄオブジェクト以外が奥に引っ込むように表示されるものとして説明した。しかしながら、本発明はこれに限定されるものではなく、押し込む動きであった場合、押圧されている３Ｄオブジェクト以外が奥に引っ込むように表示し、手前に引く動きであった場合、押圧されている３Ｄオブジェクト以外が手前に飛び出すように表示してもよい。

また、表示部１１の表示画面上の３Ｄオブジェクトにタッチしたまま筐体を水平方向に移動、回転させた場合には、タッチされた３Ｄオブジェクトはそのままにその他の表示内容を水平方向に移動、回転させるようにしてもよい。

さらに、表示部１１の表示画面上の３Ｄオブジェクトにタッチしたまま筐体を傾けた場合には、タッチされた３Ｄオブジェクトを傾けて表示するようにしてもよい。

また、上記実施形態において、ＣＰＵが実行するプログラムは、予めＲＯＭ等に記録されるものとして説明したが、本発明はこれに限定されるものではなく、上述の処理を実行させるためのプログラムを、既存の端末装置に適用することで、上記実施形態に係る端末装置１として機能させてもよい。

このようなプログラムの提供方法は任意であり、例えばコンピュータが読取可能な記録媒体（フレキシブルディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ等）に格納して配布してもよいし、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより提供してもよい。

さらに、上記の処理をＯＳとアプリケーションプログラムとの分担、又はＯＳとアプリケーションプログラムとの協働によって実行する場合には、アプリケーションプログラムのみを記録媒体やストレージに格納してもよい。また、搬送波にプログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）に上記プログラムを掲示し、ネットワークを介してプログラムを配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

１…端末装置、１１…表示部、１２Ｌ…左目用の表示メモリ、１２Ｒ…左目用の表示メモリ、１３…立体表示制御部、１４ｘ…横方向の加速度センサ、１４ｙ…縦方向の加速度センサ、１４ｚ…奥行き方向の加速度センサ、１５…透明操作部、１５１…タッチセンサ、１６…主制御装置

Claims (8)

1. タッチパネルとして機能する表示部を備えた端末装置であって、
   当該端末装置の動きを検出する検出手段と、
   前記タッチパネルで押圧された前記表示部に表示されているオブジェクトを特定する特定手段と、
   前記検出手段により当該端末装置の動きが検出された場合に、前記特定手段により特定されたオブジェクトを他の表示内容と区別して、前記検出された動きに応じて、前記表示部による表示内容に所定の制御を行なう制御手段と、
   を備えることを特徴とする端末装置。
2. 前記制御手段は、前記検出手段により検出された動きが当該端末装置を垂直方向に押し込む動きであった場合、前記タッチパネルで押圧されているオブジェクト以外が手前に飛び出すように表示を制御する、
   ことを特徴とする請求項１に記載の端末装置。
3. 前記制御手段は、前記検出手段により検出された動きが当該端末装置を垂直方向に手前に引く動きであった場合、前記タッチパネルで押圧されているオブジェクト以外が奥に引っ込むように表示を制御する、
   ことを特徴とする請求項１又は２に記載の端末装置。
4. 前記制御手段は、前記押圧されたオブジェクト以外が手前に飛び出している或いは奥に引っ込むように表示されている状態で、前記検出手段により当該端末装置の水平方向への動きが検出された場合、前記押圧されたオブジェクトを前記表示部上で移動させる、
   ことを特徴とする請求項１、２、又は３に記載の端末装置。
5. 前記押圧されたオブジェクト以外が手前に飛び出している或いは奥に引っ込むように表示されている状態であることを示す表示指示手段を更に備える、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の端末装置。
6. 前記表示部は、仮想的な３次元表示を行なう、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の端末装置。
7. タッチパネルとして機能する表示部を備えた端末装置における表示方法であって、
   当該端末装置の動きを検出する検出ステップと、
   前記タッチパネルで押圧された前記表示部に表示されているオブジェクトを特定する特定ステップと、
   前記検出ステップにより当該端末装置の動きが検出された場合に、前記特定ステップにより特定されたオブジェクトを他の表示内容と区別して、前記検出された動きに応じて、前記表示部による表示内容に所定の制御を行なう制御ステップと、
   を備えることを特徴とする表示方法。
8. タッチパネルとして機能する表示部を備えた端末装置のコンピュータに、
   当該端末装置の動きを検出する検出手順と、
   前記タッチパネルで押圧された前記表示部に表示されているオブジェクトを特定する特定手順と、
   前記検出手順により当該端末装置の動きが検出された場合に、前記特定手順により特定されたオブジェクトを他の表示内容と区別して、前記検出された動きに応じて、前記表示部による表示内容に所定の制御を行なう制御手順と、
   を実行させるためのプログラム。