JP6271858B2 - 表示装置及びその制御方法 - Google Patents

Description

本発明は、前面及び背面の両側からタッチ操作可能な透明ディスプレイを用いた表示装置及びその制御方法に関するものである。

透明ディスプレイを用いた機器が実用化されている。このような機器では、透明基板上に有機ＥＬ等の発光素子を設け、画像を非表示にする際には透明になり、表示時には半透明での表示を行う。また、透明度の制御については、液晶シャッター層を重ね合わせて、シャッターの開閉の階調により行うことが提案されている（特許文献１参照）。

一方、携帯端末の表示装置のユーザインタフェース（ＵＩ）として、タッチ操作インタフェースが一般的になっている。また、前面を見ながら、背面からタッチ操作する方法が提案されている。透明ディスプレイを用いれば、背面側からの操作が見えるため、背面からのタッチ操作が容易になる。透明ディスプレイを用いた携帯端末では背面タッチ操作が普及すると考えられる（特許文献２参照）。

また、あるアイコンを押下した場合に、そのアイコンに関連する別のアイコンを近傍に表示する技術が開示されている（特許文献３参照）。

特開２００８−０８３５１０号公報 特開２００７−３３４８２７号公報 特開２００３−２０９７１９号公報

しかしながら、透明ディスプレイを用いた表示装置のユーザインターフェースにおいて、背面側と前面側のどちら側からタッチすべきか分かりにくく、特に片手にホールドした状態で操作しにくくなる場合があった。

そこで、本発明は、透明ディスプレイを有し前面と背面の両面からタッチ操作することが可能な表示装置において、タッチ操作の操作性を向上させることを目的とする。

本発明は、前面及び背面の両面からタッチ操作を行うことが可能な透明ディスプレイパネルを備えた表示装置であって、
前面のタッチ操作及び背面のタッチ操作を検出する検出手段と、
タッチ操作のためのグラフィックスデータの表示制御を行う制御手段と、
を備え、
前記グラフィックスデータは、前面側からのタッチ操作を想定した第１の部品と、背面側からのタッチ操作を想定した第２の部品と、を含み、
前記第２の部品は、ユーザが前記表示装置の背面側から複数の指のそれぞれによってタッチ操作を行うことを想定した複数の部品を含み、前記第１の部品とは異なる位置に表示され、
前記制御手段は、まず第１の部品のみを画面に表示させ、第１の部品に対するタッチ操作に応じて第２の部品の内容を決定し、前記第１の部品に対するタッチ操作が行われた後に前記第２の部品を画面に表示させる表示装置である。

本発明は、前面及び背面の両面からタッチ操作を行うことが可能な透明ディスプレイパネルを備えた表示装置の制御方法であって、
前面のタッチ操作及び背面のタッチ操作を検出する検出工程と、
タッチ操作のためのグラフィックスデータの表示制御を行う制御工程と、
を有し、
前記グラフィックスデータは、前面側からのタッチ操作を想定した第１の部品と、背面側からのタッチ操作を想定した第２の部品と、を含み、
前記第２の部品は、ユーザが前記表示装置の背面側から複数の指のそれぞれによってタッチ操作を行うことを想定した複数の部品を含み、前記第１の部品とは異なる位置に表示され、
前記制御工程は、
まず第１の部品のみを画面に表示させる工程と、
第１の部品に対するタッチ操作に応じて第２の部品の内容を決定する工程と、
前記第１の部品に対するタッチ操作が行われた後に前記第２の部品を画面に表示させる工程と、
を有する表示装置の制御方法である。

本発明は、前面及び背面の両面からタッチ操作を行うことが可能な表示装置であって、
前面のタッチ操作及び背面のタッチ操作を検出する検出手段と、
タッチ操作のためのグラフィックスデータの表示制御を行う制御手段と、
を備え、
前記制御手段は、画面においてオブジェクトが表示されている箇所を前面及び背面においてスライドさせるタッチ操作が同時に行われた場合、前面及び背面のタッチされた箇所のそれぞれに対応するオブジェクト上の点でオブジェクトを仮想的に保持してスライド方向に応じてオブジェクトを移動又は回転させる表示制御を行う表示装置である。

本発明によれば、透明ディスプレイを有し前面と背面の両面からタッチ操作することが可能な表示装置において、タッチ操作の操作性を向上させることができる。

実施例１、実施例２、実施例３の携帯端末表示装置の構成を示すブロック図 実施例１、実施例２、実施例３の携帯端末表示装置の実装形態を示す構成図 実施例１のユーザインターフェース表示とタッチ操作を示す概念図 実施例１のユーザインターフェース表示とタッチ操作処理のフローチャート 実施例２のユーザインターフェース表示とタッチ操作を示す概念図 実施例２のユーザインターフェース表示とタッチ操作処理のフローチャート 実施例３のユーザインターフェース表示とタッチ操作を示す概念図 実施例３のユーザインターフェース表示とタッチ操作処理のフローチャート 実施例４のユーザインターフェース表示とタッチ操作を示す概念図 実施例４の地球儀モードにおける表示変更操作の一覧 実施例４の地球儀モードにおける回転操作及び移動操作を示す概念図 実施例４の拡大縮小操作を示す概念図 実施例４の２Ｄマップモードにおける表示変更操作の一覧 実施例４の２Ｄマップモードにおける移動操作を示す概念図 実施例４の３Ｄマップモードにおける表示変更操作の一覧 実施例４の３Ｄマップモードにおけるユーザ視点移動を示す概念図 実施例４の３Ｄマップモードにおけるユーザ位置移動を示す概念図 実施例４のユーザインターフェース表示とタッチ操作のフローチャート 実施例５のユーザインターフェース表示とタッチ操作を示す概念図 実施例５の３Ｄオブジェクトを指で掴むタッチ操作を示す概念図 実施例５の３Ｄオブジェクトに対するタッチ操作一覧表 実施例５の３Ｄオブジェクトの回転操作を示す概念図 実施例５の３ＤオブジェクトのＺ軸回転操作を示す概念図 実施例５の３ＤオブジェクトのＸＹ平面上の移動操作を示す概念図 実施例５の３Ｄオブジェクトの移動操作を示す概念図 実施例５の３Ｄオブジェクトの表示変更操作の一覧 実施例５の３Ｄオブジェクトのφ方向、θ方向の回転操作を示す概念図 実施例５の３Ｄオブジェクトの片面タッチ操作で行う移動操作を示す図 実施例５において大画面の場合のタッチ操作用の子画面を示す概念図

（実施例１）
図１は、本発明の一実施例である携帯端末の表示装置のブロック図である。本実施例の表示装置は両面タッチ操作対応の透明ディスプレイ１０１と制御システム部１１７で構成されている。

透明ディスプレイ１０１は、前面と背面の双方の面からタッチ操作が可能な透明ディスプレイパネルである。背面タッチパネル１０２、液晶シャッター１０３、透明発光パネル１０４、前面タッチパネル１０５により構成されている。

前面タッチパネル１０５は、透明なパネル表面にタッチセンサが設けられており、端末前面からのタッチ操作の検知を行う。タッチ操作の検知は、ユーザが画面に接触したことを検知し、接触した画面の座標位置を検出することで行う。背面タッチパネル１０２も同様に透明なパネル表面にタッチセンサが設けられており、端末背面からのタッチ操作の検知を行う。

液晶シャッター１０３は、画素毎の透過率の変更を実行する液晶パネルである。液晶シャッター１０３には、画素毎に液晶セルが設けられており、ＯＮからＯＦＦまでの階調にしたがって液晶シャッターの透過率が変化する。これにより画素毎の透明度の階調が制御される。

透明発光パネル１０４は、透明基板上に複数の自発光素子を設けた画像表示パネルである。透明発光パネル１０４には、画素毎にＲＧＢそれぞれの発光素子が並べて配置されている。透明発光パネル１０４は、非発光時（非表示状態）では透明となり、発光時（表示状態）では指定されたＲＧＢ情報に基づく色で発光する。

制御システム部１１７は、透明ディスプレイ１０１の制御を行い、表示出力制御、タッチ操作入力制御及びこれらの入出力の連携動作制御を行う。制御システム部１１７は、ＣＰＵ１０６、ＲＡＭ１０７、システムバス１０８、表示制御部１１０、タッチ操作入力部１１４で構成されている。

ＣＰＵ１０６、ＲＡＭ１０７、システムバス１０８は、主にソフトウェアによる制御を実現する。ＲＡＭ１０７にはプログラムやユーザインターフェース用のグラフィックスデータ、制御データ等の各種データが格納されている。ＣＰＵ１０６はＲＡＭ１０７からデータを読み取り、それに応じて、制御コマンドをシステムバス１０８に送出する。システムバス１０８はＣＰＵ１０６、ＲＡＭ１０７、表示制御部１１０、タッチ操作入力部１１４間を接続するバスである。各制御ブロック間でのデータ、コマンドの送受信は、システムバス１０８を経由して行われる。なお、ＣＰＵ１０６と表示制御部１１０とが一体となった構成、ＣＰＵ１０６とＵＩ制御部１１３が一体となった構成、ＣＰＵ１０６と表示制御部１１０とＵＩ制御部１１３が一体となった構成であってもよい。

表示制御部１１０は、表示データ生成部１０９、透明度制御部１１１と発光層制御部１１２により構成されている。表示データ生成部１０９は、ＣＰＵ１０６からの制御に従って、表示データを生成する。表示データとは、ＲＡＭ１０７に格納されているユーザインターフェース用のグラフィックスデータや画像データから構築され生成される、表示画像に対応するデータである。ユーザインターフェース用のグラフィックスデータは、ユーザからの操作を受け付けるＧＵＩ（グラフィカルユーザインターフェース）を構成するメニュー、アイコン、選択ボタン等の画像のデータを含む。

表示データには、表示画面座標に対応した画素毎のＲＧＢ情報とともに、画素毎の透明度情報が含まれる。このようなデータフォーマットの表示データにより、全画素について画素毎に個別の透明度が設定される。
透明度制御部１１１は、液晶シャッター１０３の透明度の制御データの生成と送出、データの更新を行う。発光層制御部１１２は、透明発光パネル１０４に表示するＲＧＢデータの生成と送出、データの更新を行う。

タッチ操作入力部１１４は、背面タッチパネル１０２と前面タッチパネル１０５からタッチセンサの検出情報を受け取ってタッチ操作情報の処理を行う。

背面タッチ操作入力部１１５は、背面タッチパネル１０２からの背面側タッチ操作検出情報を取得し、前面タッチ操作入力部１１６は、前面タッチパネル１０５からの前面側タッチ操作検出情報を取得し、それぞれタッチ操作座標情報を生成する処理を行う。

ＵＩ制御部１１３ではタッチ操作座標情報を受け取り、タッチ操作に応じて端末の動作制御を行い、タッチ操作のユーザインターフェースを実現するユーザインターフェース制御を行う。

次に図２に本透明ディスプレイを用いた両面タッチ操作対応携帯端末の実装概略図について説明する。前面タッチパネル２０２、透明発光パネル２０３、液晶シャッター２０４、背面タッチパネル２０５が順に積層された構成である。これが図１中の透明ディスプレイ１０１に相当する。これらの積層構成の透明ディスプレイの部材が前面側ベゼル２０１と背面側ベゼル２０７で挟み込まれて固定、支持される。図１の制御システム部１１７を実現する基板、各種デバイス、電源、充電池等は、ベゼル内のシステム実装領域２０６に実装される。

次に、本実施例の表示装置の動作を、図３（Ａ）及び図３（Ｂ）に示す表示画面例と操作イメージを用いて説明する。図３（Ａ）は、透明ディスプレイ携帯端末３０１に、日本語入力ユーザインターフェース表示を行った例を示す図である。入力文字表示領域３０２には、入力中の文字が表示される。タッチ入力領域３０３は、画面右部に表示されている。本例では、右手で端末を保持して操作する形態を想定し、タッチ入力領域３０３は右手に保持した際に自然にタッチ操作できる領域となっている。

タッチ入力領域３０３には、さらに背面タッチ入力領域３０４と前面タッチ入力領域３０５が含まれる。前面タッチ入力領域３０５には、前面からタッチするアイコンが配置されている。ユーザは、子音「あ」「か」…「わ」を前面タッチ操作により指定する。背面タッチ入力領域３０４には、背面からタッチするアイコンが配置される。これらは、親指で前面タッチした子音の行の、母音「ｉ」「ｕ」「ｅ」「ｏ」に対応する文字が配置される。背面タッチ入力領域３０４の表示内容は前面タッチ入力領域３０５にて指定された子音に応じて変更される。前面からの子音のタッチ指定と、背面からの母音のタッチ指定により一意に日本語入力のひらがな１文字が決定される。決定された文字は、入力文字表示領域３０２に表示され、ユーザが入力文字の確認を行うことができる。なお、図３（Ａ）では背面タッチ入力領域３０４に表示されるアイコンについては図示していない。

図３（Ｂ）は、ユーザが右手で画面をホールドして日本語入力の操作している状態を示す図である。親指タッチ入力領域３０７は図３（Ａ）の前面タッチ入力領域３０５に対応し、四指タッチ入力領域３０６は図３（Ａ）の背面タッチ入力領域３０４に対応する。親指タッチ入力領域３０７には、前面からのタッチ操作が想定されるＧＵＩ部品である第１の部品が表示される。四指タッチ入力領域３０６には、背面からのタッチ操作が想定されるＧＵＩ部品である第２の部品が表示される。

通常、ユーザが本実施例のような表示装置をホールドする際には、親指がディスプレイの前面、他の人差し指、中指、薬指、小指の四指が背面にくる持ち方になる。従って、前面タッチ入力領域３０５に表示される子音のアイコンに対するタッチ操作を親指で行い、背面タッチ入力領域３０４に表示される母音のアイコンに対するタッチ操作を残りの四指で行うことで、ユーザは表示装置をホールドしながら自然にタッチ操作できる。この場合、人差し指、中指、薬指、小指によってそれぞれ「ｉ」、「ｕ」、「ｅ」、「ｏ」のタッチ操作を行うことができる。画面を親指と他四指で挟み込む形でタッチして子音と母音を指定することで、ユーザは任意の文字を入力することができる。

このとき、本実施例では、背面タッチ入力領域３０４と前面タッチ入力領域３０５の色を異ならせて表示する。これにより、背面からのタッチ操作を促すアイコンであるか、前面からのタッチ操作を促すアイコンであるかをユーザが判別しやすくなる。

また、本実施例では、表示領域については、背面タッチ入力領域３０４と前面タッチ入力領域３０５のアイコン群の表示位置を異ならせる。具体的には、前面タッチ入力領域３０５は、携帯端末の端部に近い側（図３（Ａ）では右側端に近い側）に配置される。背面タッチ入力領域３０４は、前面タッチ入力領域３０５より携帯端末の端部から遠ざかる側（図３（Ａ）では前面タッチ入力領域３０５の左側）に配置される。これにより、図３（Ｂ）に示すように、端末を右手でホールドした状態で画面の前面と背面における指の位置に近い位置に各タッチ入力領域が配置されるので、タッチ操作性が向上する。

なお、本実施例では、右手でホールドして右手で操作する場合を例示したが、左手でホールドして左手で操作する場合、背面タッチ入力領域及び前面タッチ入力領域が端末の左側端に近い側に配置されるようにする。具体的には、親指でタッチ操作するアイコンが配置される前面タッチ入力領域が左側端に近い側に配置され、残りの四指でタッチ操作するアイコンが配置される背面タッチ入力領域が前面タッチ入力領域より右側に配置されるようにする。

次に、メニューの変更順序とタッチ操作による決定を行う動作タイミングについて述べる。図３（Ｂ）に示すように、前面タッチ操作が行われる親指タッチ入力領域３０７への入力（タッチ操作）の結果に応じて（連動して）、背面タッチ操作が行われる四指タッチ
入力領域３０６にアイコンが表示される。すなわち、前面タッチ操作のためのＧＵＩをメニューの第一階層とし、それに対する前面タッチ操作に連動して、背面タッチ操作のためのＧＵＩをメニューの第二階層として表示する。すなわち、前面タッチ操作用のメニューと背面タッチ操作用のメニューとで階層を構成し、背面タッチ操作用のメニュー表示を前面タッチ操作用のメニューに対する操作内容に連携させる。このように、本実施例では、片手で前面及び背面の両面からタッチ操作できることから、すばやくメニュー内のアイコン選択の決定操作を行うことができる。

前面及び背面の両面からタッチ操作を受け付ける場合に、それぞれの面のタッチ操作を有効にするタイミングについては、まず前面タッチ入力領域３０５の表示及び操作が有効にする。前面タッチ操作用メニューにおいてユーザによるタッチ操作により選択項目が決定された後、背面タッチ入力領域３０４の表示及び操作を有効にする。続けてタッチ操作を受け付ける場合には、この動作が繰り返される。すなわち、ユーザは前面タッチ操作と背面タッチ操作を交互に行うことになる。

なお、背面タッチ操作メニューを第一階層とし、前面タッチ操作メニューを第二階層メニューとしてもよい。すなわち、まず背面タッチ入力領域３０４の表示及び操作を有効にし、背面タッチ操作用メニューにおけるユーザによる選択項目の決定後、前面タッチ入力領域３０５の表示及び操作を有効にしてもよい。この場合、背面タッチ入力領域３０４に表示される背面からのタッチ操作が想定されるＧＵＩ部品が第１の部品、前面タッチ入力領域３０５に表示される前面からのタッチ操作が想定されるＧＵＩ部品が第２の部品となる。

図３（Ａ）及び図３（Ｂ）に示す片手でタッチ操作する際のメニュー、アイコン表示、タッチ操作の処理フローと表示動作について、図４のフローチャートと図１の構成図を用いて述べる。

ＣＰＵ１０６がユーザインターフェースの表示開始の命令を受け取り、ユーザインターフェースの表示を開始すると、ステップＳ４０１にて、ＣＰＵ１０６は、ＲＡＭ１０７に格納されているユーザインターフェース表示用情報を取得する。ユーザインターフェース表示用情報には、表示用のアイコン、メニュー等のグラフィック部品、タッチ操作時の動作情報が含まれる。

続いて、ＣＰＵ１０６は、ユーザインターフェース表示用情報の中から前面タッチ入力領域用のタッチ操作メニューを抽出して、表示制御部１１０に送出する。続いて、Ｓ４０２に進み、表示制御部１１０内の表示データ生成部１０９にて前面タッチ操作用メニューの表示情報を決定する。ここで決定する情報とは、表示位置や、表示色である。表示データ生成部１０９は、表示位置を、右手操作用メニューであれば右手親指タッチ操作可能領域に表示することを決定し、左手操作用メニューであれば左手親指タッチ操作可能領域に表示することを決定する。表示色は、あらかじめ前面タッチ操作用に指定された表示色とする。表示データ生成部１０９は、決定した前面タッチ操作用メニュー表示情報と、他のグラフィック部品、背景、画像とを組み合わせて、表示画像を構成し、表示データを生成する。

ステップＳ４０３にて、表示制御部１１０は、前面タッチ操作用メニューの表示を行う。表示データ生成部１０９により構成された表示データは、透明度制御部１１１、発光層制御部１１２に送出され、それぞれにおいて透明度データ、画像データが生成され、透明ディスプレイ１０１に送出される。液晶シャッター１０３が透明度データに基づき画素毎の透過率を調節し、透明発光パネル１０４が画像データに従って画像を表示する。

次にステップＳ４０４にてユーザの前面タッチ操作待ちとなる。ユーザが前面タッチ操作するとステップＳ４０５に進む。タッチ操作されたと判定されるまでステップＳ４０４で待ち状態となる。このとき、ＵＩ制御部１１３は前面タッチ操作入力部１１６からの入力を有効にし、背面タッチ操作入力部１１５の入力を無効にすることで、前面タッチ操作を受け付ける状態とする。

ユーザが前面タッチ操作すると、ステップＳ４０５に進む。ＣＰＵ１０６は、前面タッチ操作の情報に従って、背面タッチ操作用メニューを更新するための指示を表示データ生成部１０９に送出する。

続いて、ステップＳ４０６にて表示データ生成部１０９は、背面タッチ操作用メニューの表示情報を決定する。このとき、表示データ生成部１０９は、ステップＳ４０２で決定した前面タッチ操作用メニューの表示色と異なる色で背面タッチ操作用メニューを表示するように決定する。表示領域は、前面タッチ操作用メニューの近傍、画面中央寄りに配置する。これにより、表示装置を片手でホールドした状態での前面及び背面のタッチ操作が可能となる。表示データ生成部１０９は、決定した背面タッチ操作用メニュー表示情報と、他のグラフィック部品、背景、画像とを組み合わせて、表示画像を構成し、表示データを生成する。

ステップＳ４０７にて、表示制御部１１０は、背面タッチ操作用メニューの表示を行う。表示データ生成部１０９により構成された表示データは、透明度制御部１１１、発光層制御部１１２に送出され、それぞれにおいて透明度データ、画像データが生成され、透明ディスプレイ１０１に送出される。液晶シャッター１０３が透明度データに基づき画素毎の透過率を調節し、透明発光パネル１０４が画像データに従って画像を表示する。

次にステップＳ４０８にてユーザの背面タッチ操作待ちとなる。このときに、ＵＩ制御部１１３は、背面タッチ操作入力部１１５からの入力を有効にする。ユーザが背面タッチ操作すると、ステップＳ４０４にて入力された前面タッチ操作の情報と組み合わせて、ユーザのタッチ操作による入力指示内容が決定される。

ステップＳ４０９に進み、タッチ操作を継続するのであれば、ステップＳ４０１に戻り、上述したタッチ操作による指示入力の処理が繰り返される。一方、完了メニューが選択される等により、タッチ操作の終了が指示された場合、タッチ操作による指示入力の処理を終了する。

以上のフローにより、表示装置を片手でホールドした状態で最適な両面タッチ操作が実現される。

（実施例２）
本実施例での表示装置の動作を、図５（Ａ）〜図５（Ｄ）の表示画面例と操作イメージを用いて説明する。透明ディスプレイを有する携帯端末の構成、実装形態は、図１、図２と同一である。

図５（Ａ）に、ユーザが透明ディスプレイ携帯端末５０１を親指と人差し指で挟み込む形でホールドしている状態を示す。表示オブジェクト５０２は、表示上、２次元平面となっているが、端末内部のデータとしては、３次元データで構成されている。すなわち、ｘ、ｙ、ｚ方向にデータを持ち、ユーザの操作により、仮想的な３次元空間内で回転させた状態を表示させることができるとする。このとき、前面タッチスライド方向５０４は、親指でタッチした状態で上方向にスライドさせる操作を示している。背面タッチスライド方向５０３は、人差し指でタッチした状態で下方向にスライドさせる操作を示している。このとき、前面と背面のタッチ操作が同一領域において行われることで、タッチ操作は親指と人差し指を透明ディスプレイを挟んで上下にこすり合わせるような動作となる。本実施例では、上方向と下方向でスライドさせるタッチ操作を例示したが、逆方向のスライド操作であれば、方向は上下方向に限られない。

図５（Ｂ）に、上記のタッチ操作が行われた際の表示オブジェクト５０２の表示変化を、ｘ軸回転後表示オブジェクト５０５として示す。図５（Ｂ）では、前面と背面のタッチ領域を通り、前面と背面のスライド方向と垂直の軸を中心に仮想的な３次元空間内で表示オブジェクト５０２を回転させた状態を表示している。本実施例では回転中心軸５０６で示すｘ方向に沿った仮想的な軸を中心に画面に対して垂直方向に回転した状態が表示される。

親指と人差し指を用いて前面と背面から透明ディスプレイを挟み込み、両指のスライド方向が逆方向になるようにスライドさせる操作は、直感的には、両指で挟んだ軸を回転させる操作と同じである。本実施例の表示装置では、この操作が検出された場合に、表示オブジェクトを当該軸に対応する仮想的な軸の周りに回転させた表示を行う。これにより、
ユーザは、画面に平行の軸周りに表示オブジェクトを回転させるという複雑な表示指示を簡単な操作で入力することが可能となる。

次に図５（Ｃ）に、背面タッチスライド方向５０７と前面タッチスライド方向５０８が同一の方向である操作を示す。本実施例では、この操作により、仮想的な３次元空間内の移動指示軸５０９の両端のうちタッチ操作している端部とは反対側の端部を中心としてｘｙ平面（仮想的な３次元空間内において画面に平行な平面）上で表示オブジェクトを回転させる指示が入力される。図５（Ｄ）にｘｙ平面内回転移動後表示オブジェクト５１０を示す。

一般的なタッチ操作ディスプレイでは、タッチ及びスライド操作は、ｘｙ平面上で表示オブジェクトを並行移動させる指示を入力するための操作である。従来、ユーザが、ある回転中心の周りにｘｙ平面内で表示オブジェクトを回転させるという複雑な指示を入力することは、特に片手タッチ操作では難しかった。本実施例では、前面と背面の両面から透明ディスプレイを挟んで同一方向へスライドさせる操作により、ユーザは、ある回転中心の周りにｘｙ平面内で表示オブジェクトを回転させるという複雑な指示を片手タッチ操作で容易に入力することが可能となる。

上述したタッチ操作入力処理のフローと表示動作について、図６のフローチャートと図１の構成図を用いて述べる。

まずステップＳ６０１にて前面タッチ操作入力部１１６は前面タッチスライド操作の検出を行う。同時に、ステップＳ６０２にて背面タッチ操作入力部１１５は背面タッチスライド操作の検出を行う。検出結果はＵＩ制御部１１３に送出される。

前面及び背面のタッチ操作が検出されると、続いてステップＳ６０３に進み、ＵＩ制御部１１３は前面及び背面のタッチ操作が同一の領域で行われているかを判定する。ここでは、ＵＩ制御部１１３は、前面におけるタッチ操作が行われている領域と背面におけるタッチ操作が行われている領域とが所定の閾値を超えて離れていない場合に前面及び背面の同一の領域でタッチ操作が行われていると判断する。すなわち、ＵＩ制御部１１３は、前面のタッチ操作が行われている領域と背面のタッチ操作が行われている領域とが、ともに、同一領域とみなすためのある一定の範囲内にある場合に前面及び背面の同一領域内でタッチ操作が行われていると判断する。前面及び背面の同一の領域でタッチ操作が行われていない場合、表示オブジェクトに対して、表示状態の変更は行われずに処理が終了する。同一領域での操作と判定された場合、次に、ステップＳ６０４にてＵＩ制御部１１３は前面タッチ操作と背面タッチ操作のスライド操作方向が逆方向であるかを判定する。判定した結果、Ｙｅｓであれば、ＵＩ制御部１１３は、前面と背面のタッチ操作及びスライド操作情報をＣＰＵ１０６に送出し、処理はステップＳ６０６に進む。ステップＳ６０６にて、ＣＰＵ１０６は、スライド操作情報から、垂直回転移動を行うための仮想的な回転軸を
設定する。垂直回転移動とは、図５（Ｂ）で説明したような、ｘｙ平面に平行な軸周りに表示オブジェクトを回転させるものである。この回転軸を垂直回転軸という。表示オブジェクト情報及び設定した回転軸の情報は、表示データ生成部１０９に送られる。次に、ステップＳ６０７にて表示データ生成部１０９は、垂直回転軸を中心に、スライド操作量に応じて、表示オブジェクトを回転移動させた画像を生成する。これにより画面に対して垂直方向に表示オブジェクトを回転させる指示を表示装置に入力するための操作が完了する。

ステップＳ６０４にて、判定結果がＮｏの場合、処理はステップＳ６０５に進む。ステップＳ６０５にて、ＵＩ制御部１１３は前面と背面のスライド操作方向は同一かを判定する。判定した結果、Ｙｅｓであれば、ＵＩ制御部１１３は、前面と背面のタッチ操作及びスライド操作情報をＣＰＵ１０６に送出し、処理はステップＳ６０８に進む。ステップＳ６０５での判定結果がＮｏであれば、表示オブジェクトに対して、表示状態の変更は行われずに処理が終了する。

ステップＳ６０８にて、ＣＰＵ１０６は、スライド操作情報及び表示オブジェクトの表示位置の関係から、水平回転移動を行うための仮想的な回転軸を設定する。水平回転移動とは、図５（Ｄ）で説明したような、ある点を中心としてｘｙ平面内で表示オブジェクトを回転させるものである。表示オブジェクト情報及び設定した回転軸の情報は、表示データ生成部１０９に送られる。次に、ステップＳ６０９にて表示データ生成部１０９は、水平回転軸を中心に、スライド操作量の分だけ、表示オブジェクトを回転移動させた画像を生成する。これにより画面に対して水平に表示オブジェクトを回転移動させる指示を表示装置に入力するための操作が完了する。ただし、前面と背面とでスライド操作方向が同じ場合の表示オブジェクトの移動は、水平回転移動に限らず、水平面において指の移動方向に沿った移動でもよい。

回転移動を完了した表示オブジェクトは、表示データ生成部１０９で他の画像部品、背景と合成されて表示データが生成される。

上記フローにより、前面のタッチ操作と背面のタッチ操作とを連携させることで、表示オブジェクトの回転移動という複雑な指示を、直感的かつ簡単に入力することが可能となる。

（実施例３）
本実施例での表示装置の動作を、図７（Ａ）及び図７（Ｂ）に示す表示画面例と操作イメージを用いて説明する。透明ディスプレイを有する携帯端末の構成、実装形態は、図１、図２と同一である。

図７（Ａ）は、透明ディスプレイ携帯端末７０１が誤動作防止、及び消費電力低減のためにタッチ操作を受け付けないスリープ状態になっている場合を示す図である。スリープ状態の解除は、特殊な操作を行うことによってのみ行われるようにすることが好ましい。

本実施例では、スリープ解除メニュー７０２に対して背面と前面の両面から同時にタッチ操作がされたときのみスリープ状態が解除されるように構成された表示装置について説明する。スリープ解除メニュー７０２は、背面及び前面の両面からのタッチ操作が想定さ
れる第３の部品である。図７（Ｂ）は、ユーザが片手の親指と人差し指で挟み込むようにスリープ解除メニュー７０２をタッチすることでスリープ解除操作７０３を実行している様子を示す図である。

図７の特殊な操作を行う際のタッチ操作の処理フローと表示動作について、図８のフローチャートと図１の構成図を用いて述べる。

まずステップＳ８０１において、前面タッチ操作入力部１１６が前面タッチ操作の検出を行う。同様に、ステップＳ８０２において、背面タッチ操作入力部１１５が前面タッチ操作の検出を行う。

両面からのタッチ操作が検出されるとステップＳ８０３に進む。ＵＩ制御部１１３はタッチ操作検出結果がともに所定のユーザインターフェースに対してなされたものかを判定する。判定した結果Ｙｅｓであれば、ステップＳ８０４に進む。結果がＮｏであれば、最初に戻り、再度タッチ操作の検出を繰り返す。

ステップＳ８０４にてＵＩ制御部１１３が両面のタッチ操作が同時に行われたものかを判定する。ＵＩ制御部１１３は、ある時間内に前面と背面のタッチ操作が両方とも検出されたかを判定することにより、両面のタッチ操作が同時に行われたものか判定する。判定の結果がＮｏであれば、最初に戻り、再度タッチ操作の検出を繰り返す。

判定の結果がＹｅｓであれば、ステップＳ８０５にてＵＩ制御部１１３は特殊操作（ここではスリープ解除）の実行を指示する入力がなされたと判断し、その結果をＣＰＵ１０６に送出して、本フローの処理を完了する。ＣＰＵ１０６は、受け取った判定の結果に基づきスリープ解除を実行する。

本実施例のように、両面から同時にタッチ操作されたときのみある動作（例えばスリープ解除動作）が実行されるように構成することによって、意図しないタッチ操作によってその動作が誤って実行されてしまうことを防ぐことができる。また、親指と人差し指で挟み込むタッチ操作は、携帯端末をホールドした状態では自然に行える操作であるため、ユーザが意図的にスリープ解除を行う場合には、その実行指示を簡単な操作で入力することができる。従って、意図しない誤作動の抑制と、ユーザが意図したときの簡単な操作性と、を両立させることができる。

（実施例４）
本実施例での表示装置の動作を図９（Ａ）〜図９（Ｃ）の表示画面例と操作イメージを用いて説明する。透明ディスプレイを有する携帯端末の構成、実装形態は、図１、図２と同一である。図９（Ａ）〜図９（Ｃ）は、透明ディスプレイ携帯端末９０１に、地図アプリケーションを表示した例を示す。

本実施例の説明で用いる地図アプリケーションは、最遠端の視点は、地球全体を見渡す視点であり、これを図９（Ａ）に示す。図９（Ａ）には、ユーザが端末を保持して操作している様子も合わせて示す。以降、図９（Ａ）のような表示時の動作モードを地球儀モードと呼ぶ。

地図アプリケーションは、地球上のある地点を拡大するにつれて、その地点の詳細な地図情報を表示する。このときの表示例を図９（Ｂ）に示す。図９（Ｂ）に示す表示例は、通常の２次元地図を表示する動作モードでの地図アプリケーションの表示例であり、以降、この動作モードを２Ｄマップモードと呼ぶ。

さらに拡大を続けると、地図アプリケーションは、実際にユーザがその地点に立った場合に見える風景を仮想的に示す表示を行う。このときの表示例を図９（Ｃ）に示す。図９（Ｃ）に示す表示例は、３次元地図を表示する動作モードであり、以降、この動作モードを３Ｄマップモードと呼ぶ。

地図アプリケーションを使用する際に、ユーザは表示される地図に対して、拡大、縮小、移動、回転といった表示変更操作を施し、所望の地図表示状態にした上で、地図情報を閲覧する。このときの表示変更操作は、それぞれの動作モードにおいて直感的に理解し易い操作体系であり、かつ、端末をホールドしたままの状態で容易に行えることが望ましい。

地球儀モードにおける両面タッチ操作による表示変更操作の一覧を図１０（Ａ）の表に示す。操作対象は球体であり、３次元の表示操作が必要となる。本実施例で用いる３次元の座標系と回転方向を図１０（Ｂ）に示す。座標軸をＸ，Ｙ，Ｚとする。Ｘ軸は画面に平行な平面内で左から右へ横方向に向かう軸であり、Ｙ軸は画面に平行な平面内で下から上へ縦方向に向かう軸であり、Ｚ軸は画面に平行な平面に垂直で画面向こうから手前に向かう軸である。Ｘ軸、Ｙ軸、Ｚ軸を中心軸として回転する方向をそれぞれα、β、γとする
。以下、Ｘ軸を中心軸とする回転をＸ軸回転と呼ぶ。Ｙ軸、Ｚ軸についても同様とする。３次元の表示変更操作の分類には、回転と移動があり、図１０（Ａ）の表では、操作分類毎の操作内容で表示変更操作をカテゴリー分けしている。回転には、Ｘ軸，Ｙ軸，Ｚ軸それぞれを中心とした回転がある。移動には、Ｘ方向，Ｙ方向，Ｚ方向のそれぞれに関する移動がある。すなわち、３次元の表示変更操作には合計６種類の方向があり、これを図１０（Ａ）の「操作軸・操作方向」の列に示す。移動、回転の方向には、それぞれ正の方向とその反対方向の２種類があり、これらを図１０（Ａ）の「操作内容の詳細」の列に示す。図１０（Ａ）に示すように、本実施例では、これら３次元の表示変更操作における合計１２種類の方向のそれぞれに対応させて、前面タッチ操作と背面タッチ操作の組み合わせを割り当てている。タッチ操作を行う指、スライドさせる方向、前面タッチ操作する指と背面タッチ操作する指の位置関係によって、操作内容が決定される。

なお、図１０（Ａ）に示す背面タッチ操作の指は、人差し指と中指を想定しているが、背面にある薬指や小指で操作をするとしてもよい。

次に、図１０（Ａ）に示すタッチ操作方法について、図を用いて説明する。
図１１（Ａ）は、Ｘ軸中心の回転操作の方法を示す図である。前面のタッチ位置とスライド操作を実線矢印１１０１、背面のタッチ位置とスライド操作を破線矢印１１０２にて示す。図１１（Ａ）では、画面中央付近において前面を親指で下から上へタッチしながらスライドさせ、背面の同じ領域で人差し指で上から下へタッチしてスライドさせるタッチ操作が行われている。このタッチ操作は、直感的には、両指でＸ軸を挟んで回転させる操作と同じである。表示装置は、このタッチ操作を検出すると、表示オブジェクトである地球を、Ｘ軸回転の回転軸１１０３を中心に、αと逆方向に回転させる表示制御を行う。また、前面タッチ操作が下方向、背面タッチ操作が上方向の場合は、表示装置は、表示オブジェクトである地球をα方向に回転させる表示制御を行う。

図１１（Ｂ）は、Ｙ軸中心の回転操作の方法を示す図である。図１１（Ｂ）では、前面タッチ操作として左から右へスライドさせる右方向の操作が行われ、背面タッチ操作として同じ領域で右から左へスライドさせる左方向の操作が行われている。表示装置は、このタッチ操作を検出すると、表示オブジェクトである地球をＹ軸回転の回転軸１１０４を中心に、β方向に回転させる表示制御を行う。また、前面タッチ操作が左方向、背面タッチ操作が右方向の場合は、表示装置は、表示オブジェクトである地球をβと逆方向に回転させる表示制御を行う。

図１１（Ａ）、図１１（Ｂ）では、画面中央付近をタッチ領域としているが、タッチ領域の位置はこれに限られない。例えば、画面端をタッチ領域としてもよい。タッチ領域の位置によらず、表示装置は、表示オブジェクトである地球の中心を通る軸を回転軸として回転させる表示制御を行う。
また、図１１（Ａ）、図１１（Ｂ）では、上下又は左右方向にスライドさせるタッチ操作が行われた場合の表示制御を説明したが、表示オブジェクトを回転させるためのタッチ操作のスライド方向はこれに限らず、例えば斜め方向のスライドであってもよい。その場合、表示装置は、タッチ操作のスライド方向をＸ軸方向とＹ軸方向に分解し、Ｘ軸回転とＹ軸回転を同時に行う表示制御を行う。これにより、任意のスライド方向に対応して表示オブジェクトの回転操作が行われる。

図１１（Ｃ）は、Ｚ軸中心の回転操作の方法を示す図である。図１１（Ｃ）では、前面
タッチ操作として反時計回りのスライド操作が行われ、背面タッチ操作として前面タッチ操作の領域から離れた領域で反時計回りのスライド操作が行われる。表示装置は、この操作を検出すると、表示オブジェクトである地球を、Ｚ軸回転の回転方向１１０５に示すように、地球の中心を回転中心として、γ方向に回転させる表示制御を行う。前面タッチ操作が時計回りのスライド操作、背面タッチ操作が前面タッチ操作の領域から離れた領域での時計回りのスライド操作である場合は、表示装置は、表示オブジェクトである地球をγと逆方向に回転させる表示制御を行う。

次に、表示オブジェクトである地球を画面上で並行移動させる操作について説明する。本実施例では、この表示変更操作は、片面のタッチ操作で行われる。図１１（Ｄ）は、右斜め上方向にスライドさせる前面タッチ操作が行われた場合の表示変更操作を示す図である。このタッチ操作により、図１０（Ａ）に示すＸ方向＋側への移動操作とＹ方向＋側への移動操作とが同時に行われ、図１１（Ｄ）に示すように、表示オブジェクトである地球がスライド操作に従って並行移動する表示変更操作が行われる。なお、前面タッチ操作で表示オブジェクトの並行移動操作を行う例を示したが、背面タッチ操作で表示オブジェクトの並行移動操作を行うようにすることもできる。

次に、Ｚ方向の移動について説明する。表示オブジェクトのＺ方向の移動は、表示オブジェクトがユーザに近づく又は遠ざかることを意味し、対応する表示変更操作は拡大／縮小となる。本実施例では、背面から所望の箇所を２回連続でタッチする操作により、表示オブジェクトのその箇所を奥側から手前側に向かって移動させる操作が行われ、その箇所を拡大する表示制御が行われる。一方、前面から、所望の箇所を２回連続でタッチする操作により、表示オブジェクトのその箇所を手前側から奥側に向かって移動させる操作が行われ、その箇所を縮小する表示制御が行われる。

前面又は背面を２回連続でタッチする操作により拡大／縮小の表示変更操作が可能であるが、１回のタッチ操作による拡大率／縮小率（表示オブジェクトのＺ方向の移動量）は一定であり、微調整はできない。拡大率／縮小率の微調整は、表示オブジェクトの２点を同時にタッチして、その２点間を任意のサイズに調整するタッチ操作により行うことができる。しかしながら、片手で表示装置をホールドした状態では、このタッチ操作を前面だけで行うことはできない。このタッチ操作を背面で行う場合は、例えば、人差し指と中指を使うことで、２点を同時にタッチして、指定した２点間を任意のサイズに調整するタッチ操作が可能であるが、必ずしも容易な操作とはいえない。

スライド操作を用いた拡大／縮小の表示変更操作についてを、図１２（Ａ）及び図１２（Ｂ）を用いて説明する。拡大の表示変更操作により図１２（Ａ）から図１２（Ｂ）へ表示が変更され、縮小の表示変更操作により図１２（Ｂ）から図１２（Ａ）へ表示が変更される。拡大操作のためのタッチ操作は、図１２（Ａ）の前面タッチ箇所１２０１を親指でタッチしたまま固定とするとともに、図１２（Ａ）の２指の背面タッチスライド操作１２０２に示すように、背面を人差し指と中指で同時に下方向にスライドさせる操作である。このようなタッチ操作により、地図上の親指でタッチした箇所の表示を画面内に保ったまま、その周辺の地図が拡大される表示制御が行われ、結果として図１２（Ｂ）に示すような表示が得られる。一方、縮小操作のためのタッチ操作は、図１２（Ａ）の前面タッチ箇所１２０１を親指でタッチしたまま固定するとともに、図１２（Ｂ）の２指の背面タッチスライド操作１２０２に示すように、背面を人差し指と中指で同時に上方向にスライドさせる操作である。このようなタッチ操作により、地図上の親指でタッチした箇所の表示を画面内に保ったまま、その周辺の地図が縮小される表示制御が行われ、結果として図１２（Ａ）に示すような表示が得られる。以上のタッチ操作により、拡大／縮小の表示変更操作、すなわち、Ｚ方向の移動の表示変更操作を行うことができる。

２本指によるスライド操作は、特殊なスライド操作であり、ユーザにマウスのホイールを回転させる操作を想起させる操作といえる。なお、本実施例では、一方の面をタッチしたまま固定して他方の面を２指でスライドさせるタッチ操作を拡大／縮小の表示変更操作に対応するタッチ操作とした。この理由は、拡大／縮小の表示変更操作に対して、２指でのスライド操作という特殊なタッチ操作を割り当てることで、他の表示変更操作のためのタッチ操作との区別がユーザにとって容易となり、直感的な操作を行えるからである。図１３、図１４を用いて後述するように、一方の面をタッチしたまま固定して、他方の面を１本の指でスライドさせるタッチ操作は、回転の表示変更操作に割り当てられる。

次に、２Ｄマップモードにおける両面タッチ操作による表示変更操作について説明する。２Ｄマップモードにおけるタッチ操作の操作体系は、図１０（Ａ）に示す地球儀モードと同じ操作体系とする。
ただし、２Ｄマップモードでは、図１０（Ａ）に示す表示オブジェクトの回転操作に対応するタッチ操作は、表示オブジェクトの移動操作と同等の表示結果となる。例えば、Ｘ軸を中心にαと逆方向に回転させる表示変更操作を行った場合の表示結果は、Ｙ方向＋側に移動させる表示変更操作を行った場合の表示結果と同等となる。すなわち、表示オブジェクトの回転操作に対応するタッチ操作が行われた場合にも、表示オブジェクトの移動操作に対応するタッチ操作が行われた場合にも、同様に、表示オブジェクトに対し移動の表示変更操作が行われる。従って、以下の２Ｄマップモードについての説明では、回転操作による表示オブジェクトの回転量（回転速度）と移動操作による表示オブジェクトの移動量（移動速度）は、ともに同等の表示遷移量（表示遷移速度）を意味するものとする。

２Ｄマップモードでは、図１０（Ａ）に示す表示オブジェクトの回転操作に対応するタッチ操作を応用してより効果的な移動操作を行うことができる。その例を図１３の表と図１４（Ａ）〜図１４（Ｄ）の表示画面例を用いて説明する。
図１０（Ａ）では、表示オブジェクトに対しＸ軸回転とＹ軸回転の表示変更操作を行う場合、前面と背面とで逆方向のスライド操作を行うが、この操作において、一方の指をタッチしたまま固定とする応用操作を考える。この場合、スライド操作を行う面が片方のみとなるので、両方の面でスライド操作を行う場合と比べて、表示オブジェクトの回転量（移動量）が少なくなり、回転速度（移動速度）が遅くなるような表示変更操作が行われると、直感的で分かりやすい。すなわち、図１０（Ａ）の表示オブジェクトの回転操作に対応するタッチ操作において、前面のスライド操作又は背面のスライド操作の一方を行わずタッチしたまま固定とした場合には、両面でスライド操作を行った場合よりも回転速度（移動速度）を遅くする。又は回転量（移動量）を少なくする。これにより移動の表示変更操作における微調整操作が可能になる。

一方、より高速に回転（移動）を行いたい場合もある。そこで、図１０（Ａ）の表示オ
ブジェクトの回転操作に対応するタッチ操作において、背面のスライド操作を、背面の指１本ではなく背面の４指全てによるスライド操作とする応用操作を考える。この場合、背面のスライド操作を指１本で行う場合と比べて、表示オブジェクトの回転量（移動量）が増加し、回転速度（移動速度）を加速させるような表示変更操作が行われるようにすると、直感的で分かりやすい。

図１３は、回転の表示変更操作に対応するタッチ操作と回転速度（移動速度、表示遷移速度）の関係を示す。図１３に示すタッチ操作を行う際の画面例を図１４（Ａ）〜図１４（Ｄ）に示す。
図１４（Ａ）では、前面タッチ操作として、前面タッチスライド操作１１０１に示すように、左方向にスライドさせ、背面タッチ操作として、背面タッチ箇所１４０１をタッチしたまま固定とする。このようなタッチ操作が行われた場合の表示遷移速度は、矢印１４０４で模式的に示すように、低速となる。ここで、表示遷移速度を示す矢印は、長いほど速度が速いことを意味するものとする。なお、前面タッチ操作として前面をタッチしたまま固定とし、背面タッチ操作として右方向にスライド操作させるタッチ操作を行った場合も、図１４（Ａ）のタッチ操作を行った場合と同じ速度で遷移する。

図１４（Ｂ）では、前面タッチスライド操作１１０１と背面タッチスライド操作１１０２に示すように、前面と背面で互いに逆方向にスライドさせる。このようなタッチ操作が行われた場合の表示遷移速度は、矢印１４０５で模式的に示すように、通常速度となる。

図１４（Ｃ）では、前面タッチ操作として、前面タッチ箇所１４０２をタッチしたまま固定とし、背面タッチ操作として、４指の背面タッチスライド操作１４０３に示すように、背面のスライド操作を４指で行う。このようなタッチ操作が行われた場合の表示遷移速度は、矢印１４０６で模式的に示すように、高速となる。

図１４（Ｄ）では、前面タッチ操作として、前面タッチスライド操作１１０１に示すように、左方向にスライドさせ、背面タッチ操作として、４指の背面タッチスライド操作１４０３に示すように、背面のスライド操作を４指で行う。このように、前面のスライド操作と背面４指のスライド操作を合わせて行うタッチ操作が行われた場合の表示遷移速度は、矢印１４０７で模式的に示すように、最も速くなる。
以上により、直感的な操作で、容易に移動速度（表示遷移速度）を変更することができる。なお、図１４では、左右方向の移動の例を示したが、本実施例で説明する移動速度を変更するためのタッチ操作は、左右方向の移動（表示遷移）に限らず、上下左右の任意の方向の移動（表示遷移）に適用できる。

次に、３Ｄマップモードにおける両面タッチ操作による表示変更操作について説明する。図１５は、３Ｄマップモードにおける表示変更操作の一覧を示す表である。３Ｄマップモードにおける表示変更操作では、操作分類として、ユーザ視点移動、ユーザ位置移動、拡大／縮小がある。

ユーザ視点移動の表示変更操作と表示内容について図１６（Ａ）〜図１６（Ｅ）を用いて説明する。ここでは、説明のための簡単な例として、仮想的な３次元空間内におけるユーザの位置（視点）の前方に立方体形状のオブジェクトがある場合の例である。

図１６（Ａ）は、始点となる初期状態を表し、仮想的な３次元空間内においてユーザの視点から正面に立方体が見えている状態である。
ユーザ視点を上に向ける回転移動のためのタッチ操作として、本実施例では、上方向にスライドさせる前面タッチ操作と、下方向にスライドさせる背面タッチ操作とを組み合わせたタッチ操作を用いる。このタッチ操作と、初期状態に対し視点を上に向ける回転移動が行われた状態の表示内容を図１６（Ｂ）に示す。
ユーザ視点を下に向ける回転移動のタッチ操作は、上に向ける回転操作のタッチ操作と逆方向の操作とする。このタッチ操作と、初期状態に対し視点を下に向ける回転移動が行われた状態の表示内容を図１６（Ｃ）に示す。

ユーザ視点を右に向ける回転移動のためのタッチ操作として、本実施例では、左方向にスライドさせる前面タッチ操作と、右方向にスライドさせる背面タッチ操作とを組み合わせたタッチ操作を用いる。このタッチ操作と、初期状態に対し視点を右に向ける回転移動が行われた表示内容を図１６（Ｄ）に示す。
ユーザ視点を左に向ける回転移動のタッチ操作は、右に向ける回転操作のタッチ操作と逆方向の操作とする。このタッチ操作と、初期状態に対し視点を左に向ける回転移動が行われた状態の表示内容を図１６（Ｅ）に示す。

タッチ操作のスライド量とユーザ視点移動量は相関している。すなわち、スライド量が多いとユーザ視点の移動量も多くなり、スライド量が少ないとユーザ視点の移動量も少なくなる。また、ユーザ視点の回転移動のためのタッチ操作は、例示した上下方向のスライド操作や左右方向のスライド操作に限られず、任意の方向のスライド操作でユーザ視点の回転移動が可能である。任意の方向のスライド操作に対し、本実施例では、スライド方向をＸ方向とＹ方向に分解し、Ｘ方向のスライド操作及びＹ方向のスライド操作それぞれに対応するユーザ視点の回転操作を行うことで任意の方向のスライド操作に対応するユーザ視点の回転移動を行う。なお、図１６（Ａ）〜図１６（Ｅ）の例では、タッチ操作が画面の中央付近で行われる様子を例示したが、ユーザ視点の回転移動は、タッチ操作が行われる画面内の位置によらない。すなわち、タッチ操作内容が同等であれば画面内のどの位置で操作を行っても、同等のユーザ視点の回転移動が行われる。

図１６（Ａ）〜図１６（Ｅ）に示す表示変更操作は、ユーザ視点位置を中心に表示オブジェクトをＸ軸回転又はＹ軸回転させる操作である。本実施例によれば、ユーザは、表示オブジェクトに対しこのような複雑な回転操作を行わせるための指示を、上述したような直感的なタッチ操作により、表示装置に入力することが可能となる。

次に、ユーザ位置移動の表示変更操作と表示内容について図１７（Ａ）〜図１７（Ｅ）を用いて説明する。図１６と同様に、仮想的な３次元空間内におけるユーザの位置（視点）の前方に立方体形状のオブジェクトがある場合の例で説明する。
図１７（Ａ）は、始点となる初期状態を表し、仮想的な３次元空間内においてユーザの視点から正面に立方体が見えている状態である。
ユーザ位置を前後方向（手前、奥行き方向）に移動させるためのタッチ操作として、本実施例では、上方向又は下方向にスライドさせる前面タッチ操作を用いる。このタッチ操作と、初期状態に対しユーザ位置の前後方向の移動操作が行われた状態の表示内容を図１７（Ｂ）、図１７（Ｃ）に示す。
ユーザ位置を左右方向に移動させるためのタッチ操作は、左方向又は右方向にスライドさせる前面タッチ操作とする。このタッチ操作と、初期状態に対しユーザ位置の左右方向の移動操作が行われた状態の表示内容を図１７（Ｄ）、図１７（Ｅ）に示す。
このように、本実施例によれば、ユーザは、簡単かつ直感的なタッチ操作で、ユーザ位置移動の表示変更操作を行うことができる。なお、図１７（Ａ）〜図１７（Ｅ）では、ユーザ位置移動のために前面タッチ操作を行う例を示したが、ユーザ位置移動のためのタッチ操作はこれに限られず、背面タッチ操作により同様のユーザ位置移動を行えるようにしても良い。

３Ｄマップモードにおける拡大／縮小の表示変更操作のためのタッチ操作については、図１２を用いて説明した内容と同様であるため、説明を省略する。

上述したタッチ操作入力処理のフローと表示動作について、図１８のフローチャートと図１の構成図を用いて述べる。まず、ステップＳ１８０１にて、ＣＰＵ１０６はＲＡＭ１０７に保持されたプログラムのユーザインターフェース情報を取得する。ユーザインターフェース情報とは、ユーザがタッチ操作により表示装置へコマンドを入力するユーザインターフェースを構成するための情報である。本実施例では、地球儀モード、２Ｄマップモード、３Ｄマップモードのモード情報や、各モードに応じた表示変更操作とタッチ操作との対応関係の情報（図１０（Ａ）、図１３、及び図１５の表で示す）を含む。

次にステップＳ１８０２にて、端末をホールドするために背面に接触している指のタッチ検出結果を除外する処理を行う。この処理は、ＵＩ制御部１１３が背面タッチ操作入力部１１５からの検出結果に対して、一定時間以上の接触が継続していることを示す検出結果や、機器をホールドしている際のパターンに一致する検出結果の部分をマスクすることで行われる。

ステップＳ１８０３にてＵＩ制御部１１３は、前面又は背面にタッチ操作が発生しているかを判定する。この処理は、背面タッチ操作入力部１１５と前面タッチ操作入力部１１６から受けた検出結果に、ステップＳ１８０２にてマスクした検出結果以外のタッチ操作が含まれているかを判定することで行う。処理はステップＳ１８０４とステップＳ１８０７に分岐する。

ステップＳ１８０４にて、ＵＩ制御部１１３は前面タッチ操作入力部１１６からの検出結果に基づき前面タッチ操作があったかを判定する。前面タッチ操作があれば処理はステップＳ１８０５に進み、なければ処理はステップＳ１８１１に進む。ステップＳ１８０５では、ＵＩ制御部１１３は、前面タッチ操作が発生した座標と変位方向（スライドの方向）、変位量（スライド量）を取得する。この処理は、ＵＩ制御部１１３が前回の検出結果との差分を算出することで行う。ＵＩ制御部１１３は、算出結果を、システムバス１０８を介してＣＰＵ１０６へ送出する。

次に、ステップＳ１８０６では、ＣＰＵ１０６は、前面タッチ操作検出結果を、３次元図形としての表示オブジェクトが定義された３次元空間内の座標（以下、内部座標ともいう）や方向の情報に変換（マッピング）する。画面では２次元図形として描かれている表示オブジェクトは、表示装置内部では３次元図形データ（内部データともいう）として処理されている。ＣＰＵ１０６は、表示オブジェクトの３次元形状を表す情報や、３次元空間内の観察者の情報（視点座標、視線方向、視野角など）に基づき、３次元空間内の３次元図形の情報を、２次元の画像に変換する。一方、ＣＰＵ１０６は、２次元の画面上で行われた２次元平面内のタッチ操作情報を、内部の３次元空間内の座標や方向の情報に変換（マッピング）する。

ステップＳ１８０７にて、ＵＩ制御部１１３は背面タッチ操作入力部１１５からの検出結果に基づき背面タッチ操作があったかを判定する。背面タッチ操作があれば処理はステップＳ１８０８に進み、なければ処理はステップＳ１８１１に進む。ステップＳ１８０８では、ＵＩ制御部１１３は、背面タッチ操作が発生した座標と変位方向（スライドの方向）、変位量（スライド量）を取得する。この処理は、ＵＩ制御部１１３が前回の検出結果との差分を算出することで行う。ＵＩ制御部１１３は、算出結果を、システムバス１０８を介してＣＰＵ１０６へ送出する。

次に、ステップＳ１８０９では、ＣＰＵ１０６は、背面タッチ操作検出結果を、３次元図形としての表示オブジェクトが定義された３次元空間内の座標や方向のデータに変換（マッピング）する。この処理はステップＳ１８０６で行った処理と同様である。

続いてステップＳ１８１０にて、ＵＩ制御部１１３は、有効な背面タッチ操作（Ｓ１８０２で除外されない背面タッチ操作）を行っている全ての指について、上記Ｓ１８０８及びＳ１８０９の処理が完了したかを判定する。完了していなければ、処理はステップＳ１８０８に戻り、背面に有効なタッチ操作をしている全ての指について完了するまで繰り返される。完了すれば、処理はステップＳ１８１１に進む。

ステップＳ１８１１にて、ＣＰＵ１０６は、表示オブジェクトの３次元情報が定義された３次元空間内にマッピングされたタッチ操作の情報から、３次元空間内にいてタッチ操作による操作の対象とされたオブジェクトを判定する。ＣＰＵ１０６は、タッチ操作が行われた領域（座標）は、オブジェクト上か、その他の領域であるかを判定する。

次に、ステップＳ１８１２にて、ＣＰＵ１０６は、ステップＳ１８０６とステップＳ１８０９にて取得したタッチ操作検出結果と、ステップＳ１８０１にて取得したユーザインターフェース情報に基づき、表示変更操作の操作指示を決定する。操作指示とは、回転、移動等の操作分類、対象オブジェクトの座標と視点座標の遷移（移動）の方向、遷移量（
移動量）などの表示変更操作に必要な一群の情報である。ＣＰＵ１０６は、タッチ操作検出結果に基づき、図１０（Ａ）や図１５のテーブルから検出されたタッチ操作に対応する表示変更操作を決定する。

ステップＳ１８１３にて、ＣＰＵ１０６は決定した操作指示に応じて内部データ及び視点情報を更新する。ステップＳ１８１４にて、表示データ生成部１０９は更新後の内部データと視点情報から、表示データを生成し、生成した表示データを透明度制御部１１１及び発光層制御部１１２に送出する。これにより、タッチ操作に応じて表示変更操作がなされた表示オブジェクトの２次元画像が両面タッチ操作対応透明ディスプレイ１０１に表示される。

次に、処理はステップＳ１８１５に進み、ＣＰＵ１０６は、アプリケーションを終了するかを判定し、Ｙｅｓであれば、ＣＰＵ１０６はアプリケーションを終了する。Ｎｏであれば、処理はステップＳ１８１６に進む。ステップＳ１８１６では、ＣＰＵ１０６は、アプリケーションの動作モードに変更があるかを判定し、Ｙｅｓであれば、ステップＳ１８０１まで戻り、再度ユーザインターフェース情報を取得する。Ｎｏであれば、ＣＰＵ１０６は、ステップＳ１８０２に戻り、タッチ操作検出から表示までの一連の処理を繰り返す。

上記フローにより、透明ディスプレイを有しタッチ操作により表示変更操作の指示を入力可能な表示装置において、地図アプリケーションのような複雑なタッチ操作が必要となるアプリケーションを用いる場合の操作性が向上する。すなわち、前面タッチ操作と背面タッチ操作を組み合わせることで、移動、回転、拡大／縮小、視点変更、表示変更（表示遷移）の速度変更といった多種多様な表示変更操作のためのタッチ操作体系を、直感的で、簡単かつ互いに区別しやすく構成される。

（実施例５）
本実施例での表示装置の動作を図１９の表示画面例と操作イメージを用いて説明する。透明ディスプレイを有する携帯端末の構成、実装形態は、図１、図２と同一である。図１９は、透明ディスプレイ携帯端末１９０１に、３Ｄオブジェクトを表示した例を示す。図１９の表示例では、四角錐型の３Ｄオブジェクト表示Ａ１９０２と、立方体の３Ｄオブジェクト表示Ｂ１９０３の２個のオブジェクトが表示されている。図１９には、ユーザが透明ディスプレイ端末１９０１を保持しながら、上記２つの３Ｄオブジェクトに対して、前面と背面の両面からタッチ操作を行っている様子も示す。

３Ｄオブジェクトが表示されている画面に対して、前面と背面の両面からタッチ操作を行うことは、直感的には、操作対象となっている３Ｄオブジェクトを仮想的に両面から指で掴むことをユーザに想起させる。図２０は、３Ｄオブジェクトを指で掴むような感覚で行えるように構成したタッチ操作の概念を説明する図である。図２０に示すタッチ操作では、前面タッチポイント２００１に前面から親指でタッチするとともに、背面タッチポイント２００２に背面から背面側の４指のいずれか（例えば人差し指）でタッチする。

内部オブジェクト情報２００３は、３Ｄオブジェクト表示Ａ１９０２に対応する、３Ｄオブジェクトの３次元形状の情報（内部データともいう）である。実際には、内部オブジェクト情報２００３は、端末内のデータとしてのみ存在し、物理的・立体的な実在として端末の外部には存在しない。しかし、図２０では、２次元画像として表示される３Ｄオブジェクトとそれに対応する３次元形状との対応関係の概念を説明するために図示してある。３Ｄオブジェクトの３次元形状における前面保持ポイント２００４は、前面タッチポイント２００１に対応している。すなわち、２次元平面である画面上での前面保持ポイント２００４の位置情報（座標）を、３次元空間内の３Ｄオブジェクトにおける位置情報（座標）に変換（マッピング）したものが前面タッチポイント２００４である。また、背面保持ポイント２００５は、背面タッチポイント２００２に対応している。表示された３Ｄオブジェクトを前面と背面からタッチすると、その３Ｄオブジェクトが操作対象オブジェクトとして選択される。それとともに、内部データが定義された３次元空間内において、上述した保持ポイントで３次元形状としての当該３Ｄオブジェクトを仮想的に掴んで保持する表示変更操作が行われる。

画面内に複数の３Ｄオブジェクトが表示されている場合、ユーザは各３Ｄオブジェクトに対して独立に移動及び回転の表示変更操作を行い、さらに、表示画像全体（３Ｄオブジェクトが存在する３次元空間全体）に対して移動及び回転の表示変更操作を行えると良い。またさらに、観察視点、視線方向、視野角の操作も行えることが望ましい。３次元的な移動及び回転の操作を指示するには、それぞれ３つの方向の操作を指示する必要があるため、操作は複雑になる。そのため、これらの表示変更操作の指示を表示装置に入力するためのタッチ操作体系は、直感的に理解し易く、かつ、端末をホールドしたままの状態で容易に行えることが望ましい。

３Ｄオブジェクトに対する表示変更操作とタッチ操作との対応関係の一例を図２１に示す。座標軸（Ｘ、Ｙ、Ｚ）及び回転方向（α、β、γ）の記号の意味は、図１０（Ｂ）と同じである。操作分類、オブジェクトに対する操作については、実施例４にて図１０（Ａ）を用いて説明した内容と同様である。図２１は、オブジェクト毎に表示変更操作を行う動作モードでのタッチ操作体系を示すもので、この動作モードでは、操作対象として選択された対象オブジェクトについてのみ、タッチ操作に対応する表示変更操作が行われる。この動作モードは、後述する、表示画像全体に対する表示変更操作（視点位置を変更する操作）を行う動作モードとは異なる動作モードである。本実施例では、表示変更操作をどちらの動作モードとするかは、タッチ箇所がオブジェクト上か否かによって判断する。図２１の「タッチ箇所」の列は、オブジェクト毎の表示変更操作を行う動作モードとなるためのタッチ操作条件を示す。なお、画面内に３Ｄオブジェクトが複数ある場合、タッチ箇所によって、そのうちの一つが表示変更操作対象の３Ｄオブジェクトとして選択されるようにすることができる。
なお、図２１では背面タッチ操作の指は、人差し指と中指を想定しているが、背面にある薬指や小指で操作をするとしてもよい。

次に、図２１に示すタッチ操作による表示変更操作の具体例について、図を用いて説明する。図２２（Ａ），図２２（Ｂ）にＸＹ平面内に存在する回転軸の回りに、３Ｄオブジ
ェクトを回転移動させる表示変更操作を行った場合の表示例を示す。図２２（Ａ）、図２２（Ｂ）の例では、Ｘ軸中心の回転とＹ軸中心の回転の両方が行われている。図２２（Ａ）が回転前の表示状態で、図２２（Ｂ）が回転後の表示状態である。図２２（Ａ）は、ユーザが、前面タッチスライド操作２２０１に示すように、親指で左斜め上にスライド操作し、背面タッチスライド操作２２０２に示すように、人差し指で右斜め下にスライド操作する例を示している。

まず、回転移動に対応するタッチ操作開始時のタッチ箇所は、四角錐型３Ｄオブジェクト１９０２上にあるため、この３Ｄオブジェクト１９０２が表示変更操作の対象オブジェクトとして選択される。次に、前面タッチ箇所と背面タッチ箇所がスライドタッチ操作により徐々に移動するにつれて、Ｘ軸中心の回転とＹ軸中心の回転が同時に起こり、最終的に図２２（Ｂ）に示す表示結果となる。このときの回転中心は、親指のタッチ箇所に対応する３次元空間内の点と人差し指のタッチ箇所に対応する３次元空間内の点との間の点である。そのため、あたかも、前面と背面から２指で挟んだ箇所に３Ｄオブジェクトが物理的に存在し、その３Ｄオブジェクトを２指で掴んで回したかのような表示変更結果が得られる。３Ｄオブジェクトが回転する方向は、前面と背面のタッチ操作で指をスライドさせる方向に従って変化する。

なお、ここでは、３Ｄオブジェクトを２指で挟んで回転させる表示変更操作のためのタッチ操作として、前面の親指と背面の人差し指を互いに逆方向にスライドさせるタッチ操作を例示したが、当該表示変更操作のためのタッチ操作はこれに限られない。例えば、一方の指をタッチしたまま固定とするタッチ操作でもよい。このタッチ操作を行った場合において、前面と背面のうちタッチしたまま固定する指と、３Ｄオブジェクトの回転中心と、の関係を図２２（Ｃ）に示す。背面の人差し指をタッチしたまま固定とすると、回転中心は人差し指によるタッチ箇所となる。前面の親指をタッチしたまま固定とすると、回転中心は親指によるタッチ箇所となる。こうすることで、前面又は背面の指をタッチしたまま固定とした場合でも、対象オブジェクトを掴んで回す表示変更操作指示を直感的なタッチ操作で入力することができる。

図２３（Ａ）、図２３（Ｂ）を用いて、Ｚ軸回転操作について説明する。図２３（Ａ）が回転前の表示状態で、図２３（Ｂ）が回転後の表示状態である。Ｚ軸回転のためのタッチ操作では、まず、親指は前面で対象オブジェクト上にタッチしたまま固定とし、人差し指も背面で対象オブジェクト上にタッチしまま固定とする。前面と背面のタッチ箇所に対応する３次元空間内の２点を結ぶ直線が回転軸となる。この回転軸をＺ軸回転軸２３０１として示す。前面と背面のタッチ箇所が同じ（２次元平面としての画面上での位置が同じ
）であれば、回転軸はＺ軸と平行であり、前面と背面のタッチ箇所が同じでなければ、回転軸はＺ軸から傾いた直線となる。次に、タッチ固定箇所を中心にして、背面の中指で円を描くように反時計まわりに回転させるスライド操作をする。このタッチ操作によって、四角錐型３Ｄオブジェクト１９０２が、中指のスライド操作に従ってＺ軸回転軸２３０１の回りに反時計まわりに回転する表示変更操作が行われる。中指でのスライド操作の回転の方向が時計回りであれば、３Ｄオブジェクトの表示変更操作の回転の方向も時計回りとなる。

図２４（Ａ）、図２４（Ｂ）を用いて、ＸＹ平面に平行な移動操作について説明する。図２４（Ａ）が移動前の表示状態で、図２４（Ｂ）が移動後の表示状態である。ＸＹ平面に平行な移動操作のためのタッチ操作では、前面から、親指で移動操作対象のオブジェクトの位置にタッチした後、前面タッチスライド操作２２０１で示す方向にスライド操作を行う。背面からは、人差し指で移動操作対象のオブジェクトの位置にタッチした後、背面タッチスライド操作２２０２で示す方向にスライド操作を行う。このタッチ操作により、四角錐型３Ｄオブジェクト１９０２は、Ｘ方向移動とＹ方向移動が同時に起こり、左斜め上に並行移動し、図２４（Ｂ）に示す表示状態となる。このタッチ操作によれば、オブジェクトをＸＹ平面に平行に移動させる表示変更操作の指示入力を、画面に表示されたオブジェクトを前面と背面から掴んで移動させるような直感的なタッチ操作で行うことができる。

図２５（Ａ）、図２５（Ｂ）を用いて、Ｚ方向の移動操作について説明する。図２５（Ａ）が移動前の表示状態で、図２５（Ｂ）が移動後の表示状態である。実施例４と同様、Ｚ軸方向の移動は、拡大／縮小の表示変更操作に対応し、本実施例では、この表示変更操作のためのタッチ操作として特殊なスライド操作を割り当てる。すなわち、Ｚ軸方向の移動のためのタッチ操作では、前面から、親指で対象オブジェクトの位置にタッチした後、タッチしたまま固定とする。また、背面から、人差し指と中指の２指で同時に、２指の背面タッチスライド操作２５０１に示すように、スライド操作を行う。このタッチ操作は、マウスのホイール回転の操作を模擬した操作である。これにより、親指にて選択している四角錐型３Ｄオブジェクト１９０２が手前側に移動し、図２５（Ｂ）に示すように四角錐型３Ｄオブジェクト１９０２が拡大された表示状態となる。

なお、背面からスライド操作を２指で行う用にしている理由は、１指のスライド操作では、図２２（Ａ）〜図２２（Ｃ）を用いて説明した回転のためのタッチ操作と区別がつかないからである。Ｚ軸移動（拡大／縮小）のためのタッチ操作に２指のスライド操作を用いることで、ユーザは、Ｚ軸移動（拡大／縮小）と回転とを明確に区別することができ、操作の混同を防ぐことができる。

以上の両面タッチ操作により、オブジェクトに対する表示変更操作の指示入力を、画面に表示されたオブジェクトを前面と背面から掴んで操作するような直感的なタッチ操作で行うことができる。

次に、画面全体に対する表示変更操作について説明する。図２６（Ａ）の表に表示変更操作と対応するタッチ操作の一覧を示す。座標軸、回転方向を図２６（Ｂ）に示す。画面全体に対する表示変更操作では、３Ｄオブジェクトが定義された内部３次元空間に存在する３Ｄオブジェクトの全体（内部データの全体）に対して一括して表示状態が変更される。例えば、図１９では、３Ｄオブジェクト表示Ａ１９０２と３Ｄオブジェクト表示Ｂ１９０３の表示が一括して変更される。画面全体の表示変更操作は、ユーザの視点を移動させる操作とも言える。以下、画面全体に対する表示変更操作を、視点変更操作ともいう。

視点変更操作は、図２１から図２５（Ｂ）を用いて説明したオブジェクト毎の表示変更操作を内部３次元空間内のオブジェクト全体に適用したものと考えれば、オブジェクト毎の表示変更操作のためのタッチ操作と同様のタッチ操作を適用できる。以下、オブジェクト毎の表示変更操作との相違点を中心に視点変更操作のためのタッチ操作について図を用いて説明する。

視点変更操作のためのタッチ操作では、タッチ箇所は、オブジェクトが表示されている以外の箇所、例えば背景の箇所とし、一旦、オブジェクト以外の箇所をタッチした後、スライド操作を開始する。ただし、片面のタッチ操作による回転、移動については、オブジェクト毎の表示変更操作に含まれないため、画面内の任意の箇所をタッチしてスライド操作を開始することとしても、オブジェクト毎の表示変更操作と混同はしない。

Ｘ軸、Ｙ軸、Ｚ軸を中心とする画面回転操作（視線方向変更操作）に対応するタッチ操作は、図２２（Ａ）〜図２２（Ｃ）、図２３（Ａ）、図２３（Ｂ）で説明したタッチ操作と同様であり、回転する対象が画面全体となる点がオブジェクト毎の回転操作と異なる。

画面回転操作（視線方向を変更する操作）について、図２７（Ａ）、図２７（Ｂ）を用いて説明する。図２６（Ｂ）に回転方向であるφ方向、θ方向を示す。画面回転操作（視線方向変更操作）は、座標軸の原点を中心とし、原点から最初にタッチした点までの距離を半径とする仮想的な球面を回転させる操作として構成され、そのためのタッチ操作としてスライド操作を用いる。図２７（Ａ）が画面回転前の表示状態であり、図２７（Ｂ）が画面回転後の表示状態である。画面回転操作のためのタッチ操作では、例えば、前面から、親指でオブジェクトにタッチした後、前面タッチスライド操作２２０１に示すようにスライド操作を行う。背面からは、タッチ操作をしない。このタッチ操作により、画面全体は、画面中央にある固定の回転中心２７０１を中心とする球面が回転するように回転する。このとき、θ方向の回転とφ方向の回転が同時に発生し、結果としてそれらが合成された回転が行われ、図２７（Ｂ）に示す表示となる。このようなタッチ操作により、画面表示全体を、画面中央を中心に回転させる表示変更操作（視線方向変更操作）の指示入力を、球面を回転させるような直感的なタッチ操作により行うことができる。

なお、ここでは、前面タッチスライド操作により、画面全体の回転操作を行う例を説明したが、背面タッチスライド操作によって画面全体の回転操作を行うようにしてもよい。どちらの場合でも、画面全体の回転操作は片面タッチ操作であり、オブジェクト毎の回転操作は両面タッチ操作であるため、画面全体の回転操作のためのタッチ操作は、任意の点をタッチして開始することができる。すなわち、オブジェクト上をタッチしてタッチ操作を開始しても、オブジェクト毎の回転操作のためのタッチ操作とはならない。

本実施例では、画面全体のＸ方向、Ｙ方向の移動操作（視点位置移動操作）のためのタッチ操作としては、両面タッチ操作で行う場合と、片面タッチ操作で行う場合の２通りを割り当てる。両面タッチ操作で視点位置移動操作を行う場合は、タッチ操作は図２４を用いて説明したタッチ操作と同様であるが、移動する対象が画面全体となる点が異なる。片面タッチ操作で行う画面全体の移動操作について、図２８（Ａ）、図２８（Ｂ）を用いて説明する。図２８（Ａ）、図２８（Ｂ）は、画面全体を左斜め上に移動させる例を示す。図２８（Ａ）が移動前の表示状態で、図２８（Ｂ）が移動後の表示状態である。画面全体の移動操作（視点位置移動操作）のための片面タッチ操作では、背面から、２指の背面タッチスライド操作２５０１で示すように、左斜め上方向にスライドさせる。前面からは、タッチ操作をしない。このタッチ操作により、画面全体は、左斜め上に並行移動する。このとき、Ｘ方向の移動とＹ方向の移動が同時に発生し、結果としてそれらが合成された移動が行われ、図２８（Ｂ）に示す表示となる。

両面タッチ操作では、表示画面を指で挟んで移動させるタッチ操作となるため、画面の全域にわたるような大きな移動距離をスライドさせることが難しい。片面タッチ操作であれば、大きな移動距離をスライド操作することが容易である。しかしながら、１指での片面スライド操作では、図２７（Ａ）、図２７（Ｂ）に示す画面中央を回転中心とした回転操作のためのタッチ操作と混同が生じる。また、Ｚ方向の移動である拡大／縮小のためのタッチ操作は、背面を２本の指でスライドする操作である。従って、画面全体移動操作（視点位置移動操作）を片面タッチ操作により行う場合に、背面を２本指でスライド操作することとすれば、２本指でのスライド操作から移動操作が連想できるようにタッチ操作体系が構成される。これにより、ユーザは操作体系を理解し易くなり、操作性が向上する。

画面全体の拡大／縮小（視点位置のＺ軸方向移動）のためのタッチ操作については、実施例４にて図１２（Ａ）、図１２（Ｂ）を用いて説明した拡大／縮小のためのタッチ操作と同様とし、説明を省略する。

上述したタッチ操作による表示変更操作の指示入力処理のフローと表示動作について、説明する。実施例の処理を表すフローチャートは実施例４で説明した図１８のフローチャ
ートとほぼ同様である。ここでは、実施例４にて説明した内容との相違点を主として説明する。

まずステップＳ１８０１では、ＣＰＵ１０６は、ユーザインターフェース情報として、図２１、図２２、図２６に示す表示変更操作とタッチ操作との対応関係の情報を取得する。以降、ステップＳ１８１１まで実施例４と同様の処理が行われる。ステップＳ１８１１では、ＣＰＵ１０６は、オブジェクト毎の表示変更操作であるか、画面全体の表示変更操作（視点位置変更操作）であるかを判定する。この判定は、タッチ箇所がオブジェクトであるかそれ以外の箇所（背景など）であるかによって行われる。続いて、ステップＳ１８１２では、ＣＰＵ１０６は、ステップＳ１８１１にて判定した結果に従って、ユーザインターフェース情報を選択する。具体的には、ＣＰＵ１０６は、オブジェクト上で両面タッチ操作が開始されている場合は、図２１の操作体系を選択し、それ以外の場合は、図２６の操作体系を選択する。
以降の処理は実施例４で説明した内容と同様である。

本実施例によれば、３次元空間内の３Ｄオブジェクトの表示状態を変更するという複雑な表示変更操作の指示を、前面タッチ操作と背面タッチ操作とを組み合わせた直感的で簡単な操作体系で、表示装置に入力することが可能になる。

なお、図１９では、表示変更操作の対象となるオブジェクトが、表示装置をホールドした手の指が届く範囲内に表示されている例を示したが、より大画面になった場合、ホールドした手の指が届く範囲は限られてくる。これを改善する方法を図２９を用いて説明する。図２９の表示例では、表示装置をホールドした手の指が届く範囲に、タッチ操作用の子画面を設けた画面構成とする。図２９では、タッチ操作用の子画面として、左手用３Ｄオブジェクト操作領域２９０１及び右手用３Ｄオブジェクト操作領域２９０２が表示されている。子画面上のオブジェクトに対しタッチ操作を行うことにより、メイン画面に表示されたオブジェクト１９０２，１９０３の表示変更操作を行うことができる。なお、メイン画面におけるオブジェクト１９０２，１９０３の表示位置においてタッチ操作を行っても、子画面においてタッチ操作を行った場合と同様にオブジェクト１９０２，１９０３の表示変更操作を行うことができる。また、子画面に表示させるオブジェクトの選択は、例えば、メイン画面に表示されたオブジェクトをタッチすることにより行う。

１０１：透明ディスプレイ、１０２：背面タッチパネル、１０３：液晶シャッター、１０４：透明発光パネル、１０５：前面タッチパネル、１０６：ＣＰＵ、１０９：表示データ生成部、１１０：表示制御部、１１３：ＵＩ制御部、１１４：タッチ操作入力部

Claims (14)

1. 前面及び背面の両面からタッチ操作を行うことが可能な透明ディスプレイパネルを備えた表示装置であって、
   前面のタッチ操作及び背面のタッチ操作を検出する検出手段と、
   タッチ操作のためのグラフィックスデータの表示制御を行う制御手段と、
   を備え、
   前記グラフィックスデータは、前面側からのタッチ操作を想定した第１の部品と、背面側からのタッチ操作を想定した第２の部品と、を含み、
   前記第２の部品は、ユーザが前記表示装置の背面側から複数の指のそれぞれによってタッチ操作を行うことを想定した複数の部品を含み、前記第１の部品とは異なる位置に表示され、
   前記制御手段は、まず第１の部品のみを画面に表示させ、第１の部品に対するタッチ操作に応じて第２の部品の内容を決定し、前記第１の部品に対するタッチ操作が行われた後に前記第２の部品を画面に表示させる表示装置。
2. 前記制御手段は、第１の部品の表示色と第２の部品の表示色とを異ならせる請求項１に記載の表示装置。
3. 前記制御手段は、第１の部品の表示領域と第２の部品の表示領域とを異ならせる請求項１又は２に記載の表示装置。
4. 前記グラフィックスデータは、ユーザが表示装置を保持する一方の手でタッチ操作するためのグラフィックスデータであり、
   前記制御手段は、前記第１の部品及び前記第２の部品のうち前面からのタッチ操作を想定した部品の位置が、背面からのタッチ操作を想定した部品の位置よりも、表示装置の端部に近い位置になるように、第１の部品及び第２の部品の表示制御を行う請求項１〜３のいずれか１項に記載の表示装置。
5. 前記前面からのタッチ操作を想定した部品は、表示装置を保持する前記一方の手の親指による操作を想定した部品であり、
   前記背面からのタッチ操作を想定した部品は、表示装置を保持する前記一方の手の残りの指による操作を想定した部品である請求項４に記載の表示装置。
6. 前記グラフィックスデータは、ユーザが文字入力を行うためのユーザインターフェースのグラフィックスデータであり、前記第１の部品に対するタッチ操作に応じて表示される前記第２の部品にタッチ操作することにより入力される文字が決定される請求項１〜５のいずれか１項に記載の表示装置。
7. 前記第２の部品の表示領域は、前記第１の部品の表示領域よりも前記表示装置の画面の中央寄りに配置される請求項１〜６のいずれか１項に記載の表示装置。
8. 前面及び背面の両面からタッチ操作を行うことが可能な透明ディスプレイパネルを備えた表示装置の制御方法であって、
   前面のタッチ操作及び背面のタッチ操作を検出する検出工程と、
   タッチ操作のためのグラフィックスデータの表示制御を行う制御工程と、
   を有し、
   前記グラフィックスデータは、前面側からのタッチ操作を想定した第１の部品と、背面側からのタッチ操作を想定した第２の部品と、を含み、
   前記第２の部品は、ユーザが前記表示装置の背面側から複数の指のそれぞれによってタッチ操作を行うことを想定した複数の部品を含み、前記第１の部品とは異なる位置に表示され、
   前記制御工程は、
   まず第１の部品のみを画面に表示させる工程と、
   第１の部品に対するタッチ操作に応じて第２の部品の内容を決定する工程と、
   前記第１の部品に対するタッチ操作が行われた後に前記第２の部品を画面に表示させる工程と、
   を有する表示装置の制御方法。
9. 前記制御工程では、第１の部品の表示色と第２の部品の表示色とを異ならせる請求項８に記載の表示装置の制御方法。
10. 前記制御工程では、第１の部品の表示領域と第２の部品の表示領域とを異ならせる請求項８又は９に記載の表示装置の制御方法。
11. 前記グラフィックスデータは、ユーザが表示装置を保持する一方の手でタッチ操作するためのグラフィックスデータであり、
    前記制御工程では、前記第１の部品及び前記第２の部品のうち前面からのタッチ操作を想定した部品の位置が、背面からのタッチ操作を想定した部品の位置よりも、表示装置の端部に近い位置になるように、第１の部品及び第２の部品の表示制御を行う請求項８〜１０のいずれか１項に記載の表示装置の制御方法。
12. 前記前面からのタッチ操作を想定した部品は、表示装置を保持する前記一方の手の親指による操作を想定した部品であり、
    前記背面からのタッチ操作を想定した部品は、表示装置を保持する前記一方の手の残りの指による操作を想定した部品である請求項１１に記載の表示装置の制御方法。
13. 前記グラフィックスデータは、ユーザが文字入力を行うためのユーザインターフェースのグラフィックスデータであり、前記第１の部品に対するタッチ操作に応じて表示される前記第２の部品にタッチ操作することにより入力される文字が決定される請求項８〜１２のいずれか１項に記載の表示装置の制御方法。
14. 前記第２の部品の表示領域は、前記第１の部品の表示領域よりも前記表示装置の画面の中央寄りに配置される請求項８〜１３のいずれか１項に記載の表示装置の制御方法。
    

Images