JP4557058B2 - 情報表示端末、情報表示方法、およびプログラム - Google Patents

情報表示端末、情報表示方法、およびプログラム Download PDF

Info

Publication number
JP4557058B2
JP4557058B2 JP2008175839A JP2008175839A JP4557058B2 JP 4557058 B2 JP4557058 B2 JP 4557058B2 JP 2008175839 A JP2008175839 A JP 2008175839A JP 2008175839 A JP2008175839 A JP 2008175839A JP 4557058 B2 JP4557058 B2 JP 4557058B2
Authority
JP
Japan
Prior art keywords
information
display
display screen
objects
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008175839A
Other languages
English (en)
Other versions
JP2009157908A (ja
Inventor
麗子 宮崎
健 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2007317720 external-priority
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008175839A priority Critical patent/JP4557058B2/ja
Priority to CN200810171373XA priority patent/CN101452366B/zh
Priority to US12/257,663 priority patent/US9513765B2/en
Priority to EP08170782.0A priority patent/EP2068237B1/en
Publication of JP2009157908A publication Critical patent/JP2009157908A/ja
Application granted granted Critical
Publication of JP4557058B2 publication Critical patent/JP4557058B2/ja
Priority to US15/267,799 priority patent/US11003304B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報表示端末、情報表示方法、およびプログラムに関する。
グラフィカルユーザインターフェース(GUI:Graphical User Interface)は、視認性、操作性に優れ、直感的な操作が可能な操作環境をユーザに提供するユーザインターフェースとして知られている。GUIは、コンピュータのビットマップスクリーンをデスクトップとみなし、デスクトップ上にウィンドウ、アイコン、メニューなどのオブジェクトを配置し、配置したオブジェクトをマウス、タッチパッドなどのポインティングデバイスなどにより自由に操作するものである。今日では、デスクトップを3次元仮想空間で実現することにより、実世界のような操作環境を構築し、視認性、操作性を向上させた3次元GUI(3DGUI)が実用化されている。
従来の3DGUIでは、3D仮想空間内のオブジェクトに対する操作によりオブジェクトの指定、移動などが行われ、3D仮想空間を投影する視点に対する操作により視点が変更されて特定のオブジェクトの提示などが行われる。
ここで、視点に対する操作が行われていない状態の投影面を基準投影面とし、基準投影面が表示された状態における表示画面の左右方向をx軸方向、上下方向をy軸方向、奥行方向をz軸方向とする。この場合、x軸方向およびy軸方向でのオブジェクトおよび視点に対する操作は、ポインティングデバイスなどの操作に連動して表示画面上に表示されるポインタを用いて、表示画面上で特定の位置を指定したり、特定の位置を指定した状態で移動させたりすることにより実現される。
一方、z軸方向でのオブジェクトおよび視点に対する操作は、表示画面上のGUIボタン、専用の操作キーなど、x軸方向およびy軸方向の操作に用いるポインティングデバイスなどと別途のインターフェースを設けることにより実現されていた。この場合、x軸方向およびy軸方向の操作がポインティングデバイスなどを用いて直感的に行われる反面、z軸方向の操作が別途のインターフェースを用いて行われるため、直感的な操作を提供可能な操作環境が失われてしまう。
また、従来のポインティングデバイスでは、指定した特定の位置を移動させる場合において、ポインティングデバイスの移動加速度を検出し、検出された移動加速度に応じてポインタの移動が制御されている。しかし、z軸方向の操作を行うために設けられたGUIボタン、専用キーなどのインターフェースでは、指定した特定の位置を移動させる場合において、インターフェースの移動加速度を検出することができない。
また、特に3DGUIでは、3D仮想空間内に多数のオブジェクトを配置した場合に、3D仮想空間を投影する視点に近い前方のオブジェクトにより、視点から遠い後方のオブジェクトが遮蔽され易くなる。このため、表示画面上で特定のオブジェクトを指定したり、移動させたりする操作が困難となるなど、視認性および操作性が低下してしまう。また、2DGUIでも、表示画面の奥行方向に複数のオブジェクトが重ねて配置されている場合には同様の問題が生じる。
また、3DGUIおよび2DGUIにかかわらず、グルーピングされている複数のオブジェクトから特定のオブジェクトを選択する場合には、一般的に、グループを指定した後に、指定されたグループに含まれるオブジェクトを指定することになる。しかし、3DGUIでは、操作環境上および表示環境上の制約により、グループの指定およびオブジェクトの指定をシームレスに行うことが困難となる場合がある。
本発明は上記問題点に鑑みてなされたものであり、その目的は、視認性および操作性に優れ、直感的な操作が可能な操作環境を提供可能な、新規かつ改良された、情報表示端末、情報表示方法、およびプログラムを提供することにある。
上記課題を解決するために、本発明の第1の観点によれば、グラフィカルユーザインターフェースのオブジェクトを表示画面上に表示する情報表示端末であって、表示画面に重ねて設けられた接触検出面を介して表示画面上の位置情報を含む第1操作情報を取得する第1操作情報取得部と、表示画面と反対側の面に設けられた接触検出面を介して表示画面上の位置情報を含む第2操作情報を取得する第2操作情報取得部と、取得された第1操作情報および第2操作情報に基づいて表示画面上におけるオブジェクトの表示を制御する表示制御部と、を備えた情報表示端末が提供される。
かかる構成によれば、表示画面に重ねて設けられた接触検出面を介して表示画面上の位置情報を含む第1操作情報が取得され、表示画面と反対側の面に設けられた接触検出面を介して表示画面上の位置情報を含む第2操作情報が取得される。そして、取得された第1および第2操作情報に基づいて表示画面上におけるオブジェクトの表示が制御される。これにより、表示画面および表示画面の反対側の面に設けられた2つの接触検出面を介して取得される2つの操作情報に基づいて、表示画面上におけるオブジェクトの表示が制御されるので、直感的な操作が可能な操作環境を提供することができる。
また、上記オブジェクトは、オブジェクトに固有の三次元座標情報に基づいて三次元座標空間内に配され、表示制御部は、三次元座標空間の投影面である表示画面上におけるオブジェクトの表示を制御してもよい。これにより、三次元座標空間の投影面である表示画面上におけるオブジェクトの表示が制御されるので、3DGUIの操作環境を提供することができる。
また、複数のオブジェクトは、三次元座標空間の第1座標軸方向に重ねて配列されたオブジェクト列を構成し、第1操作情報および第2操作情報のうちいずれか一方は、接触検出面で検出された接触の程度に応じて得られる第1スクロール情報を含み、表示制御部は、第1操作情報または第2操作情報に含まれる位置情報に基づいてオブジェクト列を特定し、取得された第1スクロール情報に基づいて、特定されたオブジェクト列に含まれる複数のオブジェクトを第1座標軸上の一方向でスクロールさせる表示を制御してもよい。これにより、接触検出面で検出された接触の程度に応じて得られる第1スクロール情報に基づいて、オブジェクト列に含まれる複数のオブジェクトを第1座標軸上の一方向でスクロールさせる表示が制御される。よって、利用者は、3DGUIにおけるオブジェクトのスクロール操作を直感的に行うことができる。
また、上記第1操作情報および第2操作情報のうちいずれか他方は、接触検出面で検出された接触の程度に応じて得られる第2スクロール情報を含み、表示制御部は、取得された第2スクロール情報に基づいて、特定されたオブジェクト列に含まれる複数のオブジェクトを第1座標軸上の他方向でスクロールさせる表示を制御してもよい。これにより、接触検出面で検出された接触の程度に応じて得られる第1および第2移動情報に基づいて、オブジェクト列に含まれる複数のオブジェクトを第1座標軸上の双方向でスクロールさせる表示が制御される。よって、利用者は、3DGUIにおけるオブジェクトのスクロール操作を直感的に行うことができる。
また、上記接触の程度は、接触検出面で検出された接触の強度として得られ、表示制御部は、接触の強度が所定の閾値を超える場合に複数のオブジェクトをスクロールさせるように表示を制御してもよい。これにより、接触の強度が所定の閾値を超える場合にオブジェクトをスクロールさせるように表示が制御されるので、スクロール操作の指示を直感的に入力することができる。
また、上記接触の程度は、接触検出面で検出された接触の検出継続時間として得られ、表示制御部は、接触の検出継続時間に基づいて複数のオブジェクトをスクロールさせる表示の加速度を制御してもよい。これにより、接触の検出継続時間に基づいてオブジェクトをスクロールさせる表示の加速度が制御されるので、スクロール操作の操作性を向上させることができる。
また、上記接触の程度は、接触検出面で検出された接触の検出面積として得られ、表示制御部は、接触の検出面積に基づいて複数のオブジェクトをスクロールさせる表示の加速度を制御してもよい。これにより、接触の検出面積に基づいてオブジェクトをスクロールさせる表示の加速度が制御されるので、接触の面積を連続的に変化させて表示の加速度を変化させることにより、スクロール操作の操作性をさらに向上させることができる。
また、複数のオブジェクトは、三次元座標空間の第1座標軸方向に重ねて配列されたオブジェクト列を構成し、第1操作情報は、接触検出面で検出された接触点の移動状況から得られる位置情報としての第1始点情報および第1終点情報を含み、第2操作情報は、接触検出面で検出された接触点の移動状況から得られる位置情報として、第1始点情報と同時に取得される第2始点情報および第1終点情報と同時に取得される第2終点情報を含み、表示制御部は、取得された第1始点情報に基づいて表示画面上における特定のオブジェクト列に含まれる最も前方のオブジェクトを特定し、取得された第2始点情報に基づいてオブジェクト列に含まれる最も後方のオブジェクトを特定し、取得された第1終点情報を最も前方のオブジェクトの移動先の位置に対応させ、取得された第2終点情報を最も後方のオブジェクトの移動先の位置に対応させて、オブジェクト列に含まれる複数のオブジェクトを第1座標軸に直交する平面上で移動させる表示を制御してもよい。これにより、接触検出面で検出された接触点の移動状況から得られる第1および第2の始点情報、第1および第2の終点情報に基づいて、オブジェクト列に含まれる複数のオブジェクトを第1座標軸に直交する平面上で移動させる表示が制御される。よって、利用者は、3DGUIにおけるオブジェクトの遮蔽による視認性および操作性の低下を回避することができる。
また、上記第1操作情報は、接触検出面で検出された接触点の移動状況から得られる位置情報としての第1始点情報および第1終点情報を含み、第2操作情報は、接触検出面で検出された接触点の移動状況から得られる位置情報として、第1始点情報と同時に取得される第2始点情報および第1終点情報と同時に取得される第2終点情報を含み、表示制御部は、取得された第1始点情報および第2始点情報から得られる参照軸と、取得された第1終点情報および第2終点情報から得られる移動軸との間の角度変化量を算出し、算出した角度変化量に基づいて、三次元座標空間が投影された視体積の錐体の最も前方の頂点を表す視点の位置と、投影面の中心を表す参照点の位置とを結ぶ軸の角度を変化させて、三次元座標空間に対する視点の位置を変化させた状態で投影面である表示画面上におけるオブジェクトの表示を制御してもよい。これにより、接触検出面で検出された接触点の移動状況から得られる第1および第2の始点情報、第1および第2の終点情報に基づいて、三次元座標空間に対する視点の位置を変化させた状態で投影面である表示画面上におけるオブジェクトの表示が制御される。よって、利用者は、3DGUIにおける視点に対する操作を直感的に行うことができる。
また、上記オブジェクトは、オブジェクトに固有の二次元座標情報に基づいて二次元座標平面上に配され、複数のオブジェクトは、表示画面上で少なくとも部分的に重ねて配列されたオブジェクト列を構成し、第1操作情報は、接触検出面で検出された接触点の移動状況から得られる位置情報としての第1始点情報および第1終点情報を含み、第2操作情報は、接触検出面で検出された接触点の移動状況から得られる位置情報として、第1始点情報と同時に取得される第2始点情報および第1終点情報と同時に取得される第2終点情報を含み、表示制御部は、取得された第1始点情報に基づいて表示画面上における特定のオブジェクト列に含まれる最も前方のオブジェクトを特定し、取得された第2始点情報に基づいてオブジェクト列に含まれる最も後方のオブジェクトを特定し、取得された第1終点情報を最も前方のオブジェクトの移動先の位置に対応させ、取得された第2終点情報を最も後方のオブジェクトの移動先の位置に対応させて、オブジェクト列に含まれる複数のオブジェクトをオブジェクト間の重なりの程度を変化させるように移動させる表示を制御してもよい。これにより、接触検出面で検出された接触点の移動状況から得られる第1および第2の始点情報、第1および第2の終点情報に基づいて、オブジェクト列に含まれる複数のオブジェクトをオブジェクト間の重なりの程度を変化させるように移動させる表示が制御される。よって、利用者は、2DGUIにおけるオブジェクトの遮蔽による視認性および操作性の低下を回避することができる。
また、上記表示画面と反対側の面に設けられた接触検出面上で操作の対象とされる第2操作領域は、表示画面に設けられた接触検出面上で操作の対象とされる第1操作領域よりも小さく、第2操作領域から得られる表示画面上の位置情報は、第1操作領域上から得られる表示画面上の位置情報に対応するように調整されてもよい。これにより、第2操作領域から得られる表示画面上の位置情報が第1操作領域から得られる表示画面上の位置情報に対応するように調整されるので、利用者は、操作領域の範囲が異なることにより生じる操作性の低下を回避することができる。
また、利用者毎に取得された第2操作情報に基づいて、第2操作領域の範囲を特定する操作領域情報を設定するための操作領域情報設定部をさらに備えてもよい。これにより、利用者毎に第2操作領域の範囲が設定されるので、利用者毎の操作性を向上させることができる。
また、上記操作領域設定部により設定された操作領域情報を記憶する操作領域情報記憶部をさらに備え、表示制御部は、特定の利用者からの変更要求に応じて、特定の利用者に応じた操作領域情報を操作領域情報記憶部から読出し、第2操作領域の範囲を設定してもよい。かかる構成によれば、利用者毎に第2操作領域の範囲が設定および記憶され、利用者に応じて第2操作領域の範囲が設定されるので、利用者毎の操作性を向上させることができる。
また、表示画面の使用方向に応じた複数の操作領域情報を記憶する操作領域情報記憶部をさらに備え、表示制御部は、表示画面の使用方向を判断し、表示画面の使用方向に応じた操作領域情報を操作領域情報記憶部から読出し、第2操作領域の範囲を設定してもよい。これにより、表示画面の使用方向に応じた第2操作領域の範囲が記憶され、表示画面の使用方向の判断結果に応じて第2操作領域の範囲が設定されるので、使用状況毎の操作性を向上させることができる。
また、上記表示制御部は、利用者から取得された第2操作情報に基づいて表示画面の使用方向を判断してもよい。これにより、第2操作情報に基づいて表示画面の使用方向が判断されるので、使用状況毎の操作性を容易に向上させることができる。
また、加速度センサをさらに備え、表示制御部は、加速度センサの検出結果に基づいて表示画面の使用方向を判断してもよい。かかる構成によれば、加速度センサの検出結果に基づいて表示画面の使用方向が判断されるので、使用状況毎の操作性を容易に向上させることができる。
また、複数のオブジェクトによりオブジェクト列が構成され、オブジェクト列は、複数のオブジェクトが初期位置で重複して配置された状態、およびスライド位置で少なくとも部分的に重複して配置された状態で表示可能であり、表示制御部は、第1操作情報に含まれる第1位置情報および/または第2操作情報に含まれる第2位置情報の取得状況、およびオブジェクト列の表示状態に応じて、オブジェクト列を操作するための表示、およびオブジェクト列を構成するオブジェクトを操作するための表示を制御してもよい。これにより、第1および/または第2位置情報の取得状況、およびオブジェクト列の表示状態に応じて、オブジェクト列およびオブジェクトを操作するための表示が制御されるので、オブジェクト列に対する操作およびオブジェクトに対する操作をシームレスに行うことができる。
また、上記表示制御部は、第1位置情報によりオブジェクト列が特定された後に、オブジェクト列を構成する複数のオブジェクトが初期位置またはスライド位置に表示されている状態で、第2位置情報が取得された場合に、第2位置情報の取得から所定時間内に継続的に取得される第1位置情報の継続的な変化に対応して、オブジェクト間の重複量を変化させて複数のオブジェクトが移動するように、オブジェクト列の表示を制御してもよい。これにより、位置情報の取得状況およびオブジェクト列の表示状態に応じて、第1位置情報の継続的な変化に対応して、オブジェクト間の重複量を変化させて複数のオブジェクトが移動して表示される。よって、オブジェクト間の重複量を変化させて表示することで、オブジェクト列を構成する複数のオブジェクトを確認することができる。
また、上記オブジェクト列は、少なくとも部分的に重複して配置される複数のオブジェクトのうち、表示画面上で前面側に配置されるオブジェクトが背面側に配置されるオブジェクトよりも大きく表示され、表示制御部は、継続的に取得される第1位置情報の継続的な変化に対応して、オブジェクト間の重複量を変化させて複数のオブジェクトが移動し、オブジェクト間の重複量が小さいほど各オブジェクトが前面側に移動して大きく表示され、重複量が大きいほど各オブジェクトが背面側に移動して小さく表示されるように、オブジェクト列の表示を制御してもよい。これにより、第1位置情報の継続的な変化に対応して、オブジェクト間の重複量を変化させて複数のオブジェクトが移動し、オブジェクト間の重複量に応じて前背面側に移動して表示される。よって、オブジェクト間の重複量および前背面方向での配置を変化させて表示することで、オブジェクト列を構成する複数のオブジェクトを確認することができる。
また、上記オブジェクト列は、少なくとも部分的に重複して配置される複数のオブジェクトのうち、表示画面上で前面側に配置されるオブジェクトが背面側に配置されるオブジェクトよりも大きく表示され、表示制御部は、オブジェクト列を構成する複数のオブジェクトが重複せずに配置されて表示されている場合に、複数のオブジェクトが最前面側に移動して同一の大きさでリスト表示されるように、オブジェクト列の表示を制御してもよい。これにより、複数のオブジェクトが最前面側に移動して同一の大きさでリスト表示されるので、視認性の低下なしに、オブジェクトに対する操作を行うことができる。
また、上記表示制御部は、複数のオブジェクトが前面側に移動するに従って大きく表示されるように、オブジェクト列の表示を制御してもよい。これにより、複数のオブジェクトが前面側に移動するに従って大きく表示されるので、視認性の低下なしに、オブジェクトに対する操作を行うことができる。
また、上記表示制御部は、複数のオブジェクトがリスト表示されている状態で、第1位置情報によりオブジェクトが特定された場合に、オブジェクトの内容が表示されるように、オブジェクトの表示を制御してもよい。これにより、複数のオブジェクトがリスト表示されている状態で特定されたオブジェクトの内容が表示されるので、視認性および操作性の低下なしに、オブジェクトに対する操作を行うことができる。
また、上記表示制御部は、第1位置情報によりオブジェクト列が特定された後に、オブジェクト列を構成する複数のオブジェクトがスライド位置に表示されている状態で、所定の期間内に第1および第2位置情報が取得されない場合に、オブジェクト列を構成する複数のオブジェクトが初期位置に移動され、重複して配置されるように、オブジェクト列の表示を制御してもよい。これにより、複数のオブジェクトがスライド位置に表示されている状態で、位置情報が取得されなければ、オブジェクト列を構成する複数のオブジェクトが初期位置に移動し、重複して配置されるので、オブジェクトの遮蔽による視認性の低下を回避することができる。
また、上記表示制御部は、第1位置情報によりオブジェクト列が特定された後に、オブジェクト列を構成する複数のオブジェクトが初期位置に表示されている状態で、継続的に取得される第1位置情報の継続的な変化に対応してオブジェクト列が移動するように、オブジェクト列の表示を制御してもよい。これにより、位置情報の取得状況およびオブジェクト列の表示状態に応じて、第1位置情報の継続的な変化に対応して複数のオブジェクトが移動して表示されるので、オブジェクト列に対する移動操作を行うことができる。
また、上記表示制御部は、第1位置情報によりオブジェクト列が特定された後に、オブジェクト列を構成する複数のオブジェクトが初期位置に表示されている状態で、オブジェクト列を特定しない第1位置情報、または第2位置情報が取得された場合に、特定されたオブジェクト列を構成する複数のオブジェクトのいずれかを対象としているフォーカスが、第1位置情報が取得された場合にフォーカスの対象となっているオブジェクトより表示画面上で前面側および背面側のいずれか一方に配置されている他のオブジェクトに移動し、第2位置情報が取得された場合にフォーカスの対象となっているオブジェクトより表示画面上で前面側および背面側のいずれか他方に配置されている他のオブジェクトに移動するように、オブジェクトの表示を制御してもよい。これにより、複数のオブジェクトが初期位置に表示されている状態で第1または第2移動情報が取得されると、複数のオブジェクトに対するフォーカスが移動情報に応じて前/背面側のいずれかに移動するので、オブジェクトに対するフォーカス操作を直感的に行うことができる。
上記課題を解決するために、本発明の第2の観点によれば、グラフィカルユーザインターフェースのオブジェクトを表示画面上に表示する情報表示方法であって、表示画面に重ねて設けられた接触検出面を介して表示画面上の位置情報を含む第1操作情報を取得するステップと、表示画面と反対側の面に設けられた接触検出面を介して表示画面上の位置情報を含む第2操作情報を取得するステップと、取得された第1操作情報および第2操作情報に基づいて表示画面上におけるオブジェクトの表示を制御するステップと、を含む情報表示方法が提供される。
上記課題を解決するために、本発明の第3の観点によれば、前述した本発明の第2の観点に係る情報表示方法をコンピュータに実行させるプログラムが提供される。
本発明によれば、視認性および操作性に優れ、直感的な操作が可能な操作環境を提供可能な、情報表示端末、情報表示方法、およびプログラムを提供することができる。
以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<第1の実施形態>
(情報表示端末100の構成)
図1は、本発明の第1の実施形態に係る情報表示端末100を示す説明図である。
情報表示端末100は、例えば、PDA(Personal Digital Assistance)、電子手帳などの携帯情報端末、携帯通信端末、携帯型の音楽再生端末などを含む携帯装置である。図1に示すように、情報表示端末100は、パネル状の本体を有し、図1(a)および(b)に各々に示すように、本体の一面に設けられたタッチパネル110、およびタッチパネル110と反対側である他面に設けられたタッチパッド120を備える。
タッチパネル110は、マトリクススイッチなどの接触センサ112および液晶ディスプレイなどの表示画面114を組合せて、表示画面114上の第1位置情報を入力するためのポインティングデバイスである。タッチパッド120は、平板状の接触センサ122を有し、表示画面114上の第2位置情報を入力するためのポインティングデバイスである。表示画面114には、例えば、GUIを構成するウィンドウ、アイコン、メニューなどのオブジェクトが表示される。
タッチパネル110では、表示画面114に重ねて接触センサ112が設けられており、利用者が表示画面114上の特定の位置に指などで触れると、接触センサ112を介して第1接触点が検出され、第1接触点に対応する表示画面114上の第1位置情報が入力される。一方、タッチパッド120では、利用者が接触センサ122上の特定の位置に指などで触れると、接触センサ122を介して第2接触点が検出され、第2接触点に対応する表示画面114上の第2位置情報が入力される。
なお、タッチパネル110およびタッチパッド120は、互いに同一の面積を有してもよく、互いに異なる面積を有してもよい。また、タッチパネル110およびタッチパッド120は、縦方向または横方向のいずれの方向で使用されてもよい。
図2は、情報表示端末100の主要な機能構成を示すブロック図である。
図2に示すように、情報表示端末100は、タッチパネル110およびタッチパッド120とともに、第1操作情報取得部132、第2操作情報取得部134、記憶部136、表示部138、制御部140、および表示制御部142を含んで構成される。
第1操作情報取得部132は、表示画面114に重ねて設けられた接触検出面(タッチパネル110の接触センサ112)を介して、表示画面114上の第1位置情報を含む第1操作情報を取得する。第2操作情報取得部134は、表示画面114と反対側の面に設けられた接触検出面(タッチパッド120の接触センサ122)を介して、表示画面114上の第2位置情報を含む第2操作情報を取得する。記憶部136は、RAM、ROMなどの記憶メモリとして構成され、情報表示端末100を機能させるためのプログラム、オブジェクトの座標情報など各種データを記憶している。表示部138は、GUIのオブジェクトを表示画面114上に表示する。制御部140は、表示制御部142を含み、情報表示端末100全体の機能を司る。表示制御部142は、第1および第2操作情報取得部132、134により取得された第1操作情報および第2操作情報に基づいて表示画面114上におけるオブジェクトの表示を制御する。
また、情報表示端末100は、詳細は後述するが、操作領域情報設定部152、操作領域情報記憶部154、および加速度センサ156を選択的に含んで構成される。
(情報表示端末100の基本動作)
図3は、情報表示端末100の表示画面114を例示する説明図である。なお、図3に示す例では、表示画面114上にGUIのアイコンを表示する場合を示しているが、ウィンドウ、メニューなど、他のオブジェクトを表示する場合も同様である。
情報表示端末100上で3DGUIが実現される場合には、各オブジェクトは、オブジェクトに固有の3D座標情報および領域情報に基づいて3D座標空間内に配されており、3D座標空間から2D座標平面上への座標変換処理を通じて、3D座標空間の投影面である表示画面114上に表示される。
以下では、図3に示す表示画面114に表示された状態の投影面を基準投影面とし、基準投影面が表示された状態における表示画面114の左右方向をx軸方向、上下方向をy軸方向、奥行方向をz軸方向とする。
図3に示す表示画面114では、GUIのアイコンとして、コンテンツなどのデータを含むフォルダ(例えば、フォルダ211)がx−y軸平面上でマトリクス状に配置され、フォルダ211に含まれるデータ212〜216がフォルダ211の後方に配列されている。ここで、フォルダ211は、基準投影面が表示された状態で視点に最も近い前方に表示されるようなz軸座標値を有し、データ212〜216は、視点から遠いフォルダ211の後方に重ねて表示されるようなz軸座標値を有している。なお、以下では、フォルダ211およびデータ212〜216を含むz軸方向に重ねて配列された複数のオブジェクト211〜216をオブジェクト列210と称する。
表示画面114上には、タッチパネル110により入力された第1位置情報に対応する表示画面114上の位置に第1ポインタ250が表示され、タッチパッド120により入力された第2位置情報に対応する表示画面114上の位置に第2ポインタ255が表示されている。
情報表示端末100上で行われる基本的な動作処理について説明する。利用者が表示画面114上、つまりタッチパネル110上で特定の位置に触れると、タッチパネル110の接触センサ112を介して第1接触点が検出され、第1操作情報取得部132は、検出された第1接触点に対応する表示画面114上の位置を表す第1位置情報を取得する。また、利用者がタッチパッド120上で特定の位置に触れると、タッチパッド120の接触センサ122を介して第2接触点が検出され、第2操作情報取得部134は、検出された第2接触点に対応する表示画面114上の位置を表す第2位置情報を取得する。
ここで、詳細は後述するが、タッチパッド120の接触センサ122がタッチパネル110の接触センサ112と異なる面積を有する場合に、タッチパッド120の接触センサ122から入力される第2位置情報は、表示画面114上の特定の位置を表す位置情報として入力されるように調整される。
第1または第2位置情報が取得されると、表示制御部142は、取得された第1または第2位置情報に対応する表示画面114上の位置に第1または第2ポインタ250、255を表示するように表示部138を制御する。そして、表示制御部142は、2D座標平面上の座標情報として取得された位置情報を3D座標空間上の座標情報に変換する。ここで、表示制御部142は、第1位置情報から複数のオブジェクトが特定できる場合には、視点から最も近いオブジェクトが指定されていると判断し、オブジェクトが特定できない場合には、視点から最も遠い背景に相当する部分が指定されていると判断する。同様に、表示制御部142は、第2位置情報から複数のオブジェクトが特定できる場合には、視点から最も遠いオブジェクトが指定されていると判断し、オブジェクトが特定できない場合には、視点から最も近い背景に相当する部分が指定されていると判断する。これにより、表示制御部142は、第1および/または第2ポインタ250、255により指定されたオブジェクト、または背景に相当する部分を特定する。
(第1の機能)
図4は、情報表示端末100に特徴的な第1の機能を示す説明図である。情報表示端末100は、特定のオブジェクト列220に含まれる複数のオブジェクト221〜225をz軸方向でスクロールさせる機能を有している。
図4には、タッチパネル110またはタッチパッド120の操作により特定されたオブジェクト列220が示されている。図4では、利用者により注目されているオブジェクトにハッチングが施されている。図4(a)は、オブジェクト列220に含まれる視点に最も近い前方のオブジェクト221が注目されている状態(基準投影面が表示されている状態に相当する。)を示している。図4(b)、(c)は、オブジェクト列220に含まれる複数のオブジェクト221〜225をz軸方向でスクロールさせた状態を示している。
図4(a)に示すように、3DGUIでは、オブジェクト列220に含まれる複数のオブジェクト221〜225がz軸方向に重ねて配列されているので、後方に配置されたオブジェクト222〜225は、前方に配置されたオブジェクト221により遮蔽され易くなり、視認性および操作性が低下してしまう。
第1の機能を実現するために、タッチパネル110およびタッチパッド120のうち少なくともいずれかは、接触センサ112、122を介して接触点を検出するとともに、接触の程度を検出する。以下では、タッチパネル110およびタッチパッド120の双方で接触の程度を検出する場合について説明する。
第1の機能に関する動作処理について説明する。特定のオブジェクト列220が指定されている状態で、利用者が表示画面114上の任意の位置に強く触れると、タッチパネル110の接触センサを介して、例えば、接触の圧力値、接触により生じる静電気的な電流量などとして表される接触の強度が検出され、第1操作情報取得部132は、検出された接触の強度を第1スクロール情報として取得する。また、特定のオブジェクト列220が指定されている状態で、利用者がタッチパッド120上の任意の位置に強く触れると、タッチパッド120の接触センサ122を介して接触の強度が検出され、第2操作情報取得部134は、検出された接触の強度を第2スクロール情報として取得する。
第1または第2スクロール情報が取得されると、表示制御部142は、取得されたスクロール情報で表される接触の強度が所定の閾値を超える場合には、スクロールの指示が入力されたものと判断する。一方、表示制御部142は、取得されたスクロール情報で表される接触の強度が所定の閾値未満である場合には、スクロール情報が入力されたのではなく、位置情報が入力されたものとみなして表示部138を制御する。
そして、所定の閾値を超える第2スクロール情報が取得された場合に、表示制御部142は、図4(b)に示すように、オブジェクト列220に含まれる複数のオブジェクト221〜225を表示画面114の前方にオブジェクト1つ分スクロールさせるように表示部138を制御する。さらに、図4(b)に示した状態で、所定の閾値を超える第1スクロール情報が取得された場合に、表示制御部142は、図4(c)に示すように、オブジェクト列220に含まれる複数のオブジェクト221〜225を表示画面114の後方にオブジェクト1つ分スクロールさせるように表示部138を制御する。ここで、表示制御部142は、オブジェクト221〜225のスクロールに際して、オブジェクト221〜225に固有のz軸座標情報を増減させるように調整し、調整されたz軸座標情報に基づいて投影面上でオブジェクト221〜225を表示するように表示部138を制御する。
利用者は、スクロール操作により、1つ後方のオブジェクト(例えば、オブジェクト222)または1つ前方のオブジェクト(例えば、オブジェクト221)に注目を移らせる。ここで、表示制御部142は、利用者により注目されているオブジェクト222より前方に配置されたオブジェクト221を透明表示するように表示部138を制御する。これにより、利用者により注目されているオブジェクト222は、前方に配置されたオブジェクト221により遮蔽されず、視認性および操作性の低下を回避することができる。
また、表示制御部142は、接触センサ112、122を介して検出された接触の検出継続時間に基づいてオブジェクト221〜225をスクロールさせる表示の加速度を制御してもよい。この場合、検出継続時間が長いほど、スクロールの加速度を大きくすることができる。なお、接触の検出継続時間が所定の閾値未満である場合には、位置情報が入力されたものとみなして表示部138を制御する。これにより、利用者は、スクロールの加速度を大きくしたい場合には、指などで接触センサ112、122に触れ続け、加速度を小さくしたい場合には、指などを接触センサ112、122から離すことにより、スクロール操作を直感的に行うことができる。
また、表示制御部142は、接触センサ112、122を介して検出された接触の検出面積に基づいてオブジェクト221〜225をスクロールさせる表示の加速度を制御してもよい。この場合、検出面積が大きいほど、スクロールの加速度を大きくすることができる。なお、接触の検出面積が所定の閾値未満である場合には、位置情報が入力されたものとみなして表示部138を制御する。これにより、利用者は、スクロールの加速度を大きくしたい場合には、指の腹などで接触センサ112、122に触れ、加速度を小さくしたい場合には、指先などで接触センサ112、122に触れることにより、スクロール操作を直感的に行うことができる。特に、利用者は、接触センサ112、122に触れた状態で、1回のスクロール操作中に接触センサ112、122に触れる面積を変化させることにより、スクロールの加速および減速を連続的に行うことができるので、スクロール操作をさらに直感的に行うことができる。

なお、第1の機能は、GUIのオブジェクトの表示を制御する他にも、例えば、次のような用途に用いることもできる。
例えば、オブジェクト列が、楽曲ファイルからなる複数のオブジェクトを含むプレイリストである場合を想定する。この場合、表示制御部142は、第1または第2スクロール情報が所定の閾値を超える場合には、再生中の楽曲ファイルより1つ前または1つ後ろの楽曲ファイルの再生処理が行われるように、例えば再生処理部などの機能構成部を制御することができる。さらに、表示制御部142は、接触センサ112、122を介して検出された接触の検出継続時間または検出面積に基づいて、再生中の楽曲ファイルの再生処理を早送りまたは早戻しするように制御することもできる。
以上の説明では、タッチパネル110およびタッチパッド120の双方で接触の程度を検出し、スクロール操作を双方向で制御する場合について説明した。しかし、タッチパネル110およびタッチパッド120のうちいずれか一方で接触の程度を検出し、スクロール操作を一方向で制御する場合も同様である。なお、スクロール操作を一方向で制御する場合には、例えば、オブジェクト列220に含まれる複数のオブジェクト221〜225を、最も前方のオブジェクト221と最も後方のオブジェクト225との間でスクロールが連続するように、回転形式でスクロールさせてもよい。また、最も前方および最も後方のオブジェクト221、225でスクロールの方向が反転するように、反転形式でスクロールさせてもよい。
(第2の機能)
図5は、情報表示端末100に特徴的な第2の機能を示す説明図である。情報表示端末100は、特定のオブジェクト列230に含まれる複数のオブジェクト231〜235をz軸に直交するx−y軸平面上で移動させる機能を有している。
図5(a)は、基準投影面に表示されているオブジェクト列230の状態を示し、図5(b)は、オブジェクト231〜235をx軸およびy軸方向で移動させた状態を示し、図5(c)は、オブジェクト231〜235をx軸方向で移動させた状態を示し、図5(d)は、オブジェクト231〜235をy軸方向で移動させた状態を示している。ここで、図5(a)は、後述する視点240と参照点242との間でx軸座標およびy軸座標が同一である場合、図5(b)は、x軸座標およびy軸座標がずれている場合、図5(c)は、x軸座標がずれている場合、図5(d)は、y軸座標がずれている場合に各々に相当する。
図5(a)に示すように、オブジェクト列230に含まれる複数のオブジェクト231〜235がz軸方向に重ねて配列されているので、後方に配置されたオブジェクト232〜235は、前方に配置されたオブジェクト231により遮蔽され易くなり、視認性および操作性が低下してしまう。
第2の機能を実現するために、タッチパネル110およびタッチパッド120は、接触センサ112、122上における接触点の移動状況を検出する。
第2の機能に関する動作処理について説明する。特定のオブジェクト列230に含まれる最も前方のオブジェクト231が第1ポインタ250により指定され、最も後方のオブジェクト235が第2ポインタ255により同時に指定されている状態を想定する。ここで、第1操作情報取得部132は、第1ポインタ250により指定された表示画面114上の位置を第1始点情報として取得し、第2操作情報取得部134は、第2ポインタ255により指定された表示画面114上の位置を第2始点情報として取得する。
最も前方および最も後方のオブジェクト231、235が同時に指定されている状態で、利用者が指などの接触位置をタッチパネル110上で移動させると、タッチパネル110の接触センサ112を介して移動先の接触点が検出され、第1操作情報取得部132は、検出された接触点に対応する表示画面114上の位置を表す第1終点情報を取得する。また、利用者が指などの接触位置をタッチパッド120の接触センサ122上で移動させると、タッチパッド120の接触センサ122を介して移動先の接触点が検出され、第2操作情報取得部134は、検出された接触点に対応する表示画面114上の位置を表す第2終点情報を取得する。
第1および第2終点情報が同時に取得されると、表示制御部142は、取得された第1および第2終点情報に対応する表示画面114上の位置に第1および第2ポインタ250、255を表示するように表示部138を制御する。また、表示制御部142は、2D座標平面上の座標情報として取得された終点情報を3D座標空間上の座標情報に変換する。ここで、第1および第2終点情報のz軸座標は、第1および第2始点情報のz軸座標から変化しない。そして、変換された座標情報を、オブジェクト列230の最も前方および最も後方のオブジェクト231、235の移動先の座標情報とし、オブジェクト列230に含まれる他のオブジェクト232〜234の移動先の座標情報を算出する。
そして、表示制御部142は、オブジェクト列230に含まれるオブジェクト231〜235に固有の座標情報を、図5(b)に示すようにx軸およびy軸方向で増減させ、図5(c)に示すようにx軸方向で増減させ、図5(d)に示すようにy軸方向で増減させるように調整し、調整された座標情報に基づいて投影面上でオブジェクト231〜235を表示するように表示部138を制御する。
利用者は、オブジェクト列230に含まれる複数のオブジェクト231〜235をz軸に直交するx-y軸平面上で移動させて、重ねて配列されたオブジェクト231〜235を展開させて表示したり、重ねて配列させて表示したりする。これにより、利用者は、オブジェクト列230に含まれる複数のオブジェクト231〜235を容易に視認および操作したり、また、表示画面114上の表示領域を有効に利用したりすることができる。
なお、第2の機能は、情報表示端末100上で2DGUIが実現される場合にも同様に適用可能である。この場合、各オブジェクトは、オブジェクトに固有の2D座標情報および領域情報に基づいて2D座標平面上に配され、2D座標平面に対応する表示画面114上に表示される。
2DGUIにおいても、複数のオブジェクトが少なくとも部分的に重複するように配列されている場合(このように配列された複数のオブジェクトもオブジェクト列と称する。)には、後方に配置されたオブジェクトは、前方に配置されたオブジェクトにより遮蔽され易く、視認性および操作性が低下してしまう。
よって、3DGUIの場合と同様に、第1の始点・終点情報および第2の始点・終点情報に基づいて、特定のオブジェクト列に含まれる複数のオブジェクトをオブジェクト間の重なりの程度を変化させるように移動させて表示することで、2DGUIにおけるオブジェクトの遮蔽による視認性および操作性の低下を回避することができる。
(第3の機能)
図6は、情報表示端末100に特徴的な第3の機能を示す説明図である。情報表示端末100は、3D座標空間を投影する視点240の位置を変化させる機能を有している。
図6には、3D座標空間および投影面に関する視点240および参照点242の関係が示されている。図6に示すように、視点240は、3D座標空間を投影した視体積の錐体244の最も前方の頂点を表し、参照点242は、投影面246の中心を表している。
第3の機能を実現するために、第2の機能と同様に、タッチパネル110およびタッチパッド120は、接触センサ112、122上における接触点の移動状況を検出する。
第3の機能に関する動作処理について説明する。3D座標空間内でオブジェクト以外の背景に相当する部分が第1および第2ポインタ250、255により同時に指定されている状態を想定する。ここで、第1操作情報取得部132は、第1ポインタ250により指定された表示画面114上の位置を第1始点情報として取得し、第2操作情報取得部134は、第2ポインタ255により指定された表示画面114上の位置を第2始点情報として取得する。
第1および第2ポインタ250、255により背景部分が指定されている状態で、利用者が指などの接触位置をタッチパネル110上で移動させると、タッチパネル110の接触センサ112を介して移動先の接触点が検出され、第1操作情報取得部132は、検出された接触点に対応する表示画面114上の位置を表す第1終点情報を取得する。また、利用者が指などの接触位置をタッチパッド120の接触センサ122上で移動させると、タッチパッド120の接触センサ122を介して移動先の接触点が検出され、第2操作情報取得部134は、検出された接触点に対応する表示画面114上の位置を表す第2終点情報を取得する。
第1および第2終点情報が同時に取得されると、表示制御部142は、取得された第1および第2終点情報に対応する表示画面114上の位置に第1および第2ポインタ250、255を表示するように表示部138を制御する。まず、表示制御部142は、第1始点情報に対応する表示画面114上の位置と、第2始点情報に対応する表示画面114上の位置との間、および第1終点情報に対応する表示画面114上の位置と、第2終点情報に対応する表示画面114上の位置との間で表示画面114の奥行方向に一定の距離を想定する。次に、表示制御部142は、第1始点情報に対応する表示画面114上の位置と第2始点情報に対応する表示画面114上の位置とを結ぶ参照軸と、第1終点情報に対応する表示画面114上の位置と第2終点情報に対応する表示画面114上の位置とを結ぶ移動軸との間の三次元的な角度変化量を算出する。そして、表示制御部142は、算出された角度変化量に基づいて視点の位置と参照点の位置とを結ぶ軸の角度を変化させ、3D座標空間に対する視点の位置を変化させた状態で投影面上におけるオブジェクトの座標情報を算出する。
そして、表示制御部142は、例えば図7に示すように、軸方向で移動された視点240の位置の変化に応じて投影面246上におけるオブジェクトの表示を制御し、また、例えば図8に示すように、軸方向で移動された視点240の位置の変化に応じて投影面246上におけるオブジェクトの表示を制御する。
利用者は、タッチパネル110およびタッチパッド120の操作を通じて、3DGUIにおける視点240に対する操作を直感的に行うことができる。これにより、利用者は、3D座標空間を投影する視点240の位置を自在に変化させて、オブジェクトを上方、側方、後方、斜め方向などから視認および操作したりすることができる。
(第4の機能)
図9は、情報表示端末100に特徴的な第4の機能を示す説明図である。情報表示端末100は、タッチパッド120の接触センサ122上における操作領域の範囲を調整する機能を有している。
図9(a)および(b)には、表示画面114を縦方向および横方向で使用する場合におけるタッチパッド120上で操作の対象とされる領域124、126が示されている。
情報表示端末100は、片手または両手で保持された状態で、本体の両面に設けられた接触センサ122を介して操作情報が入力される。このため、タッチパッド120上で操作の対象とされる領域124、126は、利用者の手の大きさ、保持の状態などに応じて異なるものとなる。また、操作の対象とされる領域124、126は、表示画面114を縦方向および横方向で使用する場合にも、使用方向に応じて異なるものとなる。よって、タッチパッド120の接触センサ122上の操作領域は、利用者または使用状態に応じて調整されることが好ましい。
第4の機能を実現するために、情報表示端末100は、操作領域情報設定部152および操作領域情報設定部152をさらに備える。操作領域情報設定部152は、利用者毎に取得された第2操作情報に基づいて、タッチパッド120上で実際に操作される領域の範囲124、126を特定する操作領域情報を設定する。操作領域情報記憶部154は、操作領域設定部により設定された操作領域情報を記憶する。
操作領域情報設定部152は、例えば設定メニューなどを通じて、タッチパッド120上で自然に指が届く範囲で利用者に設定用ストローク125、127を入力させる。設定用ストローク125、127が入力されると、タッチパッド120の接触センサ122を介して移動始点および移動終点の接触点が検出され、第2操作情報取得部134は、検出された接触点に対応する始点情報および終点情報を取得する。
始点情報および終点情報が取得されると、操作領域情報設定部152は、始点情報および終点情報に対応する位置を対角線とする四角形の領域を実際の操作領域124、126として設定し、操作領域情報記憶部154に記憶させる。
また、表示制御部142は、実際の操作領域の範囲124、126と表示画面114の範囲とを対応させるための情報を取得する。例えば、表示画面114が10cmx10cmの範囲であり、実際の操作領域124、126が5cm×5cmの範囲である場合には、タッチパッド120の操作領域124、126上の位置情報は、表示画面114上の位置情報に対応するように2倍されて調整される。
情報表示端末100が複数の利用者により利用される場合には、操作領域情報記憶部154は、利用者毎の識別情報とともに操作領域情報を記憶してもよい。そして、表示制御部142は、特定の利用者からの変更要求に応じて、利用者に応じた操作領域情報を操作領域情報記憶部154から読出し、操作領域の範囲124、126を設定する。
また、操作領域情報記憶部154は、表示画面114の使用方向に応じた操作領域情報を記憶してもよい。そして、表示制御部142は、表示画面114の使用方向を判断し、表示画面114の使用方向に応じた操作領域情報を操作領域情報記憶部154から読出し、操作領域の範囲124、126を設定する。この場合、表示制御部142は、表示画面114に表示されるデータの種類に基づいて表示画面114の使用方向を判断してもよく、設定ストローク情報125、127に基づいて表示画面114の使用方向を判断してもよい。また、情報表示端末100にジャイロスコープなどの加速度センサ156が設けられる場合には、加速度センサ156の検出結果に基づいて表示画面114の使用方向を判断してもよい。
これにより、利用者は、タッチパッド120上で実際に操作する領域124、126を自ら設定したり、自動的に設定させたりすることで、タッチパッド120の操作を快適に行うことができる。
以上説明したように、第1の実施形態に係る情報表示端末100によれば、表示画面114に重ねて設けられたタッチパネル110の接触センサ112を介して表示画面114上の位置情報を含む第1操作情報が取得され、表示画面114と反対側の面に設けられたタッチパッド120の接触センサ122を介して表示画面114上の位置情報を含む第2操作情報が取得される。そして、取得された第1および第2操作情報に基づいて表示画面114上におけるオブジェクトの表示が制御される。
これにより、表示画面114および表示画面114の反対側の面に設けられた2つの接触センサ112、122を介して取得される2つの操作情報に基づいて、表示画面114上におけるオブジェクトの表示が制御されるので、直感的な操作が可能な操作環境を提供することができる。
<第2の実施形態>
次に、本発明の第2の実施形態に係る情報表示端末100について説明する。第2の実施形態に係る情報表示端末100は、第1の実施形態に係る情報表示端末100と同様の機能構成を有する。
本実施形態に係る情報表示端末100は、タッチパネル110およびタッチパッド120の操作状況およびオブジェクト列310(グルーピングされた複数のオブジェクト300により構成される。)の表示状態に応じて、オブジェクト列310およびオブジェクト300を操作するための表示を制御する。
(表示画面)
図10は、情報表示端末100のタッチパネル110上の表示を例示する説明図である。以下では、音楽アルバムのジャケット写真の画像をオブジェクト300とし、同一のジャンルに属する音楽アルバムを表す複数のオブジェクト300をオブジェクト列310として表示する場合について説明する。
図10に示すように、タッチパネル110上には、オブジェクト表示領域352およびレイアウト表示領域354が表示されている。オブジェクト表示領域352には、複数のオブジェクト300から構成される複数のオブジェクト列311〜319(なお、本実施形態に係る説明では、オブジェクト列310とも総称する。)が表示されている。レイアウト表示領域354には、オブジェクト表示領域352に表示されているオブジェクト列310のレイアウトがアイコン表示されている。
図10に示すように、オブジェクト表示領域352には、Jazz、Popなど、9個のジャンルに対応する9個のオブジェクト列311〜319が表示されている。レイアウト表示領域354には、操作対象となる14個のオブジェクト列のレイアウトがアイコン表示され、オブジェクト表示領域352に表示されているオブジェクト列311〜319に対応する9個のアイコンが他のアイコンと区別されるように黒抜きで表示されている。
オブジェクト列310は、オブジェクト表示領域352上のx−y座標平面上でマトリクス状に配置され、オブジェクト列310を構成する各オブジェクト300は、オブジェクト列310の単位でz軸上に配置されて表示される。オブジェクト300は、x,y、z座標からなる座標情報、およびオブジェクト300が占める表示領域(オブジェクトの表示サイズ)を表す領域情報を設定され、座標情報に基づいて表示される。なお、x座標およびy座標は、表示画面上で左右方向および上下方向に各々に相当し、z座標は、表示画面上で奥行き方向に相当する。以下では、オブジェクト表示領域352の左下端および最も前面側がx座標、y座標およびz座標の原点となる座標系を想定して説明する。
オブジェクト列310を構成する複数のオブジェクト300は、各オブジェクト300のz座標に応じて、各オブジェクト300のx座標および/またはy座標をずらして重複するように表示され、かつ、表示画面上で前面側に配置されるオブジェクト300ほど大きくかつ明るく表示される。例えば、図10に示す例では、各オブジェクト300のz座標に応じて各オブジェクト300のy座標がずらされ、オブジェクト表示領域352の左側列、中央列、右側列に配置されているオブジェクト列310に応じて、各オブジェクト300のx座標のずらせ方が変更されている。具体的には、左側列のオブジェクト列311、314、317では、表示画面上で前面側に配置されるオブジェクト300ほど、各オブジェクト300のx座標およびy座標が減少し、中央列のオブジェクト列312、315、318では、各オブジェクト300のy座標のみが減少し、右側列のオブジェクト列313、316、319では、各オブジェクト300のx座標が増加しかつy座標が減少するように表示される。
情報表示端末100では、タッチパネル110およびタッチパッド120により、所定の検出周期で接触センサ112,122を介して操作状況が検出される。利用者が指などでタッチパネル110に触れた後、タッチパネル110上で指を移動させずにタッチパネル110から指を離すと、第1位置情報が取得される(以下では、当該操作をポイント操作とも称する。)。一方、利用者がタッチパネル110に触れた状態でタッチパネル110上で指を移動させると、接触センサ112を介して接触点の移動が検出され、接触点の移動に応じて第1位置情報が連続して取得される(以下では、当該操作をドラッグ操作とも称する。)。そして、表示画面には、第1位置情報に対応する表示画面上の位置にポインタ320が表示される。利用者がタッチパッド120上でポイント操作またはドラッグ操作を行う場合には、同様に、第2位置情報が取得される。
操作対象となるオブジェクト列310が多くなると、全てのオブジェクト列310をオブジェクト表示領域352に表示できなくなる。このため、レイアウト表示領域354には、全てのオブジェクト列310のレイアウトとともに、オブジェクト表示領域352に表示されているオブジェクト列310のレイアウトが他のオブジェクトと区別されてアイコン表示される。なお、レイアウト表示領域354上で特定のオブジェクト列310に対応するアイコンを指定し、または図示されていないスクロールバーなどを操作することで、オブジェクト表示領域352に表示されるオブジェクト列310が変更される。
以下では、オブジェクト列310およびオブジェクト300に対する操作について説明する。情報表示端末100では、オブジェクト列310に対してスライド操作および移動操作が行われ、オブジェクト300に対するフォーカス操作が行われる。
(オブジェクト列に対するスライド操作)
図11〜図13は、オブジェクト列310に対するスライド操作を示す説明図であり、図14〜図17は、スライド操作に関連するタッチパネル110上の表示を示す説明図である。
図11〜図13(後述する図18、図19も同様)には、タッチパネル110およびタッチパッド120の操作状況、およびオブジェクト列310の表示状態が模式的に示されている。なお、図11〜図13(後述する図18、図19も同様)では、図面上の左右方向がz軸方向(表示画面上で奥行き方向;左側にタッチパネル110、右側にタッチパッド120が示されている。)に相当し、図面上の上下方向がy軸方向(同上下方向)に相当する。そして、y軸方向に対してオブジェクト列310をスライド操作する場合が示されている。しかし、x軸方向(同左右方向)、またはx、y軸方向(同左右上下方向)に対してスライド操作する場合についても同様に説明される。
図11(a)には、オブジェクト列310を構成する4つのオブジェクト300が各オブジェクト300のz座標に応じて表示されている。つまり、各オブジェクト300は、y座標をずらして重複するように表示され、かつ表示画面上で前面側に配置されるオブジェクト300ほど大きくかつ明るく表示されている。図11(a)には、各オブジェクト300が初期位置に表示されている状態(以下では、初期表示状態とも称する。)が示されている。
図11(a)に示す状態で、利用者がタッチパネル110上でポイント操作360を行うと、第1位置情報が取得される。第1位置情報は、オブジェクト表示領域352に表示されているオブジェクト列310を構成するオブジェクト300の座標情報および領域情報と比較される。第1位置情報が、各オブジェクト300の座標情報および領域情報から求められるオブジェクト列310の表示領域(オブジェクト列310を構成するオブジェクト300がオブジェクト表示領域352上で占める表示領域)内の座標に該当する場合には、該当するオブジェクト列310が特定される。そして、オブジェクト列310が特定された状態で、利用者がタッチパッド120上でポイント操作362を行うと、オブジェクト列310のスライド操作が開始される。
スライド操作が開始された状態で、図11(b)、(c)に示すように、利用者がタッチパネル110上でオブジェクトA300に対してドラッグ操作364、366を行うと、オブジェクトA〜D300がスライドして表示される(以下では、スライド表示状態とも称する。)。なお、利用者は、オブジェクトA300の表示領域に指で触れた状態で指を移動させることで、オブジェクトA300に対するドラッグ操作364、366を行う。オブジェクトA300がドラッグ操作364、366されると、オブジェクトA〜D300は、ドラッグ操作量(タッチパネル110上での指の移動量)に対応して互いの重複量が軽減されるように、y軸方向で下向きに等間隔でスライドして表示される。各オブジェクトA〜D300は、互いの重複量が軽減されるようにy軸方向でスライドするとともに、重複量が軽減するほど、表示画面上で前面側に配置されるようにz軸方向で移動してもよい。この場合、各オブジェクト300は、表示画面上で前面側に配置されるほど大きくかつ明るく表示される。
これにより、第1位置情報の継続的な変化に対応して、オブジェクト300間の重複量を変化させて複数のオブジェクト300が移動し、オブジェクト300間の重複量に応じて前背面側に移動して表示される。よって、オブジェクト300間の重複量を変化させて表示することで、オブジェクト列310を構成する複数のオブジェクト300を確認することができる。また、複数のオブジェクト300が前面側に移動するに従って大きく表示されるので、視認性の低下なしに、オブジェクト列310に対する操作を行うことができる。
なお、図11(b)には、互いの重複量が軽減するようにオブジェクトA〜D300を移動させる場合が示されている。しかし、図11(b)に示す状態から、互いの重複量が増加するように、オブジェクトA〜D300をy軸方向で上向きに移動させることもできる。この場合、各オブジェクト300は、重複量が増加するほど、表示画面上で背面側に配置されるようにz軸方向で移動してもよく、従って、背面側に配置されるほど小さくかつ暗く表示されてもよい。
スライド操作が継続された状態で、図11(c)に示すように、オブジェクトA〜D300の重複量が0になると、オブジェクト列310のスライド操作が完了し、図11(d)に示すように、オブジェクト列310がリスト表示状態で表示される。リスト表示状態で、オブジェクトA〜D300は、z=0となるように表示画面上で最も前面側に移動し、互いに重複しないように表示される。また、オブジェクトA〜D300は、同一の大きさで明るく表示されている。
これにより、複数のオブジェクト300が最前面側に移動して同一の大きさでリスト表示されるので、視認性の低下なしに、オブジェクト300に対する操作を行うことができる。
図14、図15には、スライド操作の開始状態、およびスライド操作の継続状態におけるタッチパネル110上の表示が各々に示されている。図14、図15では、オブジェクト列311(「Jazz」)がスライド操作の対象となるオブジェクト列310として特定されている。
図14に示すように、スライド操作が開始されると、オブジェクト表示領域352には、スライド操作の対象となる特定のオブジェクト列311以外のオブジェクト列312〜319が暗く表示された状態で、特定のオブジェクト列311に対するスライド操作が行われる。特定のオブジェクト列311は、オブジェクト列311を構成する複数のオブジェクト311がドラッグ操作量に対応して互いの重複量が軽減されるようにy軸方向でスライドして表示されている。また、複数のオブジェクト300の横には、各オブジェクト300の属性情報(本例では音楽アルバムのアルバム名およびアーティスト)が表示され、複数のオブジェクト300とともにスライドして表示されている。
図15に示すように、スライド操作が継続して最前面のオブジェクト300に対するドラッグ操作量が所定の値に達すると、オブジェクト表示領域352には、スライド操作の対象となる特定のオブジェクト列311以外のオブジェクト列312〜319が表示されなくなる。
リスト表示状態で、利用者は、所定期間内に特定のオブジェクト300を選択することができる。図12(a)に示すように、利用者がタッチパネル110上でオブジェクトA300に対してポイント操作を行うと、オブジェクト表示領域352には、図12(b)に示すように、オブジェクトA〜D300の代わりに、選択されたオブジェクトA300の内容302が表示される(以下では、内容表示状態とも称する。)。
これにより、複数のオブジェクト300がリスト表示されている状態でオブジェクト300が特定され、特定されたオブジェクト300の内容302が表示されるので、視認性および操作性の低下なしに、オブジェクト300に対する操作を行うことができる。
図13(a)(図11(b)に相当する。)に示すスライド表示状態で、所定期間内にオブジェクト列310に対するドラッグ操作が行われない場合に、オブジェクト列310の表示は、スライド表示状態から初期表示状態に遷移する。図13(b)に示すように、オブジェクト列310の表示がスライド表示状態から初期表示状態に遷移し、オブジェクトA〜D300は、y座標をずらして重複するように表示される。なお、スライド表示状態から初期表示状態への遷移は、タッチパネル110およびタッチパッド120の操作を要せずにオブジェクトA〜D300がスライドする以外は、前述した初期表示状態からスライド表示状態への遷移の場合と逆の動作が行われる。
これにより、複数のオブジェクト300がスライド位置に表示されている状態で、位置情報が取得されなければ、オブジェクト列310を構成する複数のオブジェクト300が初期位置に移動し、重複して配置されるので、オブジェクト300の遮蔽による視認性の低下を回避することができる。
図16および図17には、リスト表示状態および内容表示状態におけるタッチパネル110上での表示が各々に示されている。
図16に示すように、リスト表示状態で、オブジェクト表示領域352には、複数のオブジェクト300が表示画面上で最前面側に配置され、互いに重複しないように表示されている。レイアウト表示領域354には、リスト表示状態で表示されているオブジェクト列311に対応するアイコンが他のオブジェクト列に対応するアイコンと区別されるように黒抜きで表示されている。
図17に示すように、内容表示状態で、オブジェクト表示領域352には、選択されたオブジェクト300および属性情報304(本例では、音楽アルバムのアルバム名およびアーティスト)が拡大表示されている。また、オブジェクト表示領域352の下部には、選択されたオブジェクト300に含まれるサブオブジェクト306(本例では、音楽アルバムに含まれる楽曲トラック)が表示されている。
内容表示状態で、利用者は、選択されたオブジェクト300に含まれるサブオブジェクト306(本例では、楽曲トラック)をタッチパネル110の操作により選択することができる。そして、選択されたサブオブジェクト306に対して所定の操作(例えば、楽曲トラックの再生など)を行うことができる。
(オブジェクト列に対する移動操作)
図18は、オブジェクト列310に対する移動操作を示す説明図である。
図18(a)には、図11(a)に示した場合と同様に、オブジェクト列310を構成する4つのオブジェクト300が表示され、オブジェクト列310に対するポイント操作370によりオブジェクト列310が特定されているが、タッチパッド120上でポイント操作362が行われていない。
オブジェクト列310が特定された状態で、図18(b)に示すように、利用者がタッチパネル110上でオブジェクトA300に対してドラッグ操作372を行うと、オブジェクト列310が移動して表示される。オブジェクトA300がドラッグ操作372されると、オブジェクトA〜D300は、ドラッグ操作量に対応して互いに重複した状態で、y軸方向に移動して表示される。
なお、図18(b)には、オブジェクトA〜D300をy軸方向で移動させる場合が示されているが、x軸方向、またはx軸およびy軸方向で移動させる場合も同様に説明される。
これにより、位置情報の取得状況およびオブジェクト列310の表示状態に応じて、第1位置情報の継続的な変化に対応して複数のオブジェクト300が移動して表示されるので、オブジェクト列310に対する移動操作を行うことができる。
(オブジェクトに対するフォーカス操作)
図19は、オブジェクト300に対するフォーカス操作を示す説明図である。
図19(a)には、図11(a)に示した場合と同様に、オブジェクト列310を構成する4つのオブジェクト300が表示されている。図19(a)に示す状態では、表示画面上で最前面側に配置されているオブジェクトA300がフォーカスされ、オブジェクトA300が明るく表示されている。図19(a)に示す状態では、図11(a)に示した場合と同様にオブジェクト列310に対するポイント操作360によりオブジェクト列310が特定された後に、タッチパネル110上でポイント操作374が行われている。この場合、ポイント操作374は、オブジェクト列310の表示領域以外に対して行われている。
タッチパネル110上でポイント操作374が行われると、図19(b)に示すように、オブジェクト300に対するフォーカスが表示画面上で背面側に移動する。そして、オブジェクトA300の背面側に配置されているオブジェクトB300がフォーカスされ、オブジェクトB300が明るく表示され、オブジェクトB300より前面側に配置されているオブジェクトA300が半透明(図19では、破線で示されている。)で表示される。
同様に、図19(c)に示すように、タッチパッド120上でポイント操作376が行われると、図19(d)に示すように、オブジェクト300に対するフォーカスが表示画面上で前面側に移動する。そして、オブジェクトB300の前面側に配置されているオブジェクトA300がフォーカスされ、オブジェクトA300が明るく表示される。
これにより、複数のオブジェクト300が初期位置に表示されている状態で第1または第2移動情報が取得されると、オブジェクト列310を構成するオブジェクト300に対するフォーカスが移動情報に応じて前/背面側のいずれかに移動するので、オブジェクト300に対するフォーカス操作を直感的に行うことができる。
(操作の流れ)
以下では、図20,図21を参照しながら、オブジェクト列310およびオブジェクト300に対する操作の流れについて説明する。図20は、オブジェクト列310を初期表示状態からリスト表示状態へ遷移させる場合の操作などの流れを示すフロー図である。図11は、リスト表示状態にあるオブジェクト列310に対する操作の流れを示すフロー図である。
情報表示端末100は、タッチパネル110上で初期表示状態にあるオブジェクト列310に対するポイント操作(図11(a)に示す操作360、図18(a)に示す操作370)が行われることで、オブジェクト列310が特定されているかを判定する(S302)。情報表示端末100は、オブジェクト列310が特定されている場合に後続の処理S304を行い、特定されていない場合に処理S302に復帰する。
オブジェクト列310が特定されている状態で、情報表示端末100は、タッチパッド120上でポイント操作(図11に示す操作362)が行われたかを判定する(S304)。情報表示端末100は、ポイント操作が行われた場合に後続の処理S306を行い、ポイント操作が行われなかった場合には、後述する移動操作およびフォーカス操作のために処理S322に移行する。
ポイント操作が行われた場合に、情報表示端末100は、特定されたオブジェクト列310に対して所定時間内(例えば、ポイント操作が行われた後1秒以内)にタッチパネル110上でドラッグ操作(図11(b)、(c)に示す操作364、366)が行われているかを判定する(S306)。情報表示端末100は、ドラッグ操作が行われている場合に後続の処理S308を行い、ドラッグ操作が行われていない場合には、フォーカス操作のために処理S324に移行する。ドラッグ操作が行われている場合、情報表示端末100は、オブジェクト列310をスライド表示状態に遷移させ(S308)、スライド表示する(S310)。
オブジェクト列310がスライド表示状態に遷移すると、情報表示端末100は、オブジェクト列310を構成する複数のオブジェクト300が少なくとも部分的に重複して表示されているかを判定する(S312)。そして、情報表示端末100は、重複して表示されている場合に後続の処理S314を行い、重複なしに表示されている場合にオブジェクト列310をリスト表示状態に遷移させる(S320)。
重複して表示されている場合に、情報表示端末100は、所定時間内(例えば、ドラッグ操作が行われた後10秒以内)にオブジェクト列310に対して継続してドラッグ操作(図11(b)、(c)に示す操作364、366)が行われているかを判定する(S314)。情報表示端末100は、ドラッグ操作が行われている場合に処理S310に復帰し、ドラッグ操作が行われていない場合には、オブジェクト列310を初期表示状態に遷移させる(S316)。そして、情報表示端末100は、オブジェクト列310を構成する複数のオブジェクト300を初期位置まで移動させ、重複した状態で初期表示し(S318)、処理S302に復帰する。
処理S320においてオブジェクト列310がリスト表示状態に遷移すると、情報表示端末100は、オブジェクト列310をリスト表示する(S332)。
オブジェクト列310がリスト表示されると、情報表示端末100は、タッチパネル110上でオブジェクト300に対するポイント操作(図12(a)に示す操作368)が行われることで、オブジェクト300が特定されたかを判定する(S334)。情報表示端末100は、オブジェクト300が特定された場合には、サブオブジェクト306を表示し(S336)、利用者からの指示に応じてサブオブジェクト306に対する処理を行う(S338)。
サブオブジェクト306に対する処理が行われた後、情報表示端末100は、オブジェクト300を変更する旨の処理が指示されるかを判定する(S340)。情報表示端末100は、オブジェクト300の変更が指示された場合に処理S332に復帰し、変更が指示されない場合には、処理S338に復帰して、サブオブジェクト306に対する処理を行う。
処理S304においてタッチパッド120上でポイント操作(図11(a)に示す操作362)が行われない場合に、情報表示端末100は、オブジェクト列310の表示領域以外の領域に対してタッチパネル110上でポイント操作(図19(a)に示す操作374)が行われているかを判定する(S322)。情報表示端末100は、ポイント操作が行われている場合に後続の処理S324を行い、ポイント操作が行われていない場合に処理S326に移行する。また、処理S306において所定時間内(例えば、ポイント操作が行われた後1秒以内)にタッチパネル110上でドラッグ操作が行われない場合にも、情報表示端末100は、処理S324を行う。
そして、情報表示端末100は、ポイント操作(図19(a)、(c)に示す操作374、376)がタッチパネル110上で行われたかタッチパッド120上で行われたかに応じて、オブジェクト300に対するフォーカスを表示画面上で前面側または背面側に移動させ(S324)、処理S302に復帰する。
処理S322においてタッチパネル110上でポイント操作が行われない場合に、情報表示端末100は、特定されたオブジェクト列310に対してドラッグ操作(図18(b)に示す操作372)が行われているかを判定する(S326)。情報表示端末100は、ドラッグ操作が行われている場合に処理S328でオブジェクト列310を移動させて表示し、ドラッグ操作が行われていない場合に処理S302に復帰する。
以上説明したように第2の実施形態に係る情報表示端末100によれば、第1および/または第2位置情報の取得状況、およびオブジェクト列310の表示状態に応じて、オブジェクト列310およびオブジェクト300を操作するための表示が制御されるので、オブジェクト列310に対する操作およびオブジェクト300に対する操作をシームレスに行うことができる。
上記説明では、音楽ジャンル→音楽アルバム→楽曲トラックという3階層からなる情報に対して、音楽ジャンルをオブジェクト列310、音楽アルバムをオブジェクト300、楽曲トラックをサブオブジェクト306として操作する場合について説明した。
ここで、例えば、音楽ジャンル→アーティスト→音楽アルバム→楽曲トラックという4階層からなる情報に対して、音楽ジャンルおよびアーティストをオブジェクト列310として操作することもできる。この場合、オブジェクト列310には、共通の音楽ジャンルに属する複数のオブジェクト300が音楽アルバムのアーティスト毎にアルファベット順など所定の順列で並べて表示される。また、例えば、音楽アルバム→楽曲トラックという2階層からなる情報に対して、音楽アルバムをオブジェクト列310、楽曲トラックをオブジェクト300として操作することもできる。また、所定の基準でグルーピングされた写真、動画、データなど、複数の階層からなる情報を対象として処理することもできる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明の第1の実施形態に係る情報表示端末を示す説明図である。 情報表示端末の主要な機能構成を示すブロック図である。 情報表示端末の表示画面を例示する説明図である。 情報表示端末に特徴的な第1の機能を示す説明図である。 情報表示端末に特徴的な第2の機能を示す説明図である。 情報表示端末に特徴的な第3の機能を示す説明図である。 3D座標空間を投影する視点の位置を変化させた状態の表示画面を例示する説明図である。 3D座標空間を投影する視点の位置を変化させた状態の表示画面を例示する説明図である。 情報表示端末に特徴的な第4の機能を示す説明図である。 本発明の第2の実施形態に係る情報表示端末のタッチパネル上の表示(初期表示状態)を例示する説明図である。 オブジェクト列に対するスライド操作(初期表示状態→リスト表示状態)を示す説明図であり、 オブジェクト列に対するスライド操作(リスト表示状態→内容表示状態)を示す説明図であり、 オブジェクト列に対するスライド操作(スライド表示状態→初期表示状態)を示す説明図であり、 スライド操作に関連する表示(スライド表示状態)を示す説明図である。 スライド操作に関連する表示(スライド表示状態)を示す説明図である。 スライド操作に関連する表示(リスト表示状態)を示す説明図である。 スライド操作に関連する表示(内容表示状態)を示す説明図である。 オブジェクト列に対する移動操作を示す説明図である。 オブジェクトに対するフォーカス操作を示す説明図である。 オブジェクト列を初期表示状態からリスト表示状態へ遷移させる場合の操作などの流れを示すフロー図である。 リスト表示状態のオブジェクト列に対する操作の流れを示すフロー図である。
符号の説明
100 情報表示端末
110 タッチパネル
120 タッチパッド
112、122 接触センサ
114 表示画面
132 第1操作情報取得部
134 第2操作情報取得部
136 記憶部
138 表示部
140 制御部
142 表示制御部

Claims (19)

  1. 表示画面に交わる第1座標軸方向に重ねて配列されてオブジェクト列を構成する、グラフィカルユーザインターフェースのオブジェクトを前記表示画面上に表示する情報表示端末であって、
    前記表示画面に重ねて設けられた接触検出面を介して第1操作情報を取得する第1操作情報取得部と、
    前記表示画面と反対側の面に設けられた接触検出面を介して第2操作情報を取得する第2操作情報取得部と、
    前記オブジェクトに固有の三次元座標情報に基づいて三次元座標空間内に配される前記オブジェクトの表示を、前記第1操作情報および前記第2操作情報に基づいて、前記三次元座標空間の投影面である前記表示画面上で制御する表示制御部と、
    を備えたことを特徴とする、情報表示端末。
  2. 前記第1操作情報および前記第2操作情報のうちいずれか一方は、前記接触検出面に対する接触の程度を表す第1スクロール情報を含み、
    前記表示制御部は、前記第1スクロール情報に基づいて、所定の前記オブジェクト列に含まれる前記複数のオブジェクトを前記第1座標軸上の一方向でスクロールさせるように表示を制御することを特徴とする、請求項1に記載の情報表示端末。
  3. 前記第1操作情報および前記第2操作情報のうちいずれか他方は、前記接触検出面に対する接触の程度を表す第2スクロール情報を含み、
    前記表示制御部は、前記第2スクロール情報に基づいて、所定の前記オブジェクト列に含まれる前記複数のオブジェクトを前記第1座標軸上の他方向でスクロールさせるように表示を制御することを特徴とする、請求項2に記載の情報表示端末。
  4. 前記接触の程度は、前記接触検出面に対する接触の強度を表し、
    前記表示制御部は、前記接触の強度が所定の閾値を超える場合に前記複数のオブジェクトをスクロールさせるように表示を制御することを特徴とする、請求項2に記載の情報表示端末。
  5. 前記接触の程度は、前記接触検出面に対する接触の検出継続時間および/または検出面積を表し、
    前記表示制御部は、前記接触の検出継続時間および/または検出面積に基づいて前記複数のオブジェクトをスクロールさせる表示の加速度を制御することを特徴とする、請求項2に記載の情報表示端末。
  6. 前記第1操作情報は、前記接触検出面上での接触点の移動状況を表す第1始点情報および第1終点情報を含み、
    前記第2操作情報は、前記接触検出面上での接触点の移動状況を表し、前記第1始点情報と同時に取得される第2始点情報および前記第1終点情報と同時に取得される第2終点情報を含み、
    前記表示制御部は、前記第1始点情報に基づいて前記表示画面上における所定の前記オブジェクト列に含まれる最も前方のオブジェクトを特定し、前記第2始点情報に基づいて前記オブジェクト列に含まれる最も後方のオブジェクトを特定し、前記第1終点情報を前記最も前方のオブジェクトの移動先の位置に対応させ、前記第2終点情報を前記最も後方のオブジェクトの移動先の位置に対応させて、前記オブジェクト列に含まれる前記複数のオブジェクトを、前記第1座標軸に直交する平面上で、前記オブジェクト間の重なりの程度を変化させるように移動させる表示を制御することを特徴とする、請求項1に記載の情報表示端末。
  7. 前記第1操作情報は、前記接触検出面上での接触点の移動状況を表す第1始点情報および第1終点情報を含み、
    前記第2操作情報は、前記接触検出面上での接触点の移動状況を表し、前記第1始点情報と同時に取得される第2始点情報および前記第1終点情報と同時に取得される第2終点情報を含み、
    前記表示制御部は、前記第1始点情報および前記第2始点情報から得られる参照軸と、前記第1終点情報および前記第2終点情報から得られる移動軸との間の角度変化量を算出し、前記角度変化量に基づいて、前記三次元座標空間が投影された視体積の錐体の最も前方の頂点を表す視点の位置と、前記投影面の中心を表す参照点の位置とを結ぶ軸の角度を変化させて、前記三次元座標空間に対する前記視点の位置を変化させた状態で前記投影面である前記表示画面上における前記オブジェクトの表示を制御することを特徴とする、請求項1に記載の情報表示端末。
  8. 前記オブジェクトは、前記オブジェクトに固有の二次元座標情報に基づいて二次元座標平面上に配され、複数の前記オブジェクトは、前記表示画面上で少なくとも部分的に重ねて配列されるオブジェクト列を構成し、
    前記第1操作情報は、前記接触検出面上での接触点の移動状況を表す第1始点情報および第1終点情報を含み、
    前記第2操作情報は、前記接触検出面上での接触点の移動状況を表し、前記第1始点情報と同時に取得される第2始点情報および前記第1終点情報と同時に取得される第2終点情報を含み、
    前記表示制御部は、前記第1始点情報に基づいて前記表示画面上における所定の前記オブジェクト列に含まれる最も前方のオブジェクトを特定し、前記第2始点情報に基づいて前記オブジェクト列に含まれる最も後方のオブジェクトを特定し、前記第1終点情報を前記最も前方のオブジェクトの移動先の位置に対応させ、前記第2終点情報を前記最も後方のオブジェクトの移動先の位置に対応させて、前記オブジェクト列に含まれる前記複数のオブジェクトを、前記オブジェクト間の重なりの程度を変化させるように移動させる表示を制御することを特徴とする、請求項1に記載の情報表示端末。
  9. 前記表示画面と反対側の面に設けられた前記接触検出面上で操作の対象とされる第2操作領域は、前記表示画面に設けられた前記接触検出面上で操作の対象とされる第1操作領域よりも小さく、
    前記表示制御部は、前記第2操作領域から得られる前記表示画面上の前記位置情報を、前記第1操作領域上から得られる前記表示画面上の前記位置情報に対応するように調整することを特徴とする、請求項1に記載の情報表示端末。
  10. 利用者毎に取得された前記第2操作情報に基づいて、前記第2操作領域の範囲を特定するための操作領域情報を設定する操作領域情報設定部をさらに備えることを特徴とする、請求項9に記載の情報表示端末。
  11. 前記表示画面の使用方向に応じた複数の前記操作領域情報を記憶する操作領域情報記憶部をさらに備え、
    前記表示制御部は、前記表示画面の使用方向を判断し、前記表示画面の使用方向に応じた前記操作領域情報を前記操作領域情報記憶部から読出し、前記第2操作領域の範囲を設定することを特徴とする、請求項9に記載の情報表示端末。
  12. 前記オブジェクト列は、前記複数のオブジェクトが初期位置で重複して配置された状態、およびスライド位置で少なくとも部分的に重複して配置された状態で表示可能であり、
    前記表示制御部は、前記第1操作情報に含まれる第1位置情報および/または前記第2操作情報に含まれる第2位置情報の取得状況、および前記オブジェクト列の表示状態に応じて、前記オブジェクト列を操作するための表示、および前記オブジェクト列を構成する前記オブジェクトを操作するための表示を制御する、請求項1に記載の情報表示端末。
  13. 前記表示制御部は、前記第1位置情報により前記オブジェクト列が特定された後に、前記オブジェクト列を構成する前記複数のオブジェクトが前記初期位置またはスライド位置に表示されている状態で、前記第2位置情報が取得された場合に、前記第2位置情報の取得から所定時間内に継続的に取得される前記第1位置情報の継続的な変化に対応して、前記オブジェクト間の重複量を変化させて前記複数のオブジェクトが移動するように、前記オブジェクト列の表示を制御する、請求項12に記載の情報表示端末。
  14. 前記オブジェクト列は、少なくとも部分的に重複して配置される前記複数のオブジェクトのうち、表示画面上で前面側に配置される前記オブジェクトが背面側に配置される前記オブジェクトよりも大きく表示され、
    前記表示制御部は、継続的に取得される前記第1位置情報の継続的な変化に対応して、前記オブジェクト間の重複量を変化させて前記複数のオブジェクトが移動し、前記オブジェクト間の重複量が小さいほど前記各オブジェクトが前面側に移動して大きく表示され、重複量が大きいほど前記各オブジェクトが背面側に移動して小さく表示されるように、前記オブジェクト列の表示を制御する、請求項13に記載の情報表示端末。
  15. 前記オブジェクト列は、少なくとも部分的に重複して配置される前記複数のオブジェクトのうち、表示画面上で前面側に配置される前記オブジェクトが背面側に配置される前記オブジェクトよりも大きく表示され、
    前記表示制御部は、前記オブジェクト列を構成する前記複数のオブジェクトが重複せずに配置されて表示されている場合に、前記複数のオブジェクトが最前面側に移動して同一の大きさでリスト表示されるように、前記オブジェクト列の表示を制御する、請求項13に記載の情報表示端末。
  16. 前記表示制御部は、前記第1位置情報により前記オブジェクト列が特定された後に、前記オブジェクト列を構成する前記複数のオブジェクトがスライド位置に表示されている状態で、所定の期間内に前記第1および第2位置情報が取得されない場合に、前記オブジェクト列を構成する前記複数のオブジェクトが初期位置に移動され、重複して配置されるように、前記オブジェクト列の表示を制御する、請求項12に記載の情報表示端末。
  17. 前記表示制御部は、前記第1位置情報により前記オブジェクト列が特定された後に、前記オブジェクト列を構成する前記複数のオブジェクトが初期位置に表示されている状態で、前記オブジェクト列を特定しない前記第1位置情報、または前記第2位置情報が取得された場合に、特定された前記オブジェクト列を構成する前記複数のオブジェクトのいずれかを対象としているフォーカスが、前記第1位置情報が取得された場合にフォーカスの対象となっている前記オブジェクトより表示画面上で前面側および背面側のいずれか一方に配置されている他のオブジェクトに移動し、前記第2位置情報が取得された場合にフォーカスの対象となっている前記オブジェクトより表示画面上で前面側および背面側のいずれか他方に配置されている前記他のオブジェクトに移動するように、前記オブジェクトの表示を制御する、請求項12に記載の情報表示端末。
  18. 表示画面に交わる第1座標軸方向に重ねて配列されてオブジェクト列を構成する、グラフィカルユーザインターフェースのオブジェクトを前記表示画面上に表示する情報表示方法であって、
    前記表示画面に重ねて設けられた接触検出面を介して第1操作情報を取得するステップと、
    前記表示画面と反対側の面に設けられた接触検出面を介して第2操作情報を取得するステップと、
    前記オブジェクトに固有の三次元座標情報に基づいて三次元座標空間内に配される前記オブジェクトの表示を、前記第1操作情報および前記第2操作情報に基づいて、前記三次元座標空間の投影面である前記表示画面上で制御するステップと、
    を含むことを特徴とする、情報表示方法。
  19. 表示画面に交わる第1座標軸方向に重ねて配列されてオブジェクト列を構成する、グラフィカルユーザインターフェースのオブジェクトを前記表示画面上に表示する情報表示方法をコンピュータに実行させるためのプログラムであって、
    前記情報表示方法は、
    前記表示画面に重ねて設けられた接触検出面を介して第1操作情報を取得する第1操作情報取得ステップと、
    前記表示画面と反対側の面に設けられた接触検出面を介して第2操作情報を取得する第2操作情報取得ステップと、
    前記オブジェクトに固有の三次元座標情報に基づいて三次元座標空間内に配される前記オブジェクトの表示を、前記第1操作情報および前記第2操作情報に基づいて、前記三次元座標空間の投影面である前記表示画面上で制御する制御ステップと、
    を含むプログラム。
JP2008175839A 2007-12-07 2008-07-04 情報表示端末、情報表示方法、およびプログラム Expired - Fee Related JP4557058B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008175839A JP4557058B2 (ja) 2007-12-07 2008-07-04 情報表示端末、情報表示方法、およびプログラム
CN200810171373XA CN101452366B (zh) 2007-12-07 2008-10-23 信息显示终端,信息显示方法和程序
US12/257,663 US9513765B2 (en) 2007-12-07 2008-10-24 Three-dimensional sliding object arrangement method and system
EP08170782.0A EP2068237B1 (en) 2007-12-07 2008-12-05 Information display terminal, information display method and program
US15/267,799 US11003304B2 (en) 2007-12-07 2016-09-16 Information display terminal, information display method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007317720 2007-12-07
JP2008175839A JP4557058B2 (ja) 2007-12-07 2008-07-04 情報表示端末、情報表示方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2009157908A JP2009157908A (ja) 2009-07-16
JP4557058B2 true JP4557058B2 (ja) 2010-10-06

Family

ID=40734625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008175839A Expired - Fee Related JP4557058B2 (ja) 2007-12-07 2008-07-04 情報表示端末、情報表示方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP4557058B2 (ja)
CN (1) CN101452366B (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053974A (ja) * 2009-09-02 2011-03-17 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
KR20110037657A (ko) 2009-10-07 2011-04-13 삼성전자주식회사 모션을 이용한 gui 제공방법 및 이를 적용한 디스플레이 장치
KR101648747B1 (ko) * 2009-10-07 2016-08-17 삼성전자 주식회사 복수의 터치 센서를 이용한 ui 제공방법 및 이를 이용한 휴대 단말기
JP4943543B2 (ja) * 2009-11-30 2012-05-30 パイオニア株式会社 地図表示装置、地図表示方法、地図表示プログラムおよび記録媒体
JP2011130013A (ja) * 2009-12-15 2011-06-30 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5515752B2 (ja) * 2010-01-08 2014-06-11 カシオ計算機株式会社 表示処理装置、表示処理方法及び表示処理プログラム
KR101719979B1 (ko) * 2010-02-05 2017-03-27 엘지전자 주식회사 Ui 제공 방법 및 디지털 방송 수신기
JP5533165B2 (ja) * 2010-04-09 2014-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5668355B2 (ja) 2010-08-04 2015-02-12 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
KR101685529B1 (ko) * 2010-08-20 2016-12-12 삼성전자주식회사 화면 구성 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
JP6133451B2 (ja) * 2010-09-15 2017-05-24 京セラ株式会社 携帯電子機器、画面制御方法および画面制御プログラム
KR101915615B1 (ko) 2010-10-14 2019-01-07 삼성전자주식회사 모션 기반 사용자 인터페이스 제어 장치 및 방법
US9110564B2 (en) * 2010-11-05 2015-08-18 Lg Electronics Inc. Mobile terminal, method for controlling mobile terminal, and method for displaying image of mobile terminal
KR101762611B1 (ko) 2010-12-10 2017-07-28 삼성전자 주식회사 터치스크린을 구비한 휴대 단말기의 화면 표시 방법 및 장치
JP5648473B2 (ja) 2010-12-27 2015-01-07 ソニー株式会社 電子機器、表示制御方法およびプログラム
KR102033599B1 (ko) * 2010-12-28 2019-10-17 삼성전자주식회사 페이지간 오브젝트 이동 방법 및 인터페이스 장치
JP5728235B2 (ja) * 2011-01-05 2015-06-03 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5917805B2 (ja) * 2011-01-05 2016-05-18 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
CN102622158B (zh) * 2011-01-28 2015-07-29 联想(北京)有限公司 旋转控制方法和电子设备
JP5716503B2 (ja) 2011-04-06 2015-05-13 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP5716502B2 (ja) 2011-04-06 2015-05-13 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
CN102236521B (zh) * 2011-04-13 2017-01-25 北京南昊科技股份有限公司 交互系统的显示方法
JP5734732B2 (ja) * 2011-05-11 2015-06-17 株式会社Nttドコモ 表示装置、表示制御方法及びプログラム
CN102855075B (zh) * 2011-06-30 2015-06-03 联想(北京)有限公司 控制显示的方法、控制显示的装置及电子设备
WO2013046596A1 (ja) * 2011-09-26 2013-04-04 Necカシオモバイルコミュニケーションズ株式会社 携帯型情報処理端末
JP5942375B2 (ja) 2011-10-04 2016-06-29 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP2013117885A (ja) 2011-12-02 2013-06-13 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
EP2813937A4 (en) 2012-02-08 2016-01-20 Nec Corp PORTABLE DEVICE AND OPERATING METHOD THEREFOR
CN103365567A (zh) * 2012-03-31 2013-10-23 三星电子(中国)研发中心 基于加速度感应器的3d-ui操作方法和设备
CN103376999A (zh) * 2012-04-23 2013-10-30 华晶科技股份有限公司 手持式电子装置及其数位资讯的画面控制方法
US9904457B2 (en) * 2012-04-25 2018-02-27 Nokia Technologies Oy Causing display of a three dimensional graphical user interface with dynamic selectability of items
KR101341737B1 (ko) * 2012-06-21 2013-12-16 주식회사 팬택 후면 터치를 이용한 단말 제어 장치 및 방법
JP6084021B2 (ja) * 2012-12-04 2017-02-22 富士通テン株式会社 表示システム、表示装置、表示方法、及び、プログラム
JP2014174808A (ja) * 2013-03-11 2014-09-22 Sharp Corp 携帯端末および映像を表示するためのシステム
EP2991027B1 (en) 2013-04-26 2020-02-19 Fujitsu Limited Image processing program, image processing method and information terminal
KR102131765B1 (ko) * 2013-05-02 2020-07-08 삼성전자 주식회사 썸네일을 이용한 파일 관리 방법 및 장치
JP6149584B2 (ja) 2013-08-01 2017-06-21 セイコーエプソン株式会社 表示装置、表示システムおよび表示装置の制御方法
JP6225546B2 (ja) 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
JP6095527B2 (ja) * 2013-09-04 2017-03-15 レノボ・シンガポール・プライベート・リミテッド 携帯型情報処理装置、そのデータ処理方法、およびコンピュータが実行可能なプログラム
JP6232940B2 (ja) * 2013-11-01 2017-11-22 富士ゼロックス株式会社 画像情報処理装置及びプログラム
CN103793144A (zh) * 2014-02-20 2014-05-14 广州市久邦数码科技有限公司 一种图标拖放排列的实现方法及系统
CN104951221B (zh) * 2014-03-26 2018-08-10 联想(北京)有限公司 响应触摸操作的方法和电子设备
JP6506481B2 (ja) 2016-09-27 2019-04-24 富士フイルム株式会社 カメラ、カメラの表示制御方法、及び、カメラの表示制御プログラム
JP6472108B1 (ja) * 2018-07-04 2019-02-20 株式会社タッグ 情報表示装置、情報表示システム、情報管理システム、情報表示方法、情報管理方法およびプログラム
CN110109366A (zh) * 2019-04-30 2019-08-09 广东美的制冷设备有限公司 家电设备及其信息显示控制方法、装置及移动终端

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6330928A (en) * 1986-07-25 1988-02-09 Hitachi Ltd Input/output device
JP2000105772A (ja) * 1998-07-28 2000-04-11 Sharp Corp 情報管理装置
JP2000200147A (ja) * 1999-01-06 2000-07-18 Fujitsu Takamisawa Component Ltd 入力装置
JP2001290585A (ja) * 2000-01-31 2001-10-19 Canon Inc 位置情報処理装置及びその方法及びそのプログラム、操作装置及びその方法及びそのプログラム
JP2001331245A (ja) * 2000-05-22 2001-11-30 Namco Ltd 立体視映像表示装置、及び情報記憶媒体
JP2001356878A (ja) * 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
JP2002073237A (ja) * 2000-08-25 2002-03-12 Ricoh Co Ltd グラフィカルユーザインターフェース
JP2003150308A (ja) * 2001-11-15 2003-05-23 Seiko Epson Corp 表示装置
JP2003233446A (ja) * 2002-02-06 2003-08-22 Just Syst Corp アイコン表示装置、アイコン表示方法およびその方法をコンピュータに実行させるプログラム
JP2003330611A (ja) * 2002-05-16 2003-11-21 Sony Corp 入力方法及び入力装置
JP2004070920A (ja) * 2002-06-11 2004-03-04 Sony Computer Entertainment Inc 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置
JP2004113386A (ja) * 2002-09-25 2004-04-15 Sun Corp 表示方法
JP2004295159A (ja) * 2003-02-07 2004-10-21 Sony Corp アイコン表示システム、アイコン表示方法、電子機器装置およびコンピュータプログラム
JP2007272904A (ja) * 2006-03-30 2007-10-18 Lg Electronics Inc 画面表示項目を選択する端末機及び方法
JP2007272468A (ja) * 2006-03-30 2007-10-18 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007299330A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc 画像表示装置、その制御方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6597347B1 (en) * 1991-11-26 2003-07-22 Itu Research Inc. Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
EP1821182B1 (en) * 2004-10-12 2013-03-27 Nippon Telegraph And Telephone Corporation 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program
CN1866180A (zh) * 2005-05-17 2006-11-22 英华达股份有限公司 移动通讯装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6330928A (en) * 1986-07-25 1988-02-09 Hitachi Ltd Input/output device
JP2000105772A (ja) * 1998-07-28 2000-04-11 Sharp Corp 情報管理装置
JP2000200147A (ja) * 1999-01-06 2000-07-18 Fujitsu Takamisawa Component Ltd 入力装置
JP2001290585A (ja) * 2000-01-31 2001-10-19 Canon Inc 位置情報処理装置及びその方法及びそのプログラム、操作装置及びその方法及びそのプログラム
JP2001331245A (ja) * 2000-05-22 2001-11-30 Namco Ltd 立体視映像表示装置、及び情報記憶媒体
JP2001356878A (ja) * 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
JP2002073237A (ja) * 2000-08-25 2002-03-12 Ricoh Co Ltd グラフィカルユーザインターフェース
JP2003150308A (ja) * 2001-11-15 2003-05-23 Seiko Epson Corp 表示装置
JP2003233446A (ja) * 2002-02-06 2003-08-22 Just Syst Corp アイコン表示装置、アイコン表示方法およびその方法をコンピュータに実行させるプログラム
JP2003330611A (ja) * 2002-05-16 2003-11-21 Sony Corp 入力方法及び入力装置
JP2004070920A (ja) * 2002-06-11 2004-03-04 Sony Computer Entertainment Inc 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置
JP2004113386A (ja) * 2002-09-25 2004-04-15 Sun Corp 表示方法
JP2004295159A (ja) * 2003-02-07 2004-10-21 Sony Corp アイコン表示システム、アイコン表示方法、電子機器装置およびコンピュータプログラム
JP2007272904A (ja) * 2006-03-30 2007-10-18 Lg Electronics Inc 画面表示項目を選択する端末機及び方法
JP2007272468A (ja) * 2006-03-30 2007-10-18 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007299330A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc 画像表示装置、その制御方法及びプログラム

Also Published As

Publication number Publication date
JP2009157908A (ja) 2009-07-16
CN101452366B (zh) 2012-07-04
CN101452366A (zh) 2009-06-10

Similar Documents

Publication Publication Date Title
JP4557058B2 (ja) 情報表示端末、情報表示方法、およびプログラム
US11003304B2 (en) Information display terminal, information display method and program
US20180067572A1 (en) Method of controlling virtual object or view point on two dimensional interactive display
JP5414764B2 (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP4093823B2 (ja) 視野移動操作方法
EP1821182B1 (en) 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program
JP5738494B2 (ja) 情報表示装置および表示情報操作方法
KR100811160B1 (ko) 사용자명령을 3차원적으로 입력가능한 전자장치
KR101544364B1 (ko) 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
WO2013018480A1 (ja) タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム
JP5738495B2 (ja) 情報表示装置および表示情報操作方法
JP5750875B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5920869B2 (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP2013089202A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
US20190187887A1 (en) Information processing apparatus
KR20120085783A (ko) 인간-컴퓨터의 상호작용을 위한 인터페이스 및 그 방법
JP3982288B2 (ja) 三次元ウィンドウ表示装置、三次元ウィンドウ表示方法及び三次元ウィンドウ表示プログラム
WO2012160829A1 (ja) タッチスクリーン装置、タッチ操作入力方法及びプログラム
JP5470350B2 (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP5523119B2 (ja) 表示制御装置及び表示制御方法
JP5414134B1 (ja) タッチ式入力システムおよび入力制御方法
WO2014103357A1 (ja) 電子機器および入力方法
JP6362110B2 (ja) 表示制御装置、その制御方法、プログラム、及び記録媒体
JP5773818B2 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
JP5762502B2 (ja) 表示制御装置及び表示制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100712

R151 Written notification of patent or utility model registration

Ref document number: 4557058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees