JP5379250B2 - 入力装置、情報処理装置および入力値取得方法 - Google Patents

入力装置、情報処理装置および入力値取得方法 Download PDF

Info

Publication number
JP5379250B2
JP5379250B2 JP2012007420A JP2012007420A JP5379250B2 JP 5379250 B2 JP5379250 B2 JP 5379250B2 JP 2012007420 A JP2012007420 A JP 2012007420A JP 2012007420 A JP2012007420 A JP 2012007420A JP 5379250 B2 JP5379250 B2 JP 5379250B2
Authority
JP
Japan
Prior art keywords
gui
composite
image
area
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012007420A
Other languages
English (en)
Other versions
JP2012168931A (ja
Inventor
慶充 舩橋
俊介 國枝
ジョンソン ブライアン
フルヤ ホルヘイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2012168931A publication Critical patent/JP2012168931A/ja
Application granted granted Critical
Publication of JP5379250B2 publication Critical patent/JP5379250B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming

Description

本発明は、ユーザの手操作入力を受け付ける入力装置、情報処理装置、およびこれらの装置で用いられる入力値取得方法に関する。
近年、携帯ゲーム機、携帯電話、PDA(Personal Data Asistance)など、携帯を想定した小型の情報機器が普及している。このような小型の機器はそのサイズ上の制約から入力手段も限定されてしまう。結果として、小型機器に特化した入力手段や機能が独自の発達を遂げてきた。例えばディスプレイ表面をタッチパネルで覆い、指やタッチペンでの入力を可能とすることにより、ディスプレイに表示されたオブジェクトなどを直接操作しているような感覚を与えることができる。
一方、そのような小型機器を利用して、設置型のゲーム機やパーソナルコンピュータと同等の情報処理を行う環境も整いつつある。例えば小型機器をユーザが操作し、ネットワークを介して接続した設置型の機器が実際の情報処理を行うことにより、高度なゲームを、場所を問わず楽しめるようになってきた。また、設置型の機器のためのゲームをエミュレートすることにより小型の機器で実行することも可能となってきている。
このように近年では、ゲームなどの情報処理を、機器の大きさや使用環境に関わらず行えるようにする技術的方向性がみられる。しかしながら、小型の機器を利用してそのような高度化した情報処理を実施しようとすると、上述のとおり入力手段の制約に起因して操作性が劣ってしまう、という問題があった。
本発明はこのような課題に鑑みてなされたものであり、その目的は、サイズ上の制約があっても操作性の良好な入力手段を実現できる技術を提供することにある。
本発明のある態様は入力装置に関する。この入力装置は、GUI(Graphical User Interface)の画像を生成するGUI画像生成部と、GUI画像生成部が生成したGUIの画像を表示するディスプレイと、ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、GUI画像生成部は、GUIの画像において、複数のGUIのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のGUIを複合した複合GUIの領域を設け、ユーザが複合GUIに新たに触れた際、操作情報変換部は、当該複合GUIで複合されている複数のGUIのうち、その接触が開始された点を含むグラフィックスに対応する一のGUIを特定し、GUI画像生成部は、複合GUIを、操作情報変換部が特定した一のGUIへ切り換えることで、タッチパネルの同じ検知領域を複数のGUIで共有させることを特徴とする。
本発明の別の態様は情報処理装置に関する。この情報処理装置は、GUI(Graphical User Interface)の画像を生成するGUI画像生成部と、GUIに対するユーザの操作に応じて情報処理を行う情報処理部と、情報処理部における処理の結果として生成された出力画像に、GUI画像生成部が生成したGUIの画像をオンスクリーン表示するディスプレイと、ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、GUI画像生成部は、GUIの画像において、複数のGUIのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のGUIを複合した複合GUIの領域を設け、ユーザが複合GUIに新たに触れた際、操作情報変換部は、当該複合GUIで複合されている複数のGUIのうち、その接触が開始された点を含むグラフィックスに対応する一のGUIを特定し、GUI画像生成部は、複合GUIを、操作情報変換部が特定した一のGUIへ切り換えることで、タッチパネルの同じ検知領域を複数のGUIで共有させることを特徴とする。
本発明のさらに別の態様は入力値取得方法に関する。この入力値取得方法は、GUI(Graphical User Interface)の画像を生成するステップと、ディスプレイにおいて、情報処理の結果得られた出力画像にGUIの画像をオンスクリーン表示するステップと、ディスプレイを覆うタッチパネルによって、ユーザが接触した位置を検知するステップと、検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定するステップと、を含み、GUIの画像を生成するステップは、GUIの画像において、複数のGUIのグラフィックスの少なくとも一部を複合させた複合グラフィックスによって当該複数のGUIを複合した複合GUIの領域を設け、ユーザが複合GUIに新たに触れた際、操作内容を特定するステップは、当該複合GUIで複合されている複数のGUIのうち、その接触が開始された点を含むグラフィックスに対応する一のGUIを特定し、GUIの画像を生成するステップは、前記複合GUIを、特定した一のGUIへ切り換えることで、タッチパネルの同じ検知領域を複数のGUIで共有させることを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によると、小型の機器であっても良好な操作性を維持しつつ多様な操作が可能となる。
一般的なコントローラの構成例を示す図である。 本実施の形態における入力装置を適用した情報処理装置の外観例を示す図である。 本実施の形態における情報処理装置の構成を詳細に示す図である。 本実施の形態におけるGUI画面内のGUI配置例を示す図である。 本実施の形態において第1複合GUI領域に表示する画像とタッチパネルにおける検知領域を説明するための図である。 本実施の形態においてジョイスティック入力領域に表示する画像とその操作手法を説明するための図である。 本実施の形態におけるGUI画面の変形例を示す図である。 本実施の形態におけるL1/L2ボタン入力領域の変形例を示す図である。 本実施の形態におけるGUI画面、コンテンツ画面の配置の別の例を示す図である。 本実施の形態におけるGUIの表示態様の設定画面例を示す図である。
本実施の形態では、携帯電話や携帯端末などの小型の機器において、据え置き型のゲーム機のコントローラなどと同等の操作性を有する入力装置を実現する。まず、一般的なコントローラについて例示する。図1は一般的なコントローラの構成例を示している。コントローラ120は、ユーザが操作可能な操作手段として、十字キー121、ジョイスティック127a、127b、4種の操作ボタン群126、L1/L2ボタン130a、R1/R2ボタン130bを備える。4種の操作ボタン群126は、○ボタン122、×ボタン123、□ボタン124および△ボタン125から構成される。
十字キー121は、上下左右の4方向、或いは上下左右にこれら4方向の間の4方向を加えた8方向、或いは任意方向にキーイン可能に構成されており、例えば表示装置の画面上でカーソルを上下左右に移動させたり、各種情報を画面においてスクロールさせたりするのに用いられる。4種の操作ボタン群126には、アプリケーションプログラムによりそれぞれ異なる機能が割り付けられる。
ジョイスティック127a、127bは、任意方向に傾倒可能に支持されたスティック、及び傾倒量を検知するセンサを備えている。スティックはバネなどの付勢手段により中立位置に付勢されており、非操作時にはスティックは中立位置に戻る。センサはスティックの傾倒に応じて抵抗値を変える可変抵抗及び抵抗値をデジタル値に変換するAD変換回路を含んでいる。スティックが倒されると、複数の基準方向への傾き量がデジタル値に変換され、その値は操作信号としてゲーム機などに送られる。
L1/L2ボタン130a、R1/R2ボタン130bはそれぞれ、コントローラ120の側面に上下に配置された、L1ボタンとL2ボタン、R1ボタンとR2ボタンの2つのボタンで構成される。例えばゲームにおける視線の方向を変えたり、他のボタンと同時に操作することによって、異なる動きを加えたりするのに用いられる。ただしこれらのボタンもアプリケーションプログラムにより様々な機能が割り付けられる。
ユーザは左手で左側把持部128aを把持し、右手で右側把持部128bを把持して、コントローラ120を操作する。十字キー121、ジョイスティック127a、127b、操作ボタン群126はユーザが左側把持部128a、右側把持部128bを左右の手で把持した状態で操作可能なよう、コントローラ120上面に設けられる。L1/L2ボタン130a、R1/R2ボタン130bは、左右の人差し指などで操作可能なよう、左側把持部128a、右側把持部128bと逆の側面に設けられる。
本実施の形態では、図1で示したコントローラに含まれる各操作手段を平面上でGUIとして再現する。以下、本実施の形態における入力装置について説明する。図2は、本実施の形態における入力装置を適用した情報処理装置の外観例を示している。情報処理装置10はユーザが持ち運びできる小型の装置であり、携帯電話、PDA、携帯ゲーム機などのいずれでもよい。またそれらを組み合わせた機能を有していてもよい。そのため情報処理装置10は、機能に応じた様々な処理機構を備えてよいが、それらは一般的な技術を利用できるため適宜説明を省略する。
情報処理装置10は、ディスプレイ14が本体前面に配置され、起動スイッチ40が側面に配置された構成を有する。ディスプレイ14の背面にはCPU、グラフィックプロセッサユニット、サウンドプロセッサ、メモリなど各種情報処理に必要な機構が内蔵されている(図示せず)。ディスプレイ14は液晶ディスプレイ、EL(Electronic Luminescence)ディスプレイ、プラズマディスプレイなど一般的なディスプレイのいずれかでよい。ディスプレイ14の上面はタッチパネル12で覆われている。タッチパネル12は抵抗膜方式、光学式、静電容量結合式など実用化されている方式のいずれかで実現する。
情報処理装置10はそのほか、音声を出力するスピーカ、イヤホン接続端子、他の装置との通信を行う赤外線ポートや無線LANの機構、電池ボックスなどを備えてよいが、ここでは図示を省略している。
ディスプレイ14には、メニュー画面、アイコンなどユーザの操作入力に必要な画面、情報処理の結果であるゲーム画面、動画再生画面、テキスト表示画面、写真表示画面などを機能に応じて表示する。さらに、それを見ながらユーザが操作入力を行うためのGUI(Graphical User Interface)をオンスクリーン表示する。
ユーザは当該GUIを操作するように、タッチパネル12上を手指で触れたり手指を滑らせたりすることにより、情報処理装置10への操作入力を行う。図2においては、十字キーのグラフィックスを表示した十字キー入力領域42、および、○ボタン、×ボタン、□ボタン、△ボタンの4種の操作ボタン群のグラフィックスを表示したボタン入力領域44がGUIとして装備されている。なお図2において十字キー入力領域42、ボタン入力領域44を囲む破線は領域の境界を図示するためのものであり、実際の表示や機能には関係しない。以後の図でも同様である。
例えばメニュー画面において所望の項目を選択するときは、一覧表示された項目名やアイコンのうち強調表示の対象を十字キー入力領域42のいずれかの方向のキーに触れることにより移動させ、ボタン入力領域44の○ボタンに触れることにより確定させる。またゲーム画面において十字キー入力領域42のいずれかの方向キーに触れることにより、ゲームに登場しているキャラクターの移動方向を変化させる。あるいは会話型のゲームにおいて、ボタン入力領域44の○ボタンに触れることにより「はい」、×ボタンに触れることにより「いいえ」、といった意思表示を行う。
このように十字キー入力領域42やボタン入力領域44を設けることによって実現できる操作入力は、情報処理装置が実現する機能に応じたボタン割り付けによって様々変化させることができる。本実施の形態ではこのように、据え置き型のゲーム機やパーソナルコンピュータにおける入力手段をタッチパネルの形式で再現することにより、小型の情報機器における操作入力のバリエーションを据え置き型のゲーム機などと同等にする。
また据え置き型のゲーム機で慣れたゲームを、小型の機器でも違和感なく同様の操作性で行えるようにする。なお十字キー入力領域42やボタン入力領域44の形状やマークはあくまで例示であり、それに限定する趣旨ではない。また再現したいコントローラに応じて、十字キー入力領域42やボタン入力領域44を別の入力手段に適宜置き換えることができる。
図3は情報処理装置10の構成を詳細に示している。情報処理装置10は上述したタッチパネル12、ディスプレイ14のほか、コンテンツのプログラムや各種データを記憶したコンテンツ記憶部16、GUIとして用意された素材画像のデータを記憶したGUI画像記憶部、タッチパネルからの入力信号受信、画像データの入出力を制御する入出力制御部20、タッチパネルからの入力信号を操作内容の情報に変換する操作情報変換部22、操作内容に応じてコンテンツを処理するコンテンツ処理部24、GUIの画像を生成するGUI画像生成部26、生成したGUIの画像を一時記憶するGUI画像バッファ28、コンテンツの画像を生成するコンテンツ画像生成部30、生成したコンテンツの画像を一時記憶するコンテンツ画像バッファ32、コンテンツの画像上にGUIの画像をオンスクリーン表示した画像を生成する画像合成部34を含む。
図3において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他のLSIで構成することができ、ソフトウェア的には、コンテンツを処理したり画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
入出力制御部20は既存の方法で、タッチパネル12、ディスプレイ14、コンテンツ記憶部16、GUI画像記憶部18と接続し、データの入出力を制御する。タッチパネル12から受信する入力信号は、タッチパネル12上でユーザが触れた接触点の座標、接触点が連続的に移動したときの座標の移動経路などである。タッチパネル12における接触点の検知手法はその方式によって異なるためここでは言及しない。入出力制御部20はまた、ディスプレイ14に表示画像のビデオ信号を出力する。
さらに入出力制御部20は、コンテンツ記憶部16にアクセスし、コンテンツの処理に必要なプログラムや各種データを読み出す。またGUI画像記憶部18にアクセスし、上述の十字キーやボタンなどの素材画像データを読み出す。ここで「コンテンツ」は、コンピュータゲーム、映画、音楽、小説、写真などコンピュータで処理し表現が可能な対象であればその種類は限定されない。なお本実施の形態は、一般的な「コンテンツ」以外に、通信、スケジュール管理、住所録、表計算など一般的な情報処理に対しても適用できるが、以下の説明ではそれらも含め全て「コンテンツ」とする。
コンテンツ記憶部16は、コンテンツがゲームであれば、そのプログラム、プレイヤーの情報、前回のプレイ時の到達レベルなどの情報を記憶する。コンテンツが映画や音楽であれば、圧縮符号化されたビデオデータ、オーディオデータと、それを復号再生するためのプログラムなどを記憶する。コンテンツ記憶部16は、ハードディスクドライブでもよいし、メモリカード、ROMディスク、光ディスク、光磁気ディスクなどのリムーバブル記録媒体とそれに対応した読み取り装置との組み合わせでもよい。
GUI画像記憶部18は、十字キーや各種ボタンなど、GUI画像の素材となる画像データを記憶するハードディスクドライブなどの記憶装置である。後述するように本実施の形態では、GUIが操作されることにより当該GUIの画像自体が変化することもある。そのためGUI画像記憶部18は、そのような様々なGUIのバリエーションに対応した画像データを記憶する。
操作情報変換部22は、タッチパネル12からの入力信号を入出力制御部20から取得し、当該信号に含まれる接触点の座標などを操作内容の情報へ変換する。本実施の形態では上述のように、GUIの操作によってGUI自体が変化することがある。そのため、GUIの種類とその表示位置との対応をあらかじめ内部で記憶しておく。そして取得した接触点の座標と、現在表示されているGUIの種類とから、押されたボタンの種類や操作の度合い、方向など、ユーザが意図した操作内容を特定する。
操作内容の情報はコンテンツ処理部24、GUI画像生成部26にそれぞれ通知される。コンテンツ処理部24は、コンテンツ記憶部16が記憶するプログラムに従い、操作内容に応じてゲームを進捗させたり動画や音楽を再生するためなどに必要な処理を行う。実際の処理手順はコンテンツの内容に応じて一般的に行われている通りである。
GUI画像生成部26は操作内容に基づき、必要に応じてGUIの新たな画像を生成し、GUI画像バッファ28に格納する。GUI画像の変化の具体例は後述するが、例えばユーザが接触していることを示すように色を変化させたりボタンが押されているように見せるほか、GUIのキーやボタン自体を別のGUIに置き換えたりする。
そのためGUI画像生成部26は、操作内容となすべき画像の変化、新たに用いる画像の識別情報などを対応づけた情報を内部で記憶しておく。そして現在表示されているGUIに対してなされた操作内容に対応づけられた変化が表現されるように、必要なGUIの画像データをGUI画像記憶部18から適宜読み出したうえ、新たなオンスクリーン画像のデータを生成する。
操作内容によってGUIを変化させなくてよい場合は、GUI画像生成部26は新たな画像生成の処理は行わなくてよい。コンテンツ画像生成部30は、コンテンツ処理部24による処理の結果として出力すべき画像のデータを生成し、コンテンツ画像バッファ32に格納する。
画像合成部34は、GUI画像バッファ28に格納された画像データとコンテンツ画像バッファ32に格納された画像データを用いて描画処理を行うことにより、コンテンツ画像上にGUI画像がオンスクリーン表示された画像を生成し内部のフレームバッファに格納する。当該フレームバッファに格納された画像に対応するビデオ信号が、入出力制御部20の制御のもとディスプレイ14に送信されることにより、ユーザのGUI操作に応じた画像がディスプレイ14に表示される。
次に本実施の形態におけるGUI画面の具体例を示す。本実施の形態では上述のように、ゲームなどのコンテンツ画面上にGUI画面をオンスクリーン表示する。そのためコンテンツ画面の邪魔になることなく、かつ、据え置き型のゲーム機のコントローラなどと同等の操作性が得られるようにすることが肝要となる。
本実施の形態では、十字キー、4種の操作ボタンに加え、ジョイスティックをGUIとして再現する。このとき本来のジョイスティックと同様、任意の方向および量を入力できるようにすることで、十字キーによる方向指示との使い分けを、本来のコントローラと同様に行える。このGUIにより任意方向、任意量の入力が可能となり、ゲームに登場するキャラクタの移動方向や移動速度、視野の転回などのコントロールに用いることができる。以後の説明ではGUIとして表現した擬似的なジョイスティックによる入力も「ジョイスティック入力」と呼ぶ。
上記3種、あるいはそれ以上のGUIを単にGUI画面に並べてしまうと、GUIによってコンテンツ画面が見づらくなってしまう可能性がある。そこで本実施の形態では、複数のGUIを複合させた複合GUI領域を設けることにより、当該複数のGUIで同じ検知領域を共有する。複合GUI領域のうちユーザが新たに触れたときの接触点の位置によって、複合GUI領域全体について、どのGUIとして利用するかを決定する。
図4はGUI画面内のGUI配置例を示している。GUI画面50a、50b、50c、50d、50eはいずれも、ディスプレイ14においてコンテンツ画面上にオンスクリーン表示される画面であり、ユーザの操作によってGUI画面50aとGUI画面50b、50c、50d、50eが切り替わる。GUI画面50aは標準的な画面であり、第1複合GUI領域52、第2複合GUI領域56をそれぞれ画面の左下、右下に表示する。
第1複合GUI領域52は十字キーのGUIとジョイスティックのGUIを複合したGUIの領域であり、図2に示した十字キー入力領域42と同じデザインを有し、十字キーのGUIのグラフィックスの少なくとも一部である十字キーグラフィックス51と、その中心部に円形などの図形で表される、ジョイスティックのGUIのグラフィックスの少なくとも一部であるジョイスティックグラフィックス53と、で構成される。
第2複合GUI領域56は、4種の操作ボタンのGUIとジョイスティックのGUIを複合したGUIの領域であり、第1複合GUI領域52と同様に、図2に示したボタン入力領域44と同じデザインを有し、4種の操作ボタンのGUIのグラフィックスの少なくとも一部である4種の操作ボタングラフィックス55と、その中心部に円形などの図形で表され、ジョイスティックのGUIのグラフィックスの少なくとも一部であるジョイスティックグラフィックス57と、で構成される。
標準画面であるGUI画面50aにおいて、ユーザが第1複合GUI領域52のジョイスティックグラフィックス53に新たに触れると、ジョイスティック入力を受け付ける処理が開始され、第1複合GUI領域52が、十字キーグラフィックス51のないジョイスティック入力領域58に切り替わる(GUI画面50b)。詳細には、ユーザが第1複合GUI領域52のジョイスティックグラフィックス53に指を置くと当該領域がジョイスティック入力領域58に切り替わり、そのまま指を離さずにタッチパネル上で滑らすことにより、指の移動方向および移動距離を入力値として取得する、という連続動作となる。
指が連続的に触れている期間は、当該領域はジョイスティック入力領域58として、指の動きから入力値を逐次取得する。そしてユーザが指を離したとき、当該領域は第1複合GUI領域52に戻る(GUI画面50a)。
一方、GUI画面50aにおいて、ユーザが第1複合GUI領域52の十字キーグラフィックス51に新たに触れると、十字キー入力を受け付ける処理が開始され、当該第1複合GUI領域52は十字キー入力領域42に切り替わる(GUI画面50c)。この場合も、指が連続的に触れている期間は、当該領域は十字キー入力領域42として十字キー入力を受け付け、ユーザが指を離したとき、当該領域は第1複合GUI領域52に戻る(GUI画面50a)。
ただし同図に示すように、十字キー入力領域42においてもジョイスティックグラフィックス53を表示させたままにし、第1複合GUI52と十字キー入力領域42の見た目を同じにしてもよい。このようにすることで、十字キー入力のために方向キーへの接触が不連続に行われても、ジョイスティックグラフィックス53が消えたり表れたりする煩わしさを防止することができる。
第2複合GUI領域56も同様に、ユーザがジョイスティックグラフィックス57に新たに触れると、ジョイスティック入力を受け付ける処理を開始し、当該領域が、4種の操作ボタングラフィックス55がないジョイスティック入力領域58に切り替わり(GUI画面50d)、指を離すと元に戻るようにする(GUI画面50a)。指が触れている間は、ジョイスティック入力領域58として指の動きを追う。
一方、ユーザが第2複合GUI領域56の4種の操作ボタングラフィックス55に新たに触れると、ボタン入力を受け付ける処理を開始し、当該第2複合GUI領域を、ボタン入力領域44に切り替える(GUI画面50e)。そして指を離すと元に戻るようにする(GUI画面50a)。このときも十字キー入力領域42と同じ理由により、ボタン入力領域44にはジョイスティックグラフィックス57を表示させたままでよい。
このように十字キー入力領域42とジョイスティック入力領域58、ボタン入力領域44とジョイスティック入力領域58とをそれぞれ切り替え可能とすることにより、GUIの画像の占める領域面積を小さくできる。結果として、オンスクリーン表示させたとしてもコンテンツ画面への支障が少なく、限られたスペースでコンテンツ画面とGUIとを共存させることが可能となる。また実際のジョイスティックが、中心を起点としてスティックを所望の方向に傾倒することに鑑みれば、領域の中心から指を滑らす、という行為をジョイスティック入力の起動に関連づけることにより、切り替えのためのアクションが自然である。
また、左下の第1複合GUI領域52および右下の第2複合GUI領域56のいずれもジョイスティック入力領域58への切り替え可能とすることで、コンテンツの種類やゲームの内容、場面などによって、同時に表示する入力手段の組み合わせを変えたり、操作する手の右左を臨機応変に使い分けたりできる。
なお上記の例で十字キー入力領域42およびボタン入力領域44のGUIは、一般的なボタンを表す区画への接触/非接触によって、各ボタンに設けられた機能のオン/オフを切り換えるオン/オフ入力用GUIであればよく、方向指示キーや○ボタン、×ボタン、□ボタン、△ボタンに限る趣旨ではない。またジョイスティック入力領域58のGUIも、ある領域内での接触点に応じたアナログ値を受け付けるアナログ入力用GUIであればよく、ジョイスティックの機能に限る趣旨ではない。
いずれにしろ、オン/オフ入力用GUIとアナログ入力用GUIとを組み合わせて複合GUIとする。そして当該複合GUIにおいて、オン/オフ入力用GUIのグラフィックスをそのまま表示してオン/オフ入力用GUIへの切り換えを受け付けるとともに、アナログ入力用GUIへ切り換える検知領域を小さく設定しておき、切り換え後にその検知領域を広げる。このようにすることで複合GUIから個々のGUIへの切り換え操作と個々のGUIに対する操作が一連の流れで自然に行える。このときオン/オフ入力用GUIへの切り換え時には複合GUIにおいて一部に表示されていたアナログ入力用GUIへ切り換えるためのグラフィックスを表示させたままにすることで、オン/オフ入力用GUIへの断続的な操作期間において当該グラフィックスが消えたり表れたりする煩わしさを防止することができる。
GUI画面50aには、その他に、切り替えボタン54を表示してもよい。この切り替えボタン54に触れると、表示されていなかったボタン、例えばメニュー項目を選択するためのセレクトボタン、動画、音楽再生などを開始させるスタートボタンなど、機能に応じた必要なボタンが画面の下側から出現するようにしてもよい。このような態様とすることで、使用機会の少ないボタンを隠し、コンテンツ画面をより見やすくできる。
図5は第1複合GUI領域52に表示する画像とタッチパネルにおける検知領域を説明するための図である。同図の左が第1複合GUI領域の画像、右が検知領域を画像に重ねて示したものである。第1複合GUI領域52は、円60と、その円周上に配置された上下左右の4方向を示す4つのキーからなる十字キーグラフィックス62と、当該円の中心に配置されたジョイスティックグラフィックス53から構成される。
第1複合GUI領域52に表示する円60は、十字キー入力領域42でも表示し、本来のコントローラではその立体形状によって表すことのできる、4つのキーのセットの一体感を、2次元で表現するためのものである。このような円を表示することにより、背後に表示されているコンテンツの画像が雑多であっても、キーのセットをGUIとして捉えやすくなる。
円60は半透明に表示可能とすることで、コンテンツ画面の邪魔にならないようにする。このときの透過率はコンテンツの種類などに鑑みユーザが設定可能とする。第2複合GUI領域56、ボタン入力領域44にも同様の円を表示することにより、セットとしての一体感を表現する。また十字キーや4種の操作ボタンの配色は、コンテンツ画面における画像の色彩を優先するようにモノトーンを基準とすることが望ましい。
十字キーグラフィックス62の4つのキーはそれぞれ、タッチパネルにおける、各キーの図形を囲む所定サイズの矩形の検知領域64a、64b、64c、64dに対応づけられる。またジョイスティックグラフィックス53は円60の中心の検知領域68に対応づけられる。検知領域64a、64b、64c、64dは矩形のほか、三角形、円など、その境界を数式で定義できる形状とすることにより、ディスプレイやタッチパネルの解像度によらずキー表示との対応がとりやすくなる。
また検知領域64a、64b、64c、64dを、キーの図形の周囲を含むような大きめのサイズとすることで、指の接触点がキーから少しずれても操作がなされたことを検知できるとともに、隣り合う検知領域に重複領域66a、66b、66c、66dを設けることができる。この重複領域66a、66b、66c、66dは、上下左右の方向の中間である斜めの4方向に対応づける。これにより、キー部分のみを検知領域とする場合と比較し、入力できる方向が倍になり多段階での方向指示が可能となる。
十字キー入力領域42の場合も、十字キーに対応する検知領域の設定は図5と同様とする。ただし十字キー入力領域42から第1複合GUI領域52に戻るときの判定基準である、ユーザが連続的に触れているか否かを検知する領域は、例えば円60の半径以上の半径を有する所定の同心円などを別途設定する。これにより、十字キー入力中のユーザの指が十字キー入力領域42の中心部を経由して移動する場合に、意図に反して第1複合GUI領域52に戻ったり、さらにジョイスティック入力領域58へ切り替わったりすることを防ぐ。なお接触点が当該検知領域を外れた場合は第1複合GUI領域52へ切り替える。
図6はジョイスティック入力領域58に表示する画像と、その操作手法を説明するための図である。上述したようにジョイスティック入力領域58は、ユーザが第1複合GUI領域52のジョイスティックグラフィックス53の検知領域68などに触れた後、そのまま離すことなくタッチパネル上で指を滑らせている期間に表示される。このとき同図の左に示すように、ユーザの指76が触れている箇所に、円などの標識70を表示する。標識70は、好適には指によって隠れない大きさ、形状であるが、輝いているような画像上の加工をその周囲に施したり、接触点の移動に追尾するように僅かに位置をずらしたり、移動跡をかすかに表示したりすることでさらに視認されやすくなる。
標識70は、指76による接触点の移動に合わせて移動する。ジョイスティック入力領域58にも、第1複合GUI領域52、第2複合GUI領域56、十字キー入力領域42、ボタン入力領域44で表示していたのと同じ位置に、同じ半径の円72を表示する。第1複合GUI領域52、第2複合GUI領域56において中心部にジョイスティックグラフィックスを設けているため、円の中心はジョイスティック入力のためにユーザが最初に触れた位置となる。また同図右側に示すように、円72の半径以上の半径を有する同心円状に検知領域79を設定する。接触点が検知領域79を外れたら、当該領域を元の第1複合GUI領域52、または第2複合GUI領域56へ戻す。
図5、6から明らかなように、ジョイスティック入力領域58においてジョイスティック入力を受け付ける検知領域79は、第1複合GUI領域52においてジョイスティック入力領域58への切り換えがなされる検知領域68を同心円状に広げた領域である。第2複合GUI領域56においてジョイスティック入力への切り換えがなされる検知領域と切り換え後の検知領域との関係についても同様である。
円72は半透明に表示してもよいし、表示しなくてもよい。ジョイスティック入力領域58においては、接触点78の座標を所定の時間間隔で連続して取得し、検知領域79の円の中心74から接触点78までの方向ベクトルを、各時刻の入力値とする。座標取得の時間間隔は、例えばディスプレイ14におけるフレーム表示間隔より小さくする。
操作情報変換部22は、方向ベクトルのうち、円の中心74から接触点78への方向を本来のジョイスティックの傾倒方向、中心74から接触点78までの距離を本来のジョイスティックの傾倒量に対応づけた情報を内部で記憶しておく。その情報を参照することにより、各時刻の方向ベクトルを本来のジョイスティックにおける傾倒方向および傾倒量に変換し、コンテンツ処理部24に通知する。これによりコンテンツ処理部24は本来のジョイスティックに対して入力がなされたのと同様に処理を実行できる。あるいは、方向や距離を直接、コンテンツ処理に用いてもよい。
接触点が円72の円周に到達したら、ジョイスティックを最大限傾倒させたときの入力値が得られるようにする。接触点が円72から外れたら、検知領域79の範囲内であれば、円の中心74からの方向のみを接触点に対応させて取得し、距離は接触点によらず円72の半径で飽和するようにする。このとき標識70は円72の円周上を接触点の方向に対応して移動するように表示する。このようにジョイスティック入力領域58を設けることで、本来のジョイスティックと操作手法、操作性の差が少ない入力手段を平面上で実現することができる。また円72を表示させなかったり半透明に表示させたりすることで、コンテンツ画面への影響を最小限に、任意方向、任意量の入力が可能になる。
図7はGUI画面の変形例を示している。同図における情報処理装置10のGUI画面50fは、図4に示したGUI画面50aと同様、画面左下に第1複合GUI領域52、画面右下に第2複合GUI領域56を含む。GUI画面50fはさらに、画面左上にL1/L2ボタン入力領域80、画面右上にR1/R2ボタン入力領域82を含む。L1/L2ボタン入力領域80は図1のL1ボタン、L2ボタンと対応するボタンによって構成される。R1/R2ボタン入力領域82は図1のR1ボタン、R2ボタンと対応するボタンによって構成される。
本実施の形態では、情報処理装置10の本体を、同図に示すような左右の手84で把持しながら、同手指でGUIを操作する態様を想定している。そのため第1複合GUI領域52と第2複合GUI領域56をそれぞれ画面の左下、右下に配置することにより、親指での操作を可能とする。
そしてL1/L2ボタン入力領域80、R1/R2ボタン入力領域82を同図のとおり画面左上、右上にそれぞれ配置することにより、人差し指での操作が可能になる。なお同図ではGUI画面50fがわかりやすいように、情報処理装置10と手84とが離れて示されているが、実際に把持した際は親指、人差し指がGUI画面50f上に位置することになる。
このようなGUIの配置とすることで、情報処理装置10を把持しながら無理なく操作ができるうえ、4つの領域のいずれか2つ以上の領域を同時に操作することも可能となる。ここでL1/L2ボタン入力領域80およびR1/R2ボタン入力領域82は、同図に示すように、画面の上側の2つの角の直角を中心角とする扇形の形状とし、さらに当該中心角を内分してそれぞれ2つの扇形に分割することにより、L1ボタンとL2ボタン、R1ボタンとR2ボタンを区別する。
情報処理装置10を図7のような形で把持する場合、手84の人差し指の根元は、主に中指と相対することで情報処理装置10の筐体を挟み込むかたちとなるのが一般的である。そのため人差し指で無理なく操作できる範囲は、関節から先を曲げることによる扇形の領域となる。L1/L2ボタン入力領域80、R1/R2ボタン入力領域82を扇形とすることにより、ユーザは指の角度を変化させるのみでL1ボタン/L2ボタン、R1ボタン/R2ボタンを押し分けることができる。なお扇形の領域の分割数を変えることにより3つ以上のボタンを設けてもよい。
また内分角は均等でなくてもよい。例えば、曲げる角度が小さいほど指をコントロールしやすいという特性を考慮し、画面上側のボタンの角度を小さくとり、左右の辺に向かうほど角度を大きくするようにしてもよい。またボタンの形状でなく配置によって指の可動範囲に対応させてもよい。
図8はL1/L2ボタン入力領域の変形例を示している。同図に示すL1/L2/L3ボタン入力領域86は、一例としてL1ボタン88a、L2ボタン88b、L3ボタン88cの3個のボタンを設けているが、ボタンの数は限定されない。そして各ボタンをそれぞを独立した形状とする一方、その配置を円弧状とする。同図では各ボタンを円形としているが矩形などでもよい。このようにボタンの形状は通常の場合と同様でも、配置を円弧状とすることにより、人差し指の指先の曲げ角によって無理のない押し分けが可能となる。なおこの例においてもボタンの間隔を、画面上側から左の辺に向かうにしがたい大きくするようにしてもよい。図7のR1/R2ボタンなど、対向するボタンについても同様である。
図9はGUI画面、コンテンツ画面の配置の別の例を示している。これまで述べた態様では、GUI画面をコンテンツ画面上にオンスクリーン表示した。図9の例では、情報処理装置10を縦長方向に用い、コンテンツ画面100とGUI画面102を個別の領域に表示している。この場合も情報処理装置10の構成は図3で示したのと同様でよく、画像合成部34は、コンテンツ画像、GUI画像を、あらかじめ定められた個別の領域にそれぞれ描画することで合成を行う。各種GUIの操作手法も上述と同様である。
この場合、コンテンツ画面100の表示面積は小さくなるが、GUIの画像がコンテンツ画面100を隠すことがないため、十字キー入力領域、ボタン入力領域、ジョイスティック入力領域などを同時に表示させても差し支えない。またこの場合、把持する手の形や操作する指が、上述の場合と異なる可能性が高いことから、L1ボタン、L2ボタン、R1ボタン、R2ボタンは、扇形または円弧状などでなくてもよい。
情報処理装置10を縦長で用いるか横長で用いるかは、コンテンツの種類やゲームの内容などに鑑みユーザが設定可能とする。図10はGUIの表示態様の設定画面例を示している。GUI設定画面90は、コンテンツ処理の開始前、処理の途中を問わず、GUIの所定のボタンに触ることによっていつでも呼び出せるようにし、GUI画面にさらにオンスクリーン表示する。あるいはメニュー画面を呼び出したうえでそこから選択することにより呼び出すなどでもよい。
GUI設定画面90は、情報処理装置10の向き、ジョイスティック入力領域58を十字キー入力領域42やボタン入力領域44と切り替える態様とするか常時表示させるか、十字キー入力領域42やボタン入力領域44に表示する円を半透明で表示するか否かやその色、などの設定内容を表示する設定内容表示欄92、円を半透明で表示させる場合にその透過率を設定する透過率設定バー94、設定内容を確定させたり設定変更をキャンセルするOK/キャンセルボタン96を含む。
同図の設定内容表示欄92の例では、情報処理装置10を「横長」で用い、ジョイスティック入力領域58を十字キー入力領域42やボタン入力領域44と「切り替え」る態様とし、GUIに含まれる円を半透明とする設定がなされている。
ユーザは、設定を変更したいときにGUI設定画面90を呼び出し、設定内容表示欄92に項目ごとに表示された方向指示ボタン98に触れることにより、表示された現在の設定内容から別の候補へ表示を切り替え、所望の設定内容が表示されたらOK/キャンセルボタン96のうちOKボタンに触れて設定を確定させる。円を半透明で表示させる場合は、適宜、透過率設定バー94の調整も行う。
このように、GUIの表示態様の設定をユーザが容易に変化させることができるようにすることで、コンテンツの種類やゲームの内容、場面などに応じた、また個々のユーザの好みに応じた最適な環境で、情報処理装置を操作させることができる。したがって、横長の方向においても、十字キー入力領域42、ボタン入力領域44、ジョイスティック入力領域58を同時に表示させたり、L1/L2ボタン入力領域80、R1/R2ボタン入力領域82の各ボタンを矩形としたりすることも容易にできる。
以上述べた本実施の形態によれば、情報処理装置の表示画面上にGUI画面をオンスクリーン表示する。ここで表示するGUIは、従来ゲーム機のコントローラとして立体的に形成されている十字キー、各種ボタン、ジョイスティックなどを2次元平面で表現したものとする。このようにすることで、立体的なコントローラを使い慣れているユーザでも、同等の操作手段、操作性で容易に操作できるようになる。
各GUIの画像は、コンテンツの出力画像における隠蔽面積が小さくなるように、画面の隅近傍に配置する。また複合GUI領域を設け、ユーザの接触が開始した点がどのGUIのグラフィックスに含まれるかによって個々のGUIへ切り替え可能とすることで、同じ検知領域を複数のGUIで共有させる。また基本的に非表示としたGUIを容易に呼び出せるGUIを設ける。これらの特徴により、コンテンツ画面とGUI画面とが無理なく共存できる。
複合GUI領域を設ける態様として、十字キーや4つのボタンで構成されるグラフィックスの中心部にジョイスティックのグラフィックスを設け、中心部の接触開始点から指を滑らせることにより任意方向、任意量の入力を実現する。このような連続動作は、本来のジョイスティック入力装置のスティックに指をのせ傾倒させる操作と相似していることから、GUIの切り替えや操作における違和感が少ない。
また情報処理装置を把持する指の位置に対応させて、画面の左下、右下、左上、右上にGUIを配置することにより、両手の親指、人差し指を用いた自然な操作が可能となる。さらに、人差し指で操作される可能性の高い、左上、右上にそれぞれ配置した複数のボタンを、人差し指の可動範囲を考慮して扇形の連続した領域とする、または円弧状に配置することで、無理なくボタンの押し分けができる。
また情報処理装置の向き、GUIを切り替えるか否か、GUIを構成する画像の一部を半透明とするか否かをユーザが設定可能とすることにより、コンテンツの種類やユーザの嗜好などに合致した操作環境を容易に実現できる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
10 情報処理装置、 12 タッチパネル、 14 ディスプレイ、 16 コンテンツ記憶部、 18 GUI画像記憶部、 20 入出力制御部、 22 操作情報変換部、 24 コンテンツ処理部、 26 GUI画像生成部、 28 GUI画像バッファ、 30 コンテンツ画像生成部、 32 コンテンツ画像バッファ、 34 画像合成部、 50a GUI画面、 52 第1複合GUI領域、 53 ジョイスティックのGUI、 54 切り替えボタン、 56 第2複合GUI領域、 58 ジョイスティック入力領域、 64a 検知領域、 66a 重複領域、 70 標識、 79 検知領域、 80 L1/L2ボタン入力領域、 82 R1/R2ボタン入力領域、 86 L1/L2/L3ボタン入力領域、 90 GUI設定画面、 92 設定内容表示欄、 94 透過率設定バー。

Claims (15)

  1. GUI(Graphical User Interface)の画像を生成するGUI画像生成部と、
    前記GUI画像生成部が生成したGUIの画像を表示するディスプレイと、
    前記ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、
    前記タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、
    を備え、
    前記GUI画像生成部は、前記GUIの画像において、複数のGUIのグラフィックスの少なくとも一部を複合させ1つのグラフィックスとした複合グラフィックスによって当該複数のGUIを複合した複合GUIの領域を設け、
    ユーザが前記複合GUIに新たに触れた際、前記操作情報変換部は、当該複合GUIで複合されている前記複数のGUIのうち、その接触が開始された点の位置に対応する一のGUIを特定し、前記GUI画像生成部は、前記複合GUIを、前記操作情報変換部が特定した一のGUIへ切り換えることで、前記タッチパネルの同じ検知領域を複数のGUIで共有させることを特徴とする入力装置。
  2. 前記複合GUIで複合される前記複数のGUIは、前記接触点に応じたアナログ値を受け付けるGUIを含み、前記複合GUIにおける当該アナログ値を受け付けるGUIへ切り換えるための検知領域は、前記複合GUIから切り換えた後の、前記アナログ値を受け付けるGUIの検知領域より小さいことを特徴とする請求項1に記載の入力装置。
  3. 前記複合GUIで複合される前記複数のGUIはさらに、接触/非接触によって前記接触点に設けられた機能のオン/オフを切り換えるGUIを含むことを特徴とする請求項2に記載の入力装置。
  4. 前記GUI画像生成部は、前記複合GUIから切り換えた一のGUIの検知領域への連続的な接触が終了したら、当該一のGUIを前記複合GUIへ戻すことを特徴とする請求項1から3のいずれかに記載の入力装置。
  5. 前記複合GUIで複合される前記複数のGUIは、前記接触点に応じたアナログ値を受け付けるアナログ入力用GUIと、接触/非接触によって前記接触点に設けられた機能のオン/オフを切り換えるオン/オフ入力用GUIを含むことを特徴とする請求項1または4に記載の入力装置。
  6. 前記複合グラフィックスは、方向を指定するための複数の方向指示キーを円周上に配置したGUIに対応する方向指示キーの部分と、任意方向および任意量の入力を受け付ける疑似ジョイスティックのGUIに対応するジョイスティックの部分からなり、前記ジョイスティックの部分は、前記方向指示キーの部分の中心に配置されていることを特徴とする請求項1または4に記載の入力装置。
  7. 前記操作情報変換部は、前記複合GUIから切り換えた一のGUIが前記疑似ジョイスティックのGUIである期間において、前記接触が開始された点から現在の接触点までの方向および距離を逐次取得して、方向および量の入力値とすることを特徴とする請求項6に記載の入力装置。
  8. 前記ディスプレイは、前記入力装置が接続した情報処理装置における情報処理の結果として生成された出力画像に、前記GUI画像生成部が生成したGUIの画像をオンスクリーン表示することを特徴とする請求項1から7のいずれかに記載の入力装置。
  9. 前記GUI画像生成部は、一の画面に複数の前記複合GUIの領域を設けることを特徴とする請求項1から8のいずれかに記載の入力装置。
  10. 前記GUI画像生成部は、前記複合GUIから切り換えた一のGUIが前記疑似ジョイスティックのGUIである期間において、ユーザによる現在の接触点を表す標識を表示させることを特徴とする請求項6に記載の入力装置。
  11. 前記GUI画像生成部は、前記複合GUIから前記オン/オフ入力用GUIへ切り換える際、前記複合GUIにおいて表示されていた前記アナログ入力用GUIへ切り換えるための部分も継続して表示させ、前記複合GUIから前記アナログ入力用GUIへ切り換える際、前記複合GUIにおいて表示されていた前記オン/オフ入力用GUIへ切り換えるための部分を非表示とすることを特徴とする請求項5に記載の入力装置。
  12. GUI(Graphical User Interface)の画像を生成するGUI画像生成部と、
    前記GUIに対するユーザの操作に応じて情報処理を行う情報処理部と、
    前記情報処理部における処理の結果として生成された出力画像に、前記GUI画像生成部が生成したGUIの画像をオンスクリーン表示するディスプレイと、
    前記ディスプレイを覆い、ユーザが接触した位置を検知するタッチパネルと、
    前記タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、
    前記GUI画像生成部は、前記GUIの画像において、複数のGUIのグラフィックスの少なくとも一部を複合させ1つのグラフィックスとした複合グラフィックスによって当該複数のGUIを複合した複合GUIの領域を設け、
    ユーザが前記複合GUIに新たに触れた際、前記操作情報変換部は、当該複合GUIで複合されている前記複数のGUIのうち、その接触が開始された点の位置に対応する一のGUIを特定し、前記GUI画像生成部は、前記複合GUIを、前記操作情報変換部が特定した一のGUIへ切り換えることで、前記タッチパネルの同じ検知領域を複数のGUIで共有させることを特徴とする情報処理装置。
  13. GUI(Graphical User Interface)の画像を生成するステップと、
    ディスプレイにおいて、情報処理の結果得られた出力画像に前記GUIの画像をオンスクリーン表示するステップと、
    前記ディスプレイを覆うタッチパネルによって、ユーザが接触した位置を検知するステップと、
    検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定するステップと、
    を含み、
    前記GUIの画像を生成するステップは、前記GUIの画像において、複数のGUIのグラフィックスの少なくとも一部を複合させ1つのグラフィックスとした複合グラフィックスによって当該複数のGUIを複合した複合GUIの領域を設け、
    ユーザが前記複合GUIに新たに触れた際、前記操作内容を特定するステップは、当該複合GUIで複合されている前記複数のGUIのうち、その接触が開始された点の位置に対応する一のGUIを特定し、前記GUIの画像を生成するステップは、前記複合GUIを、特定した一のGUIへ切り換えることで、前記タッチパネルの同じ検知領域を複数のGUIで共有させることを特徴とする入力値取得方法。
  14. GUI(Graphical User Interface)の画像を生成する機能と、
    ディスプレイにおいて、情報処理の結果得られた出力画像に前記GUIの画像をオンスクリーン表示する機能と、
    前記ディスプレイを覆うタッチパネルが検知した、ユーザによる接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
    前記GUIの画像を生成する機能は、前記GUIの画像において、複数のGUIのグラフィックスの少なくとも一部を複合させ1つのグラフィックスとした複合グラフィックスによって当該複数のGUIを複合した複合GUIの領域を設け、
    ユーザが前記複合GUIに新たに触れた際、前記操作内容を特定する機能は、当該複合GUIで複合されている前記複数のGUIのうち、その接触が開始された点の位置に対応する一のGUIを特定し、前記GUIの画像を生成する機能は、前記複合GUIを、特定した一のGUIへ切り換えることで、前記タッチパネルの同じ検知領域を複数のGUIで共有させることを特徴とするコンピュータプログラム。
  15. GUI(Graphical User Interface)の画像を生成する機能と、
    ディスプレイにおいて、情報処理の結果得られた出力画像に前記GUIの画像をオンスクリーン表示する機能と、
    前記ディスプレイを覆うタッチパネルが検知した、ユーザによる接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラムであって、
    前記GUIの画像を生成する機能は、前記GUIの画像において、複数のGUIのグラフィックスの少なくとも一部を複合させ1つのグラフィックスとした複合グラフィックスによって当該複数のGUIを複合した複合GUIの領域を設け、
    ユーザが前記複合GUIに新たに触れた際、前記操作内容を特定する機能は、当該複合GUIで複合されている前記複数のGUIのうち、その接触が開始された点の位置に対応する一のGUIを特定し、前記GUIの画像を生成する機能は、前記複合GUIを、特定した一のGUIへ切り換えることで、前記タッチパネルの同じ検知領域を複数のGUIで共有させることを特徴とするコンピュータプログラムを記録した記録媒体。
JP2012007420A 2011-02-10 2012-01-17 入力装置、情報処理装置および入力値取得方法 Active JP5379250B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161441335P 2011-02-10 2011-02-10
US61/441,335 2011-02-10

Publications (2)

Publication Number Publication Date
JP2012168931A JP2012168931A (ja) 2012-09-06
JP5379250B2 true JP5379250B2 (ja) 2013-12-25

Family

ID=45607595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012007420A Active JP5379250B2 (ja) 2011-02-10 2012-01-17 入力装置、情報処理装置および入力値取得方法

Country Status (7)

Country Link
US (1) US9122394B2 (ja)
EP (1) EP2487575B1 (ja)
JP (1) JP5379250B2 (ja)
CN (1) CN103150102A (ja)
BR (1) BR102012002995B1 (ja)
MX (1) MX2012001547A (ja)
RU (1) RU2519059C2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5237325B2 (ja) * 2010-04-28 2013-07-17 株式会社スクウェア・エニックス ビデオゲーム処理装置、ビデオゲーム処理方法、およびビデオゲーム処理プログラム
US9477311B2 (en) 2011-01-06 2016-10-25 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9423878B2 (en) 2011-01-06 2016-08-23 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9471145B2 (en) 2011-01-06 2016-10-18 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9015641B2 (en) 2011-01-06 2015-04-21 Blackberry Limited Electronic device and method of providing visual notification of a received communication
US9465440B2 (en) 2011-01-06 2016-10-11 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9766718B2 (en) 2011-02-28 2017-09-19 Blackberry Limited Electronic device and method of displaying information in response to input
EP2487577A3 (en) * 2011-02-11 2017-10-11 BlackBerry Limited Presenting buttons for controlling an application
JP5790203B2 (ja) * 2011-06-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および遠隔操作システム
US9619038B2 (en) * 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
JP6095393B2 (ja) * 2013-02-12 2017-03-15 株式会社スクウェア・エニックス ビデオゲーム装置、及びビデオゲーム処理プログラム
CA2910655A1 (en) * 2013-05-08 2014-11-13 Square Enix Holdings Co., Ltd. Information processing apparatus, control method and program
JP5848857B1 (ja) 2014-04-04 2016-01-27 株式会社コロプラ ユーザインターフェースプログラムおよびゲームプログラム
USD771112S1 (en) * 2014-06-01 2016-11-08 Apple Inc. Display screen or portion thereof with graphical user interface
JP5711409B1 (ja) * 2014-06-26 2015-04-30 ガンホー・オンライン・エンターテイメント株式会社 端末装置
KR102037481B1 (ko) * 2014-07-31 2019-10-28 삼성전자주식회사 디스플레이 장치, 디스플레이 장치를 제어하는 방법 및 그 방법을 수행하는 프로그램이 기록된 기록 매체
JP1518788S (ja) * 2014-09-01 2015-03-09
US9904463B2 (en) * 2014-09-23 2018-02-27 Sulake Corporation Oy Method and apparatus for controlling user character for playing game within virtual environment
US20170352174A1 (en) * 2014-12-19 2017-12-07 Sergey Anatol'evich GORISHNIY Method and system for visual data management
USD760746S1 (en) 2015-06-04 2016-07-05 Apple Inc. Display screen or portion thereof with animated graphical user interface
JP5981617B1 (ja) * 2015-08-20 2016-08-31 株式会社コロプラ ユーザ・インタフェース画像表示のためのコンピュータ・プログラムおよびコンピュータ実装方法
CN106730810B (zh) * 2015-11-19 2020-02-18 网易(杭州)网络有限公司 一种移动智能终端的游戏按钮切换方法及装置
JP2017097674A (ja) * 2015-11-25 2017-06-01 Necパーソナルコンピュータ株式会社 情報処理端末およびプログラム
CN105653189A (zh) * 2015-12-28 2016-06-08 网宿科技股份有限公司 基于智能终端的虚拟主机手柄的方法及系统
KR102481632B1 (ko) * 2016-04-26 2022-12-28 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
EP3285148A1 (fr) * 2016-08-19 2018-02-21 Bigben Interactive SA Procede de contrôle d'un element d'affichage par une console de jeux
JP2018163132A (ja) 2017-03-24 2018-10-18 望月 玲於奈 姿勢算出プログラム、姿勢情報を用いたプログラム
CN108905212B (zh) * 2017-03-27 2019-12-31 网易(杭州)网络有限公司 游戏画面的显示控制方法及装置、存储介质、电子设备
US10369470B2 (en) * 2017-04-28 2019-08-06 PlayFusion Limited User interface control cluster for enhancing a gaming experience
CN108496151A (zh) * 2017-05-23 2018-09-04 深圳市大疆创新科技有限公司 用于操纵可移动装置的方法和设备
USD843442S1 (en) 2017-09-10 2019-03-19 Apple Inc. Type font
CN108379839B (zh) * 2018-03-23 2019-12-10 网易(杭州)网络有限公司 控件的响应方法、装置和终端
CN108509141B (zh) * 2018-03-30 2020-06-02 维沃移动通信有限公司 一种控件的生成方法及移动终端
USD954739S1 (en) 2018-07-24 2022-06-14 Magic Leap, Inc. Display panel or portion thereof with a graphical user interface
US11045719B2 (en) * 2018-09-12 2021-06-29 King.Com Ltd. Method and computer device for controlling a touch screen
CN109343773B (zh) * 2018-10-11 2021-07-09 广州要玩娱乐网络技术股份有限公司 便携式触控设备的操控方法、装置、存储介质和终端
USD902221S1 (en) 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
USD900871S1 (en) 2019-02-04 2020-11-03 Apple Inc. Electronic device with animated graphical user interface
JP6963188B2 (ja) * 2019-04-24 2021-11-05 株式会社カプコン ゲームプログラム、およびゲームシステム
CN110115838B (zh) * 2019-05-30 2021-10-29 腾讯科技(深圳)有限公司 虚拟环境中生成标记信息的方法、装置、设备及存储介质
JP6818091B2 (ja) * 2019-06-20 2021-01-20 株式会社コロプラ ゲームプログラム、ゲーム方法、および情報端末装置
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01149120A (ja) * 1987-12-07 1989-06-12 Fuji Xerox Co Ltd 情報処理装置
JPH06103018A (ja) * 1992-09-21 1994-04-15 Toshiba Corp 表示方式
JPH07200243A (ja) * 1993-12-29 1995-08-04 Casio Comput Co Ltd アイコン選択制御装置
US6037937A (en) * 1997-12-04 2000-03-14 Nortel Networks Corporation Navigation tool for graphical user interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6278443B1 (en) * 1998-04-30 2001-08-21 International Business Machines Corporation Touch screen with random finger placement and rolling on screen to control the movement of information on-screen
JP2000056877A (ja) * 1998-08-07 2000-02-25 Nec Corp タッチパネル式レイアウトフリーキーボード
JP3872322B2 (ja) * 2001-09-17 2007-01-24 インターナショナル・ビジネス・マシーンズ・コーポレーション タッチパネルに対応した入力方法、入力システムおよびプログラム
JP2004021522A (ja) * 2002-06-14 2004-01-22 Sony Corp 情報処理装置および方法、並びにプログラム
JP4182769B2 (ja) * 2002-06-21 2008-11-19 アイシン・エィ・ダブリュ株式会社 画像表示装置及びナビゲーション装置
US20090143141A1 (en) * 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
JP2006053678A (ja) 2004-08-10 2006-02-23 Toshiba Corp ユニバーサルヒューマンインタフェースを有する電子機器
JP2006127488A (ja) * 2004-09-29 2006-05-18 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
CN101133385B (zh) 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
JP4730962B2 (ja) * 2006-04-04 2011-07-20 Kddi株式会社 タッチパネルディスプレイを備えた携帯端末及びプログラム
JP2006279968A (ja) * 2006-04-05 2006-10-12 Hitachi Ltd 映像アクセス装置及び映像アクセスプログラムを記録した記録媒体
JP2008021094A (ja) * 2006-07-12 2008-01-31 Kyocera Mita Corp 操作装置及び画像形成装置
US7791594B2 (en) 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
RU2451981C2 (ru) * 2006-10-23 2012-05-27 Ей Джин ОХ Устройство ввода
KR101391689B1 (ko) 2006-12-28 2014-05-07 삼성전자주식회사 이동가능한 메뉴세트를 이용한 메뉴 제공방법 및 이를적용한 멀티미디어 기기
KR101349309B1 (ko) * 2007-03-14 2014-01-23 엘지전자 주식회사 이동통신 단말기 및 그 제어방법
ATE497204T1 (de) * 2007-06-08 2011-02-15 Research In Motion Ltd Haptische anzeige für ein elektronisches handgerät
US9740386B2 (en) * 2007-06-13 2017-08-22 Apple Inc. Speed/positional mode translations
US8180295B2 (en) * 2007-07-19 2012-05-15 Sony Computer Entertainment Inc. Bluetooth enabled computing system and associated methods
US20090027330A1 (en) * 2007-07-26 2009-01-29 Konami Gaming, Incorporated Device for using virtual mouse and gaming machine
US20110234495A1 (en) * 2007-07-26 2011-09-29 Hoe Chan Programmable touch sensitive controller
US20090193363A1 (en) * 2008-01-30 2009-07-30 International Business Machines Corporation Representing Multiple Computing Resources Within A Predefined Region Of A Graphical User Interface For Displaying A Single Icon
KR100946460B1 (ko) * 2008-09-30 2010-03-10 현대자동차주식회사 차량의 입력 장치
US8451236B2 (en) * 2008-12-22 2013-05-28 Hewlett-Packard Development Company L.P. Touch-sensitive display screen with absolute and relative input modes
US20100293457A1 (en) * 2009-05-15 2010-11-18 Gemstar Development Corporation Systems and methods for alphanumeric navigation and input
KR101578430B1 (ko) * 2009-07-13 2015-12-18 엘지전자 주식회사 이동 단말기
JP4956644B2 (ja) * 2010-05-31 2012-06-20 株式会社東芝 電子機器、及び入力制御方法
US9411509B2 (en) * 2010-12-29 2016-08-09 Microsoft Technology Licensing, Llc Virtual controller for touch display

Also Published As

Publication number Publication date
RU2012104742A (ru) 2013-08-20
EP2487575A2 (en) 2012-08-15
MX2012001547A (es) 2012-08-30
BR102012002995B1 (pt) 2020-09-15
US9122394B2 (en) 2015-09-01
CN103150102A (zh) 2013-06-12
BR102012002995A2 (pt) 2013-07-30
JP2012168931A (ja) 2012-09-06
RU2519059C2 (ru) 2014-06-10
EP2487575A3 (en) 2015-12-09
US20130031515A1 (en) 2013-01-31
EP2487575B1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
JP5379250B2 (ja) 入力装置、情報処理装置および入力値取得方法
KR101354614B1 (ko) 입력장치, 정보처리장치 및 입력값 취득방법
US8519986B2 (en) User interface device and user interface method
US20170003852A1 (en) Information display terminal, information display method and program
US8638315B2 (en) Virtual touch screen system
US9086741B2 (en) User input device
JP4741983B2 (ja) 電子機器及び電子機器の動作方法
US20100328209A1 (en) Input device for electronic apparatus
WO2013038605A1 (ja) 情報処理装置、情報処理方法、コンテンツファイルのデータ構造、gui配置シミュレータ、およびgui配置設定支援方法
WO2012066591A1 (ja) 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法
JP2009157908A (ja) 情報表示端末、情報表示方法、およびプログラム
JP2013114422A (ja) 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
JP2008077272A (ja) タッチパネル制御装置およびタッチパネル制御方法
JP2008065504A (ja) タッチパネル制御装置およびタッチパネル制御方法
JP5081957B2 (ja) 入力受付装置、項目選択方法、および、プログラム
JP5669698B2 (ja) Gui配置シミュレータ、およびgui配置設定支援方法
JP2012003457A (ja) 項目選択装置、項目選択方法、ならびに、プログラム
JP5773818B2 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
JP5669697B2 (ja) 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
JP2024025272A (ja) 情報処理装置、情報処理方法、プログラム
WO2006100811A1 (ja) 情報処理装置、画像移動指示方法及び情報記憶媒体
JP2009104612A (ja) 装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130926

R150 Certificate of patent or registration of utility model

Ref document number: 5379250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250