JP6308214B2 - 表示制御装置、表示制御方法および記録媒体 - Google Patents

表示制御装置、表示制御方法および記録媒体 Download PDF

Info

Publication number
JP6308214B2
JP6308214B2 JP2015516976A JP2015516976A JP6308214B2 JP 6308214 B2 JP6308214 B2 JP 6308214B2 JP 2015516976 A JP2015516976 A JP 2015516976A JP 2015516976 A JP2015516976 A JP 2015516976A JP 6308214 B2 JP6308214 B2 JP 6308214B2
Authority
JP
Japan
Prior art keywords
display control
orientation
terminal
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015516976A
Other languages
English (en)
Other versions
JPWO2014185146A1 (ja
Inventor
康之 古賀
康之 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014185146A1 publication Critical patent/JPWO2014185146A1/ja
Application granted granted Critical
Publication of JP6308214B2 publication Critical patent/JP6308214B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、表示制御装置、表示制御方法および記録媒体に関する。
近年、ユーザの頭部に装着するディスプレイとしてHMD(Head Mounted Display)の開発が進んでいる。ユーザの頭部に装着されたHMDによって表示されるコンテンツは、ユーザの頭部の向きに依存せず一定である場合も想定されるが、ユーザの頭部の向きに基づいて変更される場合も想定される。例えば、ユーザの頭部の向きに基づいて、HMDによって表示されるコンテンツを特定する技術が開示されている(例えば、特許文献1参照)。
特開2013−12024号公報
しかしながら、コンテンツをユーザが容易にスクロールさせることが可能な技術が実現されることが望ましい。
本開示によれば、第1の検出部により検出された表示部の向きを取得する第1の取得部と、コンテンツを表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記表示部の向きに応じて前記コンテンツをスクロールさせる、表示制御装置が提供される。
また、本開示によれば、第1の検出部により検出された表示部の向きを取得することと、コンテンツを表示部に表示させることと、前記表示部の向きに応じて前記コンテンツをスクロールさせること、を含む、表示制御方法が提供される。
コンピュータを、第1の検出部により検出された表示部の向きを取得する第1の取得部と、コンテンツを表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記表示部の向きに応じて前記コンテンツをスクロールさせる、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体が提供される。
以上説明したように本開示によれば、コンテンツをユーザが容易にスクロールさせることが可能な技術を提供することが可能である。
本開示の実施形態に係る情報処理システムの概要を示す図である。 本開示の実施形態に係る情報処理システムの機能構成例を示す図である。 第1の例においてコンテンツをスクロールさせる場合の例を示す図である。 第1の例においてスクロールが停止されている場合の例を示す図である。 第1の例においてコンテンツを選択する操作の例を示す図である。 第1の例においてコンテンツが選択された結果として選択結果画面が表示されている場合の例を示す図である。 第1の例において選択結果画面の表示から前の画面の表示に戻る操作の例を示す図である。 第1の例において選択結果画面の表示から前の画面の表示に戻った場合の例を示す図である。 第1の例における表示制御装置の動作の流れを示すフローチャートである。 第2の例においてフォーカスを移動させる場合の例を示す図である。 第2の例においてオブジェクトを選択する場合の例を示す図である。 第2の例においてオブジェクトが選択された結果として選択結果画面が表示されている場合の例を示す図である。 第2の例において選択結果画面の表示からオブジェクトの表示に戻った場合の例を示す図である。 第2の例における表示制御装置の動作の流れを示すフローチャートである。 第3の例においてコンテンツをスクロールさせる場合の例を示す図である。 第3の例における表示制御装置の動作の流れを示すフローチャートである。 第1の例および第3の例における変形例を示す図である。 本開示の実施形態に係る表示制御装置のハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.実施形態
1−1.情報処理システムの概要
1−2.情報処理システムの機能構成例
1−3.情報処理システムの機能詳細
1−4.ハードウェア構成例
2.むすび
<<1.実施形態>>
まず、本開示の実施形態について説明する。
[1−1.情報処理システムの概要]
最初に、本開示の実施形態に係る情報処理システム1の構成例について説明する。図1は、本開示の実施形態に係る情報処理システム1の概要を示す図である。図1に示すように、情報処理システム1は、表示制御装置10と、表示部150と、端末170とを備える。
表示部150は、表示制御装置10から無線信号または有線信号により提供された制御信号に従って画面50を表示する機能を有する。表示部150によって表示される画面50の種類は特に限定されない。図1に示すように、表示部150はユーザUの頭部に装着されるHMD(Head Mount Display)である場合が主に想定される。HMDの種類は特に限定されず、透過型HMDであってもよいし、非透過型HMDであってもよい。
端末170は、ユーザUによって使用される端末である。端末170の種類は特に限定されず、ビデオカメラであってもよいし、スマートフォンであってもよいし、PDA(Personal Digital Assistants)であってもよい。あるいは、端末170は、PC(Personal Computer)であってもよいし、携帯電話であってもよいし、携帯用音楽再生装置であってもよいし、携帯用映像処理装置であってもよいし、携帯用ゲーム機器であってもよい。
表示制御装置10は、表示部150に画面50を表示させる機能を有する。画面50には、図1に示したようにコンテンツC1〜C7が含まれてもよいし、後に説明するようにオブジェクトが含まれてもよい。コンテンツの数は特に限定されない。また、コンテンツの種類は特に限定されず、図1に示したように画像(例えば、静止画、動画など)であってもよいし、テキストデータであってもよい。なお、図1に示した例では、表示制御装置10は表示部150とは別体に構成されているが、表示部150と一体化されていてもよい。
本明細書においては、このようにして表示部150によって表示されるコンテンツを、ユーザUが容易にスクロールさせることが可能な技術について主に説明する。
以上、本開示の実施形態に係る情報処理システム1の概要について説明した。
[1−2.情報処理システムの機能構成例]
続いて、本開示の実施形態に係る情報処理システム1の機能構成例について説明する。図2は、本開示の実施形態に係る情報処理システム1の機能構成例を示す図である。図2に示すように、本開示の実施形態に係る表示制御装置10は、制御部110と、記憶部120と、第1の入力部131と、第2の入力部132とを備える。
制御部110は、例えば、CPU(Central Processing Unit)などのプロセッサに相当する。制御部110は、記憶部120または他の記憶媒体に記憶されるプログラムを実行することにより、制御部110が有する様々な機能を発揮する。制御部110は、第1の取得部111と、第2の取得部112と、表示制御部113とを有する。これらの各機能ブロックそれぞれが有する機能については後に説明する。
記憶部120は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部110を動作させるためのプログラムを記憶する。また、例えば、記憶部120は、プログラムによって使用される各種のデータ(例えば、コンテンツ、オブジェクトなど)を記憶することもできる。なお、図2に示した例では、記憶部120は表示制御装置10と一体化されているが、記憶部120は表示制御装置10と別体に構成されていてもよい。
上記したように、表示部150は、表示制御装置10と無線または有線により接続されている。表示部150には第1の検出部151が備えられており、端末170には第2の検出部171が備えられている。第1の検出部151は、表示部150の向きを検出する機能を有する。第1の検出部151によって検出された表示部150の向きは、第1の入力部131を介して制御部110に入力される。一方、第2の検出部171は、端末170の向きを検出する機能を有する。第2の検出部171によって検出された端末170の向きは、第2の検出部171を介して制御部110に入力される。
第1の検出部151は、表示部150の向きを検出する。例えば、第1の検出部151は地磁気センサを含み、表示部150の座標系における地磁気の方向を表す地磁気データを地磁気センサによって測定してもよい。地磁気データは、例えば、表示部150の向いている方角(水平方向の向き)に利用され得る。さらに、第1の検出部151は加速度センサを含み、表示部150に加わる加速度を加速度センサによって測定してもよい。加速度は、例えば、表示部150の傾き(鉛直方向の向き)に利用され得る。
また、第1の検出部151はジャイロセンサをさらに含み、表示部150の回転の角速度をジャイロセンサによって測定し、角速度を表示部150の向きの変化速度として検出してもよい。このように検出された表示部150の向きの変化速度は、第1の検出部151によって、表示部150の向きの検出に利用され得る。なお、図2に示した例では、第1の検出部151は表示部150と一体化されているが、第1の検出部151は、表示部150と別体に構成されていてもよい。
第2の検出部171は、端末170の向きを検出する。例えば、第2の検出部171は地磁気センサを含み、端末170の座標系における地磁気の方向を表す地磁気データを地磁気センサによって測定してもよい。地磁気データは、例えば、端末170の向いている方角(水平方向の向き)に利用され得る。さらに、第2の検出部171は加速度センサを含み、端末170に加わる加速度を加速度センサによって測定し、加速度に基づいて端末170の向きの変化を検出してもよい。加速度は、例えば、端末170の傾き(鉛直方向の向き)に利用され得る。
また、第2の検出部171はジャイロセンサをさらに含み、端末170の回転の角速度をジャイロセンサによって測定し、角速度を端末170の向きの変化速度として検出してもよい。このように検出された端末170の向きの変化速度は、第2の検出部171によって、端末170の向きの検出に利用され得る。なお、図2に示した例では、第2の検出部171は端末170と一体化されているが、第2の検出部171は、端末170と別体に構成されていてもよい。
以上、本開示の実施形態に係る情報処理システム1の機能構成例について説明した。
[1−3.情報処理システムの機能詳細]
続いて、本開示の実施形態に係る情報処理システム1の機能詳細について説明する。まず、図3〜図9を参照しながら、第1の例について説明する。図3は、第1の例においてコンテンツをスクロールさせる場合の例を示す図である。図3に示すように、ユーザは、表示部150を頭部に装着し、端末170を身体の一部(例えば、手)に持っている。表示制御部113は、表示部150に画面50−A1を表示させている。画面50−A1には、コンテンツC1〜C7が含まれている。
第1の取得部111は、第1の検出部151により検出された表示部の向きuを取得する。また、第2の取得部112は、第2の検出部171により検出された端末の向きtを取得する。ここで、表示制御部113は、表示部の向きuに応じてコンテンツをスクロールさせる。このようにすれば、コンテンツをユーザが容易にスクロールさせることが可能となる。また、ユーザはコンテンツを直感的にスクロールさせることが可能となる。
端末の向きtも、表示制御部113によって用いられ得る。かかる場合、例えば、表示制御部113は、端末の向きtに応じて所定の制御を行ってもよい。このようにすれば、端末の向きtも用いることが可能となるため、例えば、表示部の向きuを調整するのが困難な場合であっても、端末の向きtを利用した入力を行うことが可能となる。表示部の向きuを調整するのが困難な場合としては、例えば、ユーザが頭部を一定の向きに長時間維持するのが困難な場合などが想定される。例えば、表示制御部113は、表示部の向きuと端末の向きtとの関係に応じてコンテンツをスクロールさせてよい。
表示部の向きuと端末の向きtとの関係はどのような関係であってもよいが、一例として、表示制御部113は、表示部の向きuに対する相対的な端末の向きtに応じてコンテンツをスクロールさせてよい。より詳細には、表示制御部113は、表示部の向きuに対する相対的な端末の向きtとは逆向きにコンテンツをスクロールさせてよい。図3には、表示部の向きuに対する相対的な端末の向きtがユーザから見て左向きである場合が示されている。このとき、表示制御部113は、ユーザが画面50−A1の左側を閲覧しやすいようにするため、コンテンツを左向きとは逆向きである右向きにスクロールさせてよい。
コンテンツのスクロール速度は特に限定されないが、例えば、表示制御部113は、表示部の向きuと端末の向きtとの角度差に応じて、コンテンツのスクロール速度を制御してよい。より詳細には、表示制御部113は、表示部の向きuと端末の向きtとの角度差が大きいほど、コンテンツのスクロール速度を大きくしてよい。かかる制御を行うようにすれば、ユーザは、コンテンツのスクロール速度を直感的に調整することが可能となる。
なお、上記では、第2の取得部112によって取得された端末の向きtが表示制御部113によって用いられる場合を例として説明したが、端末の向きtの代わりに何らかの基準の向きが用いられてもよい。例えば、表示制御部113は、基準の向きに対する相対的な表示部の向きuに応じてコンテンツをスクロールさせてよい。より詳細には、表示制御部113は、基準の向きに対する相対的な表示部の向きuとは逆向きにコンテンツをスクロールさせてよい。基準の向きは、ユーザによってあらかじめ設定されてもよいし、制御部110によって設定されてもよい。
ここで、表示制御部113は、表示部の向きuと端末の向きtとが一致または所定の範囲に収まった場合には、コンテンツのスクロールを停止すればよい。図4は、第1の例においてスクロールが停止されている場合の例を示す図である。図4を参照すると、コンテンツのスクロールがなされた後、表示部の向きuと端末の向きtとが一致したため、コンテンツC4〜C10を含む画面50−A2が表示制御部113によって表示され、画面50−A2が表示された状態でコンテンツのスクロールが停止している。
また、図4に示した例では、コンテンツC4〜C10のうち中央のコンテンツC7にフォーカスが当てられているが、どのコンテンツにフォーカスが当てられるかについては特に限定されない。この状態において、例えば、端末170に対してユーザから所定の操作がなされた場合、表示制御部113は、フォーカスが当てられているコンテンツを選択できてもよい。所定の操作は特に限定されないが、端末170に対してユーザから入力されるタップ操作であってもよい。
図5は、第1の例においてコンテンツC7を選択する操作の例を示す図である。図5を参照すると、コンテンツC7にフォーカスが当てられている状態において、端末170に対してユーザからタップ操作がなされた場合、表示制御部113は、フォーカスが当てられているコンテンツC7を選択している。コンテンツC7が選択された後、コンテンツC7に関してどのような制御が表示制御部113によってなされてもよい。例えば、コンテンツC7が選択された結果として、拡大されたコンテンツC7を含む選択結果画面が表示されてよい。
図6は、第1の例においてコンテンツC7が選択された結果として選択結果画面50−A3が表示されている場合の例を示す図である。図6を参照すると、表示制御部113は、拡大されたコンテンツC7を含む選択結果画面50−A3を表示部150に表示させている。また、選択結果画面50−A3が表示された状態において、例えば、端末170に対してユーザから所定の操作がなされた場合、表示制御部113は、前の画面に戻ることが可能であってもよい。所定の操作は特に限定されないが、端末170に対してユーザから入力される長押し操作であってもよい。
図7は、第1の例において選択結果画面50−A3の表示から前の画面50−A2の表示に戻る操作の例を示す図である。また、図8は、第1の例において選択結果画面50−A3の表示から前の画面50−A2の表示に戻った場合の例を示す図である。図7および図8を参照すると、拡大されたコンテンツC7が表示されている状態において、端末170に対してユーザから長押し操作がなされた場合、表示制御部113は、前の画面50−A2を表示させている。
図9は、第1の例における表示制御装置10の動作の流れを示すフローチャートである。
なお、図9に示した例は、第1の例における表示制御装置10の動作の流れの一例に過ぎない。したがって、第1の例における表示制御装置10の動作の流れは、図9に示した例に限定されない。
図9に示すように、第1の検出部151によって表示部の向きuが検出されると、第1の入力部131を介して制御部110に入力され、第1の取得部111によって表示部の向きuが取得される(S11)。続いて、第2の検出部171によって端末の向きtが検出されると、第2の入力部132を介して制御部110に入力され、第2の取得部112によって端末の向きtが取得される(S12)。
表示制御部113は、表示部の向きuに対する端末の向きtの相対的な向きに応じてコンテンツをスクロールさせる(S13)。なお、制御部110は、S13の動作が終了した後は、S11の動作に再度戻ってもよいし、動作を終了させてもよい。以上により、第1の例の説明を終了する。
続いて、図10〜図14を参照しながら、第2の例について説明する。図10は、第2の例においてフォーカスを移動させる場合の例を示す図である。図10に示すように、ユーザは、表示部150を頭部に装着し、端末170を身体の一部(例えば、手)に持っている。表示制御部113は、表示部150に画面50−B1を表示させている。画面50−B1には、オブジェクトB1〜B4が含まれている。
第1の取得部111は、第1の検出部151により検出された表示部の向きuを取得する。また、第2の取得部112は、第2の検出部171により検出された端末の向きtを取得する。ここで、表示制御部113は、端末の向きtに応じてフォーカスを移動させる。このようにすれば、フォーカスをユーザが容易に移動させることが可能となる。
表示部の向きuも、表示制御部113によって用いられ得る。かかる場合、例えば、表示制御部113は、表示部の向きuに応じて所定の制御を行ってもよい。このようにすれば、端末の向きtも用いることが可能となるため、ユーザによって入力可能な操作のバリエーションが広がり得る。例えば、表示制御部113は、表示部の向きuと端末の向きtとの関係に応じてフォーカスを移動させてよい。
表示部の向きuと端末の向きtとの関係はどのような関係であってもよいが、一例として、表示制御部113は、表示部の向きuに対する相対的な端末の向きtに応じてフォーカスを移動させてよい。図10には、表示部の向きuに対する相対的な端末の向きtがユーザから見て左上向きである場合が示されている。このとき、表示制御部113は、画面50−B1の左上領域のオブジェクトB1の位置にフォーカスを移動させてよい。
なお、上記では、第1の取得部111によって取得された表示部の向きuが表示制御部113によって用いられる場合を例として説明したが、表示部の向きuの代わりに何らかの基準の向きが用いられてもよい。例えば、表示制御部113は、基準の向きに対する相対的な端末の向きtに応じてフォーカスを移動させてよい。基準の向きは、ユーザによってあらかじめ設定されてもよいし、制御部110によって設定されてもよい。
オブジェクトB1の位置にフォーカスが当てられている状態において、例えば、端末170に対してユーザから所定の操作がなされた場合、表示制御部113は、フォーカスが当てられているオブジェクトを選択できてもよい。所定の操作は特に限定されないが、端末170に対してユーザから入力されるタップ操作であってもよい。
図11は、第2の例においてオブジェクトB1を選択する場合の例を示す図である。図11を参照すると、オブジェクトB1にフォーカスが当てられている状態において、端末170に対してユーザからタップ操作がなされた場合、表示制御部113は、フォーカスが当てられているオブジェクトB1を選択している。オブジェクトB1が選択された後、オブジェクトB1に関してどのような制御が表示制御部113によってなされてもよい。例えば、オブジェクトB1が選択された結果として、オブジェクトB1に対応するコンテンツを含む選択結果画面が表示されてよい。
図12は、第2の例においてオブジェクトB1が選択された結果として選択結果画面50−B2が表示されている場合の例を示す図である。図12を参照すると、表示制御部113は、オブジェクトB1に対応するコンテンツC11を含む選択結果画面50−B2を表示部150に表示させている。また、選択結果画面50−B2が表示された状態において、例えば、端末170に対してユーザから所定の操作がなされた場合、表示制御部113は、前の画面に戻ることが可能であってもよい。所定の操作は特に限定されないが、端末170に対してユーザから入力される長押し操作であってもよい。
図13は、第2の例において選択結果画面50−B2の表示から前の画面50−B1の表示に戻った場合の例を示す図である。図12および図13を参照すると、オブジェクトB1に対応するコンテンツC11が表示されている状態において、端末170に対してユーザから長押し操作がなされた場合、表示制御部113は、前の画面50−B1を表示させている。
図14は、第2の例における表示制御装置10の動作の流れを示すフローチャートである。なお、図14に示した例は、第2の例における表示制御装置10の動作の流れの一例に過ぎない。したがって、第2の例における表示制御装置10の動作の流れは、図14に示した例に限定されない。
図14に示すように、第1の検出部151によって表示部の向きuが検出されると、第1の入力部131を介して制御部110に入力され、第1の取得部111によって表示部の向きuが取得される(S21)。続いて、第2の検出部171によって端末の向きtが検出されると、第2の入力部132を介して制御部110に入力され、第2の取得部112によって端末の向きtが取得される(S22)。
表示制御部113は、表示部の向きuに対する端末の向きtの相対的な向きに応じてオブジェクトを選択する(S23)。なお、制御部110は、S23の動作が終了した後は、S21の動作に再度戻ってもよいし、動作を終了させてもよい。以上により、第2の例の説明を終了する。
続いて、図15および図16を参照しながら、第3の例について説明する。図15は、第3の例においてフォーカスを移動させる場合の例を示す図である。図15に示すように、ユーザは、表示部150を頭部に装着し、端末170を身体の一部(例えば、手)に持っている。表示制御部113は、表示部150に画面50−C1を表示させている。画面50−C1には、コンテンツC1〜C7とオブジェクトB1〜B4とが含まれている。
第1の取得部111は、第1の検出部151により検出された表示部の向きuを取得する。また、第2の取得部112は、第2の検出部171により検出された端末の向きtを取得する。ここで、表示制御部113は、表示部の向きuに応じてコンテンツをスクロールさせる。また、表示制御部113は、端末の向きtに応じてオブジェクトを選択する。このようにすれば、コンテンツを容易にスクロールさせるとともにオブジェクトを容易に選択することが可能となる。
例えば、表示制御部113は、基準の向きに対する相対的な表示部の向きuに応じてコンテンツをスクロールさせてよい。より詳細には、表示制御部113は、基準の向きに対する相対的な表示部の向きuとは逆向きにコンテンツをスクロールさせてよい。基準の向きは、ユーザによってあらかじめ設定されてもよいし、制御部110によって設定されてもよい。
同様に、例えば、表示制御部113は、基準の向きに対する相対的な端末の向きtに応じてオブジェクトを選択してよい。基準の向きは、ユーザによってあらかじめ設定されてもよいし、制御部110によって設定されてもよい。
図16は、第3の例における表示制御装置10の動作の流れを示すフローチャートである。なお、図16に示した例は、第3の例における表示制御装置10の動作の流れの一例に過ぎない。したがって、第3の例における表示制御装置10の動作の流れは、図16に示した例に限定されない。
図16に示すように、第1の検出部151によって表示部の向きuが検出されると、第1の入力部131を介して制御部110に入力され、第1の取得部111によって表示部の向きuが取得される(S31)。続いて、第2の検出部171によって端末の向きtが検出されると、第2の入力部132を介して制御部110に入力され、第2の取得部112によって端末の向きtが取得される(S32)。
表示制御部113は、表示部の向きuに応じてコンテンツをスクロールさせる(S33)。また、表示制御部113は、端末の向きtに応じてオブジェクトを選択する(S34)。なお、制御部110は、S34の動作が終了した後は、S31の動作に再度戻ってもよいし、動作を終了させてもよい。以上により、第3の例の説明を終了する。
第1の例および第3の例においては、表示制御部113が表示部の向きuに応じてコンテンツをスクロールさせる例を説明した。しかし、ユーザは、コンテンツをスクロールさせるという目的以外の目的で表示部150の向きを変えようとする場合も想定される。したがって、表示制御部113は、ユーザから所定の操作が入力されたか否かに基づいて、コンテンツをスクロールさせるか否かを決定してよい。以下では、所定の操作がタッチ操作である場合について説明するが、どのような操作であってもよい。
図17は、第1の例および第3の例における変形例を示す図である。図17に示すように、ユーザは、表示部150を頭部に装着し、端末170を身体の一部(例えば、手)に持っている。表示制御部113は、表示部150に画面50−D1を表示させている。画面50−D1には、コンテンツC1〜C7が含まれている。
第1の取得部111は、第1の検出部151により検出された表示部の向きuを取得する。また、第2の取得部112は、第2の検出部171により検出された端末の向きtを取得する。ここで、画面50−D1に示したように、表示制御部113は、ユーザからタッチ操作が入力されていない間は、コンテンツをスクロールさせないと決定してよい。一方、画面50−D2に示したように、表示制御部113は、ユーザからタッチ操作が入力されている間は、コンテンツをスクロールさせると決定してよい。
なお、タッチ操作が入力されている間およびタッチ操作が入力されていない間それぞれにおいてなされる動作は逆であってもよい。すなわち、表示制御部113は、ユーザからタッチ操作が入力されている間は、コンテンツをスクロールさせないと決定してよい。一方、表示制御部113は、ユーザからタッチ操作が入力されていない間は、コンテンツをスクロールさせると決定してよい。
また、第2の例および第3の例においては、表示制御部113が端末の向きtに応じてオブジェクトを選択する例を説明した。しかし、ユーザは、オブジェクトを選択するという目的以外の目的で端末170の向きを変えようとする場合も想定される。したがって、表示制御部113は、ユーザから所定の操作が入力されたか否かに基づいて、オブジェクトを選択させるか否かを決定してよい。
例えば、表示制御部113は、ユーザからタッチ操作が入力されていない間は、オブジェクトを選択しないと決定してよい。一方、表示制御部113は、ユーザからタッチ操作が入力されている間は、オブジェクトを選択すると決定してよい。
なお、タッチ操作が入力されている間およびタッチ操作が入力されていない間それぞれにおいてなされる動作は逆であってもよい。すなわち、表示制御部113は、ユーザからタッチ操作が入力されている間は、オブジェクトを選択しないと決定してよい。一方、表示制御部113は、ユーザからタッチ操作が入力されていない間は、オブジェクトを選択すると決定してよい。
以上、本開示の実施形態に係る情報処理システム1の機能詳細について説明した。
[1−4.ハードウェア構成例]
続いて、本開示の実施形態に係る表示制御装置10のハードウェア構成例について説明する。図18は、本開示の実施形態に係る表示制御装置10のハードウェア構成例を示す図である。ただし、図18に示したハードウェア構成例は、表示制御装置10のハードウェア構成の一例を示したに過ぎない。したがって、表示制御装置10のハードウェア構成は、図18に示した例に限定されない。
図18に示したように、表示制御装置10は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、入力装置908と、出力装置910と、ストレージ装置911と、ドライブ912とを備える。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置10内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。
入力装置908は、第1の検出部151により検出された表示部150の向きおよび第2の検出部171により検出された端末170の向きの入力を受け付ける。入力装置908により入力が受け付けられた表示部150の向きおよび端末170の向きは、CPU901に出力される。また、入力装置908は、第1の検出部151により検出された表示部150の向きの変化量および第2の検出部171により検出された端末170の向きの変化量の入力を受け付け、CPU901に出力してもよい。
出力装置910は、表示部150に対して出力データを提供する。例えば、出力装置910は、CPU901による制御に従って表示データを表示部150に提供する。また、表示部150が音声出力装置により構成されている場合には、出力装置910は、CPU901による制御に従って音声データを表示部150に提供する。
ストレージ装置911は、表示制御装置10の記憶部120の一例として構成されたデータ格納用の装置である。ストレージ装置911は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置911は、CPU901が実行するプログラムや各種データを格納する。
ドライブ912は、記憶媒体用リーダライタであり、表示制御装置10に内蔵、あるいは外付けされる。ドライブ912は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体71に記録されている情報を読み出して、RAM903に出力する。また、ドライブ912は、リムーバブル記憶媒体71に情報を書き込むこともできる。
以上、本開示の実施形態に係る表示制御装置10のハードウェア構成例について説明した。
<<2.むすび>>
以上説明したように、本開示の実施形態によれば、第1の検出部151により検出された表示部150の向きを取得する第1の取得部111と、コンテンツを表示部150に表示させる表示制御部113と、を備え、表示制御部113は、表示部150の向きに応じてコンテンツをスクロールさせる、表示制御装置10が提供される。かかる構成によれば、コンテンツをユーザが容易にスクロールさせることが可能な技術を提供することができる。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した表示制御装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の検出部により検出された表示部の向きを取得する第1の取得部と、
コンテンツを表示部に表示させる表示制御部と、を備え、
前記表示制御部は、前記表示部の向きに応じて前記コンテンツをスクロールさせる、
表示制御装置。
(2)
前記表示制御装置は、
第2の検出部により検出された端末の向きを取得する第2の取得部をさらに備え、
前記表示制御部は、前記端末の向きに応じて所定の制御を行う、
前記(1)に記載の表示制御装置。
(3)
前記表示制御部は、前記表示部の向きと前記端末の向きとの関係に応じて前記コンテンツをスクロールさせる、
前記(2)に記載の表示制御装置。
(4)
前記表示制御部は、前記表示部の向きに対する前記端末の相対的な向きに応じて前記コンテンツをスクロールさせる、
前記(3)に記載の表示制御装置。
(5)
前記表示制御部は、前記表示部の向きと前記端末の向きとの角度差に応じて、前記コンテンツのスクロール速度を制御する、
前記(4)に記載の表示制御装置。
(6)
前記表示制御部は、前記表示部の向きに応じて前記コンテンツをスクロールさせるとともに、前記端末の向きに基づいてオブジェクトを選択する、
前記(2)〜(5)のいずれか一項に記載の表示制御装置。
(7)
前記表示制御部は、ユーザから所定の操作が入力されたか否かに基づいて、前記コンテンツをスクロールさせるか否かを決定する、
前記(1)〜(6)のいずれか一項に記載の表示制御装置。
(8)
第1の検出部により検出された表示部の向きを取得することと、
コンテンツを表示部に表示させることと、
前記表示部の向きに応じて前記コンテンツをスクロールさせること、
を含む、表示制御方法。
(9)
コンピュータを、
第1の検出部により検出された表示部の向きを取得する第1の取得部と、
コンテンツを表示部に表示させる表示制御部と、を備え、
前記表示制御部は、前記表示部の向きに応じて前記コンテンツをスクロールさせる、
表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
1 情報処理システム
10 表示制御装置
110 制御部
111 第1の取得部
112 第2の取得部
113 表示制御部
120 記憶部
131 第1の入力部
132 第2の入力部
150 表示部
151 第1の検出部
170 端末
171 第2の検出部
B1〜B4 オブジェクト
C1〜C11 コンテンツ

Claims (13)

  1. 第1の検出部により検出されたヘッドマウントディスプレイの向きを取得する第1の取得部と、
    第2の検出部により検出された、端末の向きを取得する第2の取得部と、
    コンテンツを前記ヘッドマウントディスプレイに表示させる表示制御部と、を備え、
    前記表示制御部は、前記ヘッドマウントディスプレイの向きに対する前記端末の相対的な向きに応じて、ユーザから見て予め定められた方向に沿って前記コンテンツをスクロールさせるとともに、前記端末の向きに基づいてオブジェクトを選択する、
    表示制御装置。
  2. 前記表示制御部は、前記ヘッドマウントディスプレイの向きと前記端末の向きとの角度差に応じて、前記コンテンツのスクロール速度を制御する、
    請求項1に記載の表示制御装置。
  3. 前記表示制御部は、前記ヘッドマウントディスプレイの向きと前記端末の向きとが一致または所定の範囲に収まった場合には、前記コンテンツのスクロールを停止する、
    請求項1に記載の表示制御装置。
  4. 前記表示制御部は、前記端末の向きに応じて前記コンテンツをスクロールさせるか前記オブジェクトを選択するかを、前記端末に対するユーザからの所定の操作の有無に応じて切り替える、
    請求項に記載の表示制御装置。
  5. 前記所定の操作は、前記端末に対するタッチ操作である、
    請求項に記載の表示制御装置。
  6. 前記表示制御部は、前記端末に対する長押し操作に応じて前記コンテンツのスクロールと前記オブジェクトの選択とは異なる処理を実行する、
    請求項に記載の表示制御装置。
  7. 前記コンテンツのスクロールと前記オブジェクトの選択とは異なる処理は、前の画面に戻す処理である、
    請求項に記載の表示制御装置。
  8. 前記端末は、ユーザに把持して使用される携帯端末である、
    請求項1からのいずれか1項に記載の表示制御装置。
  9. 前記携帯端末は、ビデオカメラ、スマートフォンまたはPDAである、
    請求項8に記載の表示制御装置。
  10. 前記第2の検出部は、加速度センサおよびジャイロセンサを含む、
    請求項1からのいずれか1項に記載の表示制御装置。
  11. 前記予め定められた方向は、左方向または右方向である、
    請求項1から10のいずれか1項に記載の表示制御装置。
  12. 第1の検出部により検出されたヘッドマウントディスプレイの向きを取得することと、
    第2の検出部により検出された、端末の向きを取得することと、
    コンテンツを前記ヘッドマウントディスプレイに表示させることと、
    を含み、
    前記ヘッドマウントディスプレイの向きに対する前記端末の相対的な向きに応じて、ユーザから見て予め定められた方向に沿って前記コンテンツをスクロールさせるとともに、前記端末の向きに基づいてオブジェクトを選択することを含む、
    表示制御方法。
  13. コンピュータを、
    第1の検出部により検出されたヘッドマウントディスプレイの向きを取得する第1の取得部と、
    第2の検出部により検出された、端末の向きを取得する第2の取得部と、
    コンテンツをヘッドマウントディスプレイに表示させる表示制御部と、を備え、
    前記表示制御部は、前記ヘッドマウントディスプレイの向きに対する前記端末の相対的な向きに応じて、ユーザから見て予め定められた方向に沿って前記コンテンツをスクロールさせるとともに、前記端末の向きに基づいてオブジェクトを選択する
    表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。

JP2015516976A 2013-05-15 2014-03-18 表示制御装置、表示制御方法および記録媒体 Active JP6308214B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013102885 2013-05-15
JP2013102885 2013-05-15
PCT/JP2014/057412 WO2014185146A1 (ja) 2013-05-15 2014-03-18 表示制御装置、表示制御方法および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2014185146A1 JPWO2014185146A1 (ja) 2017-02-23
JP6308214B2 true JP6308214B2 (ja) 2018-04-11

Family

ID=51898131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015516976A Active JP6308214B2 (ja) 2013-05-15 2014-03-18 表示制御装置、表示制御方法および記録媒体

Country Status (5)

Country Link
US (2) US9940009B2 (ja)
EP (1) EP2998849A4 (ja)
JP (1) JP6308214B2 (ja)
CN (1) CN105247466B (ja)
WO (1) WO2014185146A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105210144B (zh) * 2013-05-21 2017-12-08 索尼公司 显示控制装置、显示控制方法和记录介质
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
JP6459516B2 (ja) * 2015-01-06 2019-01-30 セイコーエプソン株式会社 表示システム、プログラム、サーバー装置、及び、表示装置の制御方法
JP2018508909A (ja) * 2015-03-20 2018-03-29 華為技術有限公司Huawei Technologies Co.,Ltd. インテリジェントなインタラクション方法、装置、および、システム
GB2543019A (en) * 2015-07-23 2017-04-12 Muzaffar Saj Virtual reality headset user input system
US11010972B2 (en) * 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
US10722800B2 (en) 2016-05-16 2020-07-28 Google Llc Co-presence handling in virtual reality
WO2017201162A1 (en) * 2016-05-17 2017-11-23 Google Llc Virtual/augmented reality input device
JP2018037034A (ja) * 2016-09-02 2018-03-08 株式会社タカラトミー 情報処理システム
JP2018101019A (ja) 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
WO2019032967A1 (en) * 2017-08-10 2019-02-14 Google Llc HAND INTERACTION SENSITIVE TO THE CONTEXT
EP4325438A3 (en) * 2018-06-21 2024-04-10 Magic Leap, Inc. Methods and apparatuses for providing input for head-worn image display devices
JP2021119431A (ja) * 2020-01-30 2021-08-12 セイコーエプソン株式会社 表示システム、コントローラー、表示システムの制御方法およびプログラム
WO2022091700A1 (ja) 2020-10-27 2022-05-05 富士フイルム株式会社 表示制御装置、表示制御方法、および表示制御プログラム

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795498A (ja) 1993-09-24 1995-04-07 Sony Corp 眼鏡型ディスプレイ
US6624824B1 (en) * 1996-04-30 2003-09-23 Sun Microsystems, Inc. Tilt-scrolling on the sunpad
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
JP2003280785A (ja) 2002-03-26 2003-10-02 Sony Corp 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
US20090040308A1 (en) 2007-01-15 2009-02-12 Igor Temovskiy Image orientation correction method and system
US9770611B2 (en) * 2007-05-03 2017-09-26 3M Innovative Properties Company Maintenance-free anti-fog respirator
JP2009021914A (ja) * 2007-07-13 2009-01-29 Sony Corp 撮像表示システム、撮像表示装置、撮像表示装置の制御方法
KR20100035924A (ko) * 2008-09-29 2010-04-07 삼성전자주식회사 디스플레이장치 및 외부입력장치를 가지는 디스플레이 시스템과 그 제어 방법
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP5446624B2 (ja) * 2009-09-07 2014-03-19 ソニー株式会社 情報表示装置、情報表示方法及びプログラム
JP2011082781A (ja) * 2009-10-07 2011-04-21 Nikon Corp ヘッドマウントディスプレイ装置
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US20120064951A1 (en) * 2010-09-13 2012-03-15 Sony Ericsson Mobile Communications Ab Hands-Free Control of Mobile Communication Device Based on Head Movement
WO2012040086A1 (en) * 2010-09-20 2012-03-29 Kopin Corporation Miniature communications gateway for head mounted display
KR101823148B1 (ko) * 2010-12-30 2018-01-30 주식회사 알티캐스트 휴대 단말기 및 이를 이용한 디스플레이 장치에서의 출력 화면 제어 방법
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
EP2485119A3 (en) * 2011-02-02 2012-12-12 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
JP5718078B2 (ja) 2011-02-04 2015-05-13 光精工株式会社 閉塞鍛造装置および閉塞鍛造方法
JP5757791B2 (ja) * 2011-06-03 2015-07-29 オリンパス株式会社 入力システム、頭部装着型表示装置、情報端末装置及びプログラム
JP5800602B2 (ja) 2011-06-29 2015-10-28 オリンパス株式会社 情報処理システム、携帯電子機器、プログラム及び情報記憶媒体
US9285592B2 (en) * 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US9201625B2 (en) * 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
US9747723B2 (en) * 2012-09-04 2017-08-29 Cisco Technology, Inc. Augmented reality for video system
US20140198034A1 (en) * 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
US9213403B1 (en) * 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
JPWO2014188798A1 (ja) * 2013-05-21 2017-02-23 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
TW201447737A (zh) * 2013-06-13 2014-12-16 Compal Electronics Inc 顯示裝置操作方法及系統
US9383818B2 (en) * 2013-12-27 2016-07-05 Google Technology Holdings LLC Method and system for tilt-based actuation
KR102302876B1 (ko) * 2014-06-23 2021-09-17 삼성전자주식회사 생체 전극 및 이를 이용한 생체 신호 처리 장치 및 방법
KR102227087B1 (ko) * 2014-07-08 2021-03-12 엘지전자 주식회사 글래스 타입 단말기 및 그것의 제어방법
WO2016021252A1 (ja) * 2014-08-05 2016-02-11 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
US9910504B2 (en) * 2014-08-21 2018-03-06 Samsung Electronics Co., Ltd. Sensor based UI in HMD incorporating light turning element
KR102183212B1 (ko) * 2014-11-18 2020-11-25 삼성전자주식회사 화면 제어 방법 및 그 방법을 처리하는 전자 장치
KR20160133328A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US9703102B2 (en) * 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display
US10591728B2 (en) * 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
KR20170126295A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
KR20180002255A (ko) * 2016-06-29 2018-01-08 엘지전자 주식회사 글래스 타입의 이동 단말기
KR102593344B1 (ko) * 2016-07-06 2023-10-25 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치의 화면 제어 방법

Also Published As

Publication number Publication date
CN105247466A (zh) 2016-01-13
US20180181273A1 (en) 2018-06-28
US9940009B2 (en) 2018-04-10
EP2998849A4 (en) 2017-01-25
CN105247466B (zh) 2019-07-26
US20160085403A1 (en) 2016-03-24
WO2014185146A1 (ja) 2014-11-20
JPWO2014185146A1 (ja) 2017-02-23
EP2998849A1 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
JP6308214B2 (ja) 表示制御装置、表示制御方法および記録媒体
KR102492280B1 (ko) 뱅글 타입의 모바일 디바이스와 그 제어 방법 및 ui 표시 방법
KR102365615B1 (ko) 뱅글 타입의 모바일 디바이스와 그 제어 방법 및 ui 표시 방법
JP7263565B2 (ja) ユーザインタフェースの一部の移動を介するコンピューティングデバイスとのインタラクション
JP6112905B2 (ja) ディスプレイ装置の画面スクロール方法及びその装置
JP5751030B2 (ja) 表示制御装置、表示制御方法、及びプログラム
KR102161510B1 (ko) 포터블 디바이스 및 그 제어 방법
JP5962547B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2015508211A (ja) カメラモジュールを通じてユーザの頭部を追跡することによりスクリーンを制御する方法及び装置、並びにそのコンピュータ可読記録媒体
JP5754074B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2015507783A (ja) ディスプレイ装置及びそれを用いた画面モード変更方法
WO2015096020A1 (en) Adaptive enclosure for a mobile computing device
US20130155108A1 (en) Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
EP2521020A1 (en) Systems and methods for interface management
JPWO2015170520A1 (ja) 情報処理システムおよび情報処理方法
CA2782786A1 (en) Electronic device interface
JP5935267B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2013168144A (ja) イメージ表示方法及びその装置
KR101457351B1 (ko) 터치 스크린 기반의 투명 제어 영역과 제스처 패턴을 이용한 멀티미디어 장치 및 이를 이용한 멀티미디어 제어 방법
US9886167B2 (en) Display apparatus and control method thereof
KR102508833B1 (ko) 전자 장치, 전자 장치의 문자 입력 방법
KR101414823B1 (ko) 장치의 움직임에 반응하여 사용자 인터페이스 화면을 디스플레이하는 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
KR20160106315A (ko) 화면을 제어하는 방법, 저장 매체 및 이동 단말
EP2672374A1 (en) Detection of circular motion in a two-dimensional space
CN106062667A (zh) 用于处理用户输入的设备和方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180226

R151 Written notification of patent or utility model registration

Ref document number: 6308214

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151