JPWO2016157951A1 - 表示制御装置、表示制御方法および記録媒体 - Google Patents

表示制御装置、表示制御方法および記録媒体 Download PDF

Info

Publication number
JPWO2016157951A1
JPWO2016157951A1 JP2017509318A JP2017509318A JPWO2016157951A1 JP WO2016157951 A1 JPWO2016157951 A1 JP WO2016157951A1 JP 2017509318 A JP2017509318 A JP 2017509318A JP 2017509318 A JP2017509318 A JP 2017509318A JP WO2016157951 A1 JPWO2016157951 A1 JP WO2016157951A1
Authority
JP
Japan
Prior art keywords
display control
display area
designated position
control unit
outside
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017509318A
Other languages
English (en)
Inventor
誠司 鈴木
誠司 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016157951A1 publication Critical patent/JPWO2016157951A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザによって指定された位置が表示領域の外側である場合に、表示領域の外側が指定された旨をユーザに対してフィードバックする。【解決手段】ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出する検出部と、前記指定位置に基づいて表示制御を行う表示制御部と、を備え、前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行う、表示制御装置が提供される。【選択図】図１

Description

本開示は、表示制御装置、表示制御方法および記録媒体に関する。
近年、ユーザによる指定ベクトルと表示領域との交点を指定位置として検出し、指定位置に応じた表示制御を行う技術が知られている。例えば、カメラによって撮像された画像からユーザの手領域を検出し、手領域から影部分を抽出し、ハフ変換により影部分のエッジを線分として複数検出し、検出した線分の中から鋭角をなす交点の位置をユーザによる指定位置として検出する技術が開示されている（例えば、特許文献１参照）。
特開２００８−５９２８３号公報
しかし、ユーザによって指定された位置が表示領域の外側である場合に、表示領域の外側が指定された旨をユーザに対してフィードバックすることが望ましい。
本開示によれば、ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出する検出部と、前記指定位置に基づいて表示制御を行う表示制御部と、を備え、前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行う、表示制御装置が提供される。
また、本開示によれば、ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出することと、前記指定位置に基づいて表示制御を行うことと、を含み、前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行うことを含む、表示制御方法が提供される。
また、本開示によれば、コンピュータを、ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出する検出部と、前記指定位置に基づいて表示制御を行う表示制御部と、を備え、前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行う、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体が提供される。
以上説明したように本開示によれば、ユーザによって指定された位置が表示領域の外側である場合に、表示領域の外側が指定された旨をユーザに対してフィードバックすることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの概要について説明するための図である。 同実施形態に係る表示制御装置の機能構成例を示す図である。 ユーザの肘から手首への方向がユーザによる指定ベクトルとして与えられる例を示す図である。 ユーザの肘から指先への方向がユーザによる指定ベクトルとして与えられる例を示す図である。 指定ベクトルと表示領域を含む平面との交点を指定位置として検出する例を説明するための図である。 指定位置が表示領域の外側である場合における第一の表示制御例を示す図である。 指定位置が表示領域の外側である場合における第二の表示制御例を示す図である。 指定位置が表示領域の外側である場合における第三の表示制御例を示す図である。 指定位置が表示領域の外側である場合において表示領域にオブジェクトを表示させる動作の流れの例を示すフローチャートである。 指定位置が表示領域の外側である場合における第四の表示制御例を示す図である。 指定位置が表示領域の外側である場合において指定位置を補正する動作の流れの例を示すフローチャートである。 指定位置が表示領域の外側である場合における第五の表示制御例を示す図である。 指定位置が表示領域の外側である場合において指定位置に基づいてコンテンツをスクロールさせる動作の流れの例を示すフローチャートである。 指定位置が表示領域の外側である場合における第六の表示制御例を示す図である。 指定位置が表示領域の外側である場合における第七の表示制御例を示す図である。 指定位置が表示領域の外側である場合における第八の表示制御例を示す図である。 指定位置の移動に基づいてコンテンツに対する処理を行う動作の流れの例を示すフローチャートである。 センサによって検出されたセンサデータに基づいて指定ベクトルが与えられる例を説明するための図である。 センサによって検出されたセンサデータに基づいて指定ベクトルが与えられる例を説明するための図である。 本開示の実施形態に係る表示制御装置のハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
１．実施形態
１−１．情報処理システムの概要
１−２．表示制御装置の機能構成例
１−３．指定ベクトル算出の一例
１−４．キャリブレーションデータ
１−５．指定位置に応じた表示制御例
１−６．指定ベクトル算出の他の例
１−７．ハードウェア構成例
２．むすび
＜＜１．実施形態＞＞
［１−１．情報処理システムの概要］
最初に、本開示の実施形態に係る情報処理システム１０の概要について説明する。図１は、本開示の実施形態に係る情報処理システム１０の概要について説明するための図である。図１に示すように、情報処理システム１０は、表示制御装置１００、検出装置１２０および表示装置１７０を備えている。
検出装置１２０は、画像を撮像するカメラモジュールである。検出装置１２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像し、画像を生成する。検出装置１２０により生成される画像は、表示制御装置１００に出力される。なお、図１に示した例では、検出装置１２０は表示制御装置１００と別体に構成されているが、検出装置１２０は表示制御装置１００と一体化されていてもよい。
表示装置１７０は、表示制御装置１００による制御に従って、表示領域１７１に各種情報の表示を行う。表示装置１７０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置などにより構成される。なお、図１に示した例では、表示装置１７０は表示制御装置１００と別体に構成されているが、表示装置１７０は表示制御装置１００と一体化されていてもよい。表示装置１７０は、表示領域１７１を有しており、表示制御装置１００は、表示領域１７１にコンテンツＣ１〜Ｃ６を表示させている。
ここで、ユーザＵによる指定ベクトルと表示領域１７１との交点を指定位置として検出し、指定位置に応じた表示制御を行う技術が知られている。例えば、指定ベクトルと表示領域１７１との交点がコンテンツＣ１〜Ｃ６のいずれかに所定時間を超えて存在する場合、所定時間を超えて当該交点が存在したコンテンツを拡大表示してもよい（所定時間を超えて当該交点が存在したコンテンツのスライドショーを開始してもよい）。
しかし、ユーザＵによって指定された位置が表示領域１７１の外側である場合に、表示領域１７１の外側が指定された旨をユーザＵに対してフィードバックすることが望ましい。このようなフィードバックは、表示領域１７１の内側を指定しようとしたユーザＵにとっても有用であり、表示領域１７１の外側を指定しようとしたユーザＵにとっても有用であると考えられる。本明細書においては、かかるフィードバックを行う技術について主に説明する。
なお、以下の説明においては、表示制御装置１００がＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に適用される場合を例として説明するが、表示制御装置１００は、ＰＣ以外の装置に適用されてもよい。例えば、表示制御装置１００は、ビデオカメラ、デジタルカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、タブレット端末、スマートフォン、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器、テレビジョン装置、デジタルサイネージなどに適用されてもよい。
以上、本開示の実施形態に係る情報処理システム１０の概要について説明した。
［１−２．表示制御装置の機能構成例］
続いて、本開示の実施形態に係る表示制御装置１００の機能構成例について説明する。図２は、本開示の実施形態に係る表示制御装置１００の機能構成例を示す図である。図２に示すように、表示制御装置１００は、制御部１１０および記憶部１３０を備える。
制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１１０は、記憶部１３０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０が有する様々な機能を発揮する。制御部１１０は、検出部１１１、表示制御部１１２および実行部１１３などの各機能ブロックを有する。これら各機能ブロックが有する機能については後に説明する。
記憶部１３０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１３０は、プログラムによって使用される各種のデータ（例えば、画像など）を記憶することもできる。なお、図２に示した例では、記憶部１３０は表示制御装置１００と一体化されているが、記憶部１３０は表示制御装置１００と別体に構成されていてもよい。
以上、本開示の実施形態に係る表示制御装置１００の機能構成例について説明した。
［１−３．指定ベクトル算出の一例］
まず、ユーザＵによる指定ベクトルはどのように与えられてもよいが、ユーザＵによる指定ベクトルがユーザの指差しによって与えられる例について説明する。図３は、ユーザＵの肘から手首への方向がユーザＵによる指定ベクトルとして与えられる例を示す図である。図３に示すように、検出部１１１は、検出装置１２０によって撮像された画像からユーザＵの骨格情報を３次元的に認識する。そして、検出部１１１は、３次元的に認識された骨格情報から肘ｂ１および手首ｂ２それぞれの位置が取得された場合、肘ｂ１から手首ｂ２への方向を指定ベクトルｖとして検出することが可能である。
また、図４は、ユーザＵの肘から指先への方向がユーザＵによる指定ベクトルとして与えられる例を示す図である。図４に示すように、検出部１１１は、検出装置１２０によって撮像された画像からユーザＵの骨格情報を３次元的に認識する。そして、検出部１１１は、３次元的に認識された骨格情報から手首ｂ２および指先ｂ３それぞれの位置が取得された場合、手首ｂ２から指先ｂ３への方向を指定ベクトルｖとして検出することが可能である。
ここで、手首ｂ２から指先ｂ３への方向を指定ベクトルｖとして検出した場合には、肘ｂ１から手首ｂ２への方向を指定ベクトルｖとして検出した場合よりも、より高精度に指定ベクトルｖを算出することができると考えられる。これらの例のように、手首ｂ２から指先ｂ３への方向および肘ｂ１から手首ｂ２への方向のいずれか一方が指定ベクトルｖとして用いられてもよいが、手首ｂ２から指先ｂ３への方向および肘ｂ１から手首ｂ２への方向の平均が指定ベクトルｖとして用いられてもよい。
［１−４．キャリブレーションデータ］
続いて、検出部１１１は、指定ベクトルｖと表示領域１７１を含む平面との交点を指定位置として検出する。図５は、指定ベクトルｖと表示領域１７１を含む平面との交点を指定位置として検出する例を説明するための図である。例えば、ｔをスケール変数とし、手首ｂ２の座標をｐとし、検出装置１２０から表示装置１７０への射影行列をＰとすると、検出部１１１は、指定ベクトルｖと表示領域１７１を含む平面との交点ｘを、以下の式（１）によって算出することができる。
ｘ＝Ｐ（ｔｖ＋ｐ） ・・・（１）
このとき、検出装置１２０と表示装置１７０との相対的な位置関係が定まっている場合には（例えば、表示装置１７０の所定位置に検出装置１２０が組み込まれる場合などには）、あらかじめ決められた射影行列Ｐが用いられてよい。一方、検出装置１２０と表示装置１７０との相対的な位置関係が定まっていない場合には（例えば、表示装置１７０と検出装置１２０とが別々に設置される場合や、プロジェクタに検出装置１２０が埋め込まれる場合などには）、表示制御装置１００によってキャリブレーションが実行されるとよい（射影変換Ｐが算出されてよい）。
例えば、表示領域１７１の四隅と表示領域１７１の中心との計５点に対してユーザＵによって順番に指差しが実行され、５点に向けたユーザＵによる指差しに基づいてキャリブレーションが実行されてもよい。また、検出装置１２０に固定されたカメラによって表示領域１７１に表示されたオブジェクトが読み取られ、読み取られたオブジェクトの位置に基づいてキャリブレーションが実行されてもよい。一度計算されたキャリブレーションデータは、検出装置１２０と表示装置１７０との位置関係が変わらない限り、使い続けられ得る。
［１−５．指定位置に応じた表示制御例］
続いて、表示制御部１１２は、指定位置に基づいて表示制御を行う。そして、表示制御部１１２は、指定位置が表示領域１７１の外側である場合に、所定の表示制御を行う。かかる構成により、ユーザＵによって指定された位置が表示領域１７１の外側である場合に、表示領域１７１の外側が指定された旨をユーザＵに対してフィードバックすることが可能となる。所定の表示制御については特に限定されない。以下、所定の表示制御の例について説明する。
図６は、指定位置が表示領域１７１の外側である場合における第一の表示制御例を示す図である。図６を参照すると、表示領域１７１の中心が中心位置Ｐｃとして示されている。ここで、表示制御部１１２は、指定位置が表示領域１７１の外側である場合に、表示領域１７１にオブジェクトを表示させてもよい。そうすれば、表示領域１７１の外側が指定された旨をユーザＵに対して視覚的に知らせることが可能となる。図６に示した例では、ユーザＵによって表示領域１７１の外側である指定位置Ｐｔ１が指定されているため、表示制御部１１２は、表示領域１７１にオブジェクトＢ１を表示させている。
表示領域１７１に表示されるオブジェクトは、ユーザＵが視認可能であればよく、オブジェクトの色、サイズ、形状などは特に限定されない。また、オブジェクトの表示位置は特に限定されないが、例えば、表示制御部１１２は、指定位置が表示領域１７１の外側である場合に、表示領域１７１の端部にオブジェクトを表示させてよい。そうすれば、表示領域１７１の外側が指定された旨をより直感的にユーザＵに知らせることが可能となる。図６に示した例では、指定位置Ｐｔ１が表示領域１７１の外側であるため、表示制御部１１２は、表示領域１７１の端部にオブジェクトＢ１を表示させている。
特に、表示制御部１１２は、指定位置が表示領域１７１の外側である場合に、表示領域１７１の端部と表示領域１７１の所定位置（例えば、中心位置Ｐｃ）および指定位置を結ぶ線分との交点にオブジェクトを表示させてよい。そうすれば、ユーザＵによる指定位置が表示領域１７１の位置を基準としてどちらの方向にあるかについてもユーザＵに知らせることが可能となる。図６に示した例では、指定位置Ｐｔ１が表示領域１７１の外側であるため、表示制御部１１２は、表示領域１７１の端部と表示領域１７１の所定位置（例えば、中心位置Ｐｃ）および指定位置Ｐｔ１を結ぶ線分との交点Ｔ１にオブジェクトＢ１を表示させている。
以下、表示領域１７１の所定位置が中心位置Ｐｃである場合を主に例として説明するが、表示領域１７１の所定位置は中心位置Ｐｃに限定されない。
また、表示制御部１１２は、指定位置に依存せずに同一のオブジェクトを表示領域１７１に表示させてもよいし、指定位置に応じてオブジェクトを変化させてもよい。例えば、表示制御部１１２は、指定位置に応じてオブジェクトのサイズを変化させてもよい。図６を参照すると、表示制御部１１２は、指定位置Ｐｔ２も表示領域１７１の外側であるため、表示領域１７１の端部と表示領域１７１の中心位置Ｐｃおよび指定位置を結ぶ線分との交点Ｔ２にオブジェクトＢ２を表示させている。
ここで、図６に示した例では、表示制御部１１２は、交点Ｔ１から指定位置Ｐｔ１までの距離Ｄ１が、交点Ｔ２から指定位置Ｐｔ２までの距離Ｄ２よりも小さいため、オブジェクトＢ１のサイズをオブジェクトＢ２のサイズよりも大きくしている。このように、表示制御部１１２は、表示領域１７１の端部と表示領域１７１の中心位置Ｐｃおよび指定位置を結ぶ線分との交点から指定位置までの距離が小さくなるほど、オブジェクトのサイズを大きくしてもよいが、オブジェクトのサイズをどのように変化させるかは限定されない。そのため、表示制御部１１２は、当該交点から指定位置までの距離が小さくなるほど、オブジェクトのサイズを小さくしてもよい。
図７は、指定位置が表示領域１７１の外側である場合における第二の表示制御例を示す図である。上記した例では、表示制御部１１２が指定位置に応じてオブジェクトのサイズを変化させる例を説明した。しかし、表示制御部１１２は、指定位置に応じてオブジェクトの形状を変化させてもよい。ここで、図７に示した例では、表示制御部１１２は、交点Ｔ１から指定位置Ｐｔ１までの距離Ｄ１が、交点Ｔ２から指定位置Ｐｔ２までの距離Ｄ２よりも小さいため、オブジェクトＢ１の変形度合いをオブジェクトＢ２の変形度合いよりも小さくしている（オブジェクトＢ１の形状は、指定位置が表示領域１７１の内部にある場合と同様に半円形状であり、オブジェクトＢ２の形状は、半楕円形状である）。
このように、表示制御部１１２は、表示領域１７１の端部と表示領域１７１の中心位置Ｐｃおよび指定位置を結ぶ線分との交点から指定位置までの距離が小さくなるほど、オブジェクトの変形度合いを小さくしてもよいが、オブジェクトの形状をどのように変化させるかは限定されない。そのため、表示制御部１１２は、当該交点から指定位置までの距離が小さくなるほど、オブジェクトの変形度合いを大きくしてもよい。
図８は、指定位置が表示領域１７１の外側である場合における第三の表示制御例を示す図である。上記した例では、表示制御部１１２が指定位置に応じてオブジェクトの形状を変化させる例を説明した。しかし、表示制御部１１２は、指定位置に応じてオブジェクトの色を変化させてもよい。ここで、図８に示した例では、表示制御部１１２は、交点Ｔ１から指定位置Ｐｔ１までの距離Ｄ１が、表示領域１７１の中心位置Ｐｃから指定位置Ｐｔ２までの距離Ｄ２よりも小さいため、オブジェクトＢ１の色をオブジェクトＢ２の色よりも薄くしている。
このように、表示制御部１１２は、表示領域１７１の端部と表示領域１７１の中心位置Ｐｃおよび指定位置を結ぶ線分との交点から指定位置までの距離が小さくなるほど、オブジェクトの色を薄くしてもよいが、オブジェクトの色をどのように変化させるかは限定されない。そのため、表示制御部１１２は、表示領域１７１の中心位置Ｐｃから指定位置までの距離が小さくなるほど、オブジェクトの色を濃くしてもよい。あるいは、オブジェクトの色の変化は、オブジェクトの色の濃さの変化でなくてもよい。
以上、指定位置が表示領域１７１の外側である場合において表示領域１７１にオブジェクトを表示させる例について説明した。続いて、かかる動作の流れの例について説明する。図９は、指定位置が表示領域１７１の外側である場合において表示領域１７１にオブジェクトを表示させる動作の流れの例を示すフローチャートである。なお、指定位置が表示領域１７１の外側である場合において表示領域１７１にオブジェクトを表示させる動作は、図９のフローチャートに示された例に限定されない。
まず、検出部１１１は、検出装置１２０によって撮像された画像に基づいてユーザによる指定ベクトルを算出する（Ｓ１１）。続いて、検出部１１１は、ユーザによる指定ベクトルと表示領域１７１を含む平面との交点を指定位置として検出する（Ｓ１２）。続いて、表示制御部１１２は、指定位置が表示領域１７１の外側か否かを判定する（Ｓ１３）。表示制御部１１２は、指定位置が表示領域１７１の外側ではないと判定した場合には（Ｓ１３：Ｎｏ）、Ｓ１５に動作を移行させる。一方、指定位置が表示領域１７１の外側であると判定した場合には（Ｓ１３：Ｙｅｓ）、表示領域１７１にオブジェクトを表示させて（Ｓ１４）、Ｓ１５に動作を移行させる。
続いて、実行部１１３は、ユーザによって所定の操作がなされたか否かを判定する（Ｓ１５）。実行部１１３は、ユーザによって所定の操作がなされなかったと判定した場合（Ｓ１５：Ｎｏ）、動作を終了する。一方、実行部１１３は、ユーザによって所定の操作がなされたと判定した場合（Ｓ１５：Ｙｅｓ）、指定位置に対応する処理を実行して（Ｓ１６）、動作を終了する。指定位置に対応する処理は特に限定されないが、上記したように、所定時間を超えてユーザＵによる指定ベクトルと表示領域１７１との交点が存在したコンテンツを拡大表示する処理であってもよい。
続いて、指定位置が表示領域１７１の外側である場合における第四の表示制御例について説明する。図１０は、指定位置が表示領域１７１の外側である場合における第四の表示制御例を示す図である。上記した例では、表示制御部１１２が指定位置に応じて表示領域１７１にオブジェクトを表示させる例を説明した。しかし、表示制御部１１２は、指定位置が表示領域１７１の外側である場合に、指定位置を補正してもよい。かかる構成により、指定位置が表示領域１７１の外側に出てしまった場合であっても、指定位置が補正後の指定位置にシフトされる。
補正後の指定位置は限定されないが、例えば、図１０に示したように、表示制御部１１２は、指定位置Ｐｄが表示領域１７１の外側である場合に、中心位置Ｐｃおよび指定位置Ｐｄを結ぶ線分と表示領域１７１の端部との交点Ｐｅに指定位置Ｐｄを補正してよい。交点Ｐｅに指定位置Ｐｄが補正されれば、どこが補正後の指定位置であるのかをユーザが把握しやすい。なお、表示領域１７１の周囲に補正領域Ａｒが設けられていてもよい。表示制御部１１２は、指定位置Ｐｄが補正領域Ａｒの内部である場合に、指定位置Ｐｄを補正するようにしてもよい。
以上、指定位置が表示領域１７１の外側である場合において指定位置を補正する例について説明した。続いて、かかる動作の流れの例について説明する。図１１は、指定位置が表示領域１７１の外側である場合において指定位置を補正する動作の流れの例を示すフローチャートである。なお、指定位置が表示領域１７１の外側である場合において指定位置を補正する動作は、図１１のフローチャートに示された例に限定されない。
まず、検出部１１１は、検出装置１２０によって撮像された画像に基づいてユーザによる指定ベクトルを算出する（Ｓ１１）。続いて、検出部１１１は、ユーザによる指定ベクトルと表示領域１７１を含む平面との交点を指定位置として検出する（Ｓ１２）。続いて、表示制御部１１２は、指定位置が表示領域１７１の外側か否かを判定する（Ｓ１３）。表示制御部１１２は、指定位置が表示領域１７１の外側ではないと判定した場合には（Ｓ１３：Ｎｏ）、Ｓ１５に動作を移行させる。一方、指定位置が表示領域１７１の外側であると判定した場合には（Ｓ１３：Ｙｅｓ）、指定位置を補正して（Ｓ２１）、Ｓ１５に動作を移行させる。
続いて、実行部１１３は、ユーザによって所定の操作がなされたか否かを判定する（Ｓ１５）。実行部１１３は、ユーザによって所定の操作がなされなかったと判定した場合（Ｓ１５：Ｎｏ）、動作を終了する。一方、実行部１１３は、ユーザによって所定の操作がなされたと判定した場合（Ｓ１５：Ｙｅｓ）、指定位置に対応する処理を実行して（Ｓ１６）、動作を終了する。指定位置に対応する処理は特に限定されないが、上記したように、所定時間を超えてユーザＵによる指定ベクトルと表示領域１７１との交点が存在したコンテンツを拡大表示する処理であってもよい。
続いて、指定位置が表示領域１７１の外側である場合における第五の表示制御例について説明する。図１２は、指定位置が表示領域１７１の外側である場合における第五の表示制御例を示す図である。上記した例では、指定位置が表示領域１７１の外側である場合に、指定位置を補正する例を説明した。しかし、表示制御部１１２は、指定位置が表示領域１７１の外側である場合に、指定位置に基づいて表示領域１７１のコンテンツをスクロールさせてもよい。かかる構成により、コンテンツのスクロール可能量を大きくすることが可能となる。
コンテンツのスクロール方向は限定されないが、例えば、図１２に示したように、表示制御部１１２は、指定位置Ｐｔが表示領域１７１の外側である場合に、中心位置Ｐｃを基準とした指定位置Ｐｔの方向に基づいてコンテンツをスクロールさせてもよい。このような方向にコンテンツがスクロールされれば、ユーザは直感的にコンテンツのスクロール方向を指定することが可能である。なお、図１２には、地図データがコンテンツである場合が例として示されているが、コンテンツは地図データ以外であってもよい。例えば、コンテンツは写真データであってもよい（写真ビューアによって表示されてもよい）。
コンテンツのスクロール速度は限定されないが、例えば、表示制御部１１２は、指定位置Ｐｔが表示領域１７１の外側である場合に、表示領域１７１の基準位置（例えば、表示領域１７１の端部と表示領域１７１の中心位置Ｐｃおよび指定位置Ｐｔを結ぶ線分との交点）と指定位置Ｐｔとの距離Ｄに応じた速度によりコンテンツをスクロールさせてもよい。このような速度でコンテンツがスクロールされれば、ユーザは直感的にコンテンツのスクロール速度を指定することが可能である。
距離Ｄとコンテンツのスクロール速度との関係は限定されないが、例えば、表示制御部１１２は、指定位置が表示領域の外側である場合に、表示領域１７１の当該基準位置と指定位置との距離Ｄが大きくなるほど大きな速度によりコンテンツをスクロールさせてもよい。
なお、ここでは、表示制御部１１２は、指定位置が表示領域１７１の外側である場合に、指定位置に基づいて表示領域１７１のコンテンツをスクロールさせる例を説明した。しかし、表示制御部１１２は、指定位置が表示領域１７１の外側である場合に、指定位置に基づいて表示領域１７１のコンテンツを切り替えてもよい。
コンテンツの切り替え方向は限定されないが、表示制御部１１２は、指定位置Ｐｔが表示領域１７１の外側である場合に、中心位置Ｐｃを基準とした指定位置Ｐｔの方向に基づいてコンテンツを切り替えてもよい。また、コンテンツの切り替え速度は限定されないが、例えば、表示制御部１１２は、指定位置Ｐｔが表示領域１７１の外側である場合に、表示領域１７１の基準位置（例えば、表示領域１７１の端部と表示領域１７１の中心位置Ｐｃおよび指定位置Ｐｔを結ぶ線分との交点）と指定位置Ｐｔとの距離Ｄに応じた速度によりコンテンツを切り替えてもよい。
以上、指定位置が表示領域１７１の外側である場合において指定位置に基づいてコンテンツをスクロールさせる例について説明した。続いて、かかる動作の流れの例について説明する。図１３は、指定位置が表示領域１７１の外側である場合において指定位置に基づいてコンテンツをスクロールさせる動作の流れの例を示すフローチャートである。なお、指定位置が表示領域１７１の外側である場合において指定位置に基づいてコンテンツをスクロールさせる動作は、図１３のフローチャートに示された例に限定されない。
まず、検出部１１１は、検出装置１２０によって撮像された画像に基づいてユーザによる指定ベクトルを算出する（Ｓ１１）。続いて、検出部１１１は、ユーザによる指定ベクトルと表示領域１７１を含む平面との交点を指定位置として検出する（Ｓ１２）。続いて、表示制御部１１２は、指定位置が表示領域１７１の外側か否かを判定する（Ｓ１３）。表示制御部１１２は、指定位置が表示領域１７１の外側ではないと判定した場合には（Ｓ１３：Ｎｏ）、動作を終了する。一方、指定位置が表示領域１７１の外側であると判定した場合には（Ｓ１３：Ｙｅｓ）、指定位置に基づいてコンテンツをスクロールさせて（Ｓ３１）、動作を終了する。
続いて、指定位置が表示領域１７１の外側である場合における第六の表示制御例について説明する。図１４は、指定位置が表示領域１７１の外側である場合における第六の表示制御例を示す図である。上記した例では、指定位置が表示領域１７１の外側である場合に、指定位置に基づいてコンテンツをスクロールさせる例を説明した。しかし、表示制御部１１２は、表示領域１７１の内側から外側への指定位置の移動がなされた場合に、指定位置の移動に基づいてドラッグ操作を行ってもよい。かかる構成により、ドラッグ操作の幅を大きくすることが可能となる。
ドラッグ操作の方向および大きさは限定されないが、例えば、図１４に示したように、表示制御部１１２は、表示領域１７１の内側の位置Ｐｔ１から外側の位置Ｐｔ２への指定位置の移動がなされた場合に、位置Ｐｔ１から外側の位置Ｐｔ２への方向および大きさに従ってドラッグ操作を行ってもよい。このような方向および大きさに従ってドラッグ操作が行われれば、ユーザは直感的にドラッグ操作を行うことが可能である。
続いて、指定位置が表示領域１７１の外側である場合における第七の表示制御例について説明する。図１５は、指定位置が表示領域１７１の外側である場合における第七の表示制御例を示す図である。上記した例では、表示領域１７１の内側から外側への指定位置の移動がなされた場合に、指定位置の移動に基づいてドラッグ操作を行う例を説明した。しかし、表示制御部１１２は、表示領域１７１の内側から外側に複数の指定位置それぞれの移動がなされた場合に、複数の指定位置それぞれの移動に基づいてピンチアウト操作を行ってもよい。かかる構成により、ピンチアウト操作の幅を大きくすることが可能となる。
ピンチアウト操作によって実行される動作はコンテンツの拡大であってよい。例えば、図１５に示したように、表示制御部１１２は、表示領域１７１の内側の位置Ｐｔ１から外側の位置Ｐｔ２への指定位置の移動と表示領域１７１の内側の位置Ｐｔ３から外側の位置Ｐｔ４への指定位置の移動とがなされた場合に、表示領域１７１に表示されているコンテンツの拡大を行ってもよい。ピンチアウト操作によってコンテンツの拡大がなされれば、ユーザは直感的にコンテンツの拡大を行うことが可能である。
続いて、指定位置が表示領域１７１の外側である場合における第八の表示制御例について説明する。図１６は、指定位置が表示領域１７１の外側である場合における第八の表示制御例を示す図である。上記した例では、表示領域１７１の内側から外側に複数の指定位置それぞれの移動がなされた場合に、複数の指定位置それぞれの移動に基づいてピンチアウト操作を行う例を説明した。しかし、表示制御部１１２は、表示領域１７１の外側から内側に複数の指定位置それぞれの移動がなされた場合に、複数の指定位置それぞれの移動に基づいてピンチイン操作を行ってもよい。かかる構成により、ピンチイン操作の幅を大きくすることが可能となる。
ピンチイン操作によって実行される動作はコンテンツの縮小であってよい。例えば、図１６に示したように、表示制御部１１２は、表示領域１７１の外側の位置Ｐｔ１から内側の位置Ｐｔ２への指定位置の移動と表示領域１７１の外側の位置Ｐｔ３から内側の位置Ｐｔ４への指定位置の移動とがなされた場合に、表示領域１７１に表示されているコンテンツの縮小を行ってもよい。ピンチイン操作によってコンテンツの縮小がなされれば、ユーザは直感的にコンテンツの縮小を行うことが可能である。
以上、指定位置の移動に基づいてコンテンツに対する処理を行う動作例について説明した。続いて、かかる動作の流れの例について説明する。図１７は、指定位置の移動に基づいてコンテンツに対する処理を行う動作の流れの例を示すフローチャートである。なお、指定位置の移動に基づいてコンテンツに対する処理を行う動作は、図１７のフローチャートに示された例に限定されない。
まず、検出部１１１は、検出装置１２０によって撮像された画像に基づいてユーザによる指定ベクトルを算出する（Ｓ１１）。続いて、検出部１１１は、ユーザによる指定ベクトルと表示領域１７１を含む平面との交点を指定位置として検出する（Ｓ１２）。続いて、表示制御部１１２は、表示領域１７１の内側から外側に指定位置の移動がなされたか否かを判定する（Ｓ４０）。
表示制御部１１２は、表示領域１７１の内側から外側に指定位置の移動がなされたと判定した場合には（Ｓ４０：Ｙｅｓ）、ドラッグ操作を行い（Ｓ４０）、動作を終了する。一方、表示制御部１１２は、表示領域１７１の内側から外側に指定位置の移動がなされなかったと判定した場合には（Ｓ４０：Ｎｏ）、表示領域１７１の外側から内側に複数の指定位置それぞれの移動がなされたか否かを判定する（Ｓ４２）。
続いて、表示制御部１１２は、表示領域１７１の外側から内側に複数の指定位置それぞれの移動がなされたと判定した場合には（Ｓ４２：Ｙｅｓ）、ピンチイン操作を行い（Ｓ４３）、動作を終了する。一方、表示制御部１１２は、表示領域１７１の外側から内側に複数の指定位置それぞれの移動がなされなかったと判定した場合には（Ｓ４２：Ｎｏ）、表示領域１７１の内側から外側に複数の指定位置それぞれの移動がなされたか否かを判定する（Ｓ４４）。
続いて、表示制御部１１２は、表示領域１７１の内側から外側に複数の指定位置それぞれの移動がなされたと判定した場合には（Ｓ４４：Ｙｅｓ）、ピンチアウト操作を行い（Ｓ４５）、動作を終了する。一方、表示制御部１１２は、表示領域１７１の内側から外側に複数の指定位置それぞれの移動がなされなかったと判定した場合には（Ｓ４４：Ｎｏ）、動作を終了する。
［１−６．指定ベクトル算出の他の例］
以上、指定位置が表示領域１７１の外側である場合における表示制御例について説明した。ここで、上記したように、ユーザＵによる指定ベクトルはどのように与えられてもよい。例えば、検出部１１１は、センサによって検出されたセンサデータに基づいて指定ベクトルが与えられてもよい。図１８は、センサによって検出されたセンサデータに基づいて指定ベクトルが与えられる例を説明するための図である。図１８に示すように、ユーザＵは、センサＲを操作することが可能である。
そして、検出部１１１は、センサＲによって検出されたセンサデータに基づいて指定ベクトルを算出し、指定ベクトルと表示領域１７１を含む平面との交点を指定位置として検出する。センサＲによって検出されるセンサデータは、センサＲの動きであってよい。例えば、センサデータは、加速度センサによって検出される加速度であってもよいし、ジャイロセンサによって検出される角速度であってもよい。例えば、指定ベクトルと表示領域１７１との交点の算出手法としては、国際公開第２００９／００８３７２号に開示されている手法が採用され得る。
また、指定ベクトルは、ユーザの視線によって与えられてもよい。図１９は、ユーザの視線によって指定ベクトルが与えられる例を説明するための図である。図１９に示すように、ユーザＵは、表示領域１７１に視線を送ることが可能である。ここで、検出部１１１は、ユーザＵの視線を検出する。ユーザＵの視線検出の手法は特に限定されない。
例えば、図示しない撮像装置によってユーザＵの目領域が撮像される場合には、検出部１１１は、ユーザＵの目領域を撮像して得られる撮像結果に基づいてユーザＵの視線を検出してよい。例えば、撮像装置として赤外線カメラが用いられる場合には、ユーザＵの目領域に対して赤外線を照射する赤外線照射装置が設けられてもよい。そうすれば、ユーザの目領域によって反射された赤外線が撮像装置によって撮像され得る。
あるいは、検出部１１１は、ユーザＵの頭部にＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）が装着されている場合には、ＨＭＤの向きに基づいてユーザＵの視線を検出してもよい。また、検出部１１１は、ユーザＵの身体に筋電センサが装着されている場合には、筋電センサにより検出された筋電に基づいてユーザＵの視線を検出してもよい。そして、検出部１１１は、ユーザＵの視線を指定ベクトルとして算出し、指定ベクトルと表示領域１７１を含む平面との交点を指定位置として検出する。
［１−７．ハードウェア構成例］
続いて、本開示の実施形態に係る表示制御装置１００のハードウェア構成例について説明する。図２０は、本開示の実施形態に係る表示制御装置１００のハードウェア構成例を示す図である。ただし、図２０に示したハードウェア構成例は、表示制御装置１００のハードウェア構成の一例を示したに過ぎない。したがって、表示制御装置１００のハードウェア構成は、図２０に示した例に限定されない。
図２０に示したように、表示制御装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、撮像装置８１３と、通信装置８１５とを備える。
ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１００内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
入力装置８０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。表示制御装置１００のユーザは、該入力装置８０８を操作することにより、表示制御装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置８１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
ストレージ装置８１１は、表示制御装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。
ドライブ８１２は、記憶媒体用リーダライタであり、表示制御装置１００に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体に情報を書き込むこともできる。
撮像装置８１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
通信装置８１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置８１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置８１５は、例えば、ネットワークを介して他の装置と通信を行うことが可能である。
以上、本開示の実施形態に係る表示制御装置１００のハードウェア構成例について説明した。
＜＜２．むすび＞＞
以上説明したように、本開示の実施形態によれば、ユーザＵによる指定ベクトルと表示領域１７１を含む平面との交点を指定位置として検出する検出部１１１と、指定位置に基づいて表示制御を行う表示制御部１１２と、を備え、表示制御部１１２は、指定位置が表示領域１７１の外側である場合に、所定の表示制御を行う、表示制御装置１００が提供される。かかる構成によれば、ユーザによって指定された位置が表示領域１７１の外側である場合に、表示領域１７１の外側が指定された旨をユーザに対してフィードバックすることが可能となる。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、表示領域１７１に表示されるオブジェクトは、検出装置１２０による検出精度が高くない場合などには、細かく振動しやすいため、ユーザにとって見づらい可能性がある。そこで、表示制御部１１２は、表示領域１７１に表示されるオブジェクトに対してフィルタを掛けることによって、オブジェクトの振動を抑制してもよい。あるいは、表示領域１７１に表示されるオブジェクトに対して残像を付加することによって、オブジェクトの振動が抑えられているようにユーザに感じさせることが可能となる。
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した表示制御装置１００が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、例えば、表示制御装置１００の動作は、必ずしもフローチャートに記載された順序に沿って時系列になされる必要はない。例えば、表示制御装置１００の動作は、フローチャートに記載した順序と異なる順序でなされてもよいし、フローチャートに記載された動作の少なくとも一部が並列的になされてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出する検出部と、
前記指定位置に基づいて表示制御を行う表示制御部と、を備え、
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行う、表示制御装置。
（２）
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域に所定のオブジェクトを表示させる、
前記（１）に記載の表示制御装置。
（３）
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の端部に所定のオブジェクトを表示させる、
前記（２）に記載の表示制御装置。
（４）
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の端部と前記表示領域の所定位置および前記指定位置を結ぶ線分との交点に所定のオブジェクトを表示させる、
前記（３）に記載の表示制御装置。
（５）
前記表示制御部は、前記所定のオブジェクトを前記指定位置に応じて変化させる、
前記（２）〜（４）のいずれか一項に記載の表示制御装置。
（６）
前記表示制御部は、前記所定のオブジェクトのサイズを前記指定位置に応じて変化させる、
前記（５）に記載の表示制御装置。
（７）
前記表示制御部は、前記所定のオブジェクトの形状を前記指定位置に応じて変化させる、
前記（５）に記載の表示制御装置。
（８）
前記表示制御部は、前記所定のオブジェクトの色を前記指定位置に応じて変化させる、
前記（５）に記載の表示制御装置。
（９）
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記指定位置に基づいて前記表示領域のコンテンツをスクロールさせる、
前記（１）に記載の表示制御装置。
（１０）
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の所定位置を基準とした前記指定位置の方向に基づいて前記コンテンツをスクロールさせる、
前記（９）に記載の表示制御装置。
（１１）
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の所定位置と前記指定位置との距離に応じた速度により前記コンテンツをスクロールさせる、
前記（９）に記載の表示制御装置。
（１２）
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記指定位置に基づいて前記表示領域のコンテンツを切り替える、
前記（１）に記載の表示制御装置。
（１３）
前記表示制御部は、前記表示領域の内側から外側への前記指定位置の移動がなされた場合に、前記指定位置の移動に基づいてドラッグ操作を行う、
前記（１）に記載の表示制御装置。
（１４）
前記表示制御部は、前記表示領域の内側と外側との間において複数の指定位置それぞれの移動がなされた場合に、前記複数の指定位置それぞれの移動に基づいてピンチイン操作またはピンチアウト操作を行う、
前記（１）に記載の表示制御装置。
（１５）
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記指定位置を補正する、
前記（１）に記載の表示制御装置。
（１６）
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の所定位置および前記指定位置を結ぶ線分と前記表示領域の端部との交点に前記指定位置を補正する、
前記（１５）に記載の表示制御装置。
（１７）
ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出することと、
前記指定位置に基づいて表示制御を行うことと、を含み、
前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行うことを含む、
表示制御方法。
（１８）
コンピュータを、
ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出する検出部と、
前記指定位置に基づいて表示制御を行う表示制御部と、を備え、
前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行う、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
１０ 情報処理システム
１００ 表示制御装置
１１０ 制御部
１１１ 検出部
１１２ 表示制御部
１１３ 実行部
１２０ 検出装置
１３０ 記憶部
１７０ 表示装置
１７１ 表示領域
Ａｒ 補正領域
Ｂ１、Ｂ２ オブジェクト
Ｃ１〜Ｃ６ コンテンツ
Ｄ（Ｄ１、Ｄ２） 距離
Ｐｃ 中心位置
Ｐｄ 指定位置
Ｐｅ 交点
Ｐｔ１〜Ｐｔ４ 指定位置
Ｔ１ 交点
Ｔ２ 交点
Ｕ ユーザ
ｖ 指定ベクトル
ｘ 交点

Claims (18)

  1. ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出する検出部と、
    前記指定位置に基づいて表示制御を行う表示制御部と、を備え、
    前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行う、表示制御装置。
  2. 前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域に所定のオブジェクトを表示させる、
    請求項１に記載の表示制御装置。
  3. 前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の端部に所定のオブジェクトを表示させる、
    請求項２に記載の表示制御装置。
  4. 前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の端部と前記表示領域の所定位置および前記指定位置を結ぶ線分との交点に所定のオブジェクトを表示させる、
    請求項３に記載の表示制御装置。
  5. 前記表示制御部は、前記所定のオブジェクトを前記指定位置に応じて変化させる、
    請求項２に記載の表示制御装置。
  6. 前記表示制御部は、前記所定のオブジェクトのサイズを前記指定位置に応じて変化させる、
    請求項５に記載の表示制御装置。
  7. 前記表示制御部は、前記所定のオブジェクトの形状を前記指定位置に応じて変化させる、
    請求項５に記載の表示制御装置。
  8. 前記表示制御部は、前記所定のオブジェクトの色を前記指定位置に応じて変化させる、
    請求項５に記載の表示制御装置。
  9. 前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記指定位置に基づいて前記表示領域のコンテンツをスクロールさせる、
    請求項１に記載の表示制御装置。
  10. 前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の所定位置を基準とした前記指定位置の方向に基づいて前記コンテンツをスクロールさせる、
    請求項９に記載の表示制御装置。
  11. 前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の所定位置と前記指定位置との距離に応じた速度により前記コンテンツをスクロールさせる、
    請求項９に記載の表示制御装置。
  12. 前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記指定位置に基づいて前記表示領域のコンテンツを切り替える、
    請求項１に記載の表示制御装置。
  13. 前記表示制御部は、前記表示領域の内側から外側への前記指定位置の移動がなされた場合に、前記指定位置の移動に基づいてドラッグ操作を行う、
    請求項１に記載の表示制御装置。
  14. 前記表示制御部は、前記表示領域の内側と外側との間において複数の指定位置それぞれの移動がなされた場合に、前記複数の指定位置それぞれの移動に基づいてピンチイン操作またはピンチアウト操作を行う、
    請求項１に記載の表示制御装置。
  15. 前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記指定位置を補正する、
    請求項１に記載の表示制御装置。
  16. 前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、前記表示領域の所定位置および前記指定位置を結ぶ線分と前記表示領域の端部との交点に前記指定位置を補正する、
    請求項１５に記載の表示制御装置。
  17. ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出することと、
    前記指定位置に基づいて表示制御を行うことと、を含み、
    前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行うことを含む、
    表示制御方法。
  18. コンピュータを、
    ユーザによる指定ベクトルと表示領域を含む平面との交点を指定位置として検出する検出部と、
    前記指定位置に基づいて表示制御を行う表示制御部と、を備え、
    前記表示制御部は、前記指定位置が前記表示領域の外側である場合に、所定の表示制御を行う、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
JP2017509318A 2015-03-31 2016-01-22 表示制御装置、表示制御方法および記録媒体 Pending JPWO2016157951A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015073743 2015-03-31
JP2015073743 2015-03-31
PCT/JP2016/051790 WO2016157951A1 (ja) 2015-03-31 2016-01-22 表示制御装置、表示制御方法および記録媒体

Publications (1)

Publication Number Publication Date
JPWO2016157951A1 true JPWO2016157951A1 (ja) 2018-01-25

Family

ID=57004121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509318A Pending JPWO2016157951A1 (ja) 2015-03-31 2016-01-22 表示制御装置、表示制御方法および記録媒体

Country Status (3)

Country Link
US (1) US20180059811A1 (ja)
JP (1) JPWO2016157951A1 (ja)
WO (1) WO2016157951A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102177734B1 (ko) * 2017-03-20 2020-11-12 구글 엘엘씨 가상 현실에서의 홀드된 객체 안정화
JP7247519B2 (ja) * 2018-10-30 2023-03-29 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US11907434B2 (en) * 2020-01-29 2024-02-20 Sony Group Corporation Information processing apparatus, information processing system, and information processing method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7046242B2 (en) * 2000-06-05 2006-05-16 Namco Ltd. Game system, program and image generating method
US7487462B2 (en) * 2002-02-21 2009-02-03 Xerox Corporation Methods and systems for indicating invisible contents of workspace
US6892352B1 (en) * 2002-05-31 2005-05-10 Robert T. Myers Computer-based method for conveying interrelated textual narrative and image information
US8225224B1 (en) * 2003-02-25 2012-07-17 Microsoft Corporation Computer desktop use via scaling of displayed objects with shifts to the periphery
US7415352B2 (en) * 2005-05-20 2008-08-19 Bose Corporation Displaying vehicle information
US8037421B2 (en) * 2005-10-11 2011-10-11 Research In Motion Limited System and method for organizing application indicators on an electronic device
EP2219101A1 (en) * 2007-12-07 2010-08-18 Sony Corporation Control device, input device, control system, control method, and hand-held device
JP2010282408A (ja) * 2009-06-04 2010-12-16 Sony Corp 制御装置、入力装置、制御システム、ハンドヘルド装置及び制御方法
KR20110020642A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 사용자 접근을 인식하여 반응하는 ｇｕｉ제공 장치 및 방법
JP5372091B2 (ja) * 2011-09-15 2013-12-18 株式会社ワコム 電子機器および電子機器の表示画面制御方法
WO2013190538A1 (en) * 2012-06-20 2013-12-27 Pointgrab Ltd. Method for touchless control of a device
US20140046923A1 (en) * 2012-08-10 2014-02-13 Microsoft Corporation Generating queries based upon data points in a spreadsheet application
JP6036065B2 (ja) * 2012-09-14 2016-11-30 富士通株式会社 注視位置検出装置及び注視位置検出方法
US8589818B1 (en) * 2013-01-03 2013-11-19 Google Inc. Moveable viewport for indicating off-screen content
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
US20140267142A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Extending interactive inputs via sensor fusion
US9448979B2 (en) * 2013-04-10 2016-09-20 International Business Machines Corporation Managing a display of results of a keyword search on a web page by modifying attributes of DOM tree structure
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
JP2015028690A (ja) * 2013-07-30 2015-02-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10281987B1 (en) * 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9880711B2 (en) * 2014-01-22 2018-01-30 Google Llc Adaptive alert duration
US10001902B2 (en) * 2014-01-27 2018-06-19 Groupon, Inc. Learning user interface
US10339141B2 (en) * 2014-10-03 2019-07-02 The Regents Of The University Of Michigan Detecting at least one predetermined pattern in stream of symbols
US10222927B2 (en) * 2014-10-24 2019-03-05 Microsoft Technology Licensing, Llc Screen magnification with off-screen indication

Also Published As

Publication number Publication date
US20180059811A1 (en) 2018-03-01
WO2016157951A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
US20230245262A1 (en) Display device, computer program, and computer-implemented method
JP5429060B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム並びにこの表示制御プログラムが記録された記録媒体
JP6288084B2 (ja) 表示制御装置、表示制御方法および記録媒体
WO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
KR102146858B1 (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
JP2014127184A (ja) 情報処理装置および表示制御方法
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
JP2018180051A (ja) 電子機器及びその制御方法
JP2015060554A (ja) 表示装置、表示制御方法及びプログラム
JP7154789B2 (ja) 表示制御装置、その制御方法、プログラム及び記憶媒体
WO2016157951A1 (ja) 表示制御装置、表示制御方法および記録媒体
JP2012217101A (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP6145738B2 (ja) 表示装置及びコンピュータプログラム
JP2016224173A (ja) 制御装置及び制御方法
JP5919570B2 (ja) 画像表示装置及び画像表示方法
JP2017083916A (ja) ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末
KR102278229B1 (ko) 전자기기 및 그 제어 방법
JP7005160B2 (ja) 電子機器及びその制御方法
JP5957619B2 (ja) 機器の形状変更の感知方法及び装置
JP6065084B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018068364A1 (zh) 用于页面显示的方法、装置、图形用户界面及移动终端
JP6614516B2 (ja) 表示装置及びコンピュータプログラム
JP5170300B1 (ja) 情報処理端末、情報処理方法、およびプログラム
JP2019096305A (ja) 電子機器およびその制御方法およびプログラムおよび記録媒体
JP6344670B2 (ja) 表示装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181210

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200811