JP7399779B2 - 操作装置、表示制御方法、及び表示制御プログラム - Google Patents

操作装置、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
JP7399779B2
JP7399779B2 JP2020068983A JP2020068983A JP7399779B2 JP 7399779 B2 JP7399779 B2 JP 7399779B2 JP 2020068983 A JP2020068983 A JP 2020068983A JP 2020068983 A JP2020068983 A JP 2020068983A JP 7399779 B2 JP7399779 B2 JP 7399779B2
Authority
JP
Japan
Prior art keywords
operating device
display
posture
attitude
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020068983A
Other languages
English (en)
Other versions
JP2021165933A (ja
Inventor
英俊 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2020068983A priority Critical patent/JP7399779B2/ja
Priority to US17/220,278 priority patent/US11555575B2/en
Publication of JP2021165933A publication Critical patent/JP2021165933A/ja
Application granted granted Critical
Publication of JP7399779B2 publication Critical patent/JP7399779B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • F16M11/105—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis the horizontal axis being the roll axis, e.g. for creating a landscape-portrait rotation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices
    • H04N21/42227—Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • H04N21/42228—Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys the reprogrammable keys being displayed on a display screen in order to reduce the number of keys on the remote control device itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2021—Undercarriages with or without wheels comprising means allowing pivoting adjustment around a horizontal axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

特許法第３０条第２項適用 １．ＣＥＡＴＥＣ ＪＡＰＡＮ ２０１９ 令和１年１０月１５日発表 ２．Ｓｈａｒｐ Ｓｍａｒｔ Ｃｏｎｎｅｃｔｅｄ ２０２０ Ｃｏｎｆｅｒｅｎｃｅ 令和１年１２月３日発表 ３．シャープビジネスソリューションフェア 令和１年１２月４日発表 ４．ＣＥＳ ２０２０ 令和２年１月７日発表
本発明は、操作装置、表示制御方法、及び表示制御プログラムに関する。
従来、表示装置に表示された表示画像を、ユーザがコントローラーなどの操作装置を把持して操作装置の位置、傾きなどの姿勢を変化（移動、回転など）させることにより、前記表示画像の表示状態を操作装置の姿勢変化に応じた状態に変更させることが可能なシステムが提案されている（例えば特許文献１参照）。
特開２０１３－２１４２５２号公報
ここで、従来、例えば表示画像に対して所定の処理を実行させるための機能アイコン（オブジェクト）を自身の表示部に表示可能な操作装置が知られている。この操作装置によれば、例えばユーザは、前記操作装置を回転させることにより表示装置に表示された前記表示画像を回転させることができるとともに、前記操作装置の機能アイコンを操作して前記表示画像に対して所定の処理を実行させることができる。
しかし、従来の操作装置では、例えば、ユーザが前記操作装置を回転させた場合に、回転に伴ってユーザから見た前記機能アイコンの位置も回転してしまう。このため、ユーザが前記操作装置の姿勢を変化させる度に、ユーザから見た機能アイコンの位置が変化してしまい、機能アイコンの視認性が低下する問題が生じる。
本発明の目的は、ユーザの操作に応じて所定の処理を実行する操作装置であって、当該操作装置に表示されるオブジェクトの視認性を向上させることが可能な操作装置、表示制御方法、及び表示制御プログラムを提供することにある。
本発明の一の態様に係る操作装置は、所定の表示領域を含む表示部を備え、ユーザの操作に応じて所定の処理を実行する操作装置であって、前記ユーザに対する前記操作装置の姿勢を第１姿勢に設定する姿勢設定部と、前記第１姿勢に設定された前記操作装置の前記表示領域において、所定のオブジェクトを第１方向に向けて表示させる表示処理部と、前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出部と、前記操作装置が前記第１姿勢から第２姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトに含まれる少なくとも一部のオブジェクト情報を前記第１方向に向けて表示させる表示変更部と、を備える。
本発明の他の形態に係る表示制御方法は、ユーザの操作に応じて所定の処理を実行する操作装置の表示部に含まれる表示領域に画像を表示させる表示制御方法であって、前記ユーザに対する前記操作装置の姿勢を第１姿勢に設定する姿勢設定ステップと、前記第１姿勢に設定された前記操作装置の前記表示領域において、所定のオブジェクトを第１方向に向けて表示させる表示ステップと、前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出ステップと、前記操作装置が前記第１姿勢から第２姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトに含まれる少なくとも一部のオブジェクト情報を前記第１方向に向けて表示させる表示変更ステップと、を一又は複数のプロセッサにより実行する方法である。
本発明の他の形態に係る表示制御プログラムは、ユーザの操作に応じて所定の処理を実行する操作装置の表示部に含まれる表示領域に画像を表示させる表示制御プログラムであって、前記ユーザに対する前記操作装置の姿勢を第１姿勢に設定する姿勢設定ステップと、前記第１姿勢に設定された前記操作装置の前記表示領域において、所定のオブジェクトを第１方向に向けて表示させる表示ステップと、前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出ステップと、前記操作装置が前記第１姿勢から第２姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトに含まれる少なくとも一部のオブジェクト情報を前記第１方向に向けて表示させる表示変更ステップと、を一又は複数のプロセッサに実行させるためのプログラムである。
本発明によれば、ユーザの操作に応じて所定の処理を実行する操作装置であって、当該操作装置に表示されるオブジェクトの視認性を向上させることが可能な操作装置、表示制御方法、及び表示制御プログラムが提供される。
図１は、本発明の実施形態に係る表示制御システムの構成を示す模式図である。 図２は、本発明の実施形態に係る表示制御システムの構成を示すブロック図である。 図３Ａは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図３Ｂは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図３Ｃは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図４Ａは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図４Ｂは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図５は、本発明の実施形態に係る操作装置で実行される表示制御処理の手順の一例を示すフローチャートである。 図６Ａは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図６Ｂは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図６Ｃは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図７Ａは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図７Ｂは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図７Ｃは、本発明の実施形態に係る操作装置に表示される画像の一例を示す図である。 図８Ａは、本発明の実施形態に係る操作装置の正対姿勢の設定方法の一例を示す図である。 図８Ｂは、本発明の実施形態に係る操作装置の正対姿勢の設定方法の一例を示す図である。 図８Ｃは、本発明の実施形態に係る操作装置の正対姿勢の設定方法の一例を示す図である。
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
［表示制御システム１００］
図１及び図２に示されるように、本発明の実施形態に係る表示制御システム１００は、操作装置１と表示装置２とを含む。操作装置１と表示装置２とは、無線ＬＡＮ、有線ＬＡＮなどの通信網Ｎ１を介して通信可能である。操作装置１は本発明の操作装置の一例であり、表示装置２は本発明の表示装置の一例である。
操作装置１は、ユーザの操作に応じて所定の処理を実行するコントローラーである。例えば図１に示すように、ユーザが操作装置１を把持してＤ１方向に回転させた場合に、操作装置１は、表示装置２に表示された操作対象画像３をユーザの操作に応じてＤ１方向に回転させる。また、例えばユーザが操作装置１を把持してＤ２方向に回転させた場合に、操作装置１は、操作対象画像３をユーザの操作に応じてＤ２方向に回転させる。また、例えばユーザが操作装置１を前後方向又は左右方向に傾けた場合に、操作装置１は、操作対象画像３をユーザの操作に応じた方向に傾ける。このように、操作装置１は、ユーザの操作に応じて、表示装置２に表示される操作対象画像３を操作可能なコントローラーである。操作対象画像３は、本発明の操作対象物の一例である。すなわち、本実施形態では、操作対象物は、操作装置１に通信可能に接続される表示装置２に表示される操作対象画像３である。
また、操作装置１は、所定の表示領域１３１を含む操作表示部１３を備えている。操作装置１は、所定のオブジェクト（本発明のオブジェクトに対応）を表示領域１３１に表示する。前記オブジェクトは、例えば、操作対象画像３に所定の処理を実行させるための機能アイコン（以下、機能アイコンＰ１（図３Ａ参照）という。）である。ユーザは、操作装置１を動かしつつ、機能アイコンＰ１を選択することにより、表示装置２において、操作対象画像３の姿勢を変化させつつ所定の処理を実行させることが可能である。例えば、ユーザが色を指定する機能アイコンＰ１を選択した場合、操作装置１は、操作対象画像３の表示色をユーザに指定された色に変更させる。表示領域１３１に表示される機能アイコンＰ１は、一つであってもよいし複数であってもよい。各機能アイコンＰ１には、所定の処理が割り当てられて設定されている。機能アイコンＰ１が複数である場合、複数の機能アイコンＰ１は、所定の方向に配列される。例えば図１に示す例では、９個の機能アイコンＰ１が行方向及び列方向に３×３の配列で表示されている。
以下では、操作装置１の具体的構成について説明する。
［操作装置１］
図２に示されるように、操作装置１は、制御部１１、記憶部１２、操作表示部１３、カメラ１４、姿勢検出センサ１５、及び通信部１６などを備える。操作装置１は、例えばスマートフォン、タブレット端末などの情報処理装置であってもよい。また、操作装置１で実行される各種の処理は、一又は複数のプロセッサによって分散して実行されてもよい。図３Ａには、操作装置１の外観を示している。操作装置１は、例えば円盤状の外形形状を有している。
通信部１６は、操作装置１を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して表示装置２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
カメラ１４は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。
姿勢検出センサ１５は、操作装置１の姿勢を検出するセンサであり、ジャイロセンサ、加速度センサ、地磁気センサなどである。例えば、姿勢検出センサ１５は、操作装置１の回転、傾きなどの姿勢変化を検出して、検出信号を制御部１１に出力する。また、姿勢検出センサ１５は、操作装置１のＸＹＺ方向の座標、傾きを検出して、検出信号を制御部１１に出力する。
操作表示部１３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、ユーザの操作を受け付けるタッチパネルなどの操作部とを備えるユーザーインターフェースである。操作表示部１３は、所定の表示領域１３１を備え、表示領域１３１に情報を表示する。図３Ａに示すように、表示領域１３１は、例えば矩形状（長方形）に形成されている。表示領域１３１の形状は限定されない。なお、表示領域１３１の形状に対応する画角情報（例えば縦横比）は、記憶部１２に記憶されている。
図３Ａに示す例では、９個の機能アイコンＰ１が表示領域１３１に表示されている。各機能アイコンＰ１には、機能の内容、種別など機能アイコンＰ１を識別する識別情報と、背景画像情報とが含まれる。図３Ａに示す機能アイコンＰ１には、前記識別情報として「Ａ」～「Ｉ」のテキスト情報が含まれている。前記識別情報及び前記背景画像情報は、本発明のオブジェクト情報の一例である。各機能アイコンＰ１の形状は、円形に限定されず、矩形であってもよい。また、９個の機能アイコンＰ１は、Ｘ方向（行方向）及びＹ方向（列方向）に３×３の配列で表示されている。
記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリーなどの不揮発性の記憶部である。記憶部１２には、操作表示部１３に表示される機能アイコンＰ１などのデータが記憶される。
また、記憶部１２には、制御部１１に後述の表示制御処理（図５参照）を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、前記表示制御プログラムは、ＵＳＢ、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、操作装置１に電気的に接続されるＵＳＢドライブ、ＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。また、前記表示制御プログラムは、操作装置１からアクセス可能なサーバからダウンロードされて、記憶部１２に記憶されてもよい。
制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより操作装置１を制御する。
具体的に、制御部１１は、図２に示されるように、表示処理部１１１、姿勢設定部１１２、姿勢検出部１１３、表示変更部１１４、動作出力部１１５などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記表示制御プログラムに従った各種の処理を実行することによって、表示処理部１１１、姿勢設定部１１２、姿勢検出部１１３、表示変更部１１４、及び動作出力部１１５として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記表示制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
表示処理部１１１は、各種情報を操作表示部１３に表示させる。例えば、操作装置１に、表示装置２に表示される操作対象画像３を操作するための専用アプリケーションがインストールされている場合には、ユーザが当該専用アプリケーションを起動する操作を行うことにより、表示処理部１１１は、操作表示部１３に機能アイコンＰ１を表示させる。表示処理部１１１は、本発明の表示処理部の一例である。
姿勢設定部１１２は、操作装置１の姿勢を、操作装置１がユーザに対して正対する正対姿勢（本発明の第１姿勢）に設定する。具体的には、カメラ１４がユーザと、ユーザの周囲の天井、床、壁などの周辺環境を撮像し、姿勢設定部１１２が、カメラ１４から取得する撮像画像に基づいて、ユーザが操作装置１に正対する位置、すなわちユーザが操作装置１の正面となる位置の操作装置１の姿勢（正対姿勢）を登録する。例えば、姿勢設定部１１２は、正対姿勢における操作装置１のＸＹＺ方向の座標、傾きを姿勢検出センサ１５から取得して登録する。
ここで、姿勢設定部１１２により操作装置１の正対姿勢が設定された場合に、表示処理部１１１は、機能アイコンＰ１を正対姿勢に対応する所定の方向に向けて表示させる。例えば図３Ａに示すように、表示処理部１１１は、ユーザから操作装置１に向かう正面方向（本発明の第１方向の一例）に向けて機能アイコンＰ１を表示させる。すなわち、図３Ａに示すように、操作装置１が正対姿勢に設定された場合、各機能アイコンＰ１のテキスト情報「Ａ」～「Ｉ」及び背景画像情報は、正面方向に向けて表示される。姿勢設定部１１２は、本発明の姿勢設定部の一例である。
姿勢検出部１１３は、ユーザが操作装置１の姿勢を変化させた場合に、操作装置１の姿勢変化を検出する。具体的には、姿勢検出部１１３は、姿勢検出センサ１５から取得する検出信号に基づいて操作装置１の姿勢変化を検出する。姿勢検出部１１３は、本発明の姿勢検出部の一例である。
例えば図１に示すように、ユーザは、表示装置２に表示された操作対象画像３の向きを変えたい場合に、操作装置１を把持して右方向Ｄ１又は左方向Ｄ２に回転させる。操作対象画像３は、操作装置１の動きに追従して表示方向が変更される。
ここで、例えば図３Ｂに示すように、ユーザが操作装置１を右方向Ｄ１に回転させた場合に、操作装置１の中心軸Ｃ１の向きは正面方向から右方向Ｄ１に回転する。この場合に、姿勢検出部１１３は、姿勢検出センサ１５から取得する検出信号に基づいて操作装置１の姿勢変化（右回転）を検出する。
表示変更部１１４は、操作装置１が正対姿勢から姿勢変化した場合に、表示領域１３１において、機能アイコンＰ１に含まれる少なくとも一部のオブジェクト情報（テキスト情報、背景画像情報）を正面方向に向けて表示させる。表示変更部１１４は、本発明の表示変更部の一例である。具体的には、図３Ｂに示すように、表示変更部１１４は、右方向Ｄ１に回転した表示領域１３１において、機能アイコンＰ１を正面方向に向けて表示させる。また図３Ｃに示すように、表示変更部１１４は、左方向Ｄ２に回転した表示領域１３１において、機能アイコンＰ１を正面方向に向けて表示させる。例えば、表示変更部１１４は、表示領域１３１において、機能アイコンＰ１のテキスト情報（「Ａ」～「Ｉ」）及び背景画像情報を正面方向に向けて表示させる（図３Ｂ、図３Ｃ参照）。図３Ｂ、図３Ｃに示す操作装置１の姿勢は、本発明の第２姿勢の一例である。
また、表示変更部１１４は、表示領域１３１において、複数の機能アイコンＰ１を含むアイコングループ（本発明のオブジェクトグループ）を正面方向に向けて表示させる。すなわち、表示変更部１１４は、操作装置１が正対姿勢から姿勢変化した場合に、表示領域１３１において、前記アイコングループを、前記アイコングループの表示方向を正面方向に維持して表示させる。
このように、表示変更部１１４は、操作装置１が回転した場合に、ユーザから見た機能アイコンＰ１の表示位置、配列、テキスト情報の向きが変化しないように表示させる。これにより、ユーザから見た機能アイコンＰ１の見た目の状態が変化しない（固定される）ため、機能アイコンＰ１の視認性を向上させることができる。なお、例えば、表示変更部１１４は、表示領域１３１において、機能アイコンＰ１の前記テキスト情報を正面方向に向けて表示させ、前記背景画像情報を回転方向側（本発明の第２方向の一例）に向けて表示させてもよい。例えば、前記背景画像が機能アイコンＰ１の外形を表す場合に、表示変更部１１４は、機能アイコンＰ１を、その表示位置（座標）を固定したまま操作装置１の回転に伴って回転させてもよい。
他の実施形態として、表示変更部１１４は、操作装置１が正対姿勢から姿勢変化した場合に、機能アイコンＰ１を、正対姿勢における表示領域１３１に対する機能アイコンＰ１の表示位置（座標）に表示させてもよい。具体的には、図４Ａに示すように、表示変更部１１４は、右方向Ｄ１に回転した表示領域１３１において、機能アイコンＰ１を、その表示位置を右方向Ｄ１側にずらして表示させる。図４Ｂに示すように、表示変更部１１４は、左方向Ｄ２に回転した表示領域１３１において、機能アイコンＰ１を、その表示位置を左方向Ｄ２側にずらして表示させる。この場合に、表示変更部１１４は、表示領域１３１において、機能アイコンＰ１のテキスト情報（「Ａ」～「Ｉ」）及び背景画像情報を正面方向に向けて表示させる（図４Ａ、図４Ｂ参照）。
また、表示変更部１１４は、表示領域１３１において、複数の機能アイコンＰ１を含むアイコングループを、回転移動した中心軸Ｃ１の方向（本発明の第２方向の一例）に向けて表示させる（図４Ａ、図４Ｂ参照）。表示変更部１１４は、アイコングループ全体を回転させる。すなわち、表示変更部１１４は、操作装置１が正対姿勢から姿勢変化した場合に、表示領域１３１において、前記アイコングループを中心軸Ｃ１の方向に向けて表示させ、前記アイコングループに含まれる少なくとも一つの機能アイコンＰ１のテキスト情報を正面方向に向けて表示させる。
このように、表示変更部１１４は、操作装置１が回転した場合に、機能アイコンＰ１の表示位置を操作装置１の姿勢変化に応じて変更する一方、テキスト情報の向きが変化しないように機能アイコンＰ１を表示させる。これにより、ユーザの指と機能アイコンＰ１との相対位置を維持しつつ、機能アイコンＰ１のテキスト情報が正面方向に向けて表示されるため、機能アイコンＰ１の操作性及び視認性を向上させることができる。なお、例えば、表示変更部１１４は、表示領域１３１において、機能アイコンＰ１の前記テキスト情報及び前記背景画像情報を正面方向に向けて表示させてもよい。
動作出力部１１５は、操作装置１の姿勢変化の変化量に応じて操作対象画像３の姿勢を変化させる第１動作指示を出力する。具体的には、ユーザが操作装置１を所定角度だけ回転させた場合に、動作出力部１１５は、姿勢検出センサ１５から取得する回転角度、傾き角度、座標などの情報（姿勢情報）を含む第１動作指示を表示装置２に出力する。
また、動作出力部１１５は、表示領域１３１に表示された機能アイコンＰ１がユーザに選択された場合に、選択された機能アイコンＰ１に対応する処理を実行させる第２動作指示を出力する。例えば、ユーザが色を指定する機能アイコンＰ１を選択した場合、動作出力部１１５は、操作対象画像３の表示色をユーザに指定された色に変更させる第２動作指示を表示装置２に出力する。
［表示装置２］
図２に示されるように、表示装置２は、制御部２１、記憶部２２、表示部２３、及び通信部２４などを備える。表示装置２は、例えばパーソナルコンピュータのような情報処理装置であってもよい。
通信部２４は、表示装置２を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して操作装置１などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
表示部２３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイである。表示部２３は、例えば操作対象画像３を表示する。なお、表示装置２は、各種の操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部（不図示）を備えてもよい。
記憶部２２は、各種の情報を記憶するＨＤＤ、ＳＳＤ又はフラッシュメモリーなどの不揮発性の記憶部である。記憶部２２には、表示部２３に表示される操作対象画像３（図１参照）などのデータが記憶される。
また、記憶部２２には、制御部２１に各種制御処理を実行させるための制御プログラムが記憶されている。例えば、前記制御プログラムは、ＵＳＢ、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、表示装置２に電気的に接続されるＵＳＢドライブ、ＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部２２に記憶される。また、前記制御プログラムは、表示装置２からアクセス可能なサーバからダウンロードされて、記憶部２２に記憶されてもよい。
制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより表示装置２を制御する。
具体的に、制御部２１は、図２に示されるように、表示処理部２１１、動作制御部２１２などの各種の処理部を含む。なお、制御部２１は、前記ＣＰＵで前記制御プログラムに従った各種の処理を実行することによって、表示処理部２１１、動作制御部２１２として機能する。また、制御部２１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
表示処理部２１１は、各種情報を表示部２３に表示させる。例えば、表示処理部２１１は、操作対象画像３（図１参照）を表示部２３に表示させる。
動作制御部２１２は、操作装置１から動作指示（第１動作指示、第２動作指示）を受信し、表示部２３に表示された操作対象画像３に対して当該動作指示に応じた処理を実行する。
例えば、ユーザが操作装置１を所定角度だけ回転させた場合に、操作装置１の動作出力部１１５は、姿勢検出センサ１５から取得する回転角度、傾き角度、座標などの情報（姿勢情報）を含む第１動作指示を表示装置２に出力する。動作制御部２１２は、前記第１動作指示を受信すると、前記姿勢情報に基づいて操作対象画像３の回転角度、傾き角度、座標などを変更する。例えば、図３Ｂに示すように、ユーザが操作装置１を所定角度だけ右方向Ｄ１に回転させた場合に、動作制御部２１２は、操作対象画像３を所定角度だけ右方向Ｄ１に回転させて表示する。
また、例えば、ユーザが操作装置１において色を指定する機能アイコンＰ１を選択した場合に、操作装置１の動作出力部１１５は、操作対象画像３の表示色をユーザに指定された色に変更させる第２動作指示を表示装置２に出力する。動作制御部２１２は、前記第２動作指示を受信すると、操作対象画像３の表示色をユーザに指定された色に変更する。
［表示制御処理］
次に、図５を参照しつつ、表示制御システム１００において実行される表示制御処理について説明する。具体的に、本実施形態では、操作装置１の制御部１１によって表示制御処理が実行される。なお、制御部１１は、操作装置１の所定の操作によって表示制御処理を途中で終了することがある。
なお、本発明は、前記表示制御処理に含まれる一又は複数のステップを実行する表示制御方法（本発明の表示制御方法の一例）の発明として捉えることができる。また、ここで説明する前記表示制御処理に含まれる一又は複数のステップは適宜省略されてもよい。なお、前記表示制御処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１によって前記表示制御処理における各ステップが実行される場合を例に挙げて説明するが、複数のプロセッサによって前記表示制御処理における各ステップが分散して実行される表示制御方法も他の実施形態として考えられる。
ここで、操作装置１は、前記専用アプリケーションが起動されることにより、表示装置２に表示された操作対象画像３を操作することが可能となる。
先ず、ステップＳ１において、制御部１１は、操作装置１の姿勢が正対姿勢（正面方向）に設定されたか否かを判定する。具体的には、制御部１１は、前記専用アプリケーションを起動させて、操作装置１の正面となる位置の操作装置１の姿勢を正対姿勢に設定する。
例えば、制御部１１は、カメラ１４から取得する撮像画像（ユーザを含む周辺環境の画像）に基づいて正対姿勢を設定する。
操作装置１の正対姿勢が設定された場合（Ｓ１：Ｙｅｓ）、処理はステップＳ２に移行する。制御部１１は、操作装置１の正対姿勢が設定されるまで待機する（Ｓ１：Ｎｏ）。ステップＳ１は、本発明の姿勢設定ステップの一例である。
ステップＳ２において、制御部１１は、操作装置１の表示領域１３１において、機能アイコンＰ１を正対姿勢に対応する所定の方向に向けて表示させる。例えば図３Ａに示すように、制御部１１は、ユーザから操作装置１に向かう正面方向に向けて機能アイコンＰ１を表示させる。ステップＳ２は、本発明の表示ステップの一例である。
ステップＳ３において、制御部１１は、操作装置１に対するユーザの操作の受け付けを開始する。
ステップＳ４において、制御部１１は、操作装置１の姿勢変化を検出したか否かを判定する。具体的には、制御部１１は、姿勢検出センサ１５から取得する検出信号に基づいて操作装置１の姿勢変化の有無を検出する。例えば図３Ｂに示すように、ユーザが操作装置１を右方向Ｄ１に回転させた場合に、制御部１１は、姿勢検出センサ１５から取得する検出信号に基づいて操作装置１の姿勢変化（右回転）を検出する。制御部１１が操作装置１の姿勢変化を検出した場合（Ｓ４：Ｙｅｓ）、処理はステップＳ５に移行する。一方、制御部１１が操作装置１の姿勢変化を検出しない場合（Ｓ４：Ｎｏ）、処理はステップＳ７に移行する。ステップＳ４は、本発明の姿勢検出ステップの一例である。
ステップＳ５において、制御部１１は、機能アイコンＰ１に含まれる少なくとも一部のオブジェクト情報（テキスト情報、背景画像情報）を正面方向に向けて表示させる。具体的には、図３Ｂに示すように、操作装置１が右方向Ｄ１に回転した場合に、制御部１１は、右方向Ｄ１に回転した表示領域１３１において、機能アイコンＰ１を正面方向に向けて表示させる。また図３Ｃに示すように、操作装置１が左方向Ｄ２に回転した場合に、制御部１１は、左方向Ｄ２に回転した表示領域１３１において、機能アイコンＰ１を正面方向に向けて表示させる。例えば、制御部１１は、表示領域１３１において、機能アイコンＰ１のテキスト情報（「Ａ」～「Ｉ」）及び背景画像情報を正面方向に向けて表示させる（図３Ｂ、図３Ｃ参照）。このように、制御部１１は、操作装置１の姿勢変化に関わらず、ユーザから見た機能アイコンＰ１の表示状態を固定する。ステップＳ５は、本発明の表示変更ステップの一例である。
なお、例えば、ユーザが機能アイコンＰ１を選択する操作を行っているときに操作装置１を回転させた場合に、表示領域１３１に対する機能アイコンＰ１の位置が変更されてしまうと、ユーザは機能アイコンＰ１を選択し難くなるおそれがある。そこで、制御部１１は、ユーザが機能アイコンＰ１を選択している間は、操作装置１の姿勢変化を検出した場合に、表示領域１３１に対する機能アイコンＰ１の位置を変更しない構成としてもよい。すなわち、制御部１１は、操作装置１の姿勢変化とともに機能アイコンＰ１の表示位置を変化させる。これにより、ユーザの指と機能アイコンＰ１との相対位置関係を維持することができるため、機能アイコンＰ１の操作性が低下することを防ぐことができる。
ステップＳ６において、制御部１１は、操作装置１の姿勢変化の変化量に応じて操作対象画像３の姿勢を変化させる第１動作指示を出力する。例えば、ユーザが操作装置１を所定角度だけ右方向Ｄ１に回転させた場合に、制御部１１は、姿勢検出センサ１５から取得する回転角度の情報（姿勢情報）を含む第１動作指示を表示装置２に出力する。表示装置２は、前記第１動作指示を受信すると、操作対象画像３を右方向Ｄ１に所定角度だけ回転させる。
ステップＳ７において、制御部１１は、ユーザから機能アイコンＰ１を選択する操作を受け付けたか否かを判定する。ユーザから機能アイコンＰ１を選択する操作を受け付けた場合（Ｓ７：Ｙｅｓ）、処理はステップＳ８に移行する。ユーザから機能アイコンＰ１を選択する操作を受け付けない場合（Ｓ７：Ｎｏ）、処理はステップＳ４に移行する。
ステップＳ８において、制御部１１は、選択された機能アイコンＰ１に対応する処理を実行させる第２動作指示を表示装置２に出力する。例えば、ユーザが色を指定する機能アイコンＰ１を選択した場合、制御部１１は、操作対象画像３の表示色をユーザに指定された色に変更させる第２動作指示を表示装置２に出力する。表示装置２は、前記第２動作指示を受信すると、操作対象画像３の表示色をユーザに指定された色に変更する。
ステップＳ９において、制御部１１は、ユーザから終了操作を受け付けたか否かを判定する。ユーザから終了操作を受け付けた場合（Ｓ９：Ｙｅｓ）、処理は終了する。ユーザから終了操作を受け付けない場合（Ｓ９：Ｎｏ）、処理はステップＳ４に移行する。制御部１１は、ユーザから終了操作を受け付けるまで、ステップＳ４～Ｓ８の処理を繰り返す。以上のようにして、制御部１１は、前記表示制御処理を実行する。
以上説明したように、本実施形態に係る操作装置１は、所定の表示領域１３１を含む操作表示部１３を備え、ユーザの操作に応じて所定の処理を実行可能なコントローラーである。また、操作装置１は、ユーザに対する操作装置１の姿勢を正対姿勢（正面方向）に設定し、正対姿勢に設定された操作装置１の表示領域１３１において、機能アイコンＰ１を正対方向（正面方向）に向けて表示させる。また、操作装置１は、ユーザが操作装置１の姿勢を変化させた場合に操作装置１の姿勢変化を検出し、操作装置１が第１姿勢から第２姿勢に姿勢変化した場合に、表示領域１３１において、機能アイコンＰ１に含まれる少なくとも一部のオブジェクト情報（テキスト情報、背景画像情報）を正面方向に向けて表示させる。この構成によれば、操作装置１の姿勢が変化した場合、例えば操作装置１が回転した場合であっても、例えば機能アイコンＰ１のテキスト情報の向きがユーザの方向に固定されるため、機能アイコンＰ１の視認性を向上させることができる。
本発明は上述の実施形態に限定されない。本発明の他の実施形態について以下に説明する。
例えば、図３Ｂ及び図３Ｃに示す実施形態では、操作装置１が姿勢変化（例えば回転）した場合に、機能アイコンＰ１と表示領域１３１との相対位置関係がずれることになる。このため、操作装置１が姿勢変化（回転）した場合に、一つの機能アイコンＰ１の全部又は一部が表示領域１３１内に収まらなくなる場合がある。また、操作装置１が姿勢変化（回転）した場合に、複数の機能アイコンＰ１を含むアイコングループの全部又は一部が表示領域１３１内に収まらなくなる場合がある。この問題は、操作装置１が姿勢変化（回転）した場合に、正面方向から見た表示領域１３１の形状の方向が変化する場合に起こり得る。例えば、表示領域１３１の形状が矩形状（図６Ａ参照）の場合において、操作装置１が姿勢変化（回転）した場合に、図６Ｂに示すように、正面方向から見た表示領域１３１の矩形（長方形）の方向が斜め方向に変化し、機能アイコンＰ１の一部が表示領域１３１内に収まらなくなる場合がある。図６Ｂに示す例では、「Ａ」及び「Ｉ」の機能アイコンＰ１の一部が表示領域１３１内に収まらず途切れた状態となる。
そこで、本発明の他の実施形態として、表示変更部１１４は、操作装置１が第１姿勢（正対姿勢）から第２姿勢に姿勢変化することにより機能アイコンＰ１の少なくとも一部が表示領域１３１内に収まらなくなる場合に、当該機能アイコンＰ１の表示位置を変更して表示領域１３１内に表示させる。また、表示変更部１１４は、操作装置１が正対姿勢から第２姿勢に姿勢変化することによりアイコングループに含まれる第１機能アイコンＰ１（本発明の第１オブジェクトの一例）が表示領域１３１内に収まらなくなる場合に、前記アイコングループに含まれる複数の機能アイコンＰ１の配列状態（配列方向）を解除して、前記第１機能アイコンＰ１を表示領域１３１内に表示させる。
例えば、図６Ｃに示すように、表示変更部１１４は、「Ａ」及び「Ｉ」の機能アイコンＰ１の表示位置を変更して表示領域１３１内に収まるように表示させる。なお、表示変更部１１４は、９個の機能アイコンＰ１の全てが表示領域１３１内に表示されるように、９個の機能アイコンＰ１を配列状態を解除して配列し直してもよい。
本発明の他の実施形態として、表示変更部１１４は、操作装置１が正対姿勢から第２姿勢に姿勢変化した場合に、機能アイコンＰ１の表示位置を変更してもよい。例えば、表示変更部１１４は、操作装置１が正対姿勢から第２姿勢に姿勢変化した場合に、前記アイコングループに含まれる複数の機能アイコンＰ１の配列状態（配列方向）を解除して、一又は複数の機能アイコンＰ１を表示領域１３１内に表示（再配列）させる。例えば、操作装置１が図３Ｂに示す位置に回転した場合に、「Ａ」及び「Ｉ」の機能アイコンＰ１が表示領域１３１内に収まっている場合であっても、「Ａ」及び「Ｉ」の機能アイコンＰ１の表示位置を変更する。このように、操作装置１の姿勢変化に応じてグループアイコンの配列状態を変更することにより、グループアイコン全体を見易くすることができる。
また、本発明の他の実施形態として、表示領域１３１に表示されるオブジェクトは、図７Ａに示すように、キーボードなどの操作アイコンＰ２であってもよい。なお、キーボードの個々のキーが操作アイコンＰ２に相当する。図７Ａに示す例では、テンキー（数字キー）の操作アイコンＰ２からなるグループアイコンＧｐ１と、文字キーの操作アイコンＰ２からなるグループアイコンＧｐ２とを示している。ここで、例えばユーザが操作装置１を右方向Ｄ１に回転させた場合に、表示変更部１１４は、グループアイコンＧｐ１のキー配列及びグループアイコンＧｐ２のキー配列を維持しつつ、各操作アイコンＰ２（各キー）を正面方向に向けて表示させる。
また、操作装置１が第１姿勢（正対姿勢）から第２姿勢に姿勢変化することにより操作アイコンＰ２の少なくとも一部が表示領域１３１内に収まらなくなる場合に、表示変更部１１４は、図７Ｂに示すように、グループアイコンＧｐ１及びグループアイコンＧｐ２の表示位置を変更して表示領域１３１内に収まるように表示させる。なお、表示変更部１１４は、図７Ｃに示すように、操作装置１の姿勢変化に応じてグループアイコンＧｐ１及びグループアイコンＧｐ２の表示位置を変更する。これにより、キー配列を維持したまま、各操作アイコンＰ２を表示領域１３１内に表示させ、かつ、各操作アイコンＰ２を正面方向に向けて表示させることができる。
上述の実施形態では、姿勢設定部１１２は、カメラ１４から取得する撮像画像に基づいて、操作装置１の姿勢を、操作装置１がユーザに対して正対する正対姿勢に設定する。正対姿勢の設定方法は、カメラ１４を利用した上記方法に限定されない。他の実施形態として、姿勢設定部１１２は、ユーザが操作装置１に設けられたキャリブレーションボタン（不図示）を押したときの操作装置１の姿勢を正対姿勢に設定してもよい。例えば、ユーザは操作装置１を把持して操作装置１が自身の正面方向に向くように位置合わせする。その後、ユーザが前記キャリブレーションボタンを押すと、制御部１１は、そのときの操作装置１の姿勢を正対姿勢に設定する。なお、前記キャリブレーションボタンの機能は、操作装置１に対する所定の操作に代替することもできる。例えば、前記位置合わせ後に、ユーザが操作装置１を所定方向に振った場合、又は、操作表示部１３を所定回数タッチした場合に、制御部１１は、そのときの操作装置１の姿勢を正対姿勢に設定する。これらの方法により操作装置１の正対姿勢を設定する場合、操作装置１はカメラ１４を備えていなくてもよい。
また、姿勢設定部１１２は、操作装置１に設けられる地磁気センサ（方位磁石）を利用して、正対姿勢を設定してもよい。例えば、図８Ａに示すように、表示装置２を予め所定の方位Ａに向くように位置合わせし、表示装置２の正面に操作装置１を所定時間（例えば５秒）載置する。そして、姿勢設定部１１２は、表示装置２の前記方位Ａと、地磁気センサの方位Ｂ（Ｎ極）との相対関係により、表示装置２に対する操作装置１の正面方向を算出する。これにより、姿勢設定部１１２は、操作装置１の姿勢を正対姿勢に設定する。
また、姿勢設定部１１２は、操作装置１に設けられる地磁気センサ（方位磁石）と、表示装置２の正面に配置された磁石Ｍとを利用して、正対姿勢を設定してもよい。例えば、図８Ｂに示すように、表示装置２の正面に磁石Ｍを配置し、磁石Ｍの前方に操作装置１を所定時間（例えば５秒）載置する。そして、地磁気センサが磁石Ｍの方向を検出し、姿勢設定部１１２は、地磁気センサが検出した方向に基づいて、表示装置２に対する操作装置１の正面方向を算出する。これにより、姿勢設定部１１２は、操作装置１の姿勢を正対姿勢に設定する。
また、姿勢設定部１１２は、操作装置１に設けられる加速度センサを利用して、正対姿勢を設定してもよい。例えば、図８Ｃに示すように、表示装置２の正面に、表示装置２に向かって角度ｄ（例えば５度）だけ傾斜する傾斜台Ｌを設置し、傾斜台Ｌに操作装置１を所定時間（例えば５秒）載置する。なお、図８Ｃの点線は水平の台の位置を表している。そして、加速度センサがＸ軸、Ｙ軸、Ｚ軸の加速度を検出し、姿勢設定部１１２は、加速度センサが検出した加速度に基づいて、表示装置２に対する操作装置１の正面方向を算出する。これにより、姿勢設定部１１２は、操作装置１の姿勢を正対姿勢に設定する。
このように、操作装置１は、様々な方法により操作装置１の正面方向（正対姿勢）を設定することができる。また、操作装置１は、ユーザが操作装置１を所定の場所に載置する度に正対姿勢を設定することが可能である。
本発明の操作対象物の一例である操作対象画像は、表示装置２においてゲームアプリケーションにより表示されるゲーム画像であってもよい。また本発明の操作対象物は、表示装置２に表示される操作対象画像に限定されない。本発明の操作対象物は、操作装置１に通信可能に接続され、操作装置１の動きに応じて移動可能な移動体であってもよい。前記移動体は、例えば、ロボット、ドローン、ラジコンなどであってもよい。
また、本発明の操作対象物は、操作装置１の操作表示部１３に表示される画像であってもよい。例えば、操作装置１は、操作対象画像３を操作表示部１３に表示させて、操作装置１の姿勢に応じて操作対象画像３の表示方向を変更させてもよい。この場合、例えば、操作装置１は、操作対象画像３に相当するゲーム画像を操作表示部１３に表示させるゲーム装置に適用することができる。
本発明の操作装置の形状は、円盤状に限定されない。具体的には、操作装置１は、操作対象物に関連した形状又は模型であってもよい。例えば、操作対象物が車の画像である場合（図１参照）、操作装置１の形状は、車の模型又はハンドルの模型であってもよい。
本発明の操作装置は、コミュニケーションツールを実行可能なコミュニケーション機器に適用することが可能である。例えば、操作装置１は、表示領域１３１に、個々の会話の内容に対応する複数のオブジェクトを表示させる。例えば、操作装置１は、操作装置１の姿勢に関わらず、前記オブジェクトの表示方向を正面方向に維持する。
１ ：操作装置
２ ：表示装置
３ ：操作対象画像
１１ ：制御部
１２ ：記憶部
１３ ：操作表示部
１４ ：カメラ
１５ ：姿勢検出センサ
１６ ：通信部
２１ ：制御部
２２ ：記憶部
２３ ：表示部
２４ ：通信部
１００ ：表示制御システム
１１１ ：表示処理部
１１２ ：姿勢設定部
１１３ ：姿勢検出部
１１４ ：表示変更部
１１５ ：動作出力部
１３１ ：表示領域
２１１ ：表示処理部
２１２ ：動作制御部

Claims (11)

  1. 所定の表示領域を含む表示部を備え、ユーザの操作に応じて所定の処理を実行する操作装置であって、
    前記ユーザに対する前記操作装置の姿勢を第１姿勢に設定する姿勢設定部と、
    前記第１姿勢に設定された前記操作装置の前記表示領域において、図形部と前記図形部に配置されるテキスト情報とにより構成されるオブジェクトを第１方向に向けて表示させる表示処理部と、
    前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出部と、
    前記操作装置が前記第１姿勢から第２姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトの前記図形部を前記第２姿勢に対応する第２方向に向けて表示させるとともに、前記オブジェクトの前記テキスト情報を前記第１方向に向けて表示させる表示変更部と、
    を備える操作装置。
  2. 前記表示変更部は、前記操作装置が前記第１姿勢から前記第２姿勢に姿勢変化した場合に、前記オブジェクトを、前記第１姿勢における前記表示領域に対する前記オブジェクトの表示位置に表示させ、前記図形部を、前記表示位置を中心に回転させて前記第２方向に向けて表示させる、
    請求項１に記載の操作装置。
  3. 前記表示処理部は、所定の方向に配列された複数の前記オブジェクトを含むオブジェクトグループを前記第１方向に向けて表示させ、
    前記表示変更部は、前記操作装置が前記第１姿勢から前記第２姿勢に姿勢変化した場合に、前記表示領域において、複数の前記オブジェクトのそれぞれの前記図形部を当該図形部の中心位置を中心に回転させて前記第２方向に向けて表示させ、複数の前記オブジェクトのそれぞれの前記テキスト情報を前記第１方向に向けて表示させる、
    請求項１に記載の操作装置。
  4. 前記表示処理部は、所定の方向に配列された複数の前記オブジェクトを含むオブジェクトグループを前記第１方向に向けて表示させ、
    前記表示変更部は、前記操作装置が前記第１姿勢から前記第２姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトグループを当該オブジェクトグループ全体の中心位置を中心に回転させて前記第２方向に向けて表示させ、前記オブジェクトグループに含まれる複数の前記オブジェクトのそれぞれの前記テキスト情報を前記第１方向に向けて表示させる、
    請求項１に記載の操作装置。
  5. 前記操作装置が前記第１姿勢から前記第２姿勢に姿勢変化することにより、前記オブジェクトの少なくとも一部が前記表示領域内に収まらなくなる場合に、前記表示変更部は、前記オブジェクトの表示位置を変更して前記表示領域内に表示させる、
    請求項１から請求項４のいずれか１項に記載の操作装置。
  6. 前記操作装置が前記第１姿勢から前記第２姿勢に姿勢変化することにより、前記オブジェクトグループに含まれる第１オブジェクトが前記表示領域内に収まらなくなる場合に、前記表示変更部は、前記オブジェクトグループに含まれる複数の前記オブジェクトの配列状態を解除して、前記第１オブジェクトを前記表示領域内に表示させる、
    請求項３又は請求項４に記載の操作装置。
  7. 前記操作装置は、前記ユーザの操作に応じて操作対象物を操作可能であって、
    前記操作装置の姿勢変化の変化量に応じて前記操作対象物の姿勢を変化させる第１動作指示を出力する動作出力部をさらに備える、
    請求項１から請求項６のいずれか１項に記載の操作装置。
  8. 前記オブジェクトは、前記操作対象物に所定の処理を実行させるための機能アイコンであり、
    前記動作出力部は、前記オブジェクトが前記ユーザに選択された場合に、前記所定の処理を実行させる第２動作指示を出力する、
    請求項７に記載の操作装置。
  9. 前記操作対象物は、前記操作装置に通信可能に接続される表示装置に表示される操作対象画像である、
    請求項７又は請求項８に記載の操作装置。
  10. ユーザの操作に応じて所定の処理を実行する操作装置の表示部に含まれる表示領域に画像を表示させる表示制御方法であって、
    前記ユーザに対する前記操作装置の姿勢を第１姿勢に設定する姿勢設定ステップと、
    前記第１姿勢に設定された前記操作装置の前記表示領域において、図形部と前記図形部に配置されるテキスト情報とにより構成されるオブジェクトを第１方向に向けて表示させる表示ステップと、
    前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出ステップと、
    前記操作装置が前記第１姿勢から第２姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトの前記図形部を前記第２姿勢に対応する第２方向に向けて表示させるとともに、前記オブジェクトの前記テキスト情報を前記第１方向に向けて表示させる表示変更ステップと、
    を一又は複数のプロセッサにより実行する表示制御方法。
  11. ユーザの操作に応じて所定の処理を実行する操作装置の表示部に含まれる表示領域に画像を表示させる表示制御プログラムであって、
    前記ユーザに対する前記操作装置の姿勢を第１姿勢に設定する姿勢設定ステップと、
    前記第１姿勢に設定された前記操作装置の前記表示領域において、図形部と前記図形部に配置されるテキスト情報とにより構成されるオブジェクトを第１方向に向けて表示させる表示ステップと、
    前記ユーザが前記操作装置の姿勢を変化させた場合に、前記操作装置の姿勢変化を検出する姿勢検出ステップと、
    前記操作装置が前記第１姿勢から第２姿勢に姿勢変化した場合に、前記表示領域において、前記オブジェクトの前記図形部を前記第２姿勢に対応する第２方向に向けて表示させるとともに、前記オブジェクトの前記テキスト情報を前記第１方向に向けて表示させる表示変更ステップと、
    を一又は複数のプロセッサに実行させるための表示制御プログラム。
JP2020068983A 2020-04-07 2020-04-07 操作装置、表示制御方法、及び表示制御プログラム Active JP7399779B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020068983A JP7399779B2 (ja) 2020-04-07 2020-04-07 操作装置、表示制御方法、及び表示制御プログラム
US17/220,278 US11555575B2 (en) 2020-04-07 2021-04-01 Operating device, display control method, and recording medium recording display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020068983A JP7399779B2 (ja) 2020-04-07 2020-04-07 操作装置、表示制御方法、及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2021165933A JP2021165933A (ja) 2021-10-14
JP7399779B2 true JP7399779B2 (ja) 2023-12-18

Family

ID=77921468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020068983A Active JP7399779B2 (ja) 2020-04-07 2020-04-07 操作装置、表示制御方法、及び表示制御プログラム

Country Status (2)

Country Link
US (1) US11555575B2 (ja)
JP (1) JP7399779B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118102101A (zh) * 2022-11-16 2024-05-28 广州视琨电子科技有限公司 对显示设备进行姿态控制的方法、装置、设备及电路板

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006068027A (ja) 2004-08-31 2006-03-16 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2006259358A (ja) 2005-03-17 2006-09-28 Clarion Co Ltd 画像表示装置、画像表示方法、及び、画像表示プログラム
US20100066763A1 (en) 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
JP2011170764A (ja) 2010-02-22 2011-09-01 Canon Inc 表示制御装置及びその制御方法、プログラム並びに記憶媒体
US20130169687A1 (en) 2007-06-29 2013-07-04 Microsoft Corporation Manipulation of Graphical Objects
JP2013214252A (ja) 2012-04-04 2013-10-17 Nintendo Co Ltd 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
JP2014063394A (ja) 2012-09-21 2014-04-10 Yahoo Japan Corp 情報処理装置、方法及びコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500741B1 (ko) * 2008-09-12 2015-03-09 옵티스 셀룰러 테크놀로지, 엘엘씨 카메라가 구비된 이동 단말기 및 이의 촬영 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006068027A (ja) 2004-08-31 2006-03-16 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2006259358A (ja) 2005-03-17 2006-09-28 Clarion Co Ltd 画像表示装置、画像表示方法、及び、画像表示プログラム
US20130169687A1 (en) 2007-06-29 2013-07-04 Microsoft Corporation Manipulation of Graphical Objects
US20100066763A1 (en) 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
JP2011170764A (ja) 2010-02-22 2011-09-01 Canon Inc 表示制御装置及びその制御方法、プログラム並びに記憶媒体
JP2013214252A (ja) 2012-04-04 2013-10-17 Nintendo Co Ltd 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
JP2014063394A (ja) 2012-09-21 2014-04-10 Yahoo Japan Corp 情報処理装置、方法及びコンピュータプログラム

Also Published As

Publication number Publication date
US11555575B2 (en) 2023-01-17
JP2021165933A (ja) 2021-10-14
US20210310602A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US8230610B2 (en) Orientation-sensitive signal output
CN103513894A (zh) 显示设备、远程控制设备及其控制方法
TW200941302A (en) Control device, input device, control system, control method, and hand-held device
JPWO2007007682A1 (ja) タッチパネル表示装置および携帯機器
US10140002B2 (en) Information processing apparatus, information processing method, and program
JP2001043010A (ja) ポインティング信号を発生するために画像を用いるポインティング装置
JP6357023B2 (ja) 情報処理プログラム、情報処理装置、情報処理装置の制御方法および情報処理システム
JP4799261B2 (ja) 画像表示装置、その制御方法及びプログラム
JPH10154038A (ja) ポインティング入力装置
JP7399779B2 (ja) 操作装置、表示制御方法、及び表示制御プログラム
JP5106610B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP6049885B2 (ja) カーソル位置制御装置、カーソル位置制御方法、プログラム及び情報記憶媒体
JP5095853B2 (ja) タッチパネル式ディスプレイを持った携帯型コンピュータ
CN109033100A (zh) 提供页面内容的方法及装置
CN106500689B (zh) 一种确定移动终端的姿态的方法及移动终端
JP2016119019A (ja) 情報処理装置、情報処理方法、プログラム
TW200935274A (en) Method for determining input mode by motion sensing and an input apparatus for the same
US20230166179A1 (en) Operation system, information processing system, operation information generation method, and operation information generation program
JP5200158B1 (ja) ゲーム装置、制御装置、ゲーム制御方法、及びプログラム
JP2019169180A (ja) コマンド実行システムおよび位置計測装置
JP2023166053A (ja) 情報処理プログラム、情報処理システム、および情報処理方法
CN114968063A (zh) 虚拟键盘的显示方法、装置、电子设备及存储介质
JP2001222372A (ja) 指示方向信号処理方法および装置
KR20190005050A (ko) 유저 인터페이스 제공 방법 및 이를 수행하기 위한 단말
KR20190005038A (ko) 유저 인터페이스 제공 방법 및 이를 수행하기 위한 단말

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231206

R150 Certificate of patent or registration of utility model

Ref document number: 7399779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150