WO2013038605A1 - 情報処理装置、情報処理方法、コンテンツファイルのデータ構造、gui配置シミュレータ、およびgui配置設定支援方法 - Google Patents
情報処理装置、情報処理方法、コンテンツファイルのデータ構造、gui配置シミュレータ、およびgui配置設定支援方法 Download PDFInfo
- Publication number
- WO2013038605A1 WO2013038605A1 PCT/JP2012/005391 JP2012005391W WO2013038605A1 WO 2013038605 A1 WO2013038605 A1 WO 2013038605A1 JP 2012005391 W JP2012005391 W JP 2012005391W WO 2013038605 A1 WO2013038605 A1 WO 2013038605A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- gui
- size
- display
- image
- information processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
Definitions
- the present invention relates to an information processing technology that accepts a user's manual operation input using a touch panel.
- an environment for performing information processing equivalent to a stationary game machine or a personal computer is being prepared.
- a user operates a small device, and an installed device connected via a network performs actual information processing, so that advanced games can be enjoyed regardless of location. It has also become possible to run on small devices by emulating games for stationary devices.
- the present invention has been made in view of such problems, and an object of the present invention is to provide a technique capable of easily realizing input means in a form suitable for the content to be displayed and the size of the screen.
- This information processing apparatus is an information processing apparatus that includes a display covered with a touch panel and performs information processing selected by a user, and a GUI image generation unit that generates an image of a GUI (Graphical User Interface) displayed on the display.
- An operation information conversion unit that identifies the operation content performed by the user based on the correspondence between the touch point detected by the touch panel and the displayed GUI image, and the GUI image generation unit has a display size as a standard setting.
- This information processing method includes a display covered with a touch panel, and an information processing apparatus that performs information processing selected by a user generates a GUI (Graphical User Interface) image to be displayed on the display, and the touch panel detects
- the step of generating the GUI image is created as a standard setting regardless of the size of the display.
- the step of identifying the operation content performed by the user from the correspondence between the contact point and the displayed GUI image By comparing the conditions for the display size obtained from the setting values of the GUI position and size recorded in the GUI arrangement information file and the actual display size, and making adjustments corresponding to the comparison results, A GUI that finally determines the position and size of the GUI and generates the GUI image. Characterized in that it comprises Tsu and up, the.
- the data structure of the content file is the data structure of the content file that is executed by the information processing apparatus including the display covered with the touch panel, and is displayed on the display and the execution file for executing the information processing related to the content. It is a file that records the GUI position and size setting values that are referred to when generating a GUI (Graphical User Interface) image and is created regardless of the display size as a standard setting.
- the GUI arrangement information file for final determination of the position and size of the GUI is made by making an adjustment corresponding to the comparison result between the condition for the display size and the actual display size.
- GUI placement simulator supports the setting of information related to the placement of a GUI (Graphical User Interface) that is displayed on-screen on a content image to be displayed as a result of information processing in an information processing apparatus including a display covered with a touch panel.
- a GUI placement simulator a placement setting receiving unit that receives basic setting values of the position and size of a GUI, a screen size designation receiving unit that receives a size specification of a display of an assumed information processing device, and a display obtained from the basic setting values
- the position and size of the GUI is determined by performing an adjustment corresponding to the comparison result between the condition for the size of the display and the size of the specified display, and the rectangular area representing the virtual screen having the specified size is obeyed.
- GUI image display unit that displays the GUI by arrangement Characterized by comprising a storage unit for storing been established the basic setting value as the GUI layout information file, a.
- Still another aspect of the present invention relates to a GUI arrangement setting support method.
- This GUI arrangement setting support method sets information related to the arrangement of a GUI (Graphical User Interface) that is displayed on-screen on a content image to be displayed as a result of information processing in an information processing apparatus including a display covered with a touch panel.
- GUI Graphic User Interface
- a GUI placement setting support method performed by a supporting GUI placement simulator, the step of receiving a basic setting value of a GUI position and size, the step of receiving a size specification of a display of a virtual information processing apparatus, and a basic setting value
- a step of determining the position and size of the GUI by making an adjustment corresponding to the comparison result between the condition for the required display size and the specified display size, and a rectangle representing a virtual screen having the specified size Arrange the GUI in an area according to the decision. Characterized in that it comprises a step of displaying the image on the display, and storing in a storage device the determined the basic setting value as the GUI layout information file, a.
- FIG. 5 is a diagram for explaining an example of setting the position and size of each GUI set in the GUI arrangement information table shown in FIG. 4. It is a figure for demonstrating the principle in which the GUI arrangement
- FIG. 1 shows an example of the appearance of the information processing apparatus according to the present embodiment.
- the information processing apparatus 10 is a small apparatus that can be carried by the user, and may be any of a mobile phone, a PDA, a portable game machine, a tablet, and the like. Moreover, you may have the function which combined them. Therefore, the information processing apparatus 10 may include various processing mechanisms according to functions, but since these can use general techniques, description thereof will be omitted as appropriate.
- the information processing apparatus 10 has a configuration in which the display 14 is disposed on the front surface of the main body and the start switch 40 is disposed on the side surface.
- the display 14 On the back surface of the display 14, mechanisms necessary for various information processing such as a CPU, a graphic processor unit, a sound processor, and a memory are incorporated (not shown).
- the display 14 may be any one of general displays such as a liquid crystal display, an EL (Electronic Luminescence) display, and a plasma display.
- the upper surface of the display 14 is covered with the touch panel 12.
- the touch panel 12 is realized by any one of the practically used systems such as a resistive film system, an optical system, and a capacitive coupling system.
- the information processing apparatus 10 may include a speaker that outputs sound, an earphone connection terminal, an infrared port that communicates with other apparatuses, a wireless LAN mechanism, a battery box, and the like, but the illustration is omitted here. .
- the display 14 displays a menu screen, a screen necessary for user operation input such as an icon, a game screen resulting from information processing, a video playback screen, a text display screen, a photo display screen, and the like according to functions. Further, a GUI for allowing the user to input an operation while viewing it is displayed on the screen.
- a direction key GUI 42 displaying graphics of direction keys
- a four-button GUI 44 displaying graphics of four types of operation buttons such as a circle button, a x button, a square button, and a triangle button, all-direction compatible.
- Joystick GUIs 46a and 46b displaying graphics for instructing the direction
- L button GUI 48 displaying the graphics of the “L” button
- R button GUI 50 displaying the graphics of the “R” button
- “SELECT” button SELECT” button
- a SELECT / START button GUI 52 displaying graphics of the “START” button is equipped as a GUI.
- the direction key GUI 42 is configured to be able to be keyed in four directions including up, down, left, and right directions, or eight directions including an intermediate direction thereof, and is used for moving a cursor on the screen, scrolling the screen, and the like. Further, it may be used to change the moving direction of characters appearing in the game on the game screen.
- buttons GUI 44 Different functions are assigned to the four types of buttons GUI 44 depending on the processing content to be executed. For example, when selecting a desired item on the menu screen, the highlight target of the item names and icons displayed in the list is moved by touching a key in any direction of the direction key GUI 42 and the four-type button GUI 44 is selected. ⁇ Confirm by touching the button. Also, in an interactive game, an affirmative or negative intention may be displayed by touching the ⁇ button or the x button of the four-type button GUI 44.
- the L button GUI 48 and the R button GUI 50 are used, for example, to change the direction of the line of sight in the game or to add different movements by operating simultaneously with other buttons.
- the “SELECT” button of the SELECT / START button GUI 52 is used to select, for example, an item displayed as a menu, and the “START” button is used to start playing a moving image, music, or the like.
- a figure representing a button for switching display / non-display of the SELECT / START button GUI 52 may be further displayed between the “SELECT” button and the “START” button.
- the SELECT / START button GUI 52 is not displayed and only the figure remains.
- a SELECT / START button GUI 52 appears.
- all GUIs other than the graphic can be hidden, and it can be used for the purpose of temporarily improving the visibility of the content or easily touching the content.
- the GUI once hidden is displayed again by touching the graphic again.
- Various functions may be assigned to the L button GUI 48, the R button GUI 50, and the SELECT / START button GUI 52 depending on the processing content to be executed.
- the left and right joystick GUIs 46a and 46b are GUIs that simulate a joystick that can be tilted in an arbitrary direction used for a game controller or the like as an image.
- the joystick GUIs 46a and 46b are configured by at least one circle, and are configured to input the direction and size based on the direction and distance from the center of the circle to the contact point by the user.
- FIG. 2 is a diagram for explaining graphics displayed as the joystick GUI 46a and an operation method thereof. The same applies to the joystick GUI 46b.
- the operation on the joystick GUI 46a is valid during a period in which the user touches the area in the circle 72 displayed as graphics of the joystick GUI 46a and then slides his / her finger on the touch panel without releasing it. Then, as shown on the left side of the figure, the direction and magnitude of the direction vector 71a from the center 74 of the circle 72 to the contact point of the user's finger 76a are continuously acquired, and the tilt direction when the actual joystick is operated and The input direction and input value correspond to the tilt angle.
- a sign 70 such as a circle is displayed at a location where the finger 76a is touching, and is moved according to the movement of the contact point.
- the sign 70 preferably has a size and shape that is not hidden by the finger. Furthermore, it is easier to visually recognize the image by processing it around the image that is shining, shifting the position slightly so as to track the movement of the contact point, and displaying the movement trace faintly. .
- the period when the operation to the joystick GUI 46a is effective that is, the period when the contact starting from the area in the circle 72 is continued, as shown on the right side of FIG. To do.
- the entire area of the touch panel 12 may be the detection area.
- the joystick GUI 46a can be operated more freely using a large area.
- the input value is the circle 72 or a predetermined radius regardless of the distance from the center 74 to the contact point. It is saturated with the value of the radius of the concentric circle (concentric circle 77 in the figure).
- the marker 70 is displayed so as to move in accordance with the direction of the contact point while being inscribed in the circumference of the circle 72.
- the contents of the operation that can be realized by providing such a GUI can be variously changed by button assignment according to the function realized by the information processing apparatus.
- the variation of operation input in a small information device can be made equivalent to that of a stationary game machine.
- games that are familiar with stationary game machines can be played with the same operability without any discomfort even with small devices.
- the environment in which the input means is provided in the screen as described above is to improve operability by increasing the types of input means and increasing the size, and to make it easy to see the original image as a processing result such as a content image.
- the optimal balance between the two changes depending on various factors such as the contents of information processing, the image to be displayed, the type and frequency of use of the input means, and the screen size.
- a GUI display mechanism that can cope with such a change in factors is realized.
- FIG. 3 shows the configuration of the information processing apparatus 10 in detail.
- the information processing apparatus 10 includes a content storage unit 16 that stores a program for displaying content and various data, and a GUI image storage unit 18 that stores data of material images prepared as a GUI.
- Input / output control unit 20 that controls input signal reception from touch panel 12 and output of image data to display 14
- GUI arrangement adjustment acceptance unit 21 that accepts adjustments by the user of the size and arrangement of each GUI
- input signals from the touch panel Includes an operation information conversion unit 22 that converts information into operation content information, a GUI arrangement unit 26 that arranges images of each GUI in the coordinate system of the screen, and a GUI image buffer 28 that temporarily stores the GUI image after arrangement.
- the information processing apparatus 10 further temporarily stores the content processing unit 24 that performs information processing related to content display according to the operation content on the GUI, the content image generation unit 30 that generates the content image, and the generated content image.
- the content image buffer 32 includes an image composition unit 34 that generates an image obtained by on-screen displaying a GUI image on the content image.
- the type of “content” is not limited as long as it is an object that can be electronically processed and displayed on a computer game, video, text, photo, picture, or the like.
- this embodiment can also be applied to general information processing such as web page browsing, schedule management, address book display, document creation, and spreadsheet. In the following description, performing information processing with such image display is collectively referred to as “execution of content”.
- GUI image an image composed of GUIs arranged in the coordinate system of the screen by the GUI arrangement unit 26 is hereinafter referred to as “GUI image”. That is, an image obtained by on-screen displaying a “GUI image” on a “content image” that is a result of information processing is displayed on the display 14 as a final image.
- each element described as a functional block for performing various processes can be configured with a CPU, a memory, and other LSIs in terms of hardware, and content in terms of software. This is realized by a program or the like for processing the image or image processing. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one.
- the input / output control unit 20 is connected to the touch panel 12 and the display 14 by an existing method, and controls data input / output.
- the input signal received from the touch panel 12 includes the coordinates of the contact point touched by the user on the touch panel 12, the movement path of the coordinates when the contact point continuously moves, and the like.
- the touch point detection method on the touch panel 12 is not described here because it differs depending on the method.
- the input / output control unit 20 also outputs a video signal of a display image to the display 14.
- the content storage unit 16 is set in association with the content, and includes basic information regarding the position and size of each GUI. Are stored, and a user setting information file 37 that records the result of the user adjusting the position and size of the GUI is stored.
- the GUI arrangement information file 36 is created by a content creator or the like, and is provided in association with the content execution file 38.
- the GUI arrangement adjustment receiving unit 21 adjusts the information recorded in the GUI arrangement information file 36 thus provided, that is, the position and size of each GUI according to the user's preference, and sets the user setting information file 37. It is an interface for creating.
- the content execution file 38 records information such as the program, player information, and the level reached at the previous play. If the content is a movie or music, video data and audio data that have been compression-encoded and a program for decoding and reproducing the data are recorded.
- the content storage unit 16 may be a hard disk drive, or may be realized by a combination of a removable recording medium such as a memory card, a ROM disk, an optical disk, a magneto-optical disk, and a reading device corresponding thereto.
- the GUI image storage unit 18 is a storage device such as a hard disk drive that stores image data serving as a GUI image material, such as direction keys and four types of buttons.
- the operation information conversion unit 22 acquires an input signal from the touch panel 12 from the input / output control unit 20, and converts the coordinates of the contact point included in the signal into information on the operation content. Specifically, in addition to the interpretation of the operation to the GUI shown in FIG. 1, the item selected based on the contact point is specified for the icon arrangement displayed on the initial screen and the selection input from the menu screen.
- the operation information conversion unit 22 reads it. Further, the information related to the GUI area shown in FIG. 1 is acquired by notification from the GUI arrangement unit 26 when the GUI arrangement unit 26 generates a GUI image.
- the region is associated with the operation content.
- the operation content associated with the GUI is specified.
- the GUI arrangement unit 26 is set in the user setting information file 37 or the GUI arrangement information file 36 read from the content storage unit 16 when a content selection operation is performed or when an operation to change the GUI display is performed. Based on the obtained information, each GUI image read from the GUI image storage unit 18 is appropriately scaled up and arranged in the coordinate system of the screen.
- the GUI arrangement unit 26 compares the screen size of the display 14 of its own device with the information set in the GUI arrangement information file 36, and fits the screen size while complying with the setting. Thus, the position and size of the GUI are determined.
- the GUI image generated as a result of the arrangement is stored in the GUI image buffer 28. Further, the information on the determined position and size of the GUI is also given to the operation information conversion unit 22. By configuring the GUI arrangement unit 26 and the operation information conversion unit 22 so that bidirectional information transmission is possible, another GUI is newly displayed according to the operation on the currently displayed GUI, and the arrangement and size are displayed. , You can change the design. For example, in the state where the operation on the joystick GUI 46a shown in FIG. 2 is enabled, other GUI images that are disabled may be hidden. The display of the sign 70 can be performed by a similar mechanism.
- the content processing unit 24 refers to the content execution file 38 stored in the content storage unit 16 and processes the content according to the user's operation details.
- the actual processing procedure is as generally performed according to the content.
- the content image generation unit 30 generates content image data to be output as a result of the processing by the content processing unit 24 and stores it in the content image buffer 32.
- the image composition unit 34 performs image processing using the GUI image data stored in the GUI image buffer 28 and the content image data stored in the content image buffer 32, thereby turning on the GUI image on the content image. Generates a screen-displayed image and stores it in the internal frame buffer. A video signal corresponding to the image stored in the frame buffer is transmitted to the display 14 under the control of the input / output control unit 20, whereby an image including a GUI is displayed on the display 14.
- FIG. 4 shows an example of the structure of data recorded in the GUI arrangement information file 36.
- one GUI arrangement information file 36 for each content is created in common as a standard setting regardless of the screen size, and the GUI arrangement unit 26 of each information processing apparatus creates the file.
- Each GUI is arranged at a position and size suitable for the screen size of its own device while referring to it.
- the GUI arrangement information table 100 recorded in the GUI arrangement information file 36 includes a GUI identification information field 102, a display switching field 104, a position field 106, a size field 108, and a left / right link field 110.
- the GUI identification information column 102 shows GUI identification information that can be displayed.
- “L button”, “R button”, “left joystick”, “right joystick”, “direction key”, “four buttons”, “SELECT / START button (horizontal)”, “SELECT / START button Eight GUI names “(Vertical)” are shown.
- the seven GUIs other than the “SELECT / START button (vertical)” are the L button GUI 48, the R button GUI 50, the joystick GUIs 46a and 46b, the direction key GUI 42, the four types of buttons GUI 44, and the SELECT / START button GUI 52 shown in FIG. It corresponds.
- the “SELECT / START button (vertical)” is a GUI obtained by modifying the “SELECT / START button (horizontal)”.
- GUI identification information is the GUI that is used to identify the image data of each GUI stored in the GUI image storage unit 18 and that the operation information conversion unit 22 refers to when converting contact point information into operation content. It is also used in common for information associating operation details.
- GUI In the display switching field 104, whether or not to display each GUI shown in the GUI identification information field 102 is set.
- all GUIs are set to “ON”, that is, displayed.
- OFF By setting this setting to “OFF”, that is, non-display, the GUI is excluded from the display target. As a result, unnecessary GUI can be hidden and the concealed area of the content image can be reduced.
- a GUI composed of a plurality of buttons such as a direction key GUI, a four-type button GUI, and a SELECT / START button GUI may be set to display / non-display for each one.
- the position on the screen of each GUI indicated in the GUI identification information column 102 is set. More specifically, the position of the reference point such as the upper left or the center of the material image of each GUI is set by the X coordinate (horizontal direction) and Y coordinate (vertical direction) of the screen. At this time, the Y coordinate is expressed as a ratio from the edge of the screen to the vertical length of the screen. In the figure, the ratio from the upper end is represented by 100 minutes. On the other hand, the X coordinate is represented by the length from the screen end. In the figure, the left GUI represents the distance from the left end of the screen, and the right GUI represents the distance from the right end of the screen in inches. In the coordinate system of the screen for setting the position in this way, the origin and unit need not be common to all the GUIs.
- the GUI can be arranged at a position close to the hand holding the device, such as near the center.
- the GUI can be arranged in a state where it is in contact with the left and right edges of the screen or within a predetermined distance near the edges, regardless of changes in the screen size. Further, unnatural unevenness can be prevented from occurring in the vertical arrangement of the GUI.
- the width “W” and the height “H” of the image of each GUI indicated in the GUI identification information column 102 are set. In the figure, it is expressed in inches. Since the GUI size suitable for operation is mainly determined by the size of the finger and the movable range, it is basically fixed regardless of the screen size. However, as will be described later, the GUI placement unit 26 adjusts the size depending on the screen size.
- the left and right link column 110 it is set whether or not to always display the GUI arranged on the left side of the screen and the GUI arranged on the right side at the same height regardless of the screen size.
- the setting to display at the same height, that is, at the same position in the vertical direction is called “link”.
- “L button” and “R button”, “Left joystick” and “Right joystick”, “Cross button” and “Four kinds of buttons” are respectively paired, basically the same height on the left and right Is assumed to be displayed.
- the GUI placement unit 26 may determine placement other than the setting of the Y coordinate. At this time, if the setting for linking in the left and right link column 110 is made, priority is given to this so that the height of the left and right pairs is not shifted and an unnatural arrangement is not caused. In the figure, all pairs are set to “ON”, that is, linked. If there is no need for a link, “OFF” is set.
- FIG. 5 is a diagram for explaining a setting example of the position and size of each GUI set in the GUI arrangement information table 100 shown in FIG.
- an L button GUI 48, a left joystick GUI 46a, a direction key GUI 42 are arranged on the left side
- an R button GUI 50, a right joystick GUI 46b, a four-type button GUI 44, and a SELECT / START button GUI 53 are arranged on the right side.
- SELECT / START button GUI 53 it corresponds to each GUI shown in FIG.
- the SELECT / START button GUI 53 is in a state in which the SELECT button and the START button graphic arranged in the horizontal direction by the SELECT / START button GUI 52 shown in FIG. 1 are arranged in the vertical direction.
- This GUI is the GUI of the “SELECT / START button (vertical)” shown in the last row in the GUI arrangement information table 100 of FIG. 4, and the “SELECT / START button (horizontal) corresponding to the SELECT / START button GUI 52 of FIG. ) ”. Switching between the “SELECT / START button (vertical)” and the “SELECT / START button (horizontal)” will be described later.
- the position and size on the screen are set in the position column 106 and the size column 108 for each of these seven types of GUIs.
- (X1, Y1), (X3, Y3), (X5, Y5) are set in the position column 106 in the order of the L button GUI 48, the left joystick GUI 46a, and the direction key GUI 42.
- (W1, H1), (W3, H3), and (W5, H5) are set.
- X1, X3, and X5 are numerical values representing the coordinates of the center of gravity of each GUI with respect to an axis in which the left end of the screen is 0 and the right direction is positive, and Y1, Y3, and Y5 are 0, The coordinates of the center of gravity of each GUI with respect to the axis whose lower end is 100.
- the position column 106 includes (X2, Y2), (X4, Y4), (X6, Y6), (X7 , Y7) and (W2, H2), (W4, H4), (W6, H6), (W7, H7) are set in the size column 108.
- X2, X4, X6, and X7 are numerical values representing the coordinates of the center of gravity of each GUI with respect to an axis in which the right end of the screen is 0 and the right direction is positive.
- Y2, Y4, Y6, and Y7 are the same as described above.
- FIG. 6 is a diagram for explaining the principle by which the GUI placement unit 26 determines the position and size of the GUI based on the screen size of the device itself and the settings in the GUI placement information file 36.
- the dotted line indicates the distance D between the centroids of two GUIs adjacent in the vertical direction
- the solid line indicates the change in the sum Wsum of the widths of the two GUI images between the centroids with respect to the screen size.
- the distance D between the centroids is a variable proportional to the height V of the screen, and the sum Wsum of the GUI widths is a constant. Therefore, as the screen size decreases, both become equal.
- the height of the screen at that time is “Vth1”.
- the GUI placement unit 26 determines the position and size of each GUI according to the settings of the GUI placement information file 36.
- the GUI arrangement unit 26 invalidates the setting of the vertical position of the two GUIs in the setting of the GUI arrangement information file 36. Then, as shown in FIG. 6, the positions of the two GUIs are determined so that the distance D between the centroids is equal to the sum Wsum of the GUI widths, that is, the GUIs are in contact with each other. Since Vth is determined for each pair of two GUIs that are adjacent in the vertical direction, a comparison with the screen height V is performed for each pair to determine whether the set value is valid / invalid.
- the GUI arrangement unit 26 invalidates the setting of the size in addition to the setting of the vertical position of the GUI among the settings of the GUI arrangement information file 36. Then, as shown in FIG. 6, the size of the GUI is reduced to V / Vth2 times in the two vertical and horizontal directions. At this time, the position is determined so that the GUIs are in contact with each other.
- the GUI arrangement unit 26 calculates the values of Vth1 and Vth2 from the setting values of the GUI arrangement information file 36, and compares the height V and the size of the screen of the own device, thereby displaying the GUI according to the setting.
- the setting of at least one GUI position is invalidated and displayed, and the position and size settings of all GUIs belonging to the vertical array are invalidated and reduced and displayed.
- Branch processing In this way, even if the screen sizes are different, the GUI can be displayed in a state where the setting intention in the GUI arrangement information file 36 is drawn as much as possible.
- FIG. 7 shows a change example of the GUI image with respect to the change of the screen size.
- the GUI is displayed with the vertical position adjusted as it is as described above (screen 136).
- the direction key GUI 42 and the four-type button GUI 44 are located somewhat below the screen 134 so as not to overlap with the joysticks 46a and 46b located immediately above.
- the design and arrangement of the SELECT / START button GUI are switched. That is, the lower end of the screen of the SELECT / START button GUI 52 in which the button graphic is arranged in the horizontal direction from the SELECT / START button GUI 53 in which the button graphic is arranged in the vertical direction, which is displayed on the right side of the screen 134 at the size A.
- the display has been switched to the center. Such switching may be performed with a predetermined screen size as a boundary, or may be performed when the original setting overlaps with another GUI.
- the SELECT / START button GUI 53 on the screen 134 and the SELECT / START button GUI 52 on the screen 136 are “SELECT / START button (vertical)” and “SELECT / START button (horizontal)” shown in the GUI arrangement information table 100 of FIG. It corresponds to.
- the GUI arrangement information file 36 a plurality of GUIs whose shape and position are to be switched according to the screen size from the viewpoint of design, or GUIs whose screen height V ⁇ Vth2 is not preferable for reduction, are described above. Set the pattern.
- Such switching is not limited to the SELECT / START button GUI.
- four buttons may be arranged horizontally and displayed at the center of the lower end of the screen, or one of the GUIs is simply separated from the left and right GUI arrays. It may be arranged in another area. In any case, it is possible to reflect the intention of the setter that it is desirable to change the position rather than reducing the size in view of the usage frequency and operability of the GUI.
- the GUI placement unit 26 adopts another GUI pattern that is set in the GUI placement information file 36, and if not set, As described above, the position and size are determined according to the relationship with other GUIs.
- GUI As shown in the screen 138, when the GUI is displayed in the vertical direction, if the left joystick 46a is not displayed, for example, the lower direction key GUI 42 is further pulled up, which is essentially the same height. It is conceivable that it will deviate from the four-type button GUI 44 designed for display on the screen. In order to avoid such a situation, when a link is set in the GUI arrangement information table 100 of FIG. 4, the position is determined so that it is given priority. As a result, regardless of the distance between the upper and lower GUIs, GUI pairs that should be displayed at the same height are always displayed without deviation.
- FIG. 8 shows an example of a reception screen displayed on the display 14 by the GUI arrangement adjustment reception unit 21 for the user to adjust the position and size of the GUI.
- This adjustment screen can be called at any time by touching a predetermined button on the GUI before the start of the content execution process and during the process.
- the menu screen may be called and then called by selecting from the menu screen.
- the GUI arrangement adjustment screen 140a displays a message 142 for prompting adjustment and a rectangle 144 surrounding each GUI on the GUI image immediately before the start of adjustment.
- the GUI is set as an adjustment target.
- a graphic 146 for accepting the size adjustment of the GUI is displayed in the vicinity of the GUI. The user adjusts the size by moving it in the enlargement and reduction directions. Further, the position is adjusted by touching the GUI to be adjusted and moving (dragging) while maintaining the contact.
- FIG. 9 shows an example of a screen in which the GUI to be adjusted is moving as described above.
- the GUI arrangement adjustment screen 140b when the user touches and drags in the area of the four-type button GUI 44, the position of the GUI is moved to the upper left. However, when the position is overlapped with another GUI such as the joystick GUI 46b, the color or shape of the rectangle 148 surrounding the GUI is changed from the original rectangle 144 to indicate that the position cannot be moved to that position.
- a determination button GUI 150 for determining the change and an initial setting button for returning to the original setting are used instead of the message 142 in FIG.
- the GUI 152 is displayed.
- the determination button GUI 150 is touched, the GUI arrangement adjustment receiving unit 21 creates or updates the user setting information file 37 that represents the positions and arrangements of all the GUIs at that time in absolute values, and stores them in the content storage unit 16.
- the GUI placement unit 26 places each GUI by giving priority to the information in the user setting information file 37 over the GUI placement information file 36.
- the initial setting button GUI 152 is touched, the GUI arrangement adjustment receiving unit 21 discards the user setting information file 37.
- FIG. 10 is a flowchart illustrating a procedure of processing related to GUI image display performed by the information processing apparatus 10.
- the flowchart is started when the information processing apparatus 10 is activated by turning on the activation switch 40 or when a content to be executed is selected.
- the content processing unit 24 and the content image generation unit 30 of the information processing apparatus 10 appropriately perform information processing related to content based on the content execution file 38.
- the GUI arrangement adjustment reception unit 21 displays the GUI arrangement adjustment screen as illustrated in FIG. 8 (S12).
- the GUI arrangement adjustment accepting unit 21 indicates the adjusted GUI arrangement as an absolute value.
- the user setting information file 37 is created and stored in the content storage unit 16 (S16). If the previously created user setting information file 37 exists, it is updated. Then, a GUI image is created based on the user setting information file 37, and the final image is displayed by on-screen display on the content image (S30).
- the GUI arrangement unit 26 acquires the identification information of the selected content from the operation information conversion unit 22, and refers to the content storage unit 16 for the content.
- the presence or absence of the user setting information file 37 associated with is confirmed (S17). If the file exists (N in S17), a GUI image is created based on the file, and the final image is displayed by displaying the content image on-screen (S30).
- the GUI arrangement information file 36 associated with the content is read from the content storage unit 16 (S18). Then, for the GUI to be displayed in the file, the screen height Vth1 at which the adjacent GUIs overlap each other is compared with the screen height V of the device itself (S20). As described above, Vth1 is calculated for each pair of adjacent GUIs.
- the GUI placement unit 26 stores the GUI position and size set in the GUI placement information file 36 in the GUI image storage unit 18.
- a GUI image is generated by arranging the GUI image (S24).
- V ⁇ Vth1 N in S20
- Vth2 a height at which the vertical arrangement of GUI does not fit on the screen even if only the position is adjusted, and the screen height of the device itself V are compared (S22).
- Vth2 ⁇ V (Y in S22)
- V ⁇ Vth1 the vertical position of at least one of the GUI pairs satisfying V ⁇ Vth1 is adjusted from the set value, and they are displayed at the positions where they touch each other without overlapping.
- S26 For example, without adjusting the position of the upper GUI, the position of the lower GUI is adjusted so as to be in contact therewith.
- the setting for changing the arrangement or the design is made in the GUI arrangement information file 36 as in the above-described SELECT / START button GUI, the setting is prioritized.
- V ⁇ Vth2 N in S22
- all the GUIs included in the array are reduced to V / Vth2 times and displayed at the position where they touch (S28).
- priority is given to a pair of left and right GUIs for which a link is set in the GUI arrangement information file 36.
- the final image is displayed by displaying the GUI image generated in S24, S26, or S28 on the content image on-screen (S30).
- the GUI placement unit 26 may change the GUI image at any time by performing the processing from S18 to S30 according to the operation content of the GUI being displayed.
- the GUI arrangement adjustment receiving unit 21 may update the user setting information file 37 at any time by performing the processing from S12 to S16.
- this apparatus is used by a content creator or a production company to create a GUI arrangement information file having an optimal setting in consideration of creation of content and an image displayed by the content and necessary input means.
- the information processing apparatus itself can follow the setting intention of the information processing apparatus of any screen size as much as possible. Autonomously adjusts the size and placement of the GUI.
- the content creation stage in order to check how the setting of the GUI arrangement information file is reflected in the actual GUI image, actual machines having various screen sizes are required. .
- FIG. 11 shows the configuration of a GUI placement simulator that supports the creation of a GUI placement information file.
- the GUI placement simulator 160 includes a placement setting receiving unit 162 that receives setting values in the GUI placement information file, a screen size designation receiving unit 164 that receives virtual screen size designation, and a GUI image that displays a GUI image on a virtual screen.
- the display unit 166 includes a GUI arrangement information file storage unit 168 that stores a GUI arrangement information file, and a GUI image storage unit 170 that stores data of material images prepared as a GUI.
- the GUI placement simulator 160 is configured to receive signals from general input means such as a keyboard and a mouse, and output image data to be displayed to the display.
- the arrangement setting reception unit 162 displays a GUI arrangement information table representing a list of items that can be set in the GUI arrangement information file 36 as shown in FIG. Each item is configured to allow manual input of data by an input means. While viewing the displayed GUI arrangement information table, the setter switches display / non-display of each GUI, sets the position and size of each GUI, and sets a link.
- the screen size designation receiving unit 164 displays a screen for accepting a virtual screen size designation on the display.
- the setter specifies the virtual screen size and aspect ratio while viewing the displayed reception screen.
- the GUI image display unit 166 is the same as the GUI arrangement unit 26 of the information processing apparatus 10 based on the setting related to the GUI arrangement for the arrangement setting reception unit 162 and the size of the virtual screen specified by the screen size designation reception unit 164.
- the scheme determines the size and location of the GUI. Then, after reading the image data of each GUI from the GUI image storage unit 170, a GUI image corresponding to the virtual screen size is generated and displayed on the display.
- the setting person confirms the GUI image displayed by the GUI image display unit 166 while changing the screen size in the screen size designation receiving unit 164, and arranges and sets so that a good GUI image can be obtained at any screen size.
- the setting in the receiving unit 162 is corrected.
- the arrangement setting receiving unit 162 stores the GUI arrangement information file including the setting value in the GUI arrangement information file storage unit 168.
- a standard GUI arrangement information file may be stored in the GUI arrangement information file storage unit 168 in advance, and a new GUI arrangement information file may be stored as the setting person modifies it.
- FIG. 12 shows an example of a screen displayed by the GUI placement simulator 160.
- the GUI layout simulation screen 180 includes a screen size designation window 182 for accepting designation of a virtual screen size, and a GUI image display window 184 for displaying a GUI image corresponding to the designated virtual screen size.
- the setting screen is not displayed on the assumption that the setting for the GUI arrangement information file is performed separately. However, the setting screen may be displayed simultaneously on the same screen.
- the screen size designation window 182 is displayed by the screen size designation receiving unit 164 and includes an aspect ratio selection box 186 and a screen size change bar 188.
- the setter can select a virtual screen size by selecting one aspect ratio from the aspect ratio selection box 186 and moving the bar left and right in the screen size change bar 188.
- the aspect ratio and size thus selected are reflected in the aspect ratio and size of the GUI image display window 184.
- GUI image display window 184 may be changed by dragging the window boundary with a general window system changing method, for example, a mouse or the like. This makes it possible to easily emulate a screen configuration with a more free aspect ratio, and to easily detect a failure that occurs at a specific screen ratio or screen size.
- the GUI image display unit 166 displays each GUI in the GUI image display window 184 having such a size in an arrangement according to the setting of the GUI arrangement information file being created.
- the processing at this time is the same as the processing performed by the GUI placement unit 26 of the information processing apparatus 10, but the GUI image display unit 166 is linked to the screen size designation window 182 whenever it is designated.
- the GUI image displayed on the GUI image display window 184 is updated.
- FIG. 13 is a flowchart showing a processing procedure in which the GUI placement simulator 160 supports creation of a GUI placement information file. This process is started when the setting person activates the GUI placement simulator 160.
- the arrangement setting receiving unit 162 receives the setting of arrangement information by displaying the GUI arrangement information table in a state where each item can be input (S42).
- the GUI image display window 184 is received every time the screen size designation window 182 is designated.
- the GUI image at is updated (S44, S46).
- the process of S46 corresponds to the process of S20 to S28 in FIG.
- the process of S42, S44, and S46 is repeated until an input for final setting of the GUI arrangement information file is made, such as closing the GUI image display window 184 (N in S48). Or only the process of S44 and S46 is repeated.
- the GUI arrangement information file is stored in the GUI arrangement information file storage unit 168 (S50).
- This file can be recorded in a recording medium or the like in association with a separately created content execution file, or can be downloaded from a content providing server or the like so that it can be stored together in the content storage unit 16 of the information processing apparatus 10. To do.
- the GUI arrangement suitable for the content is realized by using a common GUI arrangement information file even for screens of different sizes.
- the width of applicable information processing apparatuses may be further expanded by providing a plurality of GUI arrangement information files in association with one content execution file.
- FIG. 14 is a diagram for explaining such an aspect.
- the settings for the two-screen information processing apparatus 192 of the folding type and the sliding type are set.
- the recorded two-screen GUI arrangement information file 196 is associated with one content execution file 198.
- the content for one screen is executed by the information processing device 192 with two screens on the upper and lower sides
- only the upper screen of the two installed screens may be used for displaying the content image.
- the GUI is displayed large on the lower screen, it does not affect the visibility of the content image.
- the lower screen side casing is gripped, it is desirable to display a GUI that requires frequent operations or quick operations on the lower screen.
- GUI arrangement information file 194 for one screen and the GUI arrangement information file 19 for two screens information for identifying one screen and two screens is embedded as header information, and the GUI arrangement unit 26 of the apparatus that executes the contents Based on the number of screens of the device itself, one of them is read and the GUI is arranged.
- the GUI placement unit 26 and the GUI placement simulator 160 of the information processing apparatus 10 perform the above-described processing and simulation for adjusting the position and size of the GUI for each screen.
- the GUI arrangement information file for two screens is further provided with a column for setting whether to display the GUI on the first screen or the second screen in association with each GUI.
- display / non-display of each GUI, display position, display size, and a pair of left and right GUI pairs are set in the GUI arrangement information file generated in association with the content execution file. Keep it. Then, the information processing apparatus that executes the content refers to the GUI arrangement information file, performs the adjustment according to the screen size of the own apparatus, and displays the display target GUI.
- the information processing apparatus autonomously adjusts using a GUI material image held by itself, A GUI display mode suitable for both content and screen size can be realized easily and at low cost.
- the GUI arrangement information file independent of the content execution file, the user can easily adjust the GUI arrangement according to his / her preference.
- the GUI placement simulator virtually generates screens of various sizes and displays how the position and size of the GUI changes. Thereby, even if the setter does not have an information processing apparatus with various screen sizes, the setter can confirm in detail what GUI is actually displayed by the GUI arrangement information file being created. . As a result, it is possible to prevent the occurrence of problems such as an unexpected GUI layout depending on the screen size in advance.
- a GUI arrangement information file is generated individually for a device having a display mode and a priority of GUI position and size that are greatly different, such as a one-screen information processing device and a two-screen information processing device. Associate.
- a GUI image suitable for each screen form can be displayed by referring to the GUI arrangement information file corresponding to the screen form of the own apparatus.
- 10 information processing devices 12 touch panels, 14 displays, 16 content storage units, 18 GUI image storage units, 20 input / output control units, 21 GUI placement adjustment acceptance units, 22 operation information conversion units, 24 content processing units, 26 GUI placement units , 28 GUI image buffer, 30 content image generation unit, 32 content image buffer, 34 image composition unit, 36 GUI arrangement information file, 38 content execution file, 160 GUI arrangement simulator, 162 arrangement setting reception unit, 164 screen size designation reception unit 166 GUI image display unit, 168 GUI arrangement information file storage unit, 170 GUI image storage unit.
- the present invention can be used for information processing apparatuses such as computers, game apparatuses, content display terminals, and content generation apparatuses.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
コンテンツに対応させて、画面サイズに対する割合でGUIの位置を、固定長でGUIのサイズを設定したGUI配置情報ファイルを準備する。設定に従ってもGUI同士が重なり合うことがない画面サイズAを有する画面においては、GUI配置情報ファイルの設定に従った位置およびサイズで各GUIを表示する(画面134)。設定に従えばGUI同士が重なり合う状態となる画面サイズBを有する画面においては、当該GUIの位置の設定を無効とし、それらが接するように位置を決定する(画面136)。GUI同士が接した状態でも設定したサイズに従えば画面からはみ出す状態となる画面サイズCの画面の場合、画面サイズに応じて各GUIのサイズを縮小し、つめた状態でGUIを表示する(画面138)。
Description
本発明は、タッチパネルを用いてユーザの手操作入力を受け付ける情報処理技術に関する。
近年、携帯ゲーム機、携帯電話、PDA(Personal Data Asistance)、タブレットなど、携帯を想定した小型の情報機器が普及している。このような小型の機器はそのサイズ上の制約から入力手段も限定される。結果として、小型機器に特化した入力手段や機能が独自の発達を遂げてきた。例えばディスプレイ表面をタッチパネルで覆い、指やタッチペンでの入力を可能とすることにより、ディスプレイに表示されたオブジェクトなどを直接操作しているような感覚を与えることができる。
一方、そのような小型機器を利用して、設置型のゲーム機やパーソナルコンピュータと同等の情報処理を行う環境も整いつつある。例えば小型機器をユーザが操作し、ネットワークを介して接続した設置型の機器が実際の情報処理を行うことにより、高度なゲームを、場所を問わず楽しめるようになってきた。また、設置型の機器のためのゲームをエミュレートすることにより小型の機器で実行することも可能となってきている。
このように近年では、ゲームなどの情報処理を、機器の大きさや使用環境に関わらず行えるようにする技術的方向性がみられる。しかしながら、小型の機器を利用してそのような高度化した情報処理を実施しようとすると、上述のとおり入力手段の制約に起因して操作性が劣ってしまう、という問題があった。また小型の機器にあっては特に、画面サイズを確保するために、GUI(Graphical User Interface)を入力手段として画面内に表示することが有効であるが、表示する内容ごと、装置の画面サイズごとに細かい設定を行うのは困難であった。
本発明はこのような課題に鑑みてなされたものであり、その目的は、表示する内容や画面のサイズに適した形態の入力手段を容易に実現できる技術を提供することにある。
本発明の別の態様は情報処理装置に関する。この情報処理装置は、タッチパネルで覆われたディスプレイを備え、ユーザが選択した情報処理を行う情報処理装置であって、ディスプレイに表示するGUI(Graphical User Interface)の画像を生成するGUI画像生成部と、タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、を備え、GUI画像生成部は、標準設定としてディスプレイのサイズによらず作成されたGUI配置情報ファイルに記録されたGUIの位置およびサイズの設定値から求められるディスプレイのサイズに対する条件と実際のディスプレイのサイズとの比較結果に対応する調整を行うことにより、GUIの位置およびサイズを最終決定して前記GUIの画像を生成することを特徴とする。
本発明の別の態様は情報処理方法に関する。この情報処理方法は、タッチパネルで覆われたディスプレイを備え、ユーザが選択した情報処理を行う情報処理装置が、ディスプレイに表示するGUI(Graphical User Interface)の画像を生成するステップと、タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定するステップと、を含み、前記GUIの画像を生成するステップは、標準設定としてディスプレイのサイズによらず作成されたGUI配置情報ファイルに記録されたGUIの位置およびサイズの設定値から求められるディスプレイのサイズに対する条件と実際のディスプレイのサイズとを比較するステップと、比較結果に対応する調整を行うことにより、GUIの位置およびサイズを最終決定して前記GUIの画像を生成するステップと、を含むことを特徴とする。
本発明のさらに別の態様はコンテンツファイルのデータ構造に関する。このコンテンツファイルのデータ構造は、タッチパネルで覆われたディスプレイを備えた情報処理装置で実行されるコンテンツファイルのデータ構造であって、コンテンツに係る情報処理を実行するための実行ファイルと、ディスプレイに表示するGUI(Graphical User Interface)の画像を生成するのに参照され、標準設定としてディスプレイのサイズによらず作成された、GUIの位置およびサイズの設定値を記録したファイルであり、当該設定値から求められる、ディスプレイのサイズに対する条件と実際のディスプレイのサイズとの比較結果に対応する調整を行うことにより、GUIの位置およびサイズを最終決定するためのGUI配置情報ファイルと、を対応づけたことを特徴とする。
本発明のさらに別の態様はGUI配置シミュレータに関する。このGUI配置シミュレータは、タッチパネルで覆われたディスプレイを備えた情報処理装置において情報処理の結果として表示すべきコンテンツ画像にオンスクリーン表示するGUI(Graphical User Interface)の配置に係る情報の設定を支援するGUI配置シミュレータであって、GUIの位置およびサイズの基本設定値を受け付ける配置設定受付部と、想定する情報処理装置のディスプレイのサイズ指定を受け付ける画面サイズ指定受付部と、基本設定値から求められるディスプレイのサイズに対する条件と指定されたディスプレイのサイズとの比較結果に対応する調整を行うことによりGUIの位置およびサイズを決定し、指定されたサイズを有する仮想的な画面を表す矩形領域に、決定に従う配置でGUIを表示するGUI画像表示部と、確定された前記基本設定値をGUI配置情報ファイルとして格納する記憶部と、を備えることを特徴とする。
本発明のさらに別の態様はGUI配置設定支援方法に関する。このGUI配置設定支援方法は、タッチパネルで覆われたディスプレイを備えた情報処理装置において情報処理の結果として表示すべきコンテンツ画像にオンスクリーン表示するGUI(Graphical User Interface)の配置に係る情報の設定を支援するGUI配置シミュレータが行うGUI配置設定支援方法であって、GUIの位置およびサイズの基本設定値を受け付けるステップと、仮想的な情報処理装置のディスプレイのサイズ指定を受け付けるステップと、基本設定値から求められるディスプレイのサイズに対する条件と指定されたディスプレイのサイズとの比較結果に対応する調整を行うことによりGUIの位置およびサイズを決定するステップと、指定されたサイズを有する仮想的な画面を表す矩形領域に、決定に従う配置でGUIを配置した画像をディスプレイに表示するステップと、確定された前記基本設定値をGUI配置情報ファイルとして記憶装置に格納するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によると、表示する内容や画面サイズに適した入力手段を容易に実現できる。
図1は本実施の形態の情報処理装置の外観例を示している。情報処理装置10はユーザが持ち運びできる小型の装置であり、携帯電話、PDA、携帯ゲーム機、タブレットなどのいずれでもよい。またそれらを組み合わせた機能を有していてもよい。そのため情報処理装置10は、機能に応じた様々な処理機構を備えてよいが、それらは一般的な技術を利用できるため、以後、適宜説明を省略する。
情報処理装置10は、ディスプレイ14が本体前面に配置され、起動スイッチ40が側面に配置された構成を有する。ディスプレイ14の背面にはCPU、グラフィックプロセッサユニット、サウンドプロセッサ、メモリなど各種情報処理に必要な機構が内蔵されている(図示せず)。ディスプレイ14は液晶ディスプレイ、EL(Electronic Luminescence)ディスプレイ、プラズマディスプレイなど一般的なディスプレイのいずれかでよい。ディスプレイ14の上面はタッチパネル12で覆われている。タッチパネル12は抵抗膜方式、光学式、静電容量結合式など実用化されている方式のいずれかで実現する。
情報処理装置10はそのほか、音声を出力するスピーカ、イヤホン接続端子、他の装置との通信を行う赤外線ポートや無線LANの機構、電池ボックスなどを備えてよいが、ここでは図示を省略している。
ディスプレイ14には、メニュー画面、アイコンなどユーザの操作入力に必要な画面、情報処理の結果であるゲーム画面、動画再生画面、テキスト表示画面、写真表示画面などを機能に応じて表示する。さらに、それを見ながらユーザが操作入力を行うためのGUIをオンスクリーン表示する。
ユーザは当該GUIを操作するように、タッチパネル12上を手指で触れたり手指を滑らせたりすることにより、情報処理装置10への操作入力を行う。図1においては、方向キーのグラフィックスを表示した方向キーGUI42、○ボタン、×ボタン、□ボタン、△ボタンの4種の操作ボタン群のグラフィックスを表示した4種ボタンGUI44、全方向対応の方向指示を行うためのグラフィックスを表示したジョイスティックGUI46a、46b、「L」ボタンのグラフィックスを表示したLボタンGUI48、「R」ボタンのグラフィックスを表示したRボタンGUI50、「SELECT」ボタンと「START」ボタンのグラフィックスを表示したSELECT/STARTボタンGUI52がGUIとして装備されている。
以後、同図で示すGUIを例に説明するが、これらはあくまで例示であり、そのデザインや役割を限定する主旨ではない。これらのGUIは例えば、据え置き型のゲーム機のコントローラなどと同等の操作性を有する入力手段を実現するために導入される。方向キーGUI42は、上下左右の4方向、またはその中間の方向を含む8方向にキーイン可能に構成されており、例えば画面上でのカーソルの移動や、画面のスクロールなどに用いられる。またゲーム画面においてゲームに登場しているキャラクターの移動方向を変化させるのに用いるなどでもよい。
4種ボタンGUI44には、実行する処理内容によりそれぞれ異なる機能が割り付けられる。例えばメニュー画面において所望の項目を選択するときは、一覧表示された項目名やアイコンのうち強調表示の対象を方向キーGUI42のいずれかの方向のキーに触れることにより移動させ、4種ボタンGUI44の○ボタンに触れることにより確定させる。また会話型のゲームにおいて、4種ボタンGUI44の○ボタンや×ボタンに触れることにより肯定、否定の意思表示を行うなどでもよい。
LボタンGUI48、RボタンGUI50は、例えばゲームにおける視線の方向を変えたり、他のボタンと同時に操作することによって、異なる動きを加えたりするのに用いられる。SELECT/STARTボタンGUI52のうち「SELECT」ボタンは、例えばメニューとして表示された項目から選択するのに用いられ、「START」ボタンは動画、音楽再生などを開始させるのに用いられる。
「SELECT」ボタンと「START」ボタンの間には図示するように、SELECT/STARTボタンGUI52の表示/非表示を切り替えるためのボタンを表す図形をさらに表示してもよい。この状態で当該図形に触れるとSELECT/STARTボタンGUI52が非表示ととなり当該図形のみが残される。その状態で当該図形を操作すると、SELECT/STARTボタンGUI52が表れる。また当該図形に触れることにより、図形以外のすべてのGUIを非表示とし、一時的にコンテンツの視認性をよくしたり、コンテンツへのタッチをしやすくするなどの目的で用いることもできる。この場合も、再度当該図形に触れることにより、一旦非表示とされたGUIが再表示される。なおLボタンGUI48、RボタンGUI50、SELECT/STARTボタンGUI52も実行する処理内容により様々な機能が割り付けられてよい。
左右のジョイスティックGUI46a、46bは、ゲームのコントローラなどに用いられる任意方向に傾倒可能なジョイスティックを画像として擬似的に再現したGUIである。ジョイスティックGUI46a、46bは少なくとも一つの円によって構成され、円の中心からユーザによる接触点までの方向および距離に基づき方向および大きさを入力するように構成される。
このGUIにより任意方向、任意量の入力が可能となるため、ゲームに登場するキャラクタやオブジェクトの移動方向や移動速度、視野の転回などのコントロールに用いることができる。図2はジョイスティックGUI46aとして表示するグラフィックスと、その操作手法を説明するための図である。ジョイスティックGUI46bも同様である。
ジョイスティックGUI46aへの操作は、ユーザがジョイスティックGUI46aのグラフィックスとして表示されている円72内の領域に触れた後、そのまま離すことなくタッチパネル上で指を滑らせている期間において有効とする。そして同図左側に示すように、円72の中心74からユーザの指76aの接触点までの方向ベクトル71aの方向および大きさを連続的に取得し、実際のジョイスティックを操作したときの傾倒方向および傾倒角度に対応する入力方向および入力値とする。
このとき指76aが触れている箇所に円などの標識70を表示し、接触点の移動に合わせて移動させる。標識70は、好適には指によって隠れない大きさ、形状を有する。さらに、輝いているような画像上の加工をその周囲に施したり、接触点の移動を追尾するように僅かに位置をずらしたり、移動跡をかすかに表示したりすることでさらに視認されやすくなる。
ジョイスティックGUI46aへの操作が有効な期間、すなわち円72内の領域を始点とする接触が継続している期間は、同図右側に示すように、円72の外側の領域も当該操作の検知領域とする。例えばタッチパネル12の全領域を検知領域としてもよい。このとき、ディスプレイ14に表示された他のGUIを無効とすることにより、ジョイスティックGUI46aへの操作を、広い面積を用いてより自由に行える。
指76bの接触点が円72の外側にあるときは、円の中心74からの方向のみを入力方向として取得し、入力値は中心74から接触点までの距離によらず円72または所定半径を有する同心円(同図においては同心円77)の半径の値で飽和させる。このとき標識70は円72の円周に内接させた状態で、接触点の方向に対応して移動するように表示する。
このようなGUIを設けることによって実現できる操作の内容は、情報処理装置が実現する機能に応じたボタン割り付けによって様々に変化させることができる。本実施の形態ではこのように、据え置き型のゲーム機やパーソナルコンピュータにおける入力手段をタッチパネルの形式で再現することにより、小型の情報機器における操作入力のバリエーションを据え置き型のゲーム機などと同等にできる。また据え置き型のゲーム機で慣れたゲームを、小型の機器でも違和感なく同様の操作性で行える。
一方、このように画面内に入力手段を設ける環境は、入力手段の種類を増やしたりサイズを大きくしたりして操作性を追求することと、コンテンツ画像など処理結果としての本来の画像を見やすくすることとの間にトレードオフの関係を生じさせる。両者の最適なバランスは、情報処理の内容、表示させたい画像、入力手段の種類や使用頻度、画面サイズ、など様々な要因で変化する。本実施の形態ではそのような要因の変化に対応できるGUIの表示機構を実現する。
図3は情報処理装置10の構成を詳細に示している。情報処理装置10は上述したタッチパネル12、ディスプレイ14のほか、コンテンツを表示させるためのプログラムや各種データを記憶したコンテンツ記憶部16、GUIとして用意された素材画像のデータを記憶したGUI画像記憶部18、タッチパネル12からの入力信号受信やディスプレイ14への画像データの出力を制御する入出力制御部20、各GUIのサイズや配置のユーザによる調整を受け付けるGUI配置調整受付部21、タッチパネルからの入力信号を操作内容の情報に変換する操作情報変換部22、各GUIの画像を画面の座標系に配置するGUI配置部26、配置後のGUI画像を一時記憶するGUI画像バッファ28を含む。
情報処理装置10はさらに、GUIへの操作内容に応じてコンテンツ表示に係る情報処理を実行するコンテンツ処理部24、コンテンツの画像を生成するコンテンツ画像生成部30、生成したコンテンツの画像を一時記憶するコンテンツ画像バッファ32、コンテンツの画像上にGUI画像をオンスクリーン表示した画像を生成する画像合成部34を含む。
ここで「コンテンツ」は、コンピュータゲーム、動画、文章、写真、絵など電子的に処理しディスプレイ表示が可能な対象であればその種類は限定されない。また本実施の形態は、一般的な「コンテンツ」以外に、ウェブページの閲覧、スケジュール管理、住所録表示、文書作成、表計算など一般的な情報処理に対しても適用できる。以下の説明では、そのような画像表示を伴う情報処理を行うことを「コンテンツの実行」と総称する。
またGUI配置部26が画面の座標系に配置した各GUIで構成される画像を以後、「GUI画像」と呼ぶ。すなわち情報処理の結果である「コンテンツ画像」上に「GUI画像」をオンスクリーン表示した画像が最終的な画像としてディスプレイ14に表示される。
図3および後述する図11において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他のLSIで構成することができ、ソフトウェア的には、コンテンツを処理したり画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
入出力制御部20は既存の方法でタッチパネル12、ディスプレイ14と接続し、データの入出力を制御する。タッチパネル12から受信する入力信号は、タッチパネル12上でユーザが触れた接触点の座標、接触点が連続的に移動したときの座標の移動経路などである。タッチパネル12における接触点の検知手法はその方式によって異なるためここでは言及しない。入出力制御部20はまた、ディスプレイ14に表示画像のビデオ信号を出力する。
コンテンツ記憶部16は、コンテンツの処理に必要なプログラムや画像データなど各種データを記録したコンテンツ実行ファイル38のほか、当該コンテンツに対応づけて設定され、各GUIの位置およびサイズに係る基本的な情報を記録したGUI配置情報ファイル36、ユーザがGUIの位置およびサイズを調整した結果を記録したユーザ設定情報ファイル37を記憶する。GUI配置情報ファイル36はコンテンツ作成者などにより作成され、コンテンツ実行ファイル38と対応づけられて提供される。GUI配置調整受付部21は、このように提供されたGUI配置情報ファイル36に記録された情報、すなわち各GUIの位置やサイズを、ユーザが自分の好みに合わせて調整しユーザ設定情報ファイル37を作成するためのインターフェースである。
コンテンツ実行ファイル38は例えば、コンテンツがゲームであれば、そのプログラム、プレイヤーの情報、前回のプレイ時の到達レベルなどの情報を記録する。コンテンツが映画や音楽であれば、圧縮符号化されたビデオデータ、オーディオデータと、それを復号再生するためのプログラムなどを記録する。コンテンツ記憶部16は、ハードディスクドライブでもよいし、メモリカード、ROMディスク、光ディスク、光磁気ディスクなどのリムーバブル記録媒体とそれに対応した読み取り装置との組み合わせで実現してもよい。
GUI画像記憶部18は、方向キーや4種ボタンなど、GUI画像の素材となる画像データを記憶するハードディスクドライブなどの記憶装置である。操作情報変換部22は、タッチパネル12からの入力信号を入出力制御部20から取得し、当該信号に含まれる接触点の座標などを操作内容の情報へ変換する。具体的には図1で示したGUIへの操作の解釈のほか、初期画面などで表示されるアイコン配列やメニュー画面からの選択入力についても、接触点に基づき選択された項目を特定する。
そのため、アイコン、メニュー項目、GUIなど操作対象のグラフィックスが表示される領域と、当該領域が触れられたときの操作内容との対応関係を示す情報を、コンテンツ実行ファイル38に記録しておき、操作情報変換部22がそれを読み出す。さらに図1で示したGUIの領域に係る情報は、GUI配置部26がGUI画像を生成した際に、GUI配置部26からの通知により取得する。
そしてコンテンツ実行ファイル38に設定された、GUIの識別情報と操作内容との対応づけに基づき、領域と操作内容との対応づけを行う。実際の操作時は、入出力制御部20から取得した接触点の座標が現在表示されている各GUIの検知領域内にある場合に、当該GUIに対応づけられた操作内容を特定する。
操作内容の情報のうちコンテンツ処理に係る情報はコンテンツ処理部24へ、GUIの表示に係る情報はGUI配置部26へ、それぞれ通知される。GUI配置部26は、コンテンツの選択操作がなされたときや、GUIの表示を変化させるべき操作がなされたときに、コンテンツ記憶部16から読み出したユーザ設定情報ファイル37またはGUI配置情報ファイル36に設定された情報に基づき、GUI画像記憶部18から読み出した各GUIの画像を適宜拡縮して画面の座標系に配置する。GUI配置情報ファイル36を読み出した場合、GUI配置部26は、自装置のディスプレイ14の画面サイズと、GUI配置情報ファイル36に設定された情報とを比較し、設定を遵守しながら画面サイズに合うように、GUIの位置とサイズを決定する。
配置の結果生成したGUI画像はGUI画像バッファ28に格納する。さらに、決定したGUIの位置とサイズの情報は、操作情報変換部22にも与える。GUI配置部26と操作情報変換部22とを、双方向の情報伝送可能に構成することにより、現在表示されているGUIに対する操作に応じて別のGUIを新たに表示したり、配置、大きさ、デザインなどを変化させられるようにできる。例えば図2で示したジョイスティックGUI46aへの操作が有効となっている状態において、無効となる他のGUIの画像を非表示としてもよい。標識70の表示も同様の機構により行える。
コンテンツ処理部24は、コンテンツ記憶部16が記憶するコンテンツ実行ファイル38を参照し、ユーザの操作内容に応じたコンテンツの処理を行う。実際の処理手順はコンテンツの内容に応じて一般的に行われている通りである。コンテンツ画像生成部30は、コンテンツ処理部24による処理の結果として出力すべきコンテンツ画像のデータを生成し、コンテンツ画像バッファ32に格納する。
画像合成部34は、GUI画像バッファ28に格納されたGUI画像のデータと、コンテンツ画像バッファ32に格納されたコンテンツ画像のデータを用いて画像処理を行うことにより、コンテンツ画像上にGUI画像がオンスクリーン表示された画像を生成し内部のフレームバッファに格納する。当該フレームバッファに格納された画像に対応するビデオ信号が、入出力制御部20の制御のもとディスプレイ14に送信されることにより、GUIを含む画像がディスプレイ14に表示される。
図4はGUI配置情報ファイル36に記録されるデータの構造例を示している。本実施の形態では上述のとおり、コンテンツごとに1つのGUI配置情報ファイル36を、標準設定として画面サイズによらず共通に作成しておき、各情報処理装置のGUI配置部26が、当該ファイルを参照しながら自装置の画面サイズに適した位置とサイズで各GUIを配置する。
GUI配置情報ファイル36に記録されるGUI配置情報テーブル100は、GUI識別情報欄102、表示切り替え欄104、位置欄106、サイズ欄108、左右リンク欄110を含む。GUI識別情報欄102は、表示可能なGUIの識別情報を示す。同図においては、「Lボタン」、「Rボタン」、「左ジョイスティック」、「右ジョイスティック」、「方向キー」、「4種ボタン」「SELECT/STARTボタン(水平)」、「SELECT/STARTボタン(垂直)」の8つのGUIの名称が示されている。
「SELECT/STARTボタン(垂直)」以外の7つのGUIは、図1で示したLボタンGUI48、RボタンGUI50、ジョイスティックGUI46a、46b、方向キーGUI42、4種ボタンGUI44、SELECT/STARTボタンGUI52にそれぞれ対応している。「SELECT/STARTボタン(垂直)」は、「SELECT/STARTボタン(水平)」を変形したGUIである。
なお同図ではGUI識別情報欄102に各GUIの名称を示しているが、識別符号、識別番号などでもよい。このようなGUIの識別情報は、GUI画像記憶部18に格納された各GUIの画像データの識別や、操作情報変換部22が接触点の情報を操作内容へ変換する際に参照する、GUIと操作内容とを対応づけた情報にも共通に用いられる。
表示切り替え欄104には、GUI識別情報欄102に示された各GUIを表示するか否かを設定する。同図においては全てのGUIに対し「ON」、すなわち表示する設定がなされている。この設定を「OFF」、すなわち非表示とすることで、当該GUIは表示対象から外される。これにより不必要なGUIを非表示とし、コンテンツ画像の隠蔽面積を減らすことができる。なお方向キーGUI、4種ボタンGUI、SELECT/STARTボタンGUIなど複数のボタンで構成されるGUIは、その一つずつに対し表示/非表示を設定可能としてもよい。
位置欄106には、GUI識別情報欄102に示された各GUIの、画面における位置を設定する。より詳細には、各GUIの素材画像の左上または中心などの基準点の位置を、画面のX座標(横方向)、Y座標(縦方向)で設定する。このときY座標は、画面の縦方向の長さに対する画面端からの割合で表す。同図においては上端からの割合を100分率で表している。一方、X座標は、画面端からの長さで表す。同図においては、左側のGUIは画面の左端から、右側のGUIは画面の右端からの距離をインチ単位で表している。このように位置を設定する画面の座標系は、原点および単位を全てのGUIで共通としなくてよい。
このようにすることで、縦方向に対しては画面サイズが変化しても中央付近など装置を把持する手に近い位置にGUIを配置できる。一方、横方向に対しては、画面サイズの変化によらず、画面の左右の端に接した状態あるいは端近傍の所定距離内にGUIを配置できる。またGUIの縦方向の配列に不自然な凹凸が生じないようにできる。
サイズ欄108には、GUI識別情報欄102に示された各GUIの画像の幅「W」と高さ「H」を設定する。同図においてはインチ単位で表している。操作に好適なGUIの大きさは主に指の大きさや可動範囲で決まるため、基本的には画面のサイズによらず固定とする。ただし後述するように、画面サイズによってはGUI配置部26がサイズ調整を行う。
左右リンク欄110には、画面の左側に配置するGUIと右側に配置するGUIの対を、画面サイズによらず常に同じ高さに表示させるか否かを設定する。同じ高さ、すなわち縦方向で同じ位置に表示させる設定を「リンクさせる」と呼ぶ。同図においては「Lボタン」と「Rボタン」、「左ジョイスティック」と「右ジョイスティック」、「十字ボタン」と「4種ボタン」がそれぞれ対となっており、基本的には左右の同じ高さに表示されることを想定している。
そのため各対は、位置欄106におけるY座標が「5%」、「20%」、「45%」と設定されている。しかし後述するように、表示対象とするGUIや画面サイズによっては、GUI配置部26が当該Y座標の設定以外の配置を決定する場合がある。このとき左右リンク欄110においてリンクさせる設定がなされているときはそれを優先させることにより、左右の対の高さがずれて不自然な配置にならないようにする。同図においては全ての対に対し「ON」、すなわちリンクさせる設定がなされている。リンクの必要がない場合は「OFF」などと設定する。
図5は図4で示したGUI配置情報テーブル100で設定される、各GUIの位置およびサイズの設定例を説明するための図である。同図に示すように画面120において、LボタンGUI48、左のジョイスティックGUI46a、方向キーGUI42を左側、RボタンGUI50、右のジョイスティックGUI46b、4種ボタンGUI44、SELECT/STARTボタンGUI53を右側に配置する例を想定する。ここでSELECT/STARTボタンGUI53以外は図1で示した各GUIに対応している。
SELECT/STARTボタンGUI53は、図1で示したSELECT/STARTボタンGUI52で水平方向に並べたSELECTボタンとSTARTボタンの図形を、垂直方向に並べた状態となっている。このGUIが図4のGUI配置情報テーブル100において最終行に示された「SELECT/STARTボタン(垂直)」のGUIであり、図1のSELECT/STARTボタンGUI52に対応する「SELECT/STARTボタン(水平)」とは別に設定する。「SELECT/STARTボタン(垂直)」と「SELECT/STARTボタン(水平)」の切り替えについては後に述べる。
この7種類のGUIのそれぞれに対し、位置欄106およびサイズ欄108に、画面上の位置およびサイズを設定する。同図に示すような配置とする場合、LボタンGUI48、左側のジョイスティックGUI46a、方向キーGUI42の順に、位置欄106には(X1,Y1)、(X3,Y3)、(X5,Y5)を設定し、サイズ欄108には(W1,H1)、(W3,H3)、(W5,H5)を設定する。ただしX1、X3、X5は画面の左端を0として右方向を正とする軸に対する各GUIの重心の座標をインチ単位で表した数値であり、Y1、Y3、Y5は、画面の上端を0、下端を100とする軸に対する各GUIの重心の座標である。
同様に、RボタンGUI50、右側のジョイスティックGUI46b、4種ボタンGUI44、SELECT/STARTボタンGUI53の順に、位置欄106には(X2,Y2)、(X4,Y4)、(X6,Y6)、(X7,Y7)を設定し、サイズ欄108には(W2,H2)、(W4,H4)、(W6,H6)、(W7,H7)を設定する。このときX2、X4、X6、X7は、画面の右端を0として右方向を正とする軸に対する各GUIの重心の座標をインチ単位で表した数値である。Y2、Y4、Y6、Y7は上述と同様である。
図6は、GUI配置部26が自装置の画面サイズとGUI配置情報ファイル36における設定に基づき、GUIの位置およびサイズを決定する原理を説明するための図である。同図において点線は縦方向に隣り合う2つのGUIの重心間の距離D、実線は当該重心間で2つのGUIの画像が占める幅の和Wsumの、画面サイズに対する変化を示している。
例えば図5に示した設定において、左側のジョイスティックGUI46aと方向キーGUI42を例にとると、
D=(Y5-Y3)×V
Wsum=(H3+H5)/2
である。ここで画面の高さをV(インチ)としている。
D=(Y5-Y3)×V
Wsum=(H3+H5)/2
である。ここで画面の高さをV(インチ)としている。
つまり設定に従えば、重心間の距離Dは画面の高さVに比例する変数であり、GUIの幅の和Wsumは定数である。そのため画面のサイズが小さくなるといずれは両者が等しくなる。同図ではそのときの画面の高さを「Vth1」としている。同図に示すように、高さVがVth以上の画面サイズでは、重心間の距離DがGUIの幅の和Wsumより大きいため、GUI同士が重なり合うことがない。従ってこの条件ではGUI配置部26は、GUI配置情報ファイル36の設定に従い、各GUIの位置およびサイズを決定する。
一方、画面の高さVがVth1より小さいときは、設定に従えば重心間の距離DがGUIの幅の和Wsumより小さくなりGUI同士が重なり合う状態となる。このときGUI配置部26は、GUI配置情報ファイル36の設定のうち当該2つのGUIの縦方向の位置の設定を無効とする。そして図6に示すように、重心間の距離DがGUIの幅の和Wsumと等しい状態、すなわちGUI同士が接した状態となるように2つのGUIの位置を決定する。Vthは縦方向に隣り合うする2つのGUIの組ごとに決まるため、当該組ごとに画面の高さVとの比較を行い、設定値の有効/無効を決定する。
画面サイズがさらに小さくなってくると、縦の配列に含まれる全てのGUIが接した状態となったうえ、設定に従えばそれらのGUIの高さの和が画面の高さVを超えてしまうようになる。同図ではそのときの画面の高さを「Vth2」としている。このときGUI配置部26は、GUI配置情報ファイル36の設定のうちそれらのGUIの縦方向の位置の設定に加え、サイズの設定も無効とする。そして図6に示すように、GUIのサイズを縦横2方向に対しV/Vth2倍に縮小する。このときもGUI同士が接した状態となるように位置を決定する。
このようにGUI配置部26は、Vth1、Vth2の値をGUI配置情報ファイル36の設定値から算出し、自装置の画面の高さVと大きさを比較することにより、設定に従いGUIを表示する、少なくともいずれかのGUIの位置の設定を無効としてつめて表示する、縦の配列に属する全GUIの位置とサイズの設定を無効とし縮小してつめて表示する、という3つの態様のいずれかに処理を分岐させる。このようにすることで、画面サイズが異なっていても、GUI配置情報ファイル36における設定意図を可能な限り汲んだ状態でGUIを表示できる。
図7は画面サイズの変化に対するGUI画像の変化例を示している。まずV>Vth1なる高さを有する画面サイズAの画面においては、GUI配置情報ファイル36の設定に従った位置およびサイズで各GUIを表示する(画面134)。一方、V<Vth2なる高さを有する画面サイズCの画面の場合、画面サイズに応じて各GUIのサイズを縮小し、縦方向につめた状態でGUIを表示する(画面138)。
またVth2<V<Vth1なる高さを有する画面サイズBの画面の場合、上述のとおり各GUIのサイズはそのままで、縦方向の位置が調整された状態でGUIを表示する(画面136)。同図の例では、方向キーGUI42と4種ボタンGUI44が、直上に位置するジョイスティック46a、46bと重なり合わないように、画面134の場合よりいくらか下方に位置している。
また画面136では、SELECT/STARTボタンGUIのデザインおよび配置を切り替えている。つまりサイズAのときの画面134において画面右側に表示していた、垂直方向にボタンの図形を並べたSELECT/STARTボタンGUI53から、水平方向にボタンの図形を並べたSELECT/STARTボタンGUI52の画面下端中央への表示に切り替えている。このような切り替えは、所定の画面サイズを境界として行ってもよいし、元の設定では他のGUIと重なってしまう場合に行ってもよい。
画面134のSELECT/STARTボタンGUI53と、画面136のSELECT/STARTボタンGUI52は、図4のGUI配置情報テーブル100で示した「SELECT/STARTボタン(垂直)」と「SELECT/STARTボタン(水平)」に対応している。デザイン上の観点から画面サイズに応じて形や位置を切り替えたいGUI、または画面の高さV<Vth2である画面において縮小が好ましくないGUIについては、このように、GUI配置情報ファイル36においてあらかじめ複数のパターンを設定しておく。
なおこのような切り替えはSELECT/STARTボタンGUIに限らず、例えば4種ボタンを水平に並べて画面の下端中央に表示してもよいし、単にいずれかのGUIを左側や右側のGUIの配列から離して別の領域に配置するようにしてもよい。いずれの場合も、GUIの使用頻度や操作性に鑑み、サイズを縮小させるより位置を変化させた方が望ましいなどの設定者の意図を反映させることができる。GUI配置部26は、画面の高さVがVth1より小さい場合に、対象となるGUIの別のパターンがGUI配置情報ファイル36に設定されていればそれを採用し、設定されていなければ上述の通り、他のGUIとの関係によって位置とサイズを決定する。
なお画面138のように、縦方向につめてGUIを表示する状態において、例えば左側のジョイスティック46aが非表示であったとすると、その下の方向キーGUI42がさらに上につめてしまい、本来同じ高さに表示することを想定してデザインされた4種ボタンGUI44とずれてしまうことが考えられる。このような状況を回避するため、図4のGUI配置情報テーブル100においてリンクが設定されている場合は、それを優先するように位置を決定する。これにより上下のGUIとの間隔がどのようであっても、同じ高さに表示すべきGUIの対については常にずれることなく表示される。
図8はGUI配置調整受付部21がディスプレイ14に表示する、ユーザがGUIの位置とサイズを調整するための受付画面の例を示している。この調整画面は、コンテンツ実行処理の開始前、処理の途中を問わず、GUIの所定のボタンに触ることによっていつでも呼び出せるようにする。あるいはメニュー画面を呼び出したうえでそこから選択することにより呼び出すなどでもよい。
GUI配置調整画面140aは、調整開始直前のGUI画像上に、調整を促すメッセージ142と、各GUIを囲む矩形144を表示したものである。この例では、矩形144で囲まれたGUIのうち、調整したいGUIに一旦触れることによって、当該GUIを調整対象とする。このとき当該GUIのサイズ調整を受け付けるための図形146をGUI近傍に表示する。ユーザはそれを拡大方向、縮小方向に移動させることによりサイズを調整する。また調整対象のGUIに触れ、接触を継続したまま移動させる(ドラッグする)ことによって位置を調整する。
図9はそのようにして調整対象のGUIが移動中の画面例を示している。GUI配置調整画面140bでは、ユーザが4種ボタンGUI44の領域内に触れてドラッグすることによって当該GUIの位置が左上に移動した状態となっている。しかしジョイスティックGUI46bなど他のGUIと重なる位置にある場合は、当該位置には移動できないことを示すため、GUIを囲む矩形148の色や形状を元の矩形144から変化させる。
このように調整対象のGUIの位置やサイズが調整画面上で変更された場合は、図8のメッセージ142に代わり、当該変更を決定するための決定ボタンGUI150、および元の設定に戻す初期設定ボタンGUI152を表示させる。決定ボタンGUI150に触れられたら、GUI配置調整受付部21は、その時点における全GUIの位置および配置を絶対値で表したユーザ設定情報ファイル37を作成あるいは更新し、コンテンツ記憶部16に格納する。コンテンツ記憶部16にユーザ設定情報ファイルが格納されている場合、GUI配置部26はGUI配置情報ファイル36よりユーザ設定情報ファイル37の情報を優先して各GUIを配置する。初期設定ボタンGUI152に触れられたら、GUI配置調整受付部21はユーザ設定情報ファイル37を破棄する。
次に、これまで述べた構成によって実現できる情報処理装置10の動作について説明する。図10は情報処理装置10が行う、GUI画像表示に係る処理の手順を示すフローチャートである。同フローチャートはユーザが起動スイッチ40をオンすることにより情報処理装置10が起動されたときや、実行すべきコンテンツが選択されたときに開始される。なお同図に示した処理と並行し、情報処理装置10のコンテンツ処理部24やコンテンツ画像生成部30は、コンテンツ実行ファイル38に基づきコンテンツに係る情報処理を適宜行っているものとする。
まずユーザがGUI配置調整画面を呼び出した場合(S10のY)、GUI配置調整受付部21は、図8で例示したようなGUI配置調整画面を表示する(S12)。ユーザが調整したいGUIをドラッグしたり、拡大縮小用の図形を操作したりして位置やサイズの調整を行うと(S14)、GUI配置調整受付部21は調整後のGUI配置を絶対値で示したユーザ設定情報ファイル37を作成し、コンテンツ記憶部16に格納する(S16)。以前に作成したユーザ設定情報ファイル37が存在する場合はそれを更新する。そしてユーザ設定情報ファイル37に基づきGUI画像を作成し、コンテンツ画像にオンスクリーン表示することにより最終的な画像を表示する(S30)。
ユーザがGUI配置調整を行わない場合(S10のN)、GUI配置部26は、選択されたコンテンツの識別情報などを操作情報変換部22から取得し、コンテンツ記憶部16を参照して、当該コンテンツに対応づけられたユーザ設定情報ファイル37の有無を確認する(S17)。当該ファイルがある場合は(S17のN)、それに基づきGUI画像を作成し、コンテンツ画像にオンスクリーン表示することにより最終的な画像を表示する(S30)。
ユーザ設定情報ファイル37がない場合は(S17のY)、コンテンツに対応づけられたGUI配置情報ファイル36をコンテンツ記憶部16から読み出す(S18)。そして、当該ファイルにおいて表示対象となっているGUIについて、隣り合うGUI同士の重なりが発生する画面の高さVth1と、自装置の画面の高さVを比較する(S20)。上述の通りVth1は隣り合うGUIの対ごとに算出する。
全てのGUIの対についてVth1≦Vであったら(S20のY)、GUI配置部26は、GUI配置情報ファイル36に設定されているGUIの位置およびサイズで、GUI画像記憶部18に格納されたGUI画像を配置することによりGUI画像を生成する(S24)。一方、V<Vth1となるGUIの対がある場合は(S20のN)、さらに、位置のみを調整してもGUIの縦の配列が画面に収まらなくなる高さVth2と、自装置の画面の高さVを比較する(S22)。
Vth2≦Vであったら(S22のY)、V<Vth1となるGUIの対のうち少なくともどちらかの縦方向の位置を設定値から調整し、それらが重ならずに接した位置に表示されるようにする(S26)。例えば上のGUIの位置を調整せずに、それに接するように下のGUIの位置を調整する。上述のSELECT/STARTボタンGUIのように、配置やデザインを変更する設定がGUI配置情報ファイル36でなされていた場合は、当該設定を優先させる。
V<Vth2であったら(S22のN)、配列に含まれる全てのGUIをV/Vth2倍に縮小したうえ、それらが接する位置に表示されるようにする(S28)。ただしGUI配置情報ファイル36でリンクが設定されている左右のGUIの対についてはそれを優先させる。そしてS24、S26、またはS28で生成したGUI画像をコンテンツ画像にオンスクリーン表示することにより最終的な画像を表示する(S30)。
なお上述のとおりGUI配置部26は、表示中のGUIに対する操作内容に応じてS18からS30の処理を行うことにより、GUI画像を随時変化させてよい。またユーザがGUI配置調整画面を呼び出したとき、GUI配置調整受付部21はS12からS16の処理を行うことにより、ユーザ設定情報ファイル37を随時更新してよい。
これまでは、コンテンツを実行する装置において、自装置が有する画面のサイズに応じて好適なGUI画像を生成する態様について説明した。次に、コンテンツ実行ファイルとともに提供するGUI配置情報ファイルの作成を支援するための装置について説明する。この装置は例えば、コンテンツ作成者や制作会社が、コンテンツの作成とともに当該コンテンツで表示される画像や必要な入力手段などに鑑み最適な設定のGUI配置情報ファイルを作成するのに利用される。
本実施の形態では上述のとおり、1つのGUI配置情報ファイルを作成しておくことにより、どのような画面サイズの情報処理装置においても可能な限りその設定意図を踏襲するかたちで、情報処理装置自体が自律的にGUIのサイズや配置を調整する。しかしこのような場合、コンテンツの作成段階においては、GUI配置情報ファイルの設定が実際のGUI画像にどのように反映されるかを確認するには、様々な画面サイズの実機が必要となってしまう。
コンテンツ作成者が実機を保持していないサイズの装置において、予想外のGUIサイズや配置となり、操作しづらくなったり、コンテンツ画像が見にくくなってしまったりするのを防止するため、本実施の形態では仮想的な画面によってGUI画像をシミュレートできるようにする。図11はGUI配置情報ファイルの作成を支援するGUI配置シミュレータの構成を示している。
GUI配置シミュレータ160は、GUI配置情報ファイルへの設定値を受け付ける配置設定受付部162、仮想的な画面のサイズ指定を受け付ける画面サイズ指定受付部164、仮想的な画面にGUI画像を表示するGUI画像表示部166、GUI配置情報ファイルを格納するGUI配置情報ファイル格納部168、GUIとして用意する素材画像のデータを記憶したGUI画像記憶部170を含む。同図に示すようにGUI配置シミュレータ160は、キーボードやマウスなど一般的な入力手段からの信号を受信し、表示すべき画像データをディスプレイに出力するように構成される。
配置設定受付部162は、図4で示したような、GUI配置情報ファイル36で設定可能な項目の一覧を表すGUI配置情報テーブルをディスプレイに表示する。各項目は入力手段によってデータの手操作入力が可能なように構成される。設定者は表示されたGUI配置情報テーブルを見ながら、各GUIの表示/非表示の切り替え、各GUIの位置やサイズの設定、リンク設定を行う。
画面サイズ指定受付部164は、仮想的な画面のサイズの指定を受け付ける画面をディスプレイに表示する。設定者は表示された受付画面を見ながら、仮想的な画面のサイズとアスペクト比を指定する。GUI画像表示部166は、配置設定受付部162に対するGUI配置に係る設定、および画面サイズ指定受付部164において指定された仮想的な画面のサイズに基づき、情報処理装置10のGUI配置部26と同じスキームにより、GUIのサイズおよび位置を決定する。そして、GUI画像記憶部170から各GUIの画像データを読み出したうえ、仮想的な画面サイズに対応するGUI画像を生成してディスプレイに表示する。
設定者は、画面サイズ指定受付部164において画面サイズを様々に変化させながら、GUI画像表示部166により表示されたGUI画像を確認し、どの画面サイズでも良好なGUI画像が得られるように配置設定受付部162における設定を修正していく。最終的な設定値が確定できたら、配置設定受付部162は当該設定値で構成されるGUI配置情報ファイルをGUI配置情報ファイル格納部168に格納する。なおGUI配置情報ファイル格納部168には標準的なGUI配置情報ファイルをあらかじめ格納しておき、設定者が修正していくことで、新たなGUI配置情報ファイルを格納するようにしてもよい。
図12はGUI配置シミュレータ160によって表示される画面例を示している。GUI配置シミュレーション画面180は、仮想的な画面サイズの指定を受け付けるための画面サイズ指定ウィンドウ182と、指定された仮想的な画面サイズに対応するGUI画像を表示するGUI画像表示ウィンドウ184を含む。なお同画面ではGUI配置情報ファイルに対する設定は別途行われているものとしてその設定画面は表示されていないが、同じ画面内に同時に表示してもよい。
画面サイズ指定ウィンドウ182は画面サイズ指定受付部164により表示されるものであり、アスペクト比選択ボックス186、および画面サイズ変更バー188からなる。設定者は、アスペクト比選択ボックス186から一つのアスペクト比を選択したうえ、画面サイズ変更バー188においてバーを左右に移動させることにより仮想的な画面のサイズを任意に選択することができる。このように選択されたアスペクト比およびサイズが、GUI画像表示ウィンドウ184のアスペクト比およびサイズに反映される。
これらの操作により、標準的なアスペクト比を有するデバイスのエミュレートを比較的容易に行う事ができる。またGUI画像表示ウィンドウ184を、一般的なウィンドウシステムのウィンドウサイズの変更手法、例えばマウス等でウィンドウ境界をドラッグするなどして変更するようにしてもよい。これにより、より自由なアスペクト比の画面構成も簡易にエミュレートする事ができ、特定の画面比率や画面サイズで発生する破綻などの検出が容易になる。
GUI画像表示部166は、このような大きさのGUI画像表示ウィンドウ184に、作成中のGUI配置情報ファイルの設定に従った配置で各GUIを表示する。このときの処理は情報処理装置10のGUI配置部26が行う処理と同じであるが、GUI画像表示部166は、画面サイズ指定ウィンドウ182に対する画面サイズの指定操作が行われる都度、それに連動するようにGUI画像表示ウィンドウ184に表示するGUI画像を更新する。
次に上記構成を有するGUI配置シミュレータの動作を説明する。図13はGUI配置シミュレータ160がGUI配置情報ファイルの作成を支援する処理手順を示すフローチャートである。この処理は、設定者がGUI配置シミュレータ160を起動させたときなどに開始される。まず設定者が配置設定画面を呼び出すと(S40)、配置設定受付部162はGUI配置情報テーブルを、各項目を入力可能な状態で表示することで、配置情報の設定を受け付ける(S42)。
次に画面サイズ指定受付部164が画面サイズ指定ウィンドウ182を、GUI画像表示部166がGUI画像表示ウィンドウ184を表示し、画面サイズ指定ウィンドウ182に対する画面サイズの指定を受け付ける都度、GUI画像表示ウィンドウ184におけるGUI画像を更新する(S44、S46)。S46の処理は、図10のS20からS28の処理に相当する。GUI画像表示ウィンドウ184を閉じるなどGUI配置情報ファイルの設定を最終決定する入力がなされるまで(S48のN)、S42、S44、S46の処理を繰り返す。あるいはS44とS46の処理のみを繰り返す。
GUI配置情報ファイルの最終決定がなされたら(S48のY)、当該GUI配置情報ファイルをGUI配置情報ファイル格納部168に格納する(S50)。このファイルを、別に作成したコンテンツ実行ファイルに対応づけて記録媒体などに記録させたり、コンテンツ提供サーバ等からダウンロード可能とすることにより、情報処理装置10のコンテンツ記憶部16にまとめて格納できるようにする。
これまでの説明では、サイズの異なる画面に対しても共通のGUI配置情報ファイルによって、コンテンツに適したGUIの配置を実現するものであった。一方、把持する位置や画像の表示位置などが大きく異なる情報処理装置では、各GUI、およびそれらの位置やサイズに対する優先順位が異なる場合がある。そのため1つのコンテンツ実行ファイルに複数のGUI配置情報ファイルを対応づけて提供することにより、適用可能な情報処理装置の幅をさらに広げてもよい。
図14はこのような態様を説明するための図である。同図の例は、これまで述べてきた1画面の情報処理装置10に対する設定を記録した1画面用GUI配置情報ファイル194に加え、折りたたみ式やスライド式の2画面の情報処理装置192に対する設定を記録した2画面用GUI配置情報ファイル196を、1つのコンテンツ実行ファイル198に対応づけている。
例えば、1画面用のコンテンツを上下2画面の情報処理装置192で実行する場合、搭載される2つの画面のうち上の画面のみをコンテンツ画像表示用に用いることが考えられる。この場合、下の画面にGUIを大きく表示させてもコンテンツ画像の見やすさに影響しない。また一般的には下の画面側の筐体を把持することが想定されるため、高頻度な操作や素早い操作が必要なGUIは下の画面に表示させるのが望ましい。
このような特徴の差に鑑み、GUI配置情報ファイルを複数生成し、コンテンツ実行ファイルとともに1まとまりのコンテンツのファイルとすることにより、容易かつ低コストに、コンテンツに適した形態でのGUIの表示を、様々な情報処理装置で実現させることができる。なお1画面用GUI配置情報ファイル194と2画面用GUI配置情報ファイル19にはヘッダ情報として1画面用、2画面用を識別する情報を埋め込んでおき、コンテンツを実行する装置のGUI配置部26は自装置の画面数に基づきそのいずれかを読み出してGUIを配置する。
なお2画面の場合、情報処理装置10のGUI配置部26およびGUI配置シミュレータ160は、上述したGUIの位置およびサイズを調整する処理やシミュレーションを画面ごとに行う。また2画面用のGUI配置情報ファイルには、各GUIに対応づけて、当該GUIを第1画面、第2画面のどちらに表示するかを設定する欄をさらに設ける。
以上述べた本実施の形態によれば、コンテンツ実行ファイルに対応づけて生成したGUI配置情報ファイルに、各GUIの表示/非表示、表示位置、表示サイズ、左右のGUIの対のリンクを設定しておく。そしてコンテンツを実行する情報処理装置は、GUI配置情報ファイルを参照し、自装置の画面サイズに応じた調整を行ったうえで表示対象のGUIを表示する。
このようにすることで、情報処理装置の画面がどのような大きさであっても、コンテンツに適した位置とサイズでGUIを表示できる。GUIの配置に係る基本的な情報のみをGUI配置情報ファイルとしてコンテンツ実行ファイルに対応づけておき、情報処理装置が、自らが保持するGUIの素材画像を用いて自律的に調整を行うことにより、容易かつ低コストに、コンテンツおよび画面サイズの双方に適したGUIの表示態様を実現できる。GUI配置情報ファイルをコンテンツ実行ファイルと独立させることで、ユーザが自らの好みでGUIの配置を調整することも容易にできる。
またGUI配置情報ファイルを作成する段階において、GUI配置シミュレータが、様々なサイズの画面を仮想的に生成し、GUIの位置やサイズがどのように変化するかを表示する。これにより設定者は、様々な画面サイズの情報処理装置を所有していなくても、作成中のGUI配置情報ファイルによって実際にはどのようなGUIが表示されるのかを詳細に確認することができる。これにより、画面サイズによって予想外のGUI配置となるなどの不具合の発生を事前に防止できる。
また1画面の情報処理装置と2画面の情報処理装置など、表示形態、ひいてはGUIの位置やサイズの優先順位が大きく異なる装置に対して、個別にGUI配置情報ファイルを生成し、コンテンツ実行ファイルに対応づける。コンテンツ実行時には、自装置の画面形態に対応したGUI配置情報ファイルを参照することにより、それぞれの画面形態に適したGUI画像を表示することができる。このように複数のGUI配置情報ファイルを準備することによって、画面の数が異なる情報処理装置ばかりでなく、横長の画面と縦長の画面、サイズが著しく異なる画面などあらゆる情報処理装置に、本実施の形態を容易に適用させることができる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
10 情報処理装置、 12 タッチパネル、 14 ディスプレイ、 16 コンテンツ記憶部、 18 GUI画像記憶部、 20 入出力制御部、 21 GUI配置調整受付部、 22 操作情報変換部、 24 コンテンツ処理部、 26 GUI配置部、 28 GUI画像バッファ、 30 コンテンツ画像生成部、 32 コンテンツ画像バッファ、 34 画像合成部、 36 GUI配置情報ファイル、 38 コンテンツ実行ファイル、 160 GUI配置シミュレータ、 162 配置設定受付部、 164 画面サイズ指定受付部、 166 GUI画像表示部、 168 GUI配置情報ファイル格納部、 170 GUI画像記憶部。
以上のように本発明はコンピュータ、ゲーム装置、コンテンツ表示端末、コンテンツ生成装置などの情報処理装置に利用可能である。
Claims (20)
- タッチパネルで覆われたディスプレイを備え、ユーザが選択した情報処理を行う情報処理装置であって、
前記ディスプレイに表示するGUI(Graphical User Interface)の画像を生成するGUI画像生成部と、
前記タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する操作情報変換部と、
を備え、
前記GUI画像生成部は、標準設定としてディスプレイのサイズによらず作成されたGUI配置情報ファイルに記録されたGUIの位置およびサイズの設定値から求められるディスプレイのサイズに対する条件と実際のディスプレイのサイズとの比較結果に対応する調整を行うことにより、GUIの位置およびサイズを最終決定して前記GUIの画像を生成することを特徴とする情報処理装置。 - 前記GUI配置情報ファイルは、情報処理を実行するためのファイルごとに生成されて記憶装置に記憶され、
前記GUI画像生成部は、ユーザが選択した情報処理を実行するためのファイルに対して生成されたGUI配置情報ファイルを前記記憶装置から読み出すことにより前記GUIの画像を生成することを特徴とする請求項1に記載の情報処理装置。 - 前記GUI配置情報ファイルは、1画面ディスプレイと2画面ディスプレイのそれぞれに対応して作成されたうえ情報処理を実行するためのファイルとともに記憶装置に格納され、
前記GUI画像生成部は、自装置に対応する前記GUI配置情報ファイルを選択して前記記憶装置から読み出すことにより前記GUIの画像を生成することを特徴とする請求項1または2に記載の情報処理装置。 - 前記GUI配置情報ファイルにおいて、GUIの所定方向の位置は、ディスプレイの当該方向の幅に対する割合で設定され、GUIのサイズは固定長で設定され、
前記GUI画像生成部は、前記GUI配置情報ファイルの設定に従えば前記方向に隣り合う2つのGUI同士に重なりが生じるときのディスプレイのサイズの境界値より実際のディスプレイのサイズが小さいとき、当該2つのGUIのうち少なくとも1つのGUIの位置の設定を無効とし、GUI同士が接する状態を当該GUIの位置として最終決定することを特徴とする請求項1から3のいずれかに記載の情報処理装置。 - 前記GUI画像生成部は、GUIの位置の設定を無効としてもGUIの配列長がディスプレイのサイズを超えるときの当該サイズの境界値より実際のディスプレイのサイズが小さいとき、当該配列に属するGUIのサイズの設定を無効とし、GUIをディスプレイのサイズに応じて縮小することを特徴とする請求項4に記載の情報処理装置。
- 前記GUI配置情報ファイルは、同じ機能を有するGUIに対し複数の設定パターンを記録し、
前記GUI画像生成部は、前記比較結果に対応する調整として、設定パターンを切り替えることによりGUIの位置およびサイズを変化させることを特徴とする請求項1から5のいずれかに記載の情報処理装置。 - 前記GUI配置情報ファイルに記録されたGUIの位置およびサイズの設定値の調整をユーザから受け付けるGUI配置調整画面を前記ディスプレイに表示するGUI配置調整受付部をさらに備えることを特徴とする請求項1から6のいずれかに記載の情報処理装置。
- 前記GUI画像生成部が画像を生成するGUIは、所定の基準点から接触点までの方向ベクトルによって定まる方向および量の入力を受け付ける擬似的なジョイスティックのGUIを含み、
前記操作情報変換部は、前記ジョイスティックのGUIへの操作開始を検知する検知領域へのユーザの接触開始時点から、当該接触が継続している期間において、前記ジョイスティックのGUIへの操作を有効とし、前記タッチパネルの全領域を検知領域とすることを特徴とする請求項1から7のいずれかに記載の情報処理装置。 - 前記操作情報変換部は、前記ジョイスティックのGUIへの操作を有効としている期間において、前記GUIの画像に含まれる他のGUIを無効とすることを特徴とする請求項8に記載の情報処理装置。
- タッチパネルで覆われたディスプレイを備え、ユーザが選択した情報処理を行う情報処理装置が、
前記ディスプレイに表示するGUI(Graphical User Interface)の画像を生成するステップと、
前記タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定するステップと、
を含み、前記GUIの画像を生成するステップは、
標準設定としてディスプレイのサイズによらず作成されたGUI配置情報ファイルに記録されたGUIの位置およびサイズの設定値から求められるディスプレイのサイズに対する条件と実際のディスプレイのサイズとを比較するステップと、
比較結果に対応する調整を行うことにより、GUIの位置およびサイズを最終決定して前記GUIの画像を生成するステップと、
を含むことを特徴とする情報処理方法。 - タッチパネルで覆われたディスプレイに表示するGUIの画像を制御する機能をコンピュータに実現させるコンピュータプログラムであって、
標準設定としてディスプレイのサイズによらず作成されたGUI配置情報ファイルをメモリから読み出し、当該ファイルに記録されたGUIの位置およびサイズの設定値から求められるディスプレイのサイズに対する条件と実際のディスプレイのサイズとを比較する機能と、
比較結果に対応する調整を行うことにより、GUIの位置およびサイズを最終決定して前記GUIの画像を生成し、前記ディスプレイに表示する機能と、
前記タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する機能と、
を実現させることを特徴とするコンピュータプログラム。 - タッチパネルで覆われたディスプレイに表示するGUIの画像を制御する機能をコンピュータに実現させるコンピュータプログラムを記録した記録媒体であって、
標準設定としてディスプレイのサイズによらず作成されたGUI配置情報ファイルをメモリから読み出し、当該ファイルに記録されたGUIの位置およびサイズの設定値から求められるディスプレイのサイズに対する条件と実際のディスプレイのサイズとを比較する機能と、
比較結果に対応する調整を行うことにより、GUIの位置およびサイズを最終決定して前記GUIの画像を生成し、前記ディスプレイに表示する機能と、
前記タッチパネルが検知した接触点と表示中のGUIの画像との対応関係から、ユーザが行った操作内容を特定する機能と、
を実現させることを特徴とするコンピュータプログラムを記録した記録媒体。 - タッチパネルで覆われたディスプレイを備えた情報処理装置で実行されるコンテンツファイルのデータ構造であって、
コンテンツに係る情報処理を実行するための実行ファイルと、
前記ディスプレイに表示するGUI(Graphical User Interface)の画像を生成するのに参照され、標準設定としてディスプレイのサイズによらず作成された、GUIの位置およびサイズの設定値を記録したファイルであり、当該設定値から求められる、ディスプレイのサイズに対する条件と実際のディスプレイのサイズとの比較結果に対応する調整を行うことにより、GUIの位置およびサイズを最終決定するためのGUI配置情報ファイルと、
を対応づけたことを特徴とするコンテンツファイルのデータ構造。 - タッチパネルで覆われたディスプレイを備えた情報処理装置において情報処理の結果として表示すべきコンテンツ画像にオンスクリーン表示するGUI(Graphical User Interface)の配置に係る情報の設定を支援するGUI配置シミュレータであって、
GUIの位置およびサイズの基本設定値を受け付ける配置設定受付部と、
想定する情報処理装置のディスプレイのサイズ指定を受け付ける画面サイズ指定受付部と、
前記基本設定値から求められるディスプレイのサイズに対する条件と指定されたディスプレイのサイズとの比較結果に対応する調整を行うことによりGUIの位置およびサイズを決定し、指定されたサイズを有する仮想的な画面を表す矩形領域に、決定に従う配置でGUIを表示するGUI画像表示部と、
確定された前記基本設定値をGUI配置情報ファイルとして格納する記憶部と、
を備えることを特徴とするGUI配置シミュレータ。 - 前記配置設定受付部は、2画面ディスプレイの情報処理装置を想定した基本設定値を受け付け、
前記GUI画像表示部は、前記2画面ディスプレイを想定した基本設定値に基づき決定したGUIの配置を、前記仮想的な画面を表す矩形領域に1画面ごとに表示することを特徴とする請求項14に記載のGUI配置シミュレータ。 - 前記配置設定受付部は、GUIの所定方向の位置の設定をディスプレイの当該方向の幅に対する割合単位で、GUIのサイズの設定を長さの単位でそれぞれ受け付け、
前記GUI画像表示部は、前記基本設定値に従えば前記方向に隣り合う2つのGUI同士に重なりが生じるときのディスプレイのサイズの境界値より指定されたディスプレイのサイズが小さいとき、当該2つのGUIのうち少なくとも1つのGUIの位置の設定を無効とし、GUI同士が接する状態を当該GUIの位置として表示することを特徴とする請求項14または15に記載のGUI配置シミュレータ。 - 前記GUI画像表示部は、GUIの位置の設定を無効としてもGUIの配列長がディスプレイのサイズを超えるときの当該サイズの境界値より指定されたディスプレイのサイズが小さいとき、当該配列に属するGUIのサイズの設定を無効とし、指定されたディスプレイのサイズに応じてGUIを縮小して表示することを特徴とする請求項16に記載のGUI配置シミュレータ。
- タッチパネルで覆われたディスプレイを備えた情報処理装置において情報処理の結果として表示すべきコンテンツ画像にオンスクリーン表示するGUI(Graphical User Interface)の配置に係る情報の設定を支援するGUI配置シミュレータが行うGUI配置設定支援方法であって、
GUIの位置およびサイズの基本設定値を受け付けるステップと、
仮想的な情報処理装置のディスプレイのサイズ指定を受け付けるステップと、
前記基本設定値から求められるディスプレイのサイズに対する条件と指定されたディスプレイのサイズとの比較結果に対応する調整を行うことによりGUIの位置およびサイズを決定するステップと、
指定されたサイズを有する仮想的な画面を表す矩形領域に、決定に従う配置でGUIを配置した画像をディスプレイに表示するステップと、
確定された前記基本設定値をGUI配置情報ファイルとして記憶装置に格納するステップと、
を含むことを特徴とするGUI配置設定支援方法。 - コンピュータに、タッチパネルで覆われたディスプレイを備えた情報処理装置において情報処理の結果として表示すべきコンテンツ画像にオンスクリーン表示するGUI(Graphical User Interface)の配置に係る情報の設定を支援する機能を実現させるコンピュータプログラムであって、
GUIの位置およびサイズの基本設定値を受け付ける機能と、
仮想的な情報処理装置のディスプレイのサイズ指定を受け付ける機能と、
前記基本設定値から求められるディスプレイのサイズに対する条件と指定されたディスプレイのサイズとの比較結果に対応する調整を行うことによりGUIの位置およびサイズを決定する機能と、
指定されたサイズを有する仮想的な画面を表す矩形領域に、決定に従う配置でGUIを配置した画像をディスプレイに表示する機能と、
確定された前記基本設定値をGUI配置情報ファイルとして記憶装置に格納する機能と、
を実現させることを特徴とするコンピュータプログラム。 - コンピュータに、タッチパネルで覆われたディスプレイを備えた情報処理装置において情報処理の結果として表示すべきコンテンツ画像にオンスクリーン表示するGUI(Graphical User Interface)の配置に係る情報の設定を支援する機能を実現させるコンピュータプログラムを記録した記録媒体であって、
GUIの位置およびサイズの基本設定値を受け付ける機能と、
仮想的な情報処理装置のディスプレイのサイズ指定を受け付ける機能と、
前記基本設定値から求められるディスプレイのサイズに対する条件と指定されたディスプレイのサイズとの比較結果に対応する調整を行うことによりGUIの位置およびサイズを決定する機能と、
指定されたサイズを有する仮想的な画面を表す矩形領域に、決定に従う配置でGUIを配置した画像をディスプレイに表示する機能と、
確定された前記基本設定値をGUI配置情報ファイルとして記憶装置に格納する機能と、
を実現させることを特徴とするコンピュータプログラムを記録した記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/239,922 US9952755B2 (en) | 2011-09-13 | 2012-08-28 | Information processing device, information processing method, data structure of content file, GUI placement simulator, and GUI placement setting assisting method |
CN201280042985.3A CN103782263B (zh) | 2011-09-13 | 2012-08-28 | 信息处理装置、信息处理方法、内容文件的数据结构、gui布局仿真器及gui布局设置辅助方法 |
EP12832539.6A EP2722742A4 (en) | 2011-09-13 | 2012-08-28 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, DATA STRUCTURE OF CONTENT FILE, GUI PLACEMENT SIMULATOR, AND GUI PLACEMENT SETTING ASSIST METHOD |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011199884A JP5669697B2 (ja) | 2011-09-13 | 2011-09-13 | 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造 |
JP2011-199885 | 2011-09-13 | ||
JP2011199885A JP5669698B2 (ja) | 2011-09-13 | 2011-09-13 | Gui配置シミュレータ、およびgui配置設定支援方法 |
JP2011-199884 | 2011-09-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013038605A1 true WO2013038605A1 (ja) | 2013-03-21 |
Family
ID=47882858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/005391 WO2013038605A1 (ja) | 2011-09-13 | 2012-08-28 | 情報処理装置、情報処理方法、コンテンツファイルのデータ構造、gui配置シミュレータ、およびgui配置設定支援方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9952755B2 (ja) |
EP (1) | EP2722742A4 (ja) |
CN (1) | CN103782263B (ja) |
WO (1) | WO2013038605A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160320938A9 (en) * | 2009-03-17 | 2016-11-03 | Litera Technologies, LLC | System and Method for the Auto-Detection and Presentation of Pre-Set Configurations for Multiple Monitor Layout Display |
CN102929481A (zh) * | 2012-10-09 | 2013-02-13 | 中兴通讯股份有限公司南京分公司 | 用户界面显示方法和装置 |
US8671352B1 (en) * | 2013-05-07 | 2014-03-11 | Axure Software Solutions, Inc. | Variable dimension version editing for graphical designs |
US10120659B2 (en) * | 2014-05-30 | 2018-11-06 | Apple Inc. | Adaptive user interfaces |
JP6990962B2 (ja) * | 2014-06-09 | 2022-01-12 | 雅人 桑原 | 情報処理装置 |
JP2018010541A (ja) * | 2016-07-14 | 2018-01-18 | 望月 貴里子 | ユーザーインターフェース |
WO2018034053A1 (ja) * | 2016-08-18 | 2018-02-22 | ソニー株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
CN108205405B (zh) * | 2016-12-20 | 2021-06-01 | 夏普株式会社 | 显示装置、显示装置的显示方法及存储介质 |
US10369470B2 (en) * | 2017-04-28 | 2019-08-06 | PlayFusion Limited | User interface control cluster for enhancing a gaming experience |
JP6418299B1 (ja) * | 2017-09-15 | 2018-11-07 | 株式会社セガゲームス | 情報処理装置及びプログラム |
CN109743446B (zh) * | 2018-12-25 | 2020-12-18 | 南京车链科技有限公司 | 双屏来电显示方法、终端及计算机可读存储介质 |
CN109783181B (zh) * | 2019-01-31 | 2019-12-20 | 掌阅科技股份有限公司 | 屏幕适配显示方法、电子设备及计算机存储介质 |
CN110523085A (zh) * | 2019-08-30 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 虚拟对象的控制方法、装置、终端及存储介质 |
CN111228793B (zh) * | 2020-01-21 | 2021-11-19 | 腾讯科技(深圳)有限公司 | 交互界面的显示方法和装置、存储介质及电子装置 |
CN111870945A (zh) * | 2020-08-10 | 2020-11-03 | 网易(杭州)网络有限公司 | 控件选择方法、装置、主机及介质 |
AU2021307015B2 (en) * | 2020-11-13 | 2023-06-08 | Tencent Technology (Shenzhen) Company Limited | Virtual object control method and apparatus, storage medium, and electronic device |
CN117499601B (zh) * | 2024-01-02 | 2024-04-05 | 上海励驰半导体有限公司 | 用于SoC的调用多摄像头数据的方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02127720A (ja) * | 1988-11-08 | 1990-05-16 | Mitsubishi Electric Corp | 情報処理装置の入力用デバイス・シミュレート方式 |
JPH02235140A (ja) * | 1989-03-08 | 1990-09-18 | Kansai Nippon Denki Software Kk | イメージデータ表示時の密度変換方式 |
WO2003077097A1 (fr) * | 2002-03-08 | 2003-09-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de communication mobile, procede de commande d'affichage pour ledit dispositif et programme correspondant |
JP2006034517A (ja) * | 2004-07-26 | 2006-02-09 | Nintendo Co Ltd | ゲームプログラム、ゲーム装置、および入力装置 |
JP2006331339A (ja) * | 2005-05-30 | 2006-12-07 | Mitsubishi Electric Corp | レイアウト装置、レイアウト方法及びプログラム並びにデータ構造 |
JP2009025343A (ja) * | 2007-07-17 | 2009-02-05 | Victor Co Of Japan Ltd | 映像出力装置 |
JP2009205540A (ja) * | 2008-02-28 | 2009-09-10 | Ricoh Co Ltd | 画面データ生成装置、画面データ生成方法及び画面データ生成プログラム |
JP2010218533A (ja) * | 2009-02-18 | 2010-09-30 | Panasonic Electric Works Co Ltd | 表示画面設計支援装置及びプログラム |
JP2011051164A (ja) * | 2009-08-31 | 2011-03-17 | Ricoh Co Ltd | 画像形成装置、画面表示方法、プログラム |
Family Cites Families (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5757358A (en) * | 1992-03-31 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback |
US6756965B2 (en) * | 1994-03-18 | 2004-06-29 | International Business Machines Corporation | Input device having two joysticks and touchpad with default template |
US5613137A (en) * | 1994-03-18 | 1997-03-18 | International Business Machines Corporation | Computer system with touchpad support in operating system |
US5764218A (en) * | 1995-01-31 | 1998-06-09 | Apple Computer, Inc. | Method and apparatus for contacting a touch-sensitive cursor-controlling input device to generate button values |
US8479122B2 (en) * | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
JP2001014077A (ja) * | 1998-12-15 | 2001-01-19 | Mitsubishi Electric Corp | グラフィカルユーザインタフェース |
US7821503B2 (en) * | 2003-04-09 | 2010-10-26 | Tegic Communications, Inc. | Touch screen and graphical user interface |
US6515687B1 (en) * | 2000-05-25 | 2003-02-04 | International Business Machines Corporation | Virtual joystick graphical user interface control with one and two dimensional operation |
US7479943B1 (en) * | 2000-07-10 | 2009-01-20 | Palmsource, Inc. | Variable template input area for a data input device of a handheld electronic system |
US7137891B2 (en) * | 2001-01-31 | 2006-11-21 | Sony Computer Entertainment America Inc. | Game playing system with assignable attack icons |
US6966837B1 (en) * | 2001-05-10 | 2005-11-22 | Best Robert M | Linked portable and video game systems |
US7371163B1 (en) * | 2001-05-10 | 2008-05-13 | Best Robert M | 3D portable game system |
US8031196B2 (en) * | 2002-02-19 | 2011-10-04 | Sharp Kabushiki Kaisha | Display, electronic device, data transmitting method, information terminal, host apparatus, program, recording medium |
JP3755499B2 (ja) * | 2002-09-06 | 2006-03-15 | ソニー株式会社 | Guiアプリケーション開発支援装置、gui表示装置、および方法、並びにコンピュータ・プログラム |
JP2004343662A (ja) * | 2003-05-19 | 2004-12-02 | Sony Corp | 撮像装置 |
US7342806B2 (en) * | 2003-10-14 | 2008-03-11 | Sony Ericsson Mobile Communications Ab | Portable electronic device with multiple input interfaces |
US7454713B2 (en) * | 2003-12-01 | 2008-11-18 | Sony Ericsson Mobile Communications Ab | Apparatus, methods and computer program products providing menu expansion and organization functions |
US20050195221A1 (en) | 2004-03-04 | 2005-09-08 | Adam Berger | System and method for facilitating the presentation of content via device displays |
US20060164382A1 (en) * | 2005-01-25 | 2006-07-27 | Technology Licensing Company, Inc. | Image manipulation in response to a movement of a display |
JP4241647B2 (ja) * | 2005-03-04 | 2009-03-18 | キヤノン株式会社 | レイアウト制御装置、レイアウト制御方法及びレイアウト制御プログラム |
US20070229462A1 (en) * | 2006-03-31 | 2007-10-04 | Huynh Thanh T E | System and method for mapping user-input controls to corresponding regions of a user display |
US8882590B2 (en) * | 2006-04-28 | 2014-11-11 | Nintendo Co., Ltd. | Touch-controlled game character motion providing dynamically-positioned virtual control pad |
US10313505B2 (en) * | 2006-09-06 | 2019-06-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
JP4312238B2 (ja) * | 2007-02-13 | 2009-08-12 | 株式会社ソニー・コンピュータエンタテインメント | 画像変換装置および画像変換方法 |
US20090019188A1 (en) * | 2007-07-11 | 2009-01-15 | Igt | Processing input for computing systems based on the state of execution |
US20090062004A1 (en) * | 2007-09-05 | 2009-03-05 | Nvidia Corporation | Input Terminal Emulator for Gaming Devices |
US8968087B1 (en) * | 2009-06-01 | 2015-03-03 | Sony Computer Entertainment America Llc | Video game overlay |
JP4605478B2 (ja) * | 2007-12-19 | 2011-01-05 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
US20090183098A1 (en) * | 2008-01-14 | 2009-07-16 | Dell Products, Lp | Configurable Keyboard |
KR101526970B1 (ko) * | 2008-05-29 | 2015-06-16 | 엘지전자 주식회사 | 단말기 및 그 제어 방법 |
US8200795B2 (en) * | 2008-06-05 | 2012-06-12 | Sony Computer Entertainment Inc. | Mobile phone game interface |
US20100042946A1 (en) * | 2008-08-15 | 2010-02-18 | Kodimer Marianne L | System and method for web-based soft keyboard character entry |
US20100058251A1 (en) * | 2008-08-27 | 2010-03-04 | Apple Inc. | Omnidirectional gesture detection |
US20110202855A1 (en) | 2008-09-29 | 2011-08-18 | Teruya Ikegami | Gui evaluation system, gui evaluation method, and gui evaluation program |
CN102473066B (zh) * | 2009-09-09 | 2014-03-12 | 美泰有限公司 | 在多功能手持设备上显示、导航和选择电子方式存储内容的系统和方法 |
US9542097B2 (en) * | 2010-01-13 | 2017-01-10 | Lenovo (Singapore) Pte. Ltd. | Virtual touchpad for a touch device |
US20110197156A1 (en) * | 2010-02-09 | 2011-08-11 | Dynavox Systems, Llc | System and method of providing an interactive zoom frame interface |
JP2011165006A (ja) * | 2010-02-10 | 2011-08-25 | Sharp Corp | 映像表示装置、映像表示方法、プログラムおよび記録媒体 |
US8686959B2 (en) * | 2010-02-16 | 2014-04-01 | Maurice Payne | Touch screen multi-control emulator |
US8990702B2 (en) * | 2010-09-30 | 2015-03-24 | Yahoo! Inc. | System and method for controlling a networked display |
US20110273379A1 (en) * | 2010-05-05 | 2011-11-10 | Google Inc. | Directional pad on touchscreen |
US9262073B2 (en) * | 2010-05-20 | 2016-02-16 | John W. Howard | Touch screen with virtual joystick and methods for use therewith |
US8506408B2 (en) * | 2010-06-29 | 2013-08-13 | Disney Enterprises, Inc | System and method for collaboration |
US8531417B2 (en) * | 2010-09-02 | 2013-09-10 | Blackberry Limited | Location of a touch-sensitive control method and apparatus |
EP2614620A1 (en) * | 2010-09-07 | 2013-07-17 | Apptui Inc. | Control of computing devices and user interfaces |
US9104306B2 (en) * | 2010-10-29 | 2015-08-11 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Translation of directional input to gesture |
US9411509B2 (en) * | 2010-12-29 | 2016-08-09 | Microsoft Technology Licensing, Llc | Virtual controller for touch display |
US10503343B2 (en) * | 2011-07-06 | 2019-12-10 | Microsoft Technology Licensing, Llc | Integrated graphical user interface |
-
2012
- 2012-08-28 WO PCT/JP2012/005391 patent/WO2013038605A1/ja active Application Filing
- 2012-08-28 US US14/239,922 patent/US9952755B2/en active Active
- 2012-08-28 EP EP12832539.6A patent/EP2722742A4/en not_active Ceased
- 2012-08-28 CN CN201280042985.3A patent/CN103782263B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02127720A (ja) * | 1988-11-08 | 1990-05-16 | Mitsubishi Electric Corp | 情報処理装置の入力用デバイス・シミュレート方式 |
JPH02235140A (ja) * | 1989-03-08 | 1990-09-18 | Kansai Nippon Denki Software Kk | イメージデータ表示時の密度変換方式 |
WO2003077097A1 (fr) * | 2002-03-08 | 2003-09-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de communication mobile, procede de commande d'affichage pour ledit dispositif et programme correspondant |
JP2006034517A (ja) * | 2004-07-26 | 2006-02-09 | Nintendo Co Ltd | ゲームプログラム、ゲーム装置、および入力装置 |
JP2006331339A (ja) * | 2005-05-30 | 2006-12-07 | Mitsubishi Electric Corp | レイアウト装置、レイアウト方法及びプログラム並びにデータ構造 |
JP2009025343A (ja) * | 2007-07-17 | 2009-02-05 | Victor Co Of Japan Ltd | 映像出力装置 |
JP2009205540A (ja) * | 2008-02-28 | 2009-09-10 | Ricoh Co Ltd | 画面データ生成装置、画面データ生成方法及び画面データ生成プログラム |
JP2010218533A (ja) * | 2009-02-18 | 2010-09-30 | Panasonic Electric Works Co Ltd | 表示画面設計支援装置及びプログラム |
JP2011051164A (ja) * | 2009-08-31 | 2011-03-17 | Ricoh Co Ltd | 画像形成装置、画面表示方法、プログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP2722742A4 * |
Also Published As
Publication number | Publication date |
---|---|
EP2722742A4 (en) | 2015-06-17 |
EP2722742A1 (en) | 2014-04-23 |
CN103782263A (zh) | 2014-05-07 |
US20140195940A1 (en) | 2014-07-10 |
US9952755B2 (en) | 2018-04-24 |
CN103782263B (zh) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013038605A1 (ja) | 情報処理装置、情報処理方法、コンテンツファイルのデータ構造、gui配置シミュレータ、およびgui配置設定支援方法 | |
US11048404B2 (en) | Information processing apparatus, information processing method, and program | |
US11036384B2 (en) | Pressure-sensitive degree control method and system for touchscreen-enabled mobile terminal | |
CA2765913C (en) | Method and apparatus for area-efficient graphical user interface | |
US9122394B2 (en) | Method and apparatus for area-efficient graphical user interface | |
US8638315B2 (en) | Virtual touch screen system | |
JP4956644B2 (ja) | 電子機器、及び入力制御方法 | |
EP2701044A1 (en) | Information processing device, information processing method, and computer-readable recording medium which records program | |
JP4741983B2 (ja) | 電子機器及び電子機器の動作方法 | |
KR101983290B1 (ko) | 다양한 제스처를 이용하여 키패드를 표시하는 방법 및 장치 | |
JP2011134278A (ja) | 情報処理装置およびポインティング制御方法 | |
JP2013054467A (ja) | 情報処理装置および情報処理方法 | |
CN104932809A (zh) | 用于控制显示面板的装置和方法 | |
JP5669698B2 (ja) | Gui配置シミュレータ、およびgui配置設定支援方法 | |
JP5669697B2 (ja) | 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造 | |
JP5458130B2 (ja) | 電子機器、及び入力制御方法 | |
JP5230559B2 (ja) | 表示制御装置、その制御方法及びプログラム | |
JP6434339B2 (ja) | 電子機器、制御方法、及び制御プログラム | |
JP2024511304A (ja) | 状態ベースのアクションボタン | |
JP2011170902A (ja) | 情報処理装置および表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12832539 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012832539 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14239922 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |