WO2010084950A1 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
WO2010084950A1
WO2010084950A1 PCT/JP2010/050792 JP2010050792W WO2010084950A1 WO 2010084950 A1 WO2010084950 A1 WO 2010084950A1 JP 2010050792 W JP2010050792 W JP 2010050792W WO 2010084950 A1 WO2010084950 A1 WO 2010084950A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
item
unit
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/050792
Other languages
English (en)
French (fr)
Inventor
克彦 梅津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN201080005098.XA priority Critical patent/CN102292697B/zh
Priority to US13/145,883 priority patent/US20120092275A1/en
Publication of WO2010084950A1 publication Critical patent/WO2010084950A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Definitions

  • the present invention relates to an information processing apparatus including an input detection unit capable of simultaneously detecting a touched position and a display unit.
  • the system liquid crystal D80 realizes a display device function based on a display signal and an input device function based on a read signal.
  • the system liquid crystal D80 is described in an enlarged manner in units of pixels, and is D82, and an optical sensor is built in each pixel (D90), and an operation (touch) from the user can be detected.
  • FIG. 20 is a cross-sectional view of one pixel of the system liquid crystal.
  • a protective plate D902, a glass plate D904, a color filter D906, an image sensor D908, a glass plate D910, and a backlight D912 are arranged from the upper surface of the system liquid crystal (the side touched by the user).
  • red D906R, green D906G, and blue D906B are arranged as RGB colors, and an image sensor is arranged for each color.
  • light is emitted from the display backlight D912.
  • the irradiated light is reflected by the subject (user's finger D84) in contact with the display surface (protection plate D902) of the system liquid crystal.
  • the reflected light is subjected to image processing by the image sensor D908. As a result, it is detected that the subject has touched (touched) the display surface (protection plate D902) of the system liquid crystal.
  • the contact positions (coordinates) of a plurality of subjects can be detected. That is, a conventional touch panel (for example, a touch panel using a resistive film, a touch panel using a change in capacitance, a touch panel using electromagnetic induction, etc.) has a single location that can be detected as a touched position.
  • the touch panel using the system liquid crystal described above can simultaneously detect a plurality of touched positions.
  • a candidate item such as a displayed image, number, character, symbol, and the like using a touch panel using a system liquid crystal
  • the user is allowed to select a plurality of items.
  • the usage method is considered.
  • the displayed candidate item is displayed at an arbitrary position in the normal display area (system liquid crystal).
  • the normal display area system liquid crystal
  • the child level menu is not always displayed on a single screen. Therefore, it is necessary to switch the display of the menu of the child hierarchy, but for that purpose, it is necessary to separately perform a scroll operation or the like, and it cannot be said that the information processing apparatus is easy to use.
  • an object of the present invention is to provide an information processing apparatus that is highly convenient for the user by changing the display state of candidate items that are not selected when selecting an item. Is to provide.
  • the information processing apparatus includes an input detection unit (for example, the input detection unit 154 in FIG. 2) capable of simultaneously detecting a touched position and a display unit (for example, the display in FIG. 2).
  • a candidate item display control unit for example, the control unit 100 in FIG. 2; step S150 in FIG. 5 that performs control to display a plurality of candidate items on the display unit; While a touch is detected by the input detection unit, an item selection unit that selects a selection item from the displayed candidate items based on the touched position (for example, the control unit 100 in FIG. 2; FIG. 5).
  • Steps S152 and S154) and a display change control unit for example, performing control for changing and displaying candidate items other than the selection item when the selection item is selected for a predetermined time or more by the item selection unit
  • the control unit 100 of FIG. 2 characterized in that it comprises a step S156, S158) in FIG. 5, a.
  • the information processing apparatus includes a candidate image storage unit (for example, candidate image DB 142 in FIG. 2) that stores a plurality of images as the candidate items, and a correct image that stores a correct image from the candidate images.
  • the candidate item display control unit performs control to display a plurality of images stored in the candidate image storage unit (for example, the control of FIG. 2).
  • Unit 100; step S158 in FIG. 5) the item selection unit selects one or a plurality of images from the displayed candidate images (for example, the control unit 100 in FIG. 2; FIG. Step S160 of FIG. 5, if the selected image matches the correct image stored in the correct image storage unit, an authentication unit that authenticates that the user is a valid user (for example, the authentication in FIG. 2).
  • Control unit 11 Characterized by further comprising the step S166, S168) in FIG.
  • the authentication unit performs authentication when a touch detected in one selection item among the selection items selected by the item selection unit is released (for example, 2, the control unit 100 in FIG. 2; step S164 in FIG. 5).
  • the candidate item display control unit performs control to display items in the parent hierarchy among the items of the hierarchical structure as candidate items (for example, the control unit 100 in FIG. 13; FIG. 15).
  • the item selection unit selects a displayed item of the parent hierarchy based on the touch detected by the input detection unit (for example, the control unit 100 of FIG. 13; 15 including step S202 in FIG. 15, and a child hierarchy display control unit (for example, the control unit 100 in FIG. 13) that performs control to display items of child hierarchies that can be selected from the parent hierarchy selected by the parent hierarchy item selection unit.
  • Step S204 of FIG.
  • Uco hierarchical display change controller e.g., controller 100 in FIG. 13; step S210, S212 of FIG. 15, characterized in that it comprises a.
  • the child hierarchy display change control unit performs control so that items of child hierarchies that are not displayed on the display unit are displayed (for example, the control unit 100 in FIG. 13; Step S212 in FIG. 15 is characterized.
  • the program of the present invention is connected to an input detection unit (for example, the input detection unit 154 in FIG. 2) capable of simultaneously detecting a touched position and a display unit (for example, the display unit 152 in FIG. 2).
  • a touch is detected by a candidate item display control function (for example, the control unit 100 in FIG. 2; step S150 in FIG. 5) for controlling the display unit to display a plurality of candidate items on the computer, and the input detection unit.
  • Item selection function for selecting one or a plurality of selection items from the displayed candidate items based on the touched position (for example, control unit 100 in FIG. 2; steps S152 and S154 in FIG.
  • a display change control function for example, a control to change and display candidate items other than the selection item 2 of the controller 100; step S156, S158) in FIG. 5, characterized in that to realize.
  • a plurality of candidate items are displayed on the display unit, and based on the detected touch, a selection item is selected from the displayed candidate items and selected for a predetermined time or more.
  • a selection item is selected from the displayed candidate items and selected for a predetermined time or more.
  • candidate items other than the selected item are changed and displayed. Accordingly, since items other than the selected item change, it is possible to provide a highly convenient information processing apparatus that can be displayed at a position where it can be easily selected when the item is selected next time.
  • an image as a plurality of candidate items is displayed from the images stored in the candidate image storage unit, and one or a plurality of images are selected from among the images. And about the image which is not selected, if predetermined time passes, it will change to a different image. If the selected item (image) matches the correct image, it is determined that the user has been authenticated as a valid user. Therefore, when authentication is performed using an image, even if the correct image is displayed at a location that is difficult to press when the user selects a plurality of candidates, the location of the image changes after a predetermined time has elapsed. Will be displayed at a position where it is easy to touch.
  • authentication is performed when the touch detected in one of the selection items selected by the item selection unit is released. Therefore, authentication can be performed only by the user releasing the touch, and a highly convenient information processing apparatus can be provided.
  • the parent hierarchy items are displayed on the display unit, the parent hierarchy items are selected based on the touch, and the child hierarchy items are displayed according to the selected parent hierarchy.
  • the display of the child hierarchy item is changed. Accordingly, by selecting the parent hierarchy by touch, the display of the child hierarchy items is changed, and it is possible to provide a highly convenient information processing apparatus.
  • Embodiment [1. First Embodiment] First, the first embodiment will be described. 1st Embodiment demonstrates the case where this invention is applied about the authentication system which uses an image as an item selected when authenticating that a user is a valid user. That is, first, a candidate image is displayed as a candidate item. Then, the selected image is selected as a selection item from the candidate images. Hereinafter, it explains in detail using a drawing.
  • FIG. 1A shows a case where the display screen of the mobile phone is displayed vertically
  • FIG. 1B shows an example where the display screen is displayed horizontally
  • FIG. 2 shows a functional configuration of the information processing apparatus 1.
  • an authentication control unit 110 a display data control unit 120, a storage unit 140, and a system liquid crystal 150 are connected to the control unit 100 via a bus.
  • a display position control unit 130 is connected to the display data control unit 120.
  • the control unit 100 is a functional unit for controlling the operation of the information processing apparatus 1, and is configured by a control circuit necessary for the information processing apparatus 1, such as a CPU.
  • the control unit 100 implements various processes by reading and executing various programs stored in the storage unit 140.
  • the authentication control unit 110 determines whether or not the user is a valid user by determining whether or not an image selected by the user matches an image stored in a correct image DB 144 described later. It is a functional unit for performing authentication control for authentication.
  • the information processing apparatus executes various processes according to the authentication result. For example, when the information processing apparatus 1 is used for entrance / exit control, entry / exit is permitted when authentication is performed correctly. Further, when the information processing apparatus 1 is used in the payment process, the payment process is executed when the authentication is correctly performed.
  • the display data control unit 120 is a functional unit that controls data to be displayed on a system liquid crystal 150 (display unit 152), which will be described later, based on an instruction from the control unit 100.
  • the display data control unit displays an image to be displayed on the control unit 100 and displays it at a display position based on the display position control unit 130.
  • the display position control unit 130 is a functional unit that determines the display position of an image to be displayed (for example, a candidate image) and controls the display data control unit 120.
  • the content of the display signal output from the display data control unit 120 to the display unit 152 is specifically controlled. Then, the display data control unit 120 outputs to the display unit 152 based on the control signal input from the display position control unit 130.
  • the storage unit 140 is a functional unit that stores various data and programs for the information processing apparatus 1 to operate.
  • the control unit 100 implements various functions by reading and executing the program stored in the storage unit 140.
  • the storage unit 140 stores a candidate image DB 142, a correct image DB 144, a correct registration program 146, and an authentication program 148.
  • the candidate image DB 142 is a DB that stores images (candidate images) to be displayed as candidates to be selected at the time of authentication.
  • the candidate image is stored in the JPEG format as an example, but it is needless to say that other image formats may be used.
  • the correct image DB 144 is a DB in which a correct image of authentication is registered by the user. As shown in FIG. 3B, correct images are registered in the correct image DB 144. This correct image is selected from candidate images stored in the candidate image DB 142.
  • the system liquid crystal 150 is a display device that includes a display unit 152 and an input detection unit 154.
  • the display unit 152 is configured by a liquid crystal display, for example, and displays various types of information based on the display control signal of the display data control unit 120.
  • the input detection unit 154 includes a touch panel that can simultaneously detect a plurality of touch positions, and detects the coordinates of the location touched by the user.
  • the correct registration process is a process realized by the control unit 100 reading and executing the correct answer registration program 146 stored in the storage unit 140.
  • candidate images are read out from the candidate image DB 142 to create and display an image list (step S100).
  • the correct image that is the correct answer is selected by the user (step S102). Note that the number of correct images selected here may be one or more.
  • step S104 When an image is selected and an operation for registration as a correct image is performed (step S104; Yes), the correct image is registered in the correct image DB 144 (step S106).
  • the authentication process is a process realized by the control unit 100 reading and executing the authentication program 148 stored in the storage unit 140.
  • the control unit 100 randomly creates a list of candidate images from the candidate image DB 142 and displays the list (step S150).
  • the number of candidate images to be displayed is a predetermined number, a number set by the user, or a number determined in consideration of the display area of the display unit 152. But it ’s okay. In the present embodiment, it is assumed that nine candidate images are displayed.
  • the selected image is temporarily stored as a selected image (step S154).
  • the input detection unit 154 detects a touch, and determines which candidate image is selected based on the detected position.
  • Image A ⁇ (x1, y1)-(x2, y2)> Image B ⁇ (x3, y1)-(x4, y2)> Image C ⁇ (x1, y3)-(x2, y4)> Image D ⁇ (x3, y3)-(x4, y4)> Is displayed.
  • the point selection unit determines that the image A has been selected because the point N is also in the area of the image A. In this case, two touches of point M and point N have been detected, but the image selected by the item selection unit is only image A (FIG. 6B).
  • the control unit 100 determines that the image D is selected. In this case, touches at two points M and N are detected, and images A and D are selected. Thus, even when a plurality of touches are detected simultaneously, only the image A is selected as the former, and a plurality of images A and D are selected as the latter (FIG. 6C).
  • the image is not selected. For example, when the coordinates of the point N are in the positions of x2 ⁇ Xn ⁇ x3 and y3 ⁇ Yn ⁇ y4, no image is selected by the point N, and only the image selected by the point M becomes the selected image (FIG. 6). (D)).
  • the selected image is stored as a selected image.
  • a decorative display indicating that an image has been selected for example, the selected image is reversed, displayed in a frame, or blinked may be performed.
  • step S156 When the selected image is selected, that is, in a state where the candidate image is continuously touched (touch is continuously detected) (step S156; Yes), the selection is performed.
  • a list of candidate images other than images is recreated and displayed again (step S158).
  • the list is recreated when a predetermined time has passed regardless of the selected selected image.
  • the selected selected image is a specific image set in advance.
  • the list may be recreated, but a process may be added in which the list is not recreated for other images.
  • the processing may be such that the list is not recreated when the selected selected image is a specific image set in advance, and the list is recreated when the selected image is another image.
  • whether or not to recreate the list is determined using the image as a key, but this may be a selected position instead of the image.
  • the currently displayed candidate image and the redisplayed candidate image may be different images, or such a restriction may not be provided.
  • a restriction may be provided so that the same image is not displayed at the same position during redisplay.
  • next image is selected from the next candidate images (step S160).
  • step S160 Yes
  • the next selected image is also stored as a selected image (step S162).
  • step S164 it is determined whether image authentication has been executed by the user (step S164). If the user performs an operation for performing image authentication, the process proceeds to step S166 (step S164; Yes ⁇ step S166). If an operation for performing image authentication is not performed, the process starts from step S156. Are repeatedly executed (step S164; No-> step S156).
  • various methods are conceivable as operations for performing image authentication. For example, it is determined that the selection state of the selected image has been released as a trigger for performing image authentication (that is, whether or not the input detection unit 154 continues to be touched (when touching with a user's finger) For example, whether or not there is a distant finger), or when the authentication button is selected by the user as a trigger for performing image authentication.
  • step S166 When performing image authentication, it is determined whether or not the currently selected image matches the correct image registered in the correct image DB 144 (step S166). Here, if the selected image matches the correct image, it is determined that the authentication is successful (step S166; Yes ⁇ step S168). On the other hand, if the selected image does not match the correct image, it is determined that the authentication has failed (step S166; No ⁇ step S170).
  • step S164 for example, when the selected image and the correct image match, authentication may be automatically performed.
  • the operation flow in this case is shown in FIG.
  • step S166 it is determined in step S166 whether the currently selected image matches the correct image. If the selected image matches the correct image, it is determined that the authentication is successful (step S166; Yes ⁇ step S168). If the selected image does not match, the process is repeatedly executed from step S156. As a result, the user can execute the authentication process without being aware of the operation “execute authentication”.
  • FIG. 8 is a diagram for explaining an example of the display screen W100 displayed on the system liquid crystal 150.
  • FIG. 8 is a diagram for explaining an example of the display screen W100 displayed on the system liquid crystal 150.
  • step S150 nine candidate images are read from the candidate image DB 142 and displayed in a list (step S150 in FIG. 5). If the correct image used for authentication is not displayed, the user selects one arbitrary image (step S152; Yes ⁇ step S154). In this figure, the image M100 is selected (touched) by the user F100 as the selected image. In this case, the image M100 is touched with the user's index finger.
  • step S158 When a predetermined time has passed in the state of FIG. 8 (step S156; Yes), candidate images other than the selected image M100 are updated and displayed (step S158).
  • FIG. 9 is an example of a display screen W102 when a candidate image other than the image M100 is updated and displayed.
  • the user F102 further selects an image M102 that is a correct image (step S160; Yes ⁇ step S162).
  • the image M100 is selected with the user's index finger
  • the image M102 is selected with the user's ring finger.
  • FIG. 10 is an example of a display screen W104 when an image other than the image M100 and the image M102 is updated and displayed.
  • an image M104 that is a correct image is displayed on the display screen W104.
  • the user tries to select the image M104.
  • the user waits until a predetermined time elapses.
  • FIG. 11 is an example of a display screen W106 when candidate images other than the images M100 and M102 are updated and displayed.
  • the image M104 is displayed at a location that can be easily selected by the user F106. Therefore, the user F106 further selects an image M106 that is a correct image (step S160; Yes ⁇ step S162).
  • the image M100 is selected by the user's index finger
  • the image M102 is selected by the user's ring finger
  • the image M104 is selected by the user's middle finger.
  • FIG. 12 is a diagram illustrating an example of the display screen W108 when the selection state of the image M100 in FIG. 11 is cancelled.
  • the authentication control unit 110 collates the currently selected image with the correct image DB 144 (step S166). If the selected image matches the correct image, it is determined that the authentication has been successful (step S166; Yes ⁇ step S168).
  • the display position and contents of an image other than the selected image change every time a predetermined time elapses. It will be.
  • the user when the user selects an image (item), the user can select an image naturally without pressing it, and a highly convenient authentication system can be realized.
  • the list of candidate images is recreated at a timing when a predetermined time has elapsed, but the images may be changed at other timings.
  • a list of candidate images other than the selected image may be re-created at the timing when the next image is selected, and the user can arbitrarily instruct to re-create the list of candidate images. You may give by timing.
  • a new candidate image is read from the candidate image DB 142 and a list of candidate images is displayed. And when an image is selected, you may perform control of moving only the position of the displayed candidate image. As described above, various methods for displaying a list of candidate images are conceivable.
  • an authentication button is displayed on the same display part as another image, and authentication is performed by selecting it. It is also good. Further, the authentication button may be arranged on the front surface, side surface, back surface, etc. of the terminal instead of being displayed on the display unit, and authentication may be performed by pressing the button. In particular, when it is arranged on the side surface / back surface, it is difficult for a third party to visually recognize that the selection screen and the authentication button are pressed simultaneously.
  • an example of authentication has been described. However, for example, it may be used for selecting a menu or inputting numbers. That is, the scope of application of the present invention is that an information processing apparatus capable of detecting a plurality of touched positions at the same time, when an item displayed on the information processing apparatus is being pressed, Any object whose display is updated may be used.
  • FIG. 13 shows the configuration of the information processing apparatus 2 to which the present invention is applied.
  • the information processing apparatus 2 includes a control unit 100, a menu control unit 210, a display data control unit 120, a display position control unit 130, a storage unit 240, and a system liquid crystal 150 (the display unit 152 and the input detection unit 154). It is configured with.
  • symbol is attached
  • the menu control unit 210 is a control unit that controls switching of menus to be displayed, update instructions, and the like. Control is performed to read out necessary menu items from a menu list 242 to be described later and display a menu screen.
  • the storage unit 240 is a functional unit that stores various data and programs for the information processing apparatus 2 to operate.
  • the control unit 100 implements various functions by reading and executing the program stored in the storage unit 240.
  • the storage unit 240 stores a menu list 242 and a menu display program 244.
  • the menu list 242 is a list in which menu items (for example, “Web”) in the information processing apparatus 2 are stored in association with item numbers (for example, “A”).
  • item numbers for example, “A”.
  • “A”, “B”, “C”, “D”, and the like indicate menus in the first layer (parent layer).
  • menus of the second hierarchy (child hierarchy) corresponding to the first hierarchy (parent hierarchy) are also stored.
  • “B-1” is a menu of a child hierarchy having “B” as a parent hierarchy.
  • the menu display process is a process realized by the control unit 100 reading and executing the menu display program 244 stored in the storage unit 240.
  • the display data control unit 120 displays the first layer menu (step S200). Then, a menu item is selected from the displayed first hierarchy (step S202).
  • step S202 When the menu item is selected by the user (step S202; Yes), a lower menu (second layer) of the selected menu item is displayed (step S204).
  • step S204 a lower menu of the selected menu item is displayed (step S204).
  • the process is executed again from Step S200, and the menu display of the first layer is returned (Step S206; Yes ⁇ Step S200).
  • Step S206 When a predetermined time has passed without the menu item of the second layer being selected in the state where the menu of the second layer is displayed (Step S206; No ⁇ Step S208; No ⁇ Step S210; Yes), The display of the menu item in the second hierarchy is updated (step S212).
  • Step S206 when the menu item of the second hierarchy is selected while the menu of the second hierarchy is displayed, the selected function is executed (Step S206; No ⁇ Step S208; Yes ⁇ Step S214).
  • FIG. 16 is a diagram showing an example of a display screen W200 that displays the first hierarchy (parent hierarchy).
  • a menu item K200 in the first hierarchy is displayed (step S200 in FIG. 15).
  • the user F200 touches the menu item K202 “B Mail” to select it (step S202; Yes).
  • the user F200 may touch with a hand (finger) or may touch with a stylus.
  • menu item K210 in the first layer is selected by user F210.
  • the menu item K212 that is not selected is displayed lightly.
  • a menu item K214 in the second hierarchy (child hierarchy) associated with the selected menu item K212 is displayed (step S204).
  • the menu of the second hierarchy corresponding to the menu item K210 “B Mail” has 12 menu items referring to the menu list 242 shown in FIG.
  • only seven menu items can be displayed on the display screen W210. Accordingly, the menu items having the item numbers “B-1” to “B-7” are displayed on the W210, and the menu items “B-8” to “B-12” are not displayed.
  • step S210 is a display screen W220 in FIG. 18 that transitions when the selection state of the menu item K210 has elapsed for a predetermined time. Since the predetermined time has elapsed, the menu control unit 210 updates the menu display of the second hierarchy (step S210; Yes ⁇ step S212). That is, “B-12” not displayed on the display screen W210 is displayed, and “B-7” is not displayed instead.
  • the display of the menu item K220 in the second hierarchy is updated and displayed every time a predetermined time elapses while the menu item K210 remains selected.
  • Various methods can be considered as a method for updating the menu display. For example, when the selection state on the display screen W210 in FIG. 17 has elapsed for a predetermined time, the menu items “B-8” to “B-12” that are not displayed may be switched and displayed. Further, by displaying “B-1” and “B-2” in succession to “B-8” to “B-12”, the menu items in the second hierarchy may be displayed in succession. good.
  • the menu control unit 210 may apply a visual effect when switching and displaying the second layer menu display. For example, when switching the display of the menu item of the second hierarchy, the user can perform an intuitive operation by providing an effect of rotating the menu item K210 of the first hierarchy.
  • the menu list is stored and the menu display is performed based on the menu list.
  • the present invention is not limited to the method described above. That is, it may be described as a menu selection process directly in the program (process).
  • menu hierarchy has been described as the first hierarchy (parent hierarchy) and the second hierarchy (child hierarchy), but it is needless to say that three or more hierarchies may be used.
  • the display of the menu items can be switched depending on the state of the user's touch. Therefore, the user can display the menu with a simpler operation, and can easily select the desired menu.
  • the system liquid crystal is used.
  • the display unit 152 and the input detection unit 154 have been described as being integrated with the information processing apparatuses 1 and 2, they may be connected as external devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　タッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えた情報処理装置において、前記表示部に複数の候補となる候補画像を一覧表示し、前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて選択画像が選択される。そして、選択画像が所定時間以上選択されている場合には、前記選択画像以外の候補画像を変更して表示する。それにより、項目を選択する場合に、選択状態にない候補の表示状態を変化させることにより、利用者にとって利便性の高い情報処理装置等を提供することができる。

Description

情報処理装置及びプログラム
　本発明はタッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えた情報処理装置等に関するものである。
　従来から、情報処理装置において様々な入力方法が提案されている。利用者が情報処理装置において行う入力方法には、キー入力を利用したものや、タッチパネルを利用したものが知られている。これらの入力操作は、文字等の文章を入力する場合の他に、機能を選択する場合に行われたり、入退室や決済時に暗証番号等を入力することにより認証が行われたりする場合にも利用されている。
　例えば、利用者がキーを利用して認証をする場合、一つずつキー入力をする方法の他に複数のキー入力を行う方法が提案されている（例えば、特許文献１参照）。複数のキー操作によって認証を行うことから、一つずつキー入力をするよりセキュリティ強度を強くすることが出来る。
特開２００８－１５２７５７号公報
　近年、入力デバイスとして様々な装置が提供されている。ここで、従前からあるタッチパネルを発展させたものとして、光センサを内蔵したシステム液晶と呼ばれるものがある。
　ここで、光センサを内蔵したシステム液晶について、図を用いて簡単に説明する。まず、システム液晶Ｄ８０の概要を図１９にしめす。システム液晶Ｄ８０は、表示信号による表示装置の機能と、読み取り信号による入力装置の機能とを実現する。システム液晶Ｄ８０を画素単位に拡大して記載したのがＤ８２であり、画素（Ｄ９０）毎に光センサが内蔵されており、利用者からの操作（タッチ）を検知できる。
　図２０は、システム液晶の１画素分の断面図である。システム液晶の上面（利用者がタッチする側）から保護板Ｄ９０２、ガラス板Ｄ９０４、カラーフィルタＤ９０６、撮像素子Ｄ９０８、ガラス板Ｄ９１０、バックライトＤ９１２が配置されている。また、カラーフィルタＤ９０６は、ＲＧＢ色として、赤色のＤ９０６Ｒ、緑色のＤ９０６Ｇ及び青色のＤ９０６Ｂが配置されており、各色毎に撮像素子が配置されている。
　まず、表示用のバックライトＤ９１２から光が照射される。照射された光は、システム液晶の表示面（保護板Ｄ９０２）に接触されている被写体（利用者の指Ｄ８４）で反射される。反射された光は、撮像素子Ｄ９０８により画像処理が施される。これにより、被写体が、システム液晶の表示面（保護板Ｄ９０２）に接触されたこと（タッチ）が検出されることとなる。
　そして、画素毎に設置された撮像素子により画像処理が施されるため、複数の被写体の接触位置（座標）を検出することができる。すなわち、従前のタッチパネル（例えば、抵抗膜を利用したタッチパネルや、静電容量の変化を利用したタッチパネル、電磁誘導を利用したタッチパネル等）は、タッチした位置として検知できる箇所は１つであったが、上述のシステム液晶を利用したタッチパネルはタッチした位置を複数同時に検出することができる。
　したがって、システム液晶を利用したタッチパネルを利用して、表示された画像、数字、文字、記号等の候補となる項目（候補項目）を表示して利用者に選択させる場合、複数の項目を選択させるといった利用方法が考えられる。
　この場合、表示される候補項目は通常表示領域（システム液晶）の任意の位置に表示されることとなる。しかし、表示された候補項目のうち、利用者が選択しようとする候補項目が必ずしも選択しやすい位置に候補となる項目が表示されるとは限らないという問題点があった。
　例えば、表示された画像の中から利用者が選択して正当な利用者であることを認証する認証システムについて考える。この場合、利用者がタッチにより、認証する画像を選択することとなる。ここで、利用者は認証をするために、複数の画像を選択するが、画像の表示位置によっては、選択しにくい（タッチしにくい）場合が生じてしまう。具体的には、利用者が人差し指と薬指を使ってタッチした後に次の項目をタッチする場合、残った指が届く範囲に所望する項目が必ず表示されているとは限らなかった。したがって、利用者は、一度タッチした状態を解除し、もう一度選択し直すといった必要があった。
　また、メニューを選択する場合についても、利便性が高いシステムが提供されているとは言えなかった。一例として、ユーザが親階層のメニュー項目を選択すると、子階層のメニューが展開され表示されるシステムがある。
　しかし、子階層のメニューが必ずしも一画面に収まって表示されるとは限らない。したがって、子階層のメニューの表示を切り替える必要があるが、そのためには別途スクロール操作等を行う必要があり、使い勝手の良い情報処理装置とは言えなかった。
　上述した課題に鑑み、本発明が目的としているところは、項目を選択する場合に、選択されていない候補の項目の表示状態を変化させることにより、利用者にとって利便性の高い情報処理装置等を提供することである。
　上述した課題に鑑み、本発明の情報処理装置は、タッチされた位置の検出が同時に複数可能な入力検知部（例えば、図２の入力検知部１５４）と、表示部（例えば、図２の表示部１５２）とを備えた情報処理装置において、前記表示部に複数の候補項目を表示する制御を行う候補項目表示制御部（例えば、図２の制御部１００；図５のステップＳ１５０）と、前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された候補項目の中から選択項目を選択する項目選択部（例えば、図２の制御部１００；図５のステップＳ１５２、Ｓ１５４）と、前記項目選択部により、選択項目が所定時間以上選択されている場合には、前記選択項目以外の候補項目を変更して表示する制御を行う表示変更制御部（例えば、図２の制御部１００；図５のステップＳ１５６、Ｓ１５８）と、を備えることを特徴とする。
　また、本発明の情報処理装置は、前記候補項目として複数の画像を記憶する候補画像記憶部（例えば、図２の候補画像ＤＢ１４２）と、前記候補画像の中から正解の画像を記憶する正解画像記憶部（例えば、図２の正解画像ＤＢ１４４）と、を備え、前記候補項目表示制御部は、前記候補画像記憶部に記憶されている画像を複数表示する制御を行い（例えば、図２の制御部１００；図５のステップＳ１５８）、前記項目選択部は、前記表示されている候補の画像の中から、一又は複数の画像を選択画像として選択し（例えば、図２の制御部１００；図５のステップＳ１６０）、前記選択画像と、前記正解画像記憶部に記憶されている正解の画像とが一致する場合には、正当な利用者であると認証する認証部（例えば、図２の認証制御部１１０；図５のステップＳ１６６、Ｓ１６８）を更に有することを特徴とする。
　また、本発明の情報処理装置において、前記認証部は、前記項目選択部により選択されている選択項目のうち、一の選択項目において検知されているタッチが解除されたときに認証を行う（例えば、図２の制御部１００；図５のステップＳ１６４）ことを特徴とする。
　また、本発明の情報処理装置において、前記候補項目表示制御部は、候補項目として、階層構造の項目のうち親階層の項目を表示する制御を行い（例えば、図１３の制御部１００；図１５のステップＳ２００）、前記項目選択部は、前記入力検知部により検知されたタッチに基づいて、前記表示された親階層の項目を選択する親階層項目選択部（例えば、図１３の制御部１００；図１５のステップＳ２０２）を含み、前記親階層項目選択部により選択された親階層から選択可能な子階層の項目を表示する制御を行う子階層表示制御部（例えば、図１３の制御部１００；図１５のステップＳ２０４）を更に有し、前記表示変更制御部は、前記項目選択部が、所定時間以上選択されている場合には、前記子階層の項目を変更して表示する制御を行う子階層表示変更制御部（例えば、図１３の制御部１００；図１５のステップＳ２１０、Ｓ２１２）を含むことを特徴とする。
　また、本発明の情報処理装置において、前記子階層表示変更制御部は、前記表示部に表示されていない子階層の項目が表示されるように制御を行う（例えば、図１３の制御部１００；図１５のステップＳ２１２）ことを特徴とする。
　本発明のプログラムは、タッチされた位置の検出が同時に複数可能な入力検知部（例えば、図２の入力検知部１５４）と、表示部（例えば、図２の表示部１５２）とに接続されたコンピュータに、前記表示部に複数の候補項目を表示する制御を行う候補項目表示制御機能（例えば、図２の制御部１００；図５のステップＳ１５０）と、前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された候補項目の中から一又は複数の選択項目を選択する項目選択機能（例えば、図２の制御部１００；図５のステップＳ１５２、Ｓ１５４）と、前記項目選択機能により、選択項目が所定時間以上選択されている場合には、前記選択項目以外の候補項目を変更して表示する制御を行う表示変更制御機能（例えば、図２の制御部１００；図５のステップＳ１５６、Ｓ１５８）と、を実現させることを特徴とする。
　本発明の情報処理装置によれば、表示部に複数の候補項目を表示し、検知されたタッチに基づいて、表示された候補項目の中から選択項目が選択され、所定時間以上選択されている場合（すなわち所定時間以上、タッチが検知されている場合）に、選択項目以外の候補項目が変更して表示されることとなる。したがって、選択している以外の項目が変化することから、次に項目を選択する場合に、選択しやすい位置に表示させることができる利便性の高い情報処理装置を提供することが可能となる。
　また、候補画像記憶部に記憶されている画像から複数の候補項目となる画像が表示され、その中から一又は複数の画像が選択される。そして、選択されていない画像については所定時間が経過すると、異なる画像に変化することとなる。そして、選択された項目（画像）と、正解となる画像とが一致した場合には、正当な利用者であるとして認証が行われたと判断されることとなる。したがって、画像を用いて認証を行う場合に、複数の候補を利用者が選択する場合に押しにくい場所に正解画像が表示されているとしても、所定時間経過することにより、画像の場所が変化してタッチしやすい位置に表示されることとなる。
　また、項目選択部により選択されている選択項目のうち、一の選択項目において検知されているタッチが解除されたときに認証を行うこととなる。したがって、利用者がタッチを解除するだけで認証を行うことができ、利便性の高い情報処理装置を提供することが可能となる。
　また、表示部に親階層の項目を表示し、タッチに基づいて、親階層の項目を選択し、選択された親階層に応じて子階層の項目が表示される。そして、所定時間以上選択されている場合（すなわち所定時間以上タッチが検出されている場合）が所定時間以上検知された場合には、子階層の項目の表示が変更されることとなる。これにより、親階層をタッチで選択しておくことで、子階層の項目の表示が変更されることとなり、利便性の高い情報処理装置を提供することが可能となる。
　また、子階層の項目の表示を変更する場合に、表示部に表示されていない子階層の項目が表示されるように制御を行うことができる。
第１実施形態における情報処理装置の外観を説明するための図である。 第１実施形態における情報処理装置の構成を説明するための図である。 （ａ）候補画像ＤＢの構成の一例を示す図である。（ｂ）正解画像ＤＢの構成の一例を示す図である。 第１実施形態における正解登録処理の動作フローである。 第１実施形態における認証処理の動作フローである。 第１実施形態における候補画像の選択動作について説明する図である。 第１実施形態における認証処理の動作フロー（変形例）である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第２実施形態における情報処理装置の構成を説明するための図である。 第２実施形態におけるメニューリストについて説明するための図である。 第２実施形態におけるメニュー表示処理の動作フローである。 第２実施形態における動作例を説明するための図である。 第２実施形態における動作例を説明するための図である。 第２実施形態における動作例を説明するための図である。 システム液晶の原理について説明するための図である。 システム液晶の原理について説明するための図である。
　以下添付図面を参照しながら、本発明の実施の形態について説明し、本発明の理解に供する。尚、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
　〔実施の形態〕
　［１．第１実施形態］
　まず、第１実施形態について説明する。第１実施形態は、利用者が正当な利用者であると認証をする場合に選択する項目として画像を用いる認証システムについて、本発明を適用した場合について説明する。すなわち、まず、候補項目として候補画像を表示する。そして、候補画像の中から選択項目として選択画像が選択されることとなる。以下、図面を用いて詳細に説明する。
　［１．１　装置構成］
　まず、本発明を適用した情報処理装置１の装置の概観を示す。本実施形態では、情報処理装置１の一例として携帯電話に適用した場合について説明する。例えば、図１（ａ）は、携帯電話の表示画面が縦表示の場合であり、図１（ｂ）は表示画面が横表示の場合の一例を示す図である。そして、図２に情報処理装置１の機能構成を示す。情報処理装置１は、制御部１００に、認証制御部１１０と、表示データ制御部１２０と、記憶部１４０と、システム液晶１５０とがバスを介して接続されている。また、表示データ制御部１２０には、表示位置制御部１３０が接続されている。
　制御部１００は、情報処理装置１の動作を制御するための機能部であり、ＣＰＵ等、情報処理装置１に必要な制御回路によって構成されている。制御部１００は、記憶部１４０に記憶されている各種プログラムを読み出して実行することにより各種処理を実現することとなる。
　認証制御部１１０は、利用者により選択された画像が、後述する正解画像ＤＢ１４４に記憶されている画像と一致するか否かを判定することにより利用者が正当な利用者であるか否かを認証する認証制御を行うための機能部である。認証した結果に応じて、情報処理装置は各種処理を実行する。例えば、情報処理装置１が入退室の制御に用いられている場合には、認証が正しく行われた場合には入退室が許可されることとなる。また、情報処理装置１が、決済処理において利用されている場合には、認証が正しく行われた場合に決済処理が実行されることとなる。
　表示データ制御部１２０は、制御部１００の指示に基づいて後述するシステム液晶１５０（表示部１５２）に表示するデータを制御する機能部である。表示データ制御部は、制御部１００に表示する画像を表示し、表示位置制御部１３０に基づく表示位置に表示する。
　表示位置制御部１３０は、表示する画像（例えば、候補画像）の表示位置を決定し、表示データ制御部１２０を制御する機能部である。表示データ制御部１２０が表示部１５２に出力する表示信号の内容を、具体的に制御することとなる。そして、表示データ制御部１２０は、表示位置制御部１３０から入力される制御信号に基づいて表示部１５２に出力することとなる。
　記憶部１４０は、情報処理装置１が動作するための各種データ及びプログラムを記憶しておく機能部である。制御部１００は、記憶部１４０に記憶されているプログラムを読み出して実行する事により、各種機能を実現することとなる。
　ここで記憶部１４０には、候補画像ＤＢ１４２と、正解画像ＤＢ１４４と、正解登録プログラム１４６と、認証プログラム１４８とが記憶されている。
　候補画像ＤＢ１４２は、図３（ａ）に示すように、認証のときに、選択する候補として表示する画像（候補画像）が記憶されているＤＢである。本実施形態においては、候補画像の一例としてＪＰＥＧ形式にて記憶されているものとするが、他の画像形式でも良いことは勿論である。
　正解画像ＤＢ１４４は、利用者により認証の正解画像が登録されているＤＢである。図３（ｂ）に示すように、正解画像ＤＢ１４４には、正解となる画像が登録されている。なお、この正解画像は、候補画像ＤＢ１４２に記憶されている候補画像の中から選択されたものである。
　システム液晶１５０は、表示部１５２と、入力検知部１５４とを備えた表示装置である。詳細な動作については上述したが、表示部１５２は、例えば液晶ディスプレイにより構成されており、表示データ制御部１２０の表示制御信号に基づいて、各種情報を表示する。また、入力検知部１５４は、複数のタッチ位置を同時に検知可能なタッチパネルにより構成されており、利用者からタッチされた箇所の座標を検知する。
　［１．２　処理の流れ］
　続いて、本実施形態における処理の流れについて説明する。まず、正解画像を登録する正解登録処理について図４に基づいて説明する。ここで、正解登録処理は、制御部１００が、記憶部１４０に記憶されている正解登録プログラム１４６を読み出して実行することにより実現される処理である。
　まず、候補画像ＤＢ１４２から候補画像を読み出して画像一覧を作成し表示する（ステップＳ１００）。ここで、利用者により正解とする正解画像が選択される（ステップＳ１０２）。なお、ここで選択される正解画像は、１つ以上であれば良い。
　そして、画像が選択され、正解画像として登録される操作がされた場合には（ステップＳ１０４；Ｙｅｓ）、正解画像として、正解画像ＤＢ１４４に登録される（ステップＳ１０６）。
　つづいて、認証処理について、図５に基づいて説明する。ここで、認証処理は、制御部１００が、記憶部１４０に記憶されている認証プログラム１４８を読み出して実行することにより実現される処理である。
　まず、制御部１００は、候補画像ＤＢ１４２から、候補画像の一覧をランダムに作成し、表示する（ステップＳ１５０）。ここで、表示される候補画像の個数は、予め決められた個数であったり、利用者が設定した個数であったり、表示部１５２の表示領域を考慮して決定された個数であったり、何れでも良い。なお、本実施形態においては、９つの候補画像が表示されることとして説明する。
　そして、利用者により何れかの候補画像の一つが選択されると（ステップＳ１５２；Ｙｅｓ）、選択された画像を選択画像として一時記憶する（ステップＳ１５４）。ここで、候補画像を選択する方法としては、入力検知部１５４がタッチを検知し、検知した位置に基づいて、どの候補画像が選択されたかを判定する。
　ここで、候補画像の選択について、図６を用いて説明する。図６（ａ）に示すように、
　・画像Ａ＜（ｘ１，ｙ１）－（ｘ２，ｙ２）＞
　・画像Ｂ＜（ｘ３，ｙ１）－（ｘ４，ｙ２）＞
　・画像Ｃ＜（ｘ１，ｙ３）－（ｘ２，ｙ４）＞
　・画像Ｄ＜（ｘ３，ｙ３）－（ｘ４，ｙ４）＞
　が表示されているとする。
　例えば、同時に点Ｍ、点Ｎの２点のタッチが入力検知部１５４により検出され、それぞれ座標Ｍ（Ｘｍ，Ｙｍ）、座標Ｎ（Ｘｎ，Ｙｎ）で表されるとする。点Ｍの座標がｘ１＜Ｘｍ＜ｘ２、ｙ１＜Ｙｍ＜ｙ２の位置にあった場合、点Ｍは（ｘ１，ｙ１）－（ｘ２，ｙ２）の範囲に表示されている画像Ａの領域にあるため、項目選択部は画像Ａが選択されたと判定する。この場合の各表示画像に対応する領域の座標は、表示位置制御部１３０に記憶されている。同様に、点Ｎの座標がｘ１＜Ｘｎ＜ｘ２、ｙ１＜Ｙｎ＜ｙ２の位置にあった場合、点Ｎも画像Ａの領域にあるため、項目選択部は画像Ａを選択したと判定する。この場合、点Ｍ、点Ｎの２点のタッチが検出されたが、項目選択部が選択する画像は画像Ａのみになる（図６（ｂ））。
　しかし、点Ｎの座標がｘ３＜Ｘｎ＜ｘ４、ｙ３＜Ｙｎ＜ｙ４の位置にあった場合、点Ｎは（ｘ３，ｙ３）－（ｘ４，ｙ４）の範囲に表示されている画像Ｄの領域にあるため、制御部１００は画像Ｄが選択されたと判定する。この場合は点Ｍ、点Ｎの２点のタッチが検出され、選択される画像は画像Ａと画像Ｄになる。このように同時に複数のタッチが検知されても、前者は画像Ａのみが選択され、後者は画像Ａと画像Ｄの複数画像の選択が行われる（図６（ｃ））。
　なお、検出された座標が、どの画像の領域からも外れている場合は、画像の選択は行われない。例えば、点Ｎの座標がｘ２＜Ｘｎ＜ｘ３、ｙ３＜Ｙｎ＜ｙ４の位置にあった場合、点Ｎにより画像は選択されず、点Ｍにより選択された画像のみが選択画像となる（図６（ｄ））。
　そして、選択された画像を選択画像として記憶する。なお、画像が選択されたことを表す装飾表示（例えば、選択画像を反転させる、枠線で囲んで表示する、点滅表示させる）等を施してもよい。
　そして、選択画像が選択されたまま、すなわち、候補画像が継続してタッチされている（タッチが検知され続けている）状態において、所定時間が経過した場合には（ステップＳ１５６；Ｙｅｓ）、選択画像以外の候補画像の一覧を再作成し、再度表示する（ステップＳ１５８）。なお、本実施形態では選択された選択画像にかかわらず所定時間が経過した際には一覧の再作成を行う場合をあげたが、選択された選択画像が予め設定された特定の画像だった場合には一覧の再作成を行うが、その他の画像だった場合は一覧の再作成を行わないという処理を追加してもよい。また、その逆に、選択された選択画像が予め設定された特定の画像だった場合には一覧の再作成を行わず、その他の画像だった場合は一覧の再作成を行うという処理でもよい。さらに、上記では画像をキーに一覧再作成の有無を判断したが、これが画像ではなく選択されている位置であってもよい。
　例えば、候補画像の中から９つの画像が表示されており、選択画像として１つの選択されている場合には、候補画像ＤＢ１４２から選択画像以外の８つ分の候補画像を再度読み出し、一覧表示を再作成して表示する。
　なお、現在表示されている候補画像と、再表示された候補画像とを必ず異なる画像としても良いし、そのような制限を設けなくても良い。また、再表示のときに、同一の画像が同じ位置に表示されないよう制限を設けても良い。これらの表示方法については、制約を大きくすることによりセキュリティ強度を強くすることが可能となり、制約を小さくすることにより利便性を向上させることが可能となる。
　続いて、更に次の候補画像の中から、次の画像が選択されたか否かを判定する（ステップＳ１６０）。次の画像が選択された場合には（ステップＳ１６０；Ｙｅｓ）、次に選択された画像も選択画像として記憶する（ステップＳ１６２）。
　ここで、利用者により画像認証が実行されたか否かを判定する（ステップＳ１６４）。ここで、利用者により画像認証を行う操作がなされた場合はステップＳ１６６に処理を移行し（ステップＳ１６４；Ｙｅｓ→ステップＳ１６６）、画像認証を行う操作がなされていない場合には、ステップＳ１５６から処理を繰り返し実行する（ステップＳ１６４；Ｎｏ→ステップＳ１５６）。
　ここで、画像認証を行うための操作としては種々の方法が考えられる。例えば、選択画像の選択状態が解除されたことを画像認証を行うためのトリガーとして判定する（すなわち、入力検知部１５４のタッチが継続しているか否か（利用者の指でタッチしている場合には、離れた指があるか否か）を判定する）場合や、認証ボタンが利用者により選択されたことを画像認証を行うためのトリガーとして判定する場合等である。
　そして、画像認証を行う場合は、現在の選択画像が、正解画像ＤＢ１４４に登録されている正解画像と一致するか否かを判定する（ステップＳ１６６）。ここで、選択画像と、正解画像とが一致した場合には認証が成功したと判定する（ステップＳ１６６；Ｙｅｓ→ステップＳ１６８）。他方、選択画像と、正解画像とが一致しない場合には、認証が失敗したと判定する（ステップＳ１６６；Ｎｏ→ステップＳ１７０）。
　なお、ステップＳ１６４の画像認証を行う操作のトリガーとして、例えば、選択画像と正解画像が一致した場合には、自動的に認証が行われることとしても良い。この場合の動作フローを図７に示す。
　すなわち、ステップＳ１６４を実行せずに、現在選択中の選択画像と、正解画像とが一致しているかをステップＳ１６６にて判定する。そして、選択画像が正解画像と一致している場合には、認証成功と判定し（ステップＳ１６６；Ｙｅｓ→ステップＳ１６８）、一致していない場合にはステップＳ１５６から処理を繰り返し実行する。これにより、利用者は「認証を実行する」といった操作を意識することなく認証処理を実行することが可能となる。
　［１．３　動作例］
　続いて、本実施形態の動作例について、説明する。図８は、システム液晶１５０に表示された表示画面Ｗ１００の一例を説明するための図である。
　表示画面Ｗ１００には、候補画像ＤＢ１４２から９つの候補画像が読み出され一覧表示されている（図５のステップＳ１５０）。認証に用いる正解画像が表示されていない場合には、利用者は任意の画像を一つ選択する（ステップＳ１５２；Ｙｅｓ→ステップＳ１５４）。本図では、画像Ｍ１００が選択画像として利用者Ｆ１００により選択（タッチ）されている。なお、この場合、画像Ｍ１００は利用者の人差し指でタッチされている。
　図８の状態で所定時間経過すると（ステップＳ１５６；Ｙｅｓ）、選択されている画像Ｍ１００以外の候補画像が更新されて表示されることとなる（ステップＳ１５８）。図９は、画像Ｍ１００以外の候補画像が更新表示された場合の表示画面Ｗ１０２の一例である。ここで、利用者Ｆ１０２は、正解画像である画像Ｍ１０２を更に選択する（ステップＳ１６０；Ｙｅｓ→ステップＳ１６２）。ここで、画像Ｍ１００は利用者の人差し指で、画像Ｍ１０２は利用者の薬指で選択されている。
　図９の状態で所定時間経過すると、選択されている画像Ｍ１００及び画像Ｍ１０２以外の候補画像が更新されて表示されることとなる（ステップＳ１５８）。図１０は、画像Ｍ１００及び画像Ｍ１０２以外の画像が更新表示された場合の表示画面Ｗ１０４の一例である。ここで、表示画面Ｗ１０４に、正解画像となる画像Ｍ１０４が表示されている。ここで、利用者は画像Ｍ１０４を選択しようとするが、現在の表示位置では選択しにくいため、所定時間経過するまで待つこととする。
　図１０の状態で所定時間経過すると、選択されている画像Ｍ１００及び画像Ｍ１０２以外の候補画像が更新されて表示されることとなる（ステップＳ１５６；Ｙｅｓ→ステップＳ１５８）。図１１は、画像Ｍ１００及び画像Ｍ１０２以外の候補画像が更新表示された場合の表示画面Ｗ１０６の一例である。表示画面Ｗ１０６では、画像Ｍ１０４が利用者Ｆ１０６に選択しやすい箇所に表示されている。そこで、利用者Ｆ１０６は正解画像である画像Ｍ１０６を更に選択する（ステップＳ１６０；Ｙｅｓ→ステップＳ１６２）。ここで、画像Ｍ１００は利用者の人差し指、画像Ｍ１０２は利用者の薬指、画像Ｍ１０４は利用者の中指で選択されている。
　図１１の状態で正解画像が総て選択されているので、利用者は正解画像ではない画像Ｍ１００の選択状態を解除する（ステップＳ１６４；Ｙｅｓ）。図１２は、図１１において画像Ｍ１００の選択状態が解除された場合の表示画面Ｗ１０８の一例を示す図である。
　画像の選択状態が解除されたことから、認証制御部１１０は、現在選択されている選択画像と、正解画像ＤＢ１４４を照合する（ステップＳ１６６）。そして、選択画像と、正解画像が一致する場合には認証が成功したと判定する（ステップＳ１６６；Ｙｅｓ→ステップＳ１６８）。
　このように、本実施形態によれば、利用者が複数の画像（項目）を選択する場合に、所定時間が経過する毎に、選択されている画像以外の画像の表示位置、内容が変化することとなる。これにより、利用者は画像（項目）を選択する場合に、無理な押し方をすることなく、自然に画像を選択することが可能となり、利便性の高い認証システムを実現することができる。
　なお、上述した実施形態については、候補項目として画像を利用する例について説明したが、例えば数字、文字、図形、記号、写真、色等、他の項目を表示し、当該項目から選択することにより認証を行うこととしても良いことは勿論である。
　また、上述した実施形態については、所定時間が経過したタイミングで候補画像の一覧を再作成することとして説明したが、他のタイミングで画像を変更してもよい。例えば、ステップＳ１６０において、次の画像が選択されたタイミングにて、選択画像以外の候補画像の一覧を再作成することとしても良いし、候補画像の一覧を再作成する指示を利用者が任意のタイミングで与えても良い。
　また、上述した実施形態については、候補画像の一覧を再作成する場合に、候補画像ＤＢ１４２から読み出して表示することとして説明したが、例えば一度候補画像の一覧として表示された画像の種類はそのままにし、位置を変更することとしても良い。この場合、表示されている画像が変化しないため、利用者が選択するステップが少なくてすむといった効果が期待できる。
　さらに、上述した実施形態に加えて、画像の位置及び表示する画像について、例えば、所定時間が経過した場合には候補画像ＤＢ１４２から新たに候補画像を読み出し、候補画像の一覧表示を行う。そして、画像が選択された場合には、表示されている候補画像の位置のみを移動させるといった制御を行っても良い。このように、候補画像を一覧表示する方法については、種々の方法が考えられる。
　なお、上述した実施形態については、選択画像を解除することで認証を行う例について説明したが、例えば認証ボタンを他の画像と同じ表示部に表示し、それを選択することで認証を行うこととしても良い。また、認証ボタンは表示部への表示ではなく、端末の表面・側面・裏面などに配置し、それを押下することで認証を行うこととしても良い。特に、側面・裏面に配置した場合、選択画面と認証ボタンを同時に押すことを第三者が視認することを難しくする。
　また、上述した実施形態では認証の例について説明したが、例えばメニューの選択や、数字等の入力に用いてもよい。すなわち、本発明を適用する範囲は、タッチされた位置を同時に複数の検出が可能な情報処理装置において、その情報処理装置に表示された項目を押さえたままの状態のときに、他の項目の表示が更新される物であればよい。
　［２．第２実施形態］
　つづいて、第２実施形態について説明する。第２実施形態は、利用者が選択する項目として、メニュー項目を選択する場合を例にとって説明する。すなわち、まず、親階層の項目として、第１階層のメニュー項目を表示する。そして、選択された第１階層に応じて、子階層の項目である第２階層のメニュー項目が表示されることとなる。以下、図面を用いて詳細に説明する。
　［２．１　装置構成］
　図１３に本発明を適用した情報処理装置２の構成を示す。情報処理装置２は、制御部１００と、メニュー制御部２１０と、表示データ制御部１２０と、表示位置制御部１３０と、記憶部２４０と、システム液晶１５０（表示部１５２及び入力検知部１５４）とを備えて構成されている。なお、第１実施形態において説明した構成要素と同一のものについては、同一の符号を付し、その説明を省略する。
　メニュー制御部２１０は、表示するメニューの切り替え、更新指示等の制御を行う制御部である。後述するメニューリスト２４２から、必要となるメニュー項目を読み出してメニュー画面を表示する制御を行う。
　記憶部２４０は、情報処理装置２が動作するための各種データ及びプログラムを記憶しておく機能部である。制御部１００は、記憶部２４０に記憶されているプログラムを読み出して実行する事により、各種機能を実現することとなる。ここで記憶部２４０は、メニューリスト２４２と、メニュー表示プログラム２４４とを記憶している。
　メニューリスト２４２は、情報処理装置２におけるメニュー項目（例えば、「Ｗｅｂ」）を項目番号（例えば、「Ａ」）と対応づけて記憶しているリストである。ここで、「Ａ」「Ｂ」「Ｃ」「Ｄ」等は、第１階層（親階層）のメニューを示している。また、第１階層（親階層）に対応する第２階層（子階層）のメニューもそれぞれ記憶されている。例えば、「Ｂ－１」は、「Ｂ」を親階層とする子階層のメニューである。
　［２．２　処理の流れ］
　つづいて、第２実施形態における処理であるメニュー表示処理について、図１５を用いて説明する。メニュー表示処理は、制御部１００が、記憶部２４０に記憶されているメニュー表示プログラム２４４を読み出して実行することにより実現される処理である。
　まず、表示データ制御部１２０は、第１階層のメニューを表示する（ステップＳ２００）。そして、表示された第１階層からメニュー項目を選択する（ステップＳ２０２）。
　利用者により、メニュー項目が選択されると（ステップＳ２０２；Ｙｅｓ）、選択されたメニュー項目の下位メニュー（第２階層）が表示される（ステップＳ２０４）。ここで、第１階層のメニュー項目の選択が解除された場合は、再度ステップＳ２００から処理を実行し、第１階層のメニュー表示に戻る（ステップＳ２０６；Ｙｅｓ→ステップＳ２００）。
　第２階層のメニューが表示された状態で、第２階層のメニュー項目が選択されることなく、所定時間経過した場合には（ステップＳ２０６；Ｎｏ→ステップＳ２０８；Ｎｏ→ステップＳ２１０；Ｙｅｓ）、第２階層のメニュー項目の表示が更新される（ステップＳ２１２）。
　他方、第２階層のメニューが表示された状態で、第２階層のメニュー項目が選択された場合には、選択された機能を実行する（ステップＳ２０６；Ｎｏ→ステップＳ２０８；Ｙｅｓ→ステップＳ２１４）。
　［２．３　動作例］
　つづいて、第２実施形態における動作例について図を用いて説明する。
　図１６は、第１階層（親階層）を表示する表示画面Ｗ２００の一例を示す図である。表示画面Ｗ２００には、第１階層のメニュー項目Ｋ２００が表示されている（図１５のステップＳ２００）。ここで、利用者Ｆ２００がメニュー項目Ｋ２０２「Ｂ　Ｍａｉｌ」をタッチし、選択状態とする（ステップＳ２０２；Ｙｅｓ）。なお、利用者Ｆ２００がタッチする方法としては、例えば手（指）でタッチしてもよいし、スタイラスでタッチしても良い。
　図１６の状態で、メニュー項目Ｋ２０２が選択された場合に遷移する画面が図１７の表示画面Ｗ２１０である。表示画面Ｗ２１０では、第１階層（親階層）のメニュー項目Ｋ２１０が利用者Ｆ２１０により選択状態となっている。ここで、第１階層（親階層）のうち、選択されていないメニュー項目Ｋ２１２は、淡く表示されている。
　また、画面中央には、選択されているメニュー項目Ｋ２１２に関連づけられた第２階層（子階層）のメニュー項目Ｋ２１４が表示されている（ステップＳ２０４）。ここで、メニュー項目Ｋ２１０「Ｂ　Ｍａｉｌ」に対応する第２階層のメニューは、図１４に示したメニューリスト２４２を参照すると１２のメニュー項目がある。しかし、表示画面Ｗ２１０には、７つのメニュー項目しか表示できない。したがって、項目番号「Ｂ－１」～「Ｂ－７」のメニュー項目がＷ２１０には表示されており、「Ｂ－８」～「Ｂ－１２」のメニュー項目は表示されていないこととなる。
　図１７の状態で、メニュー項目Ｋ２１０の選択状態が所定時間経過した場合に遷移する画面が図１８の表示画面Ｗ２２０である。所定時間経過したことから、メニュー制御部２１０は、第２階層のメニュー表示を更新する（ステップＳ２１０；Ｙｅｓ→ステップＳ２１２）。すなわち、表示画面Ｗ２１０に表示されていなかった「Ｂ－１２」を表示し、代わりに「Ｂ－７」を非表示としている。
　このように、メニュー項目Ｋ２１０が選択状態のままで、所定時間を経過する度に、第２階層のメニュー項目Ｋ２２０の表示が更新表示されることとなる。
　なお、メニューの表示を更新する方法としては、種々の方法が考えられる。例えば、図１７の表示画面Ｗ２１０において選択状態が所定時間経過すると、非表示であるメニュー項目「Ｂ－８」～「Ｂ－１２」を切り替えて表示しても良い。また、「Ｂ－８」～「Ｂ－１２」に連続して「Ｂ－１」「Ｂ－２」を表示することにより、第２階層のメニュー項目が連続して表示されるようにしても良い。
　また、メニュー制御部２１０は、第２階層のメニュー表示を切り替え表示する場合に、視覚的な効果を施すこととしても良い。例えば、第２階層のメニュー項目の表示を切り替える場合に、第１階層のメニュー項目Ｋ２１０を中心に回転表示するような効果を施すことにより、利用者が直感的な操作ができるようになる。
　また、本実施形態においては、メニューリストを記憶しており、当該メニューリストに基づいてメニュー表示を行うこととして説明したが、上述した方法に限定されるものではない。すなわち、プログラム（処理）の中で直接メニュー選択処理として記載するとしても良い。
　また、説明の都合上、メニューの階層を第１階層（親階層）と第２階層（子階層）の２つとして説明したが、３つ以上の階層としても良いことは勿論である。
　このように、本実施形態によれば、メニュー項目の総てが表示画面に表示しきれない場合であっても、利用者のタッチの状態によりメニュー項目の表示を切り替えることができる。したがって、利用者はより平易な操作で、メニューが表示されることになり、容易に所望するメニューを選択することが出来るようになる。
　［３．変形例］
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
　また、上述した実施形態においてはシステム液晶を利用することとして説明したが、同様の装置であれば実現可能であることは勿論である。さらに、表示部１５２及び入力検知部１５４は、情報処理装置１及び２に一体となっているものとして説明したが、外部の機器として接続されるもので有ってもよい。
１、２　情報処理装置
　１００　制御部
　１１０　認証制御部
　１２０　表示データ制御部
　１３０　表示位置制御部
　１４０　記憶部
　　１４２　候補画像ＤＢ
　　１４４　正解画像ＤＢ
　　１４６　正解登録プログラム
　　１４８　認証プログラム
　１５０　システム液晶
　　１５２　表示部
　　１５４　入力検知部
　２１０　メニュー制御部
　２４０　記憶部
　　２４２　メニューリスト
　　２４４　メニュー表示プログラム

Claims (6)

  1. 　タッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えた情報処理装置において、
    　前記表示部に複数の候補項目を表示する制御を行う候補項目表示制御部と、
    　前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された候補項目の中から選択項目を選択する項目選択部と、
    　前記項目選択部により、選択項目が所定時間以上選択されている場合には、前記選択項目以外の候補項目を変更して表示する制御を行う表示変更制御部と、
    　を備えることを特徴とする情報処理装置。
  2. 　前記候補項目として複数の画像を記憶する候補画像記憶部と、
    　前記候補画像の中から正解の画像を記憶する正解画像記憶部と、
    　を備え、
    　前記候補項目表示制御部は、前記候補画像記憶部に記憶されている画像を複数表示する制御を行い、
    　前記項目選択部は、前記表示されている候補の画像の中から、一又は複数の画像を選択画像として選択し、
    　前記選択画像と、前記正解画像記憶部に記憶されている正解の画像とが一致する場合には、正当な利用者であると認証する認証部を更に有することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記認証部は、前記項目選択部により選択されている選択項目のうち、一の選択項目において検知されているタッチが解除されたときに認証を行うことを特徴とする請求項２に記載の情報処理装置。
  4. 　前記候補項目表示制御部は、候補項目として、階層構造の項目のうち親階層の項目を表示する制御を行い、
    　前記項目選択部は、前記入力検知部により検知されたタッチに基づいて、前記表示された親階層の項目を選択する親階層項目選択部を含み、
    　前記親階層項目選択部により選択された親階層から選択可能な子階層の項目を表示する制御を行う子階層表示制御部を更に有し、
    　前記表示変更制御部は、前記項目選択部が、前記親階層が所定時間以上選択されている場合には、前記子階層の項目を変更して表示する制御を行う子階層表示変更制御部を含むことを特徴とする請求項１に記載の情報処理装置。
  5. 　前記子階層表示変更制御部は、前記表示部に表示されていない子階層の項目が表示されるように制御を行うことを特徴とする請求項４に記載の情報処理装置。
  6. 　タッチされた位置の検出が同時に複数可能な入力検知部と、表示部と備えたコンピュータに、
    　前記表示部に複数の候補項目を表示する制御を行う候補項目表示制御機能と、
    　前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された候補項目の中から選択項目を選択する項目選択機能と、
    　前記項目選択機能により、選択項目が所定時間以上選択されている場合には、前記選択項目以外の候補項目を変更して表示する制御を行う表示変更制御機能と、
    　を実現させるためのプログラム。
PCT/JP2010/050792 2009-01-23 2010-01-22 情報処理装置及びプログラム Ceased WO2010084950A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201080005098.XA CN102292697B (zh) 2009-01-23 2010-01-22 信息处理装置
US13/145,883 US20120092275A1 (en) 2009-01-23 2010-01-22 Information processing apparatus and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009012552A JP4913834B2 (ja) 2009-01-23 2009-01-23 情報処理装置、制御方法及びプログラム
JP2009-012552 2009-01-23

Publications (1)

Publication Number Publication Date
WO2010084950A1 true WO2010084950A1 (ja) 2010-07-29

Family

ID=42356000

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/050792 Ceased WO2010084950A1 (ja) 2009-01-23 2010-01-22 情報処理装置及びプログラム

Country Status (4)

Country Link
US (1) US20120092275A1 (ja)
JP (1) JP4913834B2 (ja)
CN (1) CN102292697B (ja)
WO (1) WO2010084950A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150195226A1 (en) * 2014-01-06 2015-07-09 Desiree Gina McDowell-White Interactive Picture Messaging System
JP6092818B2 (ja) * 2014-07-01 2017-03-08 富士フイルム株式会社 画像処理装置、画像処理方法、画像処理プログラム、及びプリント注文受付装置
JP2020052509A (ja) * 2018-09-25 2020-04-02 富士ゼロックス株式会社 情報処理装置、プログラム及び情報処理システム
JP7471841B2 (ja) * 2020-02-05 2024-04-22 キヤノン株式会社 検品システム、検品方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008030879A2 (en) * 2006-09-06 2008-03-13 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
JP2008097609A (ja) * 2006-10-11 2008-04-24 Samsung Electronics Co Ltd マルチタッチ判断装置、方法及び記録媒体
JP2008152441A (ja) * 2006-12-15 2008-07-03 Hitachi Software Eng Co Ltd 文字データ入力装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2576407B2 (ja) * 1994-06-03 1997-01-29 日本電気株式会社 ファクシミリ装置
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
JP2001142593A (ja) * 1999-11-17 2001-05-25 Oki Electric Ind Co Ltd ヘルプ画面表示方法
US6720860B1 (en) * 2000-06-30 2004-04-13 International Business Machines Corporation Password protection using spatial and temporal variation in a high-resolution touch sensitive display
JP2005284404A (ja) * 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd 情報処理装置及び情報処理方法
WO2007108093A1 (ja) * 2006-03-20 2007-09-27 Olympus Corporation 情報呈示装置
JP4887184B2 (ja) * 2007-03-02 2012-02-29 株式会社リコー 表示処理装置、表示処理方法、および表示処理プログラム
KR20250099420A (ko) * 2007-09-24 2025-07-01 애플 인크. 전자 장치 내의 내장형 인증 시스템들

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008030879A2 (en) * 2006-09-06 2008-03-13 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
JP2008097609A (ja) * 2006-10-11 2008-04-24 Samsung Electronics Co Ltd マルチタッチ判断装置、方法及び記録媒体
JP2008152441A (ja) * 2006-12-15 2008-07-03 Hitachi Software Eng Co Ltd 文字データ入力装置

Also Published As

Publication number Publication date
CN102292697A (zh) 2011-12-21
CN102292697B (zh) 2013-08-21
US20120092275A1 (en) 2012-04-19
JP4913834B2 (ja) 2012-04-11
JP2010170357A (ja) 2010-08-05

Similar Documents

Publication Publication Date Title
USRE49669E1 (en) Information processing apparatus
US8085243B2 (en) Input device and its method
US20090289916A1 (en) Electronic device and method for switching between locked state and unlocked state
US20100214239A1 (en) Method and touch panel for providing tactile feedback
US20090164930A1 (en) Electronic device capable of transferring object between two display units and controlling method thereof
CN102741794A (zh) 处理触觉输入
CN101989174A (zh) 信息输入装置及信息输入方法
CN102197356A (zh) 即使检测区域小于显示器的显示区域也如相同时那样动作的触摸面板装置
JP4913834B2 (ja) 情報処理装置、制御方法及びプログラム
JP4818036B2 (ja) タッチパネル制御装置およびタッチパネル制御方法
JP5801728B2 (ja) タッチパネル装置及びタッチパネル装置の操作処理方法
JP2014016743A (ja) 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム
JP4981946B2 (ja) 携帯端末及び携帯端末における文字色変更方法
JP4880003B2 (ja) 情報処理装置、制御方法及びプログラム
JP6115421B2 (ja) 入力装置および入力システム
JP2008065504A (ja) タッチパネル制御装置およびタッチパネル制御方法
JP5539415B2 (ja) 情報処理装置及びプログラム
JP2012173997A (ja) 表示装置、表示方法、及び表示プログラム
JP2014048738A (ja) 携帯端末装置、プログラムおよびパスワード入力方法
US20080184172A1 (en) Methods and systems for displaying input items on a display
JP2013205986A (ja) 電子機器
KR102090443B1 (ko) 터치 제어 방법, 장치, 프로그램 및 컴퓨터 판독가능 기록매체
CN101437070A (zh) 显示拨号信息的方法与使用该方法的移动通信装置
JP2006099178A (ja) タッチパネル装置及びタッチパネル入力方法
WO2015093005A1 (ja) 表示システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080005098.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10733557

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 5951/CHENP/2011

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 13145883

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10733557

Country of ref document: EP

Kind code of ref document: A1