WO2016132617A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2016132617A1
WO2016132617A1 PCT/JP2015/082623 JP2015082623W WO2016132617A1 WO 2016132617 A1 WO2016132617 A1 WO 2016132617A1 JP 2015082623 W JP2015082623 W JP 2015082623W WO 2016132617 A1 WO2016132617 A1 WO 2016132617A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
line
sight
unit
movement
Prior art date
Application number
PCT/JP2015/082623
Other languages
English (en)
French (fr)
Inventor
竹雄 塚本
宗一 小波
伊藤　智行
崇史 安倍
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15882718.8A priority Critical patent/EP3261055A4/en
Priority to US15/529,128 priority patent/US10180717B2/en
Priority to JP2017500286A priority patent/JP6648751B2/ja
Priority to CN201580075931.0A priority patent/CN107209936B/zh
Publication of WO2016132617A1 publication Critical patent/WO2016132617A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 an operation pattern including movement of a user's gaze position or gaze point with respect to a plurality of images displayed on a display panel is specified, and the specified operation pattern and a determination registered in advance A technique for authenticating a user based on the degree of coincidence with a pattern is disclosed.
  • Patent Document 1 has low authentication safety.
  • the number of images that can be displayed on the display panel is restricted, so the number of determination patterns that can be registered is restricted.
  • the determination pattern may be specified by a third party, for example, when the movement of the user's line of sight is seen by a third party.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of realizing highly secure authentication using line-of-sight movement.
  • an information processing apparatus comprising: a line-of-sight movement specifying unit that performs a user authentication unit that authenticates the user based on the specified line-of-sight movement.
  • the movement of the user's line of sight relative to the user's body based on the image of the user's eyes and the image of the user's body located in the direction of the user's line of sight captured by the imaging unit.
  • An information processing method includes identifying the user and authenticating the user based on the identified movement of the line of sight.
  • the computer is configured to capture the user's body with respect to the user's body based on the image of the user's eye captured by the imaging unit and the image of the user's body positioned in the user's line of sight.
  • a program is provided for functioning as a line-of-sight movement specifying unit that specifies movement of a line of sight and a user authentication unit that authenticates the user based on the movement of the specified line of sight.
  • FIG. 1 is an external view of an information processing apparatus 10-1 according to a first embodiment of the present disclosure. It is a functional block diagram showing an example of composition of information processor 10-1 by the embodiment. It is explanatory drawing which showed the example of the image of the user's eyeball by the embodiment. It is explanatory drawing which showed the example of the image of the user's right hand by the embodiment. It is explanatory drawing which showed the example of the eyes
  • FIG. 3 is an explanatory diagram illustrating a hardware configuration common to the information processing apparatus 10-1, the information processing apparatus 10-2, and the information processing apparatus 30.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of configurations having substantially the same functional configuration are distinguished as necessary, such as an eyeball image 20a and an eyeball image 20b.
  • only the same reference numerals are given.
  • the eyeball image 20a and the eyeball image 20b they are simply referred to as the eyeball image 20.
  • FIG. 1 is an explanatory diagram showing the appearance of the information processing apparatus 10-1.
  • the information processing apparatus 10-1 is, for example, a glasses-type apparatus that can be used by being worn on the head of a user.
  • the information processing apparatus 10-1 includes a first imaging unit 120, a second imaging unit 122, and a display unit 124 that displays a display screen.
  • the first imaging unit 120 is an imaging unit directed to the inside of the information processing apparatus 10-1.
  • the first imaging unit 120 can capture an image of one eyeball of the user as, for example, a moving image in a state where the user wears the information processing apparatus 10-1.
  • the second imaging unit 122 is an imaging unit that is directed to the outside of the information processing apparatus 10-1.
  • the second imaging unit 122 can capture an image of a scene in front of the user, for example, as a moving image.
  • the display unit 124 is configured as a see-through display, for example. As a result, the user can see the scene in front of the user through the display while viewing the display screen displayed on the display unit 124 in a state where the information processing apparatus 10-1 is worn on the head. is there.
  • FIG. 1 illustrates an example in which the first imaging unit 120, the second imaging unit 122, and the display unit 124 are provided in the right lens in FIG. 1, but the present invention is not limited to this example, and the left lens May be provided.
  • the information processing apparatus 10-1 according to the first embodiment has been created by focusing on the above circumstances.
  • the information processing apparatus 10-1 according to the first embodiment can achieve highly secure authentication by using a line-of-sight pattern with respect to the user's body.
  • FIG. 2 is a functional block diagram showing the configuration of the information processing apparatus 10-1.
  • the information processing apparatus 10-1 includes a control unit 100-1, a first imaging unit 120, a second imaging unit 122, a display unit 124, a communication unit 126, and a storage unit 128.
  • control unit 100-1 uses hardware such as a CPU (Central Processing Unit) 150 and a RAM (Random Access Memory) 154, which will be described later, built in the information processing apparatus 10-1. Control the overall operation. Further, as illustrated in FIG. 2, the control unit 100-1 includes a line-of-sight detection unit 102, a line-of-sight movement specifying unit 104, a line-of-sight pattern comparison unit 106, a user authentication unit 108, and a display control unit 110.
  • the line-of-sight detection unit 102 detects the user's line-of-sight direction based on the image of the user's eyeball imaged by the first imaging unit 120. For example, the line-of-sight detection unit 102 first specifies the position of the black eye of the eyeball included in the image of the user's eyeball imaged by the first imaging unit 120, and then determines the direction of the user's line of sight based on the specified position. To detect. More specifically, the line-of-sight detection unit 102 performs pattern matching between eyeball image learning data for each line-of-sight direction stored in the storage unit 128 and the eyeball image captured by the first imaging unit 120, for example. By doing so, the user's line-of-sight direction is specified.
  • FIG. 3 is an explanatory diagram illustrating an example of an eyeball image (eyeball image 20) captured by the first imaging unit 120.
  • the line-of-sight detection unit 102 identifies the user's line-of-sight direction in the eyeball image 20a as “left” based on the eyeball image 20a and the learning data illustrated in FIG.
  • the line-of-sight detection unit 102 identifies the user's line-of-sight direction in the eyeball image 20b illustrated in FIG.
  • the line-of-sight movement specifying unit 104 moves the user's line of sight relative to the user's body based on the user's line-of-sight direction detected by the line-of-sight detection unit 102 and the user's body image captured by the second imaging unit 122. Identify. For example, the line-of-sight movement identification unit 104 firstly intersects the half-line extending in the user's line-of-sight direction detected by the line-of-sight detection unit 102 from the position of the user's eyes (hereinafter referred to as the visual position). The part which the user is looking at is specified. Then, the line-of-sight movement specifying unit 104 specifies the user's line-of-sight movement with respect to the specified part.
  • the user's line-of-sight movement includes, for example, gaze at the user's body part or line-of-sight trace.
  • the line-of-sight trace is a locus drawn by the user, and has various shapes such as a straight line, a curve, or a circle.
  • the line-of-sight movement specifying unit 104 specifies that the user is gazing at the corresponding position.
  • the line-of-sight movement specifying unit 104 traces the corresponding part from the starting point. Identify that.
  • FIG. 4 is an explanatory diagram showing an example (right hand image 22) of the user's right hand image captured by the second imaging unit 122.
  • FIG. 4 it is assumed that the user is gazing at the tip 220a of the little finger.
  • the line-of-sight movement specifying unit 104 specifies that the part viewed by the user is the tip 220a of the little finger by calculating the visual position based on the line-of-sight direction of the user detected by the line-of-sight detection unit 102.
  • the line-of-sight movement specifying unit 104 specifies that the user is gazing at the tip 220a of the little finger.
  • FIG. 5 is an explanatory diagram showing a series of line-of-sight movements performed by the user in the posture shown in FIG. Specifically, in FIG. 5, as indicated by the dashed arrow, the user first gazes at the tip of the little finger 220 a, then traces the life line of the palm with the line of sight, and then starts from the tip of the middle finger. This shows an example of tracing up to the line of sight.
  • the line-of-sight movement specifying unit 104 specifies that the user is tracing the lifeline. Further, if it is detected that the line-of-sight direction is moved discontinuously from the upper end of the lifeline to the tip of the middle finger and the viewing position is continuously moved within a predetermined time from the point after the movement, the middle finger Specify that the user is tracing for.
  • the line-of-sight movement specifying unit 104 specifies individual line-of-sight movements in association with the order of line-of-sight movements when a plurality of line-of-sight movements are performed by the user. For example, in the example illustrated in FIG. 5, the line-of-sight movement specifying unit 104 specifies the gaze of the tip 220a of the little finger as the first line-of-sight movement, and specifies the trace from the lower end to the upper end of the lifeline as the second line-of-sight movement. Then, the trace from the tip to the root of the middle finger is specified as the third eye movement.
  • the line-of-sight movement specifying unit 104 can also specify the user's line-of-sight movement with respect to the body in conjunction with a change in the posture of the user's body.
  • the line-of-sight movement specifying unit 104 specifies the user's line-of-sight movement with respect to the changed posture every time the user's body posture changes.
  • the posture change may be a gesture, for example.
  • FIG. 6 is an explanatory diagram showing an example (gesture image 24) of the gesture image of the right hand of the user imaged by the second imaging unit 122.
  • FIG. 6 shows an example in which the gesture image 24a, the gesture image 24b, and the gesture image 24c are captured in that order, that is, the user changes the shape of the right hand in the order of goo, choki, and par.
  • the line-of-sight movement specifying unit 104 first specifies that the shape of the right hand is goo based on the gesture image 24a. Then, the line-of-sight movement specifying unit 104 specifies that the user is gazing at the tip 240a of the thumb when the shape of the right hand is goo.
  • the line-of-sight movement specifying unit 104 specifies that the shape of the right hand has been changed from goo to choco based on the gesture image 24b. Then, the line-of-sight movement specifying unit 104 specifies that the user is gazing at the tip 240b of the index finger when the shape of the right hand is stiff. Similarly, the line-of-sight movement specifying unit 104 specifies that the shape of the right hand has changed from choki to par based on the gesture image 24c, and the user moves the tip of the little finger 240c when the shape of the right hand is par. Identify that you are watching.
  • individual line-of-sight movements combined with user gestures can be specified.
  • the line-of-sight pattern comparing unit 106 compares the line-of-sight pattern registered in the user information DB 130 in association with the user and the line-of-sight pattern based on the movement of the line of sight of the user specified by the line-of-sight movement specifying unit 104. More specifically, the line-of-sight pattern comparing unit 106 first identifies, as the line-of-sight pattern, an array of line-of-sight movements for each part of the user's body identified by the line-of-sight movement identifying unit 104 for each line-of-sight movement order. Then, the line-of-sight pattern comparison unit 106 compares the identified line-of-sight pattern with the line-of-sight pattern registered in the user information DB 130 to determine the degree of coincidence.
  • the line-of-sight pattern comparison unit 106 includes three line-of-sight movement arrangements, that is, gaze at the tip of the little finger, trace from the bottom end to the top end of the lifeline, and trace from the tip to the root of the middle finger. Is specified as the user's line-of-sight pattern. Then, the line-of-sight pattern comparison unit 106 associates each user with the line-of-sight movement registered in the user information DB 130 and the line-of-sight movement included in the line-of-sight pattern identified by the line-of-sight movement identification unit 104. Are compared for each movement order of the line of sight, thereby determining the degree of coincidence of the line-of-sight pattern.
  • the user information DB 130 is a database in which line-of-sight patterns are recorded in association with users.
  • a configuration example of the user information DB 130 will be described with reference to FIG.
  • a user ID 1300, a target part / posture 1302, and a line-of-sight pattern 1304 are associated with each other.
  • the line-of-sight pattern 1304 includes line-of-sight movements 1306 in each order, such as a first line-of-sight movement 1306a and a second line-of-sight movement 1306b.
  • a user ID issued in advance for each user is recorded.
  • the part and the posture of the part in which the line-of-sight pattern is registered in association with the user of the corresponding user ID are recorded.
  • the line-of-sight pattern 1304 a line-of-sight pattern registered in association with the user of the corresponding user ID and the corresponding part is recorded.
  • the contents of each order of line-of-sight motion included in the registered line-of-sight patterns are recorded.
  • the first record shown in FIG. 7 shows a registration example of the line-of-sight pattern for the right hand in a state where the right hand is opened for the user whose user ID is “0001”.
  • the first line-of-sight movement included in this line-of-sight pattern is “gazing at the tip of the little finger”
  • the second line-of-sight movement is “trace from the bottom to the top of the life line”
  • the third line-of-sight movement Indicates “trace from the tip of the middle finger to the root”.
  • the user authentication unit 108 authenticates the user based on the comparison result by the line-of-sight pattern comparison unit 106. More specifically, the user authentication unit 108 determines that the user is a valid user when the degree of coincidence determined by the line-of-sight pattern comparison unit 106 is equal to or greater than a predetermined threshold, and the determined match When the degree is less than a predetermined threshold, it is determined that the user is not a valid user.
  • the user authentication unit 108 can transmit the result of authentication to another device to the communication unit 126 described later.
  • the display control unit 110 sequentially displays a display indicating the movement of the identified line of sight on the display unit 124 described later each time the movement of the line of sight is identified by the line-of-sight movement identification unit 104. For example, in the example illustrated in FIG. 5, the display control unit 110 displays a display indicating the gaze position of the little finger when the gaze movement specifying unit 104 confirms that the user is gazing at the tip 220 a of the little finger. The image is superimposed on the display unit 124 at the tip 220a. Similarly, the display control unit 110 shows the line of the newly confirmed part (for example, in the trace 220b) every time the visual line movement specifying unit 104 confirms that the user is tracing from the lower end of the life line. As shown in FIG.
  • the user can move the line of sight while sequentially confirming the line-of-sight movement recognized by the information processing apparatus 10-1 at the time of authentication. For this reason, the user can perform the line-of-sight movement with respect to the body more easily.
  • the first imaging unit 120 is an example of a first imaging unit in the present disclosure.
  • the first imaging unit 120 captures an image of the user's eyeball.
  • the second imaging unit 122 is an example of a second imaging unit in the present disclosure.
  • the second imaging unit 122 captures an image of the user's body located in the user's line-of-sight direction.
  • the display unit 124 displays various display screens under the control of the display control unit 110.
  • the communication unit 126 transmits and receives information to and from another device (not shown) that can communicate with the information processing device 10-1 by wireless communication, for example.
  • the communication unit 126 receives the user ID of the user wearing the information processing apparatus 10-1 from another apparatus.
  • the storage unit 128 can store, for example, various data and software such as the user information DB 130 and the user ID.
  • the configuration of the information processing apparatus 10-1 according to the first embodiment is not limited to the configuration described above.
  • the user information DB 130 may be stored in another device that can communicate with the information processing device 10-1.
  • the information processing apparatus 10-1 may further include an input unit for the user to input various information such as a user ID to the information processing apparatus 10-1.
  • the input unit may be capable of receiving, for example, an input based on the line of sight, that is, an input based on the line-of-sight direction detected by the line-of-sight detection unit 102.
  • FIG. 8 is an image of the left arm of the user's left arm and left hand (left arm image 26) captured by the second imaging unit 122.
  • FIG. 9 is an explanatory diagram showing a series of line-of-sight movements performed by the user in the posture shown in FIG. Specifically, in FIG. 9, as indicated by the dashed arrow, the user first gazes at the left arm elbow 262a, then gazes at the second joint 262b of the index finger, and is included in the forearm. The example which stared at the mole 262c is shown.
  • the line-of-sight movement identification unit 104 gazes at the elbow 262a of the left arm based on the user's line-of-sight direction detected by the line-of-sight detection unit 102 and the user's body image captured by the second imaging unit 122. Is identified as the first eye movement.
  • the line-of-sight movement is performed.
  • the specifying unit 104 specifies the gaze of the second joint 262b of the index finger as the second line-of-sight movement. Furthermore, if it is detected that the line-of-sight direction is discontinuously moved from the second joint 262b of the index finger to the mole 262c of the forearm and the user has been looking at the place after the movement for a predetermined time or more, the line-of-sight movement is performed.
  • the identifying unit 104 identifies the gaze of the forearm mole 262c as the third line-of-sight movement.
  • the line-of-sight pattern comparison unit 106 identifies the sequence of the line-of-sight movements identified by the line-of-sight movement identification unit 104 as the line-of-sight pattern of the user. Then, the line-of-sight pattern comparison unit 106 associates each line-of-sight movement included in the line-of-sight pattern registered in the user information DB 130 in association with the user and each line-of-sight movement included in the specified line-of-sight pattern for each line-of-sight movement order. The degree of coincidence of the line-of-sight pattern is determined by comparing each.
  • the user authentication unit 108 determines that the user is a valid user when the degree of coincidence determined by the line-of-sight pattern comparison unit 106 is equal to or greater than a predetermined threshold. Further, the user authentication unit 108 determines that the user is not a valid user when the determined degree of matching is less than a predetermined threshold.
  • FIG. 10 is a flowchart showing a part of the operation according to the first embodiment.
  • the communication unit 126 of the information processing apparatus 10-1 receives a user ID from another apparatus (S101).
  • the control unit 100-1 may extract the user ID from the storage unit 128.
  • the line-of-sight movement specifying unit 104 extracts the line-of-sight pattern registered in the user information DB 130 in association with the user ID acquired in S101 from the user information DB 130 (S103).
  • the line-of-sight movement specifying unit 104 sets “1” to the variable i indicating the order of the line-of-sight movement (S105). Then, the line-of-sight movement specifying unit 104 sets the number of line-of-sight movements included in the line-of-sight pattern extracted in S103 as a constant N indicating the total number of line-of-sight movements (S107).
  • the line-of-sight movement identifying unit 104 determines whether or not the value of i is N or less (S109). When i is N or less (S109: Yes), the line-of-sight movement identifying unit 104 determines whether or not a change in the user's line-of-sight direction is detected by the line-of-sight detection unit 102 (S111). When a change in the user's line-of-sight direction has not been detected (S111: No), the line-of-sight movement identifying unit 104 repeats the operation of S111.
  • the line-of-sight movement specifying unit 104 specifies the body part the user is looking at based on the detected line-of-sight direction after the movement. (S113).
  • the line-of-sight movement specifying unit 104 specifies the user's line-of-sight movement with respect to the body part specified in S113 (S115).
  • the line-of-sight movement identification unit 104 records the line-of-sight movement identified in S115 in the storage unit 128 as the i-th line-of-sight movement (S117).
  • the line-of-sight movement identifying unit 104 adds “1” to i (S119). Thereafter, the line-of-sight movement identifying unit 104 repeats the operation of S109 again.
  • the line-of-sight pattern comparison unit 106 identifies the sequence of line-of-sight movements recorded in the storage unit 128 in step S117 as the line-of-sight pattern (S121).
  • the line-of-sight pattern comparison unit 106 compares the line-of-sight pattern identified in S121 with the line-of-sight pattern extracted in S103, and determines the degree of coincidence (S123). If the determined degree of coincidence is equal to or greater than the predetermined threshold (S123: Yes), the user authentication unit 108 determines that the user is a valid user (S125). On the other hand, if the determined degree of matching is less than the predetermined threshold (S123: No), the user authentication unit 108 determines that the user is not a valid user (S127).
  • the information processing apparatus 10-1 includes the image of the eyeball of the user captured by the first imaging unit 120, The movement of the user's line of sight relative to the user's body is identified based on the image of the user's body located in the user's line of sight imaged by the second imaging unit 122, and the movement of the identified line of sight is performed. Authenticate users based on.
  • the information processing apparatus 10-1 performs highly secure authentication using sight line movement. Can be realized. For example, even if a third party steals a user's line of sight during user authentication, it is difficult for the third party to completely specify the line-of-sight pattern. Accordingly, since the line-of-sight pattern is not easily stolen by another person, it is possible to perform highly secure and robust user authentication.
  • the user can freely select a target part of the line-of-sight motion from a very large number of body parts. Also, the user can arbitrarily change the line-of-sight pattern as desired.
  • Second Embodiment >> The first embodiment has been described above. Next, a second embodiment will be described. First, the background that led to the creation of the second embodiment will be described.
  • the physical characteristics such as the length of arms and fingers, or the position and shape of moles, wrinkles, and blood vessel patterns are unique to individuals. For this reason, for the user himself / herself, physical features are easily identifiable or difficult to forget, but for others it is difficult to identify and memorize.
  • the line-of-sight pattern is third.
  • the risk identified by the person is very small.
  • the gaze pattern is more difficult to be stolen by others.
  • FIG. 12 is a functional block diagram showing the configuration of the information processing apparatus 10-2 according to the second embodiment.
  • the information processing apparatus 10-2 includes a control unit 100-2 instead of the control unit 100-1 as compared with the information processing apparatus 10-1 according to the first embodiment.
  • description of functions that are the same as those in the first embodiment will be omitted.
  • control unit 100-2 The control unit 100-2 further includes a physical feature detection unit 112, as compared with the control unit 100-1.
  • the physical feature detection unit 112 detects a physical feature related to a part of the user's body based on the image of the user's body located in the user's line of sight imaged by the second imaging unit 122.
  • the physical feature detection unit 112 first specifies the distance from the position of the user's eyes to the body part that the user is looking at based on the gaze direction detected by the gaze detection unit 102. More specifically, the physical feature detection unit 112 is viewed by the user based on, for example, a measurement result by a distance sensor (not shown) included in the information processing apparatus 10-2 or a captured image by the second imaging unit 120. Identify the distance to the part.
  • the physical feature detection unit 112 may The measured distance (fixed distance) is specified as the distance to the part the user is viewing.
  • the physical feature detection unit 112 determines the relative length of the part. , Detect the relative position. More specifically, first, the physical feature detection unit 112 starts from the provisional length of the part or a specific location based on the image of the part of the user's body imaged by the second imaging unit 122. The temporary position of the other place in the said part is calculated. Then, the physical feature detection unit 112 calculates the temporary value based on the ratio between the distance to the identified body part and the distance from the position of the user's eyes to the body part when the line-of-sight pattern is registered. The relative length of the part and the relative position of the other place are calculated by normalizing the length and the temporary position.
  • the physical feature detection unit 112 detects a shape, a relative length, or a relative position starting from a specific place, such as a mole, a heel, or a blood vessel pattern included in the part.
  • a specific place such as a mole, a heel, or a blood vessel pattern included in the part.
  • the specific location may be determined, for example, as a location that the user first viewed at the site.
  • the physical feature detection unit 112 first specifies the distance from the user's eye position to the right hand. Then, based on the right hand image 22 and the specified distance, the physical feature detection unit 112 detects features related to the palm line of the right hand and each finger of the right hand. More specifically, the physical feature detection unit 112 detects, for example, the shape, relative length, or relative position of each palm line, such as emotion lines, brain lines, and life lines. To do. The physical feature detection unit 112 detects the relative length of each finger and the relative position of each finger starting from a specific location.
  • the line-of-sight movement specifying unit 104 is detected by the user's line-of-sight direction detected by the line-of-sight detection unit 102, the user's body image captured by the second imaging unit 122, and the physical feature detection unit 112.
  • the movement of the user's line of sight relative to the user's body is specified based on the determined physical characteristics.
  • the line-of-sight movement specifying unit 104 is configured to display a line (that is, a lifeline) traced by the user with a line of sight on the palm based on the characteristics regarding each palm line detected by the physical feature detection unit 112.
  • Information including a relative position, a relative length, or a shape is specified as the second eye movement.
  • the line-of-sight movement specifying unit 104 is based on the feature about the middle finger detected by the physical feature detection unit 112, and the relative position of the line traced by the user with the line of sight (that is, from the tip of the middle finger to the base) on the middle finger, And information including the relative length is specified as the third eye movement.
  • the line-of-sight movement specifying unit 104 starts from a specific place for each shape of the right hand based on the physical feature of the right hand detected by the physical feature detection unit 112.
  • the information including the relative position of the place 240 at which the user gazes is specified as the eye movement of each order.
  • the specific place may be the gaze position in the first line-of-sight movement (that is, the tip 240a of the thumb when the shape of the right hand is goo).
  • the line-of-sight movement specifying unit 104 specifies, for example, the user's gaze position when the shape of the right hand is stiff as a relative position starting from the user's gaze position when the shape of the right hand is goo. It will be.
  • the physical feature detection unit 112 starts from the position of the user's eyes to the left arm or the left hand (the user is viewing) based on the gaze direction detected by the gaze detection unit 102. Identify the distance.
  • the physical feature detector 112 detects a physical feature related to the left arm or the left hand based on the left arm image 26 shown in FIG. 8 and the identified distance to the left arm or the left hand. For example, the physical feature detection unit 112 specifies the position of a mole included in the forearm.
  • the line-of-sight movement identification unit 104 is a part of the user's first gaze based on the user's line-of-sight direction detected by the line-of-sight detection unit 102 and the physical feature detected by the physical feature detection unit 112.
  • the relative position of the left arm elbow 262a starting from a specific location is specified, and information including the specified position is specified as the first eye movement.
  • the line-of-sight movement specifying unit 104 detects that the line-of-sight direction is discontinuously moved from the elbow 262a of the left arm to the second joint 262b of the index finger, and that the user has been looking at the place after the movement for a predetermined time or more.
  • the line-of-sight movement specifying unit 104 specifies the relative position of the part that the user is currently viewing (that is, the second joint 262b of the index finger) starting from a specific place, and specifies The information including the position is specified as the second eye movement.
  • the line-of-sight movement specifying unit 104 for example, the relative distance to the second joint 262b of the index finger starting from the gaze position (left arm elbow 262a) in the first line-of-sight movement, and the index finger starting from the mole position
  • the relative position of the second joint 262b of the index finger may be specified based on the relative distance to the second joint 262b.
  • the line-of-sight movement is performed.
  • the identifying unit 104 identifies information including the relative position of the forearm mole 262c as the third eye movement.
  • the line-of-sight pattern comparison unit 106 identifies the sequence of the line-of-sight movements identified by the line-of-sight movement identification unit 104 as the line-of-sight pattern of the user. Then, the line-of-sight pattern comparison unit 106 associates each line-of-sight movement included in the line-of-sight pattern registered in the user information DB 130 in association with the user and each line-of-sight movement included in the specified line-of-sight pattern for each line-of-sight movement order. The degree of coincidence of the line-of-sight pattern is determined by comparing each.
  • the user authentication unit 108 determines that the user is a valid user when the degree of coincidence determined by the line-of-sight pattern comparison unit 106 is equal to or greater than a predetermined threshold. Further, the user authentication unit 108 determines that the user is not a valid user when the determined degree of matching is less than a predetermined threshold.
  • the physical feature detection unit 112 is viewed by the user based on the visual line direction after movement detected by the visual line detection unit 102 and the body image of the user captured by the second imaging unit 122. Detect physical features related to the body part that is present.
  • the line-of-sight movement specifying unit 104 performs the user's line-of-sight movement with respect to the body part specified in S113 based on the user's line-of-sight direction detected by the line-of-sight detection unit 102 and the physical features detected in S113. Is identified.
  • the information processing apparatus 10-2 captures the body of the user located in the user's line-of-sight direction captured by the second imaging unit 122. Based on the image, a physical feature related to a part of the user's body is detected, and based on the user's eye image captured by the first imaging unit 120 and the detected physical feature, the user's line of sight with respect to the user's body is detected. The movement is identified and the user is authenticated based on the identified line of sight movement.
  • the information processing apparatus 10-2 can realize authentication with higher safety by using a line-of-sight pattern using physical features. For example, even if a third party steals the movement of the user's line of sight during user authentication, the physical characteristics are individual-specific and difficult for the third party to identify. It is extremely difficult to completely identify the pattern. Accordingly, the line-of-sight pattern using physical features is more difficult to be stolen by another person, so that the safety is further enhanced and robust user authentication is possible.
  • the authentication method according to the second embodiment can easily change the line-of-sight pattern. Therefore, even if the line-of-sight pattern leaks, there is an advantage that damage can be suppressed to a small level.
  • the information processing apparatus 10-1 according to the first embodiment and the information processing apparatus 10-2 according to the second embodiment have two types of image capturing units, that is, the first image capturing the eyeball image of the user. It is assumed that the imaging unit 120 and the second imaging unit 122 that captures an image of the user's body are included.
  • the third embodiment it is possible to identify the movement of the user's line of sight relative to the body and authenticate the user with an apparatus having only one type of imaging unit.
  • FIG. 13 is an explanatory diagram showing the appearance of the information processing apparatus 30.
  • the information processing apparatus 30 includes an imaging unit 320 that can image the eyeball of the user 2 and a part of the body of the user 2 such as an arm, for example.
  • This information processing apparatus 30 may be installed, for example, at the entrance of a house.
  • the information processing apparatus 30 may be configured as a part of an authentication system that performs user authentication for the purpose of unlocking the front door.
  • FIG. 14 is a functional block diagram showing the configuration of the information processing apparatus 30 according to the third embodiment.
  • the information processing apparatus 30 includes a control unit 300, an imaging unit 320, an output unit 322, a communication unit 324, and a storage unit 326.
  • description of functions overlapping with those of the second embodiment is omitted.
  • the control unit 300 generally controls the operation of the information processing apparatus 30. As illustrated in FIG. 14, the control unit 300 includes a line-of-sight detection unit 302, a line-of-sight movement specifying unit 304, a line-of-sight pattern comparison unit 306, a user authentication unit 308, an output control unit 310, and a physical feature detection unit 312.
  • the line-of-sight detection unit 302 detects the user's line-of-sight direction based on the image of the user's eyeball imaged by the imaging unit 320 described later.
  • the specific functions are substantially the same as those of the line-of-sight detection unit 102 according to the second embodiment.
  • the physical feature detection unit 312 detects a physical feature related to a part of the user's body based on the image of the user's body located in the user's line of sight imaged by the imaging unit 320.
  • the specific function is substantially the same as that of the physical feature detection unit 112 according to the second embodiment.
  • the line-of-sight movement specifying unit 304 is based on the user's line-of-sight direction detected by the line-of-sight detection unit 102, the user's body image captured by the imaging unit 320, and the physical feature detected by the physical feature detection unit 312. The movement of the user's line of sight relative to the user's body is specified.
  • the specific functions are substantially the same as those of the line-of-sight movement specifying unit 104 according to the second embodiment.
  • the output control unit 310 causes the output unit 322 to be described later to output the authentication result by the user authentication unit 308. For example, the output control unit 310 causes the output unit 322 to output a sound notifying the authentication result.
  • Imaging unit 320 The imaging unit 320, for example, simultaneously captures an image of the user's eyeball and an image of the user's body located in the user's line-of-sight direction.
  • the output unit 322 outputs sound or video according to the control of the output control unit 310.
  • the line-of-sight pattern comparison unit 306, the user authentication unit 308, the communication unit 324, and the storage unit 326 are respectively the line-of-sight pattern comparison unit 106, the user authentication unit 108, the communication unit 126, and the storage unit 128 according to the second embodiment. It is the same.
  • the configuration of the information processing apparatus 30 according to the third embodiment has been described above, but is not limited to the configuration described above.
  • the information processing apparatus 30 may not include one or more of the output control unit 310, the output unit 322, or the communication unit 324.
  • the information processing apparatus 30 captures an image of the user's body located in the user's line-of-sight direction captured by the imaging unit 320. Based on this, a physical feature relating to a part of the user's body is detected, and an image of the user's eyeball imaged by the imaging unit 320 and a movement of the user's line of sight relative to the user's body based on the detected physical feature And authenticating the user based on the identified line of sight movement. For this reason, since the function substantially the same as 2nd Embodiment is implement
  • the information processing apparatus 10-1 (or information processing apparatus 10-2, information processing apparatus 30) includes a CPU 150, a ROM (Read Only Memory) 152, a RAM 154, an internal bus 156, an interface 158, An output device 160, a camera 162, a storage device 164, and a communication device 166 are provided.
  • the CPU 150 functions as an arithmetic processing device and a control device.
  • the CPU 150 realizes the function of the control unit 100-1 (or the control unit 100-2 or the control unit 300).
  • the CPU 150 is configured by a processor such as a microprocessor.
  • the ROM 152 stores programs used by the CPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the CPU 150, for example.
  • the internal bus 156 is composed of a CPU bus and the like.
  • the internal bus 156 connects the CPU 150, the ROM 152, and the RAM 154 to each other.
  • the interface 158 connects the output device 160, the camera 162, the storage device 164, and the communication device 166 with the internal bus 156.
  • the storage device 164 exchanges data with the CPU 150 via the interface 158 and the internal bus 156.
  • the output device 160 includes a display device such as a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device, and a lamp. This display device displays an image generated by the CPU 150 and the like.
  • LCD liquid crystal display
  • OLED organic light emitting diode
  • the output device 160 includes an audio output device such as a speaker. This audio output device converts audio data or the like into sound and outputs the sound.
  • the output device 160 functions as the display unit 124 or the output unit 322.
  • the camera 162 has a function of imaging an external image through a lens on an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and taking a still image or a moving image.
  • the camera 162 functions as the first imaging unit 120, the second imaging unit 122, or the imaging unit 320.
  • the storage device 164 is a data storage device that functions as the storage unit 128 or the storage unit 326.
  • the storage device 164 includes, for example, a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, or a deletion device that deletes data recorded on the storage medium.
  • the communication device 166 is a communication interface including a communication device for connecting to a communication network such as a public network or the Internet.
  • the communication device 166 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication.
  • the communication device 166 functions as the communication unit 126 or the communication unit 324.
  • the information processing apparatus 30 recognizes the line-of-sight pattern based on the movement of the line of sight of the user specified by the line-of-sight movement specifying unit 304 and each user belonging to a specific group registered in the user information DB 130. The line-of-sight patterns of (or all users) are respectively compared. Then, the information processing apparatus 30 can identify the user with the highest degree of matching determined as the target person.
  • the information processing apparatus 30 is the person to be imaged in the family even if the user ID is not input. It becomes possible to specify.
  • the hardware such as the CPU 150, the ROM 152, and the RAM 154 has functions equivalent to those of the information processing apparatus 10-1, the information processing apparatus 10-2, or the information processing apparatus 30 described above. It is also possible to provide a computer program for exhibiting it. A recording medium on which the computer program is recorded is also provided.
  • a line-of-sight movement identifying unit that identifies movement of the user's line of sight relative to the user's body based on an image of the user's eyes and an image of the user's body located in the direction of the user's line of sight captured by the imaging unit; , A user authentication unit that authenticates the user based on the movement of the identified line of sight;
  • An information processing apparatus comprising: (2) The information processing apparatus includes a line-of-sight pattern comparison unit that compares a line-of-sight pattern registered in a database in association with the user and a line-of-sight pattern specified by the line-of-sight movement specified by the line-of-sight movement specifying unit Further comprising The information processing apparatus according to (1), wherein the user authentication unit authenticates the user based on a comparison result by the line-of-sight pattern comparison unit.
  • the information processing apparatus further includes a physical feature detection unit that detects a physical feature related to a part of the user's body based on an image of the user's body, The line-of-sight movement specifying unit specifies the movement of the line of sight of the user with respect to the user's body based on the image of the user's eyes and the detected physical characteristics, according to (2) or (3).
  • Information processing device includes a physical feature detection unit that detects a physical feature related to a part of the user's body based on an image of the user's body.
  • the line-of-sight movement specifying unit specifies the movement of the line of sight of the user with respect to the user's body based on the image of the user's eyes and the detected physical characteristics, according to (2) or (3).
  • the information processing apparatus is a line-of-sight motion pattern for one or more parts of the user's body.
  • the line-of-sight pattern registered in the database is a line-of-sight movement pattern for each of one or more parts of the user's body associated with the order of movement of the line of sight. .
  • the line-of-sight pattern registered in the database is a line-of-sight movement pattern for each of the one or more parts of the user's body associated with the order of change in the posture of the user's body.
  • the information processing apparatus includes gaze on the body part of the user or a line-of-sight trace.
  • the information processing apparatus according to any one of (4) to (8), wherein the physical feature includes a position or shape of a mole, eyelid, or blood vessel pattern.
  • the information processing apparatus further includes a display control unit that sequentially displays on the display unit a display indicating the movement of the identified line of sight each time the movement of the line of sight is identified by the line-of-sight movement identifying unit.
  • the information processing apparatus according to any one of (9).
  • (11) The information processing apparatus according to (10), further including the display unit.
  • the imaging unit includes: a first imaging unit that captures an image of the user's eyes; and a second imaging unit that captures an image of the user's body located in the user's line-of-sight direction.
  • the information processing apparatus according to any one of (11) to (11).
  • (13) The information processing apparatus according to any one of (1) to (12), wherein the information processing apparatus is a glasses-type apparatus.
  • An information processing method comprising: (15) Computer A line-of-sight movement identifying unit that identifies movement of the user's line of sight relative to the user's body based on an image of the user's eyes and an image of the user's body located in the direction of the user's line of sight captured by the imaging unit; , A user authentication unit for authenticating the user based on the movement of the identified line of sight, Program to function as

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】視線の移動を用いた安全性の高い認証を実現することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。 【解決手段】撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部と、 を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来、ユーザの視線の変化の検出結果を用いてユーザを認証する技術が提案されている。例えば、特許文献１には、表示パネルに表示される複数の画像に対するユーザの注視位置や注視点の移動からなる動作パターンを特定し、そして、特定した動作パターンと、事前に登録されている判定パターンとの一致度に基づいてユーザを認証する技術が開示されている。
特開２０１４－９２９４０号公報
　しかしながら、特許文献１に記載の技術では、認証の安全性が低い。例えば、上記の技術では、表示パネルに表示可能な画像数が制約されるので、判定パターンの登録可能な数が制約される。このため、ユーザの認証時に、例えば第三者にユーザの視線の動きを盗み見されることにより、判定パターンが第三者に特定される恐れがある。
　そこで、本開示では、視線の移動を用いた安全性の高い認証を実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部と、を備える、情報処理装置が提供される。
　また、本開示によれば、撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定することと、特定された視線の移動に基づいて前記ユーザを認証することと、を備える、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部、として機能させるための、プログラムが提供される。
　以上説明したように本開示によれば、視線の移動を用いた安全性の高い認証を実現することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第１の実施形態による情報処理装置１０‐１の外観図である。 同実施形態による情報処理装置１０‐１の構成例を示した機能ブロック図である。 同実施形態によるユーザの眼球の画像の例を示した説明図である。 同実施形態によるユーザの右手の画像の例を示した説明図である。 同実施形態によるユーザの右手に対する視線動作の例を示した説明図である。 同実施形態によるジェスチャーと組み合わせた視線動作の例を示した説明図である。 同実施形態によるユーザ情報ＤＢ１３０の構成例を示した説明図である。 同実施形態の適用例によるユーザの身体の画像の例を示した説明図である。 同適用例によるユーザの身体に対する視線動作の例を示した説明図である。 同実施形態による動作の一部を示したフローチャートである。 同実施形態による動作の一部を示したフローチャートである。 本開示の第２の実施形態による情報処理装置１０‐２の構成例を示した機能ブロック図である。 本開示の第３の実施形態による情報処理装置３０の外観図である。 同実施形態による情報処理装置３０の構成例を示した機能ブロック図である。 情報処理装置１０‐１、情報処理装置１０‐２、および情報処理装置３０に共通するハードウェア構成を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて眼球画像２０ａおよび眼球画像２０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、眼球画像２０ａおよび眼球画像２０ｂを特に区別する必要が無い場合には、単に眼球画像２０と称する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　１．第１の実施形態
　２．第２の実施形態
　３．第３の実施形態
　４．ハードウェア構成
　５．変形例
＜＜１．第１の実施形態＞＞
　＜１－１．情報処理装置１０‐１の基本構成＞
　［１－１－１．基本構成］
　まず、第１の実施形態について説明する。最初に、第１の実施形態による情報処理装置１０‐１の基本構成について、図１を参照して説明する。
　図１は、情報処理装置１０‐１の外観を示した説明図である。図１に示したように、情報処理装置１０‐１は、例えば、ユーザが頭部に装着して利用可能な眼鏡型の装置である。また、情報処理装置１０‐１は、図１に示したように、第１撮像部１２０、第２撮像部１２２、および表示画面を表示する表示部１２４を有する。
　第１撮像部１２０は、情報処理装置１０‐１の内側に向けられた撮像部である。この第１撮像部１２０は、ユーザが情報処理装置１０‐１を装着した状態において、ユーザの片方の眼球の画像を例えば動画像として撮像することが可能である。また、第２撮像部１２２は、情報処理装置１０‐１の外側に向けられた撮像部である。この第２撮像部１２２は、ユーザの前方の光景の画像を例えば動画像として撮像することが可能である。
　また、表示部１２４は、例えばシースルーディスプレイとして構成される。これにより、ユーザは、情報処理装置１０‐１を頭部に装着した状態において、表示部１２４に表示される表示画面を視認しながら、ディスプレイを介してユーザの前方の光景を見ることが可能である。
　なお、図１では、第１撮像部１２０、第２撮像部１２２、および表示部１２４が、図１における右側のレンズに設けられる例を示しているが、かかる例に限定されず、左側のレンズに設けられてもよい。
　［１－１－２．課題の整理］
　以上、第１の実施形態による情報処理装置１０‐１の基本構成について説明した。ところで、従来、表示画面に表示された複数の画像に対するユーザの視線の変化の検出結果を用いてユーザを認証する技術が提案されている。しかしながら、公知の技術では、認証の安全性が低い。例えば、上記の技術では、表示画面に表示可能な画像数が制約されるので、判定パターンの登録可能な数が制約される。このため、ユーザの認証時に、例えば第三者にユーザの視線の動きを盗み見されることにより、判定パターンが第三者に特定される恐れがある。
　ところで、例えば手や足など、ユーザが見ることが可能なユーザの身体の部分は非常に多い。そこで、ユーザの身体に対する視線の移動のパターンを用いてユーザを認証することを想定すると、視線パターンの登録可能な数が非常に大きいので、仮に第三者にユーザの視線の動きを盗み見されたとしても、視線パターンが第三者に特定されるリスクが非常に小さい。
　そこで、上記事情を一着眼点にして、第１の実施形態による情報処理装置１０‐１を創作するに至った。第１の実施形態による情報処理装置１０‐１は、ユーザの身体に対する視線パターンを用いることにより、安全性の高い認証を実現することが可能である。
　＜１－２．構成＞
　次に、情報処理装置１０‐１の構成について詳細に説明する。図２は、情報処理装置１０‐１の構成を示した機能ブロック図である。図２に示したように、情報処理装置１０‐１は、制御部１００‐１、第１撮像部１２０、第２撮像部１２２、表示部１２４、通信部１２６、および記憶部１２８を有する。
　［１－２－１．制御部１００‐１］
　制御部１００‐１は、情報処理装置１０‐１に内蔵される、後述するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１５０、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１５４などのハードウェアを用いて、情報処理装置１０‐１の動作を全般的に制御する。また、図２に示したように、制御部１００‐１は、視線検出部１０２、視線移動特定部１０４、視線パターン比較部１０６、ユーザ認証部１０８、および、表示制御部１１０を有する。
　［１－２－２．視線検出部１０２］
　視線検出部１０２は、第１撮像部１２０により撮像されたユーザの眼球の画像に基づいて、ユーザの視線方向を検出する。例えば、視線検出部１０２は、まず、第１撮像部１２０により撮像されたユーザの眼球の画像に含まれる眼球の黒目の位置を特定し、そして、特定した位置に基づいて、ユーザの視線方向を検出する。より具体的には、視線検出部１０２は、例えば記憶部１２８に記憶されている、視線方向ごとの眼球の画像の学習データと、第１撮像部１２０により撮像された眼球の画像とをパターンマッチングすることにより、ユーザの視線方向を特定する。
　ここで、図３を参照して、上記の機能についてより詳細に説明する。図３は、第１撮像部１２０により撮像された眼球の画像の例（眼球画像２０）を示した説明図である。例えば、視線検出部１０２は、図３に示した眼球画像２０ａおよび学習データに基づいて、眼球画像２０ａにおけるユーザの視線方向を「左」と特定する。同様に、視線検出部１０２は、図３に示した眼球画像２０ｂにおけるユーザの視線方向を「右下」と特定する。
　［１－２－３．視線移動特定部１０４］
　（１－２－３－１．特定例１）
　視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、および、第２撮像部１２２により撮像されたユーザの身体の画像に基づいて、ユーザの身体に対するユーザの視線の移動を特定する。例えば、視線移動特定部１０４は、まず、ユーザの目の位置から、視線検出部１０２により検出されたユーザの視線方向へ伸ばした半直線とユーザの身体の部位との交点（以下、目視位置とも称する）を算出することにより、ユーザが見ている部位を特定する。そして、視線移動特定部１０４は、特定した部位に対するユーザの視線動作を特定する。
　ここで、ユーザの視線動作は、例えば、ユーザの身体の部位に対する注視または視線のトレースを含む。なお、視線のトレースとは、ユーザが視線で描く軌跡であり、例えば直線、曲線、または円などの様々な形状である。
　例えば、ユーザが所定の時間以上同じ位置を見ていることが検出された場合には、視線移動特定部１０４は、該当の位置をユーザが注視していると特定する。また、ユーザが見ている始点から所定の時間未満に目視位置が連続的に移動したことが検出された場合には、視線移動特定部１０４は、該当の部位に対してユーザが始点からトレースしていることを特定する。
　ここで、図４および図５を参照して、上記の機能についてより詳細に説明する。図４は、第２撮像部１２２により撮像されたユーザの右手の画像の例（右手画像２２）を示した説明図である。なお、図４では、ユーザが小指の先端２２０ａを注視していることを前提としている。
　例えば、視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向に基づいて目視位置を算出することにより、ユーザが見ている部位が小指の先端２２０ａであることを特定する。そして、ユーザが所定の時間以上同じ位置を見ていることが検出された場合には、視線移動特定部１０４は、小指の先端２２０ａをユーザが注視していると特定する。
　また、図５は、図４に示した姿勢において、ユーザによりなされた一連の視線動作を示した説明図である。具体的には、図５では、破線の矢印で示したように、ユーザが、まず、小指の先端２２０ａを注視し、次に、掌の生命線を視線でトレースし、そして、中指の先端から根元までを視線でトレースした例を示している。
　例えば、ユーザが小指の先端２２０ａから生命線の下端へ視線方向を不連続に移動させ、かつ、移動後の点から所定の時間未満に生命線に沿って目視位置を連続的に移動させたことが検出された場合には、視線移動特定部１０４は、ユーザが生命線をトレースしていることを特定する。さらに、生命線の上端から中指の先端へ視線方向を不連続に移動させ、かつ、移動後の点から所定の時間未満に目視位置を連続的に移動させたことが検出された場合には、中指に対してユーザがトレースしていることを特定する。
　（１－２－３－２．特定例２）
　また、視線移動特定部１０４は、ユーザにより複数の視線動作が行われた場合には、視線動作の順番と対応づけて、個々の視線動作を特定する。例えば、図５に示した例では、視線移動特定部１０４は、小指の先端２２０ａの注視を一番目の視線動作として特定し、生命線の下端から上端までのトレースを二番目の視線動作として特定し、そして、中指の先端から根元までのトレースを三番目の視線動作として特定する。
　（１－２－３－３．特定例３）
　なお、変形例として、視線移動特定部１０４は、ユーザの身体の姿勢の変化に連動した、身体に対するユーザの視線動作を特定することも可能である。例えば、視線移動特定部１０４は、ユーザの身体の姿勢が変化する度に、変化後の姿勢に対するユーザの視線動作を特定する。なお、姿勢の変化とは、例えばジェスチャーであってもよい。
　ここで、図６を参照して、上記の機能についてより詳細に説明する。図６は、第２撮像部１２２により撮像されたユーザの右手のジェスチャーの画像の例（ジェスチャー画像２４）を示した説明図である。なお、図６では、ジェスチャー画像２４ａ、ジェスチャー画像２４ｂ、ジェスチャー画像２４ｃの順番で撮像されたこと、つまり、ユーザが右手の形状をグー、チョキ、パーの順番で変化させた例を示している。
　例えば、視線移動特定部１０４は、まず、ジェスチャー画像２４ａに基づいて、右手の形状がグーであることを特定する。そして、視線移動特定部１０４は、右手の形状がグーであるときにユーザが親指の先端２４０ａを注視していることを特定する。
　また、視線移動特定部１０４は、ジェスチャー画像２４ｂに基づいて、右手の形状がグーからチョキに変化されたことを特定する。そして、視線移動特定部１０４は、右手の形状がチョキであるときにユーザが人差し指の先端２４０ｂを注視していることを特定する。同様に、視線移動特定部１０４は、ジェスチャー画像２４ｃに基づいて、右手の形状がチョキからパーに変化されたことを特定し、そして、右手の形状がパーであるときにユーザが小指の先端２４０ｃを注視していることを特定する。
　この特定例によれば、ユーザによるジェスチャーと組み合わせた個々の視線動作を特定することができる。
　［１－２－４．視線パターン比較部１０６］
　視線パターン比較部１０６は、ユーザと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンと、視線移動特定部１０４により特定されたユーザの視線の移動に基づいた視線パターンとを比較する。より具体的には、視線パターン比較部１０６は、まず、視線の移動順ごとの、視線移動特定部１０４により特定されたユーザの身体の部位の各々に対する視線動作の配列を視線パターンとして特定する。そして、視線パターン比較部１０６は、特定した視線パターンと、ユーザ情報ＤＢ１３０に登録されている視線パターンとを比較し、一致度を判定する。
　例えば、図５に示した例では、視線パターン比較部１０６は、３つの視線動作の配列、つまり、小指の先端の注視、生命線の下端から上端までのトレース、および中指の先端から根元までのトレースという配列をユーザの視線パターンとして特定する。そして、視線パターン比較部１０６は、当該ユーザと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンに含まれる各視線動作と、視線移動特定部１０４により特定された視線パターンに含まれる各視線動作とを視線の移動順ごとにそれぞれ比較することにより、視線パターンの一致度を判定する。
　（１－２－４－１．ユーザ情報ＤＢ１３０）
　ユーザ情報ＤＢ１３０は、ユーザに対応づけて視線パターンが記録されるデータベースである。ここで、図７を参照して、ユーザ情報ＤＢ１３０の構成例について説明する。
　図７に示したように、ユーザ情報ＤＢ１３０では、例えば、ユーザＩＤ１３００、対象部位・姿勢１３０２、および視線パターン１３０４が対応づけられる。また、視線パターン１３０４は、例えば１番目の視線動作１３０６ａ、２番目の視線動作１３０６ｂなど、各順番の視線動作１３０６を含む。
　ここで、ユーザＩＤ１３００には、各ユーザに対して予め発行されたユーザＩＤが記録される。また、対象部位・姿勢１３０２には、該当のユーザＩＤのユーザと対応づけて視線パターンが登録されている部位および部位の姿勢が記録される。また、視線パターン１３０４には、該当のユーザＩＤのユーザおよび該当の部位に対応づけて登録されている視線パターンが記録される。また、各順番の視線動作１３０６には、登録されている視線パターンに含まれる各順番の視線動作の内容が記録される。
　例えば、図７に示した１レコード目は、ユーザＩＤが「０００１」であるユーザに関する、右手を開いた状態における右手に対する視線パターンの登録例を示している。そして、この視線パターンに含まれる一番目の視線動作は「小指の先端の注視」であり、二番目の視線動作は「生命線の下端から上端までのトレース」であり、そして、三番目の視線動作は「中指の先端から根元までのトレース」であることを示している。
　［１－２－５．ユーザ認証部１０８］
　ユーザ認証部１０８は、視線パターン比較部１０６による比較の結果に基づいてユーザを認証する。より具体的には、ユーザ認証部１０８は、視線パターン比較部１０６により判定された一致度が所定の閾値以上である場合にはユーザが正当なユーザであると判定し、また、判定された一致度が所定の閾値未満である場合にはユーザが正当なユーザではないと判定する。
　また、ユーザ認証部１０８は、認証の結果を他の装置へ、後述する通信部１２６に送信させることも可能である。
　［１－２－６．表示制御部１１０］
　表示制御部１１０は、視線移動特定部１０４により視線の移動が特定される度に、特定された視線の移動を示す表示を、後述する表示部１２４に逐次表示させる。例えば、図５に示した例では、表示制御部１１０は、視線移動特定部１０４により小指の先端２２０ａをユーザが注視していることが確認された場合には、注視位置を示す表示を小指の先端２２０ａにおいて表示部１２４に重畳表示させる。同様に、表示制御部１１０は、視線移動特定部１０４により生命線の下端を始点としてユーザがトレースしていることが確認される度に、新たに確認された部分の線を（例えばトレース２２０ｂに示したように）表示部１２４に追加して重畳表示させる。
　この表示例によれば、ユーザは、認証時において、情報処理装置１０‐１により認識された視線動作を逐次確認しながら視線を移動させることができる。このため、ユーザは、身体に対する視線動作をより容易に行うことができる。
　［１－２－７．第１撮像部１２０］
　第１撮像部１２０は、本開示における第１の撮像部の一例である。第１撮像部１２０は、ユーザの眼球の画像を撮像する。
　［１－２－８．第２撮像部１２２］
　第２撮像部１２２は、本開示における第２の撮像部の一例である。第２撮像部１２２は、ユーザの視線方向に位置するユーザの身体の画像を撮像する。
　［１－２－９．表示部１２４］
　表示部１２４は、表示制御部１１０の制御に従って、各種の表示画面を表示する。
　［１－２－１０．通信部１２６］
　通信部１２６は、例えば無線通信により、情報処理装置１０‐１と通信可能な他の装置（図示省略）との間で情報の送受信を行う。例えば、通信部１２６は、情報処理装置１０‐１を装着するユーザのユーザＩＤを他の装置から受信する。
　［１－２－１１．記憶部１２８］
　記憶部１２８は、例えば、ユーザ情報ＤＢ１３０やユーザＩＤなどの各種のデータやソフトウェアを記憶することが可能である。
　なお、第１の実施形態による情報処理装置１０‐１の構成は、上述した構成に限定されない。例えば、ユーザ情報ＤＢ１３０は、記憶部１２８に記憶される代わりに、情報処理装置１０‐１と通信可能な他の装置に記憶されることも可能である。また、情報処理装置１０‐１は、ユーザが例えばユーザＩＤなどの各種の情報を情報処理装置１０‐１に対して入力するための入力部をさらに含んでもよい。なお、入力部は、例えば、視線による入力、つまり、視線検出部１０２により検出される視線方向に基づいた入力を受け付けることが可能であってもよい。
　＜１－３．適用例＞
　以上、第１の実施形態による構成について説明した。続いて、第１の実施形態の適用例について、図８および図９を参照して説明する。なお、本適用例では、左腕および左手に対する視線の移動によりユーザ認証を行う場面を前提とする。
　図８は、第２撮像部１２２により撮像された、ユーザの左腕の前腕および左手の画像（左腕画像２６）である。また、図９は、図８に示した姿勢において、ユーザによりなされた一連の視線動作を示した説明図である。具体的には、図９では、破線の矢印で示したように、ユーザが、まず、左腕のひじ２６２ａを注視し、次に、人差し指の第２関節２６２ｂを注視し、そして、前腕に含まれるホクロ２６２ｃを注視した例を示している。
　例えば、まず、視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、および、第２撮像部１２２により撮像されたユーザの身体の画像に基づいて、左腕のひじ２６２ａの注視を一番目の視線動作として特定する。
　そして、左腕のひじ２６２ａから人差し指の第２関節２６２ｂへ視線方向が不連続に移動され、かつ、移動後の場所をユーザが所定の時間以上見ていることが検出された場合には、視線移動特定部１０４は、人差し指の第２関節２６２ｂの注視を二番目の視線動作として特定する。さらに、人差し指の第２関節２６２ｂから前腕のホクロ２６２ｃへ視線方向が不連続に移動され、かつ、移動後の場所をユーザが所定の時間以上見ていることが検出された場合には、視線移動特定部１０４は、前腕のホクロ２６２ｃの注視を三番目の視線動作として特定する。
　そして、視線パターン比較部１０６は、視線移動特定部１０４により特定された各順番の視線動作の配列をユーザの視線パターンとして特定する。そして、視線パターン比較部１０６は、当該ユーザと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンに含まれる各視線動作と、特定した視線パターンに含まれる各視線動作とを視線の移動順ごとにそれぞれ比較することにより、視線パターンの一致度を判定する。
　そして、ユーザ認証部１０８は、視線パターン比較部１０６により判定された一致度が所定の閾値以上である場合にはユーザが正当なユーザであると判定する。また、ユーザ認証部１０８は、判定された一致度が所定の閾値未満である場合にはユーザが正当なユーザではないと判定する。
　＜１－４．動作＞
　以上、第１の実施形態の適用例について説明した。続いて、第１の実施形態による動作について、図１０～図１１を参照して説明する。
　図１０は、第１の実施形態による動作の一部を示したフローチャートである。図１０に示したように、まず、情報処理装置１０‐１の通信部１２６は、他の装置からユーザＩＤを受信する（Ｓ１０１）。なお、変形例として、記憶部１２８にユーザＩＤが予め記憶されている場合には、制御部１００‐１は、記憶部１２８からユーザＩＤを抽出してもよい。
　続いて、視線移動特定部１０４は、Ｓ１０１で取得されたユーザＩＤと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンをユーザ情報ＤＢ１３０から抽出する（Ｓ１０３）。
　続いて、視線移動特定部１０４は、視線動作の順番を示す変数ｉに「１」を設定する（Ｓ１０５）。そして、視線移動特定部１０４は、視線動作の総数を示す定数Ｎに、Ｓ１０３で抽出された視線パターンに含まれる視線動作の数を設定する（Ｓ１０７）。
　続いて、視線移動特定部１０４は、ｉの値がＮ以下であるか否かを判定する（Ｓ１０９）。ｉがＮ以下である場合には（Ｓ１０９：Ｙｅｓ）、視線移動特定部１０４は、視線検出部１０２によりユーザの視線方向の変化が検出されたか否かを判定する（Ｓ１１１）。ユーザの視線方向の変化が未検出である場合には（Ｓ１１１：Ｎｏ）、視線移動特定部１０４は、Ｓ１１１の動作を繰り返す。
　一方、ユーザの視線方向の変化が検出された場合には（Ｓ１１１：Ｙｅｓ）、視線移動特定部１０４は、検出された移動後の視線方向に基づいて、ユーザが見ている身体の部位を特定する（Ｓ１１３）。
　続いて、視線移動特定部１０４は、Ｓ１１３で特定した身体の部位に対するユーザの視線動作を特定する（Ｓ１１５）。
　続いて、視線移動特定部１０４は、Ｓ１１５で特定した視線動作をｉ番目の視線動作として記憶部１２８に記録する（Ｓ１１７）。
　続いて、視線移動特定部１０４は、ｉに「１」を加算する（Ｓ１１９）。その後、視線移動特定部１０４は、再びＳ１０９の動作を繰り返す。
　ここで、図１１を参照して、Ｓ１０９においてｉの値がＮより大きいと判定された場合（Ｓ１０９：Ｎｏ）の動作について説明する。
　図１１に示したように、視線パターン比較部１０６は、Ｓ１１７で記憶部１２８に記録された各順番の視線動作の配列を視線パターンとして特定する（Ｓ１２１）。
　続いて、視線パターン比較部１０６は、Ｓ１２１で特定された視線パターンと、Ｓ１０３で抽出された視線パターンとを比較し、一致度を判定する（Ｓ１２３）。判定された一致度が所定の閾値以上である場合には（Ｓ１２３：Ｙｅｓ）、ユーザ認証部１０８は、ユーザが正当なユーザであると判定する（Ｓ１２５）。一方、判定された一致度が所定の閾値未満である場合には（Ｓ１２３：Ｎｏ）、ユーザ認証部１０８は、ユーザが正当なユーザではないと判定する（Ｓ１２７）。
　＜１－５．効果＞
　以上、例えば図２、図１０、図１１などを参照して説明したように、第１の実施形態による情報処理装置１０‐１は、第１撮像部１２０により撮像されたユーザの眼球の画像、および、第２撮像部１２２により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体に対するユーザの視線の移動を特定し、そして、特定された視線の移動に基づいてユーザを認証する。
　例えば手や足など、ユーザが見ることが可能な身体の部分に対する視線パターンの登録可能な数は非常に大きいので、情報処理装置１０‐１は、視線の移動を用いた安全性の高い認証を実現することできる。例えば、ユーザの認証時に、仮に第三者がユーザの視線の動きを盗み見したとしても、第三者が視線パターンを完全に特定することは難しい。従って、視線パターンが他人に盗まれにくいので、安全性が高く、堅牢なユーザ認証が可能になる。
　また、ユーザは、非常に多くの身体の部位の中から視線動作の対象の部位を自由に選択することができる。また、ユーザは、希望に応じて視線パターンを任意に変更することも可能である。
＜＜２．第２の実施形態＞＞
　以上、第１の実施形態について説明した。次に、第２の実施形態について説明する。まず、第２の実施形態を創作するに至った背景について説明する。
　例えば腕や指の長さ、または、ホクロ、皺、血管パターンの位置や形状などといった身体的特徴は個人特有のものである。このため、ユーザ本人にとっては身体的特徴は容易に識別可能であったり、忘れにくいのに対して、他人にとっては識別し辛く、かつ、記憶し辛い。
　そこで、身体的特徴を用いた視線の移動のパターンによりユーザを認証することを想定すると、ユーザの認証時に、仮に第三者にユーザの視線の動きを盗み見されたとしても、視線パターンが第三者に特定されるリスクが非常に小さい。そして、視線パターンが、他人にさらに盗まれにくい。
　後述するように、第２の実施形態によれば、身体的特徴を用いた視線パターンを用いることにより、さらに安全性の高い認証を実現することが可能である。
　＜２－１．基本構成＞
　第２の実施形態による情報処理装置１０‐２の基本構成は、図１に示した第１の実施形態と同様である。
　＜２－２．構成＞
　次に、情報処理装置１０‐２の構成について詳細に説明する。図１２は、第２の実施形態による情報処理装置１０‐２の構成を示した機能ブロック図である。図１２に示したように、情報処理装置１０‐２は、第１の実施形態による情報処理装置１０‐１と比較して、制御部１００‐１の代わりに、制御部１００‐２を有する。なお、以下では、第１の実施形態と重複する機能については説明を省略する。
　［２－２－１．制御部１００‐２］
　制御部１００‐２は、制御部１００‐１と比較して、身体的特徴検出部１１２をさらに有する。
　［２－２－２．身体的特徴検出部１１２］
　身体的特徴検出部１１２は、第２撮像部１２２により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出する。
　（２－２－２－１．身体までの距離の特定）
　例えば、身体的特徴検出部１１２は、まず、視線検出部１０２により検出された視線方向に基づいて、ユーザの目の位置からユーザが見ている身体の部位までの距離を特定する。より具体的には、身体的特徴検出部１１２は、例えば、情報処理装置１０‐２が有する距離センサー（図示省略）による計測結果や、第２撮像部１２０による撮像画像に基づいて、ユーザが見ている部位までの距離を特定する。または、例えば所定の専用装置の中で予め登録しておいた姿勢をユーザにとらせるなど、予め登録しておいた立ち位置にユーザが位置する場合には、身体的特徴検出部１１２は、予め計測しておいた距離（固定距離）をユーザが見ている部位までの距離として特定する。
　（２－２－２－２．身体的特徴の検出）
　次に、身体的特徴検出部１１２は、第２撮像部１２２により撮像されたユーザの身体の部位の画像、および特定した当該身体の部位までの距離に基づいて、当該部位の相対的な長さや、相対的な位置を検出する。より具体的には、まず、身体的特徴検出部１１２は、第２撮像部１２２により撮像されたユーザの身体の部位の画像に基づいて、当該部位の仮の長さや、特定の場所を起点とした当該部位における他の場所の仮の位置を算出する。そして、身体的特徴検出部１１２は、特定した当該身体の部位までの距離と、視線パターンの登録時におけるユーザの目の位置から当該身体の部位までの距離との比に基づいて、算出した仮の長さや、仮の位置を正規化することにより、当該部位の相対的な長さや、当該他の場所の相対的な位置を算出する。
　また、身体的特徴検出部１１２は、当該部位に含まれる例えばホクロ、皺、または血管パターンなどの形状、相対的な長さ、または特定の場所を起点とした相対的な位置を検出する。なお、上記の特定の場所は、例えばユーザが当該部位において最初に見た場所に定められてもよい。
　ここで、図４を参照して、上記の機能についてより詳細に説明する。例えば、身体的特徴検出部１１２は、図４に示した右手画像２２に基づいて、まず、ユーザの目の位置から右手までの距離を特定する。そして、身体的特徴検出部１１２は、右手画像２２、および特定した距離に基づいて、右手の掌線や右手の各指に関する特徴を検出する。より具体的には、身体的特徴検出部１１２は、例えば感情線、頭脳線、生命線などの各掌線の形状、相対的な長さ、または特定の場所を起点とした相対的な位置を検出する。また、身体的特徴検出部１１２は、各指の相対的な長さや、特定の場所を起点とした各指の相対的な位置を検出する。
　［２－２－３．視線移動特定部１０４］
　第２の実施形態による視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、第２撮像部１２２により撮像されたユーザの身体の画像、および身体的特徴検出部１１２により検出された身体的特徴に基づいて、ユーザの身体に対するユーザの視線の移動を特定する。例えば、図５に示した例では、視線移動特定部１０４は、身体的特徴検出部１１２により検出された各掌線に関する特徴に基づいて、掌においてユーザが視線でトレースした線（つまり生命線）の相対的な位置、相対的な長さ、または形状などを含む情報を二番目の視線動作として特定する。また、視線移動特定部１０４は、身体的特徴検出部１１２により検出された中指に関する特徴に基づいて、中指においてユーザが視線でトレースした線（つまり中指の先端から根元まで）の相対的な位置、および相対的な長さを含む情報を三番目の視線動作として特定する。
　また、図６に示した例では、視線移動特定部１０４は、身体的特徴検出部１１２により検出された右手の身体的特徴に基づいて、右手の各形状ごとに、特定の場所を起点とした、ユーザが注視した場所２４０の相対的な位置を含む情報を各順番の視線動作として特定する。なお、この例において、上記の特定の場所は、一番目の視線動作における注視位置（つまり、右手の形状がグーであるときの親指の先端２４０ａ）であってもよい。これにより、視線移動特定部１０４は、例えば右手の形状がチョキであるときのユーザの注視位置を、右手の形状がグーであるときのユーザの注視位置を起点とした相対的な位置として特定することになる。
　なお、情報処理装置１０‐２に含まれるその他の構成要素の機能については、第１の実施形態と概略同様である。
　＜２－３．適用例＞
　以上、第２の実施形態による構成について説明した。続いて、第２の実施形態の適用例について、図８および図９を参照して説明する。
　図８に示した例では、まず、身体的特徴検出部１１２は、視線検出部１０２により検出された視線方向に基づいて、ユーザの目の位置から（ユーザが見ている）左腕または左手までの距離を特定する。
　次に、身体的特徴検出部１１２は、図８に示した左腕画像２６、および特定した左腕または左手までの距離に基づいて、左腕または左手に関する身体的特徴を検出する。例えば、身体的特徴検出部１１２は、前腕に含まれるホクロの位置を特定する。
　次に、視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、および身体的特徴検出部１１２により検出された身体的特徴に基づいて、ユーザが最初に注視している部位（つまり、左腕のひじ２６２ａ）の、特定の場所を起点とした相対的な位置を特定し、そして特定した位置を含む情報を一番目の視線動作として特定する。
　そして、視線移動特定部１０４は、左腕のひじ２６２ａから人差し指の第２関節２６２ｂへ視線方向が不連続に移動され、かつ、移動後の場所をユーザが所定の時間以上見ていることが検出された場合には、視線移動特定部１０４は、ユーザが現在見ている部位（つまり、人差し指の第２関節２６２ｂ）の、特定の場所を起点とした相対的な位置を特定し、そして、特定した位置を含む情報を二番目の視線動作として特定する。
　なお、視線移動特定部１０４は、例えば一番目の視線動作における注視位置（左腕のひじ２６２ａ）を起点とした人差し指の第２関節２６２ｂまでの相対的な距離、およびホクロの位置を起点とした人差し指の第２関節２６２ｂまで相対的な距離に基づいて、人差し指の第２関節２６２ｂの相対的な位置を特定してもよい。
　さらに、人差し指の第２関節２６２ｂから前腕のホクロ２６２ｃへ視線方向が不連続に移動され、かつ、移動後の場所をユーザが所定の時間以上見ていることが検出された場合には、視線移動特定部１０４は、前腕のホクロ２６２ｃの相対的な位置を含む情報を三番目の視線動作として特定する。
　そして、視線パターン比較部１０６は、視線移動特定部１０４により特定された各順番の視線動作の配列をユーザの視線パターンとして特定する。そして、視線パターン比較部１０６は、当該ユーザと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンに含まれる各視線動作と、特定した視線パターンに含まれる各視線動作とを視線の移動順ごとにそれぞれ比較することにより、視線パターンの一致度を判定する。
　そして、ユーザ認証部１０８は、視線パターン比較部１０６により判定された一致度が所定の閾値以上である場合にはユーザが正当なユーザであると判定する。また、ユーザ認証部１０８は、判定された一致度が所定の閾値未満である場合にはユーザが正当なユーザではないと判定する。
　＜２－４．動作＞
　以上、第２の実施形態による構成について説明した。続いて、第２の実施形態による動作について説明する。なお、第２の実施形態による動作は、図１０～図１１に示した第１の実施形態と概略と同様である。以下では、第１の実施形態と内容が異なるステップについてのみ説明を行う。
　Ｓ１１３では、まず、身体的特徴検出部１１２は、視線検出部１０２により検出された移動後の視線方向、および第２撮像部１２２により撮像されたユーザの身体の画像に基づいて、ユーザが見ている身体の部位に関する身体的特徴を検出する。
　また、Ｓ１１５では、視線移動特定部１０４は、視線検出部１０２により検出されるユーザの視線方向、およびＳ１１３で検出された身体的特徴に基づいて、Ｓ１１３で特定した身体の部位に対するユーザの視線動作を特定する。
　＜２－５．効果＞
　以上、例えば図１２などを参照して説明したように、第２の実施形態による情報処理装置１０‐２は、第２撮像部１２２により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出し、第１撮像部１２０により撮像されたユーザの眼球画像および検出された身体的特徴に基づいてユーザの身体に対するユーザの視線の移動を特定し、そして、特定された視線の移動に基づいてユーザを認証する。
　このため、情報処理装置１０‐２は、身体的特徴を用いた視線パターンを用いることにより、さらに安全性の高い認証を実現することが可能である。例えば、ユーザの認証時に、仮に第三者にユーザの視線の動きを盗み見されたとしても、身体的特徴は個人特有のものであり、第三者にとっては識別し辛いので、第三者が視線パターンを完全に特定することは極めて難しい。従って、身体的特徴を用いた視線パターンは他人にさらに盗まれにくいので、安全性がさらに高く、堅牢なユーザ認証が可能になる。
　また、例えば指紋認証のような、身体的特徴のみを利用したユーザ認証の場合には、認証情報を変更することが難しいので、仮に認証情報が漏えいした場合に影響が大きくなってしまう。一方、第２の実施形態による認証方法では、視線パターンを容易に変更することが可能であるので、仮に視線パターンが漏えいしたとしても、被害を小さく抑えることができるという利点がある。
＜＜３．第３の実施形態＞＞
　以上、第２の実施形態について説明した。次に、第３の実施形態について説明する。
　上述したように、第１の実施形態による情報処理装置１０‐１、および第２の実施形態による情報処理装置１０‐２は、二種類の撮像部、すなわち、ユーザの眼球画像を撮像する第１撮像部１２０と、ユーザの身体の画像を撮像する第２撮像部１２２とを有することを前提とした。
　後述するように、第３の実施形態によれば、一種類の撮像部だけを有する装置により、身体に対するユーザの視線の移動を特定し、ユーザを認証することが可能である。
　＜３－１．基本構成＞
　まず、第３の実施形態による情報処理装置３０の基本構成について、図１３を参照して説明する。
　図１３は、情報処理装置３０の外観を示した説明図である。図１３に示したように、情報処理装置３０は、例えば、ユーザ２の眼球、および例えば腕などのユーザ２の身体の一部を撮像可能な撮像部３２０を有する。この情報処理装置３０は、例えば、家の玄関などに設置されてもよい。さらに、情報処理装置３０は、玄関のドアを開錠させることを目的としたユーザ認証を行う認証システムの一部として構成されてもよい。
　＜３－２．構成＞
　次に、情報処理装置３０の構成について詳細に説明する。図１４は、第３の実施形態による情報処理装置３０の構成を示した機能ブロック図である。図１４に示したように、情報処理装置３０は、制御部３００、撮像部３２０、出力部３２２、通信部３２４、および記憶部３２６を有する。なお、以下では、第２の実施形態と重複する機能については説明を省略する。
　［３－２－１．制御部３００］
　制御部３００は、情報処理装置３０の動作を全般的に制御する。また、図１４に示したように、制御部３００は、視線検出部３０２、視線移動特定部３０４、視線パターン比較部３０６、ユーザ認証部３０８、出力制御部３１０、および、身体的特徴検出部３１２を有する。
　［３－２－２．視線検出部３０２］
　視線検出部３０２は、後述する撮像部３２０により撮像されたユーザの眼球の画像に基づいて、ユーザの視線方向を検出する。なお、具体的な機能については、第２の実施形態による視線検出部１０２と概略同様である。
　［３－２－３．身体的特徴検出部３１２］
　身体的特徴検出部３１２は、撮像部３２０により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出する。なお、具体的な機能については、第２の実施形態による身体的特徴検出部１１２と概略同様である。
　［３－２－４．視線移動特定部３０４］
　視線移動特定部３０４は、視線検出部１０２により検出されたユーザの視線方向、撮像部３２０により撮像されたユーザの身体の画像、および身体的特徴検出部３１２により検出された身体的特徴に基づいて、ユーザの身体に対するユーザの視線の移動を特定する。なお、具体的な機能については、第２の実施形態による視線移動特定部１０４と概略同様である。
　［３－２－５．出力制御部３１０］
　出力制御部３１０は、ユーザ認証部３０８による認証結果を、後述する出力部３２２に出力させる。例えば、出力制御部３１０は、認証結果を知らせる音を出力部３２２に出力させる。
　［３－２－６．撮像部３２０］
　撮像部３２０は、ユーザの眼球の画像、およびユーザの視線方向に位置するユーザの身体の画像を例えば同時に撮像する。
　［３－２－７．出力部３２２］
　出力部３２２は、出力制御部３１０の制御に従って、音または映像を出力する。
　なお、視線パターン比較部３０６、ユーザ認証部３０８、通信部３２４、および記憶部３２６は、第２の実施形態による視線パターン比較部１０６、ユーザ認証部１０８、通信部１２６、または記憶部１２８とそれぞれ同様である。
　以上、第３の実施形態による情報処理装置３０の構成について説明したが、上述した構成に限定されない。例えば、情報処理装置３０は、出力制御部３１０、出力部３２２、または通信部３２４のうち１以上を有しなくてもよい。
　＜３－３．動作＞
　第３の実施形態による動作は、２－４節で述べた第２の実施形態による動作と概略同様である。
　＜３－４．効果＞
　以上、例えば図１３および図１４を参照して説明したように、第３の実施形態による情報処理装置３０は、撮像部３２０により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出し、撮像部３２０により撮像されたユーザの眼球の画像、および検出された身体的特徴に基づいて、ユーザの身体に対するユーザの視線の移動を特定し、そして、特定された視線の移動に基づいてユーザを認証する。このため、第２の実施形態と概略同様の機能を実現するので、第２の実施形態と同様の効果が得られる。
＜＜４．ハードウェア構成＞＞
　次に、情報処理装置１０‐１、情報処理装置１０‐２、および情報処理装置３０のハードウェア構成について、図１５を参照して説明する。図１５に示したように、情報処理装置１０‐１（または、情報処理装置１０‐２、情報処理装置３０）は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、内部バス１５６、インターフェース１５８、出力装置１６０、カメラ１６２、ストレージ装置１６４、および通信装置１６６を備える。
　＜４－１．ＣＰＵ１５０＞
　ＣＰＵ１５０は、演算処理装置および制御装置として機能する。このＣＰＵ１５０は、制御部１００‐１（または、制御部１００‐２、制御部３００）の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
　＜４－２．ＲＯＭ１５２＞
　ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
　＜４－３．ＲＡＭ１５４＞
　ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　＜４－４．内部バス１５６＞
　内部バス１５６は、ＣＰＵバスなどから構成される。この内部バス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
　＜４－５．インターフェース１５８＞
　インターフェース１５８は、出力装置１６０、カメラ１６２、ストレージ装置１６４、および通信装置１６６を、内部バス１５６と接続する。例えばストレージ装置１６４は、このインターフェース１５８および内部バス１５６を介して、ＣＰＵ１５０との間でデータをやり取りする。
　＜４－６．出力装置１６０＞
　出力装置１６０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。この表示装置は、ＣＰＵ１５０により生成された画像などを表示する。
　さらに、出力装置１６０は、スピーカーなどの音声出力装置を含む。この音声出力装置は、音声データ等を音に変換して出力する。この出力装置１６０は、表示部１２４または出力部３２２として機能する。
　＜４－７．カメラ１６２＞
　カメラ１６２は、外部の映像を、レンズを通して例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子に結像させ、静止画像又は動画像を撮影する機能を有する。このカメラ１６２は、第１撮像部１２０、第２撮像部１２２、または撮像部３２０として機能する。
　＜４－８．ストレージ装置１６４＞
　ストレージ装置１６４は、記憶部１２８または記憶部３２６として機能する、データ格納用の装置である。ストレージ装置１６４は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
　＜４－９．通信装置１６６＞
　通信装置１６６は、例えば公衆網やインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６６は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６６は、通信部１２６または通信部３２４として機能する。
＜＜５．変形例＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　＜５－１．変形例１＞
　例えば、上述した各実施形態では、ユーザＩＤが受信または入力された場合、すなわちユーザが特定されていることを前提としてユーザの認証を行う例について説明したが、かかる例に限定されない。例えば、情報処理装置３０（または、情報処理装置１０‐１、情報処理装置１０‐２）は、ユーザ情報ＤＢ１３０に記録されている全てのユーザの視線パターンに基づいて、撮影対象の人物がいずれのユーザであるかを識別することも可能である。
　具体的には、情報処理装置３０は、まず、視線移動特定部３０４により特定されたユーザの視線の移動に基づいた視線パターンと、ユーザ情報ＤＢ１３０に登録されている、特定のグループに属する各ユーザ（または全てのユーザ）の視線パターンとをそれぞれ比較する。そして、情報処理装置３０は、判定された一致度が一番高いユーザを対象人物と特定することが可能である。
　この変形例によれば、例えば家族全員が一つのグループとして予め登録されている場合において、情報処理装置３０は、ユーザＩＤが入力されなくても、撮影対象の人物が家族のうちの誰であるかを特定することが可能となる。
　＜５－２．変形例２＞
　また、各実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した情報処理装置１０‐１、情報処理装置１０‐２、または情報処理装置３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
　特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部と、
を備える、情報処理装置。
（２）
　前記情報処理装置は、前記ユーザと対応づけてデータベースに登録されている視線パターンと、前記視線移動特定部により特定された前記ユーザの視線の移動に基づいた視線パターンとを比較する視線パターン比較部をさらに備え、
　前記ユーザ認証部は、前記視線パターン比較部による比較結果に基づいて、前記ユーザを認証する、前記（１）に記載の情報処理装置。
（３）
　前記ユーザ認証部は、前記視線パターン比較部により判定された視線パターンの一致度が所定の閾値以上である場合に、前記ユーザが正当なユーザであると判断する、前記（２）に記載の情報処理装置。
（４）
　前記情報処理装置は、前記ユーザの身体の画像に基づいて、前記ユーザの身体の一部に関する身体的特徴を検出する身体的特徴検出部をさらに備え、
　前記視線移動特定部は、前記ユーザの目の画像、および検出された身体的特徴に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する、前記（２）または（３）に記載の情報処理装置。
（５）
　前記視線パターンは、前記ユーザの身体の１以上の部位に対する視線動作のパターンである、前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記データベースに登録されている視線パターンは、視線の移動の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、前記（５）に記載の情報処理装置。
（７）
　前記データベースに登録されている視線パターンは、前記ユーザの身体の姿勢の変化の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、前記（５）に記載の情報処理装置。
（８）
　前記視線動作は、前記ユーザの身体の部位に対する注視または視線のトレースを含む、前記（５）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記身体的特徴は、ホクロ、皺、または血管パターンの位置または形状を含む、前記（４）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記情報処理装置は、前記視線移動特定部により視線の移動が特定される度に、特定された視線の移動を示す表示を表示部に逐次表示させる表示制御部をさらに備える、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記情報処理装置は、前記表示部をさらに備える、前記（１０）に記載の情報処理装置。
（１２）
　前記撮像部は、前記ユーザの目の画像を撮像する第１の撮像部と、前記ユーザの視線方向に位置する前記ユーザの身体の画像を撮像する第２の撮像部とを含む、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記情報処理装置は、眼鏡型の装置である、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定することと、
　特定された視線の移動に基づいて前記ユーザを認証することと、
を備える、情報処理方法。
（１５）
　コンピュータを、
　撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
　特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部、
として機能させるための、プログラム。
１０‐１、１０‐２、３０　情報処理装置
１００‐１、１００‐２、３００　制御部
１０２、３０２　視線検出部
１０４、３０４　視線移動特定部
１０６、３０６　視線パターン比較部
１０８、３０８　ユーザ認証部
１１０　表示制御部
１１２、３１２　身体的特徴検出部
１２０　第１撮像部
１２２　第２撮像部
１２４　表示部
１２６、３２４　通信部
１２８、３２６　記憶部
１３０　ユーザ情報ＤＢ
３１０　出力制御部
３２０　撮像部
３２２　出力部

Claims (15)

  1. 　撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
    　特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部と、
    を備える、情報処理装置。
  2. 　前記情報処理装置は、前記ユーザと対応づけてデータベースに登録されている視線パターンと、前記視線移動特定部により特定された前記ユーザの視線の移動に基づいた視線パターンとを比較する視線パターン比較部をさらに備え、
    　前記ユーザ認証部は、前記視線パターン比較部による比較結果に基づいて、前記ユーザを認証する、請求項１に記載の情報処理装置。
  3. 　前記ユーザ認証部は、前記視線パターン比較部により判定された視線パターンの一致度が所定の閾値以上である場合に、前記ユーザが正当なユーザであると判断する、請求項２に記載の情報処理装置。
  4. 　前記情報処理装置は、前記ユーザの身体の画像に基づいて、前記ユーザの身体の一部に関する身体的特徴を検出する身体的特徴検出部をさらに備え、
    　前記視線移動特定部は、前記ユーザの目の画像、および検出された身体的特徴に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する、請求項２に記載の情報処理装置。
  5. 　前記視線パターンは、前記ユーザの身体の１以上の部位に対する視線動作のパターンである、請求項２に記載の情報処理装置。
  6. 　前記データベースに登録されている視線パターンは、視線の移動の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、請求項５に記載の情報処理装置。
  7. 　前記データベースに登録されている視線パターンは、前記ユーザの身体の姿勢の変化の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、請求項５に記載の情報処理装置。
  8. 　前記視線動作は、前記ユーザの身体の部位に対する注視または視線のトレースを含む、請求項５に記載の情報処理装置。
  9. 　前記身体的特徴は、ホクロ、皺、または血管パターンの位置または形状を含む、請求項４に記載の情報処理装置。
  10. 　前記情報処理装置は、前記視線移動特定部により視線の移動が特定される度に、特定された視線の移動を示す表示を表示部に逐次表示させる表示制御部をさらに備える、請求項１に記載の情報処理装置。
  11. 　前記情報処理装置は、前記表示部をさらに備える、請求項１０に記載の情報処理装置。
  12. 　前記撮像部は、前記ユーザの目の画像を撮像する第１の撮像部と、前記ユーザの視線方向に位置する前記ユーザの身体の画像を撮像する第２の撮像部とを含む、請求項１に記載の情報処理装置。
  13. 　前記情報処理装置は、眼鏡型の装置である、請求項１に記載の情報処理装置。
  14. 　撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定することと、
    　特定された視線の移動に基づいて前記ユーザを認証することと、
    を備える、情報処理方法。
  15. 　コンピュータを、
    　撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
    　特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部、
    として機能させるための、プログラム。
PCT/JP2015/082623 2015-02-20 2015-11-19 情報処理装置、情報処理方法、およびプログラム WO2016132617A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15882718.8A EP3261055A4 (en) 2015-02-20 2015-11-19 Information processing device, information processing method, and program
US15/529,128 US10180717B2 (en) 2015-02-20 2015-11-19 Information processing device, information processing method, and program
JP2017500286A JP6648751B2 (ja) 2015-02-20 2015-11-19 情報処理装置、情報処理方法、およびプログラム
CN201580075931.0A CN107209936B (zh) 2015-02-20 2015-11-19 信息处理设备，信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015031637 2015-02-20
JP2015-031637 2015-02-20

Publications (1)

Publication Number Publication Date
WO2016132617A1 true WO2016132617A1 (ja) 2016-08-25

Family

ID=56688895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082623 WO2016132617A1 (ja) 2015-02-20 2015-11-19 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10180717B2 (ja)
EP (1) EP3261055A4 (ja)
JP (1) JP6648751B2 (ja)
CN (1) CN107209936B (ja)
WO (1) WO2016132617A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521946B1 (en) 2017-11-21 2019-12-31 Amazon Technologies, Inc. Processing speech to drive animations on avatars
US11232645B1 (en) 2017-11-21 2022-01-25 Amazon Technologies, Inc. Virtual spaces as a platform
US10732708B1 (en) * 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
JP7327368B2 (ja) * 2020-12-02 2023-08-16 横河電機株式会社 装置、方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007141002A (ja) * 2005-11-18 2007-06-07 Fujitsu Ltd 個人認証方法、個人認証プログラムおよび個人認証装置
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353422B1 (en) * 2000-03-31 2002-03-05 Stephen G. Perlman Virtual display system and method
US8965460B1 (en) * 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
WO2011158511A1 (ja) * 2010-06-17 2011-12-22 パナソニック株式会社 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
CN102547123B (zh) * 2012-01-05 2014-02-26 天津师范大学 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法
US9092600B2 (en) * 2012-11-05 2015-07-28 Microsoft Technology Licensing, Llc User authentication on augmented reality display device
CN104077517A (zh) * 2014-06-30 2014-10-01 惠州Tcl移动通信有限公司 一种基于虹膜识别的移动终端用户模式启动方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007141002A (ja) * 2005-11-18 2007-06-07 Fujitsu Ltd 個人認証方法、個人認証プログラムおよび個人認証装置
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3261055A4 *

Also Published As

Publication number Publication date
US20170262055A1 (en) 2017-09-14
EP3261055A4 (en) 2018-10-24
EP3261055A1 (en) 2017-12-27
CN107209936B (zh) 2021-08-27
CN107209936A (zh) 2017-09-26
JP6648751B2 (ja) 2020-02-14
JPWO2016132617A1 (ja) 2017-11-24
US10180717B2 (en) 2019-01-15

Similar Documents

Publication Publication Date Title
JP6762380B2 (ja) 身分認証方法および装置
JP6722272B2 (ja) 凝視情報を使用するユーザの識別および／または認証
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
US10884577B2 (en) Identification of dynamic icons based on eye movement
JP6197345B2 (ja) 生体認証装置、生体認証システム、および生体認証方法
CN104933344A (zh) 基于多生物特征模态的移动终端用户身份认证装置及方法
US20150186708A1 (en) Biometric identification system
WO2016132617A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6849200B2 (ja) マルチ生体データを用いた非接触式マルチ生体認識方法及びマルチ生体認識装置
CN104914989B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
WO2016089529A1 (en) Technologies for learning body part geometry for use in biometric authentication
CN204791017U (zh) 基于多生物特征模态的移动终端用户身份认证装置
CN205485072U (zh) 一种头戴式显示设备
US9880634B2 (en) Gesture input apparatus, gesture input method, and program for wearable terminal
CN110188658A (zh) 身份识别方法、装置、电子设备及存储介质
CN110568930B (zh) 注视点校准方法及相关设备
TWI557601B (zh) 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體
JPWO2016088415A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106255973A (zh) 电子设备及用于控制其访问权的方法
CN105825102A (zh) 一种基于眼纹识别的终端解锁方法和装置
KR102151474B1 (ko) 스마트 단말기를 이용한 비접촉 지문인증 방법
Heravian et al. Implementation of eye tracking in an IoT-based smart home for spinal cord injury patients
WO2022180890A1 (ja) 生体認証システム、認証端末、および認証方法
KR101286750B1 (ko) 제스처를 이용한 패스워드 판단시스템
JP2013073434A (ja) 情報入力装置、および情報入力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15882718

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017500286

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15529128

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015882718

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE