WO2017022852A1 - 電子制御装置、及び電子制御プログラム - Google Patents

電子制御装置、及び電子制御プログラム Download PDF

Info

Publication number
WO2017022852A1
WO2017022852A1 PCT/JP2016/073109 JP2016073109W WO2017022852A1 WO 2017022852 A1 WO2017022852 A1 WO 2017022852A1 JP 2016073109 W JP2016073109 W JP 2016073109W WO 2017022852 A1 WO2017022852 A1 WO 2017022852A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
electronic control
user
command
input operation
Prior art date
Application number
PCT/JP2016/073109
Other languages
English (en)
French (fr)
Inventor
武昭 杉村
淳史 田中
聡一郎 坪井
玄史 吉岡
大輔 結城
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2017533136A priority Critical patent/JP6540809B2/ja
Publication of WO2017022852A1 publication Critical patent/WO2017022852A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to an electronic control device and an electronic control program.
  • This application claims priority based on Japanese Patent Application No. 2015-156005 filed on Aug. 6, 2015, the contents of which are incorporated herein by reference.
  • Japanese Patent Application Laid-Open No. H10-228688 describes that a human motion in a room is tracked to estimate the human behavior or intention.
  • An aspect of the present invention includes an imaging unit that captures an image, an extraction unit that extracts a feature amount of a subject's movement from an image captured by the imaging unit, a storage unit that acquires and stores a plurality of the feature amounts, An operation determining unit that determines an input operation based on the appearance frequency of a plurality of feature quantities, an associating unit that associates and stores the input operation and any of a plurality of predetermined commands in the storage unit, and the imaging unit And an instruction execution unit that executes an instruction associated with the input operation among the plurality of instructions stored in the storage unit when the input operation is included in the image captured from Device.
  • an imaging step of capturing an image, an extraction step of extracting a feature amount of a subject's movement from the image captured in the imaging step, and a plurality of the feature amounts are acquired and stored in a computer.
  • an instruction execution step of executing an instruction associated with the input operation from among the plurality of instructions stored in the storage unit when the input operation is included in the captured image.
  • FIG. 1 is a schematic diagram illustrating an example of an electronic control device 1 according to an embodiment of the present invention.
  • the electronic control device 1 is installed on the ceiling SL of the room R.
  • the electronic control device 1 includes an irradiation unit 14.
  • the irradiation unit 14 functions as a projection device (projector) that generates an image by irradiating light.
  • the irradiation unit 14 displays an image on the display area DA by irradiating the display area DA on the surface in the room R with light.
  • the display area DA As an example of the display area DA, the display area DA1 set on the wall surface WL1 of the room R, the display area DA2 set on the wall surface WL2, the display area DA3 set on the wall surface WL3 of the room R, and the room R are arranged. There is a display area DA5 set on the upper surface of the desk TBL.
  • the irradiation unit 14 displays an image by irradiating light to the display areas DA1 to DA3 and DA5.
  • the electronic control device 1 displays an image inside the room R by irradiating the wall surface WL of the room R or the upper surface of the desk TBL with the irradiation unit 14.
  • the electronic control apparatus 1 can also change the state inside the room R so that the room R is changed by changing the image to be displayed.
  • the image displayed by the electronic control device 1 is an image according to the user's attribute.
  • the room R in which the electronic control device 1 is installed there is a home room, a company office (office), a school classroom, a private room of a store (for example, a karaoke shop), and the like.
  • a case where the room R is a user's home is described as an example.
  • the electronic control device 1 displays an image based on the feature amount of the user's action in the room R in the display area DA.
  • This user action is due to user gestures and gestures.
  • the user's operations include daily operations such as making a phone call and crossing arms.
  • the electronic control unit 1 detects the user's gesture or hand gesture based on the feature amount of the action, and displays an image corresponding to the detected user action in the display area DA.
  • an example of the user's operation will be described with reference to FIG.
  • FIG. 2 is a schematic diagram illustrating an example of the feature amount of the operation detected by the electronic control device 1 of the present embodiment.
  • FIG. 2A shows an operation of making a call.
  • the palm of one arm in this example, the left arm
  • the elbow angle is an angle A11 formed by a line segment passing through the shoulder point P11 and the elbow point P12 and a line segment passing through the elbow point P12 and the palm point P13.
  • the elbow angle A11 varies from about 180 ° to about 30 °. That is, the feature amount of the action of changing the posture to the posture where the user U1 makes a phone call is that the palm of one arm is on the body side before the start of the motion, and the elbow angle A11 during the motion of changing the posture. Is changed from about 180 ° to about 30 °, and the palm is at the ear when the posture (motion) for making a telephone call is started after the motion for changing the posture.
  • the electronic control unit 1 estimates the palm position and the elbow angle based on the detection results of the shoulder point P11, the elbow point P12, and the palm point P13.
  • the electronic control unit 1 compares the motion feature amount indicated by the estimated palm position and elbow angle with the motion feature amount stored in advance so that the operation of the user U1 is performed by the telephone. It is determined whether or not the operation is to change the posture to the posture to be applied.
  • the electronic control unit 1 compares the feature value of the motion indicated by the estimated palm position and elbow angle with the feature value of the motion to make a call stored in advance, so that the operation of the user U1 is performed by the telephone. It is determined whether or not the operation is multiplied. In other examples, other angles can be set.
  • Fig. 2 (b) shows the operation of arm folding.
  • the left elbow gradually bends from the state where the palm of one arm (in this example, the left arm) is stationary near the left waist, so that the palm is It moves to the chest and changes to a stationary state.
  • the palm of the other arm (right arm in this example) is stationary on the body side near the right waist, the right elbow is gradually bent, so that the palm moves to the chest and is stationary. Change to state.
  • the angle of the left elbow is an angle A11 formed by a line segment passing through the left shoulder point P11 and the left elbow point P12 and a line segment passing through the left elbow point P12 and the left palm point P13.
  • the right elbow angle is an angle A12 formed by a line segment passing through the right shoulder point P14 and the right elbow point P15 and a line segment passing through the right elbow point P15 and the right palm point P16. .
  • the angle A11 of the left elbow changes from about 180 ° to about 80 °, for example.
  • the angle A12 of the right elbow changes from about 180 ° to about 80 °, for example.
  • the feature amount of the motion that the user U1 crosses the arm is that the left palm is on the body side near the left waist at the start of the motion, and the left elbow angle A11 changes from about 180 ° to about 80 ° during the motion. That is, the left palm is at the chest at the end of the movement.
  • the feature amount of the operation of changing the posture to the posture in which the user U1 crosses the arm is that the right palm is on the body side near the right waist at the start of the operation, and the angle A12 of the right elbow during the operation is about 180 ° to about 80 °.
  • the right palm is at the chest at the end of the movement.
  • the electronic control unit 1 estimates the position of the left palm and the angle of the left elbow based on the detection results of the left shoulder point P11, the left elbow point P12, and the left palm point P13. Further, the electronic control unit 1 estimates the position of the right palm and the angle of the right elbow based on the results of detecting the right shoulder point P14, the right elbow point P15, and the right palm point P16.
  • the electronic control unit 1 compares the feature amount of the movement indicated by the estimated positions of the left and right palms and the angles of the left and right elbows with the feature amount of the movement of the arm that is stored in advance, thereby comparing the user U1. It is determined whether or not the movement is a movement to change the posture to a posture in which arms are folded. Alternatively, the electronic control unit 1 compares the motion feature amount indicated by the estimated left and right palm positions and the left and right elbow angles with a motion feature amount that is stored in advance by the user U1. It is determined whether or not the movement is an action taking an armed posture. In other examples, other angles can be set.
  • FIG. 2 (c) shows an operation of presenting information to the audience (presentation).
  • the right elbow is gradually bent from the state where the palm of one arm (in this example, the right arm) is resting on the body side near the right waist.
  • the palm moves to the right front of the trunk and changes to a stationary state.
  • the palm of the other arm in this example, the left arm
  • the angle of the right elbow is an angle A31 formed by a line segment passing through the right shoulder point P31 and the right elbow point P32 and a line segment passing through the right elbow point P32 and the right palm point P33.
  • the left elbow angle is an angle A32 formed by a line segment passing through the left shoulder point P34 and the left elbow point P35 and a line segment passing through the left elbow point P35 and the left palm point P36.
  • the angle A32 of the right elbow changes from about 180 ° to about 60 °, for example. Further, in the operation of changing the posture to the posture of giving a presentation, the left elbow angle A31 does not substantially change from about 180 °, for example.
  • the feature amount of the operation of changing the posture to the posture where the user U1 gives a presentation is that the right palm is on the body side near the right waist at the start of the motion, and the angle A32 of the right elbow is about 180 during the motion changing posture. Changing from 60 ° to about 60 ° means that the right palm is in front of the trunk at the end of the movement to change the posture.
  • the feature amount of the motion that the user U1 presents is that the position of the left palm does not change from the motion start time to the motion end time to change the posture.
  • the electronic control unit 1 estimates the position of the right palm and the angle of the right elbow based on the detection results of the right shoulder point P34, the right elbow point P35, and the right palm point P36. Further, the electronic control unit 1 estimates the position of the left palm and the angle of the left elbow based on the detection result of the left shoulder point P31, the left elbow point P32, and the left palm point P33. In addition, the electronic control unit 1 compares the motion feature amount indicated by the estimated left and right palm positions and the left and right elbow angles with the motion feature amount for the presentation stored in advance, thereby comparing the user U1.
  • the electronic control unit 1 compares the motion feature amount indicated by the estimated left and right palm positions and the left and right elbow angles with the motion feature amount for the presentation stored in advance, thereby comparing the user U1. It is determined whether or not the operation is a presentation operation. In other examples, other angles can be set.
  • the electronic control device 1 controls the environment of the room R so that the environment is suitable for the action of the user U1.
  • the user U1 receives a phone call while the user U1 is working while listening to music (BGM), television or radio sound in the room R.
  • BGM music
  • the environment in the room R becomes an environment where it is easy to make a call.
  • the electronic control device 1 detects the gesture or gesture of the user U1 to make a call-friendly environment so that the environment of the room R is determined according to the result of detecting the gesture or gesture of the user U1.
  • the electronic control device 1 automatically adjusts the volume of music (BGM) or TV sound that has been played in the room R, or automatically outputs the sound that flows in the room R in order to prepare the environment of the room R. Stop it.
  • the user U1 can start a call under an environment adjusted to an appropriate volume without performing an operation for adjusting the environment of the room R himself.
  • the present invention is not limited to the case of making a call only by voice, and can also be applied to a case of making a call using a videophone that sends an image to a call destination.
  • a videophone that sends an image to a call destination.
  • the electronic control unit 1 displays a desired image on the wall surface on the side serving as the background of the user U1.
  • the electronic control device 1 displays a desired image that the user U1 likes in the display area DA3 set on the wall surface WL3.
  • the user U1 can make a videophone call with the image displayed in the display area DA3 as the background.
  • an image selected from the images prepared as candidates can be displayed.
  • the electronic control device 1 may select an image according to the result of detecting the user's gesture or hand gesture, or may switch the image appropriately.
  • the electronic control unit 1 may detect the other party of the call and the content of the call, estimate the situation where the user U1 is placed, and replace the estimated situation with the detected situation.
  • the electronic control apparatus 1 may select an image to be displayed according to a telephone call while at home or a destination of a telephone call.
  • a determination flag is set in the storage unit 200 in association with a contact address registered in advance, and an image to be displayed is selected based on the set determination flag. This makes it possible to register people who can respond to the phone without being overwhelmed, such as friends and relatives who are registered in the contact, and those who are registered in the contact but who can respond to it.
  • An image to be displayed may be selected by distinguishing persons who are not.
  • the electronic control unit 1 displays an image of the office room of the company in the display area DA.
  • the electronic control device 1 displays an image of the bookshelf storing the materials of the project P1 in the display area DA1.
  • Whiteboard images on which sentences and figures related to the project P1 are drawn are displayed in the display area DA2 and the display area DA3, respectively. In this case, the electronic control unit 1 displays an image of the material related to the project P1 in the display area DA5.
  • the user U1 can feel as if he is in the office of the company, and can read the material displayed on the desk TBL.
  • the electronic control device 1 interrupts the display related to the business such as the project P1 and other images such as general wallpaper. May be displayed.
  • the electronic control device 1 adjusts the image based on the feature amount of the operation of the user U1 has been described.
  • an outline of a mechanism in which the electronic control device 1 detects the feature amount of the operation of the user U1 will be described.
  • the electronic control unit 1 displays an image based on the feature amount of the operation of the user U1 in the display area DA by detecting the feature amount of the operation of the user U1.
  • the electronic control device 1 can detect the feature amount of the operation of the user U1 by various methods. A specific example of the method in which the electronic control device 1 detects the feature amount of the operation of the user U1 will be described below.
  • the electronic control unit 1 detects the feature amount of the operation of the user U1 based on the image of the user U1 in the room R.
  • the electronic control device 1 includes an imaging unit 10 as shown in FIG.
  • the imaging unit 10 is, for example, a camera that uses a solid-state imaging device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor).
  • the imaging unit 10 images the imaging area IA of the surface in the room R, and generates an image in the imaging area IA (captures an image).
  • the imaging area IA as shown in FIG.
  • the imaging unit 10 captures images of the imaging areas IA1 to IA5 so that the imaging areas IA1 to IA5 are included in the imaging range.
  • the image of the user U1 is included in the image captured by the imaging unit 10
  • the feature amount of the operation of the user U1 can be detected based on this image.
  • the electronic control device 1 detects the feature amount of the operation of the user U1 by processing the image of the user U1 captured by the imaging unit 10 using a motion capture technique, a pattern matching technique, or the like.
  • the feature amount of the user U1 is extracted as information such as position, velocity, acceleration, angle, and angular velocity in the three-dimensional coordinate space.
  • the information is a scalar, a vector, or a combination of a plurality.
  • the electronic control device 1 displays a desired image in the display area DA.
  • the object selection function for selecting an image to be displayed by the electronic control device 1 will be described by taking as an example a case where an image of a bookshelf storing the materials of the project P1 is displayed in the display area DA1. For example, when the user U1 moves his / her hand so as to point to the image of the material on the bookshelf, the electronic control device 1 detects the operation of the user U1 and displays the image of the material on the desk TBL.
  • the electronic control unit 1 displays the image of the selected material as if the user U1 took out the material from the bookshelf and placed it on the desk. can do.
  • the electronic control device 1 provides an object selection function for selecting an object such as an image of a material and displaying the image of the selected object.
  • the information provided by the electronic control device 1 is not limited to providing an image as described above.
  • the electronic control device 1 can play music (BGM), audio from a television or radio, and the like in the room R.
  • FIG. 3 is a schematic block diagram illustrating the configuration of the electronic control device 1 according to the present embodiment.
  • the electronic control device 1 includes an imaging unit 10, a sound input unit 12, a control unit 100, a storage unit 200, a communication unit 13, an irradiation unit 14, a sound output unit 15, and a power supply unit 16. ing.
  • the imaging unit 10 includes, for example, a camera, images a real space, and outputs the captured image to the control unit 100.
  • the real space is a space having a certain area and is a real space with respect to the virtual space.
  • This real space includes open spaces such as outdoor plazas and closed spaces such as indoor facilities.
  • a certain area is a display surface on which an image can be displayed. This surface includes a two-dimensional plane and a three-dimensional curved surface.
  • the sound input unit 12 includes, for example, a microphone, collects ambient sounds and converts them into data, and outputs the converted data to the control unit 100.
  • the communication unit 13 communicates with other devices by wire or wireless.
  • the irradiation unit 14 includes a projector, for example, and irradiates light based on control by the control unit 100.
  • the imaging part 10 and the irradiation part 14 which were mentioned above may be comprised integrally (refer FIG. 10).
  • the sound output unit 15 includes a speaker, for example, and outputs a sound based on control by the control unit 100.
  • the sound output unit 15 may include a directional speaker. In this case, the sound output unit 15 outputs a sound having a predetermined directivity characteristic.
  • the power supply unit 16 acquires power from an internal or external power source and supplies the acquired power to each unit of the electronic control device 1.
  • the power supply unit 16 obtains power via, for example, an outlet installed on the wall surface WL of the room R or a lighting fixture mounting socket installed on the ceiling SL.
  • the storage unit 200 includes a storage device such as an HDD (Hard Disk Drive) and a storage element such as a semiconductor memory.
  • the storage unit 200 temporarily stores the calculation result by the control unit 100. Further, the storage unit 200 stores information such as a data table used for calculation by the control unit 100.
  • the storage unit 200 stores a user table 210, a feature detection history DB 220, a cluster information DB 230, a command table 240, an instruction table 250, and a guidance information table 260.
  • the control unit 100 includes, for example, a CPU (Central Processing Unit) and / or (circuitry), and performs information processing based on data input from the imaging unit 10 and the sound input unit 12. I do. For example, the control unit 100 performs a character recognition process for recognizing characters included in an image captured by the image capturing unit 10 and a pattern matching process for recognizing a user included in an image captured by the image capturing unit 10. Moreover, the control part 100 communicates with another apparatus via the communication part 13, and performs information processing based on the information acquired by communication. The control unit 100 controls the irradiation unit 14 and the sound output unit 15 based on the results of these information processing. Details of the detailed configuration of the control unit 100 will be described with reference to FIG.
  • a CPU Central Processing Unit
  • circuitry circuitry
  • control unit 100 acquires a control command from an external device via the communication unit 13 and performs processing according to the acquired control command.
  • a process according to the acquired control command includes a preparation process for setting a command in the electronic control device 1. Details of setting processing for setting a command will be described later.
  • FIG. 4 is a schematic block diagram illustrating the configuration of the control unit 100 according to the present embodiment.
  • the control unit 100 includes an extraction unit 110, an operation determination unit 120, an association unit 130, a presentation unit 140, a command execution unit 150, an identification unit 160, a selection unit 170, and a setting processing unit 180.
  • the identification unit 160 may not be necessarily provided when it is not necessary to determine the feature amount of movement for each user.
  • the extraction unit 110 extracts the feature amount of the subject's movement from the image captured by the imaging unit 10.
  • user U1 FOG. 2
  • the extraction unit 110 detects the gesture or gesture of the user U1 from the image captured by the imaging unit 10.
  • the extraction unit 110 extracts the detected feature quantity of the user U1 and causes the storage unit 200 to store the extracted feature quantity of the user U1 motion.
  • the extraction unit 110 extracts the feature amount of the motion of the user U1 from the image captured by the imaging unit 10, and supplies the extracted feature amount of the motion of the user U1 to the operation determination unit 120.
  • the operation determination unit 120 determines an input operation based on the appearance frequency of a plurality of feature amounts extracted by the extraction unit 110.
  • the user sends a command (control command) to the electronic control device 1 to control the electronic control device 1 instead of operating the electronic control device 1 by touching the input means.
  • the operation for The operation determining unit 120 detects a predetermined operation and outputs the detection result as an input operation.
  • the operation determination unit 120 includes two types of functions having different purposes as functions for determining an input operation.
  • the first function is a function for performing an initialization process so that the operation determining unit 120 can easily determine an input operation.
  • the initialization process includes a training process of the operation determination unit 120 and the like.
  • the second function is a function for determining the input operation in real time based on the result of the initialization process by the first function.
  • the operation determination unit 120 reads out a plurality of feature amounts extracted by the extraction unit 110 and then stored in the storage unit 200, and the appearance frequency of the read out plurality of feature amounts Based on the above, the feature amount to be detected is selected.
  • the action determination unit 120 generates initialization information that allows the input action to be determined by associating the input action with the selected feature amount. For example, when selecting the above feature amount, the action determination unit 120 counts the appearance frequency with the feature amount having a time-series similarity equal to or higher than a predetermined value among the plurality of feature amounts as the same feature amount. May be. A technique such as cluster analysis may be used as the similarity determination. The details of the method for determining the input operation based on the appearance frequency of the plurality of feature values read out will be described later.
  • the operation determining unit 120 causes the storage unit 200 to store data relating to the determined input operation.
  • the motion determination unit 120 can calculate the plurality of feature amounts extracted from the plurality of feature amounts extracted by the extraction unit 110 based on the data related to the input motion stored in the storage unit 200. The input operation corresponding to the feature amount is determined. The operation determination unit 120 supplies the determined input operation to the instruction execution unit 150.
  • the associating unit 130 causes the storage unit 200 to store the input operation and any of a plurality of predetermined commands in association with each other.
  • the command is a command (command) for controlling the operation state of the electronic control device 1.
  • Each unit of the electronic control device 1 performs processing according to the command.
  • the input operation determined by the first function in the operation determination unit 120 and a plurality of predetermined commands are stored in the storage unit 200.
  • the associating unit 130 associates the determined input operation with a plurality of predetermined commands, and causes the storage unit 200 to store the result.
  • the presenting unit 140 presents the command candidates that the associating unit 130 associates with the input operation. For example, when a command candidate is presented by the presentation unit 140, the associating unit 130 associates the input operation with a command selected from the command candidates presented by the presentation unit 140 in the storage unit 200.
  • the instruction stored here can be used to control the electronic control unit 1.
  • the command execution unit 150 executes a command associated with the input operation among the plurality of commands stored in the storage unit 200 when the input operation is included in the image captured from the imaging unit 10. .
  • the associating unit 130 stores the input operation determined by the operation determining unit 120 and any one of a plurality of predetermined commands in the storage unit 200 in association with each other.
  • the command execution unit 150 outputs a command associated with the input operation by the association unit 130. Execute.
  • command execution unit 150 includes the identification information indicating the identified subject among the plurality of commands stored in the storage unit 200 and the input operation included in the image captured by the imaging unit 10.
  • the associated instruction may be executed.
  • the identification unit 160 identifies the subject of the image captured by the imaging unit 10. For example, the identification unit 160 may identify the user U1 of the image captured by the imaging unit 10. When identifying the user U1 of the image captured by the imaging unit 10, the associating unit 130 associates the identification information indicating the subject identified by the identifying unit 160, the input operation, and the command with the storage unit 200. May be stored.
  • the selection unit 170 selects an instruction corresponding to the input operation from the plurality of instructions based on the input operation. For example, for a plurality of commands stored in the storage unit 200, input operation candidates for selecting an input operation to be associated are predetermined for each command. The selection unit 170 selects an instruction corresponding to the input operation from among the input operation candidates that are appropriate for the input operation. Here, when the instruction corresponding to the input operation is selected by the selection unit 170, the associating unit 130 may associate the input operation with the selected instruction and store them in the storage unit 200.
  • the setting processing unit 180 sets data for causing each unit of the electronic control device 1 to function according to the voice detected by the sound input unit 12 or a control command acquired via the communication unit 13. In performing the above setting process, the setting processing unit 180 controls the presenting unit 140 so that the irradiation unit 14 displays desired information necessary for the setting process.
  • FIG. 5 is a flowchart illustrating an outline of processing of the electronic control device 1 according to the present embodiment. As shown in FIG. 5, the electronic control unit 1 performs processing in the following two steps.
  • step S10 the electronic control unit 1 performs a process of registering a command.
  • step S10 information necessary for the electronic control unit 1 is set in order to perform the subsequent processing.
  • the necessary information includes registration of commands used in the next stage.
  • step S20 the electronic control unit 1 performs the processing of the command registered in step S10 based on the user's operation.
  • FIG. 6 is a flowchart illustrating an outline of processing for registering a command in the electronic control apparatus 1 according to the present embodiment.
  • the control unit 100 registers a command in the storage unit 200 according to the following procedure.
  • the control unit 100 prepares for command registration according to the user's operation (step S110).
  • the control unit 100 extracts the feature amount of the subject movement from the image captured by the imaging unit 10 (step S130).
  • the control unit 100 classifies the user's action from the extracted feature amount (step S150).
  • the control unit 100 associates the classification result input operation with the command (step S170).
  • the control unit 100 registers a command in the storage unit 200 (step S190).
  • Step S110 Processing for command registration preparation
  • the control unit 100 acquires a control command from an external device via the communication unit 13 and performs processing according to the acquired control command. For example, the control unit 100 performs an initialization process for each data table in accordance with the acquired control command. As the initialization process, the control unit 100 provides data for identifying the user in the user table 210, data indicating a command (command) in the command table 240, and a screen for providing the user with the guidance information table 260. Data for display is stored.
  • Step S130 Processing for extracting a user's feature value when registering a command
  • the extraction unit 110 extracts the feature amount of the subject motion from the image captured by the imaging unit 10 and causes the storage unit 200 to store the extracted feature amount of the subject motion.
  • the extraction unit 110 detects the gesture or gesture of the user U1 from the image captured by the imaging unit 10.
  • the extraction unit 110 extracts the detected feature amount of the user U1 and causes the storage unit 200 (feature extraction history DB 220) to store the extracted feature amount of the user U1 motion.
  • the extraction unit 110 may perform a conversion process so that the feature amounts of each unit can be handled as data in a three-dimensional space, and model the feature amount of the motion of the user U1 in a three-dimensional manner.
  • the feature amount stored in the storage unit 200 may be a feature amount detected by modeling in three dimensions.
  • FIG. 7 is a table showing an example of feature extraction information stored in the feature extraction history DB 220 of the storage unit 200 of the present embodiment.
  • the feature extraction history DB 220 stores a user ID, a date and time, each feature amount (A11, A12, P13, P16), and an estimated motion ID in association with each other.
  • This user ID is information for identifying a user.
  • This date and time is information indicating the date and time when the feature is detected.
  • Each feature amount is information indicating the state of the feature point by defining a portion whose value changes according to the user's gesture as a feature point.
  • the feature amount includes information indicating the state of the left elbow corner A11, the right elbow corner A12, the left palm point P13, and the right palm point P16 as shown in FIG. .
  • the estimated motion ID is identification information indicating a motion estimated from each feature value.
  • the information of XX time ZZ of XX year YY month ZZ of the user having user ID U1 and XX time ZZ of the same day is shown as an example.
  • the state where the left elbow angle A11 is 175 degrees and the left palm point P13 is stationary on the body side at the time XX and YY is stored.
  • a state in which the left elbow angle A11 is 32 degrees and the left palm point P13 is stationary on the body side at XX hours and ZZ is stored.
  • the time from XX time YY minutes to XX time ZZ minutes is, for example, about 1 minute to several minutes.
  • a time zone including a desired feature amount is extracted from the time-series data recorded in this way. In other examples, different angles and different time intervals can be set.
  • FIG. 8 is a table showing an example of information defining the feature amount of the present embodiment. As shown in FIG. 8, as information defining the feature amount, an identification number (No), a posture, each feature amount (A11, A12, P13, P16), and a motion ID are associated.
  • information defining the feature amount an identification number (No)
  • a posture As shown in FIG. 8, as information defining the feature amount, an identification number (No), a posture, each feature amount (A11, A12, P13, P16), and a motion ID are associated.
  • the table shown in FIG. 8 exemplifies a case where the gesture shown in FIG. 2 is detected as a feature.
  • the identification numbers # 1 to # 6 are associated with the requirements for detecting the gesture shown in FIG.
  • basic postures A, B, and C are associated with # 1, # 3, and # 5, respectively.
  • # 2 is the posture for making a phone call as shown in FIG. 2 (a)
  • # 4 is the posture with arms folded as shown in FIG. 2 (b)
  • # 6 is the posture shown in FIG.
  • the presentation postures shown in (c) are associated with each other.
  • For the value of each feature amount refer to FIG. 2 described above. Note that the value of the feature amount can be determined in advance as an initial value. Further, the control unit 100 may set the same value based on the gesture of the user actually detected.
  • the motion ID is defined as follows.
  • the motion ID when changing from the basic posture A of # 1 to the posture of making a call of # 2 is set to MV01.
  • the motion ID when changing from the basic posture B of # 3 to the posture of arming # 4 is set to MV02.
  • the motion ID for changing from the basic posture C of # 5 to the posture of giving a presentation of # 6 is set to MV03.
  • the detected feature amount change is used as a motion ID. Can be shown.
  • the operation determination unit 120 performs an operation corresponding to the motion ID of the MV01, with the operation indicated by the information from the XX time YY to the XX time ZZ extracted by the extraction unit 110. Detect as.
  • Step S150 Processing for classifying actions from feature quantities when registering commands
  • the action determination unit 120 reads out a plurality of feature amounts stored in the feature extraction history DB 220 of the storage unit 200 after being extracted by the extraction unit 110, and operates based on the appearance frequency of the read out feature amounts.
  • Classify For example, in the motion classification processing, a clustering processing technique is applied to the motion ID of the motion detected in step S130. Depending on the method selected, the detailed procedure is slightly different.
  • a clustering method known as k-means is applied. For example, a value larger than the number of commands to be scheduled is set as the value of k.
  • the motion determination unit 120 classifies k clusters according to the feature of the motion by the k-average method.
  • the action determining unit 120 assigns the same label to the feature quantities classified into the same cluster, associates the label value assigned to the detected feature quantity with each detected feature quantity, and extracts the feature extraction history.
  • the feature quantity values representing the clusters are calculated.
  • the representative feature value is set to the average value of each action classified into the cluster.
  • the operation determining unit 120 stores the calculated representative value and data defining a range for determining the same cluster in the cluster information DB 230.
  • the technique by the clustering process is exemplified as an example, but another technique for performing machine learning on the feature quantity may be applied.
  • other methods include a method using a classifier such as Adaboost, a method using a neural network such as deep learning, a method using a support vector machine, and a method using a random forest.
  • Adaboost a discriminator such as Adaboost
  • the weight of the sample that was mistakenly identified is adjusted, and the accuracy rate of the discrimination processing after the next time is increased. Can do.
  • a technique using a neural network such as deep learning, it is possible to perform a process of extracting feature amounts by hierarchical processing.
  • the method using the support vector machine it is possible to define a surface (plane, line) that most correctly determines the above classification based on the classified feature amount (sample), and perform a determination based on the defined surface.
  • the random forest method it is possible to define a decision tree for identifying a feature quantity and perform a process of randomly selecting an attribute to be selected at each node of the decision tree. As described above, each method has its own characteristics. Several methods may be used to select one that can be correctly classified.
  • the operation determination unit 120 may be configured to be able to implement a plurality of methods, and the operation determination unit 120 may be configured to select the method that has been classified most correctly.
  • the operation determination unit 120 calculates the number of elements included in each cluster classified as described above. Here, the operation determination unit 120 selects a plurality of clusters having a large number of elements as operation candidates to be assigned to the command.
  • Step S170 Processing for associating an input operation when registering a command with a command
  • the associating unit 130 associates the input operation determined by the operation determining unit 120 as described above with any of a plurality of predetermined commands (commands).
  • a plurality of predetermined commands (commands) are stored in the command table 240 of the storage unit 200.
  • FIG. 9 is a table showing an example of information defining the command of this embodiment.
  • a command ID and information indicating a command are associated as information defining a command.
  • the command ID is identification information for identifying a command to be described later.
  • Information indicating a command is information indicating a process to be executed by the electronic control device 1 and is determined in advance. For example, a command whose identification information is CM01 is defined as “to make the environment suitable for a telephone”. Commands corresponding to other identification information shown in FIG. 9 are defined in the same manner.
  • Step S190 Processing for associating an input operation when registering a command with a command
  • the associating unit 130 associates the input operation determined by the operation determining unit 120 as described above with one of a plurality of commands (commands) determined in advance in the command table 240, and associates the result of the associating with the command table 250.
  • commands commands
  • FIG. 10 is a flowchart illustrating an outline of processing for causing the electronic control device 1 according to the present embodiment to execute a command.
  • the control unit 100 registers a command in the storage unit 200 according to the following procedure.
  • the control unit 100 performs a command execution preparation process in accordance with a user operation (step S210).
  • the control unit 100 extracts the feature amount of the subject movement from the image captured by the imaging unit 10 (step S230).
  • the control unit 100 classifies the user's action from the extracted feature amount (step S250).
  • the control unit 100 associates the classification result input operation with the command (step S270).
  • the control unit 100 executes the command registered in the storage unit 200 (step S290).
  • Step S230 Processing for extracting feature quantity of user when command is executed
  • the extraction unit 110 extracts the feature amount of the motion of the user U1 from the image captured by the imaging unit 10, and supplies the extracted feature amount of the motion of the user U1 to the operation determination unit 120.
  • Step S250 Processing for associating an input operation when executing a command with a command
  • the operation determination unit 120 determines an input operation corresponding to the selected cluster, and supplies the determined input operation to the instruction execution unit 150.
  • the cluster information DB 230 of the storage unit 200 stores feature value values representing clusters that are data related to input operations.
  • the action determination unit 120 selects a cluster corresponding to the plurality of feature amounts from the plurality of feature amounts extracted by the extraction unit 110 based on the feature amount values representing the clusters stored in the cluster information DB 230. To do.
  • the operation determination unit 120 determines an input operation corresponding to the selected cluster, and supplies the determined input operation to the instruction execution unit 150.
  • Step S270 Processing for executing registered command
  • the instruction execution unit 150 executes an instruction associated with the input operation among the plurality of instructions stored in the storage unit 200 in accordance with the input operation determined by the operation determination unit 120. For example, in the process of registering a command, the associating unit 130 associates the input operation determined by the operation determining unit 120 with any of a plurality of predetermined commands and stores them in the storage unit 200.
  • the instruction execution unit 150 executes a process according to the command stored in the storage unit 200 for the instruction associated with the input operation by the associating unit 130.
  • the action determination unit 120 detects a feature quantity having a time series similarity equal to or greater than a predetermined value from a plurality of feature quantities detected as time series data. A description will be given of detection of a feature amount having a similarity equal to or higher than a predetermined value.
  • the feature extraction history DB 220 stores feature amount data of the movement of the user U1 as time series data.
  • the feature extraction history DB 220 is information indicating the respective states of the left elbow corner A11, the right elbow corner A12, the left palm point P13, and the right palm point P16. Are stored as time-series data sampled at 1-minute intervals.
  • FIG. 11 is a diagram illustrating a relationship between a change in the left elbow angle A11 and a frequency distribution during a predetermined period.
  • the left elbow angle A11 shows a value in the vicinity of 180 degrees during the period up to time t11, and the left elbow angle from time t12 to t13.
  • A11 indicates a value near 30 degrees.
  • the left elbow angle A11 shows a value in the vicinity of 180 degrees during the period up to time t21, and a value in the vicinity of 80 degrees from time t22 to t23.
  • the example shown in FIG. 11A corresponds to a case where a telephone call is made between time t12 and t13 and a case where the arm is folded between time t22 and t23.
  • a period in which the same posture is taken such as from time t12 to t13 or from time t22 to t23
  • changes in numerical values indicated by sample points in that period are small.
  • the period in which the same posture is taken can be extracted by detecting the period in which the change in the numerical value indicated by the sample point is reduced.
  • the operation determining unit 120 calculates variance (or standard deviation) from numerical values indicated by a plurality of consecutive sample points, and the calculated variance (or standard deviation) value is calculated.
  • the period may be extracted by detecting a period that is smaller than a predetermined value.
  • the operation determination unit 120 may detect the transition between the classifications as described above by detecting the transition from one classification to another according to the sample value classification result.
  • FIG. 11C shows the frequency distribution of each sample point when the operation shown in FIG. 11A is detected.
  • the vertical axis represents the value of the left elbow angle A11
  • the horizontal axis represents the frequency at which the same value is detected.
  • a certain threshold value is set, and an angle region indicating a frequency equal to or higher than the threshold value is extracted.
  • the angle region including the sample points taking the numerical values in the vicinity of 30 degrees, 80 degrees, and 180 degrees is extracted.
  • the operation determination unit 120 can determine a feature amount having a time-series similarity that is equal to or greater than a predetermined value. From the determination result, the operation determination unit 120 determines the appearance frequency of sample points regarded as the same feature amount. Can be counted.
  • FIG. 12 is a scatter diagram of sample points with the set of the left elbow angle A11 and the right elbow angle A12 stored as time series data as variables.
  • a region where the density of sample points increases is generated in the regions indicated by the regions Z121 to Z126.
  • the left elbow angle A11 indicates the vicinity of 30 degrees
  • the right elbow angle A12 indicates the range from the vicinity of 130 degrees to the vicinity of 180 degrees.
  • the left elbow angle A11 indicates the vicinity of 30 degrees
  • the right elbow angle A12 indicates the range from the vicinity of 80 degrees to the vicinity of 120 degrees.
  • the right elbow angle A12 indicates the vicinity of 30 degrees
  • the left elbow angle A11 indicates the range from the vicinity of 130 degrees to the vicinity of 180 degrees.
  • the right elbow angle A12 indicates the vicinity of 30 degrees
  • the left elbow angle A11 indicates the range from the vicinity of 80 degrees to the vicinity of 120 degrees.
  • a region Z125 indicates a range in which the left elbow angle A11 and the right elbow angle A12 are both near 70 degrees and near 100 degrees.
  • a region Z126 indicates a range in which both the left elbow angle A11 and the right elbow angle A12 indicate values in the vicinity of 180 degrees.
  • Each area of the areas Z121 to Z126 corresponds to, for example, the following operation.
  • Region Z121 and region S122 correspond to the operation of making a call while supporting the handset (mobile terminal) with the left hand.
  • Region Z123 and region S124 correspond to the operation of making a call while supporting the handset (mobile terminal) with the right hand.
  • a region Z125 corresponds to the operation of arm folding.
  • Region Z126 corresponds to a state where the hand is lowered.
  • the left hand or the right hand is used as a hand to support the handset (mobile terminal) depends on the user's habits and the user's dominant hand. In the example shown in FIG. 12, the case of a user who mainly supports the handset (mobile terminal) with the left hand is shown.
  • the sample points are distributed in the region Z121 or the region Z123.
  • the sample points are distributed in the region Z122 or the region Z124. For example, the attitude when taking notes on the desk while making a phone call.
  • the operation determination unit 120 determines a feature amount having a time-series similarity equal to or higher than a predetermined value, and counts the appearance frequency of sample points regarded as the same feature amount based on the determination result.
  • the region shown in FIG. 12 can be extracted by performing clustering processing on the data of each sample point based on the operation history data.
  • the operation determining unit 120 may perform a clustering process and extract an operation frequently performed by the user based on the result.
  • the operation determination unit 120 can perform an operation detection process for determining whether the operation corresponds to the cluster using data indicating the range of each cluster obtained by the clustering process. For example, when it is detected that the sample point at time t11 is included in the region Z126 and the sample point at time t12 is included in any one of the regions Z121 to Z124, the user performs an operation of making a call. It can be determined that it has been performed.
  • the command corresponding to the posture is associated.
  • the action determining unit 120 determines an input action according to the appearance frequency of the extracted feature quantity, and determines the input action when the appearance frequency of the extracted feature quantity is equal to or higher than a first threshold value. As a result, when the extracted feature amount exceeds a predetermined frequency, a motion and a command can be tagged.
  • the action determining unit 120 determines the input action when the appearance frequency of the extracted feature value is equal to or higher than a first threshold value.
  • the operation determining unit 120 is configured such that when the appearance frequency of the extracted feature amount is less than a second threshold value that is greater than the first threshold value, The input operation may be determined.
  • a common action frequency is Excessive behavior
  • the action corresponding to the region Z126 corresponds to a posture in which both hands are lowered and a posture in which the user is standing.
  • Such a region Z126 corresponds to a region near 180 degrees in FIG.
  • two threshold values are defined as shown in FIG. 11C, a region near 180 degrees is excluded from motion candidates, and samples having values near 30 degrees and 80 degrees are taken. A point is a detection target.
  • the number of sample points included in each of the regions (clusters) shown in FIG. 12 is greater than the first threshold and less than the second threshold greater than the first threshold.
  • the operation determining unit 120 sets the input operation as a candidate for allocation.
  • the action determination unit 120 excludes an area (cluster) in which the number of sample points is equal to or greater than the second threshold from candidates for assigning input actions.
  • sample values sampled at a certain timing synchronized with each other may be collected and handled as a state vector.
  • the sample points shown in the scatter diagram are the state vectors at each timing.
  • FIGS. 13 and 14 an example of the feature amount of the action by the user's hand gesture will be described.
  • FIG. 13 is a schematic diagram illustrating another example of the feature amount of the operation detected by the electronic control device 1 of the present embodiment.
  • FIG. 14 is an explanatory diagram showing feature amounts of various operations by the hand movement exemplified in FIG.
  • FIG. 13 (a) is a diagram showing the operation of pointing at the wall surface.
  • the thumb T11 of the hand H11 is extended along the line L11
  • the index finger F11 is extended along the line L12.
  • the line L11 is a line whose angle formed with the line L12 is an angle R11.
  • the line L12 is a line from the hand H11 toward the wall surface.
  • the feature quantity of the hand gesture shown in FIG. 13A is set to the inner product IP11 of the unit vector toward the line L11 and the unit vector toward the line L12.
  • FIG. 13B is a diagram showing an operation of pointing at the desk.
  • the thumb T21 of the hand H21 is extended along the line L21
  • the index finger F21 is extended along the line L22.
  • the line L21 and the line L22 are lines from the hand H21 toward the desk.
  • the feature quantity of the hand gesture shown in FIG. 13B is set to an inner product IP21 of the unit vector toward the line L21 and the unit vector toward the line L22.
  • FIG. 13 (c) is a diagram illustrating an operation of placing an object on the hand.
  • the thumb T31 of the hand H31 is extended along the line L31
  • the index finger F31 is extended along the line L32.
  • the middle finger F32 is extended along the line L33
  • the ring finger F33 is extended along the line L34
  • the little finger F34 is extended along the line L35.
  • the feature quantity of the hand gesture shown in FIG. 13C is set to the inner product IP3 of the unit vector toward the line L31 and the unit vector toward the line L32.
  • inner products IP33 and IP34 of the unit vector toward the line L31 and the unit vectors toward the line L33 and the line L34 may be added as necessary.
  • FIG. 13 (d) is a diagram illustrating an operation of grasping an object by hand.
  • the thumb T41 of the hand H41 is extended along the line L41
  • the index finger F41 is extended along the line L42.
  • the middle finger F42 is extended along the line L43
  • the ring finger F43 is extended along the line L44
  • the little finger F44 is extended along the line L45.
  • the feature quantity of the hand gesture shown in FIG. 13D is set to an inner product IP41 of the unit vector toward the line L41 and the unit vector toward the line L42.
  • inner products IP43 and IP44 of the unit vector toward the line L41 and the unit vector toward the line L43 and the line L44 may be added as necessary.
  • the feature quantities of various actions by hand gestures can be expressed by the direction in which each finger is extended (or grasped).
  • the feature amount of various actions by hand gesture may be an inner product of vectors indicating directions in which each finger is stretched (or grasped).
  • description will be made using an inner product of a unit vector indicating the direction indicated by the thumb and a unit vector indicating the direction indicated by another finger in the same hand as the thumb.
  • the unit product IP1 indicating the direction indicated by the index finger
  • the inner product IP2 indicating the direction indicated by the middle finger
  • the unit indicating the direction indicated by the ring finger Description will be made using an inner product IP3 of vectors and an inner product IP4 of unit vectors indicating the direction indicated by the little finger.
  • the electronic control device 1 can be controlled based on the user's operation by the same method as in the first embodiment using any one or a plurality of operation feature quantities shown in FIG. 13 as variables.
  • FIG. 15 is a diagram illustrating an example of a display image based on the image file stored in the storage unit 200 according to the present embodiment.
  • Reference numeral 1500 shown in FIG. 15 denotes a display area.
  • a message 1510 that prompts the user to perform an operation and selection buttons 1520 and 1530 are displayed.
  • the selection button 1520 indicates “make the environment suitable for a telephone”, and the selection button 1530 indicates “start memo pad”.
  • the contents displayed on each operation button correspond to the item of “command” shown in FIG.
  • a message 1510 prompting the user to operate is displayed as “Present command candidates. Please select the command you want to associate with the operation.” It is configured to be.
  • FIG. 16 is a diagram illustrating an example of an instruction table for registering commands according to the present embodiment.
  • the instruction table 250 shown in FIG. 16 stores identification information (user ID) for identifying a user in association with each piece of information indicating a motion ID, appearance frequency, association candidate command ID, and command ID.
  • the appearance frequency indicates the number of times that the operation corresponding to the motion ID is identified.
  • the association candidate command ID indicates identification information for identifying a command candidate associated with an operation corresponding to the motion ID.
  • the command ID indicates command identification information set based on a command candidate corresponding to the association candidate command ID.
  • the operation of making a call (MV01) is detected 20 times, the operation of crossing arms (MV02) is detected 5 times, and the operation of giving a presentation ( It is stored that MV03) has been detected once.
  • the command candidate identified as CM01, CM02, and CM03 by the association candidate command ID is associated with the call operation (MV01), the arm crossing operation (MV02), and the presentation operation (MV03).
  • the associating unit 130 associates an input operation with a command (command).
  • the presentation unit 140 presents candidates for associating an input operation with a command (command) as in the display image illustrated in FIG. 15 described above.
  • the association unit 130 actually uses the command candidate indicated by the association candidate command ID according to the user's instruction. Register as a command to perform. For example, in setting the operation command corresponding to the motion ID (MV01) according to the guidance on the screen shown in FIG. 15, the selection button 1520 is operated, and the command extracted as the command candidate (CM01) is selected by the user. In this case, the associating unit 130 registers the same command (CM01) as the command that has been set as the command candidate as the command that can actually be used.
  • the control unit 100 may be configured integrally by sharing the optical system of the imaging unit 10 and the optical system of the irradiation unit 14 (an apparatus configured integrally is referred to as an imaging irradiation apparatus C1).
  • the control unit 100 may make the optical axis of the imaging unit 10 and the optical axis of the irradiation unit 14 the same.
  • FIG. 17 is a configuration diagram illustrating an example of the configuration of the imaging irradiation apparatus C1 according to the fourth modification of the present embodiment.
  • the imaging irradiation device C1 includes an irradiation light generation unit C112, an input / output light separation unit C131, an optical unit C132, and a solid-state imaging unit C141.
  • the irradiation light generation unit C112 generates light representing an image to be irradiated based on the control from the control unit 100, and outputs the generated light.
  • the input / output light separating unit C131 is provided on the optical path between the optical unit C132 and the irradiation light generating unit C112 and on the optical path between the optical unit C132 and the solid-state imaging unit C141.
  • the incoming / outgoing light separation unit C131 separates the optical path of the outgoing light emitted from the imaging irradiation apparatus C1 to the outside and the incident light incident on the imaging irradiation apparatus C1 from the outside.
  • the input / output light separation unit C131 transmits at least part of the light incident from the irradiation light generation unit C112 and reflects at least part of the light incident from the optical unit C132.
  • the input / output light separation unit C131 is, for example, a half mirror, and reflects a part of incident light and transmits a part thereof.
  • the imaging irradiation device C1 can share the optical unit C132 for irradiation and imaging.
  • the imaging irradiation apparatus C1 can make the optical axis of irradiation and imaging the same.
  • the optical unit C132 is composed of, for example, a plurality of lenses.
  • the solid-state imaging unit C141 is, for example, a CMOS (complementary metal oxide semiconductor) image sensor.
  • the light output from the irradiation light generation unit C112 passes through the input / output light separation unit C131 and is irradiated through the optical unit C132.
  • the light incident on the optical unit C132 from the outside of the imaging irradiation device C1 is reflected by the input / output light separating unit C131 and then reflected by the reflecting unit C140.
  • the light reflected by the reflection unit C140 enters the solid-state imaging unit C141, and is converted into data indicating an image by photoelectric conversion.
  • the imaging irradiation apparatus C1 can have the same optical axis for irradiation and imaging. Thereby, since the control part 100 can recognize the irradiated spot as it is with the captured image of the same optical axis, it can adjust a spot easily. Further, since the imaging irradiation apparatus C1 uses a common optical system, space can be saved and cost can be reduced as compared with the case where the optical system is not used in common. In addition, since the user is irradiated with light from the optical system, it may be difficult for the user to notice that the image is being captured. As a result, the user can use the electronic control device 1 without being conscious of being photographed by the camera.
  • the imaging irradiation apparatus C1 may have a function of independently focusing on irradiation and imaging.
  • the imaging irradiation apparatus C1 may be provided with a movable lens on the optical path between the optical unit C132 and the irradiation light generation unit C112.
  • the imaging irradiation device C1 may be configured such that a movable lens is provided on the optical path between the optical unit C132 and the solid-state imaging unit C141, or the solid-state imaging unit C141 is movable. Thereby, the imaging irradiation apparatus C1 can focus on each of irradiation and imaging.
  • the optical unit C132 may be, for example, a fisheye lens. Thereby, the electronic control apparatus 1 can irradiate in a wide range and can image in a wide range.
  • the electronic control unit 1 can estimate the user's intention according to the user's movement.
  • the motion detection accuracy can be increased by combining gesture and hand gesture.
  • the state vector XBk having n variables based on the feature amount of motion based on gesture and the state vector XHk having m variables based on the feature amount of motion based on hand gesture are expressed by Equations (1) and (2). Respectively. It is assumed that the variables of the state vector XBk and the state vector XHk are sampled in synchronization with the timing k.
  • each of the above variables is an inner product of the vectors.
  • each variable of the state vector XHk can be a scalar.
  • a combined state vector XMk obtained by combining the state vector XBk and the state vector XHk is defined as, for example, Expression (3).
  • the degree of the composite state vector XMk becomes (n + m) order.
  • the order of the vector is higher than when the state vector XBk and the state vector XHk are used alone, but the same processing as in the case of the multi-variable shown in the first embodiment. It can be processed using techniques.
  • the identification unit 160 identifies the user in the captured image based on the captured image input from the image conversion unit 120. That is, the identification unit 160 identifies the user based on the image captured by the imaging unit 10.
  • the identification unit 160 identifies the user based on the image captured by the imaging unit 10.
  • the identification unit 160 is based on the user's image and information indicating the user's feature amount stored in the storage unit 200. Identifies the user.
  • FIG. 18 is a table showing an example of information that defines the feature amount of the user according to the present embodiment.
  • identification information for identifying a user is associated with information indicating the characteristics of the user.
  • the data indicating the user's characteristics includes data for identifying an individual (characteristic value A) and a characteristic value to be used for detecting a command (characteristic value B).
  • data for specifying an individual includes items such as gender, dominant hand, age, height, facial features, and the like.
  • the feature quantities to be detected for commands include the above-described feature quantities (A11, A12, P13, P16, etc.), and each piece of data is associated with a motion ID.
  • the feature quantity stored in the storage unit 200 may be one or plural.
  • the identification unit 160 extracts a user image from the captured image and calculates a feature amount.
  • the identification unit 160 determines the degree of coincidence between the calculated feature amount and the user feature amount stored in the storage unit 200. The higher the degree of coincidence, the higher the probability that the user imaged by the imaging unit 10 is a registered user.
  • the identification unit 160 determines that the degree of coincidence is higher than a predetermined threshold value
  • the identification unit 160 outputs a user ID associated with information indicating the feature amount to the presentation unit 140.
  • the identification unit 160 does not output the user ID to the presentation unit 140 when it is determined that the degree of coincidence is a predetermined threshold value or less.
  • the identification unit 160 calculates the calculated feature amount for each feature amount. The degree of coincidence is determined. In this way, the identification unit 160 identifies that the user who uses the room R is a registered user. Thereby, when there is no registered user in the room R, the electronic control device 1 can prevent the image from being displayed.
  • the identification unit 160 in the above-described specific example, even if the material of the project P1 is placed on the desk TBL in the room R, if the user U1 is not in the room R, the project P1 is assigned. It is possible to prevent the display of related images. By providing the identification unit 160 in this way, the electronic control device 1 can prevent an image from being displayed for an unidentified user.
  • the identification part 160 demonstrated the example which does not output a user ID about the user who is not registered, it is not restricted to this.
  • the identification unit 160 can newly register this user. Specifically, the identification unit 160 determines that the degree of coincidence between the user feature amount extracted from the captured image and the user feature amount stored in the storage unit 200 is equal to or less than a predetermined threshold value. In this case, a new user ID is generated.
  • the identification unit 160 stores the generated user ID and information indicating the feature amount of the user extracted from the captured image in association with each other. Further, the identification unit 160 outputs the generated user ID to the acquisition unit 123. Thereby, the electronic control apparatus 1 can register the user who is not registered, without a user performing operation.
  • the extraction unit 110 extracts the feature amount of the subject's movement from the image captured by the imaging unit 10.
  • the action determination unit 120 determines an input action based on the appearance frequency of a plurality of feature amounts.
  • the associating unit 130 associates the input operation with any of a plurality of predetermined commands and causes the storage unit 200 to store them.
  • the command execution unit 150 executes a command associated with the input operation among the plurality of commands stored in the storage unit 200 when the input operation is included in the image captured from the imaging unit 10. To do.
  • the plurality of commands stored in the storage unit 200 include at least a command associated with an input operation.
  • the electronic control device 1 executes a command associated with the input operation among the plurality of commands stored in the storage unit 200. Thereby, the user's intention according to the user's movement can be estimated, and the process according to the estimated intention can be performed.
  • the identification unit 160 identifies the subject of the image captured by the imaging unit 10.
  • the associating unit 130 associates the identification information indicating the subject identified by the identifying unit 160, the input operation, and the command, and causes the storage unit 200 to store them.
  • the command execution unit 150 is associated with the identification information indicating the identified subject among the plurality of commands stored in the storage unit 200 and the input operation included in the image captured by the imaging unit 10. The instruction that is being executed is executed. Thereby, the electronic control unit 1 can execute a command associated with a different input operation for each user based on identification information such as a user ID.
  • the operation determination unit 120 sets the appearance frequency as the same feature amount by using, as the same feature amount, a feature amount having a time-series similarity equal to or greater than a predetermined value among the plurality of feature amounts. Count. Thereby, it is possible to detect the frequency of the feature amount at which the similarity in time series is equal to or greater than a predetermined value.
  • the action determining unit 120 determines the input action when the appearance frequency of the extracted feature value is equal to or higher than a first threshold value. Thereby, the frequency of the feature quantity with which the similarity in time series becomes a predetermined value or more is extracted, and the input operation is performed based on the feature quantity when the appearance frequency of the extracted feature quantity is equal to or more than the first threshold value. Can be determined.
  • the motion determining unit 120 has a case where the appearance frequency of the extracted feature quantity is less than a second threshold value that is greater than the first threshold value. Then, the input operation is determined. Thereby, the feature amount corresponding to the common posture can be excluded from the feature amount to be extracted, and the input operation can be easily detected.
  • the presentation unit 140 presents the command candidates that the associating unit 130 associates with the input operation.
  • the associating unit 130 causes the storage unit 200 to store the input operation and the command selected from the command candidates presented by the presentation unit 140 in association with each other. Accordingly, the user can associate the input operation with the command candidate indicated by the display presented by the presentation unit 140.
  • the selection unit 170 selects a command corresponding to the input operation from the plurality of commands based on the input operation.
  • the associating unit 130 associates the input operation and the selected command with each other and stores them in the storage unit 200. Thereby, the electronic control apparatus 1 can automatically tag the instruction selected by the selection unit 170 from among the plurality of instructions based on the input operation as an instruction corresponding to the input operation.
  • the electronic control device 1 is installed on the ceiling SL of the room R has been described, but the present invention is not limited thereto.
  • the electronic control apparatus 1 may be installed on the wall surface WL (for example, the wall surface WL3) of the room R, the upper surface of the desk TBL, or the like.
  • the ceiling SL, another wall surface WL (not shown) in the room R, or an object (not shown) in the room R may be the imaging area IA.
  • the ceiling SL, another wall surface WL (not shown) in the room R, or an object (not shown) in the room R may be the display area DA.
  • the program for realizing the control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed.
  • the “computer system” is a computer system built in the electronic control apparatus 1 and includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line,
  • a volatile memory inside a computer system that serves as a server or a client may be included that holds a program for a certain period of time.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • Each functional block of the electronic control unit 1 may be individually made into a processor, or a part or all of them may be integrated into a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. In addition, when an integrated circuit technology that replaces LSI appears due to the advancement of semiconductor technology, an integrated circuit based on the technology may be used.
  • the scatter diagram shown in FIG. 12 shows the case where two variables are used.
  • the coordinates of the space corresponding to the number of variables are defined and the same space is defined. It is possible to determine the similarity of the feature amount of the action from the distribution of the sample points at.
  • SYMBOLS 1 Electronic control apparatus, 10 ... Imaging part, 12 ... Sound input part, 13 ... Communication part, 14 ... Irradiation part, 15 ... Sound output part, 16 ... Power supply part, 100 ... Control part, 110 ... Extraction part, 120 Operation determining unit 130 ... Association unit 140 ... Presentation unit 150 ... Command execution unit 160 ... Identification unit 170 ... Selection unit 180 ... Setting processing unit 200 ... Storage unit C1 ... Imaging irradiation device, C112 ... Irradiation light generation unit, C131: input / output light separation unit, C132: optical unit, C141: solid-state imaging unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

電子制御装置は、画像を撮像する撮像部と、前記撮像部が撮像した画像から被写体の動きの特徴量を抽出する抽出部と、前記特徴量を複数取得して記憶する記憶部と、複数の特徴量の出現頻度に基づいて、入力動作を決定する動作決定部と、前記入力動作と予め定められた複数の命令のいずれかとを関連付けて記憶部に記憶させる関連付け部と、前記撮像部から撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する命令実行部と、を備える。

Description

電子制御装置、及び電子制御プログラム
　本発明は、電子制御装置、及び電子制御プログラムに関する。
　本願は、２０１５年８月６日に出願された日本特許出願２０１５－１５６００５号に基づき優先権を主張し、その内容をここに援用する。
　近年、様々な電子制御装置が知られている。例えば特許文献１には、室内の人間の動作を追跡して、その人間の行動や・意図を推定することが記載されている。
特開２００５－２４２７５９号公報
　しかしながら、特許文献１記載の技術では、人間の位置や方向を検出して、その情報を人間の行動・意図を推定する処理に利用する。人間の行動・意図の推定精度が、人間がいる位置や方位により制限される場合、推定した行動や意図に応じた処理を実施することが困難になる。
　本発明の一態様は、画像を撮像する撮像部と、前記撮像部が撮像した画像から被写体の動きの特徴量を抽出する抽出部と、前記特徴量を複数取得して記憶する記憶部と、複数の特徴量の出現頻度に基づいて、入力動作を決定する動作決定部と、前記入力動作と予め定められた複数の命令のいずれかとを関連付けて記憶部に記憶させる関連付け部と、前記撮像部から撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する命令実行部と、を備える電子制御装置である。
　本発明の別の態様は、コンピュータに、画像を撮像する撮像ステップと、前記撮像ステップにおいて撮像された画像から被写体の動きの特徴量を抽出する抽出ステップと、前記特徴量を複数取得して記憶する記憶ステップと、複数の特徴量の頻度に基づいて、入力動作を決定する動作決定ステップと、前記入力動作と、予め定められた複数の命令のいずれかの命令とを関連付けて記憶部に記憶させる関連付けステップと、前記撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のなかから、前記入力動作に関連付けられている命令を実行する命令実行ステップと、を実行させるための電子制御プログラムである。
本発明の実施形態に係る電子制御装置の一例を表す概略図である。 本実施形態の電子制御装置が検出する動作の特徴量の一例について示す模式図である。 本実施形態に係る電子制御装置の構成を示す概略ブロック図である。 本実施形態に係る制御部の構成を示す概略ブロック図である。 本実施形態に係る電子制御装置の処理の概略を示すフローチャートである。 本実施形態に係る電子制御装置にコマンドを登録する処理の概略を示すフローチャートである。 本実施形態に係る記憶部が記憶している画像ファイルの一例を示す表である。 本実施形態の特徴量を規定する情報の一例を示す表である。 本実施形態のコマンドを規定する情報の一例を示す表である。 本実施形態に係る電子制御装置にコマンドを実行させる処理の概略を示すフローチャートである。 本実施形態に係る左肘の角Ａ１１の変化と頻度分布の関係を示す図である。 左肘の角Ａ１１と右肘の角Ａ１２の組を変数とする標本点の散布図である。 本実施形態の変形例２の電子制御装置が検出する動作の特徴量の他の一例について示す模式図である。 本変形例として図１３に例示した手振りによる種々の動作の特徴量を示す説明図である。 本実施形態の変形例３に係る記憶部が記憶している画像ファイルに基づいた表示画像の一例を示す図である。 本変形例のコマンドを登録する命令テーブルの一例を示す図である。 本実施形態の変形例４に係る撮像照射装置の構成の一例を示す構成図である。 第３の実施形態のユーザの特徴量を規定する情報の一例を示す表である。
　以下、図面を参照しながら本発明の実施形態について詳しく説明する。
［第１の実施形態］
＜電子制御装置１の概要＞
　図１は、本発明の実施形態に係る電子制御装置１の一例を表す概略図である。電子制御装置１は、図１に示すように、部屋Ｒの天井ＳＬに設置されている。この電子制御装置１は、照射部１４を備えている。照射部１４は、光を照射することにより画像を生成する投射装置（プロジェクタ）として機能する。具体的には、照射部１４は、部屋Ｒ内の面の表示領域ＤＡに光を照射することにより、この表示領域ＤＡに画像を表示する。表示領域ＤＡの一例として、部屋Ｒの壁面ＷＬ１に設定される表示領域ＤＡ１と、壁面ＷＬ２に設定される表示領域ＤＡ２と、部屋Ｒの壁面ＷＬ３に設定される表示領域ＤＡ３と、部屋Ｒに置かれている机ＴＢＬの上面に設定される表示領域ＤＡ５とがある。この例において、照射部１４は、これら表示領域ＤＡ１～ＤＡ３とＤＡ５に光を照射することにより画像を表示する。このように、電子制御装置１は、照射部１４によって、部屋Ｒの壁面ＷＬや机ＴＢＬの上面に光を照射することによって、部屋Ｒの内部に画像を表示する。また、電子制御装置１は、表示する画像を変化させることにより、部屋Ｒを模様替えするように、部屋Ｒの内部の様子を変化させることもできる。
　ここで、電子制御装置１が、部屋Ｒの壁面ＷＬなどに表示する画像の具体例について説明する。この電子制御装置１が表示する画像とは、ユーザの属性に応じた画像である。この電子制御装置１が設置される部屋Ｒの一例としては、家庭の居室や、会社の執務室（オフィス）、学校の教室、店舗（例えば、カラオケ店）の個室などがある。ここでは、部屋Ｒがユーザの自宅の居室である場合を一例に説明する。
　この電子制御装置１は、部屋Ｒの中にいるユーザの動作の特徴量に基づいた画像を表示領域ＤＡに表示する。このユーザの動作とは、ユーザの身振りや手振りなどの行動によるものである。このユーザの動作には、電話を掛ける動作や腕を組む動作などの日常動作が含まれる。例えば、電子制御装置１は、動作の特徴量に基づいて、ユーザの身振りや手振りを検出し、検出したユーザの動作に応じた画像を表示領域ＤＡに表示する。以下、図２を参照して、ユーザの動作の一例について説明する。
＜電子制御装置１が検出する動作の特徴量について＞
　図２は、本実施形態の電子制御装置１が検出する動作の特徴量の一例について示す模式図である。図２（ａ）は、電話を掛ける動作を示す。ユーザＵ１が電話を掛ける動作を行う場合、一方の腕（この例においては、左腕）の掌が腰付近の体側で静止している状態から、肘が徐々に曲がることによって、掌が耳元まで移動して静止している状態に変化する。この肘の角度とは、肩の点Ｐ１１と肘の点Ｐ１２とを通る線分と、肘の点Ｐ１２と掌の点Ｐ１３とを通る線分とのなす角Ａ１１の角度である。一例において、電話を掛ける動作において、肘の角Ａ１１は、約１８０°から約３０°に変化する。すなわち、ユーザＵ１が電話を掛ける姿勢に姿勢を変える動作の特徴量は、動作を開始する前の時点において一方の腕の掌が体側にあること、姿勢を変えている動作中において肘の角度Ａ１１が約１８０°から約３０°に変化すること、姿勢を変える動作を経た後、電話をする姿勢（動作）を開始する時点において掌が耳元にあることである。電子制御装置１は、肩の点Ｐ１１、肘の点Ｐ１２、および掌の点Ｐ１３を検出した結果に基づいて掌の位置および肘の角度を推定する。また、電子制御装置１は、推定した掌の位置および肘の角度が示す動きの特徴量と、予め記憶されている電話を掛ける動きの特徴量とを比較することにより、ユーザＵ１の動作が電話を掛ける姿勢に姿勢を変える動作であるか否かを判定する。又は、電子制御装置１は、推定した掌の位置および肘の角度が示す動きの特徴量と、予め記憶されている電話を掛ける動きの特徴量とを比較することにより、ユーザＵ１の動作が電話を掛けている動作であるか否かを判定する。他の例において、別の角度が設定可能である。
　図２（ｂ）は、腕組みをする動作を示す。ユーザＵ１が腕組みをする動作を行う場合、一方の腕（この例においては、左腕）の掌が左の腰付近の体側で静止している状態から、左肘が徐々に曲がることによって、掌が胸元まで移動して静止している状態に変化する。また、他方の腕（この例においては、右腕）の掌が右の腰付近の体側で静止している状態から、右肘が徐々に曲がることによって、掌が胸元まで移動して静止している状態に変化する。この左肘の角度とは、左肩の点Ｐ１１と左肘の点Ｐ１２とを通る線分と、左肘の点Ｐ１２と左掌の点Ｐ１３とを通る線分とのなす角Ａ１１の角度である。右肘の角度とは、右肩の点Ｐ１４と右肘の点Ｐ１５とを通る線分と、右肘の点Ｐ１５と右掌の点Ｐ１６とを通る線分とのなす角Ａ１２の角度である。
　腕組みをする動作において、左肘の角Ａ１１は、例えば、約１８０°から約８０°に変化する。腕組みをする姿勢に姿勢を変える動作において、右肘の角Ａ１２は、例えば、約１８０°から約８０°に変化する。すなわち、ユーザＵ１が腕組みをする動作の特徴量は、動作開始時点において左掌が左の腰付近の体側にあること、動作中において左肘の角度Ａ１１が約１８０°から約８０°に変化すること、動作終了時点において左掌が胸元にあることである。ユーザＵ１が腕組みをする姿勢に姿勢を変える動作の特徴量は、動作開始時点において右掌が右の腰付近の体側にあること、動作中において右肘の角度Ａ１２が約１８０°から約８０°に変化すること、動作終了時点において右掌が胸元にあることである。電子制御装置１は、左肩の点Ｐ１１、左肘の点Ｐ１２、および左掌の点Ｐ１３を検出した結果に基づいて左掌の位置および左肘の角度を推定する。また、電子制御装置１は、右肩の点Ｐ１４、右肘の点Ｐ１５、および右掌の点Ｐ１６を検出した結果に基づいて右掌の位置および右肘の角度を推定する。また、電子制御装置１は、推定した左右の掌の位置および左右の肘の角度が示す動きの特徴量と、予め記憶されている腕組みをする動きの特徴量とを比較することにより、ユーザＵ１の動作が腕組みをする姿勢に姿勢を変える動作であるか否かを判定する。または、電子制御装置１は、推定した左右の掌の位置および左右の肘の角度が示す動きの特徴量と、予め記憶されている腕組みをする動きの特徴量とを比較することにより、ユーザＵ１の動作が腕組みをした姿勢をとっている動作であるか否かを判定する。他の例において、別の角度が設定可能である。
　図２（ｃ）は、聴衆に対する情報の提示（プレゼンテーション）をする動作を示す。ユーザＵ１がプレゼンテーションをする動作を行う場合、一方の腕（この例においては、右腕）の掌が右の腰付近の体側で静止している状態から、右肘が徐々に曲がることによって、右の掌が体幹の右前方まで移動して静止している状態に変化する。また、他方の腕（この例においては、左腕）の掌が左の腰付近の体側で静止している状態から変化しない。ここで右肘の角度とは、右肩の点Ｐ３１と右肘の点Ｐ３２とを通る線分と、右肘の点Ｐ３２と右掌の点Ｐ３３とを通る線分とのなす角Ａ３１の角度である。左肘の角度とは、左肩の点Ｐ３４と左肘の点Ｐ３５とを通る線分と、左肘の点Ｐ３５と左掌の点Ｐ３６とを通る線分とのなす角Ａ３２の角度である。
　プレゼンテーションをする姿勢に姿勢を変える動作において、右肘の角Ａ３２は、例えば、約１８０°から約６０°に変化する。また、プレゼンテーションをする姿勢に姿勢を変える動作において、左肘の角Ａ３１は、例えば、約１８０°から実質的に変化しない。すなわち、ユーザＵ１がプレゼンテーションをする姿勢に姿勢を変える動作の特徴量は、動作開始時点において右掌が右の腰付近の体側にあること、姿勢を変える動作中において右肘の角度Ａ３２が約１８０°から約６０°に変化すること、姿勢を変える動作終了時点において右掌が体幹の右前方にあることである。また、ユーザＵ１がプレゼンテーションをする動作の特徴量は、姿勢を変える動作開始時点から動作終了時点までにおいて左掌の位置が変化しないことである。電子制御装置１は、右肩の点Ｐ３４、右肘の点Ｐ３５、および右掌の点Ｐ３６を検出した結果に基づいて右掌の位置および右肘の角度を推定する。また、電子制御装置１は、左肩の点Ｐ３１、左肘の点Ｐ３２、および左掌の点Ｐ３３を検出した結果に基づいて左掌の位置および左肘の角度を推定する。また、電子制御装置１は、推定した左右の掌の位置および左右の肘の角度が示す動きの特徴量と、予め記憶されているプレゼンテーションをする動きの特徴量とを比較することにより、ユーザＵ１の動作がプレゼンテーションをする姿勢に姿勢を変える動作であるか否かを判定する。又は、電子制御装置１は、推定した左右の掌の位置および左右の肘の角度が示す動きの特徴量と、予め記憶されているプレゼンテーションをする動きの特徴量とを比較することにより、ユーザＵ１の動作がプレゼンテーションをしている動作であるか否かを判定する。他の例において、別の角度が設定可能である。
＜身振りによる制御の例＞
　上記に例示したように、ユーザの身振りによる動作の特徴量を用いて、室内の状態を制御する処理について説明する。
　例えば、図１に示す部屋Ｒの中にいるユーザＵ１が、ある行動を起こした場合に、電子制御装置１は、ユーザＵ１の行動に適した環境になるように部屋Ｒの環境を制御する。例えば、部屋Ｒで音楽（ＢＧＭ）、テレビやラジオの音声などを聞きながらユーザＵ１が作業をしている際にユーザＵ１が電話を受ける場合を想定する。このような場合に、部屋Ｒに流していた音楽（ＢＧＭ）、テレビやラジオの音声などの音量を下げることにより、部屋Ｒの環境が、通話がしやすい環境になる。そこで、電子制御装置１は、ユーザＵ１の電話をする身振りや手振りを検出して、通話をしやすい環境にするように、ユーザＵ１の身振りや手振りを検出した結果に応じて部屋Ｒの環境を整える。例えば、電子制御装置１は、部屋Ｒの環境を整えるために、部屋Ｒに流していた音楽（ＢＧＭ）やテレビの音声の音量を自動的に調整したり、部屋Ｒに流す音を自動的に止めたりする。これによりユーザＵ１は、自ら部屋Ｒの環境を調整するための操作を行うことなく、適切な音量に調整された環境のもとで通話を開始することができる。
　上記のように音声のみで通話する場合に限られず、更に通話先に画像を送るテレビ電話を利用して通話をする場合にも適用できる。例えば、テレビ電話を利用して通話をする場合、ユーザＵ１の背景に好みの画像が自動的に映り込むようにすることで、ユーザＵ１が通話する楽しみを高めたり、ユーザＵ１と通話している相手に好印象を与えたりすることができる。この場合、電子制御装置１は、ユーザＵ１の背景になる側の壁面に所望の画像を表示する。例えば、ユーザＵ１が壁面ＷＬ３に背を向けている場合、電子制御装置１は、壁面ＷＬ３に設定される表示領域ＤＡ３に、ユーザＵ１が好む所望の画像を表示する。これにより、ユーザＵ１は、表示領域ＤＡ３に表示した画像を背景にして、テレビ電話を行うことができる。
　さらに、表示する画像の候補を複数用意しておくことにより、候補として用意した画像の中から選択した画像を表示させることができる。電子制御装置１は、ユーザの身振りや手振りを検出した結果に応じて画像を選択したり、適宜切り替えたりしてもよい。例えば、電子制御装置１は、通話の相手、通話の内容を検出して、ユーザＵ１が置かれている状況を推定し、推定した状況を前述の検出した状況に代えてもよい。さらに、電子制御装置１は、在宅中に掛ってきた電話又は掛ける電話の相手先に応じて表示する画像を選択してもよい。例えば、予め登録されている連絡先に対応させて判定フラグを記憶部２００に設定しておき、設定した判定フラグに基づいて表示する画像を選択する。これにより、電話の相手先が連絡先に登録されている友人や親せきなどのように比較的かしこまらずに対応できる人と、連絡先に登録されているがかしこまって対応する人、連絡先に登録されていない人などを区別して、表示する画像を選択してもよい。
　また、例えば、部屋Ｒの中にいるユーザＵ１が会社員である場合には、電子制御装置１は、会社の執務室（オフィス）の画像を表示領域ＤＡに表示する。一例として、ユーザＵ１が会社員であって、あるプロジェクト（例えば、プロジェクトＰ１）に携わっている場合、電子制御装置１は、プロジェクトＰ１の資料が収納されている本棚の画像を表示領域ＤＡ１に、プロジェクトＰ１に関連する文章や図形が描かれたホワイトボードの画像を表示領域ＤＡ２と表示領域ＤＡ３にそれぞれ表示する。この場合、電子制御装置１は、プロジェクトＰ１に関連する資料の画像を表示領域ＤＡ５に表示する。これにより、ユーザＵ１は、あたかも会社の執務室の中に居るように感じることができ、また、机ＴＢＬの上に表示されている資料を読むことができる。このような状況の作業をしているユーザＵ１に電話がかかってきた場合に、電子制御装置１は、プロジェクトＰ１などの業務に関連する表示を中断して、一般的な壁紙などの他の画像を表示してもよい。
　＜動作の特徴量の検出について＞
　これまで、電子制御装置１が、ユーザＵ１の動作の特徴量に基づいて画像を調整する具体例について説明した。次に、電子制御装置１が、ユーザＵ１の動作の特徴量を検出する仕組みの概要について説明する。この電子制御装置１は、ユーザＵ１の動作の特徴量を検出することにより、ユーザＵ１の動作の特徴量に基づいた画像を表示領域ＤＡに表示する。この電子制御装置１は、様々な方法によってユーザＵ１の動作の特徴量を検出することができる。電子制御装置１がユーザＵ１の動作の特徴量を検出する方法の具体例について以下説明する。
　一例として、電子制御装置１は、部屋Ｒの中にいるユーザＵ１の画像に基づいて、ユーザＵ１の動作の特徴量を検出する。一例において、電子制御装置１は、図１に示すように、撮像部１０を備える。この撮像部１０とは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したカメラである。この撮像部１０は、部屋Ｒ内の面の撮像領域ＩＡを撮像して、撮像領域ＩＡ内の画像を生成する（イメージをキャプチャーする）。撮像領域ＩＡの一例として、図１に示すように、部屋Ｒの壁面ＷＬ１に設定される撮像領域ＩＡ１と、壁面ＷＬ２に設定される撮像領域ＩＡ２と、壁面ＷＬ３に設定される撮像領域ＩＡ３と、部屋Ｒに置かれている机ＴＢＬの上面に設定される撮像領域ＩＡ５とがある。また、撮像領域ＩＡの一例として、床面ＦＬに設定される撮像領域ＩＡ４がある。この例において、撮像部１０は、これら撮像領域ＩＡ１～ＩＡ５が撮像範囲に含まれるようにして、撮像領域ＩＡ１～ＩＡ５の画像を撮像する。撮像部１０が撮像した画像の中に、ユーザＵ１の画像が含まれている場合には、この画像に基づいてユーザＵ１の動作の特徴量を検出することができる。以下、撮像部１０が撮像した画像の中に、ユーザＵ１の画像が含まれている場合について説明する。
　電子制御装置１は、撮像部１０が撮像したユーザＵ１の画像を、モーションキャプチャ技術やパターンマッチング技術等によって処理することにより、ユーザＵ１の動作の特徴量を検出する。例えば、ユーザＵ１の特徴量は、３次元座標空間における位置、速度、加速度、角度、角速度などの情報として抽出する。その情報は、スカラー、ベクトルの何れか又は複数の組合せとする。
　＜電子制御装置１が提供する機能について＞
　次に、電子制御装置１がユーザに対して提供する機能の一例について説明する。この電子制御装置１は、表示領域ＤＡに所望の画像を表示する。この電子制御装置１が表示する画像を選択するオブジェクト選択機能について、表示領域ＤＡ１にプロジェクトＰ１の資料が収納されている本棚の画像が表示されている場合を例にして説明する。例えば、ユーザＵ１が本棚の資料の画像を指すように手を動かすと、電子制御装置１は、このユーザＵ１の動作を検出して、資料の画像を机ＴＢＬ上に表示する。これにより、電子制御装置１は、ユーザＵ１が資料を選択する動作をした場合に、あたかもユーザＵ１が資料を本棚から取り出して机の上に置いたかのようにして、選択された資料の画像を表示することができる。このように、電子制御装置１は、資料の画像などのオブジェクトを選択して、選択したオブジェクトの画像を表示するオブジェクト選択機能を提供する。
　この電子制御装置１が提供する情報は、上記のように画像を提供するだけに留まらない。前述のとおり、電子制御装置１は、音楽（ＢＧＭ）、テレビやラジオの音声などを部屋Ｒに流すことができる。
　＜電子制御装置１の構成例について＞
　図３は、本実施形態に係る電子制御装置１の構成を示す概略ブロック図である。図３に示すように、電子制御装置１は、撮像部１０、音入力部１２、制御部１００、記憶部２００、通信部１３、照射部１４、音出力部１５、および電力供給部１６を備えている。
　撮像部１０は、例えばカメラを備えており、実空間を撮像して、撮像した画像を制御部１００へ出力する。ここで、実空間とは、ある広さの面を有する空間であり、仮想空間に対する現実の空間である。この実空間には、屋外広場などの開空間や、屋内施設などの閉空間が含まれる。ある広さの面とは、画像が表示可能な表示面である。この面には、２次元の平面や、３次元の曲面が含まれる。音入力部１２は、例えばマイクを備えており、周囲の音を収音してデータに変換し、変換したデータを制御部１００へ出力する。通信部１３は、有線又は無線によって、他の装置と通信を行う。
　照射部１４は、例えばプロジェクタを備えており、制御部１００による制御に基づいて、光を照射する。なお、上述した撮像部１０と照射部１４とは、一体に構成されてもよい（図１０参照）。
　音出力部１５は、例えばスピーカを備えており、制御部１００による制御に基づいて、音を出力する。なお、音出力部１５は、指向性スピーカを備えていてもよい。この場合には、音出力部１５は、所定の指向特性を有する音を出力する。
　電力供給部１６は、内部又は外部の電源から電力を取得し、取得した電力を電子制御装置１の各部に供給する。電力供給部１６は、例えば部屋Ｒの壁面ＷＬに設置されているコンセントや、天井ＳＬに設置されている照明器具取り付け用ソケットを介して、電力を取得する。
　記憶部２００は、ＨＤＤ（Hard Disk Drive）などの記憶装置や半導体メモリなどの記憶素子を備えている。この記憶部２００は、制御部１００による演算結果を一時的に記憶する。また、この記憶部２００は、制御部１００による演算に用いられるデータテーブル等の情報を記憶している。
　例えば、記憶部２００は、ユーザテーブル２１０、特徴検出履歴ＤＢ２２０、クラスタ情報ＤＢ２３０、コマンドテーブル２４０、命令テーブル２５０、及び、案内情報テーブル２６０を記憶する。
　制御部１００は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）及び／又は（回路（circuitry））を備えており、撮像部１０及び音入力部１２から入力されたデータに基づいて情報処理を行う。例えば、制御部１００は、撮像部１０が撮像した画像に含まれる文字を認識する文字認識処理や、撮像部１０が撮像した画像に含まれるユーザを認識するパターンマッチング処理を行う。また、制御部１００は、通信部１３を介して他の装置と通信を行い、通信で取得した情報に基づいて情報処理を行う。制御部１００は、これらの情報処理の結果に基づいて、照射部１４及び音出力部１５を制御する。この制御部１００の詳細な構成の詳細について、図４を参照して説明する。
　なお、制御部１００は、通信部１３を介して外部の装置から制御指令を取得して、取得した制御指令に応じた処理を行う。例えば、取得した制御指令に応じた処理として、電子制御装置１にコマンドを設定するための準備処理などが挙げられる。コマンドを設定する設定処理の詳細については後述する。
　＜制御部１００について＞
　図４は、本実施形態に係る制御部１００の構成を示す概略ブロック図である。図４に示すように、制御部１００は、抽出部１１０、動作決定部１２０、関連付け部１３０、提示部１４０、命令実行部１５０、識別部１６０、選択部１７０、及び、設定処理部１８０を備えている。なお、動きの特徴量の判定をユーザ毎に行う必要が無い場合には、識別部１６０を必ずしも備えていなくてもよい。
　抽出部１１０は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出する。例えば、被写体としてユーザＵ１（図２）を例示する。抽出部１１０は、撮像部１０が撮像した画像からユーザＵ１の身振りや手振りを検出する。抽出部１１０は、検出されたユーザＵ１の動きの特徴量を抽出して、抽出したユーザＵ１の動きの特徴量を記憶部２００に記憶させる。また、抽出部１１０は、撮像部１０が撮像した画像からユーザＵ１の動きの特徴量を抽出して、抽出したユーザＵ１の動きの特徴量を動作決定部１２０に供給する。
　動作決定部１２０は、抽出部１１０によって抽出された複数の特徴量の出現頻度に基づいて、入力動作を決定する。上記の「入力動作」とは、ユーザが入力手段に触れて電子制御装置１を操作することに代えて、ユーザが電子制御装置１に指令（制御指令）を送り、電子制御装置１を制御するための動作を示す。動作決定部１２０は、予め定められた動作を検出して、その検出結果を入力動作として出力する。例えば、動作決定部１２０は、入力動作を決定する機能として、目的が異なる２種類の機能を備えている。第１の機能は、動作決定部１２０が入力動作を決定しやすくするための初期化処理をする機能である。例えば初期化処理には、動作決定部１２０のトレーニング処理などが含まれる。第２の機能は、第１の機能による初期化処理の結果に基づいて、実時間で入力動作を決定する機能である。
　例えば、上記の第１の機能として、動作決定部１２０は、抽出部１１０によって抽出された後、記憶部２００に記憶されている複数の特徴量を読み出して、読み出した複数の特徴量の出現頻度に基づいて、検出すべき特徴量を選択する。動作決定部１２０は、選択した特徴量に入力動作を対応付けることにより、入力動作を決定できるようにする初期化情報を生成する。例えば、上記の特徴量を選択する際に、動作決定部１２０は、前記複数の特徴量のうち、時系列での類似度が所定以上となる特徴量を、同じ特徴量として出現頻度を計数してもよい。類似度の判定として、クラスタ分析などの手法を利用してもよい。なお、読み出した複数の特徴量の出現頻度に基づいて、入力動作を決定する方法についての詳細は後述する。動作決定部１２０は、決定した入力動作に係るデータを記憶部２００に記憶させる。
　また、例えば、上記の第２の機能として、動作決定部１２０は、記憶部２００に記憶されている入力動作に係るデータに基づいて、抽出部１１０によって抽出された複数の特徴量から、その複数の特徴量に対応する入力動作を決定する。動作決定部１２０は、決定した入力動作を命令実行部１５０に供給する。
　関連付け部１３０は、入力動作と、予め定められた複数の命令のいずれかとを関連付けて記憶部２００に記憶させる。例えば、命令とは、電子制御装置１の動作状態を制御するコマンド（指令）のことである。電子制御装置１の各部はその命令に応じた処理を実施する。例えば、動作決定部１２０における第１の機能により決定された入力動作と予め定められた複数の命令は記憶部２００に記憶されている。関連付け部１３０は、決定された入力動作と予め定められた複数の命令とを関連付けて、その結果を記憶部２００に記憶させる。
　提示部１４０は、関連付け部１３０が前記入力動作と関連付ける前記命令の候補を提示する。例えば、提示部１４０によって命令の候補が提示された場合に、関連付け部１３０は、前記入力動作と、前記提示部１４０が提示した前記命令の候補から選択された命令とを関連付けて記憶部２００に記憶させる。ここで記憶させた命令が、電子制御装置１を制御するために利用できるものとなる。
　命令実行部１５０は、撮像部１０から撮像された画像に前記入力動作が含まれる場合、記憶部２００に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する。例えば、前述のとおり関連付け部１３０によって、動作決定部１２０により決定された入力動作と、予め定められた複数の命令のいずれかとを関連付けて記憶部２００に記憶されている。ここで、撮像部１０から撮像された画像から前記入力動作が動作決定部１２０の第２の機能により検出された場合、命令実行部１５０は、関連付け部１３０によって入力動作に関連付けられている命令を実行する。
　なお、命令実行部１５０は、記憶部２００に記憶されている複数の前記命令のうち、前記識別された前記被写体を示す前記識別情報と、撮像部１０が撮像した画像に含まれる入力動作とに関連付けられている命令を実行してもよい。
　識別部１６０は、撮像部１０が撮像した画像の前記被写体を識別する。例えば、識別部１６０は、撮像部１０が撮像した画像のユーザＵ１を識別してもよい。撮像部１０によって撮像された画像のユーザＵ１を識別する場合、関連付け部１３０は、識別部１６０によって識別された前記被写体を示す識別情報と、前記入力動作と、前記命令とを関連付けて記憶部２００に記憶させてもよい。
　選択部１７０は、前記入力動作に基づいて、前記複数の命令のなかから前記入力動作に対応する命令を選択する。例えば、記憶部２００に記憶されている複数の命令には、対応させる入力動作を選択するための入力動作の候補が命令ごとに予め定められている。選択部１７０は、当該入力動作に適する命令とされる入力動作の候補の内から、前記入力動作に対応する命令を選択する。ここで、選択部１７０によって入力動作に対応する命令が選択された場合に、関連付け部１３０は、前記入力動作と、前記選択された前記命令とを関連付けて記憶部２００に記憶させてもよい。
　設定処理部１８０は、音入力部１２によって検出された音声、又は、通信部１３を介して取得した制御指令に応じて、電子制御装置１の各部を機能させるためのデータを設定する。設定処理部１８０は、上記の設定の処理を実施するに当たり、提示部１４０を制御して、設定の処理に必要とされる所望の情報を照射部１４によって表示するように制御する。
　＜電子制御装置１の処理の概要について＞
　図１から図８を参照して、電子制御装置１において実施される処理の概要について説明する。図５は、本実施形態に係る電子制御装置１の処理の概略を示すフローチャートである。図５に示されるように、電子制御装置１は、次の２つのステップに分けて処理をする。
　先に、電子制御装置１は、コマンドを登録する処理を実施する（ステップＳ１０）。このステップＳ１０は、後段の処理を実施するために、電子制御装置１に必要な情報を設定する。必要な情報に、次段で使用するコマンドの登録が含まれる。次に、電子制御装置１は、ステップＳ１０において登録したコマンドの処理を、ユーザの動作に基づいて実施する（ステップＳ２０）。以下、電子制御装置１において実施される各種処理について説明する。
　＜電子制御装置１にコマンドを登録する処理の概要について＞
　図４に示す電子制御装置１にコマンドを登録する処理の概要について説明する。図６は、本実施形態に係る電子制御装置１にコマンドを登録する処理の概略を示すフローチャートである。制御部１００は、次の手順に従って、記憶部２００にコマンドを登録する。制御部１００は、ユーザの操作に応じてコマンドの登録準備の処理をする（ステップＳ１１０）。制御部１００は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出する（ステップＳ１３０）。制御部１００は、抽出した特徴量からユーザの動作を分類する（ステップＳ１５０）。制御部１００は、分類結果の入力動作をコマンドに関連付ける（ステップＳ１７０）。制御部１００は、記憶部２００にコマンドを登録する（ステップＳ１９０）。
　＜電子制御装置１にコマンドを登録する処理の詳細について＞
　次に、図４に示す電子制御装置１にコマンドを登録する際の各ステップの処理の詳細な一例について説明する。
　（ステップＳ１１０：コマンドの登録準備の処理について）
　コマンドの登録準備の処理について説明する。制御部１００は、通信部１３を介して外部の装置から制御指令を取得して、取得した制御指令に応じた処理を行う。例えば、制御部１００は、取得した制御指令に応じて、各データテーブルの初期化処理を実施する。その初期化処理として、制御部１００は、ユーザテーブル２１０にユーザを識別するためのデータを、コマンドテーブル２４０に命令（コマンド）を示すデータを、及び、案内情報テーブル２６０にユーザに提供する画面を表示させるためのデータをそれぞれ記憶させる。
　（ステップＳ１３０：コマンドを登録する際のユーザの特徴量を抽出する処理について）
　図７及び図８を参照して、ユーザの特徴量を抽出する処理について説明する。抽出部１１０は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出して、抽出した被写体の動きの特徴量を記憶部２００に記憶させる。例えば、被写体をユーザＵ１にした場合を例示する。抽出部１１０は、撮像部１０が撮像した画像からユーザＵ１の身振りや手振りを検出する。抽出部１１０は、検出されたユーザＵ１の動きの特徴量を抽出して、抽出したユーザＵ１の動きの特徴量を記憶部２００（特徴抽出履歴ＤＢ２２０）に記憶させる。なお、抽出部１１０は、各部の特徴量を３次元空間のデータとして扱えるように変換処理をして、ユーザＵ１の動きの特徴量を３次元にモデル化してもよい。記憶部２００（特徴抽出履歴ＤＢ２２０）に記憶する特徴量は、３次元にモデル化して検出された特徴量としてもよい。
　図７は、本実施形態の記憶部２００の特徴抽出履歴ＤＢ２２０が記憶する特徴抽出情報の一例を示す表である。図７に示すように、特徴抽出履歴ＤＢ２２０は、ユーザＩＤ、日時、各特徴量（Ａ１１、Ａ１２、Ｐ１３、Ｐ１６）、及び、推定動きＩＤを関連付けて記憶している。このユーザＩＤとは、ユーザを識別する情報である。この日時とは、特徴を検出した日時を示す情報である。この各特徴量とは、ユーザの身振りによって値が変化する部分を特徴点として定め、その特徴点の状態を示す情報である。例えば、この特徴量には、前述の図２に示したように左肘の角Ａ１１、右肘の角Ａ１２、並びに、左掌の点Ｐ１３、右掌の点Ｐ１６の状態を示す情報が含まれる。推定動きＩＤとは、各特徴量の値から推定される動きを示す識別情報である。例えば、ユーザＩＤをＵ１とするユーザのＸＸ年ＹＹ月ＺＺ日のＸＸ時ＹＹ分と同日のＸＸ時ＺＺ分の情報が例として示されている。このＸＸ時ＹＹ分において、左肘の角Ａ１１が１７５度、左掌の点Ｐ１３が体側で静止した状態が記憶されている。また、ＸＸ時ＺＺ分において、左肘の角Ａ１１が３２度、左掌の点Ｐ１３が体側で静止した状態が記憶されている。なお、ＸＸ時ＹＹ分からＸＸ時ＺＺ分までの時間は、例えば１分から数分程度とする。このように記録された時系列データから所望の特徴量が含まれている時間帯を抽出する。他の例において、別の角度、別の時間間隔が設定可能である。
　図８は、本実施形態の特徴量を規定する情報の一例を示す表である。図８に示すように、特徴量を規定する情報として、識別番号（Ｎｏ）、姿勢、各特徴量（Ａ１１、Ａ１２、Ｐ１３、Ｐ１６）、及び、動きＩＤが関連付けられている。
　図８に示す表は、前述の図２に示す身振りを特徴として検出する場合を例示するものである。識別番号の＃１から＃６に、前述の図２に示す身振りを検出するための要件を対応付けている。例えば、＃１、＃３、＃５に、基本姿勢Ａ、Ｂ、Ｃをそれぞれ対応付けている。また、＃２に、前述の図２（ａ）に示した電話をしている姿勢、＃４に、前述の図２（ｂ）に示した腕を組む姿勢、＃６に、前述の図２（ｃ）に示したプレゼンテーションをする姿勢をそれぞれ対応付けている。各特徴量の値については、前述の図２を参照する。なお、この特徴量の値は、初期値として予め定めることができる。また、制御部１００によって、同値を実際に検出されたユーザの身振りに基づいて設定してもよい。
　ここで、動きＩＤを下記のように定義する。＃１の基本姿勢Ａから＃２の電話をかける姿勢に変化する場合の動きＩＤをＭＶ０１にする。＃３の基本姿勢Ｂから＃４の腕組みをする姿勢に変化する場合の動きＩＤをＭＶ０２にする。＃５の基本姿勢Ｃから＃６のプレゼンテーションをする姿勢に変化する場合の動きＩＤをＭＶ０３にする。
　図８に示すように、各特徴量の変化に対応する動きＩＤを規定したことにより、ユーザの身振りから特定の特徴量の変化を検出した際に、検出した特徴量の変化を動きＩＤを用いて示すことができる。
　前述の図７に例示した場合によれば、動作決定部１２０は、抽出部１１０によって抽出されたＸＸ時ＹＹ分からＸＸ時ＺＺ分までの情報によって示される動作を、ＭＶ０１の動きＩＤに対応する動作として検出する。
（ステップＳ１５０：コマンドを登録する際の特徴量から動作を分類する処理について）
　動作決定部１２０は、抽出部１１０によって抽出された後、記憶部２００の特徴抽出履歴ＤＢ２２０に記憶されている複数の特徴量を読み出して、読み出した複数の特徴量の出現頻度に基づいて、動作を分類する。例えば、動作の分類の処理には、ステップＳ１３０において検出した動作の動きＩＤに対してクラスタリング処理の手法を適用する。選択する手法に応じて、詳細の手順が若干異なる。
　ここでは、動作を分類する際のクラスタの数を予め指定できる場合を例に挙げて説明する。上記の場合には、ｋ平均法として知られているクラスタリングの手法を適用する。例えば、予定するコマンドの数より大きい値をｋの値にする。例えば、動作決定部１２０は、ｋ平均法により、ｋ個のクラスタに、動作の特徴に応じて分類する。動作決定部１２０は、同じクラスタに分類された特徴量には、同じラベルを付与して、検出された特徴量に付与されたラベルの値を検出された特徴量ごとに関連付けて、特徴抽出履歴ＤＢ２２０に記憶させる。また、同じクラスタに分類されたそれぞれの動作の特徴量に基づいて、そのクラスタを代表する特徴量の値を算出する。例えば、この代表する特徴量の値を、当該クラスタに分類された各動作の平均値にする。動作決定部１２０は、算出した代表値、同じクラスタと判定するための範囲を定めるデータをクラスタ情報ＤＢ２３０に記憶させる。
　なお、特徴量からの動作の分類にあたり、クラスタリング処理による手法を一例として例示したが、特徴量に対する機械学習を実施する他の手法を適用してもよい。例えば、他の手法として、Adaboostなどの識別器を用いる手法、ディープラーニングなどのニューラルネットワークを用いる手法、サポートベクタマシンによる手法、ランダムフォレストによる手法などが挙げられる。Adaboostなどの識別器を用いる手法では、例えば、識別器が正しく識別した結果が間違っていた場合には、間違って識別した標本の重みづけを調整し、次回以降の識別処理の正解率を高めることができる。ディープラーニングなどのニューラルネットワークを用いる手法では、階層的な処理により特徴量を抽出する処理を実施できる。サポートベクタマシンによる手法では、分類された特徴量（標本）に基づいて、上記の分類を最も正しく判定する面（平面、線）を規定して、規定した面等に基づいた判定を実施できる。ランダムフォレストによる手法では、特徴量を識別するための決定木を定義して、決定木の各ノードで選択する属性をランダムに選択する処理を実施できる。上記のとおり各手法には、それぞれの特徴がある。幾つかの手法を試用して、正しく分類できるものを選択してもよい。動作決定部１２０を複数の手法を実施できるように構成し、最も正しく分類できた手法を、動作決定部１２０が選択するように構成してもよい。
　また、動作決定部１２０は、上記のように分類された各クラスタに含まれる要素の数を算出する。ここで、動作決定部１２０は、要素の数が多い複数のクラスタをコマンドに割り付ける動作の候補として選択する。
（ステップＳ１７０：コマンドを登録する際の入力動作をコマンドに関連付ける処理について）
　関連付け部１３０は、上記のようにして動作決定部１２０により決定された入力動作と、予め定められた複数の命令（コマンド）のいずれかとを関連付ける。予め定められた複数の命令（コマンド）は、記憶部２００のコマンドテーブル２４０に記憶されている。
　図９は、本実施形態のコマンドを規定する情報の一例を示す表である。図９に示すコマンドテーブル２４０には、コマンドを規定する情報として、コマンドＩＤとコマンドを示す情報とが関連付けられている。コマンドＩＤとは、後述のコマンドを識別する識別情報である。コマンドを示す情報とは、電子制御装置１に実行させる処理を示す情報であり、予め定められている。例えば、識別情報をＣＭ０１とするコマンドは、「電話に適した環境にする」こととして定められている。図９に示される他の識別情報に対応するコマンドも同様に定められている。
（ステップＳ１９０：コマンドを登録する際の入力動作をコマンドに関連付ける処理について）
　関連付け部１３０は、上記のようにして動作決定部１２０により決定された入力動作と、コマンドテーブル２４０に予め定められた複数の命令（コマンド）のいずれかとを関連付けて、関連付けた結果を命令テーブル２５０に記憶させる。
　＜電子制御装置１にコマンドを実行させる処理の概要について＞
　次に、図４に示す電子制御装置１にコマンドを実行させる際の各種処理について説明する。図１０は、本実施形態に係る電子制御装置１にコマンドを実行させる処理の概略を示すフローチャートである。
　制御部１００は、次の手順に従って、記憶部２００にコマンドを登録する。制御部１００は、ユーザの操作に応じてコマンドの実行準備処理をする（ステップＳ２１０）。制御部１００は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出する（ステップＳ２３０）。制御部１００は、抽出した特徴量からユーザの動作を分類する（ステップＳ２５０）。制御部１００は、分類結果の入力動作をコマンドに関連付ける（ステップＳ２７０）。制御部１００は、記憶部２００に登録されたコマンドを実行する（ステップＳ２９０）。
　＜電子制御装置１にコマンドを実行させる処理の詳細について＞
　次に、図４に示す電子制御装置１にコマンドを実行させる際の各ステップの処理の詳細な一例について説明する。
（ステップＳ２３０：コマンドを実行させる際のユーザの特徴量を抽出する処理について）
　抽出部１１０は、撮像部１０が撮像した画像からユーザＵ１の動きの特徴量を抽出して、抽出したユーザＵ１の動きの特徴量を動作決定部１２０に供給する。
（ステップＳ２５０：コマンドを実行させる際の入力動作をコマンドに関連付ける処理について）
　動作決定部１２０は、選択したクラスタに対応する入力動作を決定して、決定した入力動作を命令実行部１５０に供給する。例えば、前述のとおり記憶部２００のクラスタ情報ＤＢ２３０には、入力動作に係るデータであるクラスタを代表する特徴量の値が記憶されている。動作決定部１２０は、クラスタ情報ＤＢ２３０に記憶されているクラスタを代表する特徴量の値に基づいて、抽出部１１０によって抽出された複数の特徴量から、その複数の特徴量に対応するクラスタを選択する。動作決定部１２０は、選択したクラスタに対応する入力動作を決定して、決定した入力動作を命令実行部１５０に供給する。
（ステップＳ２７０：登録されたコマンドを実行させる処理について）
　命令実行部１５０は、動作決定部１２０において決定された入力動作に応じて、記憶部２００に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する。例えば、コマンドを登録する処理において、関連付け部１３０によって、動作決定部１２０により決定された入力動作と、予め定められた複数の命令のいずれかとを関連付けて記憶部２００に記憶されている。命令実行部１５０は、関連付け部１３０によって入力動作に関連付けられている命令を、記憶部２００に記憶されているコマンドに応じた処理を実行する。
　＜時系列データの類似性の判定処理について＞
　動作決定部１２０は、時系列データとして検出した複数の特徴量のうちから、時系列での類似度が所定以上となる特徴量を検出する。その類似度が所定以上となる特徴量の検出について説明する。
　特徴抽出履歴ＤＢ２２０は、ユーザＵ１の動きの特徴量のデータを時系列データとして記憶する。例えば、特徴抽出履歴ＤＢ２２０は、前述の図２に示したように左肘の角Ａ１１、右肘の角Ａ１２、並びに、左掌の点Ｐ１３、右掌の点Ｐ１６について、それぞれの状態を示す情報を１分周期でサンプリングされた時系列データとして記憶する。
　ここで、図１１を参照して、単変数を検出対象にした場合について、左肘の角Ａ１１を例にして説明する。図１１は、所定の期間の左肘の角Ａ１１の変化と頻度分布の関係を示す図である。一例において、図１１（ａ）に示すように左肘の角Ａ１１が、時刻ｔ１１までの期間において、左肘の角Ａ１１が１８０度近傍の値を示し、時刻ｔ１２からｔ１３において、左肘の角Ａ１１が３０度近傍の値を示す。その後、左肘の角Ａ１１が、時刻ｔ２１までの期間において、左肘の角Ａ１１が１８０度近傍の値を示し、時刻ｔ２２からｔ２３において、８０度近傍の値を示している。例えば、図１１（ａ）に示す例は、時刻ｔ１２からｔ１３までの間に電話をかけていた場合、時刻ｔ２２からｔ２３までの間に腕組みをしていた場合に対応する。時刻ｔ１２からｔ１３、又は、時刻ｔ２２からｔ２３のように同じ姿勢をとっていた期間にあたり、その期間の標本点が示す数値の変化が少なくなっている。このように、同じ姿勢をとっている期間を、標本点が示す数値の変化が少なくなる期間を検出することにより抽出できる。例えば、図１１（ｂ）に示すように、動作決定部１２０は、連続する複数の標本点が示す数値から分散（又は標準偏差）を算出して、算出した分散（又は標準偏差）の値が、予め定めた所定の値より小さくなった期間を検出することにより、上記の期間を抽出するようにしてもよい。又は、動作決定部１２０は、標本値の分類結果に応じて、ある分類から他の分類に遷移したことを検出することにより、上記のような分類間の遷移を検出するようにしてもよい。
　上記の図１１（ａ）に示す動作が検出された場合の各標本点の頻度分布を図１１（ｃ）に示す。図１１（ｃ）の縦軸に左肘の角Ａ１１の値、横軸に同値を検出した度数を示す。図１１（ｃ）に示されるように、３０度近傍と８０度近傍と１８０度近傍の数値をとる標本点が検出された度数が高いことが分かる。そこで、ある閾値を定め、その閾値以上の度数を示す角度領域を抽出する。ここでは、前述の３０度と８０度近傍と１８０度近傍の数値をとる標本点を含む角度領域が抽出される。抽出した角度領域のそれぞれにおいて、各角度領域のうちで局所的に頻度が高い角度、各角度領域の標本点が示す数値の平均値、又は、各角度領域の中央値などを当該角度領域の代表値にする。上記のように定めた代表値を基準にして、代表値から所定の範囲に含まれる標本点について、互いの類似度が所定以上になった標本点とする。このような方法により、動作決定部１２０は、時系列での類似度が所定以上となる特徴量について判定することができ、その判定の結果から、同じ特徴量とみなした標本点の出現頻度を計数することができる。
　次に、図１２を参照して、多変数を検出対象にした場合について説明する。以下の説明において、説明を簡略化するために２変数の場合として、左肘の角Ａ１１と右肘の角Ａ１２を例に挙げて説明する。図１２は、時系列データとして記憶した左肘の角Ａ１１と右肘の角Ａ１２の組を変数とする標本点の散布図である。図１２において、領域Ｚ１２１からＺ１２６に示す領域に標本点の密度が高くなる領域が生じている。例えば、領域Ｚ１２１は、左肘の角Ａ１１が３０度近傍を示し、右肘の角Ａ１２が１３０度近傍から１８０度近傍までの範囲を示す。領域Ｚ１２２は、左肘の角Ａ１１が３０度近傍を示し、右肘の角Ａ１２が８０度近傍から１２０度近傍までの範囲を示す。領域Ｚ１２３は、右肘の角Ａ１２が３０度近傍を示し、左肘の角Ａ１１が１３０度近傍から１８０度近傍までの範囲を示す。領域Ｚ１２４は、右肘の角Ａ１２が３０度近傍を示し、左肘の角Ａ１１が８０度近傍から１２０度近傍までの範囲を示す。領域Ｚ１２５は、左肘の角Ａ１１と右肘の角Ａ１２がともに７０度近傍から１００度近傍までの範囲を示す。領域Ｚ１２６は、左肘の角Ａ１１と右肘の角Ａ１２がともに１８０度近傍の値を示す範囲を示す。
　領域Ｚ１２１からＺ１２６の各領域は、例えば、次の動作に対応する。領域Ｚ１２１と領域Ｓ１２２は、左手で受話器（携帯端末）を支持して電話をする動作に対応する。領域Ｚ１２３と領域Ｓ１２４は、右手で受話器（携帯端末）を支持して電話をする動作に対応する。領域Ｚ１２５は、腕組みをする動作に対応する。領域Ｚ１２６は、手を下げた状態に対応する。
　受話器（携帯端末）を支持する手として左手を多く利用するか右手を多く利用するかは、ユーザの習慣やユーザの利き手に依存する。図１２に示す例では、主に左手で受話器（携帯端末）を支持するユーザの場合を示している。
　また、受話器（携帯端末）を支持して電話をする際に、ユーザが立った姿勢で電話をする場合には、領域Ｚ１２１又は領域Ｚ１２３に標本点が分布する。一方、ユーザが机を前にして着席した姿勢で電話をする場合には、領域Ｚ１２２又は領域Ｚ１２４に標本点が分布する。例えば、電話をしながら机上でメモをとる場合の姿勢が挙げられる。
　図１２に示すように、標本点の密度が高くなる領域を動作の履歴情報を用いて抽出することにより、抽出した領域に対応する動作をユーザが繰り返し実施していることを検出できる。また、領域Ｚ１２１からＺ１２６のように領域を定義することにより、時系列データを示す標本点の散布図上の位置が、時系列順に連続して互いに同じ領域内に留まる場合には、同標本点が示す動作の特徴量の時系列での類似度が所定以上となっているとみなすことができる。動作決定部１２０は、時系列での類似度が所定以上となる特徴量について判定して、その判定の結果から、同じ特徴量とみなした標本点の出現頻度を計数する。
　例えば、動作履歴データに基づいた各標本点のデータに対してクラスタリング処理をすることにより、図１２に示す領域を抽出することができる。動作決定部１２０は、クラスタリング処理を実施して、その結果に基づいて、ユーザが多く実施する動作を抽出してもよい。動作決定部１２０は、クラスタリング処理により得られた各クラスタの範囲を示すデータを利用して、当該クラスタに対応する動作であるか否かを判定する動作の検出処理を実施することができる。例えば、時刻ｔ１１の標本点が領域Ｚ１２６に含まれており、時刻ｔ１２の標本点が領域Ｚ１２１からＺ１２４の何れかの領域に含まれていることが検出できた場合、ユーザが電話をかける動作を行ったものと判定することができる。
　上記のように、多変数による処理にしたことにより、ユーザの動作の分類を実施しやすくできる。なお、上記の説明において、２つの変数を用いる処理について示したが、変数の個数や種類に制限はなく、検出する動作に応じて適したものを選択できる。
　また、上記のようにして、抽出した角度領域の値が検出された場合に、その姿勢に対応する命令を関連付ける。動作決定部１２０は、抽出された特徴量の出現頻度に応じて入力動作を決定するが、抽出された特徴量の出現頻度が第１のしきい値以上である場合に、前記入力動作を決定したことにより、抽出された特徴量が所定の頻度を超える場合に、動きとコマンドとをタグ付けすることができる。
　このような判定処理を実施することにより、ユーザがあまりとらない身振りや、検出しにくい身振りに対しては、コマンドを選択するための候補から外すことができる。
（第１の実施形態の第１変形例）
　上記の実施形態において、動作決定部１２０は、前記抽出された特徴量の出現頻度が第１のしきい値以上である場合に、前記入力動作を決定している。上記の実施形態の第１変形例として、動作決定部１２０は、前記抽出された特徴量の出現頻度が前記第１のしきい値よりも大きい第２のしきい値未満である場合に、前記入力動作を決定してもよい。このように、抽出された特徴量の出現頻度が前記第１のしきい値よりも大きい第２のしきい値未満である場合に、前記入力動作を決定することにより、ありふれた動作（頻度が高すぎる動作）を除外することができる。例えば、図１２の散布図において、領域Ｚ１２６にあたる動作は、両手を下げた姿勢に当たり、ユーザが立った姿勢であればというるものである。このような領域Ｚ１２６は、図１１（ｃ）の１８０度近傍の領域に当たる。
　そこで、単変数の場合は、図１１（ｃ）に示すように２つの閾値を定義して、１８０度近傍の領域を動作の候補から外して、３０度近傍と８０度近傍の数値をとる標本点を検出対象とする。
　また、多変数の場合は、図１２に示す領域（クラスタ）のうちで、それぞれの領域に含まれる標本点の個数が第１の閾値より多く、第１の閾値より大きい第２の閾値未満の領域（クラスタ）については、動作決定部１２０は、入力動作を割り付ける候補にする。それとともに、動作決定部１２０は、標本点の個数が第２の閾値以上の領域（クラスタ）については入力動作を割り付ける候補から外す。上記の処理により、図１２に示す領域（クラスタ）のうちで入力動作を割り付ける候補にする領域（クラスタ）は、領域Ｚ１２１からＺ１２５にする。
　なお、多変数の場合において、互いに同期するあるタイミングに標本化された各標本値を纏めて、状態ベクトルとして扱うようにしてもよい。この場合、散布図に示す標本点は、各タイミングの状態ベクトルになる。
（第１の実施形態の第２変形例）
　上記の第１の実施形態、同実施形態の第１変形例において、ユーザの身振りに基づいてコマンドを実行させる構成の一例について説明した。上記の第１の実施形態の第２変形例として、ユーザの手振りに基づいてコマンドを実行させる構成の一例について説明する。
　図１３と図１４を参照して、ユーザの手振りによる動作の特徴量の一例について説明する。
図１３は、本実施形態の電子制御装置１が検出する動作の特徴量の他の一例について示す模式図である。図１４は、図１３に例示した手振りによる種々の動作の特徴量を示す説明図である。
　このうち図１３（ａ）は、壁面を指差す動作を示す図である。ユーザが壁面を指差す動作を行う場合、手Ｈ１１の親指Ｔ１１が線Ｌ１１に沿って伸ばされ、人差し指Ｆ１１が線Ｌ１２に沿って伸ばされる。この線Ｌ１１とは、線Ｌ１２とのなす角度が角Ｒ１１である線である。また線Ｌ１２とは、手Ｈ１１から壁面に向かう線である。例えば、図１３（ａ）に示す手振りの特徴量を、線Ｌ１１に向かう単位ベクトルと線Ｌ１２に向かう単位ベクトルの内積ＩＰ１１にする。
　図１３（ｂ）は、机上を指差す動作を示す図である。ユーザが机上を指差す動作を行う場合、手Ｈ２１の親指Ｔ２１が線Ｌ２１に沿って伸ばされ、人差し指Ｆ２１が線Ｌ２２に沿って伸ばされる。この線Ｌ２１および線Ｌ２２とは、手Ｈ２１から机上に向かう線である。例えば、図１３（ｂ）に示す手振りの特徴量を、線Ｌ２１に向かう単位ベクトルと線Ｌ２２に向かう単位ベクトルの内積ＩＰ２１にする。
　図１３（ｃ）は、手に物を載せる動作を示す図である。ユーザが手に物を載せる動作を行う場合、手Ｈ３１の親指Ｔ３１が線Ｌ３１に沿って伸ばされ、人差し指Ｆ３１が線Ｌ３２に沿って伸ばされる。また、ユーザが手に物を載せる動作を行う場合、中指Ｆ３２が線Ｌ３３に、薬指Ｆ３３が線Ｌ３４に、小指Ｆ３４が線Ｌ３５にそれぞれ沿って伸ばされる。例えば、図１３（ｃ）に示す手振りの特徴量を、線Ｌ３１に向かう単位ベクトルと線Ｌ３２に向かう単位ベクトルの内積ＩＰ３にする。さらに、図１３（ｃ）に示す手振りの特徴量として、必要に応じて、線Ｌ３１に向かう単位ベクトルと線Ｌ３３、線Ｌ３４に向かう単位ベクトルの内積ＩＰ３３，ＩＰ３４を付加してもよい。
　図１３（ｄ）は、手で物をつかむ動作を示す図である。ユーザが手で物をつかむ動作を行う場合、手Ｈ４１の親指Ｔ４１が線Ｌ４１に沿って伸ばされ、人差し指Ｆ４１が線Ｌ４２に沿って伸ばされる。また、ユーザが手で物をつかむ動作を行う場合、中指Ｆ４２が線Ｌ４３に、薬指Ｆ４３が線Ｌ４４に、小指Ｆ４４が線Ｌ４５にそれぞれ沿って伸ばされる。例えば、図１３（ｄ）に示す手振りの特徴量を、線Ｌ４１に向かう単位ベクトルと線Ｌ４２に向かう単位ベクトルの内積ＩＰ４１にする。さらに、図１３（ｄ）に示す手振りの特徴量として、必要に応じて、線Ｌ４１に向かう単位ベクトルと線Ｌ４３、線Ｌ４４に向かう単位ベクトルの内積ＩＰ４３，ＩＰ４４を付加してもよい。
　上記の図１３にそれぞれ示すように、手振りによる種々の動作の特徴量は、各指が伸ばされる（または、握られる）方向によって表すことができる。例えば、手振りによる種々の動作の特徴量を、各指が伸ばされる（または、握られる）方向を示すベクトルの内積としてもよい。以下の説明では、親指が指す方向を示す単位ベクトルと、親指と同じ手にある他の指が指す方向を示す単位ベクトルの内積を用いて説明する。より具体的には、親指が指す方向を示す単位ベクトルに対し、人差し指が指す方向を示す単位ベクトルの内積ＩＰ１と、中指が指す方向を示す単位ベクトルの内積ＩＰ２と、薬指が指す方向を示す単位ベクトルの内積ＩＰ３と、小指が指す方向を示す単位ベクトルの内積ＩＰ４とを用いて説明する。
　上記の図１３に示す何れか又は複数の動作の特徴量を変数にして、第１の実施形態と同様の方法により、ユーザの動作に基づいて、電子制御装置１を制御することができる。
（第１の実施形態の第３変形例）
　上記の第１の実施形態、同実施形態の第１変形例と第２変形例とにおいて、各コマンドをユーザの身振り又は手振りに基づいて登録する構成の一例について説明した。前述の図１から図１６を参照して、上記の第１実施形態の第３変形例として、ユーザの操作に基づいてコマンドを登録する構成の一例について説明する。
　図１５は、本実施形態に係る記憶部２００が記憶している画像ファイルに基づいた表示画像の一例を示す図である。図１５に示す１５００は、表示領域を示す。表示領域１５００には、ユーザに操作を促すメッセージ１５１０と、選択ボタン１５２０と１５３０が表示されている。
　ここで、選択ボタン１５２０には「電話に適した環境にする」と示されており、選択ボタン１５３０には「メモ帳を起動する」と示されている。各操作ボタンに表示される内容は、前述の図９に示す「コマンド」の項目に対応するものである。
　また、表示領域１５００において、選択ボタン１５２０と１５３０の上方には、ユーザに操作を促すメッセージ１５１０として、「コマンドの候補を提示します。動作に関連付けたいコマンドを選択してください。」という表示がされるように構成されている。
　図４と図１６を参照して、コマンドを登録する構成例について説明する。図１６は、本実施形態のコマンドを登録する命令テーブルの一例を示す図である。図１６に示す命令テーブル２５０には、ユーザを識別する識別情報（ユーザＩＤ）に、動きＩＤ、出現頻度、関連付け候補コマンドＩＤ、コマンドＩＤを示す各情報を関連づけて記憶する。
　ユーザを識別する識別情報（ユーザＩＤ）は、前述の図７を参照する。動きＩＤは、前述の図８を参照する。出現頻度は、動きＩＤに対応する動作を識別した回数を示す。関連付け候補コマンドＩＤは、動きＩＤに対応する動作に対応付けられたコマンドの候補を識別する識別情報を示す。コマンドＩＤは、関連付け候補コマンドＩＤに対応するコマンドの候補に基づいて設定されたコマンドの識別情報を示す。
　一例において、図１６に示すように、ユーザＩＤをＵ１に対応するユーザについて、電話をする動作（ＭＶ０１）が２０回検出され、腕組みする動作（ＭＶ０２）が５回検出され、プレゼンテーションをする動作（ＭＶ０３）が１回検出されたことが記憶されている。
　電話をする動作（ＭＶ０１）、腕組みする動作（ＭＶ０２）、及びプレゼンテーションをする動作（ＭＶ０３）には、関連付け候補コマンドＩＤによりＣＭ０１，ＣＭ０２、ＣＭ０３として識別されるコマンドの候補が対応づけられている。
　関連付け部１３０が入力動作と命令（コマンド）とを関連付けることは前述したとおりである。提示部１４０は、前述の図１５に示した表示画像のように、入力動作と命令（コマンド）とを関連付けるための候補を提示する。
　ここで、前述の図１５に示す画面の案内に従って、ユーザがコマンドを選択する操作を行うことにより、関連付け部１３０は、ユーザの指示に従って、関連付け候補コマンドＩＤにより示されるコマンドの候補を実際に使用するコマンドとして登録する。例えば、図１５に示す画面の案内に従って動きＩＤ（ＭＶ０１）に対応する動作のコマンドを設定するにあたり、選択ボタン１５２０が操作され、コマンドの候補（ＣＭ０１）として抽出されていたコマンドがユーザによって選択された場合には、関連付け部１３０は、コマンドの候補とされていたコマンドと同じコマンド（ＣＭ０１）を実際に使用可能なコマンドとして命令テーブル２５０登録する。
（第１の実施形態の第４変形例）
　制御部１００は、撮像部１０の光学系と照射部１４の光学系を共通にして一体に構成してもよい（一体に構成された装置を撮像照射装置Ｃ１と称する）。例えば、制御部１００は、撮像部１０の光軸と照射部１４の光軸を同じにしてもよい。
　図１７は、本実施形態の変形例４に係る撮像照射装置Ｃ１の構成の一例を示す構成図である。図１７において、撮像照射装置Ｃ１は、照射光生成部Ｃ１１２、入出光分離部Ｃ１３１、光学部Ｃ１３２、及び固体撮像部Ｃ１４１を備える。
　照射光生成部Ｃ１１２は、制御部１００からの制御に基づいて、照射する画像を表す光を生成し、生成した光を出力する。
　入出光分離部Ｃ１３１は、光学部Ｃ１３２と照射光生成部Ｃ１１２の間の光路上であって、光学部Ｃ１３２と固体撮像部Ｃ１４１の間の光路上、に設けられている。入出光分離部Ｃ１３１は、撮像照射装置Ｃ１が外部へ出射する出射光と、外部から撮像照射装置Ｃ１へ入射する入射光の光路を分離する。例えば、入出光分離部Ｃ１３１は、照射光生成部Ｃ１１２から入射された光の少なくも一部を透過し、光学部Ｃ１３２から入射された光の少なくも一部を反射する。入出光分離部Ｃ１３１は、例えばハーフミラーであり、入射した光の一部を反射し、一部を透過する。これにより、撮像照射装置Ｃ１は、照射と撮像で光学部Ｃ１３２を共通にできる。また、撮像照射装置Ｃ１は、照射と撮像の光軸を同じにできる。
　光学部Ｃ１３２は、例えば複数枚のレンズで構成される。固体撮像部Ｃ１４１は、例えば、ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサである。
　照射光生成部Ｃ１１２から出力された光は、入出光分離部Ｃ１３１を透過し、光学部Ｃ１３２を介して照射される。一方、撮像照射装置Ｃ１の外部から光学部Ｃ１３２へ入射された光は、入出光分離部Ｃ１３１で反射された後、反射部Ｃ１４０で反射される。反射部Ｃ１４０で反射された光は、固体撮像部Ｃ１４１へ入射し、光電変換によって画像を示すデータに変換される。
　以上のように、撮像照射装置Ｃ１は、照射と撮像で光軸を同じできる。これにより、制御部１００は、照射したスポットを同じ光軸の撮像画像でそのまま認識できるので、スポットの調整を容易にできる。また、撮像照射装置Ｃ１は、光学系を共通にするので、光学系を共通にしない場合と比較して、スペースを省くことができ、また、コストを下げることができる。また、ユーザは、光学系から光が照射されているので、撮像されていることに気づき難い場合がある。これにより、ユーザは、カメラで撮影されていることを意識することなく、電子制御装置１を利用できる。
　なお、撮像照射装置Ｃ１において、照射と撮像で、独立して焦点を合わせる機能を有してもよい。例えば、撮像照射装置Ｃ１は、光学部Ｃ１３２と照射光生成部Ｃ１１２の間の光路上に可動レンズが設けられてもよい。また、撮像照射装置Ｃ１は、光学部Ｃ１３２と固体撮像部Ｃ１４１の間の光路上に可動レンズが設けられてもよいし、固体撮像部Ｃ１４１が可動である構成であってもよい。これにより、撮像照射装置Ｃ１は、照射と撮像各々で、焦点を合わせることができる。
　なお、光学部Ｃ１３２は、例えば魚眼レンズであってもよい。これにより、電子制御装置１は、広範囲に照射でき、広範囲で撮像できる。
　以上の実施形態において示したように、電子制御装置１は、ユーザの動きに応じたユーザの意図を推定できる
　（第２の実施形態）
　第１の実施形態の電子制御装置について、身振り又は手振りの何れか一方を利用する処理を例示した。この第２の実施形態では、前述の図１から図１０、図１２から図１５などを参照して、身振りと手振りの双方を組み合わせて利用する処理の一例について説明する。
　例えば、コマンドの種類が多い場合、又は、１つのコマンドを選択するために複数のステップを要する場合などでは、身振り又は手振りの何れか一方を利用して構成することができるコマンドの数が不足することが生じ得る。或いは、身振りと手振りを組み合わせることにより、動作の検出精度を高めることができる。
　身振りに基づいた動作の特徴量によるｎ個の変数を有する状態ベクトルＸＢｋと、手振りに基づいた動作の特徴量によるｍ個の変数を有する状態ベクトルＸＨｋとを、式（１）と式（２）にそれぞれ示す。状態ベクトルＸＢｋと状態ベクトルＸＨｋのそれぞれの変数は、タイミングｋに同期して標本化されたものとする。
　ＸＢｋ＝［ｘｂ１　・・・　ｘｂｎ］Ｔ　・・・（１）
　上記式（１）において、（ｘｂ１、・・・、ｘｂｎ）（但し、ｎは自然数）は、前述の図２に示したように左肘の角Ａ１１、右肘の角Ａ１２、並びに、左掌の点Ｐ１３、右掌の点Ｐ１６などの変数に対応し、タイミングｋ時点の数値を示す。添え字の「Ｔ」は、転置ベクトルを示す。
　ＸＨｋ＝［ｘｈ１　・・・　ｘｈｍ］Ｔ　・・・（２）
　上記式（２）において、（ｘｈ１、・・・、ｘｈｎ）（但し、ｍは自然数）は、前述の図１３に示したように各指が伸ばされる（または、握られる）方向を示すものとする。例えば、タイミングｋ時点の各指が伸ばされる（または、握られる）方向を示すベクトルを検出して、上記の各変数を、そのベクトルの内積にする。上記のとおり、内積を変数にした場合、状態ベクトルＸＨｋの各変数をスカラーにすることができる。
　ここで、状態ベクトルＸＢｋと状態ベクトルＸＨｋを合成した合成状態ベクトルＸＭｋを、例えば式（３）のように定義する。
　ＸＭｋ＝［ＸＢｋ　ＸＨｋ］Ｔ　・・・（３）
　上記のように定義したことにより、合成状態ベクトルＸＭｋの次数は、（ｎ＋ｍ）次になる。
　合成状態ベクトルＸＭｋを用いる場合には、状態ベクトルＸＢｋや状態ベクトルＸＨｋを単独で用いる場合に比べてベクトルの次数が高くなるが、第１の実施形態に示した多変数の場合の処理と同様の手法を用いて処理することができる。
　上記の本実施形態に示したようにベクトルの次数が高くなると、それに応じて演算処理の負荷が高くなる。ただし、上記に応じて各データを組み合わせて判定できるようになり、所望の動作を検出する精度を高めることができる。
　（第３の実施形態）
　第１の実施形態と第２の実施形態では、ユーザの動作を検出するにあたり、ユーザを特定することなく、各ユーザに共通の処理を実施していた。この第３の実施形態においては、前述の図１から図１０、図１２から図１８などを参照して、ユーザを特定する処理の一例について説明する。
　＜ユーザ認証処理について＞
　前述の図４に戻り、識別部１６０は、画像変換部１２０から入力された撮像画像に基づいて、撮像画像中のユーザを識別する。すなわち、識別部１６０は、撮像部１０が撮像した画像に基づいてユーザを識別する。以下、識別部１６０が行うユーザ識別処理の具体例について説明する。
　識別部１６０は、撮像部１０が撮像した画像にユーザの画像が含まれている場合に、そのユーザの画像と、記憶部２００が記憶しているユーザの特徴量を示す情報とに基づいて、ユーザを識別する。
　図１８は、本実施形態のユーザの特徴量を規定する情報の一例を示す表である。図１８に示すコマンドテーブル２４０には、ユーザを識別する識別情報（ユーザＩＤ）に、ユーザの特徴を示す情報を関連づけて記憶する。図１８に示すように、ユーザの特徴を示すデータには、個人を特定するためのデータ（特徴量Ａ）と、コマンドを検出するための対象にする特徴量（特徴量Ｂ）とが含まれる。例えば、個人を特定するためのデータには、性別、利き手、年齢、身長、顔の特徴などの項目が含まれる。コマンドを検出するための対象にする特徴量には、前述の各特徴量（Ａ１１、Ａ１２、Ｐ１３、Ｐ１６等）が含まれており、動きＩＤに各データが関連付けられている。
　上述したように、記憶部２００が記憶している特徴量は、１つであってもよく複数であってもよい。画像変換部１２０から撮像画像が入力されると、識別部１６０は、この撮像画像からユーザの画像を抽出して、特徴量を算出する。次に、識別部１６０は、算出した特徴量と、記憶部２００が記憶しているユーザの特徴量との一致度を判定する。この一致度が高いほど、撮像部１０が撮像したユーザが、登録済みのユーザである確率が高い。識別部１６０は、この一致度が所定のしきい値よりも高いと判定した場合には、この特徴量を示す情報に関連付けられているユーザＩＤを提示部１４０に出力する。また、識別部１６０は、この一致度が所定のしきい値以下であると判定した場合には、ユーザＩＤを提示部１４０に出力しない。また、記憶部２００が記憶している特徴量が、例えば、特徴量Ａ、特徴量Ｂのように複数ある場合には、識別部１６０は、これらの特徴量毎に、算出した特徴量との一致度を判定する。このようにして、識別部１６０は、部屋Ｒを利用するユーザが、登録済みのユーザであること識別する。これにより、電子制御装置１は、部屋Ｒの中に登録済みのユーザがいない場合には、画像を表示しないようにすることができる。この識別部１６０によれば、上述した具体例において、部屋Ｒの机ＴＢＬにプロジェクトＰ１の資料が置いてある場合であっても、ユーザＵ１が部屋Ｒの中にいない場合には、プロジェクトＰ１に関連する画像を表示しないようにすることができる。このように識別部１６０を備えることによって、電子制御装置１は、識別されないユーザに対して画像を表示しないようにすることができる。
　なお、識別部１６０は、登録されていないユーザについてはユーザＩＤを出力しない例について説明したがこれに限られない。例えば、識別部１６０は、登録されていないユーザが部屋Ｒの中にいる場合には、このユーザを新規に登録することもできる。具体的には、識別部１６０は、撮像画像から抽出されたユーザの特徴量と、記憶部２００が記憶しているユーザの特徴量との一致度が所定のしきい値以下であると判定した場合には、新たなユーザＩＤを生成する。次に、識別部１６０は、生成したユーザＩＤと撮像画像から抽出されたユーザの特徴量を示す情報とを関連付けて記憶する。さらに識別部１６０は、生成したユーザＩＤを取得部１２３に出力する。これにより、電子制御装置１は、ユーザが操作を行うことなく、登録されていないユーザを登録することができる。
　なお、上記実施形態（変形例含む）において、抽出部１１０は、撮像部１０が撮像した画像から被写体の動きの特徴量を抽出する。動作決定部１２０は、複数の特徴量の出現頻度に基づいて、入力動作を決定する。関連付け部１３０は、前記入力動作と予め定められた複数の命令のいずれかとを関連付けて記憶部２００に記憶させる。命令実行部１５０は、撮像部１０から撮像された画像に前記入力動作が含まれる場合、前記記憶部２００に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する。上記のように構成した電子制御装置１において、記憶部２００に記憶されている複数の前記命令には、少なくとも入力動作に関連付けられている命令がある。撮像部１０から撮像された画像に前記入力動作が含まれる場合、電子制御装置１は、記憶部２００に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行することにより、ユーザの動きに応じたユーザの意図を推定して、推定した意図に応じた処理を実施することができる。
　 また、上記のように構成した電子制御装置１において、識別部１６０は、前記撮像部１０が撮像した画像の前記被写体を識別する。関連付け部１３０は、識別部１６０によって識別された前記被写体を示す識別情報と、前記入力動作と、前記命令とを関連付けて記憶部２００に記憶させる。命令実行部１５０は、記憶部２００に記憶されている複数の前記命令のうち、前記識別された前記被写体を示す前記識別情報と、撮像部１０が撮像した画像に含まれる入力動作とに関連付けられている命令を実行する。これにより、電子制御装置１は、ユーザＩＤなどの識別情報に基づいて、ユーザ毎に異なる入力動作に関連付けられている命令を実行することができる。
　また、上記のように構成した電子制御装置１において、動作決定部１２０は、前記複数の特徴量のうち、時系列での類似度が所定以上となる特徴量を、同じ特徴量として出現頻度を計数する。これにより、時系列での類似度が所定以上となる特徴量の頻度を検出することができる。
　また、上記のように構成した電子制御装置１において、動作決定部１２０は、前記抽出された特徴量の出現頻度が第１のしきい値以上である場合に、前記入力動作を決定する。これにより、時系列での類似度が所定以上となる特徴量の頻度を抽出し、前記抽出された特徴量の出現頻度が第１のしきい値以上である場合の特徴量に基づいて入力動作を決定することができる。
　また、上記のように構成した電子制御装置１において、動作決定部１２０は、前記抽出された特徴量の出現頻度が前記第１のしきい値よりも大きい第２のしきい値未満である場合に、前記入力動作を決定する。これにより、ありふれた姿勢に対応する特徴量を、抽出対象の特徴量から除くことができ、入力動作の検出を容易にすることができる。
　また、上記のように構成した電子制御装置１において、提示部１４０は、関連付け部１３０が前記入力動作と関連付ける前記命令の候補を提示する。関連付け部１３０は、前記入力動作と、提示部１４０が提示した前記命令の候補から選択された命令とを関連付けて記憶部２００に記憶させる。これにより、ユーザは、提示部１４０が提示した表示により、その表示が示す命令の候補に、前記入力動作と関連付けることができる。
　また、上記のように構成した電子制御装置１において、選択部１７０は、前記入力動作に基づいて、前記複数の命令のなかから前記入力動作に対応する命令を選択する。関連付け部１３０は、前記入力動作と、前記選択された前記命令とを関連付けて記憶部２００に記憶させる。これにより、電子制御装置１は、前記入力動作に基づいて、選択部１７０が複数の命令のなかから選択した命令を、入力動作に対応する命令として自動でタグ付けすることができる。
　なお、具体例として、電子制御装置１が部屋Ｒの天井ＳＬに設置されている場合について説明したが、これに限られない。例えば、電子制御装置１は、部屋Ｒの壁面ＷＬ（例えば、壁面ＷＬ３）や、机ＴＢＬの上面などに設置されていてもよい。
　また、撮像領域ＩＡの例として、撮像領域ＩＡ１～ＩＡ５について説明したが、これに限られない。天井ＳＬや、部屋Ｒ内の不図示の他の壁面ＷＬ、または部屋Ｒ内の不図示の物体が撮像領域ＩＡであってもよい。
　また、表示領域ＤＡの例として、表示領域ＤＡ１～ＤＡ３について説明したが、これに限られない。天井ＳＬや、部屋Ｒ内の不図示の他の壁面ＷＬ、または部屋Ｒ内の不図示の物体が表示領域ＤＡであってもよい。
　なお、上述した実施形態における電子制御装置１の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、電子制御装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上述した実施形態における電子制御装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路（回路（circuitry））として実現してもよい。電子制御装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。また、一の実施形態と別の実施形態とを適宜組み合わせ可能である。
　例えば、図１２に示した散布図は、２つの変数を用いる場合について示したものであり、３つ以上の変数を用いる場合には変数の個数に応じた空間の座標を定義して、同空間における標本点の分布から動作の特徴量の類似度を判定することができる。
１…電子制御装置、１０…撮像部、１２…音入力部、１３…通信部、１４…照射部、１５…音出力部、１６…電力供給部、１００…制御部、１１０…抽出部、１２０…動作決定部、１３０…関連付け部、１４０…提示部、１５０…命令実行部、１６０…識別部、１７０…選択部、１８０…設定処理部、２００…記憶部、Ｃ１…撮像照射装置、Ｃ１１２…照射光生成部、Ｃ１３１…入出光分離部、Ｃ１３２…光学部、Ｃ１４１…固体撮像部

Claims (8)

  1. 　画像を撮像する撮像部と、
    　前記撮像部が撮像した画像から被写体の動きの特徴量を抽出する抽出部と、
    　前記特徴量を複数取得して記憶する記憶部と、
    　複数の特徴量の出現頻度に基づいて、入力動作を決定する動作決定部と、
    　前記入力動作と予め定められた複数の命令のいずれかとを関連付けて記憶部に記憶させる関連付け部と、
    　前記撮像部から撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のうち、前記入力動作に関連付けられている命令を実行する命令実行部と、
    　を備える電子制御装置。
  2. 　前記撮像部が撮像した画像の前記被写体を識別する識別部
    　を備え、
    　前記関連付け部は、
    　前記識別された前記被写体を示す識別情報と、前記入力動作と、前記命令とを関連付けて前記記憶部に記憶させ、
    　前記命令実行部は、
    　前記記憶部に記憶されている複数の前記命令のうち、前記識別された前記被写体を示す前記識別情報と、前記撮像部が撮像した画像に含まれる入力動作とに関連付けられている命令を実行する
    　請求項１に記載の電子制御装置。
  3. 　前記動作決定部は、
    　前記複数の特徴量のうち、時系列での類似度が所定以上となる特徴量を、同じ特徴量として出現頻度を計数する
    　請求項１または請求項２に記載の電子制御装置。
  4. 　前記動作決定部は、
    　前記抽出された特徴量の出現頻度が第１のしきい値以上である場合に、前記入力動作を決定する
    　請求項１から請求項３のいずれか一項に記載の電子制御装置。
  5. 　前記動作決定部は、
    　前記抽出された特徴量の出現頻度が前記第１のしきい値よりも大きい第２のしきい値未満である場合に、前記入力動作を決定する
    　を備える請求項４に記載の電子制御装置。
  6. 　前記関連付け部が前記入力動作と関連付ける前記命令の候補を提示する提示部
    　を備え、
    　前記関連付け部は、
    　前記入力動作と、前記提示部が提示した前記命令の候補から選択された命令とを関連付けて記憶部に記憶させる
    　請求項１から請求項５のいずれか一項に記載の電子制御装置。
  7. 　前記入力動作に基づいて、前記複数の命令のなかから前記入力動作に対応する命令を選択する選択部
    　を備え、
    　前記関連付け部は、
    　前記入力動作と、前記選択された前記命令とを関連付けて記憶部に記憶させる
    　請求項１から請求項６のいずれか一項に記載の電子制御装置。
  8. 　コンピュータに、
    　画像を撮像する撮像ステップと、
    　前記撮像ステップにおいて撮像された画像から被写体の動きの特徴量を抽出する抽出ステップと、
    　前記特徴量を複数取得して記憶する記憶ステップと、
    　複数の特徴量の頻度に基づいて、入力動作を決定する動作決定ステップと、
    　前記入力動作と、予め定められた複数の命令のいずれかの命令とを関連付けて記憶部に記憶させる関連付けステップと、
    　前記撮像された画像に前記入力動作が含まれる場合、前記記憶部に記憶されている複数の前記命令のなかから、前記入力動作に関連付けられている命令を実行する命令実行ステップと、
    　を実行させるための電子制御プログラム。
PCT/JP2016/073109 2015-08-06 2016-08-05 電子制御装置、及び電子制御プログラム WO2017022852A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017533136A JP6540809B2 (ja) 2015-08-06 2016-08-05 電子制御装置、及び電子制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-156005 2015-08-06
JP2015156005 2015-08-06

Publications (1)

Publication Number Publication Date
WO2017022852A1 true WO2017022852A1 (ja) 2017-02-09

Family

ID=57943198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/073109 WO2017022852A1 (ja) 2015-08-06 2016-08-05 電子制御装置、及び電子制御プログラム

Country Status (2)

Country Link
JP (1) JP6540809B2 (ja)
WO (1) WO2017022852A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053647A (ja) * 2017-09-19 2019-04-04 富士ゼロックス株式会社 行動推定装置及び行動推定プログラム
JP2021026710A (ja) * 2019-08-08 2021-02-22 株式会社デンソーアイティーラボラトリ 姿勢判別システム、姿勢判別方法、学習済みモデル生成方法、学習済みモデル生成プログラム、学習済みモデル更新方法、および学習済みモデル更新プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209773A (ja) * 2010-03-26 2011-10-20 Seiko Epson Corp ジェスチャ・コマンド処理装置、ジェスチャ・コマンド処理方法、およびプログラム
JP2012088881A (ja) * 2010-10-19 2012-05-10 Nippon Hoso Kyokai <Nhk> 人物動作検出装置およびそのプログラム
JP2013242651A (ja) * 2012-04-26 2013-12-05 Bank Of Tokyo-Mitsubishi Ufj Ltd 情報処理装置、電子機器およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209773A (ja) * 2010-03-26 2011-10-20 Seiko Epson Corp ジェスチャ・コマンド処理装置、ジェスチャ・コマンド処理方法、およびプログラム
JP2012088881A (ja) * 2010-10-19 2012-05-10 Nippon Hoso Kyokai <Nhk> 人物動作検出装置およびそのプログラム
JP2013242651A (ja) * 2012-04-26 2013-12-05 Bank Of Tokyo-Mitsubishi Ufj Ltd 情報処理装置、電子機器およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053647A (ja) * 2017-09-19 2019-04-04 富士ゼロックス株式会社 行動推定装置及び行動推定プログラム
JP7110568B2 (ja) 2017-09-19 2022-08-02 富士フイルムビジネスイノベーション株式会社 行動推定装置及び行動推定プログラム
JP2021026710A (ja) * 2019-08-08 2021-02-22 株式会社デンソーアイティーラボラトリ 姿勢判別システム、姿勢判別方法、学習済みモデル生成方法、学習済みモデル生成プログラム、学習済みモデル更新方法、および学習済みモデル更新プログラム

Also Published As

Publication number Publication date
JPWO2017022852A1 (ja) 2018-04-26
JP6540809B2 (ja) 2019-07-10

Similar Documents

Publication Publication Date Title
JP5456832B2 (ja) 入力された発話の関連性を判定するための装置および方法
EP1186162B1 (en) Multi-modal video target acquisition and re-direction system and method
JP2015526168A (ja) 拡張現実を制御するための方法および装置
CN112088402A (zh) 用于说话者识别的联合神经网络
US20160086023A1 (en) Apparatus and method for controlling presentation of information toward human object
CN111163906B (zh) 能够移动的电子设备及其操作方法
CN109166107A (zh) 一种医学图像分割方法及装置、电子设备和存储介质
JP2014513291A (ja) 動き分類器および環境光分類器からの機器位置推定
WO2018230160A1 (ja) 情報処理システム、情報処理方法、およびプログラム
EP3352051A1 (en) Information processing device, information processing method, and program
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
CN110096251B (zh) 交互方法及装置
JP2021125138A (ja) 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム
WO2017022852A1 (ja) 電子制御装置、及び電子制御プログラム
CN114779922A (zh) 教学设备的控制方法、控制设备、教学系统和存储介质
CN112632349A (zh) 展区指示方法、装置、电子设备及存储介质
TW200411627A (en) Robottic vision-audition system
Plizzari et al. An outlook into the future of egocentric vision
Xompero et al. The CORSMAL benchmark for the prediction of the properties of containers
CN109949721A (zh) 一种全息影像显示装置以及全息影像的显示控制方法
JP2015072602A (ja) 電子制御装置、電子制御方法、及び電子制御プログラム
Xu et al. Beyond two-stream: Skeleton-based three-stream networks for action recognition in videos
JP6708865B2 (ja) 顧客応対システム及び顧客応対方法
JP6155689B2 (ja) 認証装置及び認証方法
US10217379B2 (en) Modifying vision-assist device parameters based on an environment classification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16833131

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017533136

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16833131

Country of ref document: EP

Kind code of ref document: A1