WO2014041938A1 - 情報入力装置 - Google Patents

情報入力装置 Download PDF

Info

Publication number
WO2014041938A1
WO2014041938A1 PCT/JP2013/071796 JP2013071796W WO2014041938A1 WO 2014041938 A1 WO2014041938 A1 WO 2014041938A1 JP 2013071796 W JP2013071796 W JP 2013071796W WO 2014041938 A1 WO2014041938 A1 WO 2014041938A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
user
information input
image
foot
Prior art date
Application number
PCT/JP2013/071796
Other languages
English (en)
French (fr)
Inventor
昌史 井出
吉永　明生
Original Assignee
シチズンホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シチズンホールディングス株式会社 filed Critical シチズンホールディングス株式会社
Priority to JP2014535455A priority Critical patent/JPWO2014041938A1/ja
Publication of WO2014041938A1 publication Critical patent/WO2014041938A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices

Definitions

  • the present invention relates to an information input device, and more particularly to an information input device using a projected input image.
  • an information input device such as a remote control is generally used to input information for operating a television, a video, or the like.
  • a remote control is generally used to input information for operating a television, a video, or the like.
  • the remote controller or the like is placed is unknown, and when it is desired to use it, it cannot be used.
  • the movement of a finger on an image is determined by detecting the finger from the image read by the imaging unit by edge detection and then moving from the top to the bottom of the finger, that is, the finger on the surface on which the image is projected. Detecting contact.
  • a wearable gesture interface for inputting is known (see, for example, Patent Document 2).
  • the computer analyzes the image captured by the camera, tracks the movement of the instrument attached to the user's fingertip, and determines whether there is an input corresponding to the dial pad. Has been. Further, since the image from the projector is projected after being reflected by the mirror, the projection location can be changed by the user manually changing the position of the mirror.
  • Non-Patent Document 1 a system is known in which a palm is detected within a predetermined area where an image can be projected, and the contents of stars, haiku, and a pictorial book are projected onto the detected palm (see, for example, Non-Patent Document 1).
  • the projection direction of the projector is fixed, but since the projection is always performed on the entire predetermined area, the image is displayed only on the detected palm portion. .
  • an electronic music stand that enables a pedal to give instructions to turn a musical score on a display panel on which a musical score is displayed (for example, Patent Document 3).
  • Patent Document 3 an instruction to turn a musical score is given by an actual pedal connected to an electronic music stand with a cable.
  • the gesture interface described in Patent Document 2 has a problem that the user has to wear a device including a projector and the like, and the operation is troublesome as compared with a normal remote control.
  • Non-Patent Document 1 since the projection direction of the projector is fixed, in order to display an image on the detected palm, a large projector capable of projecting the entire predetermined area must be used. I had to.
  • an object of the present invention is to provide an information input device that can solve the above-mentioned problems.
  • the present invention provides an information input device that can track the user's foot, change the projection position of the input image, and detect information input to the input image by the user's foot. Objective.
  • the information input device includes a projection unit that projects an input image, a projection position change unit that changes a projection position of the input image, a detection sensor that detects a position of a user's foot, and a user's detected by the detection sensor. And a control unit that controls the projection position changing unit so that the input image tracks the position of the foot, and that determines an input operation by the user's foot and detects information input by the input image.
  • the detection sensor includes a depth sensor
  • the control unit calculates the distance from the projection surface onto which the input image is projected to the user's foot based on the depth data from the depth sensor. It is preferable to determine the input operation by the user's foot based on the determined distance.
  • control unit detects a tap by the user's foot based on the distance and determines whether or not an input operation has been performed.
  • control unit detects the information input by the input image when it is determined that the input operation by the user's foot is performed on the projected input screen.
  • control unit detects an information input by an input image when it is determined that an input operation with a user's foot is performed around the projected input screen.
  • control unit outputs an operation signal corresponding to the information input by the input image to an external device.
  • control unit controls the operation signal not to be output to an external device when it is determined that the input operation has been performed a predetermined number of times within a predetermined time.
  • control unit specifies an object in the detection region using detection data from the detection sensor, and detects the user's foot from the curvature of the specified object.
  • the input image is preferably a light spot for illuminating the dummy switch.
  • the information input device it is possible to project an input image so as to detect the user's foot and track the user's foot, and to input information to the input image based on the detected motion of the user's foot. Therefore, it is possible to input information easily and easily without wearing a specific device.
  • FIG. 1 is a perspective view showing an appearance of an irradiation detection device 10.
  • FIG. 1 is a block diagram showing a schematic configuration of an information input device 1.
  • FIG. It is a figure which shows an example of the control flow for an initial setting. It is a figure which shows an example of the image which the RGB imaging part 21 imaged. 4 is a diagram for explaining depth data in a detection region 80.
  • FIG. (A)-(c) is a figure which shows the example of the image for an input which the irradiation part 30 projects. It is a figure which shows an example of the control flow in the information input device.
  • FIG. 1 It is an example of an image based on the RGB data which the control apparatus 50 acquired by S21. It is a figure for demonstrating the tracking of the image for input 70.
  • FIG. It is a figure for demonstrating the tap of the front-end
  • FIG. 1 is a diagram showing an example in which the information input device 1 is applied to playing a musical instrument.
  • the information input device 1 includes an irradiation detection device 10 and a control device 50.
  • the musical instrument 60 played by the user is connected to the control device 50 by a chord 66.
  • a musical tone signal from the musical instrument 60 (for example, an electric guitar or an electric acoustic guitar) is given a predetermined effect by the control device 50, is input to the amplifier 61 as a corrected musical tone signal, and is output from the speaker 62 connected to the amplifier 61. Is done.
  • the irradiation detection device 10 is disposed below the music stand 65, and the irradiation detection device 10 is connected to the control device 50 by a cable 67.
  • the irradiation detection device 10 projects an effector image 81 in a detection region 80 where detection is performed on a stage, floor, ground, or the like.
  • the irradiation detection device 10 detects it, and the control device 50 detects the instrument 60.
  • the same effect as that of the effector is applied to the musical tone signal from the output signal to the amplifier 61.
  • the effect signal 81 projected on the tip position of the user's shoe is used to convert the musical sound signal from the instrument 60 into the same manner as the actual effector. It is possible to give effects.
  • FIG. 2 is a perspective view showing an appearance of the irradiation detection device 10
  • FIG. 3 is a block diagram showing a schematic configuration of the information input device 1.
  • the irradiation detection device 10 includes a detection unit 20, an irradiation unit 30, a pan head 40, and the like, is fixed to a music stand 65, and is covered with a dome-shaped cover 11 made of a transparent plastic material. Yes.
  • the detection unit 20 includes an RGB imaging unit 21, an infrared camera 22, an infrared irradiation light emitting unit 23, and the like.
  • the RGB imaging unit 21 captures an image in the detection area, and outputs RGB data and position coordinate data for each pixel of the captured image.
  • the infrared camera 22 receives reflected light reflected by an infrared ray irradiated from the infrared irradiation light emitting unit 23 from an object existing in the detection region 80, and depth data for each pixel of the captured image (infrared camera 22 and pixel (Data corresponding to the distance between). Note that the RGB imaging unit 21 and the infrared camera 22 are set to have the same resolution in the same detection area 80.
  • the irradiation unit 30 is composed of a micro projector using RGB light emitting lasers, and is attached to the second rotation unit 43 of the pan head 40. In accordance with the image data received from the control device 50, the irradiation unit 30 projects the input image 70 including the input image onto the detection area 80 (stage, floor, ground, etc.). If a predetermined input image 70 can be projected, an irradiation unit other than a micro projector using RGB light emitting lasers can be used.
  • the pan head 40 includes a base 41, a first rotating part 42 that rotates in the ⁇ direction by a first motor 45, a second rotating part 43 that rotates in the ⁇ direction by a second motor 46, and the like.
  • the control device 50 is an I / O for transmitting / receiving data to / from the CPU 51, the RAM 52, the ROM 53, the detection unit 20, the irradiation unit 30, the pan head 40, and the performance device (for example, the musical instrument 60 and the amplifier 61).
  • etc., Are comprised.
  • the control device 50 detects that the user has tapped the input image 70 projected in the detection region 80 at the tip position of the shoe, and the musical tone signal from the instrument 60 is detected. Then, a modified tone signal with a predetermined effect is output to the amplifier 61.
  • the control device 50 is configured to control the first motor 45 and the second motor 46 based on the control data so as to project the input image 70 onto a desired position on the detection region 80.
  • the control device 50 may have another recording medium such as an HD.
  • the control device 50 controls the first motor 45 to rotate the first rotating unit 42 in the ⁇ direction, the input image 70 moves in the direction of arrow A.
  • the control device 50 controls the second motor 46 to rotate the second rotating unit 43 in the ⁇ direction, the input image 70 moves in the direction of the arrow B.
  • a signal line for exchanging RGB data, position coordinate data, depth data, image data, and control data shown in FIG. 3 between the irradiation detection device 10 and the control device 50 is built in the cable 67. Note that data transmission / reception between the irradiation detection apparatus 10 and the control unit 50 may be performed wirelessly.
  • FIG. 4 is a diagram illustrating an example of a control flow for initial setting.
  • the control flow shown in FIG. 4 is executed by the CPU 51 of the control device 50 controlling the detection unit 20, the irradiation unit 30, and the pan head 40 according to a program stored in advance in the ROM 53 of the control device 50.
  • the control device 50 automatically designates the position of the detection region 80 on the projection surface based on the image captured by the RGB imaging unit 21 of the detection unit 20 (S10). Position coordinate data indicating the range of the designated detection area 80 is recorded in the RAM 52 or the like. Further, the control device 50 identifies the background color (for example, color of stage, floor, ground, etc.) of the detection area 80 based on the RGB data from the detection unit 20 and records it in the RAM 52 or the like.
  • FIG. 5 is a diagram illustrating an example of an image captured by the RGB imaging unit 21.
  • the detection area 80 within the range is designated.
  • the detection area 80 needs to be set so as to include at least the position of the tip position of the shoe of the user. Therefore, the size of the range of the detection region 80 may be specified while the range of the detection region 80 from the irradiation unit 30 is shown on the floor or the like.
  • a PC or the like may be connected to the control device 50 at the time of initial setting, and the size of the detection area 80 may be designated using the PC or the like.
  • control device 50 acquires depth data from the detection unit 20 (S11), and acquires position coordinate data and depth data for each pixel for all pixels included in the detection region 80 designated as the projection surface. Then, it is recorded in the RAM 52 (S12).
  • FIG. 6 is a diagram for explaining the depth data in the detection region 80.
  • a point D1 on the detection region 80 immediately below the detection unit 20 and a point D2 at a position away from the detection unit 20 are on the same detection region 80, but the depth from the detection unit 20 There will be a difference in the data. Therefore, the position coordinate data and the depth data are acquired and recorded in advance for all the pixels in the detection area 80.
  • control device 50 transmits predetermined image data to the irradiation unit 30 to project the reference projection image 71 on the detection area 80, and transmits predetermined control data to the camera platform 40 to control the camera platform 40. Then, the reference projection image 71 is moved (S13).
  • the reference projection image 71 is five black spots displayed in a circular frame as shown in FIG.
  • the reference projection image 71 shown in FIG. 5 is an example, and other images can be used. Further, the reference projection image 71-1 in FIG. 5 is projected directly below the camera platform 40 and at the reference position in this example. The positional relationship between the camera platform 40 and the detection region 80, the reference position of the projection image, and the like can be determined as appropriate according to the situation.
  • control device 50 acquires RGB data and position coordinate data from the detection unit 20 (S14). Further, the control device 50 specifies the position of the reference projection image 71 using five black dots, and determines the relationship between the control data transmitted to the camera platform 40 and the position coordinate data of the specified reference projection image 71. It records in the data table comprised on RAM52 (S15).
  • the control device 50 repeatedly performs the above-described S13 to S15 so as to cover the entire detection area 80 while moving the reference projection image 71 at predetermined time intervals (S16).
  • reference projection images 71-2 to 71-7 are shown in FIG. 5, the above is an example, and the amount of movement for moving the reference projection image for specifying the position, etc. can be determined as appropriate. it can.
  • the control device 50 repeats S13 to S16 a predetermined number of times to complete a data table representing the correspondence relationship between the position coordinate data of the reference projection image 71 and the control data for all areas of the detection area 80 (S17). End the operation.
  • the control device 50 can move the input image 70 by controlling the camera platform 40 to an arbitrary position on the designated detection area 80 by using the data table completed in S17. Conversely, the control device 50 can also specify the position of the currently projected input image 70 on the detection area 80 by using the data table.
  • FIG. 7 is a diagram illustrating an example of an input image projected by the irradiation unit 30.
  • the input image 70 shown in FIG. 7A includes a pedal-type effector image 81.
  • the control device 50 determines that an input operation similar to that when the pedal is depressed is performed.
  • the input image 70 ′ shown in FIG. 7B includes a push switch type effector image 81 ′.
  • the control device 50 determines that the same input operation as that performed when the push switch is stepped on has been performed.
  • the input image 70 ′′ shown in FIG. 7C includes a multi-type effector image 81 ′′.
  • the control device 50 inputs the same as when each switch or pedal is stepped on. It is determined that the operation has been performed.
  • the input images shown in FIGS. 7A to 7C are examples, and the irradiation unit 30 can project various types of input images based on the image data from the control device 50. Is possible.
  • the control device 50 can determine the type of the input button included in the input image and the arrangement position in the input image based on the image data transmitted to the irradiation unit 30. Further, the control device 50 can specify the position of the input image in the detection area 80 based on the control data transmitted to the camera platform 40 and the data table created in S17 of FIG. Therefore, the control device can specify the position of each input button in the detection area 80 based on the image data transmitted to the irradiation unit 30 and the control data transmitted to the camera platform 40.
  • FIG. 8 is a diagram illustrating an example of a control flow in the information input device 1.
  • the control flow shown in FIG. 8 is executed by the CPU 51 of the control device 50 controlling the detection unit 20, the irradiation unit 30 and the pan head 40 in accordance with a program stored in advance in the ROM 53 of the control device 50.
  • the control flow shown in FIG. 8 is repeatedly executed at predetermined time intervals (for example, every 100 ms).
  • control device 50 acquires the image data transmitted to the irradiation unit 30 and the control data transmitted to the camera platform 40 (S20).
  • control device 50 acquires RGB data, position coordinate data, and depth data from the detection unit 20 (S21). Note that the order of S20 and S21 may be reversed.
  • control device 50 specifies the tip position of the shoe based on the RGB data and the position coordinate data acquired in S21, and acquires the depth data of the specified tip position of the shoe based on the depth data acquired in S21. (S22).
  • FIG. 9 is an image example based on the RGB data acquired by the control device 50 in S21.
  • the control device 50 compares the background color of the detection area 80 stored in advance (see S10 in FIG. 4) with the RGB data acquired in S21 to group a portion different from the background color and identify it as an object. To do. For example, in the example of FIG.
  • the control device 50 identifies the extreme end of each object based on a known identification method.
  • the points P1, P4, P7, P10, and P13 correspond to the five points.
  • two points that are separated from each other by a predetermined distance on the periphery of the same object are specified from the specified endmost part. For example, regarding the point P1, the point P2 and the point P3 correspond, and the other four endmost points are similarly specified.
  • the control device 50 calculates the curvature at the end of the object based on a known calculation direction from a total of three points including the endmost point and the two left and right points. For example, the curvature is obtained from the points P1, P2, and P3.
  • an object at the foot with a small curvature at the end is the end of the shoe, so it is possible to identify whether the object is the end of the shoe by setting a predetermined threshold. Is possible.
  • the point P4 is specified as the tip position of the shoe with respect to the user's right foot 68
  • the point P1 is specified as the tip position of the shoe with respect to the user's left foot 69.
  • the music stand 65 and the cord 66 are not specified as the tip position of the shoe.
  • control device 50 acquires the depth data of the points P1 and P4 specified as the tip position of the shoe together, and stores the position coordinate data and the depth data of the tip position of the shoe as a set and stores them in the RAM 52 or the like ( S23).
  • control device 50 controls the irradiation unit 30 to move and display the input image 70 so as to track the shoe tip position based on the position coordinate data of the shoe tip position specified in S23. (S24).
  • FIG. 10 is a diagram for explaining the tracking of the input image 70.
  • the control device 50 moves the input image 70a in the direction of the arrow F accordingly.
  • the irradiation unit 30 is controlled so as to become the input image 70b.
  • the input image 70 is the image 81 of the heald effector shown in FIG. 7A, and is controlled so that the pedal portion is projected corresponding to the tip position P4 of the shoe. ing.
  • control device 50 determines whether or not an input operation has been performed (S25). Whether or not an input operation has been performed is determined based on whether or not the tip position of the shoe has been tapped (with the heel as an axis).
  • FIG. 11 is a diagram for explaining a tap at the tip position of a shoe.
  • the control device 50 stores the previous shoe stored in S23.
  • the distance (or difference) between the depth data of the tip position of the shoe and the depth data of the tip position of the shoe specified in S22 this time is calculated.
  • a predetermined threshold for example, 5 cm
  • control device 50 determines the position of the input button included in the input image 70 in the detection area 80 based on the image data acquired in S20 and the control data changed in S24. Is specified (S26).
  • the control device 50 selects an input button (a pedal portion surrounded by a dotted line 71 in FIG. 7A) included in the input image 70 corresponding to the tip position of the shoe determined to have been input in S25. Specify (S27).
  • the control device 50 executes a process corresponding to the input button for which the input operation has been performed (S28), and ends the series of processes. Similarly, when it is determined in S25 that the input operation has not been performed, the series of processes is terminated.
  • the processing corresponding to the input operation corresponds to performing a correction process for adding a predetermined effect to the musical sound signal from the musical instrument 60 by the effect applying unit 55 of the control device 50.
  • the tip position of the user's shoes is specified, the input image 70 is projected so as to track the tip position of the user's shoes, and the tap of the tip position of the user's shoes is detected. Judged as an input operation. Therefore, a user playing a musical instrument can perform a desired input operation simply by tapping the tip of the shoe at a desired position, and does not need to search for the position of the effector during the performance. Further, since the input image 70 can be freely designed, a desired input operation can be easily performed (see FIGS. 7A to 7C).
  • the function of processing the musical tone signal from the musical instrument is operated with the foot, but the information input device according to the present invention is not limited to the above operation.
  • the information input device according to the present invention can be applied to an input operation or the like for performing a network connection in a state where a hand is closed.
  • the tip position of the user's shoes was detected, and it was determined whether or not an input operation was performed according to the action of the tip position of the user's shoes.
  • the position of the user's foot to be detected may be not only the tip position of the shoe, but also the shoe heel, the shape of the entire shoe, the knee or the ankle portion, etc., and is not limited to the tip position of the shoe.
  • the input operation using the user's feet is not only the movement of the tip position of the shoe from above to below or from below to above, with reference to the stage, floor, ground, etc. of the detection region 80, for example, shoes It may be determined that tapping has been made for the first time when the tip position of has moved from up to down to up. Further, it may be determined that the tapping has been performed in accordance with the speed or change amount of the tip position of the shoe.
  • the input image was projected so as to track the tip position of the shoe.
  • the input image is always projected so as to track the tip position of the shoe, it may be difficult to tap, so the input image is not displayed until the tip position of the shoe moves more than a predetermined distance. You may control so that the front-end
  • an operation signal corresponding to the input operation by the tap is output to an external device (for example, the amplifier 61) of the control device 50.
  • an external device for example, the amplifier 61
  • a tap is detected more than once (three times) within a predetermined time (for example, 1 s). In this case, it may be determined that there is no operation input.
  • FIG. 12 is a diagram showing another example of input by feet.
  • FIG. 12 is an example of an image based on the RGB data acquired by the control device 50 in S21 as in FIG. In FIG. 12, the dummy switch 90 is detected in the detection area 80.
  • the dummy switch 90 is a mere switch for the user to obtain a click feeling with his / her foot, but does not connect with other devices and exchange information.
  • the tip position of the shoe is detected in real time, and the input image 70 is moved and displayed so as to track it.
  • the control unit 50 detects the dummy switch 90, and the input operation is performed when the tip position of the shoe is tapped at the center portion P ⁇ b> 20 that is the switch position of the dummy switch 90. judge.
  • Information on the shape of the dummy switch 90 and information on the switch position are recorded in advance in the ROM 53 of the control device 50.
  • the control device 50 detects the dummy switch 90 in S22 in the control flow of FIG. Part P20 can be specified.
  • the detection of the dummy switch 90 may be performed only once at the first time (usually, once the switch is placed, it is less necessary to move the dummy switch thereafter), or it is repeatedly performed at a predetermined time interval (user May move the dummy switch with the foot).
  • the dummy switch 90 as shown in FIG. 12 it is not necessary to project the input image 70, but the light spot 91 is detected so that the user can easily confirm the location. You may make it project on the place where the dummy switch 90 exists. Furthermore, when there are a plurality of dummy switches in the detection area 80, the external shape of the light spot that illuminates the dummy switches is changed according to the dummy spots (circle, square, triangle, etc.) in order to identify the dummy switches from each other. May be. Further, different numbers, marks, predetermined explanation information, etc. may be projected in the vicinity of each dummy switch.
  • FIG. 13 is a diagram showing another example of the control flow in the information input device 1
  • FIGS. 14 and 15 are diagrams for explaining the control flow shown in FIG.
  • the control flow shown in FIG. 13 is executed by the CPU 51 of the control device 50 controlling the detection unit 20, the irradiation unit 30, and the pan head 40 according to a program stored in the ROM 53 of the control device 50 in advance.
  • the control flow shown in FIG. 13 is repeatedly executed at predetermined time intervals (for example, every 100 ms). Further, in the control flow shown in FIG. 13, S30 to S33 are the same as S20 to S23 shown in FIG.
  • control device 50 determines whether or not the tip position of the shoe has been double-tapped (S34). Whether or not a double tap has been made is determined by the “tap at the tip position of the shoe” (see FIG. 11) considered when determining whether or not an operation input has been made in S25 of FIG. Or less) depending on whether or not it was performed twice.
  • control device 50 controls the irradiation unit 30, and based on the position coordinate data of the shoe tip position identified in S33, the input image 100 is the shoe tip position. Is displayed immediately above (S35).
  • FIG. 14 shows a state in which the input image 100 is displayed immediately above the right foot 68 when a double tap is performed with the tip position P4 of the user's right foot 68 being recognized.
  • the input image 100 illustrated in FIG. 14 is an example, and the present invention is not limited thereto, and other input images can be used.
  • the input image 100 includes an indicator unit 110 and four icons 111 to 114, and predetermined processing contents are assigned in advance to each icon. Furthermore, areas 1 to 4 including the area where the four icons of the input image 100 are displayed are extended to the outside around the input image 100 (see FIGS. 14 and 15). It is assumed that the positional relationship between the input image 100 and the areas 1 to 4 is predetermined. Further, for example, “input that gives a predetermined effect to the musical tone signal from the musical instrument 60 by the effect applying unit 55 of the control device 50” is assigned to the icon 112, and “end operation” is assigned to the icon 114. It shall be.
  • control device 50 determines whether or not an input operation has been performed (S36). Determination of whether or not an input operation has been performed is the same as S25 in FIG.
  • control device 50 applies the position data of the input image 100 displayed in S35, the display data of the input image 100 itself acquired in S30, and the input image 100. Based on the position data of the area associated with the included icon, the range of areas 1 to 4 in the detection area 80 is specified (S37).
  • control device 50 specifies an area corresponding to the tip position of the shoe determined to have been input in S25, specifies an icon corresponding to the area, and specifies information input content corresponding to the icon ( S38). Further, the control device 50 displays the specified icon in the indicator 110 of the input image 100.
  • FIG. 15 shows an example of a state where it is determined that an operation input has been performed.
  • the tip position P4 of the shoe when it is determined that the input operation has been performed is within the region 2, it is recognized that the input operation has been performed on the icon 112, and the icon 112 is displayed on the indicator 110. ing.
  • control device 50 determines whether or not the information input content specified in S38 is “end operation” (S39). If it is not “end operation”, the processing corresponding to the input operation icon is performed. Is executed (S40).
  • control device 50 deletes the input image 100 (S41) and ends the series of processes. As described above, when the area specified in S38 is the area 4 (icon 114), it is determined to be “end processing”.
  • the areas 1 to 4 corresponding to the icons 111 to 114 included in the input image 100 are radially extended from the icons around the input image 100 and outward. It was.
  • the above example is an example, and other methods may be used as long as it can be easily recognized as an area corresponding to an icon.
  • the icons may be arranged and displayed in a line, and the area corresponding to each icon may be extended to just below each icon.
  • the input image 100 is displayed so as to track the tip position of the shoe.
  • the input image 100 may be displayed first by another method. For example, a single tap may be used similarly to the input operation.
  • the input image 100 is displayed at the home position (see H in FIG. 14) from the beginning, and the input image 100 is controlled to be moved so as to track the tip position of the shoe to the double-tapped position. May be. In this case, it is more preferable to perform control so that the input image 100 is not deleted but returned to the home position in accordance with the end operation (see S41 in FIG. 13).
  • the input image 100 at the home position does not have to have the same shape and size as when the input operation is actually performed. For example, the input image 100 may be displayed in a reduced size.
  • the input image 100 is displayed so as to track the tip position of the shoe.
  • the input image 100 may be moved.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　被検出対象を追尾して入力用画像の投影位置を変化させ、入力用画像への情報入力を検出することを可能とする情報入力装置を提供することを目的とする。入力用画像を投影する投影部と、入力用画像の投影位置を変更する投影位置変更部と、ユーザの足の位置を検知する検知センサと、検知センサにより検知されたユーザの足の位置を入力用画像が追尾するように投影位置変更部を制御し且つユーザの足による入力操作を判定して入力用画像による情報入力を検出する制御部を有することを特徴とする情報入力装置。

Description

情報入力装置
　本発明は情報入力装置に関し、特に投影された入力用画像を用いた情報入力装置に関する。
　例えば、テレビ、ビデオ等を操作するための情報入力を行うために、リモコン等の情報入力装置を利用することが一般的に行われている。しかしながら、いざ利用しようとすると、リモコン等の置き場所が不明であったりして、利用したい時に、利用できないといった不具合があった。
　そこで、情報入力機器自体を操作することなく、シンプルで分かり易く、且つ大多数の人が直感的に操作できるような情報入力装置が求められていた。
　ところで、映像投射装置から複数の入力キーを有する操作部を示す映像を投影し、この映像上における指の動きを画像認識処理により検出して、入力キーに対する押下げ操作がなされた判別する情報入力装置が知られている（例えば、特許文献１参照）。
　特許文献１において、映像上の指の動きは、撮像部で読取った映像から、エッジ検出によって指を判別した上で、指の上から下への動き、即ち映像が投影されている面に対する指の接触を検出している。
　また、プロジェクタをユーザが身に着け、プロジェクタが投影するダイアルパッドを手のひらで受け、手のひらに投影されたダイアルパッドをユーザの指先に装着された器具で指し示すと、指し示されたダイアルパッドに対応した入力がなされる、装着可能なジェスチャーインタフェイスが知られている（例えば、特許文献２参照）。
　特許文献２に記載のジェスチャーインタフェイスでは、カメラが撮像した画像をコンピュータが画像解析して、ユーザの指先に装着した器具の動きを追跡し、ダイアルパッドに対応した入力があるか否かが判断されている。また、プロジェクタからの画像は、ミラーで反射されてから投影されるため、ミラーの位置をユーザがマニュアルで変更することによって、投影場所を変更することができる。
　さらに、画像を投影可能な所定の領域内で、手のひらを検出し、検出した手のひらに、星、俳句、図鑑の内容を投影するシステムが知られている（例えば、非特許文献１参照）。非特許文献１に記載のシステムでは、プロジェクタの投影方向は、固定されているが、常に所定領域全体に投影を行っているので、検出された手のひらの部分にのみ画像を表示させるようにしている。
　さらに、譜面が表示される表示パネルにおいて、譜面をめくる指示をペダルで行うことを可能とする電子譜面台が知られている（例えば、特許文献３）。特許文献３に記載のシステムでは、電子譜面台にケーブルで接続された実際のペダルによって、楽譜をめくる指示を行っている。
特開平１１－９５８９５号公報（図１） 米国公開２０１０/０１９９２３２号公報（図１２） 特開２００８－２９２９６６号公報（図１）
「手のひらインタフェース：画像処理を用いた公共空間におけるパーソナルな情報提示システム」、情報処理学会論文誌　ｖｏｌ．４９、Ｎｏ．７　２５２８－２５３８、２００８年７月
　しかしながら、映像のエッジを検出することによって指の動きを判断すると、人間の指以外の物体を指と誤って認識したり、物を持っている場合に持っている物の先を指と誤って認識したり、するという不具合があった。
　また、特許文献２に記載のジェスチャーインタフェイスでは、ユーザがプロジェクタ等を含む装置を身に着けなければならず通常のリモコンと比較しても、操作が煩わしいという不具合があった。
　さらに、特許文献２に記載のジェスチャーインタフェイスでは、プロジェクタが固定されているため、ミラーによって投影位置はマニュアルで変更することはできるが、投影位置に手のひらを持っていかなければ、手のひらにダイアルパッドを投影することができないという不具合もあった。
　また、非特許文献１に記載のシステムでは、プロジェクタの投影方向が固定されているので、検出された手のひらに画像を表示するためには、所定の領域全体を投影可能な大型プロジェクタを利用しなければならなかった。
　また、特許文献３に記載のシステムでは、入力指示を行うためのペダルは電子譜面台の本体とケーブルで接続されているため、ケーブルが邪魔になったり、ユーザが移動してペダルから離れてしまうと、入力指示を行うことが困難になったりする、という不具合があった。
　そこで、本発明は、上記の不具合を解消することを可能とした情報入力装置を提供することを目的とする。
　また、本発明は、ユーザの足を追尾して入力用画像の投影位置を変更させ、ユーザの足による入力用画像への情報入力を検出することを可能とする情報入力装置を提供することを目的とする。
　また、本発明は、ユーザの足の位置を追尾して、入力用画像をユーザの足近傍に表示することを可能とする情報入力装置を提供することを目的とする。
　また、本発明は、特定の装置を身に着けることなく、ユーザの足を利用して、入力操作を行うことを可能とした情報入力装置を提供することを目的とする。
　情報入力装置は、入力用画像を投影する投影部と、入力用画像の投影位置を変更する投影位置変更部と、ユーザの足の位置を検知する検知センサと、検知センサにより検知されたユーザの足の位置を入力用画像が追尾するように投影位置変更部を制御し、且つユーザの足による入力操作を判定して、入力用画像による情報入力を検出する制御部とを有することを特徴とする。
　上記の情報入力装置では、検知センサは深度センサを含み、制御部は深度センサからの深度データに基づいて、入力用画像を投影する被投影面からユーザの足までの距離を算出し、算出された距離に基づいてユーザの足による入力操作を判定することが好ましい。
　上記の情報入力装置では、制御部は、距離に基づいて、ユーザの足先によるタップを検出し、入力操作がなされたか否かの判定を行うことが好ましい。
　上記の情報入力装置では、制御部は、投影された入力用画面上において、ユーザの足による入力操作がなされたと判定された場合に、入力用画像による情報入力を検出することが好ましい。
　上記の情報入力装置では、制御部は、投影された前記入力用画面の周囲において、ユーザの足による入力操作がなされたと判定された場合に、入力用画像による情報入力を検出することが好ましい。
　上記の情報入力装置では、制御部は、入力用画像による情報入力に対応した操作信号を外部の機器へ出力することが好ましい。
　上記の情報入力装置では、制御部は、所定時間以内に所定回数の入力操作があったと判定された場合には、操作信号を外部の機器へ出力しないように制御することが好ましい。
　上記の情報入力装置では、制御部は、検知センサからの検知データを用いて、検知領域内の物体を特定し、特定された物体の曲率からユーザの足を検知することが好ましい。
　上記の情報入力装置では、入力用画像は、ダミースイッチを照らすための光スポットであることが好ましい。
　情報入力装置では、ユーザの足を検出してユーザの足を追尾するように入力用画像を投影し、検出したユーザの足の動作に基づいて、入力用画像への情報入力を行うことができるので、特定の装置を身に着けることなく、簡単且つ容易に情報入力を行うことが可能となった。
情報入力装置１を楽器の演奏に適用した事例を示す図である。 照射検知装置１０の外観を示す斜視図である。 情報入力装置１の概略構成を示すブロック図である。 初期設定のための制御フローの一例を示す図である。 ＲＧＢ撮像部２１が撮像した画像の一例を示す図である。 検知領域８０における深度データを説明するための図である。 （ａ）～（ｃ）は、照射部３０が投影する入力用画像の例を示す図である。 情報入力装置１における制御フローの一例を示す図である。 制御装置５０がＳ２１で取得したＲＧＢデータに基づいた画像例である。 入力用画像７０の追尾を説明するための図である。 靴の先端位置のタップを説明するための図である。 足による入力の他の例を示す図である。 情報入力装置１における制御フローの他の例を示す図である。 図１３に示す制御フローを説明するための図（１）である。 図１３に示す制御フローを説明するための図（２）である。
　以下図面を参照して、情報入力装置について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。なお図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。また説明のため部材の縮尺は適宜変更している。
　図１は、情報入力装置１を楽器の演奏の適用した事例を示す図である。
　情報入力装置１は、照射検知装置１０及び制御装置５０等から構成されている。ユーザが演奏する楽器６０はコード６６で制御装置５０と接続されている。楽器６０（例えば、エレキギター又はエレクトリックアコースティックギター）からの楽音信号は、制御装置５０によって所定の効果を付与されて、修正楽音信号としてアンプ６１へ入力され、アンプ６１と接続されたスピーカ６２から出力される。
　譜面台６５の下部には照射検知装置１０が配置され、照射検知装置１０はケーブル６７で制御装置５０と接続されている。照射検知装置１０が、ステージ、床又は地面等において、検知を行う検知領域８０内に、エフェクター画像８１を投影している。ユーザが投影されたエフェクター画像８１の投影箇所において、実際にエフェクターを利用するように靴の先端位置をタップ（上下動）させると、照射検知装置１０がそれを検知し、制御装置５０が楽器６０からの楽音信号にエフェクターと同様の効果を付与してアンプ６１へ出力する。
　上記のように、図１に示す例では、実際に存在しないが、ユーザの靴の先端位置に投影されたエフェクター画像８１を利用して、実際のエフェクターと同様に、楽器６０からの楽音信号に効果付与を行うことが可能となる。
　図２は照射検知装置１０の外観を示す斜視図であり、図３は情報入力装置１の概略構成を示すブロック図である。
　照射検知装置１０は、検知部２０、照射部３０及び雲台４０等を含んで構成され、譜面台６５に固定されており、透明なプラスチック材料から構成されるドーム型のカバー１１で覆われている。
　検知部２０は、ＲＧＢ撮像部２１、赤外線カメラ２２及び赤外線照射光発光部２３等を含んで構成されている。ＲＧＢ撮像部２１は、検知領域内の画像を撮像し、撮像した画像のピクセル毎のＲＧＢデータ及び位置座標データを出力する。赤外線カメラ２２は、赤外線照射光発光部２３から照射された赤外線が検知領域８０内に存在する物体から反射する反射光を受光し、撮像した画像のピクセル毎の深度データ（赤外線カメラ２２とピクセルとの間の距離に対応したデータ）を出力する。なお、ＲＧＢ撮像部２１と赤外線カメラ２２は、同じ検知領域８０で同じ解像度を有するように設定されているものとする。
　照射部３０は、ＲＧＢ各色光発光レーザーを用いた超小型プロジェクタから構成され、雲台４０の第２回転部４３に取り付けられている。制御装置５０から受信した画像データに応じて、照射部３０は入力用画像を含む入力用画像７０を検知領域８０（ステージ、床又は地面等）上に投影する。なお、所定の入力用画像７０を投影することが可能であれば、ＲＧＢ各色光発光レーザーを用いた超小型プロジェクタ以外の照射部を利用することができる。
　雲台４０は、基部４１、第１モータ４５によってθ方向に回転する第１回転部４２及び第２モータ４６によってφ方向に回転する第２回転部４３等を含んで構成されている。
　制御装置５０は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３、及び、検知部２０、照射部３０、雲台４０及び披操作装置（例えば、楽器６０及びアンプ６１）との間でデータの送受信を行うためのＩ/Ｏ５４、効果付与部５５等から構成される。図１に示す例では、制御装置５０は、照射部３０が、検知領域８０内に投影した入力用画像７０をユーザが靴の先端位置でタップしたことを検出して、楽器６０からの楽音信号に所定の効果を付与した修正楽音信号をアンプ６１へ出力する。
　制御装置５０は、制御データに基づいて第１モータ４５及び第２モータ４６を制御して、入力用画像７０を検知領域８０上の所望の位置に投影することができるように構成されている。なお、制御装置５０は、ＨＤ等の他の記録媒体を有していても良い。制御装置５０が、第１モータ４５を制御して第１回転部４２をθ方向に回転させると、入力用画像７０が矢印Ａの方向に移動する。また、制御装置５０が、第２モータ４６を制御して第２回転部４３をφ方向に回転させると、入力用画像７０が矢印Ｂの方向に移動する。
　図３に示す、ＲＧＢデータ、位置座標データ、深度データ、画像データ及び制御データを照射検知装置１０と制御装置５０との間でやり取りするための信号線がケーブル６７に内蔵されている。なお、照射検知装置１０と制御部５０との間のデータの送受信を無線で行うようにしても良い。
　図４は、初期設定のための制御フローの一例を示す図である。
　図４に示す制御フローは、制御装置５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御装置５０のＣＰＵ５１が、検知部２０、照射部３０及び雲台４０を制御して実行するものである。
　制御装置５０は、検知部２０のＲＧＢ撮像部２１が撮像した画像に基づいて、自動的に被投影面における検知領域８０の位置を指定する（Ｓ１０）。指定された検知領域８０の範囲を示す位置座標データは、ＲＡＭ５２等に記録される。また、制御装置５０は、検知部２０からのＲＧＢデータに基づいて、検知領域８０の背景色（例えば、ステージ、床、地面等の色）を特定し、ＲＡＭ５２等に記録する。
　図５は、ＲＧＢ撮像部２１が撮像した画像の一例を示す図である。
　図５の例では、制御装置５０がＣ１～Ｃ４の４点を指定することによって、その範囲内の検知領域８０が指定されている。検知領域８０には、少なくともユーザの靴の先端位置の位置が含まれるように設定する必要がある。そこで、照射部３０から検知領域８０の範囲を床等に示しながら、検知領域８０の範囲の大きさを指定するようにしても良い。初期設定時にＰＣ等を制御装置５０に接続し、ＰＣ等を利用して検知領域８０の大きさを指定するようにしても良い。
　次に、制御装置５０は、検知部２０から深度データを取得し（Ｓ１１）、被投影面として指定された検知領域８０に含まれる全てのピクセルについて、ピクセル毎の位置座標データ及び深度データを取得し、ＲＡＭ５２へ記録する（Ｓ１２）。
　図６は、検知領域８０における深度データを説明するための図である。
　図６に示すように、検知部２０の直下にある検知領域８０上の点Ｄ１と検知部２０から離れた位置にある点Ｄ２では、同じ検知領域８０上でありながら、検知部２０からの深度データに差が出てしまう。そこで、検知領域８０の全てのピクセルについて、位置座標データ及び深度データを予め取得して記録するようにした。
　次に、制御装置５０は、照射部３０に所定の画像データを送信して基準投影画像７１を検知領域８０上に投射させ、雲台４０に所定の制御データを送信して雲台４０を制御して基準投影画像７１を移動させる（Ｓ１３）。
　基準投影画像７１は、図５に示すように、円形の枠内に表示された５つの黒点である。なお、図５に示す基準投影画像７１は、一例であって、他の画像を利用することもできる。また、図５における基準投影画像７１－１は、雲台４０の直下であって、本例における基準位置に投影されたものである。なお、雲台４０と検知領域８０との位置関係及び投影画像の基準位置等は、状況に応じて適宜定めることが可能である。
　次に、制御装置５０は、検知部２０からのＲＧＢデータ及び位置座標データを取得する（Ｓ１４）。さらに、制御装置５０は、５つの黒点を利用して、基準投影画像７１の位置を特定し、雲台４０へ送信した制御データと、特定された基準投影画像７１の位置座標データとの関係をＲＡＭ５２上に構成されたデータテーブルに記録する（Ｓ１５）。
　制御装置５０は、上述したＳ１３～Ｓ１５を、所定の時間間隔で基準投影画像７１を移動させながら、検知領域８０の全てをカバーするように繰り返し行う（Ｓ１６）。図５においては、基準投影画像７１－２～７１－７を示したが、上記は一例であって、位置を特定するために基準投影画像を移動させる１回の移動量等は適宜定めることができる。
　制御装置５０は、Ｓ１３～Ｓ１６を所定回数繰り返すことによって、検知領域８０の全領域について、基準投影画像７１の位置座標データと制御データと対応関係を表すデータテーブルを完成させ（Ｓ１７）、一連の動作を終了する。
　制御装置５０は、Ｓ１７で完成したデータテーブルを利用することによって、指定された検知領域８０上の任意の位置に、雲台４０を制御して入力用画像７０を移動させることが可能となる。逆に、制御装置５０は、データテーブルを利用することによって、現在投影している入力用画像７０の検知領域８０上での位置を特定することもできる。
　図７は、照射部３０が投影する入力用画像の例を示す図である。
　図７（ａ）に示す入力用画像７０には、ペダル型のエフェクター画像８１が含まれている。点線７１で囲ったペダル部分において、ユーザの靴の先端位置がタップ（上下動）した場合には、制御装置５０は、ペダルが踏まれた場合と同様な入力操作がなされたと判断する。
　図７（ｂ）に示す入力用画像７０´には、プッシュスイッチ型のエフェクター画像８１´が含まれている。点線７２で囲ったプッシュスイッチ部分において、ユーザの靴の先端位置がタップした場合には、制御装置５０は、プッシュスイッチが踏まれた場合と同様な入力操作がなされたと判断する。
　図７（ｃ）に示す入力用画像７０´´には、マルチタイプ型のエフェクター画像８１´´が含まれている。点線７３～７６で囲ったスイッチ部分及び点線７７で囲ったペダル部分において、ユーザの靴の先端位置がタップした場合には、制御装置５０は、各スイッチ又はペダルが踏まれた場合と同様な入力操作がなされたと判断する。
　図７（ａ）～図７（ｃ）に示す入力用画像は一例であって、照射部３０は、制御装置５０からの画像データに基づいて、様々な種類の入力用画像を投影することが可能である。
　制御装置５０は、照射部３０へ送信する画像データに基づいて、入力用画像に含まれる入力ボタンの種類及び入力用画像内の配置位置を判断することができる。さらに、制御装置５０は、雲台４０へ送信した制御データ及び図４のＳ１７で作成したデータテーブルに基づいて、入力用画像の検知領域８０内の位置を特定することができる。したがって、制御装置は、照射部３０へ送信する画像データ及び雲台４０へ送信した制御データに基づいて、各入力ボタンの検知領域８０内の位置を特定することができる。
　図８は、情報入力装置１における制御フローの一例を示す図である。
　図８に示す制御フローは、制御装置５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御装置５０のＣＰＵ５１が、検知部２０、照射部３０及び雲台４０を制御して実行するものである。図８に示す制御フローは、所定の時間間隔（例えば、１００ｍｓ毎）で繰り返し実行される。
　最初に、制御装置５０は、照射部３０へ送信した画像データ及び雲台４０へ送信した制御データを取得する（Ｓ２０）。次に、制御装置５０は、検知部２０からＲＧＢデータ、位置座標データ及び深度データを取得する（Ｓ２１）。なお、Ｓ２０とＳ２１の順番は逆であっても良い。
　次に、制御装置５０は、Ｓ２１で取得したＲＧＢデータ及び位置座標データに基づいて、靴の先端位置を特定し、Ｓ２１で取得した深度データ基づいて、特定した靴の先端位置の深度データを取得する（Ｓ２２）。
　図９は、制御装置５０がＳ２１で取得したＲＧＢデータに基づいた画像例である。
　図９において、検知領域８０内には、譜面台６５の三脚部、ユーザの右足６８の一部、ユーザの左足６９の一部、楽器６０と制御装置５０とを接続するコード６６の一部が写り込んでいる。制御装置５０は、予め記憶されている検知領域８０の背景色（図４のＳ１０参照）と、Ｓ２１で取得したＲＧＢデータを比較することによって、背景色とは異なる部分をグルーピングして物体として識別する。例えば、図９の例では、譜面台６５の三脚部、ユーザの右足６８の一部、ユーザの左足６９の一部、楽器６０と制御装置５０とを接続するコード６６の一部の４つの物体を識別する。
　次に、制御装置５０は、公知の識別方法に基づいて、各物体の最端部を特定する。図９の例では、点Ｐ１、点Ｐ４、点Ｐ７、点Ｐ１０、及び点Ｐ１３の５点がそれに該当する。次に、特定した最端部から、同じ物体の周辺部上で、予め定められた距離だけ左右に離れた２つの点を特定する。例えば、点Ｐ１に関しては、点Ｐ２及び点Ｐ３が該当し、他の４つの最端部の点についても同様に特定される。
　次に、制御装置５０は、各物体について、最端部の点と、その左右の２点の合計３点から、公知の計算方向に基づいて、物体の端部における曲率を計算する。例えば、点Ｐ１、Ｐ２及びＰ３から曲率を求める。通常、足元にある物体で、端部の曲率が小さいものが、靴の端部であるので、所定の閾値を設定することで、物体が靴の端部であるか否かを識別することが可能である。図９の例では、上記の識別方法に基づいて、ユーザの右足６８に関して点Ｐ４が靴の先端位置と特定され、ユーザの左足６９に関して点Ｐ１が靴の先端位置と特定される。なお、譜面台６５及びコード６６は、靴の先端位置とは特定されない。
　次に、制御装置５０は、靴の先端位置として特定された点Ｐ１及びＰ４の深度データを合わせて取得し、靴の先端位置の位置座標データ及び深度データをセットにしてＲＡＭ５２等に記憶する（Ｓ２３）。
　次に、制御装置５０は、照射部３０を制御して、入力用画像７０をＳ２３で特定した靴の先端位置の位置座標データに基づいて、靴の先端位置を追尾するように移動させて表示する（Ｓ２４）。
　図１０は、入力用画像７０の追尾を説明するための図である。
　在る時点で、ユーザの右足６８ａが矢印Ｅの方向に移動して右足６８ｂの位置となった場合、それに応じて、制御装置５０は、入力用画像７０ａを矢印Ｆの方向に移動して、入力用画像７０ｂとなるように照射部３０を制御する。図１０の例では、入力用画像７０は、図７（ａ）に示したヘダル型のエフェクターの画像８１であり、靴の先端位置Ｐ４に対応して、ペダル部分が投影されるように制御されている。
　次に、制御装置５０は、入力操作がなされたか否かの判定を行う（Ｓ２５）。入力操作がなされたか否かの判定は、靴の先端位置が（踵を軸として）タップしたか否かによって行う。
　図１１は、靴の先端位置のタップを説明するための図である。
　制御装置５０は、Ｓ２３において記憶された前回の靴の先端位置の位置座標データと、今回Ｓ２２で特定された靴の先端位置の位置座標データとがほぼ同じ場合、Ｓ２３において記憶された前回の靴の先端位置の深度データと、今回Ｓ２２で特定された靴の先端位置の深度データとの距離（又は差異）を演算により求める。前記距離が、所定の閾値（例えば、５ｃｍ）以上あった場合、制御装置５０は、靴の先端位置がタップした、即ち、入力操作が行われたと判定する。
　図１１の例では、ユーザの右足６８ａの先端位置Ｐ４が、右足６８ｃの先端位置Ｐ４´へ距離Ｓだけ移動した場合、距離Ｓが閾値より大きかった場合には、入力操作があったものと判定される。なお、上記の判定手法は、ユーザの足先によって入力操作が行われたか否かを判断する一例であって、これに限定されるものではない。
　Ｓ２５において入力操作があったと判定された場合、制御装置５０は、Ｓ２０で取得した画像データ及びＳ２４で変更した制御データに基づいて、入力用画像７０に含まれる入力ボタンの検知領域８０内の位置を特定する（Ｓ２６）。
　次に、制御装置５０は、Ｓ２５において入力操作があったと判定された靴の先端位置に対応する入力用画像７０に含まれる入力ボタン（図７（ａ）において点線７１で囲ったペダル部分）を特定する（Ｓ２７）。次に、制御装置５０は、入力操作された入力ボタンに対応した処理を実行して（Ｓ２８）、一連の処理を終了する。Ｓ２５において、入力操作が行われなかったと判定された場合も同様に、一連の処理が終了される。図１のシステムでは、入力操作に応じた処理に該当するのは、制御装置５０の効果付与部５５によって楽器６０からの楽音信号に所定の効果を付与するような修正処理を行うことである。
　即ち、エレキギターからの音色を変更するエフェクターを入力用画像７０として表示した場合には（図７（ａ）参照）、ユーザは検知領域８０の何処で、靴の先端位置を上下動させてもエフェクターを動作させたのと同じ効果を得ることが可能となる。
　上述した情報入力装置１では、ユーザの靴の先端位置を特定して、ユーザの靴の先端位置を追尾するように入力用画像７０を投影し、ユーザの靴の先端位置のタップを検出して入力操作と判定している。したがって、楽器を演奏しているユーザは、単に、靴の先端を、所望の位置でタップさせるだけで、所望の入力操作を行うことができ、演奏中にエフェクターの位置を探す必要がなくなる。また、入力用画像７０は、自由に設計することができるので、所望の入力操作を容易に行うことができる（図７（ａ）～図７（ｃ）参照）。
　上記の例では、楽器からの楽音信号を処理する機能を足で操作するようにしたが、本発明に係る情報入力装置は、上記のような操作に限定されるものではない。例えば、本発明に係る情報入力装置では、手が塞がった状態で、ネットワーク接続を行うような入力操作等に応用することが可能である。
　上記の例では、ユーザの靴の先端位置を検出して、ユーザの靴の先端位置の動作に応じて入力操作がなされたか否かの判定を行った。しかしながら、検出するユーザの足の部位は、靴の先端位置だけなく、靴の踵、靴全体の形状、膝やくるぶしの部分等であって良く、靴の先端位置に限定されるものではない。
　上記の例では、ユーザの靴の先端位置の深度データと検知領域の深度データとの差（距離）が所定の閾値を超えて上下に移動したことを検出して、ユーザの足がタップしたとの判定を行った。しかしながら、ユーザの足を利用した入力操作はこのような検知領域８０のステージ、床及び地面等を基準として、上～下又は下～上への靴の先端位置の移動だけでなく、例えば、靴の先端位置が、上～下～上等に移動した場合に初めてタップをしたと判定しても良い。さらに、靴の先端位置の速度や変化量に応じて、タップをしたと判定するようにしても良い。
　上記の例では、靴の先端位置を追尾するように入力用画像を投影した。しかしながら、常に、靴の先端位置を追尾するように入力用画像を投影すると、逆にタップがしにくくなる場合もあるので、靴の先端位置が所定距離以上移動したときに初めて、入力用画像が靴の先端位置を追尾するように制御しても良い。
　上記の例では、靴の先端位置によるタップを検出した場合には、タップによる入力操作に応じた操作信号を制御装置５０の外部機器（例えば、アンプ６１）へ出力するようにした。しかしながら、足の先端位置の微妙な上下動を全て検出すると、チャタリングのような状況が発生することから、所定時間内（例えば、１ｓ）に、複数回（３回）以上のタップが検出された場合に、操作入力が無かったと判定するようにしても良い。
　図１２は、足による入力の他の例を示す図である。
　図１２は、図９と同様に、制御装置５０がＳ２１で取得したＲＧＢデータに基づいた画像例である。図１２では、ダミースイッチ９０が、検知領域８０で検知されている。ダミースイッチ９０は、実体はあるが、ユーザが足によるクリック感を得るためだけの単なるスイッチであり、他の装置との接続及び情報の授受は行わない。
　図８に示した制御フローでは、靴の先端位置をリアルタイムで検出し、それを追尾するように、入力用画像７０を移動させて表示した。しかしながら、図１２に示す例では、制御部５０は、ダミースイッチ９０を検出し、ダミースイッチ９０のスイッチ位置である中心部Ｐ２０で、靴の先端位置がタップした場合に、入力操作が行われたと判定する。ダミースイッチ９０の形状の情報及びそのスイッチ位置の情報は、予め制御装置５０のＲＯＭ５３等に記録されており、制御装置５０は、図８の制御フローにおけるＳ２２でダミースイッチ９０を検出し、その中心部Ｐ２０を特定することができる。
　なお、ダミースイッチ９０の検出は、最初の１回だけ（通常、一旦スイッチを置いてしまえば、以後ダミースイッチを移動させる必要性は低い）としても良いし、所定の時間間隔で繰り返し行う（ユーザが足でダミースイッチを移動させてしまう可能性がある）ようにしても良い。
　また、図１２に示すようなダミースイッチ９０を利用する場合には、あえて入力用画像７０を投影する必要はないが、ユーザがその場所を確認し易くするための、光スポット９１を、検出したダミースイッチ９０が存在する場所に投影するようにしても良い。さらに、検知領域８０内に、ダミースイッチが複数ある場合、ダミースイッチを相互に識別するために、ダミースイッチを照らす光スポットの外形形状をダミースポットに応じて変化（丸、四角、三角等）させても良い。また、各ダミースイッチの近傍に異なった数字、マーク、所定の説明情報等を投影するようにしても良い。
　図１３は情報入力装置１における制御フローの他の例を示す図であり、図１４及び図１５は図１３に示す制御フローを説明するための図である。
　図１３に示す制御フローは、制御装置５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御装置５０のＣＰＵ５１が、検知部２０、照射部３０及び雲台４０を制御して実行するものである。図１３に示す制御フローは、所定の時間間隔（例えば、１００ｍｓ毎）で繰り返し実行される。また、図１３に示す制御フローの内、Ｓ３０～Ｓ３３は、図８に示すＳ２０～Ｓ２３と同様であるので、その説明を省略する。
　次に、制御装置５０は、靴の先端位置がダブルタップしたか否かの判定を行う（Ｓ３４）。ダブルタップしたか否かは、図８のＳ２５で操作入力がなされたか否かを判定する際に考慮した「靴の先端位置のタップ」が（図１１参照）、所定時間以内（例えば、２秒以内）に、２回行われたか否かにより行う。
　Ｓ３４においてダブルタップがあったと判定された場合、制御装置５０は、照射部３０を制御して、入力用画像１００をＳ３３で特定した靴の先端位置の位置座標データに基づいて、靴の先端位置を追尾するように、その直上に表示する（Ｓ３５）。
　図１４は、ユーザの右足６８の先端位置Ｐ４が認識されていた状態で、ダブルタップが行われた場合に、右足６８の直上に入力用画像１００が表示された状態を示している。なお、図１４に示す入力用画像１００は一例であって、それに限定されるものではなく、他の入力用画像を利用することも可能である。
　入力用画像１００は、インジケータ部１１０及び４つのアイコン１１１～１１４を有しており、各アイコンに所定の処理内容が予め割り付けられている。さらに、入力用画像１００の４つのアイコンが表示された領域を含み、入力用画像１００の周囲に外部にまで広がる領域１～４が対応付けられている（図１４及び図１５参照）。なお、入力用画像１００と領域１～４の位置関係は、予め定められているものとする。また、例えば、アイコン１１２には「制御装置５０の効果付与部５５によって楽器６０からの楽音信号に所定の効果を付与するような入力」が割り付けられ、アイコン１１４には「終了操作」が割り付けられているものとする。
　次に、制御装置５０は、入力操作がなされたか否かの判定を行う（Ｓ３６）。入力操作がなされたか否かの判定は、図８のＳ２５と同様であるので、説明を省略する。
　Ｓ３６において入力操作があったと判定された場合、制御装置５０は、Ｓ３５で表示された入力用画像１００の位置データ、Ｓ３０で取得した入力用画像１００自体の表示データ、及び、入力用画像１００に含まれるアイコンに対応付けられている領域の位置データに基づいて、検知領域８０内における領域１～４の範囲を特定する（Ｓ３７）。
　次に、制御装置５０は、Ｓ２５において入力操作があったと判定された靴の先端位置に対応する領域を特定し、領域に対応するアイコンを特定し、アイコンに対応した情報入力内容を特定する（Ｓ３８）。また、制御装置５０は、特定したアイコンを入力用画像１００のインジケータ１１０内に表示する。
　図１５は、操作入力が行われたと判定された状態の一例を示している。図１５の場合、入力操作が行われたと判定された時の靴の先端位置Ｐ４は領域２内であるので、アイコン１１２に対する入力操作が行われたと認識され、インジケータ１１０にはアイコン１１２が表示されている。
　次に、制御装置５０は、Ｓ３８で特定された情報入力内容が「終了操作」か否かの判定を行い（Ｓ３９）、「終了操作」でない場合には、入力操作されたアイコンに対応した処理を実行する（Ｓ４０）。
　制御装置５０は、Ｓ３９において、Ｓ３８で特定された情報入力内容が「終了操作」であると判定された場合には、入力用画像１００を消去して（Ｓ４１）、一連の処理を終了する。前述したように、Ｓ３８で特定された領域が領域４（アイコン１１４）の場合、「終了処理」であると判定される。
　図８に示す制御フローでは、図７及び図１２に示すような入力用画像の入力ボタンの位置で、入力操作を行う必要があった。これに対して、図１３に示す制御フローでは、図１５に示す様に、入力用画像１００の各アイコンに対応した領域で、入力操作を行えば、対応するアイコンに予め割り当てられた処理を行うような情報入力を行うことが可能となる。したがって、図１３に示す制御フローでは、入力用画像の入力ボタン自体をタップしなくても、入力用画像の周囲の所定の領域内でタップを行えば良いので、靴の先端位置の移動距離が短くて済み、入力操作がより容易となる。
　上記の例では、図１５に示す様に、入力用画像１００に含まれる各アイコン１１１～１１４に対応した領域１～４を、アイコンから放射状に入力用画像１００の周囲に、その外側に伸延させた。しかしながら、上記の例は一例であって、アイコンに対応する領域であると容易に認識できるのであれば、他の方法であっても良い。例えば、アイコンを一列に配列して表示し、それぞれのアイコンの直下まで、各アイコンに対応した領域を伸延させても良い。
　上記の例では、ユーザが靴の先端で、踵を軸としてダブルタップした場合（図１３のＳ３４参照）に、入力用画像１００を靴の先端位置を追尾するように表示させた。しかしながら、他の方法で、最初に入力用画像１００を表示させるようにしても良い。例えば、入力操作と同様に、シングルタップであっても良い。また、入力用画像１００を、最初からホームポジション（図１４のＨ参照）に表示させておき、ダブルタップした位置に靴の先端位置を追尾するように入力用画像１００を移動させるように制御しても良い。その場合、終了操作（図１３のＳ４１参照）に伴って、入力用画像１００を消去するのではなく、ホームポジションに戻るように制御することがより好ましい。さらに、ホームポジションにおける入力用画像１００は、実際に入力操作を行う場合と同じ形状や大きさでなくても良く、例えば、縮小して表示しても良い。
　上記の例では、ユーザが靴の先端で、踵を軸としてダブルタップした場合（図１３のＳ３４参照）に、入力用画像１００を靴の先端位置を追尾するように表示させた。しかしながら、一旦入力用画像１００を表示させた後にも、靴の先端位置の位置座標を取得し続け、再度ユーザがダブルタップした場合には、再度ダブルタップした靴の先端位置を追尾するように、入力用画像１００を移動させても良い。
　１　　情報入力装置
　２０　　検知部
　２１　　ＲＧＢ撮像部
　２２　　赤外線カメラ
　２３　　赤外線照射発光部
　３０　　照射部
　４０　　雲台
　４５　　第１モータ
　４６　　第２モータ
　５０　　制御装置
　５１　　ＣＰＵ
　５２　　ＲＡＭ
　５３　　ＲＯＭ
　５４　　Ｉ/Ｏ
　７０、７０´、７０´´、１００　　入力用画像
　９０　　ダミースイッチ

Claims (9)

  1. 　入力用画像を投影する投影部と、
    　前記入力用画像の投影位置を変更する投影位置変更部と、
    　ユーザの足の位置を検知する検知センサと、
    　前記検知センサにより検知されたユーザの足の位置を前記入力用画像が追尾するように前記投影位置変更部を制御し、且つユーザの足による入力操作を判定して、前記入力用画像による情報入力を検出する制御部と、
    　を有することを特徴とする情報入力装置。
  2. 　前記検知センサは、深度センサを含み、
    　前記制御部は、前記深度センサからの深度データに基づいて、前記入力用画像を投影する被投影面からユーザの足までの距離を算出し、算出された距離に基づいてユーザの足による入力操作を判定する、請求項１に記載の情報入力装置。
  3. 　前記制御部は、前記距離に基づいて、ユーザの足先によるタップを検出し、入力操作がなされたか否かの判定を行う、請求項２に記載の情報入力装置。
  4. 　前記制御部は、投影された前記入力用画面上において、ユーザの足による入力操作がなされたと判定された場合に、前記入力用画像による情報入力を検出する、請求項１～３の何れか一項に記載の情報入力装置。
  5. 　前記制御部は、投影された前記入力用画面の周囲において、ユーザの足による入力操作がなされたと判定された場合に、前記入力用画像による情報入力を検出する、請求項１～３の何れか一項に記載の情報入力装置。
  6. 　前記制御部は、前記入力用画像による情報入力に対応した操作信号を外部の機器へ出力する、請求項１～５の何れか一項に記載の情報入力装置。
  7. 　前記制御部は、所定時間以内に所定回数の入力操作があったと判定された場合には、前記操作信号を外部の機器へ出力しないように制御する、請求項６に記載の情報入力装置。
  8. 　前記制御部は、前記検知センサからの検知データを用いて、検知領域内の物体を特定し、特定された物体の曲率から、ユーザの足を検知する、請求項１～７の何れか一項に記載の情報入力装置。
  9. 　前記入力用画像は、ダミースイッチを照らすための光スポットである、請求項１に記載の情報入力装置。
PCT/JP2013/071796 2012-09-12 2013-08-12 情報入力装置 WO2014041938A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014535455A JPWO2014041938A1 (ja) 2012-09-12 2013-08-12 情報入力装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-200745 2012-09-12
JP2012200745 2012-09-12
JP2013-085898 2013-04-16
JP2013085898 2013-04-16

Publications (1)

Publication Number Publication Date
WO2014041938A1 true WO2014041938A1 (ja) 2014-03-20

Family

ID=50278063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/071796 WO2014041938A1 (ja) 2012-09-12 2013-08-12 情報入力装置

Country Status (2)

Country Link
JP (1) JPWO2014041938A1 (ja)
WO (1) WO2014041938A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109917913A (zh) * 2019-03-01 2019-06-21 南京云家物联网研究院有限公司 虚拟投影开关及工作方法
JP2021524096A (ja) * 2018-05-16 2021-09-09 アルコン インコーポレイティド 足制御型カーソル

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019141184A (ja) * 2018-02-16 2019-08-29 長田電機工業株式会社 歯科治療椅子

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195895A (ja) * 1997-09-18 1999-04-09 Sony Corp 情報入力装置
WO2009141855A1 (ja) * 2008-05-23 2009-11-26 新世代株式会社 入力システム、入力方法、コンピュータプログラム、及び、記録媒体
JP2010004099A (ja) * 2008-06-18 2010-01-07 Ricoh Co Ltd 入力装置及び画像形成装置
JP2012008936A (ja) * 2010-06-28 2012-01-12 Kddi Corp 情報端末装置
WO2012173001A1 (ja) * 2011-06-13 2012-12-20 シチズンホールディングス株式会社 情報入力装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195895A (ja) * 1997-09-18 1999-04-09 Sony Corp 情報入力装置
WO2009141855A1 (ja) * 2008-05-23 2009-11-26 新世代株式会社 入力システム、入力方法、コンピュータプログラム、及び、記録媒体
JP2010004099A (ja) * 2008-06-18 2010-01-07 Ricoh Co Ltd 入力装置及び画像形成装置
JP2012008936A (ja) * 2010-06-28 2012-01-12 Kddi Corp 情報端末装置
WO2012173001A1 (ja) * 2011-06-13 2012-12-20 シチズンホールディングス株式会社 情報入力装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524096A (ja) * 2018-05-16 2021-09-09 アルコン インコーポレイティド 足制御型カーソル
CN109917913A (zh) * 2019-03-01 2019-06-21 南京云家物联网研究院有限公司 虚拟投影开关及工作方法

Also Published As

Publication number Publication date
JPWO2014041938A1 (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
US7623115B2 (en) Method and apparatus for light input device
JP5256269B2 (ja) データ生成装置、データ生成装置の制御方法、及びプログラム
JP5598490B2 (ja) 演奏装置、方法及びプログラム
WO2012173001A1 (ja) 情報入力装置
JP5254906B2 (ja) 電子機器
US7862179B2 (en) Dual-mode projection apparatus and method for locating a light spot in a projected image
US8602893B2 (en) Input for computer device using pattern-based computer vision
JP4590328B2 (ja) 入力データ処理プログラムおよび情報処理装置
TWI400554B (zh) 用於定位投影影像中一光點之雙模投影裝置與方法
JP6747446B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JPH0844490A (ja) インターフェイス装置
WO2012172548A1 (en) Method for translating a movement and an orientation of a predefined object into a computer generated data
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
WO2014041938A1 (ja) 情報入力装置
JP2004252149A (ja) 仮想打楽器演奏システム
JP5976787B2 (ja) レーザー・ダイオード・モード
US20130082923A1 (en) Optical pointer control system and method therefor
JP2005300971A (ja) 操作支援システム、及び操作支援方法
JP5306780B2 (ja) 入力装置
JP2015094828A (ja) 画像投影方法、情報入力装置及びプログラム
JP5971816B2 (ja) ゲーム装置及びプログラム
US11798429B1 (en) Virtual tutorials for musical instruments with finger tracking in augmented reality
JP2014110572A (ja) 書画カメラ、書画カメラの制御方法
JP2008076765A (ja) 演奏システム
US20100053080A1 (en) Method For Setting Up Location Information On Display Screens And A Recognition Structure Thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13836660

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014535455

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13836660

Country of ref document: EP

Kind code of ref document: A1