WO2011052270A1 - 操作入力装置 - Google Patents

操作入力装置 Download PDF

Info

Publication number
WO2011052270A1
WO2011052270A1 PCT/JP2010/061822 JP2010061822W WO2011052270A1 WO 2011052270 A1 WO2011052270 A1 WO 2011052270A1 JP 2010061822 W JP2010061822 W JP 2010061822W WO 2011052270 A1 WO2011052270 A1 WO 2011052270A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation input
input device
captured image
posture
user
Prior art date
Application number
PCT/JP2010/061822
Other languages
English (en)
French (fr)
Inventor
渉一 池上
鈴木　健太郎
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to US13/504,322 priority Critical patent/US20120212410A1/en
Priority to EP10826405.2A priority patent/EP2498170B1/en
Priority to CN2010800603263A priority patent/CN102725713A/zh
Publication of WO2011052270A1 publication Critical patent/WO2011052270A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Definitions

  • the present invention relates to an operation input device that a user holds and uses by hand, an information processing device connected to the operation input device, an attitude detection method for the operation input device, and an information storage medium.
  • Some operation input devices for a user to perform operation input such as a controller for a home game machine, are provided with posture detection sensors such as an acceleration sensor and a gyro sensor in order to detect the posture of the operation input device. (See, for example, Patent Document 1).
  • posture detection sensors such as an acceleration sensor and a gyro sensor
  • the user can perform various operation inputs by not only pressing the operation button but also tilting or moving the operation input device itself.
  • some application programs, such as games execute processing according to an operation input for tilting such an operation input device.
  • operation input devices do not include the above-described attitude detection sensor.
  • an application program based on operation input based on posture detection cannot be used.
  • the present invention has been made in consideration of the above situation, and one of its purposes is an operation input device capable of realizing an operation input by changing the posture of the operation input device without a posture detection sensor,
  • An object is to provide an information processing apparatus, an attitude detection method for an operation input apparatus, a program, and an information storage medium.
  • An operation input apparatus is an operation input apparatus that is used by being held by a user's hand, and a captured image acquisition unit that acquires a captured image captured by an imaging unit provided in the operation input apparatus; Posture detection means for detecting the posture of the operation input device based on the analysis result of the acquired captured image.
  • the information processing apparatus is connected to an operation input device that is used by being held by a user's hand, and a captured image acquisition unit that acquires a captured image captured by an imaging unit provided in the operation input device And posture detection means for detecting the posture of the operation input device based on the analysis result of the acquired captured image.
  • the attitude detection method for an operation input device includes a step of acquiring a captured image captured by an imaging unit provided in the operation input device, and an analysis result of the acquired captured image, Detecting the attitude of the operation input device.
  • the information storage medium includes a captured image acquisition unit that acquires a captured image captured by an imaging unit provided in the operation input device, and the operation based on an analysis result of the acquired captured image.
  • a computer-readable information storage medium that stores a program for causing a computer to function as an attitude detection unit that detects an attitude of an input device.
  • FIG. 5A It is a figure which shows the state which the operation input device rotated centering on the X-axis with respect to the reference
  • FIG. 6A It is a figure which shows the captured image in the state of FIG. 6A. It is a figure which shows the state which the operation input device rotated centering around the Y-axis with respect to the reference
  • FIG. 1 is a perspective view showing the appearance of the operation input device 1 in the first embodiment of the present invention.
  • the operation input device 1 is a portable game machine that is used by the user U gripped by hand.
  • the casing 10 of the operation input device 1 has a substantially rectangular flat plate shape as a whole, and a display unit 11 is disposed on the surface thereof.
  • An imaging unit 12 is attached to the upper end of the housing 10.
  • the horizontal direction (longitudinal direction) of the operation input device 1 is the X-axis direction
  • the vertical direction is the Z-axis direction
  • the thickness direction of the operation input device 1 is defined as the Y-axis direction.
  • the display unit 11 may be various image display devices such as a liquid crystal display panel and an organic EL display panel.
  • the imaging unit 12 is a CCD camera or the like, and captures surrounding images. Specifically, in FIG. 1, the lens of the imaging unit 12 is directed in the front direction (Y-axis positive direction) of the operation input device 1 and captures an image with the direction as the imaging direction Dc. Note that the lens of the imaging unit 12 can be rotated 180 ° about the X-axis direction as a rotation center. As a result, the imaging direction Dc of the imaging unit 12 changes from the positive Y-axis direction to the negative Y-axis direction (the back direction of the operation input device 1) via the negative Z-axis direction.
  • various operation members 13 such as operation buttons and analog sticks are arranged on the surface of the housing 10 of the operation input device 1.
  • the user U can perform an operation input to the operation input device 1 by operating these operation members 13.
  • the operation input device 1 includes a control unit 14 and a storage unit 15.
  • the control unit 14 is a CPU or the like, and executes various types of information processing according to programs stored in the storage unit 15.
  • the control unit 14 detects the attitude of the operation input device 1 using the captured image captured by the imaging unit 12, and uses the detection result as an operation input by the user U to display on the display unit 11.
  • a process for updating the image is executed. The contents of the process executed by the control unit 14 will be described later.
  • the storage unit 15 includes a memory element such as RAM and ROM, a hard disk drive, and the like, and stores programs executed by the control unit 14 and various data.
  • the storage unit 15 also operates as a work memory for the control unit 14.
  • the operation input device 1 functionally includes a captured image acquisition unit 21, an attitude detection unit 22, and a display image update unit 23.
  • the posture detection unit 22 includes an image analysis unit 22a and a posture parameter calculation unit 22b. These functions are realized by the control unit 14 executing a program stored in the storage unit 15. This program may be provided to the operation input device 1 via a communication network such as the Internet, or may be provided by being stored in various computer-readable information storage media such as an optical disk and a memory card.
  • the captured image acquisition unit 21 acquires the captured image I captured by the imaging unit 12. Specifically, the captured image acquisition unit 21 acquires the captured image I at the time point every predetermined time while the operation input device 1 performs the posture detection process.
  • the captured image I may be a still image or a frame image at a certain point in the moving image. That is, the imaging unit 12 may capture a still image at a timing indicated by the captured image acquisition unit 21. Alternatively, the imaging unit 12 may continuously capture a moving image, and the captured image acquisition unit 21 may extract a frame image from the moving image as the captured image I.
  • the posture detection unit 22 detects the posture of the operation input device 1 based on the image analysis result of the captured image I acquired by the captured image acquisition unit 21.
  • the image analysis unit 22a analyzes each captured image I acquired by the captured image acquisition unit 21 every predetermined time, and identifies an object (subject) included in the captured image I.
  • This subject is an object used as a mark for detecting the attitude of the operation input device 1, and any object can be used as long as the position and orientation of the subject in the captured image I can be specified. Good.
  • the subject as a specific target by the image analysis unit 22 a is the face of the user U holding the operation input device 1.
  • the user U of the operation input device 1 holds the operation input device 1 with both hands so that the operation input device 1 is positioned in front of his / her own face. use.
  • the face of the user U is located in the imaging direction Dc of the imaging unit 12, and it is assumed that the face of the user U is reflected in the captured image I.
  • the image analysis unit 22a identifies the center position of the user U's face in the captured image I (hereinafter referred to as the face position Pf).
  • the inclination of the face of the user U in the captured image (hereinafter referred to as a face direction Df) is specified.
  • the face direction Df is defined as a direction in which the top of the user U is facing in the captured image I.
  • the face position Pf and the face direction Df can be specified using a known face recognition technique.
  • the image analysis unit 22a detects a part such as an eye or nose included in the face, or analyzes a luminance distribution, a color distribution, a heat distribution, a distance distribution, and the like in the captured image I.
  • the face position Pf and the face direction Df may be specified.
  • the image analysis unit 22a may specify, for example, the face having the largest size in the captured image I as the face of the user U.
  • FIG. 4 shows the position coordinates (xf, yf) of the face position Pf specified by such image analysis and the angle value ⁇ f of the face direction Df.
  • the position coordinates (xf, yf) of the face position Pf are represented by a coordinate system with the center position of the captured image I as the origin.
  • the angle value ⁇ f of the face direction Df is expressed as an angle of the face top direction with respect to the upward direction (vertical direction) of the captured image I.
  • the posture parameter calculation unit 22b calculates the value of the posture parameter representing the posture of the operation input device 1 using the analysis result obtained by the image analysis unit 22a. Specifically, the posture parameter calculation unit 22b detects the posture of the operation input device 1 based on at least one of the face position Pf and the face direction Df specified by the image analysis unit 22a. Here, the posture parameter calculation unit 22b calculates the roll angle ⁇ r, the pitch angle ⁇ p, and the yaw angle ⁇ y as posture parameters using the face position Pf and the face direction Df. These posture parameters represent rotation angles with respect to the reference posture of the operation input device 1 around each reference axis set in the operation input device 1, as will be described in detail later.
  • the center of the face of the user U exists on a straight line obtained by extending the imaging direction Dc, and the direction above the operation input device 1 (Z-axis negative direction) and the direction from the face of the user U to the top of the head coincide with each other.
  • the state is a reference posture of the operation input device 1. That is, when the operation input device 1 is in the reference posture, the face position Pf exists at the center of the captured image I, and the face direction Df is directed upward in the captured image I.
  • the face position Pf and the face direction Df when the operation input device 1 is in the reference posture are referred to as a reference face position Po and a reference face direction Do, respectively.
  • the roll angle ⁇ r indicates the rotation angle of the operation input device 1 with respect to the reference posture with the Z axis as the rotation center.
  • FIG. 5A shows a state in which the operation input device 1 is rotated from the reference posture with the Z axis as the rotation center, and shows a state where the user U and the operation input device 1 are viewed from above (Z axis negative direction side).
  • FIG. 5B shows the captured image I in this state.
  • the operation input device 1 rotates about the Z axis
  • the user U moves in the left-right direction as viewed from the imaging unit 12, and the face position Pf in the captured image I is Move in the left-right direction with respect to the reference face position Po.
  • the posture parameter calculation unit 22b calculates the roll angle ⁇ r based on the x coordinate value xf of the face position Pf using a predetermined function.
  • the posture parameter calculation unit 22b ⁇ r a1 ⁇ f (xf / xmax ) ⁇ r is calculated using the following formula.
  • a1 is a predetermined coefficient
  • xmax is the maximum value of the x coordinate value
  • f (x) is a predetermined function.
  • the posture parameter calculation unit 22b assumes that the roll angle ⁇ r is proportional to the x coordinate value xf
  • the function f (x) may be a correction function corresponding to the structure of the imaging unit 12, lens characteristics, and the like.
  • the pitch angle ⁇ p indicates the rotation angle of the operation input device 1 with respect to the reference posture with the X axis as the rotation center.
  • FIG. 6A shows a state in which the operation input device 1 is rotated from the reference posture with the X axis as the rotation center, and shows a state where the user U and the operation input device 1 are viewed from the side (X axis positive direction side). Yes.
  • FIG. 6B shows the captured image I in this state.
  • the operation input device 1 rotates around the X axis
  • the user U moves up and down as viewed from the imaging unit 12, and the face position Pf in the captured image I is It moves up and down with respect to the reference face position Po.
  • the posture parameter calculation unit 22b calculates the pitch angle ⁇ p based on the y coordinate value yf of the face position Pf using a predetermined function.
  • a2 is a predetermined coefficient
  • y max is the maximum value of y-coordinate value
  • g (y) is a predetermined function.
  • g (y) may be the same function as f (x).
  • the posture parameter calculation unit 22b assumes that the pitch angle ⁇ p is proportional to the y coordinate value yf.
  • the posture parameter calculation unit 22b calculates the roll angle ⁇ r and the pitch angle ⁇ p based on the face position Pf in the captured image I.
  • These posture parameters represent the inclination of the operation input device 1 with respect to the direction from the imaging unit 12 toward the user U.
  • the xf and yf respectively, using the value obtained by dividing the x max and y max, and calculates the ⁇ r and theta] p.
  • the roll angle ⁇ r and the pitch angle ⁇ p can be calculated based on the values obtained by normalizing the position coordinates in the captured image I.
  • a1 and a2 may be equal to each other.
  • ⁇ r a1 ⁇ f (xf)
  • the origin of the position coordinates and the reference face position Po match here, the origin of the position coordinates may be at a position different from the reference face position Po.
  • the coordinate value of the face position Pf may be expressed using any one of the four corners of the captured image I as the origin.
  • ⁇ r and ⁇ p are used by using (xf ⁇ xo) and (yf ⁇ yo) instead of xf and yf in the above-described calculation formulas. Is calculated, the rotation angle with respect to the reference posture can be obtained.
  • the yaw angle ⁇ y indicates the rotation angle of the operation input device 1 with respect to the reference posture with the Y axis as the rotation center. That is, the yaw angle ⁇ y indicates the inclination of the operation input device 1 in a plane perpendicular to the imaging direction Dc.
  • FIG. 7A shows a state in which the operation input device 1 is rotated from the reference posture with the Y axis as the rotation center, and shows a state where the user U and the operation input device 1 are viewed from the back side (Y axis negative direction side). Yes.
  • FIG. 7B shows the captured image I in this state.
  • the posture parameter calculation unit 22b calculates the yaw angle ⁇ y based on the angle value ⁇ f of the face direction Df using a predetermined function.
  • a3 is a predetermined coefficient
  • h ( ⁇ ) is a predetermined function.
  • the posture parameter calculation unit 22b assumes that the yaw angle ⁇ y is proportional to the angle value ⁇ f.
  • the coefficients a1, a2, and a3 may be fixed values determined in advance by an application program or the like, or may be values that can be changed according to designation by the user U.
  • the coefficients a1 and a2 may be values that change based on the size of the subject (here, the size of the face of the user U) obtained by image analysis by the image analysis unit 22a.
  • the coefficients a1 and a2 may be values that change based on the size of the subject (here, the size of the face of the user U) obtained by image analysis by the image analysis unit 22a.
  • the actual position of the user U's face and the position assumed in the reference posture that is, the center position of the user U's face deviates from the straight line extending the imaging direction Dc.
  • the influence of this deviation varies depending on the distance between the user U and the imaging unit 12. That is, when the distance between the user U and the imaging unit 12 is relatively short, the face position Pf moves greatly in the captured image I even if the inclination of the operation input device 1 slightly changes.
  • the distance between the user U and the imaging unit 12 is relatively long, even if the operation input device 1 is tilted by the same angle, the movement amount of the face position Pf in the captured image I is the user U and the imaging unit. This is less than when the distance to 12 is short.
  • the image analysis unit 22a specifies the face position Pf and the face direction Df, the size of the face area occupied by the face of the user U in the captured image I is also specified. Can be used to estimate the distance from the imaging unit 12 to the user U.
  • the posture parameter calculation unit 22b reduces the influence of the above-described shift and roll angle that reflects the posture change of the operation input device 1. ⁇ r and pitch angle ⁇ p can be calculated. Specifically, the posture parameter calculation unit 22b may decrease the values of the coefficients a1 and a2 as the size of the face area specified by the image analysis unit 22a is larger. The posture parameter calculation unit 22b may use not only the size of the face area but also other input information such as parallax information in order to estimate the distance to the face of the user U.
  • the user U changes the orientation of the operation input device 1 but does not move the position of the operation input device 1 relative to itself (that is, even if the imaging direction Dc of the imaging unit 12 changes).
  • the orientation parameter is calculated on the assumption that the imaging position itself does not change. If the user U moves the position of the operation input device 1 in parallel, the face position Pf moves in the captured image I also in that case. For this reason, it may be impossible to determine whether the user U has rotated the operation input device 1 or moved it in parallel using only the information on the face position Pf in the captured image I.
  • the posture detection unit 22 detects a change in the direction of the subject with respect to the direction from the imaging unit 12 toward the subject (here, the face of the user U), and performs an operation input according to the detected change in the direction of the subject.
  • the presence or absence of a change in the tilt of the device 1 may be determined.
  • the image analysis unit 22a determines which direction the front direction of the face of the user U is facing. Such a determination is made possible by specifying the positions of feature points such as eyes and nose in the face area and comparing the distribution (degree of bias) of the specified feature points in the face area with a reference value. .
  • FIG. 8A is a diagram illustrating a state where the user U and the operation input device 1 are viewed from above as in FIG. 5A, and illustrates a state in which only the position is changed without changing the direction of the operation input device 1. .
  • the face position Pf in the captured image I moves from the center of the captured image I toward the outer periphery.
  • the position of the face of the user U with respect to the lens of the imaging unit 12 does not change in the real space. Therefore, the front surface of the user U's face remains directed toward the lens of the imaging unit 12, and the front direction of the user U's face hardly changes in the captured image I as shown in FIGS.
  • the posture parameter calculation unit 22b analyzes the face image included in the captured image I, and calculates the angle of the front direction of the user U's face with respect to the direction from the user U toward the imaging unit 12. Specifically, for example, the posture parameter calculation unit 22b uses the position distribution of parts such as eyes and nose included in the face, the luminance distribution in the face region, the color distribution, the heat distribution, the distance distribution, etc. You may calculate the angle of a direction. Then, it is determined that the operation input device 1 has moved in parallel by an amount corresponding to the angle, and correction is performed by subtracting the amount resulting from the parallel movement from the position coordinate values xf and yf of the face position Pf.
  • the posture parameter calculation unit 22b calculates ⁇ r and ⁇ p described above using the corrected values of xf and yf. In this way, when the face position Pf changes in the captured image I, the part resulting from the parallel movement of the operation input device 1 and the part resulting from the change in inclination are separated from the change, and the inclination Only changes can be calculated.
  • the posture parameter calculation unit 22b specifies an angle in the front direction such as eyes and nose included in the face, not the front direction of the entire face, and uses the specified angle to translate the amount of translation of the operation input device 1 May be calculated.
  • the posture parameter calculation unit 22b may detect the parallel movement of the operation input device 1 using the movement of the background image included in the captured image I. That is, when the user U moves the operation input device 1 in parallel, not only the position of the user U in the captured image I moves, but also the entire background image behind the user U moves in parallel. On the other hand, when the user U merely tilts the operation input device 1, the entire background does not translate even though the background image may be distorted. Therefore, the background image in the captured image I is compared with the background image in the captured image I captured in the past, and the change in the background image is analyzed to specify the parallel movement amount of the operation input device 1. it can. Such an analysis can be realized using, for example, the KLT method (Kanade-Lucas-Tomasi Feature Tracker).
  • the posture detection unit 22 can calculate the distance from the imaging unit 12 to the face of the user U based on the size of the face area. By using this time change in distance, the posture detection unit 22 can detect, for example, an operation in which the user U shakes the operation input device 1 in the front-rear direction. As described above, the posture detection unit 22 not only rotates (changes in inclination) about the X-axis, Y-axis, and Z-axis, but also along the X-axis, Y-axis, and Z-axis directions. An operation for moving the operation input device 1 may also be detected, and the speed and acceleration of the movement may be calculated and output to the display image update unit 23.
  • the display image update unit 23 performs a process of updating the display image displayed on the display unit 11 according to the posture detection result by the posture detection unit 22. Specifically, the display image update unit 23 updates the display image using the posture parameter value calculated by the posture parameter calculation unit 22b as an operation input. For example, the display image update unit 23 moves the user object arranged in the virtual three-dimensional space according to the tilt direction and the tilt amount of the operation input device 1 specified according to the values of ⁇ r and ⁇ p, A process of moving the viewpoint position set in the dimension space is executed. Then, an image reflecting the result of the processing is generated and displayed on the display unit 11. Thereby, the operation input device 1 can execute an application program such as a game, for example, in accordance with an operation input for the user U to change the attitude of the operation input device 1, and present the result to the user U.
  • an application program such as a game
  • the display image update unit 23 may display the captured image I itself captured by the imaging unit 12 in a partial area in the display unit 11 together with the result of the processing executed according to the value of the posture parameter. .
  • the display image update unit 23 causes the display unit 11 to display an image indicating the result of the analysis by the image analysis unit 22a (that is, the face position Pf or the face direction Df of the user U specified from the captured image I). May be.
  • the user U changes the posture of the operation input device 1 while confirming what change has occurred in the captured image I as a result of the operation input that changes the posture of the operation input device 1 performed by the user U. This makes it easier to input operations.
  • the captured image I to be displayed is reversed left and right, it becomes easy for the user U to intuitively grasp the change in the face position Pf according to the change in the attitude of the operation input device 1.
  • the reference posture of the operation input device 1 is a predetermined posture in which the reference face position Po coincides with the center of the captured image I.
  • the reference posture may be determined at the start of execution of the application program.
  • the user U operates the operation member 13 in a state in which the operation input device 1 is held in his / her favorite posture according to an instruction displayed on the screen, and the operation input device 1 operates the operation member 13.
  • the face position Pf and the face direction Df at a certain time point are determined as the reference face position Po and the reference face direction Do.
  • the posture detection unit 22 can detect a change with respect to the reference posture of the operation input device 1 based on a change in the face position Pf with respect to the reference face position Po and a change in the face direction Df with respect to the reference face direction Do.
  • the posture detection unit 22 fails to specify the face of the user U in the captured image I and cannot calculate the posture parameter. In such a case, the posture detection unit 22 may assume that the operation input device 1 maintains the posture detected based on the captured image I immediately before the user U's face cannot be specified. That is, the posture detection unit 22 continues to output the value of the last calculated posture parameter as it is to the display image update unit 23 until the next time the user U's face is successfully identified from within the captured image I. And Alternatively, when the posture detection unit 22 fails to specify the face of the user U, the posture change is temporarily reset and the same posture parameter as when the posture of the operation input device 1 returns to the reference posture is output. It is good.
  • the imaging unit 12 performs posture detection similar to the case where such a sensor is used, even without a posture detection sensor such as an acceleration sensor. It can implement
  • the imaging unit 12 is not limited to a CCD camera, and may be a camera that detects light other than visible light, such as infrared rays, or a compound eye camera. By using such a camera, the operation input apparatus 1 can acquire information on parallax information, heat distribution, distance distribution, and the like in the captured image I.
  • the image analysis unit 22a specifies the face of the user U included in the captured image I by face recognition processing, but it is not always necessary to perform face recognition.
  • the image analysis unit 22a may specify the position and inclination of the person's head in the captured image I by specifying the outline of the person. In this case, the inclination of the head in the captured image I can be accurately determined by using the direction of the shoulder line or the like.
  • the image analysis unit 22a specifies the position and orientation of a part (for example, eyes and nose) of the user U instead of the entire face, and the posture parameter calculation unit 22b specifies a part of the specified face. The value of the posture parameter may be calculated on the basis of the position and orientation.
  • the image analysis unit 22a may specify a person other than the user U holding the operation input device 1.
  • the lens of the imaging unit 12 is rotatable to the back side of the operation input device 1.
  • the posture detection unit 22 captures the captured image I including a person other than the user U, and the person included in the captured image I
  • the position of the operation input device 1 can be detected based on the position and the orientation.
  • the imaging direction Dc of the imaging unit 12 with respect to the operation input device 1 is opposite to the example described so far, the horizontal position of the face position Pf in the captured image I and the roll angle ⁇ r. The relationship with is reversed.
  • the relationship between the rotation direction of the face direction Df and the yaw angle ⁇ y is reversed. Therefore, for example, when the lens of the imaging unit 12 is directed to the back side, the posture detection unit 22 is affected by the reversal of the imaging direction Dc by a method of performing image analysis after the captured image I is reversed left and right. Correct.
  • the posture detection unit 22 may identify a subject other than a person and detect the posture of the operation input device 1 based on its position and orientation. Alternatively, a change in the attitude of the operation input device 1 may be detected based on the movement or rotation of the feature point specified from the captured image I.
  • the posture detection unit 22 calculates the values of the rotation angles ⁇ r, ⁇ p, and ⁇ y, and outputs them to the display image update unit 23 as posture parameters.
  • a parameter representing the posture may be calculated.
  • the operation input device 1 according to this embodiment is used as an alternative to the operation input device including an attitude detection sensor such as an acceleration sensor
  • the calculated values of ⁇ r, ⁇ p, and ⁇ y are used as output values of the acceleration sensor or the like. It is good also as outputting to the display image update part 23, after converting into the value assumed as follows.
  • the display image update unit 23 is realized by an application program such as a game, the user U can change the attitude detection sensor without changing the processing content of the display image update unit 23 from the conventional one. Even when using the provided operation input device or when using the operation input device 1 according to the present embodiment, it is possible to execute the same processing by the same operation.
  • the output of the acceleration sensor changes depending on the relationship between the vertical direction in which the gravitational acceleration occurs and the direction of the operation input device 1. Therefore, when the output of the acceleration sensor is emulated using the operation input device 1 according to this embodiment, the output of the acceleration sensor cannot be completely reproduced unless the vertical direction can be specified.
  • the attitude information of the operation input device 1 specified in relation to the gravitational acceleration is simply information on the inclination relative to the reference attitude, the inclination Some of them are used only as time change information. In such a program, it does not matter which direction the true vertical direction is with respect to the operation input device 1.
  • the posture detection unit 22 sets the virtual gravity direction to a predetermined direction, and calculates the acceleration with respect to each reference axis when gravity occurs in the direction using the values of ⁇ r, ⁇ p, and ⁇ y.
  • the calculated acceleration value is output to the display image update unit 23.
  • the operation input device 1 determines the rotation angles ⁇ r, ⁇ p, and ⁇ y about the X axis, the Y axis, and the Z axis set in the operation input device 1 according to the designation of the user U. It is assumed that any one of the X axis, the Y axis, and the Z axis set in the operation input device including the detection sensor is assigned to the rotation angle.
  • the operation input apparatus 1 sets each of the rotation angles ⁇ r, ⁇ p, and ⁇ y to be emulated according to the orientation of the face of the user U detected by the image analysis unit 22a and conditions preset by an application program or the like. You may assign to the rotation angle which makes each reference axis of the operation input device used as a rotation center. For example, the user holds the operation input device 1 vertically (the longitudinal direction of the operation input device 1 is along the vertical direction) and horizontally (the longitudinal direction of the operation input device 1 is along the left-right direction of the user).
  • the operation input device 1 When the operation input device 1 is assumed to be used, the operation input device 1 holds the operation input device 1 vertically or horizontally depending on the detected face orientation or application program designation. Judge whether it is. Then, the rotation angle assignment is changed according to the determination result. In this way, the user can perform an operation input for inclining the operation input device 1 without being aware of the direction of the operation input device 1, regardless of whether the user holds the operation input device 1 vertically or horizontally.
  • the operation input device 1 itself detects the attitude of the operation input device 1 based on the captured image I.
  • another information processing device connected to the operation input device 32 is used. 31 performs posture detection of the operation input device 32 and executes information processing according to the posture detection result.
  • the operation input device 32 is a controller of a consumer game machine, for example, and is used for the user U's operation input to the information processing device 31.
  • the information processing device 31 is, for example, a consumer game machine body, and performs various processes in accordance with the operation input of the user U via the operation input device 32, and displays the processing results on the screen of the display device 33 such as a television receiver. To display.
  • an imaging unit 34 is provided on the outer surface of the operation input device 32.
  • the operation input device 32 includes a communication unit 35, and transmits the captured image I captured by the imaging unit 34 to the information processing device 31 via the communication unit 35.
  • the information processing apparatus 31 includes a control unit 36, a storage unit 37, and a communication unit 38, and the control unit 36 performs information processing according to a program stored in the storage unit 37.
  • the communication unit 38 performs data communication with the communication unit 35 of the operation input device 32.
  • control unit 36 of the information processing device 31 can detect the attitude of the operation input device 32 by executing the same processing as that of the operation input device 1 described above. That is, the control unit 36 acquires the captured image I captured by the imaging unit 34 via the communication unit 35 and the communication unit 38. Then, based on the obtained analysis result of the captured image I, the attitude of the operation input device 32 is detected, and processing corresponding to the detected attitude is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

　姿勢検出用センサがなくとも、操作入力装置の姿勢を変化させることによる操作入力を実現できる操作入力装置を提供する。　ユーザが手で把持して使用する操作入力装置であって、当該操作入力装置に設けられた撮像部によって撮像される撮像画像を取得し、取得される撮像画像の解析結果に基づいて、当該操作入力装置の姿勢を検出する操作入力装置である。

Description

操作入力装置
　本発明は、ユーザが手で把持して使用する操作入力装置、操作入力装置と接続される情報処理装置、操作入力装置の姿勢検出方法、及び情報記憶媒体に関する。
　例えば家庭用ゲーム機のコントローラなど、ユーザが操作入力を行うための操作入力装置の中には、当該操作入力装置の姿勢を検知するために加速度センサやジャイロセンサ等の姿勢検出用センサを備えるものがある（例えば特許文献１参照）。このような操作入力装置を用いれば、ユーザは、操作ボタンを押したりするだけでなく、操作入力装置自体を傾けたり動かしたりすることで、各種の操作入力を行うことができる。例えばゲーム等のアプリケーションプログラムの中には、このような操作入力装置を傾ける操作入力に応じた処理を実行するものが存在する。
米国特許出願公開第２００７／０２６０７２７号明細書
　しかしながら、操作入力装置の中には、上述した姿勢検出用センサを備えていないものも存在する。このような操作入力装置では、姿勢検出による操作入力を前提とするアプリケーションプログラムを利用できない。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、姿勢検出用センサがなくとも、操作入力装置の姿勢を変化させることによる操作入力を実現できる操作入力装置、情報処理装置、操作入力装置の姿勢検出方法、プログラム、及び情報記憶媒体を提供することにある。
　本発明に係る操作入力装置は、ユーザが手で把持して使用する操作入力装置であって、当該操作入力装置に設けられた撮像部によって撮像される撮像画像を取得する撮像画像取得手段と、前記取得される撮像画像の解析結果に基づいて、当該操作入力装置の姿勢を検出する姿勢検出手段と、を含むことを特徴とする。
　また、本発明に係る情報処理装置は、ユーザが手で把持して使用する操作入力装置と接続され、前記操作入力装置に設けられた撮像部によって撮像される撮像画像を取得する撮像画像取得手段と、前記取得される撮像画像の解析結果に基づいて、前記操作入力装置の姿勢を検出する姿勢検出手段と、を含むことを特徴とする。
　また、本発明に係る操作入力装置の姿勢検出方法は、操作入力装置に設けられた撮像部によって撮像される撮像画像を取得するステップと、前記取得される撮像画像の解析結果に基づいて、前記操作入力装置の姿勢を検出するステップと、を含むことを特徴とする。
　また、本発明に係る情報記憶媒体は、操作入力装置に設けられた撮像部によって撮像される撮像画像を取得する撮像画像取得手段、及び前記取得される撮像画像の解析結果に基づいて、前記操作入力装置の姿勢を検出する姿勢検出手段、としてコンピュータを機能させるためのプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体である。
本発明の第１実施形態における、操作入力装置の外観を示す斜視図である。 本実施形態に係る操作入力装置の内部構成を示すブロック図である。 本実施形態に係る操作入力装置の機能例を示す機能ブロック図である。 ユーザの顔を含む撮像画像の一例を示す図である。 操作入力装置が基準姿勢に対してＺ軸を中心に回転した状態を示す図である。 図５Ａの状態における撮像画像を示す図である。 操作入力装置が基準姿勢に対してＸ軸を中心に回転した状態を示す図である。 図６Ａの状態における撮像画像を示す図である。 操作入力装置が基準姿勢に対してＹ軸を中心に回転した状態を示す図である。 図７Ａの状態における撮像画像を示す図である。 操作入力装置が平行移動した状態を示す図である。 図８Ａの状態における撮像画像を示す図である。 本発明の第２実施形態における、情報処理装置を含む情報処理システムの構成ブロック図である。
　以下、本発明の実施の形態について、図面に基づき詳細に説明する。
［第１実施形態］
　図１は、本発明の第１実施形態における、操作入力装置１の外観を示す斜視図である。本実施形態において、操作入力装置１は、ユーザＵが手で把持して使用する携帯型ゲーム機であるものとする。
　この図に示されるように、操作入力装置１の筐体１０は、全体として略矩形の平板状の形状をしており、その表面には表示部１１が配置されている。また、筐体１０の上端には、撮像部１２が取り付けられている。なお、以下では操作入力装置１の横方向（長手方向）をＸ軸方向、縦方向をＺ軸方向とする。また、操作入力装置１の厚さ方向をＹ軸方向とする。
　表示部１１は、液晶表示パネルや有機ＥＬ表示パネル等、各種の画像表示デバイスであってよい。撮像部１２は、ＣＣＤカメラ等であって、周辺の画像を撮像する。具体的に、図１においては、撮像部１２のレンズは、操作入力装置１の正面方向（Ｙ軸正方向）に向けられており、当該方向を撮像方向Ｄｃとして画像を撮像する。なお、撮像部１２のレンズは、Ｘ軸方向を回転中心として１８０°回転可能になっている。これにより、撮像部１２の撮像方向ＤｃはＹ軸正方向からＺ軸負方向を経由してＹ軸負方向（操作入力装置１の背面方向）まで変化する。
　また、操作入力装置１の筐体１０表面には、操作ボタンやアナログスティック等の各種の操作部材１３が配置されている。ユーザＵは、これらの操作部材１３を操作することで、操作入力装置１に対する操作入力を行うことができる。
　操作入力装置１の内部には、図２に示されるように、制御部１４と、記憶部１５と、が含まれる。
　制御部１４は、ＣＰＵ等であって、記憶部１５に記憶されたプログラムに従って各種の情報処理を実行する。本実施形態では、制御部１４は、撮像部１２によって撮像された撮像画像を用いて操作入力装置１の姿勢を検出し、当該検出結果をユーザＵによる操作入力として用いて、表示部１１の表示画像を更新する処理を実行する。制御部１４が実行する処理の内容については、後述する。
　記憶部１５は、ＲＡＭやＲＯＭ等のメモリ素子やハードディスクドライブ等を含んで構成され、制御部１４が実行するプログラムや各種のデータを記憶する。また、記憶部１５は、制御部１４のワークメモリとしても動作する。
　操作入力装置１は、図３に示すように、機能的に、撮像画像取得部２１と、姿勢検出部２２と、表示画像更新部２３と、を含んで構成される。また、本実施形態では、姿勢検出部２２は、画像解析部２２ａと、姿勢パラメタ算出部２２ｂと、を含んで構成される。これらの機能は、制御部１４が記憶部１５に格納されたプログラムを実行することで実現される。このプログラムは、インターネット等の通信ネットワークを介して操作入力装置１に提供されてもよいし、光ディスクやメモリカード等のコンピュータ読み取り可能な各種の情報記憶媒体に格納されて提供されてもよい。
　撮像画像取得部２１は、撮像部１２によって撮像された撮像画像Ｉを取得する。具体的に、撮像画像取得部２１は、操作入力装置１が姿勢検出処理を行っている間、所定時間おきに当該時点における撮像画像Ｉを取得することとする。
　なお、撮像画像Ｉは静止画像であってもよいし、動画像中の一時点におけるフレーム画像であってもよい。すなわち、撮像部１２は、撮像画像取得部２１が指示するタイミングで静止画像を撮像してもよい。あるいは、撮像部１２は継続して動画像の撮像を実施し、撮像画像取得部２１がその動画像の中からフレーム画像を撮像画像Ｉとして抽出してもよい。
　姿勢検出部２２は、撮像画像取得部２１が取得した撮像画像Ｉの画像解析結果に基づいて、操作入力装置１の姿勢を検出する。
　具体的に、画像解析部２２ａは、撮像画像取得部２１が所定時間おきに取得した各撮像画像Ｉの解析を行って、当該撮像画像Ｉ内に含まれる物体（被写体）を特定する。この被写体は、操作入力装置１の姿勢を検出するための目印として用いられる物体であって、撮像画像Ｉ内における当該被写体の位置や向きが特定できるものであればどのようなものであってもよい。ここでは、画像解析部２２ａによる特定の対象となる被写体は、操作入力装置１を把持しているユーザＵの顔であることとする。操作入力装置１のユーザＵは、表示部１１に表示される画像を閲覧するために、自分自身の顔の正面に操作入力装置１が位置するように、操作入力装置１を両手で把持して使用する。このとき、撮像部１２の撮像方向ＤｃにユーザＵの顔が位置することになり、撮像画像Ｉ内にはユーザＵの顔が映っていると想定される。
　画像解析部２２ａは、撮像画像Ｉ内におけるユーザＵの顔の中心位置（以下、顔位置Ｐｆという）を特定する。また、撮像画像内におけるユーザＵの顔の傾き（以下、顔方向Ｄｆという）を特定する。ここでは顔方向Ｄｆは、撮像画像Ｉ内においてユーザＵの頭頂部が向いている方向として定義することとする。これらの顔位置Ｐｆ及び顔方向Ｄｆは、公知の顔認識技術を用いて特定することができる。具体的に、例えば画像解析部２２ａは、顔に含まれる目や鼻などの部位を検出したり、撮像画像Ｉ内の輝度分布、色分布、熱分布、距離分布などを解析したりすることによって、顔位置Ｐｆ及び顔方向Ｄｆを特定してもよい。なお、撮像画像Ｉ内から複数の顔が検出される場合、画像解析部２２ａは、例えば撮像画像Ｉ内で一番サイズの大きな顔をユーザＵの顔として特定してもよい。図４は、このような画像解析によって特定される顔位置Ｐｆの位置座標（ｘｆ，ｙｆ）及び顔方向Ｄｆの角度値θｆを示している。ここで、顔位置Ｐｆの位置座標（ｘｆ，ｙｆ）は、撮像画像Ｉの中心位置を原点とした座標系によって表されている。また、顔方向Ｄｆの角度値θｆは、撮像画像Ｉの上方向（垂直方向）に対する顔の頭頂部方向の角度として表されている。
　姿勢パラメタ算出部２２ｂは、画像解析部２２ａによって得られた解析結果を用いて、操作入力装置１の姿勢を表す姿勢パラメタの値を算出する。具体的に、姿勢パラメタ算出部２２ｂは、画像解析部２２ａによって特定された顔位置Ｐｆ及び顔方向Ｄｆの少なくとも一方に基づいて、操作入力装置１の姿勢を検出する。ここでは姿勢パラメタ算出部２２ｂは、顔位置Ｐｆ及び顔方向Ｄｆを用いて、姿勢パラメタとして、ロール角θｒ、ピッチ角θｐ、及びヨー角θｙのそれぞれを算出することとする。これらの姿勢パラメタは、後に詳しく説明するように、操作入力装置１に設定された各基準軸を中心とした、操作入力装置１の基準姿勢に対する回転角を表している。
　なお、ここでは、撮像方向Ｄｃを延長した直線上にユーザＵの顔の中心が存在し、操作入力装置１の上方（Ｚ軸負方向）とユーザＵの顔から頭頂部に向かう方向が一致する状態を、操作入力装置１の基準姿勢とする。すなわち、操作入力装置１が基準姿勢にある状態では、撮像画像Ｉの中心に顔位置Ｐｆが存在し、かつ、顔方向Ｄｆが撮像画像Ｉの上方向に向いていることになる。以下では、操作入力装置１が基準姿勢にある状態における顔位置Ｐｆ及び顔方向Ｄｆを、それぞれ基準顔位置Ｐｏ及び基準顔方向Ｄｏと表記する。
　ロール角θｒは、Ｚ軸を回転中心とした、基準姿勢に対する操作入力装置１の回転角を示している。図５Ａは、操作入力装置１がＺ軸を回転中心として基準姿勢から回転した状態を示しており、ユーザＵ及び操作入力装置１を上方（Ｚ軸負方向側）から見た様子を示している。また、図５Ｂは、この状態における撮像画像Ｉを示している。これらの図に示されるように、操作入力装置１がＺ軸を回転中心として回転すると、撮像部１２から見てユーザＵは左右方向に移動することになり、撮像画像Ｉ内において顔位置Ｐｆが基準顔位置Ｐｏに対して左右方向に移動する。そこで姿勢パラメタ算出部２２ｂは、所定の関数を用いて、顔位置Ｐｆのｘ座標値ｘｆに基づいてロール角θｒを算出する。例えば姿勢パラメタ算出部２２ｂは、
θｒ＝ａ１・ｆ（ｘｆ／ｘｍａｘ）
という計算式を用いてθｒを算出する。ここで、ａ１は所定の係数、ｘｍａｘはｘ座標値の最大値であって、ｆ（ｘ）は所定の関数である。一例として、姿勢パラメタ算出部２２ｂは、ロール角θｒがｘ座標値ｘｆに比例するとして、
θｒ＝ａ１・ｘｆ／ｘｍａｘ
という計算式を用いてθｒを算出してもよい。また、関数ｆ（ｘ）は、撮像部１２の構造やレンズ特性等に応じた補正関数であってもよい。
　また、ピッチ角θｐは、Ｘ軸を回転中心とした、基準姿勢に対する操作入力装置１の回転角を示している。図６Ａは、操作入力装置１がＸ軸を回転中心として基準姿勢から回転した状態を示しており、ユーザＵ及び操作入力装置１を側方（Ｘ軸正方向側）から見た様子を示している。また、図６Ｂは、この状態における撮像画像Ｉを示している。これらの図に示されるように、操作入力装置１がＸ軸を回転中心として回転すると、撮像部１２から見てユーザＵは上下方向に移動することになり、撮像画像Ｉ内において顔位置Ｐｆが基準顔位置Ｐｏに対して上下方向に移動する。そこで、姿勢パラメタ算出部２２ｂは、所定の関数を用いて、顔位置Ｐｆのｙ座標値ｙｆに基づいてピッチ角θｐを算出する。例えば姿勢パラメタ算出部２２ｂは、
θｐ＝ａ２・ｇ（ｙｆ／ｙｍａｘ）
という計算式を用いてθｐを算出してもよい。ここで、θｒの場合と同様に、ａ２は所定の係数であり、ｙｍａｘはｙ座標値の最大値であり、ｇ（ｙ）は所定の関数である。なお、ｇ（ｙ）はｆ（ｘ）と同じ関数であってもよい。一例として、姿勢パラメタ算出部２２ｂは、ピッチ角θｐがｙ座標値ｙｆに比例するとして、
θｐ＝ａ２・ｙｆ／ｙｍａｘ
という計算式を用いてθｐを算出してもよい。
　以上説明したように、姿勢パラメタ算出部２２ｂは、撮像画像Ｉ内における顔位置Ｐｆに基づいて、ロール角θｒ及びピッチ角θｐを算出する。これらの姿勢パラメタは、撮像部１２からユーザＵに向かう方向に対する操作入力装置１の傾きを表している。なお、ここではｘｆ及びｙｆを、それぞれｘｍａｘ及びｙｍａｘで除した値を用いて、θｒ及びθｐを算出している。これにより、撮像画像Ｉ内における位置座標を正規化した値に基づいて、ロール角θｒ及びピッチ角θｐを算出できる。このとき、ａ１とａ２は互いに等しい値であってもよい。また、ｘｍａｘ及びｙｍａｘを用いずに、θｒ＝ａ１・ｆ（ｘｆ）、θｐ＝ａ２・ｇ（ｙｆ）という計算式でθｒ及びθｐを算出してもよい。
　なお、ここでは位置座標の原点と基準顔位置Ｐｏが一致することとしたが、位置座標の原点は基準顔位置Ｐｏと異なる位置にあってもよい。例えば撮像画像Ｉの四隅のいずれかを原点として、顔位置Ｐｆの座標値を表してもよい。この場合、基準顔位置Ｐｏの位置座標を（ｘo，ｙｏ）と表記すると、上述した各計算式におけるｘｆ及びｙｆの代わりに、（ｘｆ－ｘｏ）及び（ｙｆ－ｙｏ）を用いてθｒ及びθｐを算出すれば、基準姿勢に対する回転角を求めることができる。
　一方、ヨー角θｙは、Ｙ軸を回転中心とした、基準姿勢に対する操作入力装置１の回転角を示している。すなわち、ヨー角θｙは、撮像方向Ｄｃに垂直な面内における操作入力装置１の傾きを示している。図７Ａは、操作入力装置１がＹ軸を回転中心として基準姿勢から回転した状態を示しており、ユーザＵ及び操作入力装置１を背面側（Ｙ軸負方向側）から見た様子を示している。また、図７Ｂは、この状態における撮像画像Ｉを示している。これらの図に示されるように、操作入力装置１がＹ軸を回転中心として回転すると、これに応じて撮像画像Ｉ内の顔方向Ｄｆは逆回りで回転する。そこで、姿勢パラメタ算出部２２ｂは、所定の関数を用いて、顔方向Ｄｆの角度値θｆに基づいてヨー角θｙを算出する。例えば姿勢パラメタ算出部２２ｂは、
θｙ＝ａ３・ｈ（θｆ）
という計算式を用いてθｙを算出する。ここで、ａ３は所定の係数であって、ｈ（θ）は所定の関数である。一例として、姿勢パラメタ算出部２２ｂは、ヨー角θｙが角度値θｆに比例するとして、
θｙ＝ａ３・θｆ
という計算式を用いてθｙを算出してもよい。
　なお、以上の説明において、係数ａ１，ａ２及びａ３は、アプリケーションプログラム等によって予め定められた固定値であってもよいし、ユーザＵの指定に応じて変更可能な値であってもよい。
　また、特に係数ａ１及びａ２は、画像解析部２２ａによる画像解析によって得られる被写体の大きさ（ここではユーザＵの顔の大きさ）に基づいて変化する値であってもよい。例えば、実際のユーザＵの顔の位置と基準姿勢において想定される位置との間にわずかなずれがある場合（すなわち、ユーザＵの顔の中心位置が撮像方向Ｄｃを延長した直線上からずれている場合）、このずれによる影響は、ユーザＵと撮像部１２との間の距離によって変化する。すなわち、ユーザＵと撮像部１２との間の距離が比較的近いと、わずかに操作入力装置１の傾きが変化するだけでも、顔位置Ｐｆは撮像画像Ｉ内において大きく移動する。一方で、ユーザＵと撮像部１２との間の距離が比較的遠い場合、操作入力装置１を同じ角度だけ傾けても、顔位置Ｐｆの撮像画像Ｉ内における移動量は、ユーザＵと撮像部１２との間の距離が近い場合より少なくなる。ここで、画像解析部２２ａが顔位置Ｐｆ及び顔方向Ｄｆを特定する際に、ユーザＵの顔が撮像画像Ｉ内に占める顔領域の大きさも合わせて特定されるので、この顔領域の大きさを用いて、撮像部１２からユーザＵまでの距離を推定することができる。そのため、この顔領域の大きさに応じて係数ａ１及びａ２を決定することで、姿勢パラメタ算出部２２ｂは、上述したずれの影響を軽減して、操作入力装置１の姿勢変化を反映したロール角θｒ及びピッチ角θｐを算出することができる。具体的に、姿勢パラメタ算出部２２ｂは、画像解析部２２ａによって特定された顔領域の大きさが大きければ大きいほど、係数ａ１及びａ２の値を小さくすればよい。なお、姿勢パラメタ算出部２２ｂは、ユーザＵの顔までの距離を推定するために、顔領域の大きさだけでなく、視差情報などの他の入力情報を用いてもよい。
　また、以上の説明においては、ユーザＵは操作入力装置１の向きは変化させるが、自分自身に対する操作入力装置１の位置自体は動かさない（すなわち、撮像部１２の撮像方向Ｄｃは変化しても、撮像位置自体は変化しない）ことを前提として姿勢パラメタを算出することとしている。もしユーザＵが操作入力装置１の位置を平行移動させたとすると、その場合にも顔位置Ｐｆは撮像画像Ｉ内を移動することになる。そのため、撮像画像Ｉ内の顔位置Ｐｆの情報だけでは、ユーザＵが操作入力装置１を回転させたのか、平行移動させたのか、判別できないことも考えられる。
　そこで、姿勢検出部２２は、撮像部１２から被写体（ここではユーザＵの顔）に向かう方向に対する、被写体の向きの変化を検出し、当該検出された被写体の向きの変化に応じて、操作入力装置１の傾きの変化の有無を判別することとしてもよい。具体的に、画像解析部２２ａは、撮像画像Ｉ内に含まれるユーザＵの顔を特定する際に、ユーザＵの顔の正面方向がどちらを向いているかを判定する。このような判定は、顔領域内における目や鼻などの特徴点の位置を特定し、当該特定された特徴点の顔領域内における分布（偏り度合い）を基準値と比較することで可能となる。
　図８Ａは、図５Ａと同様にユーザＵ及び操作入力装置１を上方から見た様子を示す図であって、操作入力装置１の向きは変えずに位置だけを変化させた状態を示している。図５Ａや図６Ａに示されるように、ユーザＵが操作入力装置１の向きだけを変化させた場合、撮像画像Ｉ内における顔位置Ｐｆは撮像画像Ｉの中心から外周に向かって移動するが、実空間内において撮像部１２のレンズに対するユーザＵの顔の位置自体は変化しない。そのため、ユーザＵの顔の正面は撮像部１２のレンズに向けられたままであり、図５Ｂや図６Ｂに示されるように、撮像画像Ｉ内においてユーザＵの顔の正面方向はほとんど変化しない。一方、ユーザＵが操作入力装置１の位置を平行移動させた場合、図８Ａに示されるように、ユーザＵの顔の正面方向は撮像部１２のレンズから離れていく。そのため、図８Ｂに示されるように、操作入力装置１が移動するにつれて、ユーザＵの顔の正面は撮像画像Ｉの外側に向けられていく。
　そこで姿勢パラメタ算出部２２ｂは、撮像画像Ｉ内に含まれる顔画像を解析して、ユーザＵから撮像部１２に向かう方向に対するユーザＵの顔の正面方向の角度を算出する。具体的に、例えば姿勢パラメタ算出部２２ｂは、顔に含まれる目や鼻などの部位の位置分布や、顔領域内の輝度分布、色分布、熱分布、距離分布などを用いて、顔の正面方向の角度を算出してもよい。そして、当該角度に応じた量だけ操作入力装置１が平行移動したと判断し、顔位置Ｐｆの位置座標値ｘｆ及びｙｆに対して、当該平行移動に起因する量を差し引く補正を行う。その後、姿勢パラメタ算出部２２ｂは、補正されたｘｆ及びｙｆの値を用いて、上述したθｒ及びθｐの算出を行う。このようにすれば、撮像画像Ｉ内において顔位置Ｐｆが変化した場合に、この変化のうち、操作入力装置１の平行移動に起因する部分と傾きの変化に起因する部分を分離し、傾きの変化だけを算出することができる。なお、姿勢パラメタ算出部２２ｂは、顔全体の正面方向ではなく、顔に含まれる目や鼻などの正面方向の角度を特定し、当該特定された角度を用いて操作入力装置１の平行移動量を算出してもよい。
　また、姿勢パラメタ算出部２２ｂは、撮像画像Ｉ内に含まれる背景画像の動きを用いて、操作入力装置１の平行移動を検知してもよい。すなわち、ユーザＵが操作入力装置１を平行移動させた場合は、撮像画像Ｉ内においてユーザＵの位置が移動するだけでなく、ユーザＵの背後の背景画像全体が平行移動する。一方、ユーザＵが操作入力装置１を傾けただけの場合は、背景画像に歪みが生じることはあっても、背景の全体が平行移動することはない。そのため、撮像画像Ｉ内の背景画像を、過去に撮像された撮像画像Ｉ内における背景画像と比較し、背景画像の変化を解析することで、操作入力装置１の平行移動量を特定することができる。このような解析は、例えばＫＬＴ法（Kanade-Lucas-Tomasi Feature Tracker）などを用いて実現できる。
　さらに、既に述べたように、姿勢検出部２２は、顔領域の大きさによって撮像部１２からユーザＵの顔までの距離を算出できる。この距離の時間変化を用いれば、姿勢検出部２２は、例えばユーザＵが操作入力装置１を前後方向に振る操作などを検出できる。このように、姿勢検出部２２は、Ｘ軸、Ｙ軸、及びＺ軸それぞれを回転中心とした回転（傾きの変化）だけでなく、Ｘ軸、Ｙ軸、及びＺ軸それぞれの方向に沿って操作入力装置１を移動させる操作についても検出し、当該移動の速度や加速度を算出して、表示画像更新部２３に対して出力してもよい。
　表示画像更新部２３は、姿勢検出部２２による姿勢検出結果に応じて表示部１１に表示される表示画像を更新する処理を行う。具体的に、表示画像更新部２３は、姿勢パラメタ算出部２２ｂによって算出された姿勢パラメタの値を操作入力として用いて、表示画像を更新する。例えば表示画像更新部２３は、θｒ及びθｐの値に応じて特定される操作入力装置１の傾き方向及び傾き量に応じて、仮想３次元空間に配置されたユーザオブジェクトを移動させたり、仮想３次元空間に設定された視点位置を移動させたりする処理を実行する。そして、当該処理の結果を反映した画像を生成し、表示部１１に表示させる。これにより、操作入力装置１は、ユーザＵが操作入力装置１の姿勢を変化させる操作入力に応じて、例えばゲーム等のアプリケーションプログラムを実行し、その結果をユーザＵに提示できる。
　なお、表示画像更新部２３は、姿勢パラメタの値に応じて実行した処理の結果とともに、撮像部１２によって撮像された撮像画像Ｉそのものを表示部１１内の一部領域に表示させることとしてもよい。あるいは、表示画像更新部２３は、画像解析部２２ａによる解析の結果（すなわち、撮像画像Ｉ内から特定されたユーザＵの顔位置Ｐｆや顔方向Ｄｆ等）を示す画像を表示部１１に表示させてもよい。こうすれば、ユーザＵは、自分が行った操作入力装置１の姿勢を変化させる操作入力の結果、撮像画像Ｉにどのような変化が生じたかを確認しながら、操作入力装置１の姿勢を変化させることができ、操作入力をしやすくなる。このとき、表示する撮像画像Ｉを左右反転したものにすれば、ユーザＵにとって操作入力装置１の姿勢変化に応じた顔位置Ｐｆの変化を直感的に把握しやすくなる。
　以上の説明においては、操作入力装置１の基準姿勢は、基準顔位置Ｐｏが撮像画像Ｉの中心に一致するような予め定められた姿勢であることとしている。しかしながら、基準姿勢は、アプリケーションプログラムの実行開始時などに決定されてもよい。例えばユーザＵは、画面に表示される指示に従って、操作入力装置１を自分の好みの姿勢で把持した状態で操作部材１３を操作することとし、操作入力装置１は、この操作部材１３に対する操作があった時点における顔位置Ｐｆ及び顔方向Ｄｆを、基準顔位置Ｐｏ及び基準顔方向Ｄｏとして決定する。以降は、この基準顔位置Ｐｏに対する顔位置Ｐｆの変化や、基準顔方向Ｄｏに対する顔方向Ｄｆの変化によって、姿勢検出部２２は操作入力装置１の基準姿勢に対する変化を検出できる。
　また、以上説明した姿勢検出処理を実行する際に、操作入力装置１を大きく傾けすぎると、ユーザＵの顔が撮像部１２の視野角から外に出てしまうこともあり得る。このような状態になると、姿勢検出部２２は撮像画像Ｉ内におけるユーザＵの顔の特定に失敗し、姿勢パラメタを算出できなくなる。このような場合、姿勢検出部２２は、ユーザＵの顔を特定できなくなる直前の撮像画像Ｉに基づいて検出された姿勢を、操作入力装置１が維持するものと仮定してもよい。すなわち、姿勢検出部２２は、次に撮像画像Ｉ内からユーザＵの顔の特定に成功するまで、最後に算出された姿勢パラメタの値を、そのまま表示画像更新部２３に対して出力し続けることとする。あるいは姿勢検出部２２は、ユーザＵの顔の特定に失敗した場合には、姿勢の変化を一旦リセットし、操作入力装置１の姿勢が基準姿勢に戻った場合と同様の姿勢パラメタを出力することとしてもよい。
　以上説明した本実施の形態に係る操作入力装置１によれば、加速度センサ等の姿勢検出用センサを備えておらずとも、このようなセンサを用いた場合と同様の姿勢検出を、撮像部１２によって撮像された撮像画像Ｉを用いて実現できる。
　なお、本発明の実施の形態は、以上説明したものに限られない。例えば撮像部１２は、ＣＣＤカメラに限らず、例えば赤外線など可視光以外の光を検知するカメラや、複眼カメラなどであってもよい。このようなカメラを用いることで、操作入力装置１は、視差情報や、撮像画像Ｉ内の熱分布や距離分布などに関する情報を取得することができる。
　また、以上の説明では、画像解析部２２ａは撮像画像Ｉに含まれるユーザＵの顔を顔認識処理によって特定することとしたが、必ずしも顔認識を行う必要はない。例えば画像解析部２２ａは、人物の輪郭線を特定することによって、撮像画像Ｉ内における人の頭部の位置や傾きを特定してもよい。この場合には、肩のラインの向きなどを用いることによって、撮像画像Ｉ内における頭部の傾きを精度よく判別することができる。また、画像解析部２２ａは、ユーザＵの顔の全体ではなく、その一部（例えば目や鼻など）の位置や向きを特定し、姿勢パラメタ算出部２２ｂは、当該特定された顔の一部の位置や向きに基づいて、姿勢パラメタの値を算出してもよい。
　さらに、画像解析部２２ａが特定するのは、操作入力装置１を把持するユーザＵ以外の人物であってもよい。既に述べたように、撮像部１２のレンズは操作入力装置１の背面側に回転可能になっている。このように撮像部１２の撮像方向Ｄｃを操作入力装置１の背面側に向けた状態で、姿勢検出部２２は、ユーザＵ以外の人物を含む撮像画像Ｉを撮像し、その中に含まれる人物の位置や向きによって、操作入力装置１の姿勢を検出できる。なお、この場合には、操作入力装置１に対する撮像部１２の撮像方向Ｄｃがこれまで説明した例とは逆向きになるので、撮像画像Ｉ内における顔位置Ｐｆの左右方向の位置とロール角θｒとの関係が逆転する。また、顔方向Ｄｆの回転方向とヨー角θｙとの関係も逆転する。そのため、例えば姿勢検出部２２は、撮像部１２のレンズが背面側に向けられている場合、撮像画像Ｉを左右反転させてから画像の解析を行うなどの方法で、撮像方向Ｄｃの反転による影響を補正する。
　また、姿勢検出部２２は、人物以外の被写体を特定し、その位置や向きに基づいて操作入力装置１の姿勢検出を行ってもよい。あるいは、撮像画像Ｉ内から特定された特徴点の移動や回転に基づいて、操作入力装置１の姿勢の変化を検出してもよい。
　また、以上の説明においては、姿勢検出部２２は、回転角θｒ，θｐ及びθｙの値を算出し、姿勢パラメタとして表示画像更新部２３に出力することとしたが、これに限らず、他の姿勢を表すパラメタを算出してもよい。特に、加速度センサ等の姿勢検出用センサを備えた操作入力装置の代替として本実施形態に係る操作入力装置１を用いる場合、算出されたθｒ，θｐ及びθｙの値を、加速度センサ等の出力値として想定される値に変換してから、表示画像更新部２３に対して出力することとしてもよい。こうすれば、表示画像更新部２３がゲーム等のアプリケーションプログラムによって実現される場合に、この表示画像更新部２３の処理内容を従来のものから変更することなく、ユーザＵは、姿勢検出用センサを備えた操作入力装置を利用する場合も、本実施形態に係る操作入力装置１を利用する場合も、同様の操作で同様の処理を実行させることが可能となる。
　ここで、例えば加速度センサの出力は、重力加速度が生じる鉛直方向と、操作入力装置１の向きと、の関係によって変化する。そのため、本実施形態に係る操作入力装置１を用いて加速度センサによる出力のエミュレーションを行う場合、鉛直方向が特定できなければ、完全に加速度センサの出力を再現することはできない。しかしながら、加速度センサの出力を用いた処理を実行するプログラムの中には、重力加速度との関係で特定された操作入力装置１の姿勢情報を、単に基準姿勢に対する相対的な傾きの情報や、傾きの時間変化の情報としてしか利用しないものもある。このようなプログラムでは、真の鉛直方向が操作入力装置１に対してどちらの方向かは問題とされない。そこで、姿勢検出部２２は、仮想的な重力方向を予め定められた方向に設定し、当該方向に重力が生じる場合の各基準軸に対する加速度を、θｒ，θｐ及びθｙの値を用いて算出し、算出された加速度の値を表示画像更新部２３に対して出力する。こうすれば、表示画像更新部２３を実現するプログラムの内容を変更せずに、加速度センサを内蔵した操作入力装置を用いた場合と同様の操作で、表示画像を更新させる処理が実現できる。
　なお、このような姿勢検出用センサを備えた操作入力装置のエミュレーションを行う場合、本実施形態に係る操作入力装置１のどの方向に対する姿勢の変化を、姿勢検出用センサを備えた操作入力装置のどの方向に対する姿勢の変化に割り当てるかは、ユーザＵが自由に選択できることとしてもよい。例えば操作入力装置１は、当該操作入力装置１に設定されたＸ軸、Ｙ軸及びＺ軸それぞれを回転中心とした回転角θｒ，θｐ及びθｙのそれぞれを、ユーザＵの指定に応じて、姿勢検出用センサを備えた操作入力装置に設定されたＸ軸、Ｙ軸及びＺ軸のいずれかを回転中心とした回転角に割り当てることとする。こうすれば、ユーザＵは、操作入力装置１の形状に関係なく、自分が操作しやすい向きに操作入力装置１を傾けて、操作入力を行うことが可能となる。また、操作入力装置１は、画像解析部２２ａによって検出されたユーザＵの顔の向きや、アプリケーションプログラム等によって予め設定された条件に応じて、回転角θｒ，θｐ及びθｙのそれぞれを、エミュレーション対象となる操作入力装置の各基準軸を回転中心とした回転角に割り当ててもよい。例えばユーザが操作入力装置１を縦向き（操作入力装置１の長手方向が垂直方向に沿う向き）及び横向き（操作入力装置１の長手方向がユーザの左右方向に沿う向き）のそれぞれで把持して使用することが想定される場合、操作入力装置１は、検出された顔の向きや、アプリケーションプログラムの指定に応じて、ユーザが当該操作入力装置１を縦向きに把持しているか横向きに把持しているかを判定する。そして、その判定結果に応じて、回転角の割り当てを変更する。こうすれば、ユーザは、縦向き及び横向きのいずれで操作入力装置１を把持した場合も、操作入力装置１の向きを意識せずに操作入力装置１を傾ける操作入力を行うことができる。
［第２実施形態］
　以下、本発明の第２実施形態に係る情報処理装置３１を含んだ情報処理システムについて、図９を用いて説明する。第１実施形態では、操作入力装置１自体が撮像画像Ｉに基づいて操作入力装置１の姿勢検出を行うこととしたが、本実施形態では、操作入力装置３２と接続された別の情報処理装置３１が、操作入力装置３２の姿勢検出を行って、当該姿勢検出結果に応じた情報処理を実行する。
　ここで、操作入力装置３２は例えば家庭用ゲーム機のコントローラであって、情報処理装置３１に対するユーザＵの操作入力に用いられる。情報処理装置３１は、例えば家庭用ゲーム機本体であって、操作入力装置３２を介したユーザＵの操作入力に応じて各種の処理を行い、処理結果をテレビ受像機等の表示装置３３の画面に表示させる。
　図９の例では、操作入力装置３２の外面には撮像部３４が設けられている。また、操作入力装置３２は通信部３５を備えており、この通信部３５を介して撮像部３４によって撮像された撮像画像Ｉを情報処理装置３１に送信する。情報処理装置３１は、制御部３６と、記憶部３７と、通信部３８と、を含んで構成されており、制御部３６が記憶部３７に格納されたプログラムに従って情報処理を行う。また、通信部３８は操作入力装置３２の通信部３５との間でデータ通信を行う。
　この例でも、情報処理装置３１の制御部３６は、前述した操作入力装置１の場合と同様の処理を実行することで、操作入力装置３２の姿勢を検出することができる。すなわち、制御部３６は、通信部３５及び通信部３８を介して、撮像部３４によって撮像された撮像画像Ｉを取得する。そして、取得した撮像画像Ｉの解析結果に基づいて、操作入力装置３２の姿勢を検出し、当該検出した姿勢に応じた処理を行う。

Claims (9)

  1. 　ユーザが手で把持して使用する操作入力装置であって、
    　当該操作入力装置に設けられた撮像部によって撮像される撮像画像を取得する撮像画像取得手段と、
    　前記取得される撮像画像の解析結果に基づいて、当該操作入力装置の姿勢を検出する姿勢検出手段と、
    　を含むことを特徴とする操作入力装置。
  2. 　請求項１記載の操作入力装置において、
    　前記姿勢検出手段は、前記取得される撮像画像内に含まれる被写体を特定し、当該特定される被写体の位置及び向きの少なくとも一方に基づいて、前記操作入力装置の姿勢を検出する
    　ことを特徴とする操作入力装置。
  3. 　請求項２記載の操作入力装置において、
    　前記被写体は前記操作入力装置を把持するユーザの顔の全部又は一部であって、
    　前記姿勢検出手段は、前記ユーザの顔の全部又は一部の位置及び向きの少なくとも一方に基づいて、前記操作入力装置の姿勢を検出する
    　ことを特徴とする操作入力装置。
  4. 　請求項２記載の操作入力装置において、
    　前記姿勢検出手段は、前記撮像画像内における前記被写体の位置に基づいて、前記撮像部から前記被写体に向かう方向に対する前記操作入力装置の傾きを検出する
    　ことを特徴とする操作入力装置。
  5. 　請求項４記載の操作入力装置において、
    　前記姿勢検出手段は、前記撮像画像内における前記被写体の位置が変化する場合に、前記撮像部から前記被写体に向かう方向に対する前記被写体の向きの変化を検出し、当該検出された被写体の向きの変化に応じて、前記撮像部から前記被写体に向かう方向に対する前記操作入力装置の傾きの変化量を算出する
    　ことを特徴とする操作入力装置。
  6. 　請求項１記載の操作入力装置において、
    　前記姿勢検出手段は、前記撮像画像内における前記被写体の向きに基づいて、前記撮像方向に垂直な面内における前記操作入力装置の傾きを検出する
    　ことを特徴とする操作入力装置。
  7. 　ユーザが手で把持して使用する操作入力装置と接続され、
    　前記操作入力装置に設けられた撮像部によって撮像される撮像画像を取得する撮像画像取得手段と、
    　前記取得される撮像画像の解析結果に基づいて、前記操作入力装置の姿勢を検出する姿勢検出手段と、
    　を含むことを特徴とする情報処理装置。
  8. 　操作入力装置に設けられた撮像部によって撮像される撮像画像を取得するステップと、
    　前記取得される撮像画像の解析結果に基づいて、前記操作入力装置の姿勢を検出するステップと、
    　を含むことを特徴とする操作入力装置の姿勢検出方法。
  9. 　操作入力装置に設けられた撮像部によって撮像される撮像画像を取得する撮像画像取得手段、及び
    　前記取得される撮像画像の解析結果に基づいて、前記操作入力装置の姿勢を検出する姿勢検出手段、
    　としてコンピュータを機能させるためのプログラムが記憶された、コンピュータ読み取り可能な情報記憶媒体。
PCT/JP2010/061822 2009-11-02 2010-07-13 操作入力装置 WO2011052270A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/504,322 US20120212410A1 (en) 2009-11-02 2010-07-13 Operation input device
EP10826405.2A EP2498170B1 (en) 2009-11-02 2010-07-13 Operation input device
CN2010800603263A CN102725713A (zh) 2009-11-02 2010-07-13 操作输入设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-252330 2009-11-02
JP2009252330A JP5437023B2 (ja) 2009-11-02 2009-11-02 操作入力装置

Publications (1)

Publication Number Publication Date
WO2011052270A1 true WO2011052270A1 (ja) 2011-05-05

Family

ID=43921701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/061822 WO2011052270A1 (ja) 2009-11-02 2010-07-13 操作入力装置

Country Status (5)

Country Link
US (1) US20120212410A1 (ja)
EP (1) EP2498170B1 (ja)
JP (1) JP5437023B2 (ja)
CN (1) CN102725713A (ja)
WO (1) WO2011052270A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5891659B2 (ja) * 2011-08-31 2016-03-23 ソニー株式会社 操作装置、その情報処理方法及び情報処理装置
US9407824B2 (en) * 2012-11-01 2016-08-02 Google Inc. Multi-directional content capture on mobile devices
US9213419B1 (en) * 2012-11-13 2015-12-15 Amazon Technologies, Inc. Orientation inclusive interface navigation
JP6547355B2 (ja) * 2015-03-20 2019-07-24 大日本印刷株式会社 印画物作製装置
JP2017129567A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0871252A (ja) * 1994-09-05 1996-03-19 Taito Corp 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
JP2005293089A (ja) * 2004-03-31 2005-10-20 Namco Ltd 配置情報検出システム、ゲームシステム、プログラム、情報記憶媒体及び配置情報検出システムの制御方法
JP2007095030A (ja) * 2005-09-29 2007-04-12 Lg Electronics Inc 携帯用端末機のグラフィック信号表示装置及び方法
US20070260727A1 (en) 2006-05-08 2007-11-08 Ken Kutaragi Information Output System and Method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173510A (ja) * 1997-08-29 1999-03-16 Matsushita Electric Works Ltd 位置検出装置
US20020126090A1 (en) * 2001-01-18 2002-09-12 International Business Machines Corporation Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera
EP1398601A3 (en) * 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
JP3990619B2 (ja) * 2002-10-11 2007-10-17 株式会社東海理化電機製作所 顔の向き検知装置
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0871252A (ja) * 1994-09-05 1996-03-19 Taito Corp 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
JP2005293089A (ja) * 2004-03-31 2005-10-20 Namco Ltd 配置情報検出システム、ゲームシステム、プログラム、情報記憶媒体及び配置情報検出システムの制御方法
JP2007095030A (ja) * 2005-09-29 2007-04-12 Lg Electronics Inc 携帯用端末機のグラフィック信号表示装置及び方法
US20070260727A1 (en) 2006-05-08 2007-11-08 Ken Kutaragi Information Output System and Method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2498170A4

Also Published As

Publication number Publication date
EP2498170A1 (en) 2012-09-12
CN102725713A (zh) 2012-10-10
JP5437023B2 (ja) 2014-03-12
JP2011095228A (ja) 2011-05-12
EP2498170B1 (en) 2019-09-25
EP2498170A4 (en) 2016-01-06
US20120212410A1 (en) 2012-08-23

Similar Documents

Publication Publication Date Title
US8350896B2 (en) Terminal apparatus, display control method, and display control program
TW201911133A (zh) 用於多個自由度之控制器追蹤
US9323338B2 (en) Interactive input system and method
JP4481280B2 (ja) 画像処理装置、及び画像処理方法
EP2354893B1 (en) Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
JP6242039B2 (ja) 自動センタリング機能付きのジャイロ制御されるゲーム視点のための装置および方法
JP5434997B2 (ja) 画像表示装置
US20140354602A1 (en) Interactive input system and method
JP5471356B2 (ja) ３次元計測のためのキャリブレーション方法および３次元視覚センサ
JP5437023B2 (ja) 操作入力装置
US20120026376A1 (en) Anamorphic projection device
US20190361236A1 (en) Imaging Method for Modular MR Device
JP2005326282A (ja) 位置姿勢計測方法および装置
US20100188355A1 (en) Apparatus and method for detecting an object pointed by a user
WO2017147748A1 (zh) 一种可穿戴式系统的手势控制方法以及可穿戴式系统
EP3201724A1 (en) Gesture based manipulation of three-dimensional images
WO2023160694A1 (zh) 一种输入设备的虚拟方法、装置、设备和存储介质
US20220351442A1 (en) Animation production system
JP6975001B2 (ja) 傾き測定装置及び傾き測定方法
JP2006323454A (ja) 三次元指示入力システム、三次元指示入力装置、三次元指示入力方法およびプログラム
JP6643825B2 (ja) 装置及び方法
JP6618301B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US20220028092A1 (en) Systems and methods for updating continuous image alignment of separate cameras
JP6373546B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20140375777A1 (en) Three-dimensional interactive system and interactive sensing method thereof

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080060326.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10826405

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13504322

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010826405

Country of ref document: EP