WO2012144145A1 - ポインティング制御装置とその集積回路、およびポインティング制御方法 - Google Patents

ポインティング制御装置とその集積回路、およびポインティング制御方法 Download PDF

Info

Publication number
WO2012144145A1
WO2012144145A1 PCT/JP2012/002376 JP2012002376W WO2012144145A1 WO 2012144145 A1 WO2012144145 A1 WO 2012144145A1 JP 2012002376 W JP2012002376 W JP 2012002376W WO 2012144145 A1 WO2012144145 A1 WO 2012144145A1
Authority
WO
WIPO (PCT)
Prior art keywords
instructor
face
cursor
fingertip
distance
Prior art date
Application number
PCT/JP2012/002376
Other languages
English (en)
French (fr)
Inventor
山下　和彦
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013510860A priority Critical patent/JP5798183B2/ja
Priority to US13/701,944 priority patent/US9081430B2/en
Priority to CN201280001738.9A priority patent/CN102959491B/zh
Publication of WO2012144145A1 publication Critical patent/WO2012144145A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Definitions

  • the present invention relates to a pointing control technique in which an operator recognizes an instruction operation indicating a position on a display screen.
  • Patent Document 1 Patent Document 2, and Patent Document 4 disclose a technique that includes a photographing unit such as a camera, detects the position of an instructor's fingertip from a plurality of images obtained by the photographing unit, and performs pointing. ing.
  • a photographing unit such as a camera
  • Patent Document 1 Patent Document 2, and Patent Document 4 are techniques for pointing using one cursor, and the number of fingertips included in the image obtained by the photographing unit is the same as the number of cursors. It is a premise.
  • the number of cursors used for pointing is not limited to one, but may be two or more.
  • the cursor is determined from among the fingertips to be photographed. For this reason, there is a problem that it is impossible to determine a fingertip.
  • An object of the present invention is to provide a pointing control technique in which even when a plurality of operators are photographed, an instructor is determined from the operators, and only the determined instructor can perform a pointing operation. .
  • a pointing control device that determines an instructor who can specify a cursor position from among operators who perform an instruction operation.
  • the position acquisition unit for acquiring the position of each operator, the position of each operator's fingertip or its substitute member, and the acquired position of each operator's face and the position of each operator's fingertip or its substitute member
  • a distance calculation unit that calculates the distance between the position of the associated face and the position of the fingertip or its substitute member, and an instructor determination unit that determines the instructor using the distance
  • a cursor position calculation unit that calculates a cursor position using the position of the fingertip of the instructor or a substitute member thereof and outputs the calculated cursor position.
  • the distance between the face position and the fingertip or its substitute member is used to identify an instructor who designates the position of the pointing target from among a plurality of operators, and other operations Only the instructor can perform the pointing operation without being influenced by the person.
  • FIG. 1 is a block diagram showing a configuration of a display control device including a pointing control device according to Embodiment 1 of the present invention.
  • the image figure which shows the external appearance of the input-output terminal connected to the display control apparatus in Embodiment 1 of this invention
  • the flowchart which shows operation
  • the figure which shows the positional relationship of the detected fingertip and camera in Embodiment 1 of this invention.
  • the figure which shows an example of the frame of a camera viewing angle from the position of the camera front in Embodiment 1 of this invention, a face position, and a fingertip position The flowchart which shows an example of operation
  • the inventors have noted that the distance between the fingertip and the face is different between when the instruction operation is performed and when the instruction operation is not performed.
  • a person who performs an instruction operation extends his hand and brings his fingertip closer to the screen, so the distance between the face and the fingertip is large and often not constant.
  • a person who has not performed an instruction operation generally has a small movement of the hand and hardly stretches the elbow, so the distance between the face and the fingertip is small and often does not fluctuate. Therefore, by using the distance between the face and the fingertip, it is possible to select only a person who performs an instruction operation from a plurality of persons.
  • the distance between the face and the fingertip changes greatly before and after starting the instruction operation and before and after the end. Therefore, the distance between the face and the fingertip can be used to detect that the operator has started the instruction operation and that the operator has stopped the instruction operation. For this reason, when the instructor stops the instruction operation, the instructor can be excluded from selection targets, and when another operator starts the instruction operation, the operator can be selected.
  • FIG. 1 is a block diagram illustrating a configuration of a display control apparatus 100 including a pointing control apparatus according to an embodiment of the present invention.
  • the display control device 100 is connected to an input / output terminal 200 and a personal computer (not shown) that outputs a display image, and a plurality of operators can view the screen displayed on one display device while viewing the screen. A case where a pointing operation is performed will be described.
  • the display control device 100 includes a pointing control device 101, a display image input unit 102, a cursor composition unit 103, and an image output unit 104.
  • the display control device 100 is realized by, for example, a main device of a TV conference system, and the pointing control device 101, the display image input unit 102, the cursor composition unit 103, and the image output unit 104 are realized as part of an integrated circuit.
  • the input / output terminal 200 includes a camera 201 and a display device 202.
  • the display device 202 is realized by a large liquid crystal display, for example.
  • the camera 201 captures an image of an operator who performs a pointing operation for designating a position on the screen of the display device, and outputs the image to the display control device 100.
  • the camera image output from the camera 201 includes not only the detection of the subject but also information that can acquire the distance to the subject.
  • the camera 201 includes a pair of left and right cameras 201a and 201b, and outputs two captured images to the display control apparatus 100 as stereo images.
  • the display control apparatus 100 calculates the distance from the camera to the subject using the parallax between the left image and the right image in the stereo images captured by the cameras 201a and 201b.
  • the pointing control device 101 receives an image from the camera 201, and acquires the distance between the face of the operator photographed as the subject and the fingertip. When a plurality of operators are photographed, an instructor who designates the position of the pointing target is determined using the acquired plurality of face-to-face distances. The pointing control device 101 calculates the position of the cursor to be displayed from the determined instructor information, and outputs it as cursor position information.
  • the pointing control device 101 includes a CPU (not shown) of the display control device 100 and a storage unit (not shown).
  • the storage unit is realized by a nonvolatile memory such as an EEPROM, for example, and the CPU reads and executes a program stored in the storage unit.
  • the display image input unit 102 has, for example, an HDMI (High-Definition Multimedia Interface) input terminal, and acquires information to be displayed on the screen as a display image from the personal computer through the input terminal.
  • HDMI High-Definition Multimedia Interface
  • the cursor composition unit 103 receives the cursor position information from the pointing control device 101, performs composition to superimpose the cursor on the image acquired by the display image input unit 102, and generates a composite display image. Further, until the cursor composition unit 103 receives the cursor position information from the pointing control device 101, the cursor composition unit 103 uses the predetermined cursor position as the cursor position information and composes the cursor.
  • the predetermined cursor position is the upper left corner of the display image.
  • the image output unit 104 receives the composite display image generated by the cursor composition unit 103 and outputs it to the display device 202.
  • the display device 202 displays a composite display image on the screen.
  • the pointing control device 101 includes a position acquisition unit 111, a face-to-finger distance calculation unit 112, an instructor determination unit 113, and a cursor position calculation unit 114.
  • the position acquisition unit 111 receives an image from the camera 201, detects the position of the operator's face photographed as a subject and the position between the fingertips, and outputs the detected position information to the inter-finger distance calculation unit 112.
  • the position acquisition unit 111 includes an image input unit 121, a face detection unit 122, and a fingertip detection unit 123.
  • the image input unit 121 receives an image from the camera 201 and outputs it to the face detection unit 122 and the fingertip detection unit 123.
  • the face detection unit 122 detects the face of the operator photographed as a subject from the camera image received from the image input unit 121 and outputs position information. When a person's face is shown in the camera image, the face detection unit 122 detects all of the person's faces as the operator's face. The face detection unit 122 outputs the detected face position information to the face-to-finger distance calculation unit 112.
  • the position information includes three pieces of information such as a distance from the camera and horizontal and vertical positions.
  • the fingertip detection unit 123 detects the fingertip of the operator photographed as the subject from the camera image received from the image input unit 121 and outputs position information. When the fingertip of the person is shown in the camera image, the fingertip detection unit 123 detects all of the fingertips shown as the operator's fingertips. The fingertip detection unit 123 outputs the detected fingertip position information to the face-to-finger distance calculation unit 112.
  • the position information includes three pieces of information such as a distance from the camera and horizontal and vertical positions.
  • the face-to-finger distance calculation unit 112 associates the face of the operator and the fingertip of the operator from the face position and fingertip position output by the position acquisition unit 111, and the distance between the associated face and fingertip ( (Face to finger distance) is calculated.
  • the position acquisition unit 111 outputs a plurality of pieces of face position information as described above.
  • the face-to-finger distance calculation unit 112 determines one corresponding fingertip for each of the plurality of face positions output by the position acquisition unit 111, and calculates the distance between the face fingers for a plurality of operators.
  • the instructor determination unit 113 determines an instructor who has the authority to move the cursor and specifies the position of the pointing target using the inter-finger distance calculated by the inter-finger distance calculation unit 112.
  • the instructor determination unit 113 outputs the position information of the face and the fingertip, which is information of the determined instructor, and the distance between the face and finger of the instructor.
  • the instructor is the only operator who has the authority to move the cursor.
  • the instructor determination unit 113 determines an operator having the largest inter-finger distance as an instructor when a plurality of operators are captured as subjects.
  • the instructor determination unit 113 determines the operator who has acquired the face-to-finger distance as the instructor. Further, the instructor determining unit 113 determines that there is no instructor when no inter-face finger distance calculating unit 112 calculates the inter-finger finger distance.
  • the cursor position calculation unit 114 calculates the position of the cursor to be displayed from the position information of the face and the fingertip, which is the information of the instructor received from the instructor determination unit 113, and the distance between the instructor's faces and fingers. Output as position information.
  • the cursor position calculation unit 114 holds the position of the currently displayed cursor and the position information of the face and fingertip of the instructor who has designated the cursor position. From the newly received position information of the face and fingertip of the instructor Then, it is determined whether or not the instructor has changed. When there is a change of the instructor, the cursor position calculation unit 114 outputs the cursor initial position as current cursor position information.
  • the initial cursor position is the center position of the image.
  • the cursor position calculation unit 114 calculates the cursor position by a calculation method to be described later and outputs it as current cursor position information.
  • FIG. 2 is an image diagram showing an appearance of the input / output terminal 200 connected to the display control device 100 in the present embodiment.
  • the input / output terminal 200 includes one display device 202 for displaying a screen and a set of cameras 201 for photographing.
  • the camera 201 is a stereo camera that includes a pair of left and right cameras 201a and 201b, and outputs a stereo image.
  • the camera 201 is installed on the upper part of the display device 202.
  • the camera 201 and the display device 202 are installed close to each other in the same direction, when the operator performs a pointing operation while looking at the screen displayed on the display device 202, the operator's face and fingertip are moved to the camera 201.
  • FIG. 3 is a flowchart showing the operation of the display control apparatus 100 including the pointing control apparatus 101 in the present embodiment.
  • the display control apparatus 100 acquires an image of the camera 201 (S10).
  • the position acquisition unit 111 activates the face detection unit 122 and the fingertip detection unit 123.
  • the face detection unit 122 analyzes the image acquired by the image input unit 121, detects all the faces of the person being shown, and outputs the respective position information to the face-to-finger distance calculation unit 112 (S20).
  • the fingertip detection unit 123 analyzes the image acquired by the image input unit 121, detects all the fingertips of the person being shown, and outputs the respective position information to the face-to-finger distance calculation unit 112 (S30).
  • a method for acquiring the position information of the face and fingertip will be described.
  • feature points closest to the camera 201 are extracted from the detected area.
  • an outer frame (outline) of the face is detected. Therefore, a point closest to the camera 201 within the range of the outer frame of the face is used as a feature point.
  • the characteristic point is usually the head of the nose
  • the head of the nose will be described below as the position of the face.
  • detecting a fingertip generally a contour line is detected, and a point closest to the camera is used as a feature point.
  • the characteristic point is usually the tip of the index finger, hereinafter, the tip of the index finger will be described as the position of the fingertip.
  • FIG. 4 shows the positional relationship between the camera 201a and the fingertip.
  • 301 is the position of the fingertip.
  • the viewing angle frame 300 is a range of the viewing angle of the camera 201 a at a distance from the camera 201 a to the fingertip 301.
  • the parallax of the fingertip 301 is detected from the image of the camera 201a and the image of the camera 201b, and the distance Z from the camera to the fingertip is calculated.
  • a plane having a normal vector from the fingertip 301 toward the camera 201a is derived, and the camera viewing angle is projected onto the plane to obtain the viewing angle frame 300.
  • the size of the viewing angle frame 300 that is, the length in the vertical direction and the length in the horizontal direction are both determined by the angle of view of the camera and the distance Z.
  • the position (X, Y, Z) of the fingertip is acquired using the horizontal position X and the vertical position Y within the viewing angle frame 300. That is, X and Y are relative values depending on the size of the viewing angle frame 300.
  • the lower left corner of the viewing angle frame 300 is the origin (0, 0), and the upper right corner is (200). , 150).
  • the face-to-finger distance calculating unit 112 associates the face with the fingertip, and calculates the face-to-finger distance between the associated face and the fingertip (S40).
  • FIG. 5 is a relational diagram showing the positional relationship between the camera 201a and the fingertip and face of the subject from the horizontal direction.
  • Reference numeral 311 denotes a fingertip position
  • reference numeral 321 denotes a face position
  • 310 is a frame for the camera viewing angle at the fingertip position 311
  • 320 is a frame for the camera viewing angle at the face position 321.
  • the two camera viewing angle frames 310 and 320 are represented as straight lines when viewed from the side.
  • FIG. 6 is a relational diagram showing the positional relationship between the camera 201a and the fingertips and faces of a plurality of subjects from the lateral direction.
  • Reference numeral 331 denotes the fingertip position of the subject a
  • 341 denotes the face position of the subject a
  • 351 denotes the fingertip position of the subject b
  • 361 denotes the face position of the subject b.
  • Reference numerals 330, 340, 350, and 360 denote camera viewing angle frames at the fingertip position 331 of the subject a, the face position 341 of the subject a, the fingertip position 351 of the subject b, and the face position 361 of the subject b, respectively.
  • FIG. 331 denotes the fingertip position of the subject a
  • 341 denotes the face position of the subject a
  • 351 denotes the fingertip position of the subject b
  • 361 denotes the face position of the subject b.
  • FIG. 7 is a view of the positional relationship of FIG. 6 viewed from a point on the optical axis of the camera 201a.
  • FIG. 8 is a flowchart of the operation of the face-to-finger distance calculation unit 112.
  • the operation of the face-to-finger distance calculator 112 associating the operator's face with the fingertip and acquiring the face-to-finger distance from the face position and the fingertip position will be described with reference to FIG.
  • the face-to-finger distance calculating unit 112 “condition 1: the fingertip position is closer to the camera than the face position” and “condition 2: associate the face position and the fingertip position are closest” The face and fingertip are matched so that both of the above are satisfied.
  • the face-to-finger distance calculation unit 112 selects one face position that has not yet been selected from the face positions acquired from the position acquisition unit 111 and is closest to the camera 201a (S410).
  • the inter-face finger distance calculation unit 112 selects one fingertip position that is not associated with any face from the fingertip positions acquired from the position acquisition unit 111 (S420).
  • the face-to-finger distance calculating unit 112 combines the selected face position and the selected fingertip position, and determines which is closer to the camera 201a (S430).
  • the fingertip position is closer to the camera 201a (S430)
  • the distance between the combined face and the fingertip is acquired (S440).
  • the face-to-finger distance calculation unit 112 does not hold the face-to-finger distance for the selected face (S450)
  • the face-to-finger distance calculation part 112 holds the acquired face-to-finger distance and selects the selected finger.
  • the face is associated (S460).
  • the face-to-finger distance calculation unit 112 compares the held face-to-finger distance with the newly acquired face-to-finger distance ( S450) If the new face-to-finger distance is smaller, the association with the face being selected and the face-to-finger distance are deleted, the acquired face-to-finger distance is retained, and the selected finger is being selected. (S460).
  • the face-to-finger distance calculation unit 112 determines that this combination is out of the matching condition.
  • the inter-face finger distance calculation unit 112 ends the association process.
  • the face-to-finger distance calculation unit 112 sequentially associates the fingertip position at the most appropriate position with the selected one face position when a plurality of operators are captured as subjects. Thereby, the face-to-finger distance calculation unit 112 can associate the face with the fingertip and obtain the face-to-finger distance for the operator shown as the subject.
  • the face-to-finger distance calculation unit 112 finds the correspondence between the detected face positions 341 and 361 and the fingertip positions 331 and 351, and the fingertip position at the most appropriate position with respect to each face position Are combined in order.
  • the face-to-finger distance calculation unit 112 selects a face position 341 close to the camera among the face positions (S410).
  • the face-to-finger distance calculating unit 112 selects the fingertip position 331 (S420).
  • the face-to-finger distance calculation unit 112 determines which of the face position 341 and the fingertip position 331 is closer to the camera 201a (S430). Since the fingertip position 331 is closer to the camera, the face position 341 and the fingertip position 331 The distance between is acquired (S440). Since there is no fingertip associated with the face position 341 (S450), the face-to-finger distance calculation unit 112 associates the face position 341 with the fingertip position 331, and holds the face-to-finger distance (S460).
  • the inter-finger distance calculation unit 112 selects the fingertip position 351 (S420).
  • the face-to-finger distance calculation unit 112 determines which of the face position 341 and the fingertip position 351 is closer to the camera 201a (S430), and selects the face position 341 because the face position 341 is closer to the camera. It is determined whether there is a fingertip that has not been selected (S470), and it is determined whether there is an unselected face because there is no fingertip that has not been selected (S480).
  • the inter-face finger distance calculation unit 112 selects an unselected face position 361 (S410).
  • the face-to-finger distance calculation unit 112 selects the fingertip position 351 (S420).
  • the face-to-finger distance calculation unit 112 determines which of the face position 361 and the fingertip position 351 is closer to the camera 201a (S430), and since the fingertip position 351 is closer to the camera, the face position 361 and the fingertip position 351 The distance between is acquired (S440). Since there is no fingertip associated with the face position 361 (S450), the face-to-finger distance calculation unit 112 associates the face position 361 with the fingertip position 351, and holds the face-to-finger distance (S460).
  • the face-to-finger distance is calculated by associating the face position 341 and the fingertip position 331, and the face-to-finger distance is calculated by associating the face position 361 and the fingertip position 351.
  • the instructor determination unit 113 determines the instructor from the distance between the face fingers (S50).
  • FIG. 9 is a flowchart showing the operation of the instructor determination unit 113. The operation in which the instructor determination unit 113 determines the instructor will be described with reference to FIG.
  • the instructor determination unit 113 selects one pair from the correspondence relationship between the face and the fingertip (hereinafter referred to as a pair) associated with the face-to-finger distance calculation unit 112.
  • the selected pair is a comparison source pair (S510).
  • the instructor determination unit 113 determines whether there is another pair associated with the face-to-finger distance calculation unit 112 (Yes in S520), and if one exists, selects one of the pairs. (S530).
  • the selected pair is a comparison target pair.
  • the instructor determination unit 113 determines which face-to-finger distance is larger between the comparison source pair and the comparison destination pair (S540). 113 sets the distance between comparison target facial fingers as a new comparison source pair (S550).
  • the instructor determination unit 113 determines whether there is another pair associated with the face-to-finger distance calculation unit 112 (S520), and if it exists, repeats the process of selecting one pair as a comparison destination. .
  • the instructor determination unit 113 determines that the comparison source pair is a face finger.
  • the inter-distance is determined to be the maximum, and the pair is determined as the instructor (S560).
  • the cursor position calculation unit 114 calculates and outputs the cursor position from the determined instructor information (S60).
  • the cursor position calculation unit 114 receives the information of the instructor for one person from the instructor determination unit 113.
  • the cursor position calculation unit 114 holds the currently displayed cursor position and the information of the instructor who has designated the cursor position (face position information and fingertip position information). From the newly received information of the instructor Then, it is determined whether or not the instructor has been changed, and then the cursor position is calculated. This is because the cursor position calculation method differs depending on whether or not the new instructor is the same as the previous instructor.
  • the cursor position calculation unit 114 determines whether or not the instructor has changed based on whether or not the instructor's face position has moved significantly.
  • the pointing control device 101 is based on the premise that the operator performs a pointing operation without moving from his / her seat. Therefore, the cursor position calculation unit 114 sets the distance between the face position of the immediately preceding instructor and the position of the current instructor's face using a half of the distance between the centers of adjacent seats as a threshold value. If the threshold value is exceeded, it is determined that there has been a change of the instructor. If not, it can be assumed that the previous instructor and the new instructor are in the same seat. to decide.
  • the cursor position calculation unit 114 When there is a change of the instructor, the cursor position calculation unit 114 outputs the cursor initial position held in advance as current cursor position information. As described above, the cursor initial position is the center position of the screen.
  • the cursor position calculation unit 114 When there is no change of the instructor, the cursor position calculation unit 114 outputs the position of the intersection of the straight line from the fingertip to the display device and the display surface of the display device as the current cursor position.
  • the pointing control device 101 outputs the cursor position based on the image acquired from the camera 201 by the operations of S10 to S60.
  • the display image input unit 102 acquires an image to be displayed on the display device 202 from the personal computer, and the cursor composition unit 103 positions the cursor acquired by the pointing control device 101 with respect to the image acquired from the display image input unit 102.
  • the cursor is superimposed and synthesized and output to the image output unit 104 (S70).
  • FIG. 10 is a flowchart showing the operation of the cursor composition unit 103.
  • the cursor composition unit 103 receives a display image from the display image input unit 102 (S710). This display image is data of a display original image.
  • the cursor composition unit 103 determines whether or not a cursor position is designated from the pointing control device 101 (S720).
  • the cursor composition unit 103 composes the cursor at a predetermined position of the display image to generate a composite display image (S730).
  • the predetermined position is the upper left corner of the screen as described above.
  • the cursor composition unit 103 When there is a position designation (S720), the cursor composition unit 103 composes the cursor at the designated position indicated by the cursor position information in the display image, and generates a composite display image (S740).
  • the cursor composition unit 103 outputs the generated composite display image to the image output unit 104 (S750).
  • FIG. 11 shows an example of a composite display image generated by the cursor composition unit 103.
  • Reference numeral 401 in FIG. 11A denotes a display image that the cursor composition unit 103 receives from the display image input unit 102.
  • Reference numeral 402 denotes image data of the cursor.
  • Reference numeral 403 denotes a designated position indicated by the cursor position information received from the pointing control apparatus 101 by the cursor composition unit 103.
  • 11B is a composite display image generated using each piece of information shown in FIG.
  • the cursor composition unit 103 superimposes the cursor image data 402 on the designated position 403 indicated by the cursor position information in the display image 401 received from the display image input unit 102 and generates a composite display image 404.
  • the display control device including the pointing control device can determine an instructor that specifies the position of the pointing target from a plurality of operators, and can display a cursor at the position specified by the determined instructor. It becomes possible.
  • the pointing control device determines an instructor having cursor movement authority from among a plurality of operators using a distance between the faces of the operators captured as a subject. To do.
  • the operator can gain the authority to move the cursor by extending his / her hand toward the camera from the instructor currently operating.
  • the operation of the operator extending his / her hand toward the camera from the instructor who is currently operating does not disturb the progress of the conference as compared with the case of moving to the operator area, so the efficiency of the conference can be improved. In particular, it is effective in a physically small room because difficult movement of the seat is unnecessary.
  • the cursor moving authority as the instructor can be obtained by performing the operation of extending his hand toward the camera from the instructor currently operating.
  • the pointing control device moves the cursor to the initial position, for example, the center of the screen when the instructor having the right to operate the cursor changes, so that the cursor is moved regardless of the position pointed to by the previous instructor. It becomes possible to start moving.
  • the cursor position calculation unit 114 uses the position of the intersection of the straight line from the fingertip to the display device and the display surface of the display device as the cursor position.
  • the display surface is large, an area that cannot be indicated by the instructor may occur.
  • the cursor is moved using a mouse, if the mouse is moved to the end on the plane where the mouse is moved, it can be moved further in the same direction by floating the mouse once. It is.
  • the pointing control device it is impossible to distinguish between the movement of the fingertip for moving the cursor and the movement of the fingertip that does not accompany the cursor movement, and thus the movement range of the cursor is expanded in this way. I can't.
  • the moving distance of the cursor is determined using the distance moved by the fingertip.
  • the moving distance of the cursor is a constant multiple of the moving distance of the fingertip, if the constant is small, a range in which the cursor cannot be moved may occur.
  • the constant is large, the cursor moves greatly even if the fingertip is moved a little, and it is difficult to move the cursor minutely, and the cursor may not be operated appropriately.
  • the cursor position calculation unit 114 determines the amount of movement of the cursor using the distance between the fingertips of the instructor. Thereby, the instructor can properly operate the cursor by properly using pointing with the fingertip close to the face and pointing with the fingertip away from the face.
  • the pointing control device Since the pointing control device according to the present modification is the same as that of the first embodiment except for the cursor position calculation method, the description of the same configuration and operation as those of the first embodiment will be omitted, and only the cursor position calculation method will be described. Will be described.
  • FIG. 12 is an image diagram showing the distance between the face and the fingertip.
  • FIG. 12A illustrates a case where the distance between the face and the fingertip is long.
  • FIG. 12B illustrates a case where the distance between the face and the fingertip is short.
  • FIG. 12A shows a case where the distance between the face and the fingertip is long, 502 is the fingertip position, and 503 is the face-to-finger distance between the face position 501 and the fingertip position 502.
  • FIG. 12B shows a case where the distance between the face and the fingertip is short, 504 indicates the position of the fingertip, and 505 indicates the distance between the face and finger between the face position 501 and the fingertip position 504. ing.
  • FIG. 13 is a graph showing an example of the correspondence between the face-to-face distance and the cursor movement rate.
  • Reference numeral 601 is a graph showing the correspondence between the distance between face fingers and the cursor movement rate.
  • the cursor movement rate corresponding to the graph 601 is set in accordance with the given face-to-face distance. For example, when the face-to-finger distance is 503, the cursor movement rate is 603. When the face-to-finger distance is 505, the cursor movement rate is 605.
  • the cursor movement rate is set to increase as the face-to-finger distance decreases. Therefore, when it is desired to move the cursor greatly, the instructor only needs to bring the fingertip closer to his / her face. Further, the instructor can instruct a minute movement of the cursor by moving the fingertip away from his / her face.
  • the cursor position calculation unit 114 calculates the direction and distance when the instructor moves the fingertip, and outputs the position moved to the calculated direction and distance from the displayed cursor position as current cursor position information. To do.
  • the pointing control device can control the moving distance of the cursor by changing the distance between the face and the fingertip, so that the instructor can move the cursor while maintaining the moving distance of the fingertip.
  • the moving distance can be changed, and the cursor can be controlled as intended by the instructor.
  • the problem that the cursor cannot move on the screen can be prevented by increasing the cursor movement rate by controlling the distance between the fingers. .
  • the display control device including the pointing control device in this embodiment is characterized in that a plurality of cursors can be displayed simultaneously, and a plurality of instructors respectively operate the plurality of cursors.
  • the display control apparatus is the same as that of the first embodiment except that the operations of the instructor determination unit, the cursor position calculation unit, and the cursor synthesis unit are different, and thus the same configuration and operation as those of the first embodiment. Description of the above will be omitted, and only the difference will be described.
  • the display control device 150 includes a pointing control device 151 and a cursor composition unit 153 instead of the pointing control device 101 and the cursor composition unit 103, respectively.
  • the pointing control device 151 includes an instructor determination unit 163 and a cursor position calculation unit 164 instead of the instructor determination unit 113 and the cursor position calculation unit 114, respectively.
  • the instructor determining unit 163 has the same function as that of the instructor determining unit 113 except that it determines a plurality of instructors.
  • the cursor position calculation unit 164 has the same function as the cursor position calculation unit 114 except that it obtains information of a plurality of instructors and outputs a plurality of cursor positions.
  • the cursor synthesis unit 153 has the same function as the cursor synthesis unit 103 except that a plurality of cursor positions are obtained and a plurality of cursors are synthesized.
  • FIG. 14 is an example of a combined display image generated by the cursor combining unit 153, and shows a case where a plurality of cursors are combined.
  • reference numeral 700 denotes a composite display image
  • reference numerals 701, 702, and 703 denote cursors.
  • the instructor determination unit 163 determines the number of instructors corresponding to the number of cursors that can be displayed, using the face-to-finger distance acquired by the face-to-finger distance calculation unit 112.
  • the instructor determination unit 163 outputs the information of the determined instructor (position information between the face and fingertip, the distance between the face fingers).
  • the instructor determination unit 163 selects the number of instructors that does not exceed the number of cursors that can be displayed, in descending order of the distance between face fingers.
  • FIG. 16 is a flowchart illustrating an example of the operation of the instructor determination unit 163. The operation for selecting the instructor will be described with reference to FIG.
  • the instructor determination unit 163 selects one pair from the corresponding face and fingertip pairs received from the face-to-finger distance calculation unit 112.
  • the selected pair is a comparison source pair (S810).
  • the instructor determination unit 163 selects the comparison source pair as an instructor (S820).
  • the instructor determination unit 163 determines whether there is another correspondence between the face and the fingertip (S830). If there is another correspondence between the face and the fingertip, one pair is selected as the comparison destination pair (S840).
  • the instructor determination unit 163 determines whether or not the current number of instructors is less than the upper limit of the number of cursors (S850). When the current number of instructors has already reached the upper limit of the number of cursors (No in S850), the instructor determination unit 163 compares the face-to-finger distance between the comparison source pair and the comparison destination pair (S860). ).
  • the comparison source pair is removed from the instructor, and the comparison destination pair is selected as the instructor (S880). Subsequently, among the pairs selected as the instructor, the pair with the shortest distance between the face fingers is selected as a new comparison source pair (S890). Thereafter, the instructor determination unit 163 determines the remaining pairs (return to S830).
  • the comparison destination pair is selected as the instructor (S860), and then the most face among the pairs selected as the instructor A pair having a small inter-finger distance is selected as a new comparison source pair (S890). Thereafter, the instructor determination unit 163 determines the remaining pairs (return to S830).
  • the instructor determination unit 163 determines that the pair currently selected as the instructor is the instructor.
  • the cursor position calculation unit 164 calculates the positions of the plurality of cursors to be displayed from the information on the plurality of instructions received from the instruction determining unit 163, and outputs the calculated positions as the cursor position information.
  • the cursor composition unit 153 receives a plurality of pieces of cursor position information output from the pointing control device 151, generates a composite display image by superimposing the plurality of cursors on the display image.
  • FIG. 15 shows an example of management information for managing a plurality of instructors.
  • FIG. 15 shows an example in which the number of cursors that can be displayed is three as in FIG. 14 and the management information format is a table.
  • the management information holds an identifier (No.) for identifying the instructor, the face position, the fingertip position, and the shape of the cursor for one instructor.
  • the identifier (No.) for identifying the instructor is created based on the instructor identity determination as described in the first embodiment.
  • the cursor composition unit 153 for example, has an identifier No.
  • the identifier of the new instructor corresponding to the face position whose distance from the face position of the immediately preceding instructor is equal to or less than the threshold is No. 1. Set to 1.
  • the cursor composition unit 153 assigns a different cursor shape to each identifier, and maintains the assigned cursor shape while the instructor holds the cursor movement authority so that the cursor shape does not change during the operation. To control.
  • the pointing control device can determine a plurality of instructors and assign an individual cursor to each instructor.
  • the pointing control device does not assign a cursor to a subject person who is not pointing, and can prevent unnecessary cursor display.
  • the display control device including the pointing control device in this embodiment is characterized in that it can be connected to a plurality of input / output terminals, and the same screen is shared at a plurality of bases and the same cursor is operated.
  • FIG. 17 is a diagram showing a system configuration of the display control apparatus according to the present embodiment.
  • FIG. 17 shows an example of a conference at three sites (meeting rooms A, B, and C).
  • the conference room A is provided with an input / output terminal 810a
  • the conference room B is provided with an input / output terminal 810b and a display control device 800 having a pointing control device
  • the conference room C is provided with an input / output terminal 810c. It is installed.
  • the display control device 800 provided with the pointing control device is connected to the input / output terminal 810a of the conference room A via the network 821 and to the input / output terminal 810c of the conference room C via the network 822.
  • the display control apparatus 800 provided with the pointing control apparatus inputs camera images taken by the respective cameras of the input / output terminals 810a and 810c at other bases via the networks 821 and 822.
  • the display control device 800 detects a face position and a fingertip position from images captured by the respective cameras of the input / output terminals 810a, 810b, and 810c, determines an instructor, and calculates a cursor position.
  • the display control apparatus 800 associates the face and the fingertip with the base, for example, by adding information of the captured input / output terminal to the position information of the face and the position information of the fingertip. It is possible to calculate the face-to-finger distance.
  • the display control device 800 outputs the same screen to the display devices of the input / output terminals 810a and 810c at other bases via the networks 821 and 822.
  • a display control apparatus 800 including a pointing control apparatus determines an instructor having cursor movement authority from operators participating in multiple locations, and displays a composite display image generated by combining the cursors with a plurality of display images. Output to the base display device.
  • the screen control apparatus can share the same screen at a plurality of bases via a network when performing a conference at multiple bases.
  • the pointing control device can determine an instructor who has cursor movement authority from operators participating at multiple locations, and can easily switch the instructor. Further, the instructor can appropriately move the cursor that specifies the position of the pointing target by performing an operation of moving the fingertip toward the camera regardless of the distance from the camera being operated.
  • the pointing control device determines the instructor using the distance between the face and the fingertip, compared with the case where the instructor is determined based on the distance between the camera and the fingertip, Even when the size of the conference room and the arrangement of the conference room are different, it is possible to appropriately determine the instructor regardless of these external factors.
  • the camera 201 is a set of two cameras for acquiring the positions of the face and the fingertip.
  • the present invention is not necessarily limited to this case.
  • the camera 201 may be realized by a combination of one camera and distance detection means such as an infrared sensor camera.
  • the face detection unit 122 and the fingertip detection unit 123 detect the position of the face and fingers in the horizontal direction and the vertical direction using an image of a normal camera, and an infrared sensor camera detects between the subject and the camera. By detecting the distance, the position between the face and the fingertip can be detected.
  • the input / output terminal 200 includes the display device 202 realized by a large liquid crystal display and the camera 201 installed on the upper portion of the display device 202 has been described.
  • the invention is not necessarily limited to this case.
  • the display device 202 may be realized by, for example, a plasma display, an organic EL display, or a projector. Further, for example, the display device 202 may be realized by a television receiver, and the display control device 100 may be realized as a part of an integrated circuit included in the television receiver.
  • the camera 201 is not limited to the upper part of the display device 202, and may be installed at an arbitrary position where the operator can be the subject, such as a wall surface or a ceiling of a conference room.
  • the facial feature point is the point closest to the camera 201 within the range of the outer frame of the face, but the present invention is not necessarily limited to this case.
  • the facial feature point may be, for example, the head of the nose regardless of the distance from the camera 201, or when the operator is wearing glasses, one point on the glasses is the facial feature point. Those that move together with the face and do not separate during shooting may be considered as part of the face.
  • the feature point of the fingertip is the closest point from the camera 201 within the range of the outline of the hand
  • the present invention is not necessarily limited to this case.
  • the feature point of the fingertip may be the tip of the index finger regardless of the distance from the camera 201.
  • the pointing operation may be performed, for example, at the tip of a writing instrument, an indicator stick, etc. held in the hand.
  • the fingertip detection unit 123 detects an object such as a hand and a writing instrument held in the hand by image recognition using an outer frame, a color, etc., and uses the tip of the writing instrument held in the hand as a feature point. This can be realized by acquiring the position as the position of the fingertip. By doing in this way, the tip of a writing instrument or the like held in the hand can be used as a substitute member for the fingertip.
  • the substitute material for the fingertip is not limited to a writing instrument or a pointing stick. Any device that can indicate the position or direction and can easily approach or move away from the face can be used as a substitute for the fingertip.
  • the position acquisition unit 111 includes the image input unit 121, the face detection unit 122, and the fingertip detection unit 123 has been described, but the present invention is not necessarily limited to this case.
  • the position acquisition unit 111 may acquire face position information and fingertip position information from, for example, another pointing control device or a device that detects the position of the face and the fingertip.
  • the lower left corner of the frame is the origin, and the upper right corner is (200, 150).
  • the lengths of the four sides of the camera viewing angle frame may be arbitrary values depending on the resolution of the camera, and are not limited to the rectangular shape.
  • the position of the origin may be an arbitrary position such as the center of the frame or the upper left corner of the frame.
  • the horizontal direction is the left-to-right direction toward the X axis
  • the vertical direction is the Y-axis direction from bottom to top, but the X-axis is the direction from right to left, or the Y-axis.
  • Arbitrary coordinate systems may be used, such as with the direction from top to bottom.
  • the face-to-finger distance calculation unit 112 has been described as searching for the corresponding fingertip in order from the face closest to the camera, but the present invention is not necessarily limited to this case.
  • the face-to-finger distance calculation unit 112 may search for a fingertip corresponding to the face in order from the face farthest to the camera, or may search for a fingertip corresponding to the face in the order acquired from the position acquisition unit 111.
  • the face-to-finger distance calculating unit 112 may search for a corresponding face after first selecting a fingertip.
  • the face-to-finger distance calculation unit 112 associates the fingertip that is closer to the camera 201a than the face and closest to the face, but the present invention is not necessarily limited to this case.
  • the face detection unit 122 and the fingertip detection unit 123 may output unique identification information for each face or each fingertip in addition to the position information, and perform association using the identification information.
  • a threshold value may be provided for the distance between face fingers, and combinations of faces and fingertips where the distance between face fingers exceeds the threshold value may be excluded.
  • a combination having a difference greater than or equal to a threshold value may be excluded using a difference in Z value or a difference in X value.
  • the cursor position calculation unit 114 uses the half of the distance between the centers of adjacent seats as a threshold value, and the position of the face of the previous instructor and the face of the new instructor.
  • the threshold value is not limited to 1 ⁇ 2 of the distance between the centers of adjacent seats, and may be, for example, a seat width or an arbitrary value such as a predetermined value that does not depend on the conference room. May be used.
  • the cursor position calculation unit 114 also acquires position information of a face other than the instructor from the position acquisition unit 111, and 1 ⁇ 2 of the distance between the instructor's face and another face closest to the instructor's face. May be used as a threshold value.
  • the face detection unit 122 outputs identification information unique to each face together with the position information of the face, and the cursor position calculation unit 114 indicates whether or not the face identification information output by the face detection unit 122 matches. It may be determined whether the person has switched. In this way, it is possible to make a more accurate determination of the identity of the instructor using image recognition.
  • the cursor position calculation unit 114 has been described with respect to the case where the cursor initial position is the center position of the screen, but the present invention is not necessarily limited to this case.
  • the cursor initial position may be a specific position such as the upper left position of the screen.
  • the initial cursor position may be the position of the intersection of the straight line from the fingertip to the display device and the display surface of the display device.
  • the predetermined cursor position in the cursor composition unit 103 is the upper left corner of the display screen
  • the present invention is not necessarily limited to this case.
  • the predetermined cursor position may be an arbitrary coordinate position such as the center position of the display image.
  • the predetermined cursor position may be a position where the previous cursor was synthesized.
  • the predetermined cursor position may be the same as or different from the cursor initial position held by the cursor position calculation unit 114.
  • the cursor composition unit 103 does not hold a predetermined cursor position and the pointing control device 101 does not output the cursor position
  • the cursor composition unit 103 does not compose the cursor and the image input from the display image input unit 102 is not displayed.
  • the image output unit 104 may output the image as it is. In this way, when there is no instructor, the cursor can be erased so as not to interfere with the display image.
  • the display image input unit 102 may include an arbitrary interface capable of receiving a display image, such as an analog RGB input terminal, a DVI input terminal, a DisplayPort input terminal, or a composite input terminal.
  • the display image acquisition source is not limited to a personal computer, and may be an arbitrary image output device such as a BD player.
  • the display image input unit 102 may include an interface for acquiring a display image from a storage medium or a network, such as a memory card reader that acquires a display image as a file from a memory device such as an SDXC memory card.
  • a memory card reader that acquires a display image as a file from a memory device such as an SDXC memory card.
  • the cursor composition unit 103 synthesizes the cursor with the image input from the display image input unit 102 according to the cursor position information output from the cursor position calculation unit 114.
  • the display control device 100 does not include the display image input unit 102, the cursor synthesis unit 103, and the image output unit 104, and the pointing control device 101 has an HID (Human Interface Device) class USB interface or a PS / 2 mouse interface.
  • the cursor position information calculated by the cursor position calculation unit 114 may be output to a personal computer, and the personal computer may synthesize the cursor with the display image using the cursor position information. In this way, it is not necessary to synthesize the cursor by the display control device, and it is possible to output an image directly from the personal computer to the display device 202 by causing the personal computer to perform cursor synthesis processing.
  • the relationship between the face-to-finger distance and the cursor movement rate is expressed by a linear function
  • the relationship between the face-to-finger distance and the cursor movement rate may be inversely proportional, or may be expressed by other functions.
  • the relationship between the distance between the face fingers and the cursor movement rate may be defined using a conversion table, and the distance between the face fingers may be converted into the cursor movement rate using the table to calculate the cursor movement distance. .
  • the identifier (No.) for identifying the instructor has been described based on the case where the identifier is determined based on the instructor identity determination as described in the first embodiment.
  • the face detection unit 122 outputs unique identification information for each face, and the identifier (No.) for identifying the instructor is identification information unique to the face. It may be generated based on
  • the cursor shape stored in the management information may include information for specifying the cursor other than the shape, such as the size and color of the cursor.
  • the display control apparatus 800 including the pointing control apparatus has been described with respect to the case where information of input / output terminals taken is added to face position information and fingertip position information.
  • the invention is not necessarily limited to this case.
  • the coordinate system (origin position) may be determined so that the coordinate values do not overlap with each other, and the fingertip and face position information may be acquired. By doing in this way, it can prevent that the face of a certain base and the finger of another base are matched.
  • display control apparatus 800 having a pointing control apparatus receives camera images taken by cameras of input / output terminals 810a and 810c at other bases via networks 821 and 822.
  • the input / output terminal 810a includes a position acquisition unit 111 connected to the camera, and the input / output terminal 810a transmits the face position information and the fingertip position information to the position acquisition unit 111 of the display control device 800 via the network 821. It may be output.
  • the input / output terminal 810a includes a position acquisition unit 111 and a face-to-finger distance calculation unit 112 connected to the camera, and the input / output terminal 810a communicates with the instructor determination unit 113 of the display control device 800 via the network 821.
  • the inter-finger distance information may be output.
  • the network 821 does not need to directly transmit the camera image, and the network utilization efficiency can be improved.
  • the input / output terminal 810c and the network 822 may have the same configuration.
  • a display control device that is connected to the input / output terminal 810c and lacks the pointing control device 101 is installed in the conference room C, and the display control device 800 transmits the cursor position information to the display control device in the conference room C via the network 822. May be output.
  • the display control device in the conference room C can output the cursor to the input / output terminal 810c using the cursor position information, so the network 822 does not need to directly transmit the display image after the cursor composition, and the network Utilization efficiency can be improved.
  • the input / output terminal 810a and the network 821 may have the same configuration.
  • the input / output terminal 810a of the conference room A may be realized by a camera-equipped mobile phone terminal incorporating a camera, a display, and a network function.
  • the conference room A is realized using one room at the home of the operator who owns the mobile phone terminal, and the operator can participate in the conference from home or the like.
  • the pointing control device may be realized by all or part of its constituent elements by an integrated circuit of one chip or a plurality of chips, or by a computer program. It may be implemented in any other form.
  • the display control device including the pointing control device may be realized by one chip, or only the pointing control device may be realized by one chip, and the cursor composition unit or the like may be realized by another chip.
  • LSI Large Scale Integration
  • IC system LSI
  • super LSI ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the display control device 100 is implemented by an integrated circuit. Since each part of the display control apparatus 100 is the same as that of the first embodiment, the same reference numerals are given, and the description of the same configuration is omitted.
  • the display control apparatus 100 inputs a camera image from the camera image input unit 211 and outputs a composite display image to the image output unit 212.
  • the camera image input unit 211 inputs a camera image to the image input unit 121.
  • the image output unit 212 outputs an image output from the image output unit 104 (not shown).
  • the pointing control device may be realized by a program written in a storage medium and a computer that reads and executes the program.
  • the storage medium may be any recording medium such as a memory card or a CD-ROM.
  • the pointing control device according to the present invention may be realized by a program downloaded via a network and a computer that downloads and executes the program from the network. This program includes a position acquisition step for acquiring the position of each operator's face and the position of each operator's fingertip, the acquired position of each operator's face, and the position of each operator's fingertip.
  • a face-to-finger distance calculating step for calculating a face-to-face distance between the face position and the fingertip position associated with each other, and an instructioner determination for determining an instructor using the face-to-finger distance
  • This is a program for executing a pointing process including a step and a cursor position calculating step of calculating a cursor position using the determined position of the fingertip of the instructor and outputting the calculated cursor position.
  • the personal computer that outputs the display image may be the same hardware as the computer that reads the program and executes the program.
  • the present invention is useful not only for use in a specific place such as a conference room, but also as a pointing device for a home television, a personal computer, a mobile phone, a personal digital assistant, a video camera, a digital camera, and the like. is there.
  • the pointing control device is a pointing control device that determines an instructor who can designate a cursor position from among operators who perform an instruction operation, and includes a position of each operator's face,
  • the position acquisition unit that acquires the position of the operator's fingertip or its substitute member, the acquired face position of each operator, and the position of each operator's fingertip or its substitute member
  • a distance calculating unit that calculates a distance between the position of the given face and the position of the fingertip or a substitute member thereof, an instructor determining unit that determines an instructor using the distance, and the determined fingertip of the instructor or
  • a cursor position calculating unit that calculates a cursor position using the position of the substitute member and outputs the calculated cursor position.
  • the integrated circuit according to the embodiment is an integrated circuit that determines an instructor who can specify a cursor position from among operators who perform an instruction operation, and includes the position of each operator's face and each operator's face.
  • the position acquisition unit that acquires the position of the fingertip or its substitute member, the acquired face position of each operator, and the position of each operator's fingertip or its substitute member
  • a distance calculating unit that calculates a distance between the position of the fingertip or the position of the fingertip or a substitute member thereof, an instructioner determining unit that determines an instructor using the distance, and the determined fingertip of the instructor or a substitute member thereof
  • a cursor position calculating unit that calculates a cursor position using the position and outputs the calculated cursor position.
  • the pointing control method is a pointing control method for determining an instructor who can specify a cursor position from among operators who perform an instruction operation.
  • the position acquisition step of acquiring the position of the fingertip of the operator or the substitute member thereof is associated with the position of the acquired face of each operator and the position of the fingertip of each operator or the substitute member
  • a distance calculating step for calculating a distance between the position of the face and the position of the fingertip or its substitute member
  • an instructor determining step for determining an instructor using the distance
  • the position acquisition unit three-dimensionally displays the position of each operator's face and the position of each operator's fingertip or a substitute member thereof.
  • the distance calculation unit creates a plurality of pairs consisting of the position of one face and the position of one fingertip or its substitute member associated with the position of the one face, and all of the pairs The distance may be calculated for.
  • the instructor determining unit may compare the distance between the pairs and determine the instructor. Good.
  • any operator can be an instructor by changing the distance between the face and the fingertip or its substitute member, and the instructor can be easily changed.
  • the instructor determining unit may determine a pair having the largest distance as the instructor among all the pairs. Good.
  • the pointing control device according to the embodiment (b) according to the embodiment is a pointing control device that outputs a plurality of pieces of cursor position information at the same time. The magnitudes of the distances are compared, and a plurality of pairs are determined as the instructor from all the pairs, and the cursor position calculation unit calculates the cursor position from each of the position of the fingertip of the instructor or its substitute member. The cursor position information of each of the instructors may be output.
  • the instructor determining unit determines a plurality of instructors in order from the largest of the plurality of pairs. Also good.
  • the position acquisition unit includes an image acquisition unit that acquires a plurality of camera images, and a position of an operator's face from the plurality of camera images. And a fingertip position detector that detects the position of the fingertip of the operator or a substitute member thereof from the plurality of camera images.
  • the pointing control device can acquire the distance between the face and the fingertip or its substitute member from the images photographed using a plurality of cameras, and determine the instructor.
  • the cursor position calculation unit holds information for specifying the current instructor, and a new one determined by the instructor determination unit The position of the cursor is determined to be the direction in which the position of the fingertip of the instructor or a substitute member thereof is moved, if the result of the determination is the same. May be calculated.
  • the direction of the cursor matches the direction of movement of the fingertip or its substitute member, so the instructor can intuitively control the cursor position. Is possible.
  • the cursor position calculation unit holds the current cursor position, and calculates the movement distance of the cursor using the distance of the instructor. Then, a position moved in the movement direction of the cursor by the movement distance of the cursor from the current cursor position may be output as a new cursor position.
  • the relationship between the movement distance of the fingertip or its substitute member and the movement distance of the cursor can be controlled as intended by the instructor by moving the fingertip or its substitute member closer to or away from the face.
  • the instructor can control the movement of the cursor in more detail.
  • the cursor position calculation unit may be configured such that the new indicator determined by the indicator determination unit is not the same as the current indicator.
  • the initial position may be output as the cursor position.
  • the pointing control device has a function of determining an instructor that designates the position of a pointing target using the distance between the operator's face and a fingertip or a substitute member thereof, and is useful in a conference system. is there. Further, it can be applied to uses such as a personal computer, a mobile phone, a portable information terminal, a video camera, and a digital camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　複数の操作者がポインティング操作を行う場合に、顔と指先若しくはその代用部材との間の距離を用いて、ポインティング対象の位置を指定する指示者を操作者のうちから決定するポインティング制御装置を提供する。　操作者の顔の位置と、操作者の指先若しくはその代用部材の位置とを用いて、顔と指先若しくはその代用部材との間の距離を算出し、算出された距離を用いて、操作者の中から指示者を決定して、決定した指示者の指先若しくはその代用部材の位置から、ポインティング操作のためのカーソルの位置を算出する。操作者の数に関わらず指示者を決定することができ、また、操作者の間で指示者を変更することが容易である。

Description

ポインティング制御装置とその集積回路、およびポインティング制御方法
　本発明は、操作者が表示画面上の位置を指し示す指示操作を認識するポインティング制御技術に関する。
　近年、パーソナルコンピュータなどの画面を大型ディスプレイ、プロジェクタ等によって映し出し、映し出された画面を見ながら会議をすることが広く行われている。このような会議において、画面上にある図や文字を指し示しながら説明、質問等をする、といったことが一般的に行われる。
　画面上の図や文字を指し示す手段として、指示棒またはレーザーポインタなど、映し出されているディスプレイをダイレクトにポインティングする方法がある。また、他の手段として、マウス、ポインティングデバイス等の入力機器を使って、図や文字を表示している画面上にカーソルを表示してポインティングする方法もある（例えば、特許文献３参照）。
　また、指示者が入力機器等を用いないポインティング方法として、指示者の指先を検出してカーソルを表示し、ポインティングする技術が知られている（例えば、特許文献１、特許文献２、特許文献４参照）。
　特許文献１、特許文献２、特許文献４には、カメラなどの撮影手段を備え、撮影手段によって得られた複数の画像から、指示者の指先の位置を検出し、ポインティングを行う技術が開示されている。
特開平４－２７１４２３号公報 特開平５－１９９５７号公報 特開２００７－２２６３９７号公報 特開２００６－２０９３５９号公報
　しかしながら、特許文献１、特許文献２、および特許文献４の技術は、１つのカーソルを用いてポインティングする技術であり、撮影手段によって得られた画像に含まれる指先の数は、カーソル数と同じ１つであることが前提である。ポインティングに用いるカーソルの数は１つに限られず２つ以上でもよいが、これら従来の技術では、撮影される指先の数がカーソル数より多い場合に、撮影される指先の中から、カーソルを定めるための指先を決定することができない課題を有している。
　本発明は、複数の操作者が撮影されても、操作者の中から指示者を決定し、決定された指示者のみがポインティング動作を行うことができるポインティング制御技術を提供することを目的とする。
　前記従来の課題を解決するために、本発明のポインティング制御装置は、指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御装置であって、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、前記距離を用いて指示者を決定する指示者決定部と、決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部とを備えることを特徴とする。
　本発明のポインティング制御装置によれば、顔の位置と指先若しくはその代用部材との間の距離を用いて複数の操作者の中からポインティング対象の位置を指定する指示者を特定し、他の操作者に影響されることなく指示者のみがポインティング動作を行うことが可能となる。
本発明の実施の形態１におけるポインティング制御装置を備えた表示制御装置の構成を示すブロック図 本発明の実施の形態１における表示制御装置に接続される入出力端末の外観を示すイメージ図 本発明の実施の形態１におけるポインティング制御装置の動作を示すフローチャート 本発明の実施の形態１における検出される指先とカメラとの位置関係を示す図 本発明の実施の形態１におけるカメラと、被写体の指先と顔の位置関係の一例を示す図 本発明の実施の形態１におけるカメラと、複数の被写体の指先と顔の位置関係の一例を示す図 本発明の実施の形態１におけるカメラ正面の位置からカメラ視野角の枠と、顔位置、指先位置の一例を示す図 本発明の実施の形態１における顔指間距離算出部の動作の一例を示すフローチャート 本発明の実施の形態１における指示者決定部の動作の一例を示すフローチャート 本発明の実施の形態１におけるカーソル合成部の動作の一例を示すフローチャート 本発明の実施の形態１におけるカーソル合成部が生成する合成表示画像の一例を示す図 本発明の実施の形態１の変形例１における顔指間距離の大小を示したイメージ図 本発明の実施の形態１の変形例１における顔指間距離とカーソル移動率の対応の一例を示した図 本発明の実施の形態２におけるカーソル合成部が生成する合成表示画像の一例を示す図 本発明の実施の形態２における複数の指示者を管理する管理情報の一例を示す図 本発明の実施の形態２における指示者決定部の動作の一例を示すフローチャート 本発明の実施の形態３における表示制御装置のシステム構成の一例を示す図 本発明の実施の形態１におけるポインティング制御装置を集積回路とした構成の一例を示す図
　＜発明に至った経緯＞
　従来の指先を撮影してポインティングする方法では、１つの指先が撮影されることを前提としているため、同時に２以上の指先が撮影される場合に、カーソル位置を定めるための１つの指先を決めることができない。つまり、カーソル数より多い指先が同時に撮影される場合に、カーソルと１対１で対応付けるための指先を選び出すことができない。
　そこで、発明者らは、指示操作を行っている場合と指示操作を行っていない場合との間で、指先と顔との距離が異なることに着目した。
　一般に、指示操作を行っている者は、手を伸ばして指先を画面に近づけるので、顔と指先との間の距離は大きく、また一定しないことが多い。これに対し、指示操作をしていない者は、一般に、手の動きが小さく、また肘を伸ばすことが少ないため、顔と指先との間の距離は小さく、また変動しないことが多い。したがって、顔と指先との間の距離を用いることで、複数の人物の中から、指示操作を行っている者のみを選び出すことが可能となる。
　また、一人の操作者に着目した場合、指示操作を開始する前後、および終了する前後において、顔と指先との距離が大きく変化する。したがって、顔と指先との間の距離を用いて、操作者が指示操作を始めたこと、および、指示者が指示操作を止めたことを検出することができる。そのため、指示者が指示操作を止める場合に当該指示者を選び出す対象から外したり、さらに別の操作者が指示操作を始めた場合に当該操作者を選び出したりすることが可能となる。
　このようにすることで、ポインティング動作を行っている者だけを指示者として選び出すことが可能となる。加えて、指示者が交代するような場合、直前の指示者がポインティング操作を止め、新たに指示者となる者がポインティング操作を開始するだけでよい。そのため、簡易な方法で指示者を決定することができ、また、指示者の交代も容易である。
　＜実施の形態＞
　以下本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図１は、本発明の実施の形態におけるポインティング制御装置を備えた表示制御装置１００の構成を示すブロック図である。表示制御装置１００は、入出力端末２００と、表示画像を出力するパーソナルコンピュータ（図示せず）に接続されており、複数の操作者が、１つの表示装置に表示された画面を見ながら、指先でポインティング操作を行う場合を説明する。
　＜構成＞
　図１において、表示制御装置１００は、ポインティング制御装置１０１、表示画像入力部１０２、カーソル合成部１０３、画像出力部１０４を備えている。表示制御装置１００は、例えば、ＴＶ会議システムの主装置などで実現され、ポインティング制御装置１０１、表示画像入力部１０２、カーソル合成部１０３、画像出力部１０４は集積回路の一部として実現される。また、入出力端末２００は、カメラ２０１と表示装置２０２を備えている。表示装置２０２は、例えば、大型の液晶ディスプレイで実現される。
　カメラ２０１は、表示装置の画面上の位置を指定するポインティング操作を行う操作者を撮影し、表示制御装置１００に出力する。なお、カメラ２０１が出力するカメラ画像は、被写体の検出だけでなく、被写体との距離を取得できる情報を含んでいる。カメラ２０１は、左右２つのカメラ２０１ａ、２０１ｂの一組からなり、撮影された２つの画像をステレオ画像として表示制御装置１００に出力する。表示制御装置１００は、カメラ２０１ａ、２０１ｂが撮影するステレオ画像における、左画像と右画像との視差を用いて、カメラから被写体までの距離を算出する。
　ポインティング制御装置１０１は、カメラ２０１から画像を受け取り、被写体として撮影された操作者の顔と指先間の距離を取得する。複数の操作者が撮影されている場合、取得した複数の顔指間距離を用いて、ポインティング対象の位置を指定する指示者を決定する。ポインティング制御装置１０１は、決定した指示者の情報から、表示するカーソルの位置を算出し、カーソル位置情報として出力する。ポインティング制御装置１０１は、表示制御装置１００のＣＰＵ（不図示）と記憶部（不図示）とから構成される。記憶部は、例えばＥＥＰＲＯＭなどの不揮発性メモリにより実現され、ＣＰＵは記憶部に記憶されるプログラムを読み出して実行する。
　表示画像入力部１０２は、例えば、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）入力端子を有し、画面に表示する情報を表示画像として、当該入力端子を介してパーソナルコンピュータから取得する。
　カーソル合成部１０３は、ポインティング制御装置１０１からカーソル位置情報を受け取り、表示画像入力部１０２が取得した画像にカーソルを重畳する合成を行って、合成表示画像を生成する。また、カーソル合成部１０３は、ポインティング制御装置１０１からカーソル位置情報を受け取るまでは、所定のカーソル位置を、カーソル位置情報として使用し、カーソルを合成する。所定のカーソル位置は、表示画像の左上の隅である。
　画像出力部１０４は、カーソル合成部１０３で生成した合成表示画像を受け取り、表示装置２０２に出力する。表示装置２０２は、画面上に、合成表示画像を表示する。
　ポインティング制御装置１０１は、位置取得部１１１、顔指間距離算出部１１２、指示者決定部１１３、カーソル位置算出部１１４を備えている。
　位置取得部１１１は、カメラ２０１から画像を受け取り、被写体として撮影された操作者の顔と指先間の位置とを検出して、検出した位置情報を顔指間距離算出部１１２に出力する。位置取得部１１１は、画像入力部１２１、顔検出部１２２、指先検出部１２３を備えている。
　画像入力部１２１は、カメラ２０１から画像を受け取り、顔検出部１２２と指先検出部１２３に出力する。
　顔検出部１２２は、画像入力部１２１より受け取ったカメラ画像から、被写体として撮影された操作者の顔を検出して位置情報を出力する。顔検出部１２２は、カメラ画像に人物の顔が写っている場合、写っている人物の顔を全て操作者の顔として検出する。顔検出部１２２は、検出した顔の位置情報を、顔指間距離算出部１１２に出力する。位置情報は、カメラからの距離および、水平、垂直位置の３つの情報を含んでいる。
　指先検出部１２３は、画像入力部１２１より受け取ったカメラ画像から、被写体として撮影された操作者の指先を検出して位置情報を出力する。指先検出部１２３は、カメラ画像に人物の指先が写っている場合、写っている指先を全て操作者の指先として検出する。指先検出部１２３は、検出した指先の位置情報を、顔指間距離算出部１１２に出力する。位置情報は、カメラからの距離および、水平、垂直位置の３つの情報を含んでいる。
　顔指間距離算出部１１２は、位置取得部１１１が出力した顔の位置と指先の位置とから、操作者の顔と操作者の指先とを対応付け、対応付けた顔と指先との距離（顔指間距離）を算出する。被写体として複数の操作者が写っている場合、位置取得部１１１は上述のように顔の位置情報を複数出力する。顔指間距離算出部１１２は、位置取得部１１１が出力した複数の顔の位置に対し、各々対応する指先を一つ決定し、複数の操作者に対する顔指間距離を算出する。
　指示者決定部１１３は、顔指間距離算出部１１２が算出した顔指間距離を用いて、ポインティング対象の位置を指定する、カーソル移動権限を持つ指示者を決定する。指示者決定部１１３は、決定した指示者の情報である顔と指先との位置情報と、当該指示者の顔指間距離とを出力する。指示者とは、カーソル移動権限を有する唯一の操作者である。本実施の形態において、指示者決定部１１３は、被写体として複数の操作者が写っている場合、顔指間距離が最も大きい操作者を指示者と決定する。また、指示者決定部１１３は、顔指間距離算出部１１２が一つの顔指間距離のみを算出した場合、顔指間距離が取得できたその操作者を、指示者として決定する。また、指示者決定部１１３は、顔指間距離算出部１１２が一つも顔指間距離を算出しなかった場合、指示者なしと決定する。
　カーソル位置算出部１１４は、指示者決定部１１３から受け取った指示者の情報である顔と指先との位置情報と、指示者の顔指間距離とから、表示するカーソルの位置を算出し、カーソル位置情報として出力する。カーソル位置算出部１１４は、表示中のカーソル位置と、そのカーソル位置を指定した指示者の顔と指先との位置情報を保持しており、新しく受け取った指示者の顔と指先との位置情報から、指示者の変更があったか否かを判断する。指示者の変更があった場合、カーソル位置算出部１１４は、カーソル初期位置を、現在のカーソル位置情報として出力する。カーソル初期位置は、画像の中央位置である。指示者の変更がなかった場合、カーソル位置算出部１１４は、後述する計算方法でカーソル位置を計算し、現在のカーソル位置情報として出力する。
　図２は、本実施の形態における、表示制御装置１００に接続される入出力端末２００の外観を示したイメージ図である。入出力端末２００は、画面表示するための１つの表示装置２０２と、撮影のための１組のカメラ２０１からなる。カメラ２０１は、左右２つのカメラ２０１ａ、２０１ｂを一組としたステレオカメラであり、ステレオ画像を出力する。
　図２では、カメラ２０１は、表示装置２０２の上部に設置している。カメラ２０１と表示装置２０２が同じ方向を向いて近接設置されていると、操作者が、表示装置２０２に表示されている画面を見ながらポインティング操作を行うと、操作者の顔と指先がカメラ２０１の視角内に入りやすくなるというメリットがある。
　＜動作＞
　図３は、本実施の形態におけるポインティング制御装置１０１を含む表示制御装置１００の動作を示すフローチャートである。
　表示制御装置１００は、カメラ２０１の画像を取得する（Ｓ１０）。位置取得部１１１は顔検出部１２２と指先検出部１２３を起動する。
　次に、顔検出部１２２は画像入力部１２１が取得した画像を解析し、映っている人物の顔を全て検出してそれぞれの位置情報を顔指間距離算出部１１２に出力する（Ｓ２０）。
　同様に、指先検出部１２３は画像入力部１２１が取得した画像を解析し、映っている人物の指先を全て検出してそれぞれの位置情報を顔指間距離算出部１１２に出力する（Ｓ３０）。
　ここで、顔と指先の位置情報を取得する方法について説明する。まず、顔または指先を外枠（輪郭）または含まれるパーツ、肌の色などを用いた画像認識によって検出した後、検出された領域よりカメラ２０１に最も近い特徴点を抽出する。顔を検出する場合、一般に顔の外枠（輪郭）を検出するため、特徴点として、顔の外枠の範囲内でカメラ２０１から最も距離の近いポイントを用いる。この場合、特徴点は通常、鼻の頭となるため、以下鼻の頭を顔の位置として説明する。同様に指先を検出する場合、一般には輪郭線を検出し、特徴点として、カメラに最も近いポイントを用いる。この場合、特徴点は通常、人差し指の先端となるため、以下、人差し指の先端を指先の位置として説明する。
　次に、特徴点の位置を求める。以下、指先の位置の取得方法について説明するが、顔の位置の取得方法も同じである。
　図４にカメラ２０１ａと指先との位置関係を示す。３０１は指先の位置である。また、視野角の枠３００は、カメラ２０１ａから指先３０１までの距離におけるカメラ２０１ａの視野角の範囲である。
　まず、カメラ２０１ａの画像とカメラ２０１ｂの画像とから、指先３０１の視差を検出し、カメラから指先までの距離Ｚを算出する。次に、指先３０１からカメラ２０１ａに向かうベクトルを法線ベクトルとする平面を導出し、カメラ視野角を当該平面に射影することで視野角の枠３００を得る。視野角の枠３００の大きさ、すなわち垂直方向の長さと水平方向の長さは、いずれもカメラの画角と距離Ｚによって定まる。本実施の形態では、視野角の枠３００内の水平方向の位置Ｘ、垂直方向の位置Ｙを用いて、指先の位置（Ｘ，Ｙ，Ｚ）を取得する。すなわち、ＸとＹは視野角の枠３００の大きさに依存した相対値であり、視野角の枠３００における向かって左下の角を原点（０，０）とし、向かって右上の角を（２００，１５０）とする。
　次に、顔指間距離算出部１１２は、顔と指先とを対応付け、対応付けた顔と指先との間の顔指間距離を算出する（Ｓ４０）。
　図５は、カメラ２０１ａと、被写体の指先と顔の位置関係を横方向から示した関係図である。３１１は指先の位置、３２１は顔の位置である。３１０は、指先位置３１１におけるカメラ視野角の枠、３２０は、顔位置３２１におけるカメラ視野角の枠である。なお、２つのカメラ視野角の枠３１０、３２０は、真横から見た場合、直線として表される。
　図６は、カメラ２０１ａと、複数の被写体の、指先および顔との位置関係を横方向から示した関係図である。３３１は被写体ａの指先位置、３４１は被写体ａの顔位置、３５１は被写体ｂの指先位置、３６１は被写体ｂの顔位置である。３３０、３４０、３５０、３６０はそれぞれ、被写体ａの指先位置３３１、被写体ａの顔位置３４１、被写体ｂの指先位置３５１、被写体ｂの顔位置３６１における、カメラ視野角の枠である。図６では、被写体ａと被写体ｂの二人が検出されており、被写体ａは、被写体ｂと比べて、カメラに近くに位置している。図７は図６の位置関係をカメラ２０１ａの光軸上の点から見た図である。
　図８は、顔指間距離算出部１１２の動作のフローチャートである。図８を用いて、顔指間距離算出部１１２が、顔の位置と指先の位置から、操作者の顔と指先を対応付け、顔指間距離を取得する動作について説明する。
　なお、本実施の形態では、顔指間距離算出部１１２は、「条件１：顔位置より指先位置の方がカメラに近い」と「条件２：顔位置と指先位置が最も近いものを対応付ける」の双方を満たすように顔と指先を対応付ける。
　顔指間距離算出部１１２は、位置取得部１１１から取得した顔位置の中から、まだ選択されておらず、かつ最もカメラ２０１ａに近い１つの顔位置を選択する（Ｓ４１０）。
　次に、顔指間距離算出部１１２は、位置取得部１１１から取得した指先位置の中から、どの顔とも対応付けられていない１つの指先位置を選択する（Ｓ４２０）。
　次に、顔指間距離算出部１１２は、選択した顔位置と選択した指先位置を組み合わせ、どちらがカメラ２０１ａに近いかを判定する（Ｓ４３０）。
　指先位置の方がカメラ２０１ａに近い場合（Ｓ４３０）、組み合わせた顔と指先間の距離を取得する（Ｓ４４０）。さらに、顔指間距離算出部１１２は、選択中の顔に対して顔指間距離を保持していなければ（Ｓ４５０）、取得した顔指間距離を保持し、選択中の指を選択中の顔と対応付ける（Ｓ４６０）。また、顔指間距離算出部１１２は、選択中の顔に対して顔指間距離を保持していれば、保持している顔指間距離と新たに取得した顔指間距離を比較し（Ｓ４５０）、新たな顔指間距離の方が小さい場合には、選択中の顔に関する対応付けと顔指間距離を消去し、取得した顔指間距離を保持し、選択中の指を選択中の顔と対応付ける（Ｓ４６０）。
　一方、顔位置の方がカメラ２０１ａに近い場合（Ｓ４３０）、顔指間距離算出部１１２は、この組み合わせは、対応付ける条件から外れると判断する。
　次に、選択した１つの顔位置に対して選択していない指先位置がある場合（Ｓ４７０がＹｅｓ）、Ｓ４２０に戻って新しく選択した指先位置との組み合わせ判定を繰り返す。
　一方、選択した１つの顔位置に対し、全ての指先位置を選択した場合（Ｓ４７０がＮｏ）、選択していない顔位置があるかどうかを判定し（Ｓ４８０）、選択されていない顔位置がある場合はＳ４１０に戻って新しく顔位置を選択して指先位置との組み合わせ判定を繰り返す。
　全ての顔位置を選択済みの場合（Ｓ４８０がＮｏ）、顔指間距離算出部１１２は、対応付けの処理を終了する。
　以上により、顔指間距離算出部１１２は、被写体として複数の操作者が写っている場合、選択した一つの顔位置に対し、最も適切な位置にある指先位置を、順に対応付ける。これにより、顔指間距離算出部１１２は、被写体として写っている操作者に対し、顔と指先を対応付け、顔指間距離を取得することができる。
　以下に、顔指間距離算出部１１２が、複数の操作者の顔と指先を対応付ける処理の具体例を、図６と図７とを用いて説明する。
　顔指間距離算出部１１２は、検出された顔位置３４１、３６１と、指先位置３３１、３５１に対し、対応付けを見つけるために、それぞれの顔位置に対して、最も適切な位置にある指先位置を順に組み合わせていく。
　まず、顔指間距離算出部１１２は、顔位置のうちカメラに近い顔位置３４１を選択する（Ｓ４１０）。
　次に、顔指間距離算出部１１２は、指先位置３３１を選択する（Ｓ４２０）。次に、顔指間距離算出部１１２は顔位置３４１と指先位置３３１のいずれがカメラ２０１ａに近いか判断し（Ｓ４３０）、指先位置３３１の方がカメラに近いため顔位置３４１と指先位置３３１との間の距離を取得する（Ｓ４４０）。顔位置３４１に対して対応付けられている指先はないので（Ｓ４５０）、顔指間距離算出部１１２は、顔位置３４１と指先位置３３１を対応付け、顔指間距離を保持する（Ｓ４６０）。
　次に、顔位置３４１に対して指先位置３５１が選択されていないので（Ｓ４７０でＹｅｓ）、顔指間距離算出部１１２は、指先位置３５１を選択する（Ｓ４２０）。次に、顔指間距離算出部１１２は顔位置３４１と指先位置３５１のいずれがカメラ２０１ａに近いか判断し（Ｓ４３０）、顔位置３４１の方がカメラに近いため、顔位置３４１に対して選択されていない指先がないか判断し（Ｓ４７０）、選択されていない指先がないため、選択されていない顔があるか判断する（Ｓ４８０）。顔指間距離算出部１１２は、未選択の顔位置３６１を選択する（Ｓ４１０）。
　次に、顔指間距離算出部１１２は、指先位置３５１を選択する（Ｓ４２０）。次に、顔指間距離算出部１１２は顔位置３６１と指先位置３５１のいずれがカメラ２０１ａに近いか判断し（Ｓ４３０）、指先位置３５１の方がカメラに近いため顔位置３６１と指先位置３５１との間の距離を取得する（Ｓ４４０）。顔位置３６１に対して対応付けられている指先はないので（Ｓ４５０）、顔指間距離算出部１１２は、顔位置３６１と指先位置３５１を対応付け、顔指間距離を保持する（Ｓ４６０）。
　次に、顔位置３６１に対して選択されていない指先がないか判断し（Ｓ４７０）、指先３３１は既に顔位置３４１と対応付けられていて選択できないため、選択されていない顔があるか判断する（Ｓ４８０）。顔指間距離算出部１１２は、未選択の顔位置がないので処理を終了する。
　このようにして、顔位置３４１と指先位置３３１が対応付けられて顔指間距離が算出され、顔位置３６１と指先位置３５１が対応付けられて顔指間距離が算出される。
　次に、指示者決定部１１３は、顔指間距離から指示者を決定する（Ｓ５０）。
　図９は、指示者決定部１１３の動作を示すフローチャートである。図９を用いて、指示者決定部１１３が、指示者を決定する動作について説明する。
　指示者決定部１１３は、顔指間距離算出部１１２が対応付けた顔と指先の対応関係（以下、ペアと呼ぶ）の中から、１つのペアを選択する。選択したペアは、比較元ペアである（Ｓ５１０）。
　次に、指示者決定部１１３は、顔指間距離算出部１１２が対応付けたペアが他に存在するか判定し（Ｓ５２０でＹｅｓ）、存在する場合にはその中から１つのペアを選択する（Ｓ５３０）。選択されたペアは、比較先のペアである。
　指示者決定部１１３は、比較元ペアと比較先ペアとで、いずれの顔指間距離が大きいか判定し（Ｓ５４０）、比較先ペアの顔指間距離の方が大きい場合、指示者決定部１１３は、比較先顔指間距離を、新たな比較元ペアとする（Ｓ５５０）。
　次に、指示者決定部１１３は、顔指間距離算出部１１２が対応付けたペアが他に存在するか判定し（Ｓ５２０）、存在する場合は１つのペアを比較先として選択する処理を繰り返す。
　一方、顔指間距離算出部１１２が対応付けたペアが全て一度以上比較元または比較先として選択された場合には（Ｓ５２０でＮｏ）、指示者決定部１１３は、比較元ペアが、顔指間距離が最大と判定し、当該ペアを、指示者と決定する（Ｓ５６０）。
　次に、カーソル位置算出部１１４は、決定された指示者の情報から、カーソル位置を算出して出力する（Ｓ６０）。
　カーソル位置算出部１１４は、１名分の指示者の情報を、指示者決定部１１３から受け取る。カーソル位置算出部１１４は、表示中のカーソル位置と、そのカーソル位置を指定した指示者の情報（顔の位置情報、および指先の位置情報）を保持しており、新しく受け取った指示者の情報から、指示者の変更があったか否かを判断し、次に、カーソル位置の算出を行う。これは、新たな指示者が直前の指示者と同一か否かで、カーソル位置の算出方法が異なるからである。
　カーソル位置算出部１１４は、指示者の変更の有無を、指示者の顔位置に大きな移動があったか否かで判断する。
　本実施の形態に係るポインティング制御装置１０１は、操作者が自分の座席から移動することなく、ポインティング操作を行うことを前提としている。そのため、カーソル位置算出部１１４は、隣り合う座席の中心間の距離の１／２をしきい値として、直前の指示者の顔の位置と現在の指示者の顔の位置との間の距離が、しきい値を超えていれば指示者の変更があったと判断し、そうでない場合は、直前の指示者と新たな指示者が同じ座席にいると推測できるので、指示者の変更がないと判断する。
　指示者の変更があった場合、カーソル位置算出部１１４は、予め保持しているカーソル初期位置を、現在のカーソル位置情報として出力する。カーソル初期位置は、上述したように、画面の中央位置である。
　指示者の変更がない場合、カーソル位置算出部１１４は、指先から表示装置へ向かう直線と、表示装置のディスプレイ面との交点の位置を、現在のカーソル位置として出力する。
　以上Ｓ１０～Ｓ６０の各動作によって、ポインティング制御装置１０１は、カメラ２０１から取得した画像を基にカーソル位置を出力する。
　続けて、表示制御装置１００が指示内容を出力する動作について説明する。
　表示画像入力部１０２は、表示装置２０２に表示すべき画像をパーソナルコンピュータから取得し、カーソル合成部１０３は、表示画像入力部１０２から取得した画像に対し、ポインティング制御装置１０１が出力するカーソル位置にカーソルを重畳合成して画像出力部１０４に出力する（Ｓ７０）。
　図１０は、カーソル合成部１０３の動作を示すフローチャートである。
　カーソル合成部１０３は、表示画像入力部１０２から、表示画像を受け取る（Ｓ７１０）。この表示画像は、表示用の原画像のデータである。
　次に、カーソル合成部１０３は、ポインティング制御装置１０１からカーソル位置の指定を受けているか否かを判定する（Ｓ７２０）。
　位置指定がない場合（Ｓ７２０）、カーソル合成部１０３は、表示画像の所定の位置にカーソルを合成して、合成表示画像を生成する（Ｓ７３０）。ここで、所定の位置とは、上述したように画面の左上の隅である。
　位置指定がある場合（Ｓ７２０）、カーソル合成部１０３は、表示画像における、カーソル位置情報が示す指定位置にカーソルを合成し、合成表示画像を生成する（Ｓ７４０）。
　最後に、カーソル合成部１０３は、生成した合成表示画像を、画像出力部１０４に出力する（Ｓ７５０）。
　図１１は、カーソル合成部１０３が生成する合成表示画像の一例を示している。図１１（Ａ）の４０１は、カーソル合成部１０３が表示画像入力部１０２から受け取る表示画像である。４０２は、カーソルのイメージデータである。４０３は、カーソル合成部１０３がポインティング制御装置１０１から受け取るカーソル位置情報が示す指定位置を示している。
　図１１（Ｂ）の４０４は、図１１（Ａ）に示した各情報を用いて生成した、合成表示画像である。カーソル合成部１０３は、表示画像入力部１０２から受け取った表示画像４０１の、カーソル位置情報が示す指定位置４０３に、カーソルのイメージデータ４０２を重ね合わせて合成し、合成表示画像４０４を生成する。
　＜まとめ＞
　以上により、ポインティング制御装置を備えた表示制御装置は、複数の操作者の中から、ポインティング対象の位置を指定する指示者を決定し、決定した指示者が指定する位置に、カーソル表示することが可能となる。
　ポインティング制御装置は、複数の操作者がポインティング操作を行う場合に、被写体として写っている操作者の顔指間距離を用いて、複数の操作者の中から、カーソル移動権限を持つ指示者を決定する。
　操作者は、現在操作中の指示者より、カメラに向かって自分の手を延ばすことで、カーソル移動権限を得ることができる。操作者が、現在操作中の指示者より、自分の手をカメラに向かって延ばす動作は、操作者エリアに移動する場合と比べて会議の進行を妨げないため、会議進行の効率を向上できる。特に、物理的に狭い部屋では、困難な座席の移動が不必要となるため有効である。
　また、指示者は顔指間距離によって選択され、カメラと操作者との間の距離には依存しないので、操作者よりカメラより近い位置に他の参加者がいる場合であっても、操作者が、現在操作中の指示者より、自分の手をカメラに向かって延ばす動作を行うことで、指示者としてカーソル移動権限を得ることができる。
　また、ポインティング制御装置は、カーソルの操作権を持つ指示者が変更した際、カーソルを初期位置、例えば、画面の中央に移動することで、直前の指示者が指した位置に関係なく、カーソルを動かし始めることが可能となる。
　（変形例１）
　実施の形態１におけるカーソル位置算出部１１４は、指先から表示装置へ向かう直線と、表示装置のディスプレイ面との交点の位置を、カーソル位置としたが、指先の移動可能範囲に対して表示装置のディスプレイ面が大きい場合、指示者が指し示すことができない領域が発生することがある。このような場合に、例えば、マウスを用いたカーソル移動であれば、マウスを動かす平面上の端まで動かしてしまった時には、一旦マウスを浮かせて戻すことで、さらに同じ方向に移動させることが可能である。しかしながら、実施の形態１のポインティング制御装置では、カーソルを動かすための指先の移動と、カーソル移動を伴わない指先の移動を区別することができないため、このような方法でカーソルの移動範囲を拡張することができない。
　そこで、表示中のカーソル位置から、指先の動いた方向へ動かした位置を、新たなカーソル位置とする、カーソル位置算出方法がある。この場合において、カーソルの移動距離を決定する必要があるが、通常、指先の移動した距離を用いてカーソルの移動距離を決定する。しかしながら、カーソルの移動距離が指先の移動距離の定数倍であるとした場合、当該定数が小さいと、カーソルの移動不可能な範囲が発生する場合がある。また、逆に、当該定数が大きいと指先を少し動かしただけでカーソルが大きく動いてしまい、微小なカーソル移動が難しく、カーソルを適切に操作できないことがある。
　本変形例において、カーソル位置算出部１１４は、カーソルの移動量を、指示者の顔指先間距離を用いて、決定する。これにより、指示者が、顔に指先を近づけたポインティングと、顔から指先を遠ざけたポインティングを使い分けることで、カーソルを適切に操作することができる。
　本変形例に係るポインティング制御装置は、カーソル位置算出の方法を除き実施の形態１と同一であるので、実施の形態１と同一の構成及び動作については説明を省略し、カーソル位置算出の方法のみについて説明する。
　図１２は、顔と指先の距離の大小を示したイメージ図である。
　図１２（Ａ）は、顔と指先の距離が長い場合を例示している。図１２（Ｂ）は、顔と指先の距離が短い場合を例示している。
　図１２において、５０１は顔の位置を示している。また、図１２（Ａ）は顔と指先の距離が長い場合を示しており、５０２は指先の位置、５０３は顔の位置５０１と指先の位置５０２との間の顔指間距離である。これに対し、図１２（Ｂ）は顔と指先の距離が短い場合を示しており、５０４は指先の位置、５０５は顔の位置５０１と指先の位置５０４との間の顔指間距離を示している。
　図１３は、顔指間距離とカーソル移動率の対応の一例を示したグラフである。
　図１３において、横軸は顔指間距離、縦軸はカーソル移動率を示している。６０１が顔指間距離とカーソル移動率の対応を示すグラフである。与えられた顔指間距離に従って、６０１のグラフに対応するカーソル移動率が設定される。例えば、顔指間距離が５０３の場合、カーソル移動率は６０３の大きさとなる。顔指間距離が５０５の場合、カーソル移動率は６０５の大きさとなる。
　図１３に示されるように、本実施の形態では、顔指間距離が小さくなるほどカーソル移動率が大きくなるように設定されている。したがって、カーソルを大きく動かしたい場合、指示者は指先を自身の顔に近づければよい。また、指示者は指先を自身の顔から遠ざけることにより、カーソルの微小な動きを指示することが可能となる。
　カーソル位置算出部１１４は、図１３に示されるカーソル移動率に対して、指先の移動した距離を掛けた値を算出し、その値をカーソル移動距離とする（カーソル移動距離＝カーソル移動率×指先移動距離）。
　以上により、カーソル位置算出部１１４は、指示者が指先を動かしたときに方向と距離を算出し、表示中のカーソル位置から算出した方向と距離に移動した位置を、現在のカーソル位置情報として出力する。
　＜まとめ＞
　以上により、本変形例に係るポインティング制御装置は、指示者が顔と指先との距離を変更することでカーソルの移動距離を制御できるので、指示者は、指先の移動距離を保ったままカーソルの移動距離を変化させることが可能になり、より指示者の意図通りにカーソルを制御することが可能となる。また、指示者の指先の移動可能な範囲が狭い場合に、顔指間距離の制御によってカーソル移動率を大きくすることで、画面上にカーソルの移動不可能な範囲が生じる問題を防ぐことができる。
　（実施の形態２）
　本実施の形態におけるポインティング制御装置を備えた表示制御装置は、複数のカーソルを同時に表示可能とし、複数の指示者が、複数のカーソルをそれぞれ操作する点に特徴がある。
　本変形例に係る表示制御装置は、指示者決定部とカーソル位置算出部、カーソル合成部の動作が異なることを除き実施の形態１と同一であるので、実施の形態１と同一の構成及び動作については説明を省略し、差分のみについて説明する。
　本変形例に係る表示制御装置１５０は、ポインティング制御装置１０１とカーソル合成部１０３とのそれぞれに代えて、ポインティング制御装置１５１とカーソル合成部１５３とを備える。また、ポインティング制御装置１５１は、指示者決定部１１３とカーソル位置算出部１１４とのそれぞれに代えて、指示者決定部１６３とカーソル位置算出部１６４とを備える。
　なお、指示者決定部１６３は複数の指示者を決定することを除き、指示者決定部１１３と同じ機能を有する。また、カーソル位置算出部１６４は複数の指示者の情報を得て複数のカーソル位置を出力することを除き、カーソル位置算出部１１４と同じ機能を有する。同様に、カーソル合成部１５３は複数のカーソル位置を得て複数のカーソルを合成することを除き、カーソル合成部１０３と同じ機能を有する。
　図１４は、カーソル合成部１５３が生成する合成表示画像の一例であり、複数のカーソルを合成した場合を示している。
　図１４において、７００は合成表示画像、７０１、７０２、７０３はそれぞれがカーソルを示している。
　以下に、指示者決定部１６３とカーソル位置算出部１６４、カーソル合成部１５３の動作を説明する。
　指示者決定部１６３は、顔指間距離算出部１１２が取得した顔指間距離を用いて、表示可能なカーソル数に対応する人数の指示者を決定する。指示者決定部１６３は、決定した指示者の情報（顔と指先との位置情報、顔指間距離）を、出力する。本実施の形態では、指示者決定部１６３は、顔指間距離が大きい順に、表示可能なカーソル数を越えない数の指示者を選択する。
　図１６は、指示者決定部１６３の動作の一例を示すフローチャートである。図１６を用いて、指示者を選択する動作について説明する。
　指示者決定部１６３は、顔指間距離算出部１１２から受け取った対応する顔と指先とのペアの中から、１つのペアを選択する。選択したペアは、比較元ペアである（Ｓ８１０）。
　次に、指示者決定部１６３は、比較元ペアを指示者として選択する（Ｓ８２０）。
　次に、指示者決定部１６３は、他に顔と指先の対応関係があるかどうかを判定する（Ｓ８３０）。他に顔と指先の対応関係がある場合、一つのペアを比較先ペアとして選択する（Ｓ８４０）。
　次に、指示者決定部１６３は、現在の指示者数がカーソル数上限未満であるか判定する（Ｓ８５０）。既に現在の指示者数がカーソル数上限に達している場合（Ｓ８５０でＮｏ）、指示者決定部１６３は、比較元ペアと比較先ペアの間で顔指間距離の大きさを比較する（Ｓ８６０）。
　比較先ペアの顔指間距離が大きい場合（Ｓ８７０でＮｏ）、比較元ペアを指示者から外し、比較先ペアを指示者として選択する（Ｓ８８０）。続けて、指示者として選択されているペアのうち、最も顔指間距離が小さいペアを新たな比較元ペアとして選択する（Ｓ８９０）。その後、指示者決定部１６３は残りのペアについて判定する（Ｓ８３０に戻る）。
　逆に、比較元ペアの顔指間距離が大きい場合（Ｓ８７０でＹｅｓ）、指示者決定部１６３は現在の比較先ペアに対しては何も行わず、指示者決定部１６３は残りのペアについて判定する（Ｓ８３０に戻る）。
　一方、現在の指示者数がカーソル数上限未満である場合（Ｓ８５０でＹｅｓ）、比較先ペアを指示者として選択し（Ｓ８６０）、続けて、指示者として選択されているペアのうち、最も顔指間距離が小さいペアを新たな比較元ペアとして選択する（Ｓ８９０）。その後、指示者決定部１６３は残りのペアについて判定する（Ｓ８３０に戻る）。
　全てのペアに対して判定が終了すると（Ｓ８３０でＮｏ）、指示者決定部１６３は、現在指示者として選択しているペアを指示者であると決定する。
　また、カーソル位置算出部１６４は、指示者決定部１６３から受け取った複数の指示者の情報から、表示する複数のカーソルの位置を算出し、カーソル位置情報として出力する。
　また、カーソル合成部１５３は、ポインティング制御装置１５１が出力した複数のカーソル位置情報を受け取り、複数のカーソルを、表示画像に重畳して合成して、合成表示画像を生成する。
　図１５は、複数の指示者を管理する管理情報の一例を示している。図１５では、図１４と同様に表示可能なカーソル数が３つであるとし、管理情報の形式がテーブルである例を示している。
　図１５では、管理情報は、一人の指示者に対して、指示者を識別するための識別子（Ｎｏ．）、顔位置、指先位置、カーソルの形状を保持している。指示者を識別するための識別子（Ｎｏ．）は、実施の形態１で説明したような指示者同一判定に基づき作成する。カーソル合成部１５３は、例えば、識別子Ｎｏ．１の直前の指示者の顔位置との距離がしきい値以下である顔位置と対応する新たな指示者の識別子をＮｏ．１とする。
　カーソル合成部１５３は、識別子ごとに異なるカーソル形状を割当て、その指示者がカーソル移動権限を保持している間は、一度割当てたカーソル形状を維持し、操作の途中でカーソルの形状が変わらないように制御する。
　＜まとめ＞
　以上により、本実施の形態に係るポインティング制御装置は、複数の指示者を決定し、それぞれの指示者に個別のカーソルを割り当てることが可能となる。
　また、本実施の形態に係るポインティング制御装置は、ポインティングを行っていない被写体人物に対してはカーソルを割り当てず、不必要なカーソルの表示を防ぐことが可能となる。
　（実施の形態３）
　本実施の形態におけるポインティング制御装置を備えた表示制御装置は、複数の入出力端末との接続を可能とし、複数の拠点において同一の画面を共有し同一のカーソルを操作する点に特徴がある。
　多拠点で会議を行う場合、それぞれの拠点に、表示装置とカメラを設置し、会議に参加する操作者が、それぞれの拠点に設置された表示装置に表示された画面を見ながら、ポインティング操作を行う。
　図１７は、本実施の形態に係る表示制御装置のシステム構成を示した図である。
　図１７は、３拠点（会議室Ａ、Ｂ、Ｃ）会議の例である。会議室Ａには、入出力端末８１０ａを設置し、会議室Ｂには、入出力端末８１０ｂとポインティング制御装置を備えた表示制御装置８００を設置し、会議室Ｃには、入出力端末８１０ｃを設置している。
　ポインティング制御装置を備えた表示制御装置８００は、ネットワーク８２１を介して会議室Ａの入出力端末８１０ａと、ネットワーク８２２を介して会議室Ｃの入出力端末８１０ｃに接続している。
　ポインティング制御装置を備えた表示制御装置８００は、ネットワーク８２１、８２２を介して、他の拠点の入出力端末８１０ａ、８１０ｃのそれぞれのカメラが撮影したカメラ画像を入力する。表示制御装置８００は、入出力端末８１０ａ、８１０ｂ、８１０ｃそれぞれのカメラが撮影した画像から顔位置と指先位置を検出し、指示者を決定してカーソル位置を算出する。表示制御装置８００は、例えば、顔の位置情報と指先の位置情報に対して撮影した入出力端末の情報を付加するなど、顔と指先を拠点に関連付けて、顔位置と指先位置の対応付けと、顔指間距離の算出を行うことが可能である。
　また、表示制御装置８００は、ネットワーク８２１、８２２を介して、他の拠点の入出力端末８１０ａ、８１０ｃの表示装置に同じ画面を出力する。ポインティング制御装置を備えた表示制御装置８００は、多拠点で参加している操作者の中から、カーソル移動権限を有する指示者を決定し、カーソルを合成して生成した合成表示画像を、複数の拠点の表示装置に出力する。
　＜まとめ＞
　以上により、本実施の形態に係る画面制御装置は、多拠点で会議を行う場合、ネットワークを介して、複数の拠点で同じ画面を共有することができる。また、本実施の形態に係るポインティング制御装置は、多拠点で参加している操作者の中から、カーソル移動権限を有する指示者を決定し、容易に指示者を切り替えることができる。また、指示者は、操作中のカメラからの距離に関係なく、カメラに向かって指先を動かす動作を行なうことで、ポインティング対象の位置を指定するカーソルを適切に移動することができる。
　また、本実施の形態に係るポインティング制御装置は、顔と指先の間の距離を用いて指示者を決定するため、カメラと指先との距離によって指示者を決定する場合と比べて、拠点毎に、会議室の広さ、会議室内の配置が異なる場合でも、これらの外部要因に関わらず、適切に指示者を決定することが可能となる。
　＜本実施の形態に係るその他の変形例＞
　（１）実施の形態１では、顔と指先の位置を取得するために、カメラ２０１は２つのカメラからなる一組のカメラである場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、カメラ２０１は、１つのカメラと赤外線センサーカメラなど距離検出手段との組み合わせで実現されてもよい。この場合、顔検出部１２２と指先検出部１２３は、通常のカメラの画像を用いて顔と指の水平方向、垂直方向の位置検出を行い、赤外線センサーカメラによってそれらの被写体とカメラとの間の距離を検出することで、顔と指先との位置を検出することができる。
　（２）実施の形態１では、入出力端末２００は、大型の液晶ディスプレイで実現される表示装置２０２と、表示装置２０２の上部に設置されるカメラ２０１により構成される場合について説明したが、本発明は必ずしもこの場合に限定されない。表示装置２０２は、例えば、プラズマディスプレイ、有機ＥＬディスプレイ、あるいはプロジェクタで実現されてもよい。また、例えば、表示装置２０２はテレビ受像機で実現され、表示制御装置１００は当該テレビ受像機に含まれる集積回路の一部として実現されてもよい。また、カメラ２０１は、表示装置２０２の上部に限られず、例えば、会議室の壁面または天井など、操作者を被写体とすることができる任意の位置に設置されてもよい。
　（３）実施の形態１では、顔の特徴点が顔の外枠の範囲内でカメラ２０１から最も距離の近いポイントである場合について説明したが、本発明は必ずしもこの場合に限定されない。顔の特徴点は、例えば、カメラ２０１からの距離に関わらず鼻の頭であるとしてもよいし、あるいは、操作者が眼鏡を掛けている場合は、眼鏡上の一点を顔の特徴点とするなど、顔と一体で動き、かつ撮影中に分離しないものを顔の一部とみなしてもよい。
　また、指先の特徴点が手の輪郭線の範囲内でカメラ２０１から最も距離の近いポイントである場合について説明したが、本発明は必ずしもこの場合に限定されない。指先の特徴点は、例えば、カメラ２０１からの距離に関わらず人差し指の先端であるとしてもよい。
　（４）実施の形態１では、ポインティング操作を指先で行う場合について説明したが、本発明は必ずしもこの場合に限定されない。ポインティング操作は、例えば、手に持った筆記具、指示棒等の先端で行われるとしてもよい。これは、指先検出部１２３が、手および手に持った筆記具等の物体を外枠、色等を用いた画像認識によって検出し、手に持った筆記具等の先端を特徴点として、特徴点の位置を指先の位置として取得することで実現できる。このようにすることで、手に持った筆記具等の先端を指先の代用部材とすることができる。
　なお、指先の代用部材は筆記具、指示棒等に限られない。位置または方向を指示できるものであって、顔に容易に近づけ、または遠ざけることができるものであれば、指先の代用部材として用いることが可能である。
　（５）実施の形態１では、位置取得部１１１が画像入力部１２１、顔検出部１２２と指先検出部１２３を備えている場合について説明したが、本発明は必ずしもこの場合に限定されない。位置取得部１１１は、例えば、他のポインティング制御装置、あるいは顔と指先との位置を検出する装置などから顔の位置情報と指先の位置情報とを取得するものとしてもよい。
　（６）実施の形態１では、顔または指先の水平位置と、垂直位置とを算出するためのカメラ視野角の枠において、枠の左下隅を原点とし、右上隅を（２００，１５０）としたが、本発明は必ずしもこの場合に限定されない。カメラ視野角の枠の４辺の長さは、カメラの解像度に応じて任意の値であってもよく、また長方形の形状に限られない。また、原点の位置は、枠の中央、または枠の左上隅など任意の位置であってもよい。また、水平方向についてＸ軸を向かって左から右への方向、垂直方向についてＹ軸を下から上への方向としたが、Ｘ軸を向かって右から左への方向とする、あるいはＹ軸を上から下への方向とするなど、任意の座標系を用いてよい。
　（７）実施の形態１では、顔指間距離算出部１１２は、最もカメラに近い顔から順に対応する指先を探す場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、顔指間距離算出部１１２は、最もカメラに遠い顔から順に対応する指先を探してもよいし、位置取得部１１１から取得した順で顔に対応する指先を探してもよい。あるいは、例えば、顔指間距離算出部１１２は、指先を先に選択してから対応する顔を探すとしてもよい。
　（８）実施の形態１では、顔指間距離算出部１１２は、顔よりカメラ２０１ａに近く、かつ顔と最も近い指先を対応付けるとしたが、本発明は必ずしもこの場合に限定されない。例えば、顔検出部１２２と指先検出部１２３は、それぞれ位置情報に加えて顔ごとまたは指先ごとに固有の識別情報を出力し、識別情報を用いて対応付けを行うとしてもよい。また、顔指間距離に閾値を設け、顔指間距離が閾値を超える顔と指先との組み合わせを排除するとしてもよい。また、顔と指先との位置において、Ｚの値の差分またはＸの値の差分を用いて、閾値以上の差分がある組み合わせを排除するとしてもよい。
　（９）実施の形態１では、カーソル位置算出部１１４は、隣り合う座席の中心間の距離の１／２をしきい値として、直前の指示者の顔の位置と新たな指示者の顔の位置との距離が、しきい値を超えた場合に指示者が切り替わったと判断する場合について説明したが、本発明は必ずしもこの場合に限定されない。しきい値は、隣り合う座席の中心間の距離の１／２に限られず、例えば、座席の幅であってもよく、また、会議室に依存しない所定の値であるなど、任意の値を用いてよい。また、例えば、カーソル位置算出部１１４は位置取得部１１１より指示者以外の顔の位置情報も取得し、指示者の顔と、指示者の顔に最も近い他の顔との距離の１／２を閾値としてもよい。
　あるいは、顔検出部１２２は、顔ごとに固有の識別情報を顔の位置情報とともに出力し、カーソル位置算出部１１４は、顔検出部１２２が出力する顔の識別情報が一致するかどうかによって、指示者が切り替わったか否かを判断してもよい。このようにすることで、画像認識を用いた、より正確な指示者の同一性判断を行うことができる。
　（１０）実施の形態１では、カーソル位置算出部１１４は、カーソル初期位置を画面の中央位置とする場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、カーソル初期位置は、画面の左上位置など、特定の位置であってよい。また、カーソル初期位置は、指先から表示装置への直線と、表示装置のディスプレイ面との、交点の位置である、としてもよい。
　（１１）実施の形態１では、カーソル合成部１０３における所定のカーソル位置が表示画面の左上の隅である場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、所定のカーソル位置は、表示画像の中央位置など、任意の座標位置であってよい。あるいは、所定のカーソル位置は、前回カーソルが合成されていた位置であってもよい。なお、所定のカーソル位置はカーソル位置算出部１１４が保持しているカーソル初期位置と同一であってもよいし、異なっていてもよい。
　また、カーソル合成部１０３は所定のカーソル位置を保持せず、ポインティング制御装置１０１がカーソル位置を出力しない場合に、カーソル合成部１０３はカーソルを合成せず表示画像入力部１０２から入力された画像をそのまま画像出力部１０４から出力するとしてもよい。このようにすることで、指示者が存在しない場合に、表示画像の妨げとならないようカーソルを消すことが可能となる。
　（１２）実施の形態１において、表示画像入力部１０２がＨＤＭＩ入力端子を介してパーソナルコンピュータより表示画像を取得する場合について説明したが、本発明は必ずしもこの場合に限定されない。表示画像入力部１０２は、例えば、アナログＲＧＢ入力端子、ＤＶＩ入力端子、ＤｉｓｐｌａｙＰｏｒｔ入力端子、あるいはコンポジット入力端子など、表示画像を受け付けることが可能な任意のインターフェースを備えてよい。また、表示画像の取得元はパーソナルコンピュータに限られず、ＢＤプレイヤーなど任意の画像出力装置であってもよい。
　あるいは、表示画像入力部１０２は、例えば、ＳＤＸＣメモリカード等のメモリデバイスから表示画像をファイルとして取得するメモリカードリーダなど、表示画像を記憶媒体またはネットワークから取得するインターフェースを備えていてもよい。
　（１３）実施の形態１において、カーソル位置算出部１１４が出力するカーソル位置情報に従って、カーソル合成部１０３が表示画像入力部１０２より入力された画像にカーソルを合成する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、表示制御装置１００は、表示画像入力部１０２、カーソル合成部１０３および画像出力部１０４を備えず、ポインティング制御装置１０１はＨＩＤ（Ｈｕｍａｎ　Ｉｎｔｅｒｆａｃｅ　Ｄｅｖｉｃｅ）クラスのＵＳＢインターフェース、あるいはＰＳ／２マウスインターフェースを備え、カーソル位置算出部１１４が算出するカーソル位置情報をパーソナルコンピュータに出力し、パーソナルコンピュータがカーソル位置情報を用いて表示画像にカーソルを合成するとしてもよい。このようにすることで、表示制御装置でカーソルを合成する必要がなく、パーソナルコンピュータにカーソル合成処理を行わせることで、パーソナルコンピュータから表示装置２０２へ直接画像を出力することが可能となる。
　（１４）実施の形態１の変形例１において、顔指間距離とカーソル移動率との関係が１次関数で表される場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、顔指間距離とカーソル移動率とは反比例する関係であってもよいし、その他の関数で表されてもよい。また、例えば、顔指間距離とカーソル移動率との関係は変換テーブルを用いて定義され、当該テーブルを用いて顔指間距離をカーソル移動率に変換し、カーソル移動距離を算出するとしてもよい。
　（１５）実施の形態２において、指示者を識別するための識別子（Ｎｏ．）は、実施の形態１で説明したような指示者同一判定に基づき作成する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、その他の変形例（９）で説明したように、顔検出部１２２が顔ごとに固有の識別情報を出力し、指示者を識別するための識別子（Ｎｏ．）は当該顔固有の識別情報に基づいて生成されるとしてもよい。
　また、管理情報に記憶されるカーソルの形状には、カーソルの大きさや色など、形状以外にカーソルを特定する情報が含まれてもよい。
　（１６）実施の形態３において、ポインティング制御装置を備えた表示制御装置８００は、顔の位置情報と指先の位置情報に対して撮影した入出力端末の情報を付加する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、拠点Ａ、拠点Ｂ、拠点Ｃのそれぞれに対し、互いに座標値が重複しないように座標系（原点の位置）を定めて、指先と顔の位置情報を取得するものとしてもよい。このようにすることで、ある拠点の顔と、別の拠点の指とが対応付けられることを防ぐことができる。
　（１７）実施の形態３において、ポインティング制御装置を備えた表示制御装置８００は、ネットワーク８２１、８２２を介して、他の拠点の入出力端末８１０ａ、８１０ｃのカメラが撮影したカメラ画像を受け付ける場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、入出力端末８１０ａはカメラに接続される位置取得部１１１を備え、入出力端末８１０ａはネットワーク８２１を介して表示制御装置８００の位置取得部１１１に顔の位置情報と指先の位置情報とを出力するとしてもよい。あるいは、入出力端末８１０ａはカメラに接続される位置取得部１１１と顔指間距離算出部１１２とを備え、入出力端末８１０ａはネットワーク８２１を介して表示制御装置８００の指示者決定部１１３に顔指間距離情報を出力するとしてもよい。このようにすることで、ネットワーク８２１はカメラ画像を直接伝送する必要がなく、ネットワーク利用効率を向上させることができる。なお、入出力端末８１０ｃとネットワーク８２２とが同様の構成であってもよいのは勿論である。
　または、会議室Ｃに、入出力端末８１０ｃと接続され、ポインティング制御装置１０１を欠く表示制御装置を設置し、表示制御装置８００はネットワーク８２２を介して、会議室Ｃの表示制御装置にカーソル位置情報を出力するものとしてもよい。このようにすることで、会議室Ｃの表示制御装置はカーソル位置情報を用いてカーソルを入出力端末８１０ｃに出力できるので、ネットワーク８２２はカーソル合成後の表示画像を直接伝送する必要がなく、ネットワーク利用効率を向上させることができる。なお、入出力端末８１０ａとネットワーク８２１とが同様の構成であってもよいのは勿論である。
　または、会議室Ａの入出力端末８１０ａはカメラとディスプレイ、ネットワーク機能とを内蔵する、カメラ付き携帯電話端末によって実現されてもよい。このようにすることで、当該携帯電話端末を所有する操作者の自宅の一室を用いて会議室Ａを実現し、操作者は自宅などから会議に参加することが可能となる。
　（１８）各実施の形態および各変形例に係るポインティング制御装置は、その構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。例えば、ポインティング制御装置を含む表示制御装置を１チップで実現してもよいし、ポインティング制御装置のみを１チップで実現し、カーソル合成部等を別のチップで実現してもよい。
　集積回路で実現する場合、典型的には、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路、又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩、又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。
　例えば、集積回路で実現する一例として、図１８の構成で実現することが可能である。
　図１８において、表示制御装置１００は、集積回路で実装されている。表示制御装置１００の各部は実施の形態１と同一であるので同一の符号を付し、同一の構成については説明を省略する。表示制御装置１００は、カメラ画像入力部２１１からカメラ画像を入力し、画像出力部２１２へ合成表示画像を出力する。カメラ画像入力部２１１は、画像入力部１２１にカメラ画像を入力する。また、画像出力部２１２は画像出力部１０４（不図示）より出力される画像を出力する。
　また、本発明に係るポインティング制御装置は、記憶媒体に書き込まれたプログラムと、プログラムを読み込んで実行するコンピュータとで実現されてもよい。記憶媒体は、メモリカード、ＣＤ－ＲＯＭなどいかなる記録媒体であってもよい。また、本発明に係るポインティング制御装置は、ネットワークを経由してダウンロードされるプログラムと、プログラムをネットワークからダウンロードして実行するコンピュータとで実現されてもよい。このプログラムは、各操作者の顔の位置と、各操作者の指先の位置とを取得する位置取得ステップと、取得された各操作者の顔の位置と、各操作者の指先の位置とを対応付けて、対応付けられた顔の位置と指先の位置との間の顔指間距離を算出する顔指間距離算出ステップと、前記顔指間距離を用いて指示者を決定する指示者決定ステップと、決定された指示者の指先の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出ステップとからなるポインティング処理を実行させるプログラムである。なお、この場合、表示画像を出力するパーソナルコンピュータは、上記プログラムを読み込んでプログラムを実行するコンピュータと同一のハードウェアであってもよい。
　また、本発明は、会議室という特定の場所での使用だけでなく、家庭内のテレビにおけるポインティング操作、パーソナルコンピュータ、携帯電話、携帯情報端末、ビデオカメラ、デジタルカメラ等のポインティング装置としても有用である。
　（１９）各実施の形態および各変形例は、あくまで例示であって、本記述内容に限定されるものではなく、本発明の範囲に示された種々の変更を行うことも意図されている。
　以下に、実施の形態に係るポインティング制御装置とその集積回路、およびポインティング制御方法の構成及び効果について説明する。
　（ａ）実施の形態に係るポインティング制御装置は、指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御装置であって、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、前記距離を用いて指示者を決定する指示者決定部と、決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部とを備えることを特徴とする。
　また、実施の形態に係る集積回路は、指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定する集積回路であって、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、前記距離を用いて指示者を決定する指示者決定部と、決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部とを備えることを特徴とする。
　また、実施の形態に係るポインティング制御方法は、指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御方法であって、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得ステップと、取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出ステップと、前記距離を用いて指示者を決定する指示者決定ステップと、決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出ステップとを含むことを特徴とする。
　これら上記の構成によれば、顔と指先若しくはその代用部材との間の距離を用いてポインティング対象の位置を指定する指示者を特定し、指示者が他の操作者に影響されることなくポインティング動作を行うことが可能となり、また、指示者と他の操作者とが当該距離を変動させることで、容易に指示者を変更することが可能となる。
　（ｂ）また、実施の形態に係る上記（ａ）のポインティング制御装置は、前記位置取得部は、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを３次元情報として取得し、前記距離算出部は、１の顔の位置と、前記１の顔の位置に対応付けられた１の指先若しくはその代用部材の位置からなるペアを複数作成し、前記ペアの全てに対して前記距離を算出する、としてもよい。
　このようにすることで、顔と指先若しくはその代用部材との位置関係にかかわらず顔と指先若しくはその代用部材との間の距離を正確に取得することが可能になるとともに、１の顔と１の指先若しくはその代用部材とを対応付けて複数のペアを作成し、各ペアから指示者を決定することが可能となる。
　（ｃ）また、実施の形態に係る上記（ｂ）のポインティング制御装置は、前記指示者決定部は、前記ペアの間で前記距離の大きさを比較し、前記指示者を決定する、としてもよい。
　このようにすることで、顔と指先若しくはその代用部材との間の距離の大小を変化させることで任意の操作者が指示者となることができ、指示者の変更が容易となる。
　（ｄ）また、実施の形態に係る上記（ｃ）のポインティング制御装置は、前記指示者決定部は、前記全てのペアのうち、前記距離が最も大きいペアを前記指示者として決定する、としてもよい。
　このようにすることで、指先若しくはその代用部材を顔から遠ざけている操作者が指示者となることができる。
　（ｅ）また、実施の形態に係る上記（ｂ）のポインティング制御装置は、同時に複数のカーソル位置情報を出力するポインティング制御装置であって、前記指示者決定部は、前記複数ペアの間で前記距離の大きさを比較して、全てのペアの中から複数のペアを指示者として決定し、前記カーソル位置算出部は、前記指示者の指先若しくはその代用部材の位置それぞれからカーソル位置を算出し、前記指示者それぞれのカーソル位置情報を出力する、としてもよい。
　このようにすることで、複数の指示者が同時にポインティングを行うことが可能となる。
　（ｆ）また、実施の形態に係る上記（ｅ）のポインティング制御装置は、前記指示者決定部は、前記複数のペアのうち、前記距離の大きいものから順に複数の指示者を決定する、としてもよい。
　このようにすることで、指先を顔から遠ざけている複数の操作者が同時に指示者となることができる。
　（ｇ）また、実施の形態に係る上記（ａ）のポインティング制御装置は、前記位置取得部は、複数のカメラ画像を取得する画像取得部と、前記複数のカメラ画像から操作者の顔の位置を検出する顔位置検出部と、前記複数のカメラ画像から操作者の指先若しくはその代用部材の位置を検出する指先位置検出部とを含む、としてもよい。
　このようにすることで、ポインティング制御装置は複数のカメラを用いて撮影された画像から、顔と指先若しくはその代用部材との距離を取得し、指示者を決定することが可能となる。
　（ｈ）また、実施の形態に係る上記（ａ）のポインティング制御装置は、前記カーソル位置算出部は、現在の指示者を特定するための情報を保持し、前記指示者決定部が決定する新たな指示者が前記現在の指示者と同一であるか判断し、前記判断の結果が同一である場合、前記指示者の指先若しくはその代用部材の位置が移動した方向をカーソルの移動方向としてカーソル位置を算出する、としてもよい。
　このようにすることで、同一の指示者がポインティングを続ける場合に、カーソルの移動方向が指先若しくはその代用部材の移動方向と一致しているので、指示者が直感的にカーソル位置を制御することが可能となる。
　（ｊ）また、実施の形態に係る上記（ｈ）のポインティング制御装置は、前記カーソル位置算出部は、現在のカーソル位置を保持し、前記指示者の前記距離を用いてカーソルの移動距離を算出し、前記現在のカーソル位置から前記カーソルの移動距離だけ前記カーソルの移動方向に移動させた位置を、新たなカーソル位置として出力する、としてもよい。
　このようにすることで、指先若しくはその代用部材の移動距離とカーソルの移動距離との関係を、指先若しくはその代用部材を顔に近づけたり遠ざけたりすることにより、指示者の意図通りに制御することができ、指示者がカーソルの動きをより詳細に制御することが可能となる。
　（ｋ）また、実施の形態に係る上記（ｈ）のポインティング制御装置は、前記カーソル位置算出部は、前記指示者決定部が決定した新たな指示者が前記現在の指示者と同一でない場合、初期位置をカーソル位置として出力する、としてもよい。
　このようにすることで、指示者が変更された場合に、現在のカーソル位置に関わらず、新たな指示者が所定のカーソル位置を基準としてポインティングを開始することが可能となる。
　本発明に係るポインティング制御装置は、操作者の顔と指先若しくはその代用部材との間の距離を用いて、ポインティング対象の位置を指定する指示者を決定する機能を有し、会議システムにおいて有用である。また、パーソナルコンピュータ、携帯電話、携帯情報端末、ビデオカメラ、デジタルカメラ等の用途にも応用できる。
　１００、８００　表示制御装置
　１０１　ポインティング制御装置
　１０２　表示画像入力部
　１０３　カーソル合成部
　１０４　画像出力部
　１１１　位置取得部
　１１２　顔指間距離算出部
　１１３　指示者決定部
　１１４　カーソル位置算出部
　１２１　画像入力部
　１２２　顔検出部
　１２３　指先検出部
　２００、８１０ａ、８１０ｂ、８１０ｃ　入出力端末
　２０１　カメラ
　２０２　表示装置
　２１１　カメラ画像入力部
　２１２　表示画像入力部

Claims (12)

  1. 　指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御装置であって、
    　各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、
    　取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、
    　前記距離を用いて指示者を決定する指示者決定部と、
    　決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部と
    　を備えることを特徴とするポインティング制御装置。
  2. 　前記位置取得部は、各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを３次元情報として取得し、
    　前記距離算出部は、１の顔の位置と、前記１の顔の位置に対応付けられた１の指先若しくはその代用部材の位置からなるペアを複数作成し、前記ペアの全てに対して前記距離を算出する
    　ことを特徴とする請求項１に記載のポインティング制御装置。
  3. 　前記指示者決定部は、
    　前記ペアの間で前記距離の大きさを比較し、前記指示者を決定する
    　ことを特徴とする請求項２記載のポインティング制御装置。
  4. 　前記指示者決定部は、
    　前記全てのペアのうち、前記距離が最も大きいペアを前記指示者として決定する
    　ことを特徴とする請求項３記載のポインティング制御装置。
  5. 　同時に複数のカーソル位置情報を出力するポインティング制御装置であって、
    　前記指示者決定部は、前記複数ペアの間で前記距離の大きさを比較して、全てのペアの中から複数のペアを指示者として決定し、
    　前記カーソル位置算出部は、前記指示者の指先若しくはその代用部材の位置それぞれからカーソル位置を算出し、前記指示者それぞれのカーソル位置情報を出力する
    　ことを特徴とする請求項２記載のポインティング制御装置。
  6. 　前記指示者決定部は、前記複数のペアのうち、前記距離の大きいものから順に複数の指示者を決定する
    　ことを特徴とする請求項５記載のポインティング制御装置。
  7. 　前記位置取得部は、
    　複数のカメラ画像を取得する画像取得部と、
    　前記複数のカメラ画像から操作者の顔の位置を検出する顔位置検出部と、
    　前記複数のカメラ画像から操作者の指先若しくはその代用部材の位置を検出する指先位置検出部とを含む
    　ことを特徴とする請求項１記載のポインティング制御装置。
  8. 　前記カーソル位置算出部は、現在の指示者を特定するための情報を保持し、
    　前記指示者決定部が決定する新たな指示者が前記現在の指示者と同一であるか判断し、
    　前記判断の結果が同一である場合、前記指示者の指先若しくはその代用部材の位置が移動した方向をカーソルの移動方向としてカーソル位置を算出する
    　ことを特徴とする請求項１記載のポインティング制御装置。
  9. 　前記カーソル位置算出部は、現在のカーソル位置を保持し、
    　前記指示者の前記距離を用いてカーソルの移動距離を算出し、前記現在のカーソル位置から前記カーソルの移動距離だけ前記カーソルの移動方向に移動させた位置を、新たなカーソル位置として出力する
    　ことを特徴とする請求項８記載のポインティング制御装置。
  10. 　前記カーソル位置算出部は、前記指示者決定部が決定した新たな指示者が前記現在の指示者と同一でない場合、初期位置をカーソル位置として出力する
    　ことを特徴とする請求項８記載のポインティング制御装置。
  11. 　指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定する集積回路であって、
    　各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得部と、
    　取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出部と、
    　前記距離を用いて指示者を決定する指示者決定部と、
    　決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出部と
    　を備えることを特徴とする集積回路。
  12. 　指示操作を行う操作者のうちから、カーソル位置を指定できる指示者を決定するポインティング制御方法であって、
    　各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを取得する位置取得ステップと、
    　取得された各操作者の顔の位置と、各操作者の指先若しくはその代用部材の位置とを対応付けて、対応付けられた顔の位置と指先若しくはその代用部材の位置との間の距離を算出する距離算出ステップと、
    　前記距離を用いて指示者を決定する指示者決定ステップと、
    　決定された指示者の指先若しくはその代用部材の位置を用いてカーソル位置を算出し、算出されたカーソル位置を出力するカーソル位置算出ステップと
    　を含むことを特徴とするポインティング制御方法。
PCT/JP2012/002376 2011-04-22 2012-04-05 ポインティング制御装置とその集積回路、およびポインティング制御方法 WO2012144145A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013510860A JP5798183B2 (ja) 2011-04-22 2012-04-05 ポインティング制御装置とその集積回路、およびポインティング制御方法
US13/701,944 US9081430B2 (en) 2011-04-22 2012-04-05 Pointing control device, integrated circuit thereof and pointing control method
CN201280001738.9A CN102959491B (zh) 2011-04-22 2012-04-05 定位控制装置和定位控制装置的集成电路、以及定位控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-095745 2011-04-22
JP2011095745 2011-04-22

Publications (1)

Publication Number Publication Date
WO2012144145A1 true WO2012144145A1 (ja) 2012-10-26

Family

ID=47041280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002376 WO2012144145A1 (ja) 2011-04-22 2012-04-05 ポインティング制御装置とその集積回路、およびポインティング制御方法

Country Status (4)

Country Link
US (1) US9081430B2 (ja)
JP (1) JP5798183B2 (ja)
CN (1) CN102959491B (ja)
WO (1) WO2012144145A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006661A (ja) * 2012-06-22 2014-01-16 Yahoo Japan Corp 表示制御装置、表示制御方法、情報表示システム、およびプログラム
JP2016015078A (ja) * 2014-07-03 2016-01-28 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、表示制御方法、及び、プログラム
JP2019087136A (ja) * 2017-11-09 2019-06-06 シャープ株式会社 画面表示制御方法および画面表示制御システム
JP2022008717A (ja) * 2016-08-19 2022-01-14 ヒュンダイ・アイティー カンパニー リミテッド 音声と動作認識に基づいたスマートボードを制御する方法およびその方法を使用した仮想レーザーポインター

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2851281B1 (en) * 2013-09-19 2016-04-06 Airbus Operations GmbH System and method for interactive visualization of information in an aircraft cabin
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10902243B2 (en) * 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets
US10942575B2 (en) * 2017-06-07 2021-03-09 Cisco Technology, Inc. 2D pointing indicator analysis
CN109325394B (zh) * 2017-08-01 2022-06-21 苹果公司 确定稀疏图案照明与密集图案照明
CN110008802B (zh) * 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519957A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
JPH11134089A (ja) * 1997-10-29 1999-05-21 Takenaka Komuten Co Ltd ハンドポインティング装置
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3114813B2 (ja) 1991-02-27 2000-12-04 日本電信電話株式会社 情報入力方法
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6353764B1 (en) 1997-11-27 2002-03-05 Matsushita Electric Industrial Co., Ltd. Control method
EP0991011B1 (en) * 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP4608326B2 (ja) 2005-01-26 2011-01-12 株式会社竹中工務店 指示動作認識装置及び指示動作認識プログラム
JP4575829B2 (ja) * 2005-03-30 2010-11-04 財団法人エヌエイチケイエンジニアリングサービス 表示画面上位置解析装置及び表示画面上位置解析プログラム
JP2007226397A (ja) 2006-02-22 2007-09-06 Sharp Corp ポインティング装置、ポインティング方法、ポインティングプログラムおよびポインティングプログラムを記録した記録媒体
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519957A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
JPH11134089A (ja) * 1997-10-29 1999-05-21 Takenaka Komuten Co Ltd ハンドポインティング装置
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006661A (ja) * 2012-06-22 2014-01-16 Yahoo Japan Corp 表示制御装置、表示制御方法、情報表示システム、およびプログラム
JP2016015078A (ja) * 2014-07-03 2016-01-28 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、表示制御方法、及び、プログラム
JP2022008717A (ja) * 2016-08-19 2022-01-14 ヒュンダイ・アイティー カンパニー リミテッド 音声と動作認識に基づいたスマートボードを制御する方法およびその方法を使用した仮想レーザーポインター
JP2019087136A (ja) * 2017-11-09 2019-06-06 シャープ株式会社 画面表示制御方法および画面表示制御システム

Also Published As

Publication number Publication date
CN102959491B (zh) 2016-03-23
US20130076625A1 (en) 2013-03-28
US9081430B2 (en) 2015-07-14
JP5798183B2 (ja) 2015-10-21
JPWO2012144145A1 (ja) 2014-07-28
CN102959491A (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
JP5798183B2 (ja) ポインティング制御装置とその集積回路、およびポインティング制御方法
US10001844B2 (en) Information processing apparatus information processing method and storage medium
US10565437B2 (en) Image processing device and method for moving gesture recognition using difference images
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
JP6361714B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
US20150301596A1 (en) Method, System, and Computer for Identifying Object in Augmented Reality
JP6691529B2 (ja) 眉形状ガイド装置およびその方法
JP6163899B2 (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
US20150145762A1 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
US20120319949A1 (en) Pointing device of augmented reality
US9392248B2 (en) Dynamic POV composite 3D video system
RU2598598C2 (ru) Устройство обработки информации, система обработки информации и способ обработки информации
US20160232708A1 (en) Intuitive interaction apparatus and method
US9268408B2 (en) Operating area determination method and system
JP2012238293A (ja) 入力装置
CN111566596A (zh) 用于虚拟现实显示器的真实世界门户
JP2017191492A (ja) 情報処理装置、情報処理方法および映像生成システム
EP3422145A1 (en) Provision of virtual reality content
JP2004265222A (ja) インタフェース方法、装置、およびプログラム
US20240346745A1 (en) Image processing apparatus, method for controlling the same, and non-transitory computer-readable storage medium
JP5312505B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
KR20130018004A (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
JPWO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11323688B2 (en) Information processing apparatus and information processing method for generating a virtual viewpoint
US10345595B2 (en) Head mounted device with eye tracking and control method thereof

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280001738.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13701944

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12773618

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013510860

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12773618

Country of ref document: EP

Kind code of ref document: A1