WO2015046500A1 - 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 - Google Patents

情報処理装置、情報処理方法、プログラム及び情報記憶媒体 Download PDF

Info

Publication number
WO2015046500A1
WO2015046500A1 PCT/JP2014/075852 JP2014075852W WO2015046500A1 WO 2015046500 A1 WO2015046500 A1 WO 2015046500A1 JP 2014075852 W JP2014075852 W JP 2014075852W WO 2015046500 A1 WO2015046500 A1 WO 2015046500A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
partial region
partial
information processing
Prior art date
Application number
PCT/JP2014/075852
Other languages
English (en)
French (fr)
Inventor
岡　正昭
豊　禎治
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to JP2015539419A priority Critical patent/JP6132925B2/ja
Priority to US15/022,342 priority patent/US9996740B2/en
Publication of WO2015046500A1 publication Critical patent/WO2015046500A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, a program, and an information storage medium.
  • an information processing apparatus that uses an image of a subject as an input interface.
  • an information processing apparatus that specifies a motion of a subject based on a difference between a plurality of frame images captured at different timings and executes a process according to the motion.
  • the user can input to the information processing apparatus by bringing his / her finger into contact with the face.
  • the detection accuracy of whether or not an object is in contact with the object is low. For this reason, it is difficult to distinguish between a situation in which the user actually touches the face with the face and a situation in which the user pretends to make the finger touch the face.
  • the present invention has been made in view of the above problems, and one of its purposes is an information processing apparatus, an information processing method, a program, and information in which the accuracy of detecting the presence or absence of contact of an object with a subject is improved as compared with the prior art. It is to provide a storage medium.
  • an information processing apparatus includes a frame image acquisition unit that acquires a plurality of frame images captured at different timings, each including a subject region in which an image of a subject is captured.
  • a subject partial area specifying unit that specifies a plurality of subject partial areas that are different from each other in the subject area, which is a part of the subject area, and the subject that is associated with each other in each frame image
  • a partial region feature amount specifying unit that specifies a partial region feature amount indicating a variation in an image feature amount of an image that occupies the subject partial region based on an image feature amount of an image that occupies each partial region; and the plurality of subject partial regions Presence or absence of contact of the object with the subject based on the relationship between the partial region feature values associated with each of A contact determination unit, characterized in that it comprises a.
  • the information processing method includes a step of acquiring a plurality of frame images captured at different timings, each including a subject region in which an image of a subject is captured, and each of the frame images. Based on the step of identifying a plurality of subject partial areas that are different from each other in the subject area and the image feature amount of an image that occupies each of the subject partial areas that are associated with each other in each frame image , Based on the relationship between the partial region feature amount indicating the variation of the image feature amount of the image occupying the subject partial region and the partial region feature amount associated with each of the plurality of subject partial regions, Determining whether or not the object is in contact with the subject.
  • the program according to the present invention includes a procedure for obtaining a plurality of frame images captured at different timings including a subject region in which an image of a subject is captured, and each of the frame images is a part of the subject region. Based on a procedure for identifying a plurality of subject partial areas whose positions in the subject area are different from each other, and image feature amounts of images occupying each of the subject partial areas associated with each other in each frame image, The object contact with the subject based on the procedure for identifying the partial region feature value indicating the variation of the image feature value of the image occupying the region, and the relationship between the partial region feature values associated with each of the plurality of subject partial regions And a procedure for determining whether or not there is a computer.
  • the information storage medium includes a procedure for acquiring a plurality of frame images captured at different timings including a subject region in which an image of a subject is captured, and each of the frame images is a part of the subject region. Based on a procedure for identifying a plurality of subject partial areas whose positions in the subject area are different from each other, and an image feature amount of an image occupying each of the subject partial areas associated with each other in each frame image An object for the subject based on a procedure for identifying a partial region feature amount indicating a variation in an image feature amount of an image that occupies the subject partial region, and a relationship between the partial region feature amounts associated with each of the plurality of subject partial regions. A program for causing a computer to execute a procedure for determining the presence or absence of contact with a computer is described. A computer readable information storage medium.
  • the inventor of the present invention has an image feature of an image that occupies a plurality of subject partial areas in a situation where an object actually contacts the subject and a situation where the user pretends to contact the subject with the subject. It was found that the relationship between the partial region feature amounts indicating the variation of the amount is different.
  • the presence / absence of contact of the object with the subject is determined based on the relationship between the partial region feature amounts associated with each of the plurality of subject partial regions. Therefore, according to the present invention, the accuracy of detecting the presence / absence of contact of an object with a subject is improved as compared with the prior art.
  • the contact determination unit occupies the subject partial region based on the relationship between the partial region feature values associated with each of the subject partial regions associated with the subject partial region. It is determined whether or not an object is in contact with a part of the subject in which an image appears in the image.
  • the contact determination unit occupies the subject partial region different from the subject partial regions based on the relationship between the partial region feature amounts associated with the subject partial regions. It may be determined whether or not an object touches a part of the subject on which an image appears.
  • the contact determination unit may be configured based on a magnitude relationship between the magnitudes of fluctuations in the image feature amount indicated by the partial region feature amount associated with each of the plurality of subject partial regions. It is determined whether or not an object touches the subject.
  • the contact determination unit is based on a temporal context regarding a change in the image feature amount indicated by the partial region feature amount associated with each of the plurality of subject partial regions. The presence / absence of contact of the object with the subject is determined.
  • an audio data acquisition unit that acquires audio data is further included, and the contact determination unit is configured to determine the subject based on the relationship between the partial region feature amount and the acquired audio data. The presence or absence of the contact of the object with respect to is determined.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an information processing system 10 according to an embodiment of the present invention.
  • the information processing system 10 includes, for example, an information processing device 12, an imaging device 14, a sound collection device 16, and a display device 18.
  • the information processing apparatus 12 is a computer such as a game console, for example.
  • the imaging device 14 is a camera that outputs an image obtained by imaging a subject to the information processing device 12.
  • the sound collection device 16 is a microphone or the like that acquires ambient sound, converts the sound into sound data in a PCM format, and outputs the sound data to the information processing device 12.
  • the display device 18 is a liquid crystal display or the like, and displays a screen generated by the information processing device 12, an image captured by the imaging device 14, and the like.
  • the information processing device 12, the imaging device 14, and the sound collecting device 16 are connected via, for example, a USB cable, an AV cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, or the like.
  • the information processing device 12 and the display device 18 are connected via, for example, an AV cable, an HDMI cable, or the like.
  • the imaging device 14 sequentially captures images of a subject arranged in front of the imaging device 14 at a predetermined frame rate.
  • the image is referred to as a frame image 20 (see FIGS. 2A, 2B, and 2C).
  • the subject in the present embodiment is assumed to be the user's face.
  • the frame rate is 60 fps. That is, the frame period in this embodiment is 1/60 second.
  • FIG. 2A, 2B, and 2C are diagrams each showing an example of a frame image 20 captured by the imaging device 14.
  • the user's finger contacts the face at the timing when the frame image 20 illustrated in FIG. 2B is captured and the timing when the frame image 20 illustrated in FIG. 2C is captured.
  • the present embodiment based on the frame image 20 captured by the image capturing device 14 and the sound acquired by the sound collecting device 16, it is determined whether or not the object is in contact with the subject. For example, in the present embodiment, for each of a plurality of preset image contact determination periods, whether or not the frame image 20 captured during the image contact determination period satisfies an image contact determination condition (see FIG. 7) described later. Is determined. In the present embodiment, for each of a plurality of preset voice contact determination periods, it is determined whether or not the voice acquired during the voice contact determination period satisfies a voice contact determination condition described later. FIG.
  • the image contact determination period P1 determined to satisfy the image contact determination condition and the sound contact determination period P2 determined to satisfy the sound contact determination condition.
  • a period P3 in which the image contact determination period P1 and the audio contact determination period P2 overlap is specified.
  • the period P3 is finally specified as a period in which the object is in contact with the subject. For example, in a period including the timing when the frame image 20 illustrated in FIG. 2B is captured and a period including the timing when the frame image 20 illustrated in FIG. 2C is included, it is determined that the object is in contact with the subject. It becomes.
  • FIG. 4 is an explanatory diagram for explaining an example of setting patterns for an image contact determination period and an audio contact determination period (in FIG. 4, expressed as a contact determination period).
  • the image contact determination period and the audio contact determination period may be set at a predetermined time interval as shown in pattern 1 of FIG. 4, or may be a part of each other as shown in pattern 2 of FIG. May be set to overlap.
  • the image contact determination period is set at 64 frames, that is, at intervals of about 1 second.
  • frame numbers from 1 to 64 are sequentially set in the frame image 20 according to the imaging order within the image contact determination period.
  • voice contact determination periods are set at intervals of 1 millisecond.
  • the image contact determination period and the audio contact determination period are set independently.
  • an area in the frame image 20 where the subject is shown is referred to as a subject area R.
  • the image occupying the subject region R generally includes an image of the user's face.
  • the positions of the users when the frame images 20 shown in FIGS. 2A to 2C are captured are different. Therefore, the position of the subject image in the frame image 20 shown in FIGS. 2A to 2C is different.
  • the user and the imaging device 14 are more likely to be captured when the frame image 20 illustrated in FIG. 2B or the frame image 20 illustrated in FIG. 2C is captured than when the frame image 20 illustrated in FIG. 2A is captured.
  • the distance to is short.
  • the subject image is larger in the frame image 20 shown in FIG. 2B and the frame image 20 shown in FIG. 2C than in the frame image 20 shown in FIG. 2A. That is, the subject area R occupying the frame image 20 shown in FIGS. 2B and 2C is larger than the subject area R occupying the frame image 20 shown in FIG. 2A.
  • the inventor has found that the image feature amount of the image occupying the subject region R in the image contact determination period in the situation where the user actually touches the face with the face and the situation where the user pretend to contact the face within the image contact determination period. It was found that the fluctuations of are different. Focusing on this, in the present embodiment, as described below, it is determined whether or not an object actually touches the subject.
  • the subject region R is divided into a plurality of subject partial regions SR (see FIG. 5).
  • FIG. 5 is a diagram illustrating an example of the relationship between the subject region R and the subject partial region SR.
  • the subject partial region SR is a region that occupies a part of the subject region R.
  • the positions of the subject partial areas SR included in one subject area R in the subject area R are different from each other.
  • the subject region R is equally divided into a total of 16 subject partial regions SR, 4 vertical ⁇ 4 horizontal.
  • an identification number is assigned to the subject partial region SR.
  • 0 to 3, 4 to 7, 8 to 11, and 12 in order from the left to the subject partial region SR in the top, second from the top, third from the top, and bottom row, respectively.
  • Identification numbers of ⁇ 15 are assigned.
  • the subject partial region SR to which the identification number i is assigned is expressed as SRi.
  • the identification number is associated with a position in the subject area R.
  • the identification number is not assigned to the subject partial area SR depending on the frame image 20. That is, regardless of the frame image 20, the subject partial region SR at the upper left end in the subject region R becomes the subject partial region SR0, for example.
  • the information processing apparatus 12 determines that an object has contacted the subject, the information processing apparatus 12 performs processing according to the contact.
  • the subject partial region SR associated with the contact position of the object is also specified.
  • the subject partial region SR associated with the contact position of the finger is identified as SR0.
  • the subject partial area SR associated with the contact position of the finger is identified as SR3.
  • the information processing apparatus 12 according to the present embodiment executes processing according to the subject partial region SR associated with the contact position of the object with respect to the subject.
  • the process executed according to the contact of the object with the subject is not particularly limited.
  • a process for starting a program installed in the information processing apparatus 12, a process for stopping the information processing apparatus 12, a command execution process for a program executed by the information processing apparatus 12, and the like correspond to the processes.
  • the information processing apparatus 12 executes a process for starting a program installed in the information processing apparatus 12.
  • the information processing device 12 executes a stop process of the information processing device 12. In this manner, in the information processing system 10 according to the present embodiment, it is possible to input information to the information processing apparatus 12 by bringing an object into contact with a subject.
  • FIG. 6 is a functional block diagram illustrating an example of functions implemented by the information processing apparatus 12 according to the present embodiment. Note that the information processing apparatus 12 according to the present embodiment does not have to include all the functions illustrated in FIG. 6, and may include functions other than the functions illustrated in FIG. 6.
  • the information processing apparatus 12 includes a control unit that is a program control device such as a CPU that operates according to a program installed in the information processing apparatus 12.
  • the information processing apparatus 12 also includes a storage element such as a ROM or RAM and a storage unit such as a hard disk drive.
  • the storage unit of the information processing device 12 stores a program executed by the control unit of the information processing device 12.
  • the information processing apparatus 12 includes a USB (UniversalUniversSerial Bus) port, an HDMI port, and the like.
  • the information processing apparatus 12 functionally includes, for example, a contact determination condition data storage unit 30, a frame image acquisition unit 32, an audio data acquisition unit 34, and a subject area specification.
  • the contact determination condition data storage unit 30 is mainly implemented by the storage unit of the information processing apparatus 12.
  • Other functions are mainly implemented by the control unit of the information processing apparatus 12.
  • the above functions are implemented by causing the control unit of the information processing apparatus 12 to execute a program that is installed in the information processing apparatus 12 that is a computer and that includes instructions corresponding to the above functions.
  • This program is supplied to the information processing apparatus 12 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via communication means such as the Internet.
  • the contact determination condition data storage unit 30 stores contact determination condition data indicating a condition for determining whether or not an object is in contact with a subject.
  • the contact determination condition data storage unit 30 stores, as an example of the contact determination condition data, image contact determination condition data indicating a condition for determining whether or not an object contacts the subject based on the frame image 20. ing.
  • the contact determination condition data storage unit 30 also stores voice contact determination condition data indicating conditions for determining whether or not an object is in contact with the subject based on the acquired sound. In the voice contact determination condition data, for example, the range of the frequency domain and the volume level are indicated as conditions.
  • FIG. 7 shows an example of image contact determination condition data.
  • the image contact determination condition data includes, for example, an identification number associated with a position in the subject region R and a partial region feature amount PRC specified based on an image occupying the subject partial region SR associated with the identification number.
  • Image contact determination conditions are associated with each other.
  • the identification number In the image contact determination condition data shown in FIG. 7, only the image contact determination condition associated with the identification numbers 0 and 3 is clearly shown.
  • the identification number 1 It is assumed that image contact determination conditions associated with 2, 4 to 15 are shown.
  • the image contact determination condition associated with the identification number 0 is used when determining whether or not an object touches a part of a subject whose image appears in an image occupying the subject partial region SR0.
  • the image contact determination condition associated with the identification number 3 is used when determining whether or not an object touches a part of a subject whose image appears in the image occupying the subject partial region SR3.
  • a plurality of conditions are associated with the identification number as image contact determination conditions.
  • the image contact determination condition in this embodiment corresponds to the logical product of these multiple conditions.
  • a partial region feature amount PRCi described later satisfies all of a plurality of conditions associated with the identification number i, an object appears in a part of the subject that is imaged in an image that occupies the subject partial region SRi region. Is determined to have touched.
  • the frame image acquisition unit 32 acquires the frame image 20 captured by the imaging device 14. In the present embodiment, the frame image acquisition unit 32 acquires the frame images 20 at 1/60 second intervals.
  • the audio data acquisition unit 34 acquires audio data from the sound collection device 16, for example.
  • the audio data acquisition unit 34 holds the acquired audio data until at least the contact determination period to which the timing at which the audio is acquired ends.
  • the subject area specifying unit 36 specifies the subject area R in the frame image 20.
  • the subject region specifying unit 36 specifies a subject region R in which an image of the user's face is captured, for example, by a tracking technique such as a known face recognition technique. Note that the subject area R in the frame image 20 is set in advance, and the user may adjust the position of the face so that an image of the user's face is captured in the subject area R.
  • the subject partial area specifying unit 38 specifies the subject partial area SR based on the subject area R. In the present embodiment, for example, by dividing the subject region R into four vertically and four horizontally, each of the frame images 20 has 16 subject partial regions SR ( SR0 to SR15) are specified.
  • the partial region feature amount specifying unit 40 specifies a partial region feature amount PRC indicating a variation in the image feature amount of an image occupying the subject partial region SR.
  • the image feature amount of the image occupying the subject partial region SR indicates, for example, statistical information according to the pixel value of the pixel in the image. An example of the statistical information is an average pixel value of pixels in the image.
  • the partial region feature amount PRC is specified for each identification number assigned to the subject partial region SR.
  • the partial region feature amount specifying unit 40 specifies a larger value as the partial region feature amount PRCi in the contact determination period as the variation in the image feature amount of the image occupying the subject partial region SRi in the contact determination period increases. To do.
  • the partial region feature PRCi is a scalar, but the partial region feature PRCi may be a vector. Further, the partial region feature amount specifying unit 40 may specify only the partial region feature amount PRCi indicated as the image contact determination condition.
  • the contact determination unit 42 determines whether or not an object has touched the subject based on at least one of the relationship between the partial region feature amounts PRC0 to PRC15 associated with a plurality of positions and the audio data acquired by the audio data acquisition unit 34. Determine. In the present embodiment, the contact determination unit 42 determines, for each subject partial region SR, whether or not an object has touched a part of the subject whose image appears in the image that occupies the region.
  • the frame image acquisition unit 32 acquires the frame image 20 (S101).
  • the subject area specifying unit 36 specifies the subject area R in the frame image 20 acquired by the process shown in S101 (S102).
  • the subject partial area specifying unit 38 divides the subject area R specified in the process shown in S102 into 16 parts, and specifies 16 subject partial areas SR (SR0 to SR15) (S103).
  • the partial region feature amount specifying unit 40 sets the value of the variable i to 0 (S104). Then, the partial region feature amount specifying unit 40 specifies pixel values of pixels included in the subject partial region SRi (S105). In the process shown in S105, the partial region feature amount specifying unit 40 specifies, for example, the R component pixel value, the G component pixel value, and the B component pixel value of all the pixels included in the subject partial region SR0. .
  • the partial region feature amount specifying unit 40 specifies the image feature amount PCi (k) corresponding to the pixel value specified in the process shown in S105 (S106).
  • the partial region feature value specifying unit 40 holds data indicating the image feature value PCi (k) specified in the process shown in S106 until the contact determination period to which the frame period belongs ends.
  • the partial region feature amount specifying unit 40 for example, average values of the R component, G component, and B component of the pixel values of the pixels included in the subject partial region SRi in the frame image 20 of the frame number k.
  • a three-dimensional vector having as a component is specified.
  • the partial region feature amount specifying unit 40 specifies the image feature amount PCi (k) based on the specified three-dimensional vector.
  • Examples of the image feature amount PCi (k) include the sum of the values of the three components of the above-described three-dimensional vector, the average value thereof, and the square root of the square sum of the three components of the above-described three-dimensional vector. This is not the case.
  • the partial region feature amount specifying unit 40 checks whether or not the value of the variable i is 15 (S107). When it is confirmed that the value of the variable i is not 15 (S107: N), the partial region feature amount specifying unit 40 increments the value of the variable i by 1 (S108), and executes the processing from S105 onward again. To do. If it is confirmed that the value of the variable i is 15 (S107: Y), the processing shown in this processing example is terminated.
  • FIG. 9 is a diagram schematically illustrating an example of the image feature amount PC0 (k) associated with the subject partial region SR0 in the frame image 20 with the frame number k.
  • the information processing apparatus 12 executes the processes shown in S101 to S108 for each frame image 20 captured within one contact determination period.
  • the image feature amounts PC0 (1) to PC0 (64), PC1 (1) to PC1 (64),..., PC15 (1) to PC15 (64) are specified.
  • FIG. 10 shows an example of a process flow for determining whether or not the image contact determination condition associated with the identification number 0 in the image contact determination condition data associated with the subject partial region SR0 is satisfied. Yes.
  • the partial region feature quantity specifying unit 40 sets the value of the variable i to 0 (S201). Then, the partial region feature amount specifying unit 40 checks whether or not the partial region feature amount PRCi is indicated as any image contact determination condition included in the image contact determination condition data (S202).
  • the partial region feature value specifying unit 40 performs the filtered image based on the stored image feature values PCi (1) to PCi (64).
  • the feature amounts PC′i (1) to PC′i (64) are calculated (S203).
  • the partial region feature amount specifying unit 40 regards the image feature amounts PCi (1) to PCi (64) as time-series data and applies the image feature amounts PCi (1) to PCi (64). For example, filtering by a band pass filter is performed. In the filtering, for example, smoothing is performed to remove a component having a frequency higher than a predetermined frequency.
  • FIG. 11 schematically shows an example of the filtered image feature quantity PC′0 (k) associated with the subject partial region SR0.
  • the partial region feature amount specifying unit 40 is a portion associated with the subject partial region SRi based on the post-filtering image feature amounts PC′i (1) to PC′i (64) calculated in the process shown in S203.
  • the region feature amount PRCi is specified (S204).
  • the partial region feature amount specifying unit 40 specifies the value of the partial region feature amount PRCi so that the larger the change in the pixel value of the pixel included in the subject partial region SRi in the contact determination period, the larger the value.
  • the partial region feature amount specifying unit 40 specifies a value obtained by subtracting the minimum value from the maximum value of PC′i (1) to PC′i (64) as the partial region feature amount PRCi.
  • the partial region feature PRCi is not indicated as any image contact determination condition included in the image contact determination condition data (S202: N), or when the process shown in S204 is finished, the partial region feature The quantity identification unit 40 checks whether or not the value of the variable i is 15 (S205). When it is confirmed that the value of the variable i is not 15 (S205: N), the partial region feature amount specifying unit 40 increases the value of the variable i by 1 (S206), and executes the processing from S202 onward again. To do.
  • the contact determination unit 42 includes a plurality of image contact determination conditions associated with the identification number 0 in the image contact determination condition data. It is confirmed whether or not any of the conditions is satisfied (S206). In the process shown in S206, whether or not the condition for which the process shown in S206 has not been performed is satisfied is confirmed. For example, whether or not any of the conditions such as PRC0> PRC1,..., PRC3> PRC2 is satisfied is confirmed.
  • the contact determination unit 42 determines that the image contact determination condition associated with the identification number 0 is not satisfied (S207). Then, the processing shown in this processing example is finished.
  • the process shown in S206 is performed among the plurality of conditions associated with the identification number 0 in the image contact determination condition data. It is confirmed whether or not there is any (S208). If it exists (S208: Y), the processing shown in S206 and subsequent steps is executed again. If it does not exist (S208: N), the contact determination unit 42 determines that the image contact determination condition associated with the identification number 0 is satisfied (S209), and ends the processing shown in this processing example.
  • the present embodiment it is confirmed whether or not the relationship between the partial region feature amounts PRC0 to PRC15 satisfies all of the plurality of conditions associated with the identification number 0. In the present embodiment, similarly for other identification numbers, it is confirmed whether or not the relationship between the partial region feature quantities PRC0 to PRC15 satisfies all of the plurality of conditions associated with the identification number.
  • the contact determination unit 42 executes a filtering process for extracting a frequency region indicated by the voice contact determination condition data for the voice data acquired by the voice data acquisition unit 34 within the voice contact determination period (S301). And the contact determination part 42 confirms whether the audio
  • the contact determination unit 42 determines that the voice contact determination condition is satisfied (S303), and ends the process shown in the present process example.
  • the contact determination unit 42 determines that the audio contact determination condition is not satisfied (S304), and ends the process shown in this process example. To do.
  • the contact determination unit 42 is determined to satisfy the image contact determination period P ⁇ b> 1 determined to satisfy the image contact determination condition associated with the identification number i and the audio contact determination condition.
  • a period P3 in which the voice contact determination period P2 overlaps is specified.
  • the contact determination unit 42 determines that there is an object contact with a part of the subject whose image appears in the image occupying the subject partial region SRi in the specified period P3.
  • the contact determination unit 42 determines that the voice contact determination period satisfies the image contact determination condition associated with the identification number i and satisfies the voice contact determination condition. It may be determined whether or not a condition that it is a set period is satisfied. Then, the contact determination unit 42 may determine that there is an object contact with a part of the subject whose image appears in the image occupying the subject partial region SRi during the voice contact determination period that satisfies the condition.
  • the contact determination unit 42 determines the presence / absence of contact of the object with the subject based on the captured frame image 20 and the acquired audio data, but based on either one, It may be determined whether or not an object touches the subject.
  • the contact determination unit 42 is an object to a part of the subject whose image appears in the image occupying the subject partial region SRi during the image contact determination period determined to satisfy the image contact determination condition associated with the identification number i. It may be determined that there has been contact.
  • the image that occupies the subject partial areas SR4 to SR7 is highly likely to include an image of the subject's eyes. For this reason, there is a possibility that the fluctuation of the pixel values of the pixels included in the subject partial regions SR4 to SR7 may increase due to the blinking of the user who is the subject, regardless of the contact of the object with the subject. Therefore, in the example of FIG. 7, in the image contact determination conditions associated with the identification numbers 0 and 3, the partial region feature amounts PRC4 to PRC7 are excluded from comparison targets with the partial region feature amount PRC0.
  • the partial region feature amounts PRC7, PRC11, and PRC15 are excluded from comparison targets with the partial region feature amount PRC3.
  • an image associated with the identification number 0 indicates that the partial region feature amount PRC0 is larger than any of the partial region feature amounts PRC other than the partial region feature amount PRC excluded from the comparison target. It is shown as a contact determination condition. For the same reason, the image contact associated with the identification number 3 indicates that the partial region feature PRC3 is larger than any of the partial region feature PRCs other than the partial region feature PRC excluded from the comparison target. It is shown as a judgment condition.
  • FIG. 7 further shows that the partial region feature value PRC2 is smaller than any of the partial region feature values PRC1 and PRC3 as the image contact determination condition associated with the identification number 0. .
  • FIG. 7 further shows that the partial region feature amount PRC1 is smaller than any of the partial region feature amounts PRC0 and PRC2 as an image contact determination condition associated with the identification number 3. Yes.
  • FIG. 13 schematically shows an example of post-filtering image feature values PC0 ′ (k) to PC15 ′ (k) for a plurality of subject partial regions SR.
  • FIG. 13 also shows a partial region feature amount PRC0.
  • FIG. 13 shows filtered image feature amounts PC0 ′ (k) to PC15 ′ (k) corresponding to the image feature amount PC shown as the image contact determination condition associated with the identification number 0 in FIG. Has been.
  • the partial region feature values PRC0 are the partial region feature values PRC1 to PRC3 and PRC9 to PRC11. , Larger than any of PRC13 to PRC15. Further, the partial region feature amount PRC2 is smaller than any of the partial region feature amounts PRC1 and PRC3. Therefore, in this case, it is determined that the relationship between the partial region feature amounts PRC0 to PRC15 satisfies the image contact determination condition associated with the identification number 0 in the image contact determination condition data. Similarly, it can also be determined whether or not other image contact determination conditions such as the image contact determination condition associated with the identification number 3 are satisfied.
  • the presence or absence of an object contact with a subject is determined based on the relationship between image feature amounts associated with a plurality of positions, the accuracy of detecting the presence or absence of the object contact with the subject is improved compared to the conventional case. Will be.
  • the present embodiment based on the relationship between the partial region feature amounts PRC1 to PRC3, it is determined whether or not an object is in contact with a part of the subject that is imaged in the image occupying the subject partial region SR0. Then, based on the relationship between the partial region feature amounts PRC0 to PRC2, whether or not the object touches a part of the subject whose image appears in the image occupying the subject partial region SR3 is determined. As described above, based on the relationship between the partial region feature amounts PRC associated with a plurality of subject partial regions SR different from the specific subject partial region SR, the subject imaged in the image occupying the specific subject partial region SR. The presence or absence of an object contact with a part is determined. In this way, in the present embodiment, the detection accuracy of the presence or absence of contact of an object with a part of a subject whose image appears in the image occupying the subject partial region SR is improved as compared with the conventional case.
  • the voice contact determination period is shorter than the image contact determination period. Therefore, by combining the above-described determination based on the frame image 20 and the above-described determination based on sound, it is possible to accurately specify the timing at which the object contacts the subject.
  • the position of the subject region R in the frame image 20 is specified, and the partial region feature amount PRC associated with the position in the subject region R is calculated. Based on the relationship of the partial region feature amount PRC calculated in this way, it is determined whether or not the object has touched the subject. In this way, in this embodiment, even if the distance between the subject and the imaging device 14 or the position of the subject with respect to the imaging device 14 changes within the contact determination period, the presence or absence of an object contact with the subject is accurately detected. Will be able to.
  • the above description has focused on determining whether or not the user has touched his / her finger to the face.
  • it is determined whether or not an arbitrary object such as a ball has touched the face. Will be able to.
  • the information processing apparatus 12 may execute processing according to the combination of the plurality of subject partial areas SR.
  • the contact determination unit 42 determines whether or not an object has touched the subject based on the temporal context of the change in the image feature amount indicated by the partial region feature amount PRC associated with each of the plurality of subject partial regions SR. May be determined.
  • the frame number PTCi may be specified.
  • the image contact determination condition data may include an image contact determination condition indicating the relationship of the frame number PTCi.
  • the image contact determination condition data may include PTC0 ⁇ PTC3, PTC0 ⁇ PTC11, PTC0 ⁇ PTC15, and the like as part of the image contact determination condition. Then, the contact determination unit 42 may determine that the object has touched the subject when all the conditions including these conditions are satisfied.
  • the period, the start period, and the end period may be the same as the image contact determination period and the audio contact determination period.
  • the subject partial region SR does not have to be a single region obtained by dividing the subject region R.
  • the subject partial areas SR may overlap each other.
  • the information processing device 12 may be a portable game device including a camera and a microphone, for example. Further, the information processing apparatus 12 may be a personal computer, a tablet terminal, a smartphone, or the like. Moreover, the division of roles of the information processing device 12, the imaging device 14, the sound collection device 16, and the display device 18 is not limited to the above. Further, the information processing apparatus 12 may be composed of a plurality of cases.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

　被写体に対する物体の接触の有無を検出する精度が従来よりも向上する情報処理装置、情報処理方法、プログラム及び情報記憶媒体を提供する。　フレーム画像取得部（３２）は、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する。被写体部分領域特定部（３８）は、各フレーム画像について、それぞれ被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する。部分領域特徴量特定部（４０）は、各フレーム画像内の互いに対応付けられる被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する。接触判定部（４２）は、複数の被写体部分領域のそれぞれに対応付けられる部分領域特徴量の関係に基づいて、被写体に対する物体の接触の有無を判定する。

Description

情報処理装置、情報処理方法、プログラム及び情報記憶媒体
　本発明は、情報処理装置、情報処理方法、プログラム及び情報記憶媒体に関する。
　被写体を撮像した画像を入力インタフェースとして用いる情報処理装置が存在する。このような情報処理装置の一例として、それぞれ異なるタイミングに撮像された複数のフレーム画像の差分に基づいて被写体の動きを特定し、当該動きに応じた処理を実行する情報処理装置が存在する。
　例えばユーザが指を顔に接触させることで情報処理装置に対する入力が行えると便利である。しかし、被写体を撮像した画像を入力インタフェースとして用いる従来技術では被写体に対する物体の接触の有無の検出精度が低かった。そのため、ユーザが指を顔に実際に接触させた状況とユーザが指を顔に接触させるふりをした状況とを区別することが困難であった。
　本発明は上記課題に鑑みてなされたものであって、その目的の１つは、被写体に対する物体の接触の有無を検出する精度が従来よりも向上する情報処理装置、情報処理方法、プログラム及び情報記憶媒体を提供することにある。
　上記課題を解決するために、本発明に係る情報処理装置は、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得するフレーム画像取得部と、前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する被写体部分領域特定部と、前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する部分領域特徴量特定部と、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する接触判定部と、を含むことを特徴とする。
　また、本発明に係る情報処理方法は、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得するステップと、前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定するステップと、前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定するステップと、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定するステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する手順、前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する手順、前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する手順、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する手順、をコンピュータに実行させることを特徴とする。
　また、本発明に係る情報記憶媒体は、被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する手順、前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する手順、前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する手順、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する手順、をコンピュータに実行させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。
　本発明の発明者は、物体が被写体に実際に接触した状況とユーザが物体を被写体に接触させるふりをした状況とで、複数の被写体部分領域についての、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量の関係が異なることを見出した。そして、本発明では、複数の被写体部分領域のそれぞれに対応付けられる部分領域特徴量の関係に基づいて被写体に対する物体の接触の有無が判定される。よって、本発明によれば、被写体に対する物体の接触の有無を検出する精度が従来よりも向上することとなる。
　本発明の一態様では、前記接触判定部は、前記被写体部分領域に関連付けられる、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、当該被写体部分領域を占める画像に像が写る前記被写体の一部に対する物体の接触の有無を判定する。
　この態様では、前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、当該複数の前記被写体部分領域とは異なる前記被写体部分領域を占める画像に像が写る前記被写体の一部に対する物体の接触の有無を判定してもよい。
　また、本発明の一態様では、前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量が示す画像特徴量の変動の大きさの大小関係に基づいて、前記被写体に対する物体の接触の有無を判定する。
　また、本発明の一態様では、前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量が示す画像特徴量の変化についての時間的な前後関係に基づいて、前記被写体に対する物体の接触の有無を判定する。
　また、本発明の一態様では、音声データを取得する音声データ取得部、をさらに含み、前記接触判定部は、前記部分領域特徴量の関係と取得される前記音声データとに基づいて、前記被写体に対する物体の接触の有無を判定する。
本発明の一実施形態に係る情報処理システムの全体構成の一例を示す図である。 フレーム画像の一例を示す図である。 フレーム画像の一例を示す図である。 フレーム画像の一例を示す図である。 画像接触判定条件を満足すると判定された画像接触判定期間と、音声接触判定条件を満足すると判定された音声接触判定期間と、被写体に対する物体の接触があった期間として最終的に特定される期間と、の関係の一例を示す図である。 接触判定期間の設定パターン例を説明する説明図である。 被写体領域と被写体部分領域の関係の一例を示す図である。 本発明の一実施形態に係る情報処理装置で実現される機能の一例を示す機能ブロック図である。 画像接触判定条件データの一例を示す図である。 本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。 画像特徴量の一例を模式的に示す図である。 本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。 フィルタリング後画像特徴量の一例を模式的に示す図である。 本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。 複数の被写体部分領域についてのフィルタリング後画像特徴量の一例を模式的に示す図である。 複数の被写体部分領域についてのフィルタリング後画像特徴量の一例を模式的に示す図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る情報処理システム１０の全体構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システム１０は、例えば、情報処理装置１２、撮像装置１４、集音装置１６、表示装置１８、を含んでいる。本実施形態に係る情報処理装置１２は、例えば、ゲームコンソール等のコンピュータである。撮像装置１４は、被写体を撮像した画像を情報処理装置１２に出力するカメラである。集音装置１６は、周囲の音声を取得して、当該音声をＰＣＭ形式等の音声データに変換して情報処理装置１２に出力するマイク等である。表示装置１８は、液晶ディスプレイ等であり、情報処理装置１２が生成する画面や撮像装置１４が撮像した画像などを表示させる。情報処理装置１２と撮像装置１４及び集音装置１６とは、例えば、ＵＳＢケーブルや、ＡＶケーブルや、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル等を介して接続されている。情報処理装置１２と表示装置１８とは、例えば、ＡＶケーブルや、ＨＤＭＩケーブル等を介して接続されている。
　本実施形態では、撮像装置１４は所定のフレームレートでその前方に配置されている被写体の画像を順次撮像する。以下、当該画像をフレーム画像２０と呼ぶこととする（図２Ａ、図２Ｂ、及び、図２Ｃ参照）。また、本実施形態における被写体は、ユーザの顔であることとする。本実施形態におけるフレームレートは６０ｆｐｓであることとする。すなわち、本実施形態におけるフレーム期間は１／６０秒となる。
　図２Ａ、図２Ｂ、及び、図２Ｃは、それぞれ撮像装置１４が撮像するフレーム画像２０の一例を示す図である。本実施形態では、図２Ｂに示すフレーム画像２０が撮像されたタイミング、及び、図２Ｃに示すフレーム画像２０が撮像されたタイミングにユーザの指が顔に接触したこととする。
　本実施形態では、撮像装置１４が撮像するフレーム画像２０及び集音装置１６が取得する音声に基づいて、被写体に対する物体の接触の有無が判定される。例えば、本実施形態では、予め設定された複数の画像接触判定期間のそれぞれについて、当該画像接触判定期間に撮像されたフレーム画像２０が後述する画像接触判定条件（図７参照）を満足するか否かが判定される。そして、本実施形態では、予め設定された複数の音声接触判定期間のそれぞれについて、当該音声接触判定期間に取得された音声が後述する音声接触判定条件を満足するか否かが判定される。図３に、画像接触判定条件を満足すると判定された画像接触判定期間Ｐ１と、音声接触判定条件を満足すると判定された音声接触判定期間Ｐ２の一例を示す。そして、本実施形態では、画像接触判定期間Ｐ１と音声接触判定期間Ｐ２とが重複する期間Ｐ３が特定される。そして、当該期間Ｐ３が、被写体に対する物体の接触があった期間として最終的に特定されることとなる。例えば、図２Ｂに示すフレーム画像２０が撮像されたタイミングが含まれる期間や、図２Ｃに示すフレーム画像２０が撮像されたタイミングが含まれる期間については、被写体に物体が接触したと判定されることとなる。
　図４は、画像接触判定期間や音声接触判定期間（図４では、接触判定期間と表記）の設定パターン例を説明する説明図である。画像接触判定期間や音声接触判定期間は、例えば、図４のパターン１に示すように予め定められた時間間隔で設定されていてもよいし、図４のパターン２に示すように互いにその一部が重複するよう設定されてもよい。本実施形態では、図４のパターン１に示すように、例えば、６４フレーム、すなわち、約１秒間隔で、画像接触判定期間が設定されることとする。そして、本実施形態では、フレーム画像２０に、画像接触判定期間内における撮像順序に従って、１から順に６４までフレーム番号が設定されることとする。また、本実施形態では、図４のパターン１に示すように、１ミリ秒間隔で、音声接触判定期間が設定されていることとする。このように、本実施形態では、画像接触判定期間と音声接触判定期間は独立して設定されている。
　以下、フレーム画像２０内における、被写体が写っている領域を被写体領域Ｒと呼ぶこととする。図２Ａ～図２Ｃに示すように、本実施形態では、被写体領域Ｒを占める画像には、ユーザの顔の像が概ね含まれている。本実施形態では、図２Ａ～図２Ｃに示すフレーム画像２０が撮像された際のユーザの位置はそれぞれ異なる。そのため、図２Ａ～図２Ｃに示すフレーム画像２０内における被写体の像の位置はそれぞれ異なっている。また、本実施形態では、図２Ａに示すフレーム画像２０が撮像された際よりも図２Ｂに示すフレーム画像２０や図２Ｃに示すフレーム画像２０が撮像された際の方が、ユーザと撮像装置１４との距離は短い。そのため、図２Ａに示すフレーム画像２０よりも図２Ｂに示すフレーム画像２０や図２Ｃに示すフレーム画像２０の方が、被写体の像が大きく写されている。すなわち、図２Ａに示すフレーム画像２０に占める被写体領域Ｒよりも、図２Ｂ及び図２Ｃに示すフレーム画像２０に占める被写体領域Ｒの方が大きい。
　発明者は、画像接触判定期間内に、ユーザが指を顔に実際に接触させた状況と、接触させるふりをした状況とでは、当該画像接触判定期間における被写体領域Ｒを占める画像の画像特徴量の変動が異なることを見出した。このことに着目し、本実施形態では、以下に説明するようにして、被写体に物体が実際に接触したか否かを判定する。
　本実施形態では、被写体領域Ｒは、複数の被写体部分領域ＳＲに分割される（図５参照）。図５は、被写体領域Ｒと被写体部分領域ＳＲの関係の一例を示す図である。図５に示すように、被写体部分領域ＳＲは被写体領域Ｒの一部を占める領域である。そして、１つの被写体領域Ｒに含まれる被写体部分領域ＳＲのそれぞれの、被写体領域Ｒ内における位置は互いに異なっている。本実施形態では、被写体領域Ｒは、縦４個×横４個、計１６個の被写体部分領域ＳＲに等分割されている。
　本実施形態では、被写体部分領域ＳＲには識別番号が割り当てられる。本実施形態では、一番上、上から２番目、上から３番目、一番下の行の被写体部分領域ＳＲに、左から順に、それぞれ、０～３、４～７、８～１１、１２～１５の識別番号が割り当てられる。本実施形態では、図５に示すように、識別番号ｉが割り当てられる被写体部分領域ＳＲをＳＲｉと表現することとする。本実施形態では、識別番号は、被写体領域Ｒ内における位置に対応付けられる。本実施形態では、被写体部分領域ＳＲに対する識別番号の割り当てはフレーム画像２０によらない。すなわち、フレーム画像２０を問わず、例えば被写体領域Ｒ内の左上端の被写体部分領域ＳＲは、被写体部分領域ＳＲ０となる。
　本実施形態に係る情報処理装置１２は、被写体に対する物体の接触があったと判定された際には、当該接触に応じた処理を実行する。また、本実施形態では、物体の接触位置に対応付けられる被写体部分領域ＳＲの特定も行われる。図２Ｂの例では、指の接触位置に対応付けられる被写体部分領域ＳＲがＳＲ０と特定される。図２Ｃの例では、指の接触位置に対応付けられる被写体部分領域ＳＲがＳＲ３と特定される。そして、本実施形態に係る情報処理装置１２は、被写体に対する物体の接触があったと判定された際には、被写体に対する物体の接触位置に対応付けられる被写体部分領域ＳＲに応じた処理を実行する。被写体に対する物体の接触に応じて実行される処理は特に限定されない。例えば、情報処理装置１２にインストールされているプログラムの起動処理、情報処理装置１２の停止処理、情報処理装置１２で実行されているプログラムにおけるコマンドの実行処理、などが当該処理に該当する。例えば、情報処理装置１２は、物体の接触位置に対応付けられる被写体部分領域ＳＲが被写体部分領域ＳＲ０である場合は、情報処理装置１２にインストールされているプログラムの起動処理を実行する。また、例えば、情報処理装置１２は、物体の接触位置に対応付けられる被写体部分領域ＳＲが被写体部分領域ＳＲ３である場合は、情報処理装置１２の停止処理を実行する。このようにして、本実施形態に係る情報処理システム１０では、被写体に物体を接触させることによる情報処理装置１２への情報の入力が可能となる。
　以下、被写体に対する物体の接触の有無の判定処理を中心に説明する。
　図６は、本実施形態に係る情報処理装置１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置１２で、図６に示す機能のすべてが実装される必要はなく、また、図６に示す機能以外の機能が実装されていても構わない。
　本実施形態に係る情報処理装置１２は、情報処理装置１２にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである制御部を含んでいる。また、情報処理装置１２は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどの記憶部も含んでいる。情報処理装置１２の記憶部には、情報処理装置１２の制御部によって実行されるプログラムなどが記憶される。また、情報処理装置１２は、ＵＳＢ（Universal Serial Bus）ポート、ＨＤＭＩポート等を含んでいる。
　そして、本実施形態に係る情報処理装置１２は、図６に示すように、機能的には、例えば、接触判定条件データ記憶部３０、フレーム画像取得部３２、音声データ取得部３４、被写体領域特定部３６、被写体部分領域特定部３８、部分領域特徴量特定部４０、接触判定部４２、を含んでいる。接触判定条件データ記憶部３０は、情報処理装置１２の記憶部を主として実装される。その他の機能は、情報処理装置１２の制御部を主として実装される。
　そして、以上の機能は、コンピュータである情報処理装置１２にインストールされた、以上の機能に対応する指令を含むプログラムを、情報処理装置１２の制御部で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１２に供給される。
　接触判定条件データ記憶部３０は、被写体に対する物体の接触の有無を判定する条件を示す接触判定条件データを記憶する。本実施形態では、接触判定条件データ記憶部３０には、接触判定条件データの一例として、フレーム画像２０に基づいて被写体に対する物体の接触の有無を判定する条件を示す画像接触判定条件データが記憶されている。また、接触判定条件データ記憶部３０には、取得された音声に基づいて被写体に対する物体の接触の有無を判定する条件を示す音声接触判定条件データも記憶されている。音声接触判定条件データには、例えば、周波数領域の範囲及び音量の大きさが条件として示されている。
　図７に、画像接触判定条件データの一例を示す。画像接触判定条件データには、例えば、被写体領域Ｒ内における位置に対応付けられる識別番号と、当該識別番号に対応付けられる被写体部分領域ＳＲを占める画像に基づいて特定される部分領域特徴量ＰＲＣに関する画像接触判定条件と、が含まれる。このようにして、画像接触判定条件データでは、識別番号と画像接触判定条件とが関連付けられている。図７に示す画像接触判定条件データには、識別番号０及び３に対応付けられる画像接触判定条件だけが明示されているが、当該画像接触判定条件データには、同様にして、識別番号１、２、４～１５に対応付けられる画像接触判定条件が示されていることとする。識別番号０に対応付けられる画像接触判定条件は、被写体部分領域ＳＲ０を占める画像に像が写る被写体の一部への物体の接触の有無を判定する際に用いられる。識別番号３に対応付けられる画像接触判定条件は、被写体部分領域ＳＲ３を占める画像に像が写る被写体の一部への物体の接触の有無を判定する際に用いられる。また、図７に示すように、本実施形態では、識別番号には複数の条件が画像接触判定条件として対応付けられている。そして、本実施形態における画像接触判定条件は、これら複数の条件の論理積に相当する。本実施形態では、後述する部分領域特徴量ＰＲＣｉが、識別番号ｉに対応付けられる複数の条件のすべてを満足する場合に、被写体部分領域ＳＲｉ領域を占める画像に像が写る被写体の一部に物体が接触したと判定される。
　フレーム画像取得部３２は、撮像装置１４が撮像したフレーム画像２０を取得する。本実施形態では、フレーム画像取得部３２は、１／６０秒間隔でフレーム画像２０を取得する。
　音声データ取得部３４は、例えば、集音装置１６から音声データを取得する。本実施形態では、音声データ取得部３４は、取得した音声データを、少なくとも当該音声が取得されたタイミングが属する接触判定期間が終了するまでは保持する。
　被写体領域特定部３６は、フレーム画像２０内における被写体領域Ｒを特定する。本実施形態では、被写体領域特定部３６は、例えば、公知の顔認識技術などのトラッキング技術により、ユーザの顔の像が写された被写体領域Ｒを特定する。なお、フレーム画像２０内における被写体領域Ｒが予め設定されており、被写体領域Ｒ内にユーザの顔の像が写されるようユーザが顔の位置を調整するようにしてもよい。
　被写体部分領域特定部３８は、被写体領域Ｒに基づいて被写体部分領域ＳＲを特定する。本実施形態では、例えば、被写体領域Ｒを縦に４個、横に４個に等分割することにより、各フレーム画像２０について、被写体領域Ｒ内における位置が互いに異なる１６個の被写体部分領域ＳＲ（ＳＲ０～ＳＲ１５）を特定する。
　部分領域特徴量特定部４０は、被写体部分領域ＳＲを占める画像の画像特徴量の変動を示す部分領域特徴量ＰＲＣを特定する。ここで、被写体部分領域ＳＲを占める画像の画像特徴量とは、例えば、当該画像内の画素の画素値に応じた統計情報などを指す。当該統計情報の一例としては、当該画像内の画素の平均画素値が挙げられる。本実施形態では、部分領域特徴量特定部４０は、被写体部分領域ＳＲｉに対応付けられる部分領域特徴量ＰＲＣｉ（ｉ＝０、１、２、・・・、１５）を特定する。このように、本実施形態では、部分領域特徴量ＰＲＣは、被写体部分領域ＳＲに割り当てられた識別番号毎に特定されることとなる。本実施形態では、部分領域特徴量特定部４０は、接触判定期間における被写体部分領域ＳＲｉを占める画像の画像特徴量の変動が大きい程、当該接触判定期間における部分領域特徴量ＰＲＣｉとして大きな値を特定する。なお、本実施形態では、部分領域特徴量ＰＲＣｉはスカラーであることとするが、部分領域特徴量ＰＲＣｉはベクトルであっても構わない。また、部分領域特徴量特定部４０は、画像接触判定条件として示されている部分領域特徴量ＰＲＣｉについてのみ特定するようにしてもよい。
　接触判定部４２は、複数の位置に対応付けられる部分領域特徴量ＰＲＣ０～ＰＲＣ１５の関係、及び、音声データ取得部３４が取得する音声データ、の少なくとも一方に基づいて、被写体に対する物体の接触の有無を判定する。本実施形態では、接触判定部４２は、各被写体部分領域ＳＲについて、当該領域を占める画像に像が写る被写体の一部に物体が接触したか否かを判定する。
　ここで、本実施形態に係る情報処理装置１２で各フレーム期間に行われる処理の流れの一例を、図８に示すフロー図を参照しながら説明する。
　まず、フレーム画像取得部３２が、フレーム画像２０を取得する（Ｓ１０１）。ここでは、フレーム番号がｋであるフレーム画像２０が取得されたこととする。そして、被写体領域特定部３６は、Ｓ１０１に示す処理で取得したフレーム画像２０内の被写体領域Ｒを特定する（Ｓ１０２）。そして、被写体部分領域特定部３８は、Ｓ１０２に示す処理で特定された被写体領域Ｒを１６分割して、１６個の被写体部分領域ＳＲ（ＳＲ０～ＳＲ１５）を特定する（Ｓ１０３）。
　そして、部分領域特徴量特定部４０は、変数ｉの値を０に設定する（Ｓ１０４）。そして、部分領域特徴量特定部４０は、被写体部分領域ＳＲｉに含まれる画素の画素値を特定する（Ｓ１０５）。Ｓ１０５に示す処理では、部分領域特徴量特定部４０は、例えば、被写体部分領域ＳＲ０に含まれるすべての画素のＲ成分の画素値、Ｇ成分の画素値、及び、Ｂ成分の画素値を特定する。
　そして、部分領域特徴量特定部４０は、Ｓ１０５に示す処理で特定された画素値に応じた画像特徴量ＰＣｉ（ｋ）を特定する（Ｓ１０６）。本実施形態では、Ｓ１０６に示す処理で特定された画像特徴量ＰＣｉ（ｋ）を示すデータを、部分領域特徴量特定部４０は、当該フレーム期間が属する接触判定期間が終了するまで保持する。
　Ｓ１０６に示す処理では、部分領域特徴量特定部４０は、例えば、フレーム番号ｋのフレーム画像２０内の被写体部分領域ＳＲｉに含まれる画素の画素値のＲ成分、Ｇ成分、Ｂ成分それぞれの平均値を成分とする３次元ベクトルを特定する。そして、部分領域特徴量特定部４０は、特定された３次元ベクトルに基づいて、画像特徴量ＰＣｉ（ｋ）を特定する。画像特徴量ＰＣｉ（ｋ）としては、例えば、上述の３次元ベクトルの３成分の値の和、あるいは、その平均値、上述の３次元ベクトルの３成分の二乗和の平方根、などが挙げられるがこの限りではない。
　Ｓ１０６が終了すると、部分領域特徴量特定部４０は、変数ｉの値が１５であるか否かを確認する（Ｓ１０７）。変数ｉの値が１５でないことが確認された場合は（Ｓ１０７：Ｎ）、部分領域特徴量特定部４０は、変数ｉの値を１だけ増加させて（Ｓ１０８）、Ｓ１０５以降の処理を再度実行する。変数ｉの値が１５であることが確認された場合は（Ｓ１０７：Ｙ）、本処理例に示す処理を終了する。
　図９は、フレーム番号ｋのフレーム画像２０内の被写体部分領域ＳＲ０に対応付けられる画像特徴量ＰＣ０（ｋ）の一例を模式的に示す図である。本実施形態では、情報処理装置１２が、Ｓ１０１～Ｓ１０８に示す処理を１接触判定期間内に撮像された各フレーム画像２０について実行する。このことにより、画像特徴量ＰＣ０（１）～ＰＣ０（６４）、ＰＣ１（１）～ＰＣ１（６４）、・・・、ＰＣ１５（１）～ＰＣ１５（６４）が特定されることとなる。
　以下、画像接触判定期間が終了した際に本実施形態に係る情報処理装置１２で行われる、当該画像接触判定期間に撮像されたフレーム画像２０が画像接触判定条件を満足するか否かを判定する処理の流れの一例を、図１０に示すフロー図を参照しながら説明する。図１０には、被写体部分領域ＳＲ０に対応付けられる、画像接触判定条件データにおいて識別番号０に関連付けられている画像接触判定条件を満足するか否かを判定する処理の流れの一例が示されている。
　まず、部分領域特徴量特定部４０は、変数ｉの値を０に設定する（Ｓ２０１）。そして、部分領域特徴量特定部４０は、画像接触判定条件データに含まれるいずれかの画像接触判定条件として部分領域特徴量ＰＲＣｉが示されているか否かを確認する（Ｓ２０２）。
　部分領域特徴量ＰＲＣｉが示されている場合は（Ｓ２０２：Ｙ）、部分領域特徴量特定部４０は、保持されている画像特徴量ＰＣｉ（１）～ＰＣｉ（６４）に基づいて、フィルタリング後画像特徴量ＰＣ’ｉ（１）～ＰＣ’ｉ（６４）を算出する（Ｓ２０３）。Ｓ２０３に示す処理で、部分領域特徴量特定部４０は、画像特徴量ＰＣｉ（１）～ＰＣｉ（６４）を時系列データとみなして、画像特徴量ＰＣｉ（１）～ＰＣｉ（６４）に対して例えばバンドパスフィルタによるフィルタリングを行う。当該フィルタリングでは例えば、所定の周波数よりも高い周波数の成分を除去する平滑化が行われる。図１１に、被写体部分領域ＳＲ０に対応付けられるフィルタリング後画像特徴量ＰＣ’０（ｋ）の一例を模式的に示す。
　そして、部分領域特徴量特定部４０は、Ｓ２０３に示す処理で算出されたフィルタリング後画像特徴量ＰＣ’ｉ（１）～ＰＣ’ｉ（６４）に基づいて、被写体部分領域ＳＲｉに対応付けられる部分領域特徴量ＰＲＣｉを特定する（Ｓ２０４）。ここで、部分領域特徴量特定部４０は、当該接触判定期間内における被写体部分領域ＳＲｉに含まれる画素の画素値の変動が大きい程大きな値となるよう、部分領域特徴量ＰＲＣｉの値を特定する。例えば、部分領域特徴量特定部４０は、ＰＣ’ｉ（１）～ＰＣ’ｉ（６４）のうちの最大値から最小値を引いた値を、部分領域特徴量ＰＲＣｉとして特定する。
　そして、画像接触判定条件データに含まれるいずれの画像接触判定条件としても部分領域特徴量ＰＲＣｉが示されていない場合（Ｓ２０２：Ｎ）、又は、Ｓ２０４に示す処理が終了した場合は、部分領域特徴量特定部４０は、変数ｉの値が１５であるか否かを確認する（Ｓ２０５）。変数ｉの値が１５でないことが確認された場合は（Ｓ２０５：Ｎ）、部分領域特徴量特定部４０は、変数ｉの値を１だけ増加させて（Ｓ２０６）、Ｓ２０２以降の処理を再度実行する。
　変数ｉの値が１５であることが確認された場合は（Ｓ２０５：Ｙ）、接触判定部４２は、画像接触判定条件データにおいて識別番号０に関連付けられている画像接触判定条件を構成する複数の条件のうちのいずれかを満足するか否かを確認する（Ｓ２０６）。Ｓ２０６に示す処理では、まだＳ２０６に示す処理が行われていない条件について、満足するか否かが確認される。例えば、ＰＲＣ０＞ＰＲＣ１、・・・、ＰＲＣ３＞ＰＲＣ２などの条件のうちのいずれかについて、満足するか否かが確認される。
　Ｓ２０６に示す処理で条件を満足しないことが確認された場合は（Ｓ２０６：Ｎ）、接触判定部４２は、識別番号０に関連付けられている画像接触判定条件は満足しないと判定して（Ｓ２０７）、本処理例に示す処理を終了する。
　一方、Ｓ２０６に示す処理で満足することが確認された場合は（Ｓ２０６：Ｙ）、画像接触判定条件データにおいて識別番号０に関連付けられている複数の条件のうち、Ｓ２０６に示す処理が行われていないものが存在するか否かを確認する（Ｓ２０８）。存在する場合は（Ｓ２０８：Ｙ）、Ｓ２０６以降に示す処理が再度実行される。存在しない場合は（Ｓ２０８：Ｎ）、接触判定部４２は、識別番号０に関連付けられている画像接触判定条件は満足すると判定して（Ｓ２０９）、本処理例に示す処理を終了する。
　以上のようにして、本実施形態では、部分領域特徴量ＰＲＣ０～ＰＲＣ１５の関係が識別番号０に関連付けられている複数の条件のすべてを満足するか否かが確認される。本実施形態では、他の識別番号についても同様にして、当該識別番号に関連付けられている複数の条件のすべてを部分領域特徴量ＰＲＣ０～ＰＲＣ１５の関係が満足するか否かについて確認される。
　以下、音声接触判定期間が終了した際に本実施形態に係る情報処理装置１２で行われる、当該音声接触判定期間に生成された音声データが音声接触判定条件を満足するか否かを判定する処理の流れの一例を、図１２に示すフロー図を参照しながら説明する。
　まず、接触判定部４２が、当該音声接触判定期間内に音声データ取得部３４が取得した音声データに対して音声接触判定条件データが示す周波数領域を抽出するフィルタリング処理を実行する（Ｓ３０１）。そして、接触判定部４２は、フィルタリング後の音声データが、音声接触判定条件データが示す音声接触判定条件を満足するか否かを確認する（Ｓ３０２）。Ｓ３０２に示す処理では、接触判定部４２は、例えば、フィルタリング後の音声データが示す音声の最大音量が、音声接触判定条件データが示す音量の大きさを超えるか否かを確認する。
　Ｓ３０２に示す処理で超えることが確認された場合は（Ｓ３０２：Ｙ）、接触判定部４２は、音声接触判定条件を満足すると判定して（Ｓ３０３）、本処理例に示す処理を終了する。Ｓ３０２に示す処理で超えないことが確認された場合は（Ｓ３０２：Ｎ）は、接触判定部４２は、音声接触判定条件を満足しないと判定して（Ｓ３０４）、本処理例に示す処理を終了する。
　以上のようにして、生成された音声データが音声接触判定条件を満足するか否かが判定される。
　そして、接触判定部４２は、図４に示すように、識別番号ｉに関連付けられている画像接触判定条件を満足すると判定された画像接触判定期間Ｐ１と、音声接触判定条件を満足すると判定された音声接触判定期間Ｐ２と、が重複する期間Ｐ３を特定する。そして、接触判定部４２は、特定された期間Ｐ３に、被写体部分領域ＳＲｉを占める画像に像が写る被写体の一部への物体の接触があったと判定する。接触判定部４２は、例えば、音声接触判定期間毎に、当該音声接触判定期間が、識別番号ｉに関連付けられている画像接触判定条件を満足すると判定され、かつ、音声接触判定条件を満足すると判定された期間であるという条件を満足するか否かを判定してもよい。そして、接触判定部４２は、当該条件を満足する音声接触判定期間に、被写体部分領域ＳＲｉを占める画像に像が写る被写体の一部への物体の接触があったと判定してもよい。
　なお、以上の処理例では、接触判定部４２は、撮像したフレーム画像２０及び取得した音声データに基づいて、被写体への物体の接触の有無を判定しているが、いずれか一方に基づいて、被写体への物体の接触の有無を判定しても構わない。例えば、接触判定部４２は、識別番号ｉに関連付けられている画像接触判定条件を満足すると判定された画像接触判定期間に、被写体部分領域ＳＲｉを占める画像に像が写る被写体の一部への物体の接触があったと判定してもよい。
　被写体部分領域ＳＲ４～ＳＲ７を占める画像には、被写体の目の像が写る可能性が高い。そのため、被写体であるユーザのまばたきによって、被写体への物体の接触とは無関係に、被写体部分領域ＳＲ４～ＳＲ７に含まれる画素の画素値の変動が大きくなるおそれがある。そのため、図７の例では、識別番号０、３に対応付けられている画像接触判定条件において、部分領域特徴量ＰＲＣ４～ＰＲＣ７が、部分領域特徴量ＰＲＣ０との比較対象から除外されている。
　また、被写体部分領域ＳＲ４、ＳＲ８、ＳＲ１２を占める画像には、被写体部分領域ＳＲ０に写る顔の一部に指が接触する際に被写体の腕や手の像が写る可能性が高い。そのため、被写体部分領域ＳＲ０に写る顔の一部への指の接触の有無を判定するにあたって、被写体部分領域ＳＲ４、ＳＲ８、ＳＲ１２に含まれる画素の画素値の変動が参考にならない可能性が高い。そのため、図７の例では、識別番号０に対応付けられている画像接触判定条件において、部分領域特徴量ＰＲＣ４、ＰＲＣ８、ＰＲＣ１２が、部分領域特徴量ＰＲＣ０との比較対象から除外されている。一方、被写体部分領域ＳＲ７、ＳＲ１１、ＳＲ１５を占める画像には、被写体部分領域ＳＲ３に写る顔の一部に指が接触する際に被写体の腕や手の像が写る可能性が高い。そのため、部分領域特徴量ＰＲＣ７、ＰＲＣ１１、ＰＲＣ１５が、部分領域特徴量ＰＲＣ３との比較対象から除外されている。
　そして、被写体部分領域ＳＲ０を占める画像に像が写る被写体の一部に物体が接触すると、画素値の変動は、被写体部分領域ＳＲ０内の画素の方が他の被写体部分領域ＳＲ内の画素よりも大きくなる。そのため、図７の例では、比較対象から除外された部分領域特徴量ＰＲＣ以外の部分領域特徴量ＰＲＣのいずれよりも部分領域特徴量ＰＲＣ０が大きいことが、識別番号０に対応付けられている画像接触判定条件として示されている。また、同様の理由により、比較対象から除外された部分領域特徴量ＰＲＣ以外の部分領域特徴量ＰＲＣのいずれよりも部分領域特徴量ＰＲＣ３が大きいことが、識別番号３に対応付けられている画像接触判定条件として示されている。
　また、被写体部分領域ＳＲ０、あるいは、ＳＲ３を占める画像に像が写る顔の一部に指が接触すると、当該接触に伴い顔が動く可能性が高い。そして、被写体部分領域ＳＲ０を占める画像に像が写る顔の一部に指が接触した際には、被写体部分領域ＳＲ１、ＳＲ３を占める画像には、被写体部分領域ＳＲ２を占める画像よりも顔の輪郭の像が写る可能性が高い。そのため、被写体部分領域ＳＲ１、ＳＲ３に含まれる画素の画素値の変動が被写体部分領域ＳＲ２に含まれる画素の画素値の変動よりも大きくなる可能性が高い。一方、ユーザが被写体部分領域ＳＲ０を占める画像に像が写る顔の一部に指を接触させるふりをしただけで、実際には指が顔に接触していない場合は、顔が動く可能性は低い。よってこの場合は、部分領域特徴量ＰＲＣ２が、部分領域特徴量ＰＲＣ１、ＰＲＣ３のいずれよりも小さいという条件を満足しない可能性が高い。このことから、図７には、部分領域特徴量ＰＲＣ２が、部分領域特徴量ＰＲＣ１、ＰＲＣ３のいずれよりも小さいことが、識別番号０に対応付けられている画像接触判定条件としてさらに示されている。同様の理由により、図７には、部分領域特徴量ＰＲＣ１が、部分領域特徴量ＰＲＣ０、ＰＲＣ２のいずれよりも小さいことが、識別番号３に対応付けられている画像接触判定条件としてさらに示されている。
　図１３に、複数の被写体部分領域ＳＲについてのフィルタリング後画像特徴量ＰＣ０’（ｋ）～ＰＣ１５’（ｋ）の一例を模式的に示す。また、図１３には、部分領域特徴量ＰＲＣ０も示されている。図１３には、図７において識別番号０に関連付けられている画像接触判定条件として示されている画像特徴量ＰＣに対応するフィルタリング後画像特徴量ＰＣ０’（ｋ）～ＰＣ１５’（ｋ）が示されている。
　例えば、図１３に示されているフィルタリング後画像特徴量ＰＣ０’（ｋ）～ＰＣ１５’（ｋ）が算出された場合は、部分領域特徴量ＰＲＣ０が、部分領域特徴量ＰＲＣ１～ＰＲＣ３、ＰＲＣ９～ＰＲＣ１１、ＰＲＣ１３～ＰＲＣ１５のいずれよりも大きい。また、部分領域特徴量ＰＲＣ２が、部分領域特徴量ＰＲＣ１、ＰＲＣ３のいずれよりも小さい。よって、この場合は、部分領域特徴量ＰＲＣ０～ＰＲＣ１５間の関係が、画像接触判定条件データにおいて識別番号０に関連付けられている画像接触判定条件を満足すると判定されることとなる。同様にして、識別番号３に関連付けられている画像接触判定条件などの他の画像接触判定条件を満足するか否かも判定可能である。
　本実施形態では、複数の位置に対応付けられる画像特徴量の関係に基づいて、被写体に対する物体の接触の有無が判定されるので、被写体に対する物体の接触の有無を検出する精度が従来よりも向上することとなる。
　また、本実施形態では、部分領域特徴量ＰＲＣ１～ＰＲＣ３の関係に基づいて、被写体部分領域ＳＲ０を占める画像に像が写る被写体の一部に対する物体の接触の有無が判定される。そして、部分領域特徴量ＰＲＣ０～ＰＲＣ２の関係に基づいて、被写体部分領域ＳＲ３を占める画像に像が写る被写体の一部に対する物体の接触の有無が判定される。このように、特定の被写体部分領域ＳＲとは異なる複数の被写体部分領域ＳＲに対応付けられる部分領域特徴量ＰＲＣの関係に基づいて、当該特定の被写体部分領域ＳＲを占める画像に像が写る被写体の一部に対する物体の接触の有無が判定される。このようにして、本実施形態では、当該被写体部分領域ＳＲを占める画像に像が写る被写体の一部への物体の接触の有無の検出精度が従来よりも向上することとなる。
　また、本実施形態では、音声接触判定期間が画像接触判定期間よりも短い。そのため、フレーム画像２０に基づく上述の判定と音声に基づく上述の判定とを組み合わせることで、被写体に物体が接触したタイミングを精度よく特定することができる。
　また、本実施形態では、フレーム画像２０内における被写体領域Ｒの位置が特定され、当該被写体領域Ｒ内における位置に対応付けられる部分領域特徴量ＰＲＣが算出される。そしてこのようにして算出された部分領域特徴量ＰＲＣの関係に基づいて、被写体に対する物体の接触の有無が判定される。このようにして、本実施形態では、被写体と撮像装置１４との距離や、撮像装置１４に対する被写体の位置が接触判定期間内で変化しても、被写体への物体の接触の有無を的確に検出することができることとなる。
　以上、ユーザが指を顔に接触させたか否かを判定することを中心に説明したが、本実施形態では、同様にして、ボール等の任意の物体が顔に接触したか否かを判定することができることとなる。また、同様にして、物体が顔以外の被写体に接触したか否かを判定することができることとなる。
　なお、１接触判定期間内に、複数の被写体部分領域ＳＲについて、被写体部分領域ＳＲを占める画像に像が写る被写体の一部への物体の接触が判定されることがある。この場合、情報処理装置１２は、当該複数の被写体部分領域ＳＲの組合せに応じた処理を実行してもよい。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えば、接触判定部４２が、複数の被写体部分領域ＳＲのそれぞれに対応付けられる部分領域特徴量ＰＲＣが示す画像特徴量の変化についての時間的な前後関係に基づいて、被写体に対する物体の接触の有無を判定してもよい。図１４に、複数の被写体部分領域ＳＲについてのフィルタリング後画像特徴量ＰＣ０’（ｋ）～ＰＣ１５’（ｋ）の別の一例を模式的に示す。そして例えば、図１４に示すように、接触判定部４２が、フィルタリング後画像特徴量ＰＣ’ｉ（ｋ）（ｉ＝０、１、２、・・・、１５）の値が最大となる時刻（ここでは、フレーム番号ＰＴＣｉ）を特定してもよい。図１４には、ＰＴＣ０、ＰＴＣ３、ＰＴＣ１１、ＰＴＣ１５が例示されているが、他のフィルタリング後画像特徴量ＰＣ’ｉ（ｋ）についても、その値が最大となる時刻（フレーム番号ＰＴＣｉ）が同様にして特定されてもよい。そして、例えば、画像接触判定条件データに、フレーム番号ＰＴＣｉの関係を示す画像接触判定条件が含まれていてもよい。具体的には、例えば、画像接触判定条件データに、ＰＴＣ０＜ＰＴＣ３、ＰＴＣ０＜ＰＴＣ１１、ＰＴＣ０＜ＰＴＣ１５などが画像接触判定条件の一部として含まれていてもよい。そして、接触判定部４２が、これらの条件を含むすべての条件を満足する場合に、被写体に対する物体の接触があったと判定してもよい。
　また、画像接触判定期間と音声接触判定期間とは、期間、始期、終期の少なくとも１つが同一であってもよい。また、例えば、被写体部分領域ＳＲは被写体領域Ｒを分割した一領域である必要はない。例えば、被写体部分領域ＳＲ同士が重なっていてもよい。
　また、情報処理装置１２は、例えば、カメラやマイクを備えた携帯型ゲーム装置であってもよい。また、情報処理装置１２は、パーソナルコンピュータ、タブレット端末、スマートフォン、などであっても構わない。また、情報処理装置１２、撮像装置１４、集音装置１６、表示装置１８の役割分担は上述のものに限定されない。また、情報処理装置１２が複数の筐体から構成されていてもよい。
　また、上記の具体的な文字列や図面中の具体的な文字列は例示であり、これらの文字列には限定されない。

Claims (9)

  1. 　被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得するフレーム画像取得部と、
    　前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する被写体部分領域特定部と、
    　前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する部分領域特徴量特定部と、
    　複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する接触判定部と、
    　を含むことを特徴とする情報処理装置。
  2. 　前記接触判定部は、前記被写体部分領域に関連付けられる、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、当該被写体部分領域を占める画像に像が写る前記被写体の一部に対する物体の接触の有無を判定する、
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、当該複数の前記被写体部分領域とは異なる前記被写体部分領域を占める画像に像が写る前記被写体の一部に対する物体の接触の有無を判定する、
    　ことを特徴とする請求項２に記載の情報処理装置。
  4. 　前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量が示す画像特徴量の変動の大きさの大小関係に基づいて、前記被写体に対する物体の接触の有無を判定する、
    　ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
  5. 　前記接触判定部は、複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量が示す画像特徴量の変化についての時間的な前後関係に基づいて、前記被写体に対する物体の接触の有無を判定する、
    　ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
  6. 　音声データを取得する音声データ取得部、をさらに含み、
    　前記接触判定部は、前記部分領域特徴量の関係と取得される前記音声データとに基づいて、前記被写体に対する物体の接触の有無を判定する、
    　ことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
  7. 　被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得するステップと、
    　前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定するステップと、
    　前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定するステップと、
    　複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定するステップと、
    　ことを特徴とする情報処理方法。
  8. 　被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する手順、
    　前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する手順、
    　前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する手順、
    　複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する手順、
    　をコンピュータに実行させることを特徴とするプログラム。
  9. 　被写体の像が写る被写体領域が含まれる、それぞれ異なるタイミングに撮像された複数のフレーム画像を取得する手順、
    　前記各フレーム画像について、それぞれ前記被写体領域の一部である、当該被写体領域内における位置が互いに異なる複数の被写体部分領域を特定する手順、
    　前記各フレーム画像内の互いに対応付けられる前記被写体部分領域それぞれを占める画像の画像特徴量に基づいて、当該被写体部分領域を占める画像の画像特徴量の変動を示す部分領域特徴量を特定する手順、
    　複数の前記被写体部分領域のそれぞれに対応付けられる前記部分領域特徴量の関係に基づいて、前記被写体に対する物体の接触の有無を判定する手順、
    　をコンピュータに実行させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
PCT/JP2014/075852 2013-09-30 2014-09-29 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 WO2015046500A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015539419A JP6132925B2 (ja) 2013-09-30 2014-09-29 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US15/022,342 US9996740B2 (en) 2013-09-30 2014-09-29 Information processing device, information processing method, program, and information storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-205042 2013-09-30
JP2013205042 2013-09-30

Publications (1)

Publication Number Publication Date
WO2015046500A1 true WO2015046500A1 (ja) 2015-04-02

Family

ID=52743623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/075852 WO2015046500A1 (ja) 2013-09-30 2014-09-29 情報処理装置、情報処理方法、プログラム及び情報記憶媒体

Country Status (3)

Country Link
US (1) US9996740B2 (ja)
JP (1) JP6132925B2 (ja)
WO (1) WO2015046500A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160328873A1 (en) * 2013-04-24 2016-11-10 Morpho, Inc. Image compositing device and image compositing method
CN106454071A (zh) * 2016-09-09 2017-02-22 捷开通讯(深圳)有限公司 终端及其基于手势进行自动拍摄的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109924A (ja) * 2017-01-06 2018-07-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172163A (ja) * 1998-09-28 2000-06-23 Matsushita Electric Ind Co Ltd 手動作分節方法および装置
JP2005202653A (ja) * 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
JP6084982B2 (ja) * 2012-09-19 2017-02-22 富士フイルム株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172163A (ja) * 1998-09-28 2000-06-23 Matsushita Electric Ind Co Ltd 手動作分節方法および装置
JP2005202653A (ja) * 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKIRA SAITO: "Tanpatsuon o Riyo shita Hand Gesture Interaction", IPSJ SIG NOTES 2012 (HEISEI 24) NENDO 6, 15 April 2013 (2013-04-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160328873A1 (en) * 2013-04-24 2016-11-10 Morpho, Inc. Image compositing device and image compositing method
US9959649B2 (en) * 2013-04-24 2018-05-01 Morpho, Inc. Image compositing device and image compositing method
CN106454071A (zh) * 2016-09-09 2017-02-22 捷开通讯(深圳)有限公司 终端及其基于手势进行自动拍摄的方法

Also Published As

Publication number Publication date
US20160300104A1 (en) 2016-10-13
US9996740B2 (en) 2018-06-12
JPWO2015046500A1 (ja) 2017-03-09
JP6132925B2 (ja) 2017-05-24

Similar Documents

Publication Publication Date Title
KR102469722B1 (ko) 디스플레이 장치 및 그 제어 방법
JP6042434B2 (ja) 立体画像ペアを獲得するためのシステムおよび方法
WO2017032086A1 (zh) 一种拍照控制方法及终端
JP5619775B2 (ja) マルチメディアの表示から情報を制御及び要求する方法
KR101929077B1 (ko) 이미지 식별 방법 및 이미지 식별 장치
GB2500416A (en) Repositioning a virtual object by gesture in an augmented reality environment
JP2013250882A5 (ja)
CN101931753A (zh) 目标跟踪和图像跟踪设备、操作控制方法及数字摄像机
JP5769277B2 (ja) 入力装置、入力方法及びプログラム
CN104469119A (zh) 一种信息处理方法及电子设备
US10291843B2 (en) Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium
WO2014054249A1 (en) Information processing apparatus, information processing method, and program
KR101821692B1 (ko) 이미지 수집 방법 및 장치
JP6132925B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
CN110297545B (zh) 手势控制方法、手势控制装置和系统、以及存储介质
JP2008287691A5 (ja)
KR20150085289A (ko) 촬영 조건을 설정하는 방법 및 이를 수행하는 전자 장치
WO2015131590A1 (zh) 一种控制黑屏手势处理的方法及终端
JP6170241B2 (ja) 文字特定装置、および制御プログラム
CN107003730B (zh) 一种电子设备、拍照方法及拍照装置
JP7117872B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
WO2018054097A1 (zh) 一种自拍校准视线的方法、装置及终端
US10880457B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
CN104427244B (zh) 摄像设备和摄像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14847336

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015539419

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15022342

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14847336

Country of ref document: EP

Kind code of ref document: A1