WO2012063561A1 - 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム - Google Patents

情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム Download PDF

Info

Publication number
WO2012063561A1
WO2012063561A1 PCT/JP2011/071802 JP2011071802W WO2012063561A1 WO 2012063561 A1 WO2012063561 A1 WO 2012063561A1 JP 2011071802 W JP2011071802 W JP 2011071802W WO 2012063561 A1 WO2012063561 A1 WO 2012063561A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
hand
information
information processing
image
Prior art date
Application number
PCT/JP2011/071802
Other languages
English (en)
French (fr)
Inventor
ゆり子 檜山
智之 大坂
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/823,517 priority Critical patent/US20130229342A1/en
Priority to JP2012542845A priority patent/JP5605725B2/ja
Priority to CN2011800543464A priority patent/CN103221968A/zh
Publication of WO2012063561A1 publication Critical patent/WO2012063561A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the present invention relates to a technique for informing advertisement information to an unspecified person.
  • Patent Document 1 discloses a technique for determining the degree of attention to a display screen based on the attention time obtained from a captured image by a camera and the distance from the screen, and notifying information corresponding to the person who is paying attention. It is disclosed.
  • the technique described in the above-mentioned patent document is a technique for further increasing the degree of attention on the premise that attention has already been paid to the notification information, and it has not been possible to create a focus for attention to the notification information.
  • An object of the present invention is to provide a technique for solving the above-described problems.
  • an apparatus for informing information to an unspecified person, First display control means for displaying a screen including an attraction image for attracting a hand movement; Recognizing means for recognizing hand movement by a photographed person, A specifying means for specifying a person whose hand movement recognized by the recognition means among the photographed person corresponds to the hand movement to be attracted by the attraction image; It is characterized by providing.
  • the method according to the present invention comprises: A method of controlling an information processing apparatus for informing information to an unspecified person, A first display control step for displaying a screen including an attraction image for attracting a hand movement; A recognition step for recognizing hand movements by a photographed person; In the photographed person, a specifying step for specifying a person whose hand motion recognized by the recognition step corresponds to a hand motion to be attracted by the attraction image; It is characterized by providing.
  • a storage medium for storing a control program of an information processing device for informing information to an unspecified person, A first display control step for displaying a screen including an attraction image for attracting a hand movement; A recognition step for recognizing hand movements by a photographed person; In the photographed person, a specifying step for specifying a person whose hand motion recognized by the recognition step corresponds to a hand motion to be attracted by the attraction image; A control program for causing a computer to execute is stored.
  • a system provides: An information notification system for reporting information to an unspecified person, Display means for displaying a screen including advertising information; First display control means for causing the display means to display a screen including an attraction image for attracting a hand movement; Recognizing means for recognizing hand movement by a photographed person, A specifying means for specifying a person whose hand movement recognized by the recognition means among the photographed person corresponds to the hand movement to be attracted by the attraction image; Second display control means for causing the display means to display a screen containing advertisement information directed to the person specified by the specifying means; It is characterized by providing.
  • the method according to the present invention comprises: An information notification method for reporting information to an unspecified person, A first display control step for displaying a screen including an attraction image for attracting a hand movement on a display means for displaying a screen including notification information; A recognition step for recognizing hand movements by a photographed person; In the photographed person, a specifying step for specifying a person whose hand motion recognized in the recognition step corresponds to the hand motion to be attracted by the attraction image; A second display control step for causing the display means to display a screen including advertisement information directed to the person specified by the specifying step; It is characterized by including.
  • the information processing apparatus 100 is an apparatus for notifying an unspecified person 104 of information.
  • the information processing apparatus 100 includes a first display control unit 101, a recognition unit 102, and a specifying unit 103.
  • the first display control unit 101 displays a screen including an attraction image for attracting a hand motion.
  • the recognizing unit 102 recognizes the movement of the hand by the photographed person 104.
  • a person 105 with a hand is identified.
  • a hand gesture an information processing apparatus capable of focusing on a person who responds to an attraction image for attracting a camera or a video camera (hereinafter also referred to as a target person) and capable of interacting with the target person by hand gesture.
  • FIG. 2 is a block diagram illustrating a configuration of an information notification system 200 including the information processing apparatus 210 according to the second embodiment.
  • an independent information processing apparatus 210 is illustrated, but the present invention can be extended to a system in which a plurality of information processing apparatuses 210 are connected via a network.
  • the database is abbreviated as DB.
  • the 2 includes an information processing device 210, a stereo camera 230, a display device 240, and a speaker 250.
  • the stereo camera 230 can capture an unspecified person 104 and send the captured image to the information processing apparatus 210 and can be controlled by the information processing apparatus 210 to focus on the subject.
  • the display device 240 notifies advertisement information such as advertisements or advertisement messages from the information processing device 210 according to the notification program.
  • a screen including an attraction image for inviting a response by a hand gesture to an unspecified person 104 is displayed in the advertisement or the advertisement message or prior to the advertisement or the advertisement message.
  • a screen is displayed on which the user 105 can interact with the responding person 105 by hand gesture.
  • the speaker 250 outputs an auxiliary sound for promoting a dialogue by a hand gesture with the screen of the display device 240 or the responding person 105.
  • the information processing apparatus 210 includes the following components. Note that the information processing apparatus 210 does not have to be a single apparatus, as long as the functions of FIG. Hereinafter, each functional component will be described in accordance with the operation procedure in the present embodiment.
  • the input / output interface 211 serves as an interface between the stereo camera 230, the display device 240, the speaker 250, and the information processing device 210.
  • a predetermined notification program or initial program is controlled by the notification program control unit 217, and image data and audio data are transmitted from the output control unit 221 to the display device 240 and the speaker 250 via the input / output interface 211.
  • the output control unit 221 functions as a display control unit that displays an attraction image or advertisement information for attracting a hand gesture on the display device 240, and further, the speaker 250 outputs sound corresponding to the attraction image or the advertisement image. It functions as an audio output control unit for output.
  • the notification program includes contents for inviting a hand gesture to an unspecified person 104 (for example, an attraction image showing an action of waving a hand, an action to call for participation in janken, a sign language, or the like).
  • the notification program control unit 217 selects the notification program DB 216.
  • the attracting hand gesture acquisition unit 218 that has obtained the initial program or the content of the notification program from the notification program control unit 217 acquires an attraction hand gesture to be requested of the unspecified person 104 from the program.
  • the attraction hand gesture acquisition unit 218 includes a table 222 that stores a correspondence relationship between an attraction image included in the notification program and a hand gesture to be attracted by the attraction image.
  • the image of the unspecified person 104 taken by the stereo camera 230 is sent to the image recording unit 212 via the input / output interface 211, and the image history of the time when the hand gesture can be determined is recorded.
  • the hand detection unit 213 detects a hand image from the image of the unspecified person 104 taken by the stereo camera 230. Such a hand image is detected from, for example, the color, shape, and position. It should be noted that, in cooperation with the determination of the next hand gesture determination unit 214, for example, when including a case of wearing a glove, it is possible to make a change such as not selecting by color.
  • the hand gesture determination unit 214 determines the hand gesture of each hand with reference to the hand gesture DB 215 from the characteristics of the hand image in the image of the unspecified person 104 detected by the hand detection unit 213 (see FIG. 4). .
  • hand gesture DB 2115 hand positions, finger positions, or time-series changes are stored in association with hand gestures (see FIG. 5).
  • the attraction hand gesture obtained by the attraction hand gesture acquisition unit 218 and the hand gesture of each hand determined by the hand gesture determination unit 214 are compared by the hand gesture comparison unit 219. As a result of the comparison, if they match within a predetermined range, the hand gesture comparison unit 219 outputs a signal indicating that.
  • the comparison of the hand gesture comparison unit 219 differs depending on the hand gesture. For example, the position of a finger is not considered when waving, and in the case of janken, it is assumed that any one of goo, choki, and par matches. Further, in the case of sign language, it is assumed that they match if the call / reply is within a certain range.
  • the signal output from the hand gesture comparison unit 219 is input to the hand gesture determination unit 214 and the camera control unit 220.
  • the hand gesture determination unit 214 receives a signal corresponding to the attracting hand gesture and the hand gesture of the photographed hand, the hand gesture determination unit 214 transmits information about the person (target person) who has the currently determined hand to the notification program control unit 217.
  • the notification program control unit 217 displays a screen including notification information indicating that the hand gesture has been received by the target person. Specifically, it responds by displaying a character or an image indicating that a hand gesture has been received from the subject or displaying an image of the subject on the screen.
  • the camera control unit 220 operates the stereo camera 230 so as to focus the target person, and specializes in the hand gesture determination of the target person, and in subsequent notification programs, the interactive communication with the target person is made smooth. .
  • the processing and operation in the hand gesture comparison unit 219 in FIG. 2 and the connection with other functional components are examples, and if the attracting hand gesture and the hand gesture of the photographed hand correspond to each other, an operation that responds to it can be realized.
  • the configuration is not limited to that shown in FIG.
  • FIG. 3 is a block diagram illustrating a hardware configuration of the information processing apparatus 210 according to the second embodiment.
  • data and programs used in the third embodiment are indicated by broken lines.
  • a CPU 310 is a processor for calculation control, and implements each functional component of FIG. 2B by executing a program.
  • the ROM 320 stores fixed data and programs such as initial data and programs.
  • the communication control unit 330 communicates with an external device via a network.
  • the communication control unit 330 may download a notification program from various servers or the like, or a signal with the stereo camera 230 or the display device 240 may be transmitted / received via a network. Communication may be wireless or wired.
  • the input / output interface 211 interfaces with the stereo camera 230, the display device 240, and the like.
  • the RAM 340 is a random access memory used by the CPU 310 as a temporary storage work area.
  • the RAM 340 has an area for storing data necessary for realizing the present embodiment and an area for storing a notification program.
  • 341 in FIG. 3 is display screen data displayed on the display device 240.
  • Reference numeral 342 denotes image data captured by the stereo camera 230.
  • Reference numeral 343 denotes hand data detected from image data captured by the stereo camera 230.
  • Reference numeral 344 denotes a hand gesture determined from data of each photographed hand.
  • Reference numeral 345 denotes an attraction hand gesture that is attracted by an attraction image included in the screen displayed on the display device 240.
  • Reference numeral 346 denotes a target person discrimination table for discriminating a person holding the hand as a target person because the photographed hand gesture and the attracting hand gesture correspond to each other (see FIG. 6).
  • Reference numeral 347 denotes camera control data for performing camera control such as focusing the stereo camera 230 on the determined subject.
  • 348 is a notification program selection table used in the third embodiment for selecting a notification program based on the attributes of the subject determined from the image.
  • a notification program 349 is currently executed by the information processing apparatus 210. Note that the programs stored in the other storage 350 are also loaded into the RAM 340 and executed by the CPU 310 to realize the functions of the functional components shown in FIG.
  • the storage 350 stores the following data or programs necessary for realizing the present embodiment.
  • the following database is stored.
  • 352 stores the feature of the subject's image and the attribute (for example, gender and age) in association with each other.
  • This is a person recognition DB (see FIG. 9).
  • 216 is a notification program DB that stores a plurality of notification programs that are selected according to the attributes of the target person or the environment such as the day of the week or the time zone, particularly used in the third embodiment (see FIG. 10).
  • 354 is a main information processing program executed by the information processing apparatus 210 (see FIGS. 7 and 12).
  • Reference numeral 355 denotes a target person determination module included in the information processing program 354 for performing target person determination.
  • Reference numeral 356 denotes a notification program execution module that controls execution of the notification program included in the information processing program 354 (see FIG. 8).
  • Reference numeral 357 denotes a notification program selection module that is included in the information processing program 354 and is selected in accordance with the attribute of the subject, which is executed in the third embodiment.
  • FIG. 3 shows only data and programs essential for the present embodiment, and general-purpose data and programs such as OS are not shown.
  • FIG. 4 is a diagram illustrating a configuration of the captured hand data 343 according to the second embodiment.
  • FIG. 4 shows an example of hand data 343 necessary for determining “waving hand” or “junken” as a hand gesture. Note that “sign language” or the like can also be determined by extracting hand data necessary for the determination.
  • Reference numeral 411 denotes a hand ID for identifying each hand attached to the hand of an unspecified person who has been photographed.
  • Reference numeral 412 indicates the position of the hand, here the height.
  • Reference numeral 413 denotes a movement history. In FIG. 4, "one direction”, “reciprocating motion”, “stationary (intermittent)", and the like are extracted.
  • Reference numeral 414 denotes a moving distance
  • reference numeral 415 denotes a moving speed. For example, the movement distance and the movement speed are used to determine whether the gesture is “waving hand” or “calling a person”.
  • Reference numeral 416 denotes a face direction, which is used to determine whether or not attention is paid.
  • Reference numeral 417 denotes a person ID for identifying a person having this hand, and reference numeral 418 extracts a person position where the person with this person ID is located.
  • the focus position of the stereo camera 230 is determined based on the person position. Alternatively, in the case of three-dimensional display, the direction of the display screen to this person position may be determined. Further, the content and directivity of the sound from the speaker 250 may be adjusted. Note that the finger position data is not described in the data for determining the “waving hand” hand gesture, but the finger position may be added.
  • Reference numeral 421 denotes a hand ID for identifying each hand attached to the hand of an unspecified person who has been photographed.
  • Reference numeral 422 extracts the position of the hand, here the height.
  • Reference numeral 423 indicates a three-dimensional position of the thumb.
  • Reference numeral 424 denotes a three-dimensional position of the index finger.
  • Reference numeral 425 indicates a three-dimensional position of the middle finger.
  • Reference numeral 426 denotes a three-dimensional position of the little finger.
  • Reference numeral 427 denotes a person ID for identifying the person having the hand.
  • the person position indicating where the person with the person ID is located is extracted.
  • the position of the ring finger was excluded in the example of FIG. 4, this may be included.
  • accurate determination can be made by using not only the finger but also palm and back data and more specifically the joint position of the finger for the determination.
  • FIG. 5 is a diagram illustrating a configuration of the hand gesture DB 215 according to the second embodiment.
  • FIG. 5 also shows the contents of the DB for determining “waving hands” in the upper stage 510 and the contents of the DB for determining “Junken” in the lower stage 520 corresponding to FIG. “Sign language” is also provided separately.
  • 511 of the upper stage 510 stores a range of “hand height” determined as each gesture.
  • a movement history is stored.
  • the range of the movement distance is stored.
  • a range of moving speed is stored.
  • the face direction is stored.
  • 516 stores “hand gesture” for data (see FIG. 4) that satisfies the conditions of 511 to 515. For example, if the condition of the first row is satisfied, it is determined as a “waving hand” gesture. If the condition of the second row is satisfied, it is determined as a “call a person” gesture. If the condition of the third row is satisfied, it is determined as a “run” gesture.
  • FIG. 5 shows an example of determining a gesture that is confusing with a “waving hand” gesture.
  • the type of hand data to be extracted and the structure of the hand gesture DB 215 are added or changed depending on what kind of data is valid in order to determine the “waving hand” gesture as accurately as possible. .
  • 521 of the lower 520 stores a range of “hand height” determined as each gesture. Since the lower stage 520 is “Janken” discrimination, the range of “Height” is the same, and if it deviates from this height, it is not regarded as “Janken”.
  • 522 stores the thumb position
  • 523 stores the index finger position
  • 524 stores the middle finger position
  • 525 stores the little finger position. Note that the finger positions 522 to 525 are not the absolute position of the finger but the relative position of the finger, and the comparison with the finger position data in FIG. Although specific numerical values are not shown in FIG.
  • the positional relationship between the fingers in the first row is “Goo”
  • the positional relationship between the fingers in the second row is “Cho”
  • the positional relationship between the fingers in the third row is “par”. Is determined.
  • “Sign language” includes a time-series history similar to the determination of “Janken”.
  • the hand having data that matches the data in the hand gesture DB 215 or is within a certain range is determined as the corresponding hand gesture.
  • the hand gesture comparison unit 219 determines whether the determination result “hand gesture” from the photographed hand corresponds to the “attractive hand gesture” from the display screen of the display device 240.
  • FIG. 6 is a diagram showing a configuration of the subject discrimination table 346 according to the second embodiment.
  • the hand ID (0002) / person ID (0010) in the second row 410 in the upper section 410 of FIG. 4 is determined as a “waving hand” gesture, and the hand in the third row in the lower section 420 of FIG. It is assumed that the ID (0003) / person ID (0005) is determined to be a “cheerful” gesture.
  • Reference numeral 601 in FIG. 6 is a person ID.
  • Reference numeral 602 denotes a gesture determined from the hand of the photographed image.
  • Reference numeral 603 denotes an “attracting gesture” from the screen displayed on the display device 240.
  • Reference numeral 604 denotes a determination result indicating that the person having the hand corresponds to the target person when the “attracting gesture” corresponds to the “photographing gesture”, and “non-target person” when the person does not correspond.
  • the person ID (0010) is performing the “waving hand” gesture. Determined. However, if the “attracting gesture” is “sign language”, it is determined as a “non-target person”. Further, when the “attracting gesture” is “Janken”, the person ID (0005) is performing the “cheerful” gesture, so that it is determined as the “subject” as a response to the display screen. However, if the “attracting gesture” is “sign language”, it is determined as a “non-target person”. Even if the “attracting gesture” and the “photographing gesture” do not correspond to each other, if the “waving hand” gesture is performed toward the screen, it is possible to preferentially select “target person”.
  • FIG. 7 is a flowchart illustrating an operation procedure of the information processing apparatus according to the second embodiment. Such a flowchart is executed by the CPU 310 in FIG. 3 using the RAM 340 to realize the functions of the respective functional components in FIG.
  • step S701 an attraction image for attracting an unspecified person's hand gesture is displayed on the display device 240.
  • step S703 the stereo camera 230 captures an image.
  • step S705 a hand is detected from the acquired image, and a “hand gesture” of the hand is detected.
  • step S707 it is determined whether the “detection gesture” corresponds to the “attraction gesture”. If not, the process proceeds to step S709 to determine whether or not all hand “hand gestures” in the acquired image have been detected and determined. If the detection of “hand gestures” for all the hands has not been completed, the process returns to step S705 to determine the next hand. If the detection of “hand gesture” for all hands has been completed, the process returns to step S703, a new image is acquired from the stereo camera 230, and the detection of “hand gesture” is repeated.
  • step S711 the person who has the “detection gesture” hand is determined as the “subject”. That is, the person who first detected the hand motion corresponding to the hand gesture to be attracted by the attraction image is the target person.
  • the camera control unit 220 is used to focus the stereo camera 230 on the “subject”.
  • Step S715 is an optional process. In order to make the contact with the “subject” more close, the fact that the “subject” has responded to the attraction by the screen is detected for the “subject”. To inform. For example, the notification may be made by text display or voice, or by displaying an image of the “subject” focused and photographed by the stereo camera 230 on a part of the screen.
  • step S717 execution of the notification program is started. Such processing is shown in more detail in FIG.
  • step S719 determination of whether the notification process is ended. If not completed, the process returns to step S701 to repeat the process.
  • FIG. 8 is a flowchart showing an operation procedure of the notification program execution process S717. Note that the notification program requires the “subject” to change the display screen or select an option on the display screen rather than attracting a hand gesture from the display screen.
  • step S801 Even during the execution of the notification program, an image is acquired from the stereo camera 230 in step S801. In this case, since the “target person” is focused in step S713 of FIG. 7, an enlarged image of the surrounding area including the “target person” is acquired.
  • step S803 the hand of the “subject” is extracted and “hand gesture” is detected.
  • step S805 the instruction of the “subject” by the detected “hand gesture” is determined, and the notification program is advanced in response to the instruction.
  • step S807 the process returns to step S801 and repeats until the notification program is terminated.
  • the attribute (for example, gender and age) of the person determined as the “target person” by the hand gesture is determined based on the image from the stereo camera 230, and the attribute A notification program corresponding to the information is selected and executed.
  • the notification program may be selected accordingly. According to the present embodiment, the “subject” can continue to be attracted to the notification program.
  • a person recognition DB 352 a notification program DB 216, and a notification program selection table 348, which are indicated by broken lines in FIG. 3, are added as data.
  • a notification program selection module 357 is added to a part of the information processing program 354 as a program.
  • FIG. 9 is a diagram illustrating a configuration of the person recognition DB 352 according to the third embodiment.
  • FIG. 10 is a diagram showing a configuration of the notification program DB 216 according to the third embodiment.
  • FIG. 10 stores a notification program ID 1001 that identifies a notification program and serves as a read key.
  • Each notification program A (1010) and notification program B (1020) can be read out from each notification program ID, “001” and “002” in FIG.
  • the notification program A is a “cosmetic advertisement” program
  • the notification program B is a “condominium advertisement” program.
  • a notification program corresponding to the attribute of the “subject” recognized using the person recognition DB 352 is selected from the notification program DB 216 and executed.
  • FIG. 11 is a diagram showing the configuration of the notification program selection table 348 according to the third embodiment.
  • FIG. 11 is a person ID that has become “target person” by the hand gesture.
  • Reference numeral 1102 denotes the “sex” of the “subject” recognized by the person recognition DB 352.
  • 1103 is the “age” of the “subject”.
  • the notification program ID 1104 is determined in association with the attribute of these “subjects”.
  • the cosmetic advertisement notification program A in FIG. Selected and executed.
  • the condominium advertisement notification program B in FIG. 10 is selected and executed. Is done.
  • the selection of the notification program is an example and is not limited to this.
  • FIG. 12 is a flowchart illustrating an operation procedure of the information processing apparatus according to the third embodiment.
  • the flowchart of FIG. 12 is obtained by adding steps S1201 and S1203 to the flowchart of FIG. 7.
  • the subsequent steps are the same, and therefore, these two steps will be described here.
  • step S1201 the attribute of “target person” is recognized with reference to the person recognition DB 352 as shown in FIG.
  • step S1203 a notification program is selected from the notification program DB 216 according to the notification program selection table 348 shown in FIG.
  • the said 2nd and 3rd embodiment it demonstrated as a process by one information processing apparatus.
  • a configuration will be described in which a plurality of information processing apparatuses are connected to a notification information server via a network and execute a notification program downloaded from the notification information server.
  • the information processing apparatus of this embodiment may have a function equivalent to the information processing apparatus of 2nd and 3rd embodiment, and may transfer a part of the function to a alerting
  • the processing in the fourth embodiment is basically the same as that in the second and third embodiments even if there is a function distribution. Therefore, the configuration of the information notification system will be described, and detailed function description will be omitted.
  • FIG. 13 is a block diagram showing a configuration of an information notification system 1300 according to the fourth embodiment.
  • the same reference numerals as those in FIG. 2 denote components that perform the same function. The differences will be described below.
  • FIG. 13 shows three information processing apparatuses 1310. There is no limit to the number. These information processing apparatuses 1310 are connected to the notification information server 1320 via the network 1330.
  • the notification information server 1320 stores a notification program 1321 for download, receives information on each point photographed by the stereo camera 230, and selects a notification program to be downloaded. For example, it is possible to perform integrated control such as displaying a hand gesture invitation image associated with a plurality of display devices 240.
  • the information processing apparatus 1310 is illustrated as having a characteristic component such as a hand gesture determination unit 214, a hand gesture DB 215, a notification program DB 216, a notification program control unit 217, and a camera control unit 220.
  • a characteristic component such as a hand gesture determination unit 214, a hand gesture DB 215, a notification program DB 216, a notification program control unit 217, and a camera control unit 220.
  • the present invention is not limited to this, and some functions of the information processing device 1310 may be distributed to the notification information server 1320 or other devices.
  • the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where a control program that realizes the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention on a computer, a control program installed in the computer, a medium storing the control program, and a WWW (World Wide Web) server that downloads the control program are also included in the scope of the present invention. include.

Abstract

　本発明の装置は、不特定の人物に情報を報知するための情報処理装置である。この情報処理装置は、手の動作を誘引するための誘引画像を含む画面を表示させる。また、撮影された人物による手の動作を認識する。そして、撮影された人物の中で、認識した手の動作が誘引画像により誘引すべき手の動作に対応する人物を特定することを特徴とする。特定された人物を広告対象者とすることで、広告情報に対して注目するキッカケを作ることができる。

Description

情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム
　本発明は、不特定の人物に広告情報を報知するための技術に関する。
　不特定の人物に情報を報知する表示システムとして、デジタルサイネージを用いたシステムが知られている。例えば、特許文献１には、カメラによる撮影画像から求めた注目時間と画面からの距離とに基づいて表示画面への注目度を判定し、注目している人物に応じた情報を報知する技術が開示されている。
特開2009-176254号公報
　しかしながら、上述した特許文献記載の技術は、報知情報に対し既に注目していることを前提にして更に注目度を高める技術であり、報知情報に対して注目するキッカケを作ることはできなかった。
　本発明の目的は、上述の課題を解決する技術を提供することにある。
　上記目的を達成するため、本発明に係る装置は、
　不特定の人物に情報を報知するための情報処理装置であって、
　手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御手段と、
　撮影された人物による手の動作を認識する認識手段と、
　前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
　を備えることを特徴とする。
　上記目的を達成するため、本発明に係る方法は、
　不特定の人物に情報を報知するための情報処理装置の制御方法であって、
　手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
　撮影された人物による手の動作を認識する認識ステップと、
　前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
　を備えることを特徴とする。
　上記目的を達成するため、本発明に係る記憶媒体は、
　不特定の人物に情報を報知するための情報処理装置の制御プログラムを記憶する記憶媒体であって、
　手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
　撮影された人物による手の動作を認識する認識ステップと、
　前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
　をコンピュータに実行させる制御プログラムを格納したことを特徴とする。
　上記目的を達成するため、本発明に係るシステムは、
　不特定の人物に情報を報知するための情報報知システムであって、
　広告情報を含む画面を表示する表示手段と、
　手の動作を誘引するための誘引画像を含む画面を前記表示手段に表示させる第１表示制御手段と、
　撮影された人物による手の動作を認識する認識手段と、
　前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
前記特定手段が特定した前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御手段と、
　を備えることを特徴とする。
　上記目的を達成するため、本発明に係る方法は、
　不特定の人物に情報を報知するための情報報知方法であって、
　手の動作を誘引するための誘引画像を含む画面を、報知情報を含む画面を表示する表示手段に表示させる第１表示制御ステップと、
　撮影された人物による手の動作を認識する認識ステップと、
　前記撮影された人物の中で、前記認識ステップで認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
　前記特定ステップにより特定された前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御ステップと、
　を含むことを特徴とする。
　本発明によれば、報知情報に対して注目するキッカケを作ることができる。
本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置を含む情報報知システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置のハードウエア構成を示すブロック図である。 本発明の第２実施形態に係る撮影した手のデータの構成を示す図である。 本発明の第２実施形態に係るハンドジェスチャーＤＢの構成を示す図である。 本発明の第２実施形態に係る対象者判別テーブルの構成を示す図である。 本発明の第２実施形態に係る情報処理装置の動作手順を示すフローチャートである。 本発明の第２実施形態に係る報知プログラム実行処理の動作手順を示すフローチャートである。 本発明の第３実施形態に係る人物認識ＤＢの構成を示す図である。 本発明の第３実施形態に係る報知プログラムＤＢの構成を示す図である。 本発明の第３実施形態に係る報知プログラム選択テーブルの構成を示す図である。 本発明の第３実施形態に係る情報処理装置の動作手順を示すフローチャートである。 本発明の第４実施形態に係る情報報知システムの構成を示すブロック図である。
　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
　［第１実施形態］
　本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、不特定の人物１０４に情報を報知するための装置である。
　図１に示すように、情報処理装置１００は、第１表示制御部１０１と、認識部１０２と、特定部１０３と、を含む。第１表示制御部１０１は、手の動作を誘引するための誘引画像を含む画面を表示させる。認識部１０２は、撮影された人物１０４による手の動作を認識する。特定部１０３は、撮影された人物の中で、認識部１０２が認識した手の動作が、第１表示制御部１０１が表示させた誘引画像により誘引すべき手の動作に対応する場合に、その手を持つ人物１０５を特定する。
　本実施形態によれば、広告情報に対して注目するキッカケを作ることができる。
　［第２実施形態］
　第２実施形態においては、ステレオカメラにより奥行きの判別も可能にして手の動作（以下、ハンドジェスチャーと称する）を容易により正確に検出できる情報処理装置を説明する。また、カメラやビデオカメラを誘引するための誘引画像に反応した人物（以下、対象者とも呼ぶ）へフォーカスして、対象者とハンドジェスチャーによる対話が可能となる情報処理装置を説明する。
　《情報処理装置を含む情報報知システムの機能構成》
　図２は、第２実施形態に係る情報処理装置２１０を含む情報報知システム２００の構成を示すブロック図である。なお、図２では、独立した情報処理装置２１０を図示しているが、複数の情報処理装置２１０がネットワークを介して接続されたシステムにも拡張可能である。以下、データベースについては、ＤＢと略して記載する。
　図２の情報報知システム２００は、情報処理装置２１０と、ステレオカメラ２３０と、表示装置２４０と、スピーカ２５０と、を有する。ステレオカメラ２３０は、不特定の人物１０４を撮影して、情報処理装置２１０に撮影した画像を送ると共に、情報処理装置２１０により制御されて対象者にフォーカスすることが可能である。表示装置２４０は、情報処理装置２１０から報知プログラムに従って宣伝あるいは広告メッセージなどの広告情報を報知する。本実施形態では、宣伝あるいは広告メッセージの中、あるいは宣伝あるいは広告メッセージに先立って、不特定の人物１０４に対しハンドジェスチャーによる応答を誘引する誘引画像を含む画面を表示する。そして、応答した人物１０５をステレオカメラ２３０からの画像で確認すると、応答した人物１０５とのハンドジェスチャーによる対話が可能な画面を出力する。スピーカ２５０は、表示装置２４０の画面、あるいは応答した人物１０５とのハンドジェスチャーによる対話を促進するための、補助音声を出力する。
　（情報処理装置の機能構成）
　情報処理装置２１０は、以下の構成要素を含む。なお、情報処理装置２１０は１つの装置である必要はなく、複数の装置に機能が分散してトータルとして図２の機能を実現できればよい。以下、本実施形態における動作手順に従って、各機能構成部を説明する。
　入出力インタフェース２１１は、ステレオカメラ２３０、表示装置２４０、スピーカ２５０と、情報処理装置２１０との間のインタフェースを果たす。
　まず、所定の報知プログラム、あるいは初期プログラムが報知プログラム制御部２１７により制御されて、出力制御部２２１から入出力インタフェース２１１を介して画像データや音声データが表示装置２４０やスピーカ２５０に送信される。つまり、出力制御部２２１は、表示装置２４０にハンドジェスチャーを誘引するための誘引画像や広告情報などを表示させる表示制御部として機能し、さらに、スピーカ２５０に誘引画像や広告画像に対応する音声を出力させる音声出力制御部として機能する。
　報知プログラムには、不特定の人物１０４に対してハンドジェスチャーを誘引する内容（例えば、手を振る動作、ジャンケンへの参加を呼びかける動作、手話などを示す誘引画像）が含まれている。所定の報知プログラムにより報知する場合は、報知プログラム制御部２１７によって報知プログラムＤＢ２１６から選ばれる。また、報知プログラム制御部２１７から初期プログラムあるいは報知プログラムの内容を得た誘引ハンドジェスチャー取得部２１８は、プログラムから不特定の人物１０４に求める誘引ハンドジェスチャーを取得する。誘引ハンドジェスチャー取得部２１８は、報知プログラムに含まれる誘引画像と、誘引画像により誘引すべきハンドジェスチャーとの対応関係を記憶するテーブル２２２を備えている。
　次に、ステレオカメラ２３０が撮影した不特定の人物１０４の画像が、入出力インタフェース２１１を介して画像記録部２１２に送られて、ハンドジェスチャーが判定可能な時間の画像履歴が記録される。手検出部２１３は、ステレオカメラ２３０が撮影した不特定の人物１０４の画像の中から手の画像を検出する。かかる手の画像の検出は、例えば、色と形状と位置などから検出される。なお、次のハンドジェスチャー判定部２１４の判定との協働によって、例えば、手袋をしている場合も含める場合は、色による選別はしないなどの変更も可能である。ハンドジェスチャー判定部２１４は、手検出部２１３で検出した不特定の人物１０４の画像内の手の画像の特徴（図４参照）から、ハンドジェスチャーＤＢ２１５を参照して各手のハンドジェスチャーを判定する。ハンドジェスチャーＤＢ２１５には、手の位置や指の位置、あるいは時系列の変化などとハンドジェスチャーとが対応付けられて格納されている（図５参照）。
　誘引ハンドジェスチャー取得部２１８が求めた誘引ハンドジェスチャーと、ハンドジェスチャー判定部２１４が判定した各手のハンドジェスチャーとは、ハンドジェスチャー比較部２１９において比較される。比較の結果、所定の範囲内で一致する場合には、ハンドジェスチャー比較部２１９はその旨を示す信号を出力する。なお、かかるハンドジェスチャー比較部２１９の比較はハンドジェスチャーにより異なる。例えば、手を振る場合は指の位置などは考慮されないし、ジャンケンの場合はグー、チョキ、パーの何れかであれば一致しているとする。また、手話の場合は、呼びかけ／返事などが一定範囲であれば一致しているとする。
　ハンドジェスチャー比較部２１９から出力された信号は、ハンドジェスチャー判定部２１４とカメラ制御部２２０とに入力される。ハンドジェスチャー判定部２１４では、誘引ハンドジェスチャーと撮影した手のハンドジェスチャーとが対応する信号を受信すると、今判定した手を持つ人物（対象者）についての情報を報知プログラム制御部２１７に送信する。報知プログラム制御部２１７は、対象者へハンドジェスチャーを受け取ったことを示す通知情報を含む画面を表示させる。具体的には、対象者からハンドジェスチャーを受け取ったことを表わす文字や画像を表示したり、対象者の画像を画面に表示したりして応答する。さらに、第３実施形態で詳細に説明するが、この対象者に対応した報知プログラムの選択や報知プログラムの進行変更などを可能とする。一方、カメラ制御部２２０では、対象者をフォーカスするようにステレオカメラ２３０を動作させて、対象者のハンドジェスチャー判定に特化し、以降の報知プログラムでは対象者との対話形式のやりとりをスムースにする。
　なお、図２におけるハンドジェスチャー比較部２１９における処理と動作、他の機能構成部との結線は一例であって、誘引ハンドジェスチャーと撮影した手のハンドジェスチャーとが対応するとそれに応答する動作を実現できれば、図２の構成に限らない。
　《情報処理装置のハードウエア構成》
　図３は、第２実施形態に係る情報処理装置２１０のハードウエア構成を示すブロック図である。なお、図３には、第３実施形態で使用されるデータやプログラムは、破線によって図示されている。
　図３で、ＣＰＵ３１０は演算制御用のプロセッサであり、プログラムを実行することで図２Ｂの各機能構成部を実現する。ＲＯＭ３２０は、初期データ及びプログラムなどの固定データ及びプログラムを記憶する。通信制御部３３０は、ネットワークを介して外部装置と通信する。通信制御部３３０により、各種サーバなどから報知プログラムがダウンロードされたり、あるいはステレオカメラ２３０や表示装置２４０などとの信号がネットワークを介して送受信されたりしてもよい。通信は無線でも有線でもよい。入出力インタフェース２１１は図２と同様に、ステレオカメラ２３０や表示装置２４０などとインタフェースを果たす。
　ＲＡＭ３４０は、ＣＰＵ３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ３４０には、本実施形態の実現に必要なデータを記憶する領域および報知プログラムを記憶する領域が確保されている。図３の３４１は、表示装置２４０に表示される表示画面データである。３４２は、ステレオカメラ２３０が撮影した画像データである。３４３は、ステレオカメラ２３０が撮影した画像データから検出された手のデータである。３４４は、撮影した各手のデータから判定したハンドジェスチャーである。３４５は、表示装置２４０に表示された画面に含まれる誘引画像により誘引する誘引ハンドジェスチャーである。３４６は、撮影したハンドジェスチャーと誘引ハンドジェスチャーとが対応するため、その手を持つ人物を対象者と判別する対象者判別テーブルである（図６参照）。３４７は、判定された対象者にステレオカメラ２３０をフォーカスするなどのカメラ制御を行なうカメラ制御データである。３４８は、第３実施形態で使用される、画像から判別された対象者の属性に基づいて報知プログラムを選択するための、報知プログラム選択テーブルである。３４９は、現在、情報処理装置２１０が実行している報知プログラムである。なお、他のストレージ３５０に格納されたプログラムも、ＲＡＭ３４０にロードされてＣＰＵ３１０により実行され、図２の各機能構成部の機能を実現する。
　図３のストレージ３５０は、データベースや各種のパラメータ、ＣＰＵ３１０が実行するプログラムを、不揮発に記憶する大容量記憶装置である。ストレージ３５０には、本実施形態の実現に必要な以下のデータ又はプログラムが記憶されている。
　本実施形態では、ハンドジェスチャーＤＢ２１５以外に、以下のデータベースを格納する。３５２は、第３実施形態で使用される、ハンドジェスチャーで応答した対象者の属性を画像から認識するために、対象者の画像の特徴と属性（例えば、性別や年齢）とを対応付けて格納する人物認識ＤＢである（図９参照）。２１６は、特に第３実施形態で使用される、対象者の属性やあるいは曜日や時間帯などの環境に応じて選択される複数の報知プログラムを格納する報知プログラムＤＢである（図１０参照）。
　本実施形態では、以下のプログラムを格納する。３５４は、本情報処理装置２１０が実行するメインの情報処理プログラムである（図７、図１２参照）。３５５は、情報処理プログラム３５４に含まれる、対象者判別を行なう対象者判別モジュールである。３５６は、情報処理プログラム３５４に含まれる、報知プログラムの実行を制御する報知プログラム実行モジュールである（図８参照）。３５７は、第３実施形態で実行される、情報処理プログラム３５４に含まれる、対象者の属性に応じて報知プログラムを選択する報知プログラム選択モジュールである。
　なお、図３には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
　《情報処理装置で使用されるデータの構成》
　以下に、第２実施形態の情報処理装置２１０で使用される特徴的なデータの構成を示す。
　（撮影した手のデータの構成）
　図４は、第２実施形態に係る撮影した手のデータ３４３の構成を示す図である。
　図４には、ハンドジェスチャーとして、「手を振る」または「ジャンケン」を判定するために必要な手のデータ３４３の一例を示している。なお、「手話」などについても、その判定に必要な手のデータを抽出することにより、判定が可能になる。
　図４の上段４１０は、「手を振る」ハンドジェスチャーを判定するために必要なデータ例である。４１１は、撮影された不特定の人物の手について付された各手を識別する手のＩＤである。４１２は、手の位置、ここではその高さを抽出している。４１３は、移動履歴であり、図４には「一方向」、「往復運動」、「静止（間欠）」などが抽出されている。４１４は移動距離であり、４１５は移動速度である。かかる移動距離や移動速度が、例えば、「手を振る」ジェスチャーか、「人を呼ぶ」ジェスチャーかを判別するために使用される。４１６は、顔の方向であり、注目しているか否かの判断に使用される。４１７は、この手を持つ人物を識別する人物ＩＤであり、４１８にはこの人物ＩＤの人物がどこに居るかの人物位置が抽出される。この人物位置により、ステレオカメラ２３０のフォーカス位置が決定される。あるいは３次元表示である場合は、この人物位置への表示画面の方向が決められても良い。また、スピーカ２５０による音声の内容や指向性が調整されてもよい。なお、「手を振る」ハンドジェスチャーを判定するデータには、指の位置データなどが記載されていないが、指の位置を追加してもよい。
　図４の下段４２０は、「ジャンケン」ハンドジェスチャーを判定するために必要なデータ例である。４２１は、撮影された不特定の人物の手について付された各手を識別する手のＩＤである。４２２は、手の位置、ここではその高さを抽出している。４２３は、親指の３次元の位置を示す。４２４は、人差指の３次元の位置を示す。４２５は、中指の３次元の位置を示す。４２６は、小指の３次元の位置を示す。４２７は、この手を持つ人物を識別する人物ＩＤであり、４２８にはこの人物ＩＤの人物がどこに居るかの人物位置が抽出される。なお、図４の例では薬指の位置は除いたが、これを含めてもよい。さらに、指だけでなく、掌や甲のデータやさらに詳細には指の関節位置などを判定に使用すれば、正確な判定が可能になる。
　図４の各データを、ハンドジェスチャーＤＢ２１５に内容とマッチングすることで、ハンドジェスチャーが判定されることになる。
　（ハンドジェスチャーＤＢの構成）
　図５は、第２実施形態に係るハンドジェスチャーＤＢ２１５の構成を示す図である。図５も、図４に対応させて、上段５１０が「手を振る」を判定するＤＢの内容、下段５２０が「ジャンケン」を判定するＤＢの内容である。「手話」についても別途設けられる。
　上段５１０の５１１は、各ジェスチャーと判定する「手の高さ」の範囲が記憶されている。５１２には、移動履歴が記憶されている。５１３には、移動距離の範囲が記憶されている。５１４には、移動速度の範囲が記憶されている。５１５には、顔の方向が記憶されている。５１６は、５１１から５１５の条件を満たすデータ（図４参照）についての「ハンドジェスチャー」が記憶されている。例えば、第１行の条件を満たせば「手を振る」ジェスチャーと判定される。第２行の条件を満たせば「人を呼ぶ」ジェスチャーと判定される。第３行の条件を満たせば「走る」ジェスチャーと判定される。本例では「手を振る」ジェスチャーが判定できればよく、図５には「手を振る」ジェスチャーと紛らわしいジェスチャーを判別する一例を示した。逆に言えば、「手を振る」ジェスチャーを出来るだけ正確に判別するには、どんなデータが有効であるかによって、抽出する手のデータの種類もハンドジェスチャーＤＢ２１５の構成も、追加あるいは変更される。
　下段５２０の５２１は、各ジェスチャーと判定する「手の高さ」の範囲が記憶されている。下段５２０は「ジャンケン」の判別であるので、「手の高さ」の範囲は同じであり、この高さを外れると「ジャンケン」とは見なさない。５２２には親指位置が、５２３には人差指位置が、５２４には中指位置が、５２５には小指位置が記憶されている。なお、５２２から５２５の指の位置は、指の絶対位置ではなく指の相対位置であり、図４の指の位置のデータとの比較も相対位置の関係から「ジャンケン」のジェスチャーを判定する。図５には具体的数値は示していないが、第１行の指の位置関係は「グー」、第２行の指の位置関係は「チョキ」、第３行の指の位置関係は「パー」と判定する。「手話」については、「ジャンケン」の判定に類似して時系列の履歴を含むものとなる。
　このハンドジェスチャーＤＢ２１５のデータと一致する、あるいは一定の範囲内にあるデータを持つ手が、対応するハンドジェスチャーとして判定される。この撮影された手からの判定結果の「ハンドジェスチャー」が、表示装置２４０の表示画面からの「誘引ハンドジェスチャー」に対応するかをハンドジェスチャー比較部２１９で判断する。
　（対象者判別テーブルの構成）
　図６は、第２実施形態に係る対象者判別テーブル３４６の構成を示す図である。
　図６の前提として、図４の上段４１０の第２行の手のＩＤ（０００２）／人物ＩＤ（００１０）が「手を振る」ジェスチャーと判定され、図４の下段４２０の第３行の手のＩＤ（０００３）／人物ＩＤ（０００５）が「チョキ」ジェスチャーと判定されたとする。
　図６の６０１は、人物ＩＤである。６０２は、撮影した画像の手から判定されたジェスチャーである。６０３は、表示装置２４０に表示された画面からの「誘引ジェスチャー」である。６０４は、「誘引ジェスチャー」と「撮影ジェスチャー」が対応する場合に、その手を持つ人物を対象者に、対応しない場合は「非対象者」とする判定結果である。
　図６の例では、「誘引ジェスチャー」が「手を振る」の場合に、人物ＩＤ（００１０）が「手を振る」ジェスチャーをしているので、表示画面に応答したものとして「対象者」と判定される。しかし、もし「誘引ジェスチャー」が「手話」である場合は「非対象者」と判断される。また、「誘引ジェスチャー」が「ジャンケン」の場合に、人物ＩＤ（０００５）が「チョキ」ジェスチャーをしているので、表示画面に応答したものとして「対象者」と判定される。しかし、もし「誘引ジェスチャー」が「手話」である場合は「非対象者」と判断される。なお、「誘引ジェスチャー」と「撮影ジェスチャー」とが対応しない場合でも、「手を振る」ジェスチャーが画面に向かって行なわれていれば、優先的に「対象者」とする処理も可能である。
　《情報処理装置の動作手順》
　図７は、第２実施形態に係る情報処理装置の動作手順を示すフローチャートである。かかるフローチャートは、図３のＣＰＵ３１０がＲＡＭ３４０を使用しながら実行して図２の各機能構成部の機能を実現する。
　まず、ステップＳ７０１において、表示装置２４０に不特定の人物のハンドジェスチャーを誘引する誘引画像を表示させる。次に、ステップＳ７０３において、ステレオカメラ２３０で撮影をして画像を取得する。ステップＳ７０５において、取得した画像から手を検出し、その手の「ハンドジェスチャー」を検出する。ステップＳ７０７において、「検出ジェスチャー」が「誘引ジェスチャー」に対応しているかを判断する。対応していなければステップＳ７０９に進んで、取得した画像内の全ての手の「ハンドジェスチャー」を検出して判定したかを判断する。全ての手の「ハンドジェスチャー」の検出が終了してなければステップＳ７０５に戻って、次の手について判定を行なう。全ての手の「ハンドジェスチャー」の検出が終了していればステップＳ７０３に戻って、新たな画像をステレオカメラ２３０から取得して、「ハンドジェスチャー」の検出を繰り返す。
　「検出ジェスチャー」が「誘引ジェスチャー」に対応している場合には、ステップＳ７１１において、「検出ジェスチャー」の手を持つ人物を「対象者」と判定する。つまり、誘引画像により誘引すべきハンドジェスチャーに対応する手の動作を最初に検出した人物を対象者とする。ステップＳ７１３においては、カメラ制御部２２０を使って、ステレオカメラ２３０を「対象者」にフォーカスする。ステップＳ７１５は、オプショナルな処理であり、「対象者」とのコンタクトを更に緊密にするため、画面による誘引に「対象者」が応答していることを感知したことを、「対象者」に対して報知する。例えば、文字表示や音声で報知してもよいし、フォーカスしてステレオカメラ２３０で撮影した「対象者」の画像を画面の一部に表示するなどによっても報知が可能である。
　ステップＳ７１７において、報知プログラムの実行を開始する。かかる処理は図８においてさらに詳細に示す。報知プログラムの実行が終了すると、ステップＳ７１９において、報知処理の終了か否かを判定する。終了でなければステップＳ７０１に戻って、処理を繰り返す。
　（報知プログラム実行処理の動作手順）
　図８は、報知プログラム実行処理Ｓ７１７の動作手順を示すフローチャートである。なお、報知プログラムにおいては、表示画面からハンドジェスチャーを誘引するよりも、表示画面の変更や表示画面上の選択肢の選択を「対象者」に求めることになる。
　報知プログラムの実行中も、ステップＳ８０１において、ステレオカメラ２３０から画像を取得する。この場合は、図７のステップＳ７１３で「対象者」にフォーカスしているので、「対象者」を含む周辺の拡大画像が取得される。ステップＳ８０３において、「対象者」の手を抽出し、「ハンドジェスチャー」を検出する。ステップＳ８０５において、検出した「ハンドジェスチャー」による「対象者」の指示を判断して、その指示に対応して報知プログラムを進行させる。ステップＳ８０７において、報知プログラムの終了となるまで、ステップＳ８０１に戻って処理を繰り返す。
　［第３実施形態］
　第３実施形態では、第２実施形態に加えて、ハンドジェスチャーにより「対象者」と判定された人物の属性（例えば、性別や年齢）を、ステレオカメラ２３０からの画像に基づいて判断し、属性に応じた報知プログラムを選択して実行する。なお、「対象者」の属性のみでなく、服装や行動傾向、あるいはグループなのかなどを判断して、それに応じて報知プログラムを選択してもよい。本実施形態によれば、「対象者」が引き続き報知プログラムに引きつけることが可能となる。
　なお、第３実施形態における情報報知システム及び情報処理装置の構成は、第２実施形態と同様であるので重複する説明は省き、以下追加部分を説明する。
　《情報処理装置で使用されるデータの構成》
　第３実施形態の情報処理装置２１０では、図３に破線で示した、人物認識ＤＢ３５２、報知プログラムＤＢ２１６、報知プログラム選択テーブル３４８がデータとして追加される。また、プログラムとして、報知プログラム選択モジュール３５７が情報処理プログラム３５４の一部に追加される。
　（人物認識ＤＢの構成）
　図９は、第３実施形態に係る人物認識ＤＢ３５２の構成を示す図である。
　図９には、内容を詳細には示さないが、撮影した「対象者」の画像から得られた「顔の特徴」９０１、「服装の特徴」９０２、「身長」９０３などに対応付けられて、「性別」９０４と「年齢」９０５とが記憶されている。かかる構成は一例であって、これに限定されない。
　（報知プログラムＤＢの構成）
　図１０は、第３実施形態に係る報知プログラムＤＢ２１６の構成を示す図である。
　図１０には、報知プログラムを識別し、読み出しのキーとなる報知プログラムＩＤ１００１が記憶されている。それぞれの報知プログラムＩＤ、図１０では「００１」「００２」から各々の報知プログラムＡ（１０１０）と報知プログラムＢ（１０２０）とが読み出し可能である。図１０の例では、報知プログラムＡは「化粧品広告」のプログラム、報知プログラムＢは「マンション広告」のプログラムと仮定する。上記人物認識ＤＢ３５２を使って認識された「対象者」の属性に応じた報知プログラムが報知プログラムＤＢ２１６から選択されて実行されることになる。
　（報知プログラム選択テーブルの構成）
　図１１は、第３実施形態に係る報知プログラム選択テーブル３４８の構成を示す図である。
　図１１の１１０１は、ハンドジェスチャーにより「対象者」となった人物ＩＤである。１１０２は、人物認識ＤＢ３５２により認識した「対象者」の「性別」である。１１０３は、「対象者」の「年齢」である。これらの「対象者」の属性などに対応付けられて、１１０４の報知プログラムＩＤが決定される。図１１の例では、「対象者」である人物ＩＤ（００１０）の人物は性別が「女性」、「年齢」は２０～３０代と認識されたので、図１０の化粧品広告の報知プログラムＡが選択されて実行される。また、「対象者」である人物ＩＤ（０００５）の人物は性別が「男性」、「年齢」は４０～５０代と認識されたので、図１０のマンション広告の報知プログラムＢが選択されて実行される。なお、かかる報知プログラムの選択は一例であって、これに限定されない。
　《情報処理装置の動作手順》
　図１２は、第３実施形態に係る情報処理装置の動作手順を示すフローチャートである。図１２のフローチャートは、図７のフローチャートにステップＳ１２０１とＳ１２０３を追加したものであり、後のステップは同様であるので、ここではこの２つのステップについて説明する。
　ステップＳ１２０１において、図９のような人物認識ＤＢ３５２を参照して、「対象者」の属性を認識する。次に、ステップＳ１２０３において、図１１に示した報知プログラム選択テーブル３４８に従って、報知プログラムが報知プログラムＤＢ２１６から選択される。
　［第４実施形態］
　上記第２及び第３実施形態では、１つの情報処理装置による処理として説明をした。第４実施形態においては、複数の情報処理装置がネットワークを介して報知情報サーバに接続し、報知情報サーバからダウンロードされた報知プログラムを実行する構成を説明する。本実施形態によれば、互いの情報交換が可能になると共に、報知情報サーバに情報を集中して一元的に広告・宣伝を管理することが可能になる。なお、本実施形態の情報処理装置は、第２及び第３実施形態の情報処理装置と同等の機能を有しても良いし、その機能の一部を報知情報サーバに移行してもよい。また、報知プログラムばかりでなく、状況に応じて情報処理装置の動作プログラムを報知情報サーバからダウンロードすることで、配置場所に適切なハンドジェスチャーによる制御方法が実現される。
　第４実施形態における処理は、機能分散があったとしても、基本的には第２及び第３実施形態と同様であるので、情報報知システムの構成を説明し、詳細な機能説明は省略する。
　《情報報知システムの構成》
　図１３は、第４実施形態に係る情報報知システム１３００の構成を示すブロック図である。図１３において、図２と同じ参照番号は同様な機能を果たす構成要素を示している。以下、相違点を説明する。
　図１３には３つの情報処理装置１３１０が示されている。数に制限はない。これらの情報処理装置１３１０は、ネットワーク１３３０を介して、報知情報サーバ１３２０に接続される。報知情報サーバ１３２０は、ダウンロード用の報知プログラム１３２１を記憶しており、ステレオカメラ２３０で撮影された各地点の情報を受け取って、ダウンロードすべき報知プログラムを選択する。例えば、複数の表示装置２４０が関連したハンドジェスチャーの誘引画像を表示するなどの統合された制御が可能となる。
　なお、図１３では、情報処理装置１３１０が、特徴的な構成要素である、ハンドジェスチャー判定部２１４、ハンドジェスチャーＤＢ２１５、報知プログラムＤＢ２１６、報知プログラム制御部２１７、カメラ制御部２２０を有するものとして図示した。しかし本発明はこれに限定される物ではなく、情報処理装置１３１０の一部の機能を報知情報サーバ１３２０、あるいは他の装置に分散してもよい。
　［他の実施形態］
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム又は装置も、本発明の範疇に含まれる。
　また、本発明は、複数の機器から構成されるシステムに適用されても良いし、単体の装置に適用されても良い。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システム或いは装置に直接或いは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、或いはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
　この出願は、２０１０年１１月１０日に出願された日本国特許出願　特願２０１０－２５１６７８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (16)

  1. 　不特定の人物に情報を報知するための情報処理装置であって、
    　手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御手段と、
    　撮影された人物による手の動作を認識する認識手段と、
    　前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
    　を備えることを特徴とする情報処理装置。
  2. 　前記特定手段は、前記誘引画像と、該誘引画像により誘引すべき手の動作とを対応付けて記憶する記憶手段を含み、
    　前記特定手段は、前記記憶手段を参照して、前記誘引画像と認識した前記手の動作との対応関係を判定することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記特定手段が特定した人物に向けた広告情報を含む画面を表示させる第２表示制御手段を更に有することを特徴とする請求項１または２に記載の情報処理装置。
  4. 　前記認識手段は、前記第２表示制御手段が前記人物に向けた広告情報を含む画面の表示を開始した後は、前記人物を対象者として手の動作を認識し、
    　前記第２表示制御手段は、前記対象者による手の動作に応答して前記広告情報を含む画面を表示させることを特徴とする請求項３に記載の情報処理装置。
  5. 　前記第２表示制御手段は、前記人物に向けた広告情報を含む画面を表示させる前に、前記第１表示制御手段が表示させた画像により誘引した手の動作に対応する手の動作を返したことを前記人物に通知することを特徴とする請求項３または４に記載の情報処理装置。
  6. 　前記第２表示制御手段は、前記特定手段が特定した人物を撮影した画像と、前記人物の手の画像との少なくともいずれかの画像を含む画面を表示させることを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
  7. 　前記手の動作は、指の動作を含むことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
  8. 　前記認識手段は、ステレオカメラが撮影した２つの画像に基づいて、前記撮影された人物による手の動作を認識することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
  9. 　前記誘引画像は、手を振る動作または手話を表わす画像を含むことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
  10. 　前記誘引画像は、ジャンケンをする手の動作を表わす画像を含むことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
  11. 　前記特定手段は、前記認識手段が複数の人物による手の動作を認識した場合、前記誘引画像により誘引すべき手の動作に対応する手の動作を最初に検出した人物を特定することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
  12. 　前記第１表示制御手段によって表示させた前記画像に対応する音声を出力させる音声出力制御手段をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
  13. 　不特定の人物に情報を報知するための情報処理装置の制御方法であって、
    　手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
    　撮影された人物による手の動作を認識する認識ステップと、
    　前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
    　を備えることを特徴とする情報処理装置の制御方法。
  14. 　不特定の人物に情報を報知するための情報処理装置の制御プログラムを記憶する記憶媒体であって、
    　手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
    　撮影された人物による手の動作を認識する認識ステップと、
    　前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
    　をコンピュータに実行させる制御プログラムを格納したことを特徴とする記憶媒体。
  15. 　不特定の人物に情報を報知するための情報報知システムであって、
    　広告情報を含む画面を表示する表示手段と、
    　手の動作を誘引するための誘引画像を含む画面を前記表示手段に表示させる第１表示制御手段と、
    　撮影された人物による手の動作を認識する認識手段と、
    　前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
    前記特定手段が特定した前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御手段と、
    　を備えることを特徴とする情報報知システム。
  16. 　不特定の人物に情報を報知するための情報報知方法であって、
    　手の動作を誘引するための誘引画像を含む画面を、報知情報を含む画面を表示する表示手段に表示させる第１表示制御ステップと、
    　撮影された人物による手の動作を認識する認識ステップと、
    　前記撮影された人物の中で、前記認識ステップで認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
    　前記特定ステップにより特定された前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御ステップと、
    　を含むことを特徴とする情報報知方法。
PCT/JP2011/071802 2010-11-10 2011-09-26 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム WO2012063561A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/823,517 US20130229342A1 (en) 2010-11-10 2011-09-26 Information providing system, information providing method, information processing apparatus, method of controlling the same, and control program
JP2012542845A JP5605725B2 (ja) 2010-11-10 2011-09-26 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム
CN2011800543464A CN103221968A (zh) 2010-11-10 2011-09-26 信息通知系统、信息通知方法、信息处理设备及其控制方法和控制程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010251678 2010-11-10
JP2010-251678 2010-11-10

Publications (1)

Publication Number Publication Date
WO2012063561A1 true WO2012063561A1 (ja) 2012-05-18

Family

ID=46050716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/071802 WO2012063561A1 (ja) 2010-11-10 2011-09-26 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム

Country Status (4)

Country Link
US (1) US20130229342A1 (ja)
JP (1) JP5605725B2 (ja)
CN (1) CN103221968A (ja)
WO (1) WO2012063561A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203224A (ja) * 2013-04-04 2014-10-27 カシオ計算機株式会社 表示装置及び表示システム
WO2017187614A1 (ja) * 2016-04-28 2017-11-02 富士通株式会社 通信制御装置、方法、及びシステム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455800A (zh) * 2013-09-09 2013-12-18 苏州大学 基于智能识别的广告系统及相应广告推送方法
CN103605701A (zh) * 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 通信对象的确定方法及确定装置
US20170228034A1 (en) * 2014-09-26 2017-08-10 Thomson Licensing Method and apparatus for providing interactive content
KR101766902B1 (ko) * 2015-11-26 2017-08-10 주식회사 제이엠랩 디지털 사이니지 및 그 제어 방법
CN107092430B (zh) * 2016-02-18 2020-03-24 纬创资通（中山）有限公司 空间绘画计分方法、用于进行空间绘画计分的装置及系统
CN109214278B (zh) * 2018-07-27 2023-04-18 平安科技（深圳）有限公司 用户指令匹配方法、装置、计算机设备及存储介质
CN113032605B (zh) * 2019-12-25 2023-08-18 中移(成都)信息通信科技有限公司 一种信息展示方法、装置、设备及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113313A (ja) * 2008-11-10 2010-05-20 Nec Corp 電子広告装置、電子広告方法及びプログラム
JP2010231355A (ja) * 2009-03-26 2010-10-14 Sanyo Electric Co Ltd 情報表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059994A1 (en) * 2006-06-02 2008-03-06 Thornton Jay E Method for Measuring and Selecting Advertisements Based Preferences
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
CN101874404B (zh) * 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
JP2011504710A (ja) * 2007-11-21 2011-02-10 ジェスチャー テック，インコーポレイテッド メディア嗜好
CN101470883A (zh) * 2007-12-26 2009-07-01 联想(北京)有限公司 广告播放方法和广告播放设备
EP2333652B1 (en) * 2008-09-29 2016-11-02 Panasonic Intellectual Property Corporation of America Method and apparatus for improving privacy of users of a display device for several users wherein each user has a private space allocated to him
CN201383313Y (zh) * 2009-02-19 2010-01-13 李赛 互动广告牌以及网络式互动广告系统
JP5343773B2 (ja) * 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113313A (ja) * 2008-11-10 2010-05-20 Nec Corp 電子広告装置、電子広告方法及びプログラム
JP2010231355A (ja) * 2009-03-26 2010-10-14 Sanyo Electric Co Ltd 情報表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203224A (ja) * 2013-04-04 2014-10-27 カシオ計算機株式会社 表示装置及び表示システム
WO2017187614A1 (ja) * 2016-04-28 2017-11-02 富士通株式会社 通信制御装置、方法、及びシステム
JPWO2017187614A1 (ja) * 2016-04-28 2018-11-15 富士通株式会社 通信制御装置、方法、及びシステム
US10885600B2 (en) 2016-04-28 2021-01-05 Fujitsu Limited Communication control apparatus, communication control apparatus method, and system

Also Published As

Publication number Publication date
JPWO2012063561A1 (ja) 2014-05-12
JP5605725B2 (ja) 2014-10-15
CN103221968A (zh) 2013-07-24
US20130229342A1 (en) 2013-09-05

Similar Documents

Publication Publication Date Title
JP5605725B2 (ja) 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム
US20200412975A1 (en) Content capture with audio input feedback
CN112738408B (zh) 图像修改器的选择性识别和排序
JP5527423B2 (ja) 画像処理システム、画像処理方法、及び画像処理プログラムを記憶した記憶媒体
US10270896B2 (en) Intuitive computing methods and systems
JP6684883B2 (ja) カメラエフェクトを提供する方法およびシステム
US9234744B2 (en) Sensor-based mobile search, related methods and systems
JP5843207B2 (ja) 直観的コンピューティング方法及びシステム
CN109242765B (zh) 一种人脸图像处理方法、装置和存储介质
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
CN108304762B (zh) 一种人体姿态匹配方法及其设备、存储介质、终端
CN112862516A (zh) 资源投放方法、装置、电子设备及存储介质
US20200412864A1 (en) Modular camera interface
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
US11216067B2 (en) Method for eye-tracking and terminal for executing the same
US20210166271A1 (en) Method for providing text-reading based reward-type advertisement service and user terminal for executing same
KR20160074315A (ko) 사용자 단말 및 이의 햅틱 서비스 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11839039

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012542845

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13823517

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11839039

Country of ref document: EP

Kind code of ref document: A1