WO2017163719A1 - 出力制御装置、出力制御方法、およびプログラム - Google Patents

出力制御装置、出力制御方法、およびプログラム Download PDF

Info

Publication number
WO2017163719A1
WO2017163719A1 PCT/JP2017/006351 JP2017006351W WO2017163719A1 WO 2017163719 A1 WO2017163719 A1 WO 2017163719A1 JP 2017006351 W JP2017006351 W JP 2017006351W WO 2017163719 A1 WO2017163719 A1 WO 2017163719A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
output
person
output device
language
Prior art date
Application number
PCT/JP2017/006351
Other languages
English (en)
French (fr)
Inventor
準 小林
志傑 斎藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/085,664 priority Critical patent/US20190103096A1/en
Priority to JP2018507140A priority patent/JP6753462B2/ja
Publication of WO2017163719A1 publication Critical patent/WO2017163719A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present invention relates to an output control device, an output control method, and a program.
  • a digital signage device that can electrically change display contents is known.
  • a technique for changing display contents according to a person who is browsing is known (see, for example, Patent Document 1).
  • an output device that outputs information to a person located at a predetermined point, such as a parametric speaker, is known.
  • the language used by a person who receives information provided by the output device is not necessarily the same. Also, the interests of persons who receive information provided by the output device are not always the same. Therefore, if the output device outputs information related to a language different from the language used by the target person or information related to a target that the target person is not interested in, there is a possibility that appropriate information cannot be transmitted to the person.
  • the objective of this invention is providing the output control apparatus, the output control method, and program which solve the subject mentioned above.
  • the output control device includes a control unit that causes the output device to output first information including a plurality of types of information, the first information output by the output device, An information determination unit that identifies a type to be presented to the person based on a person's response to the first information and determines the second information of the specified type, and the control unit includes: The second information determined by the information determination unit is output to the output device or another output device.
  • the output control method causes the output device to output first information including a plurality of types of information, the first information output by the output device, and the first information Based on the person's reaction to the information, the type to be presented to the person is specified, the specified type of second information is determined, and the output device or another output device determines the second To output the information.
  • a program causes a computer to output first information including a plurality of types of information to an output device, the first information output by the output device, and the first information
  • the type of the person to be presented to the person is determined based on the person's reaction to the information of the person, the second information of the specified type is determined, and the output device or the other output device determines the determined second information.
  • the process of outputting the information 2 is executed.
  • information corresponding to the person to be presented can be output to the output device.
  • FIG. 1 is a schematic diagram illustrating a configuration of an information output system according to the first embodiment.
  • the information output system 1 according to the first embodiment is provided in a store.
  • the information output system 1 displays advertisement information corresponding to the person M to the person M in the store.
  • the information output system 1 includes a plurality of imaging devices 10, a plurality of digital signage devices 20, and an output control device 30.
  • the plurality of imaging devices 10 are respectively provided in the store.
  • the imaging device 10 is installed so that at least the front passage of each digital signage device 20 is included in the imaging range of any imaging device 10.
  • An image captured by each imaging device 10 is transmitted to the output control device 30.
  • the plurality of digital signage devices 20 display images according to instructions from the output control device 30.
  • the digital signage device 20 is an example of an output device.
  • the output control device 30 controls the display of each digital signage device 20 based on the image captured by the imaging device 10.
  • FIG. 2 is a schematic block diagram showing the configuration of the output control apparatus according to the first embodiment.
  • the output control device 30 includes an image receiving unit 301, a target specifying unit 302, a candidate image storage unit 303, a candidate specifying unit 304, a first output control unit 305, a gaze estimation unit 306, a language usage estimation unit 307, and an advertisement information storage unit 308. , An information determination unit 309 and a second output control unit 310.
  • the image receiving unit 301 acquires an image from the imaging device 10.
  • the target specifying unit 302 specifies a person M existing within a predetermined distance in front of the digital signage device 20 as an information output target person from the image received by the image receiving unit 301.
  • the target specifying unit 302 specifies a region in the vicinity of the digital signage device 20 in the image received by the image receiving unit 301, that is, a region in which the display content of the digital signage device 20 is visible. It is determined whether or not the person M is in the area.
  • the target specifying unit 302 performs the flow line analysis of the person M based on the image captured by the imaging device 10, and the position information of the person M obtained by the flow line analysis and the installation position of the digital signage apparatus 20 By comparing, it is determined whether or not the person M is positioned in front of the digital signage device 20 in the vicinity.
  • the candidate image storage unit 303 stores each race and a candidate image including each image of a plurality of use language candidates of a person related to each race in association with each other.
  • FIG. 3 is an example of a candidate image according to the first embodiment.
  • the candidate image storage unit 303 associates with the yellow race and includes candidate images including images of English, Chinese, Japanese, Korean, Hindi, and Russian character strings as shown in FIG.
  • All string of each language to be included in the candidate image is the same content (for example, "Welcome", "Hello”, etc.) indicate the.
  • the candidate image storage unit 303 stores, for each candidate image, a range in which character strings related to each language exist in the candidate images.
  • the candidate specifying unit 304 estimates the race of the person M specified by the target specifying unit 302 and determines a candidate image to be presented to the person M from among a plurality of candidate images stored in the candidate image storage unit 303. For example, the candidate specifying unit 304 prepares face feature amount information for each race in advance, and specifies the race related to the face feature amount information having the highest similarity as the race of the person M. That is, the candidate specifying unit 304 specifies a plurality of use language candidates based on the face information of the person M.
  • the first output control unit 305 displays the candidate image determined by the candidate specifying unit 304 on the digital signage device 20 in the vicinity of the person specified by the target specifying unit 302. That is, the first output control unit 305 causes the digital signage device 20 to output character strings expressed in a plurality of languages.
  • the line-of-sight estimation unit 306 estimates the line of sight of the person M identified by the target identification unit 302. For example, the line-of-sight estimation unit 306 identifies the line of sight by specifying the positions of the eyes of both eyes of the person M from the image captured by the camera provided in the imaging device 10 or the digital signage apparatus 20 located in the vicinity of the person M. Can be estimated. Further, for example, the line-of-sight estimation unit 306 identifies reflected light of the light provided in the digital signage device 20 located in the vicinity of the person M with a camera provided in the digital signage device 20 and specifies the amount of corneal reflection of the person M. Thus, the line of sight can be estimated.
  • the language-in-use estimation unit 307 estimates the intersection of the line of sight estimated by the line-of-sight estimation unit 306 and the digital signage device 20, and estimates the language displayed at this intersection as the language used by the person M. That is, the language used estimation unit 307 estimates the language used by the person M based on the candidate image output from the digital signage device 20 and the reaction of the person M to the candidate image. The reaction of the person M to the candidate image indicates an action taken by the person M, for example, visual recognition of the digital signage device 20.
  • the advertisement information storage unit 308 stores a language and advertisement information including a character string of the language in association with each other.
  • the information determination unit 309 determines the advertisement information associated with the use language estimated by the use language estimation unit 307 among the advertisement information stored in the advertisement information storage unit 308 as information to be presented to the person M.
  • the second output control unit 310 causes the information determined by the information determination unit 309 to be displayed on the digital signage device 20 located in the vicinity of the person M.
  • FIG. 4 is a flowchart showing the operation of the output control apparatus according to the first embodiment.
  • the image receiving unit 301 receives (acquires) an image from each imaging device 10 (step S1).
  • the target specifying unit 302 determines whether or not the person M is positioned in front of the digital signage device 20 (step S2).
  • the output control device 30 ends the process and waits for reception of the next image.
  • the target specifying unit 302 specifies the person M positioned in front of the digital signage device 20 and the digital signage device 20.
  • the specification of the person M is, for example, specifying an image in which the person M is captured among a plurality of images received by the image receiving unit 301, and an area in which the person M is captured in an image received by the image receiving unit 301.
  • the identification of the digital signage device 20 includes specifying an ID (identification) of the digital signage device 20.
  • the candidate specifying unit 304 estimates the race of the person M specified by the target specifying unit 302 (step S4).
  • the candidate specifying unit 304 determines a candidate image associated with the specified race as a candidate image to be presented to the person M, and reads this candidate image from the candidate image storage unit 303 (step S5).
  • the first output control unit 305 transmits an instruction to output the candidate image read by the candidate specifying unit 304 to the digital signage device 20 specified in step S3 (step S6).
  • the digital signage device 20 existing in the vicinity of the person M displays a candidate image including the language candidate for the person M.
  • the line-of-sight estimation unit 306 estimates the line of sight of the person M identified in step S3 (step S7).
  • the language usage estimation unit 307 specifies the intersection of the line of sight estimated by the line of sight estimation unit 306 and the digital signage device 20 (step S8). For example, when the line-of-sight estimation unit 306 specifies the line of sight in a three-dimensional orthogonal coordinate system, the language-of-use estimation unit 307 displays the straight line representing the specified line of sight and the display surface of the digital signage device 20 in the orthogonal coordinate system. Calculate the intersection with the plane to represent.
  • the use language estimation unit 307 estimates the language of the character string displayed at the specified intersection among the character strings included in the candidate image determined in step S5 as the use language of the person M (step S9). . Since the candidate image storage unit 303 stores the range in which the character string related to each language exists among the candidate images for each candidate image, the language usage estimation unit 307 includes the specified intersection of the determined candidate images. The language used can be estimated by acquiring the language associated with the range from the candidate image storage unit 303. When a character string in a plurality of languages is displayed at the same time, the person M usually visually recognizes the character string expressed in the familiar language used. This is because the character string expressed in the language used can easily read the contents as compared with the character string expressed in another language. Therefore, the use language estimation unit 307 can estimate the language of the character string displayed in the portion of the candidate image that intersects the line of sight of the person M as the use language of the person M.
  • the information determination unit 309 determines the advertisement information to be presented to the person M by reading out the advertisement information associated with the estimated language used from the advertisement information storage unit 308 (step S10).
  • the second output control unit 310 transmits an instruction to output the advertisement information read by the information determination unit 309 to the digital signage device 20 identified in step S3 (step S11). Thereby, the digital signage apparatus 20 located in the vicinity of the person M displays the advertisement information expressed in the language used by the person M.
  • the output control device 30 causes the digital signage device 20 to output character strings expressed in a plurality of languages, and the digital signage device 20 of these character strings and the person M.
  • the advertising information to be presented to the person M is determined based on the viewing behavior.
  • the output control apparatus 30 can present the advertising information expressed in the language used by the person M to the person M.
  • the output control device 30 can cause the digital signage device 20 to output information corresponding to the person M.
  • the character strings displayed in the candidate images are character strings having the same content expressed in different languages. Therefore, since the person M is interested in the content of the character string displayed, it is possible to prevent the user from gazing at the character string expressed in a language other than the language used.
  • the output control device 30 specifies a plurality of language candidates based on the face information of the person M. Thereby, the number of character strings to be displayed in the candidate image can be appropriately reduced.
  • the character strings displayed in the candidate images are character strings having the same content expressed in different languages, but are not limited thereto.
  • character strings having different contents and different languages may be included in the candidate image.
  • the candidate specifying unit 304 specifies a plurality of language candidates based on the person's face information, but the present invention is not limited to this.
  • the output control device 30 may not include the candidate specifying unit 304 and may display candidate images including all displayable languages on the digital signage device 20.
  • the output control device 30 includes the first output control unit 305 and the second output control unit 310, but is not limited thereto.
  • the first output control unit 305 and the second output control unit 310 may be configured as the same control unit.
  • the language used by the person M is estimated based on the line of sight of the person M with respect to the candidate image displayed on the digital signage device 20.
  • the language used by the person M is estimated based on the reaction of the person M to the voice guidance.
  • FIG. 5 is a schematic diagram illustrating a configuration of an information output system according to the second embodiment.
  • the information output system 1 according to the second embodiment further includes a speaker 40 in addition to the configuration of the first embodiment.
  • the speaker 40 emits audio information in the facility. It is assumed that the sound emitted from the speaker 40 can be heard at least at the installation position of each digital signage device 20.
  • the speaker 40 is an example of an output device.
  • FIG. 6 is a schematic block diagram showing the configuration of the output control apparatus according to the second embodiment.
  • the output control apparatus 30 according to the second embodiment replaces the candidate image storage unit 303, the candidate identification unit 304, and the line-of-sight estimation unit 306 in the configuration of the first embodiment with a voice information storage unit 311 and an action recognition unit 312. Is provided. Further, the behaviors of the first output control unit 305 and the used language estimation unit 307 are different from those of the first embodiment.
  • the voice information storage unit 311 stores voice information including a plurality of announcements pronounced in different languages. The content of each announcement is the same.
  • the voice information storage unit 311 stores the language related to the announcement and the reproduction position of the voice information where the announcement is started in association with each other.
  • the action recognition unit 312 recognizes the reaction of the person M (that is, a change in action taken by the person M).
  • the change of the action which the person M takes the change of a walking state and the change of a gaze are mentioned. More specifically, as an example of a change in behavior, the person M stops walking, the walking speed of the person M decreases, the line of sight of the person M changes from the front of the traveling direction to another direction (for example, installation of the speaker 40) Direction).
  • the use language storage unit 313 stores the feature information of the person M and the use language estimated by the use language estimation unit 307 in association with each other. Examples of feature information include facial feature values, clothes, and walking patterns.
  • the first output control unit 305 transmits an output instruction for causing the speaker 40 to output audio information stored in the audio information storage unit 311.
  • the language used estimation unit 307 estimates the language used by the person M based on the output timing of the audio information from the speaker 40 and the timing of the change in the behavior of the person M. Specifically, the used language estimation unit 307 estimates the language used as the language used by the person M when the behavior of the person M changes when the sound of a certain language is output from the speaker 40.
  • the use language estimation unit 307 stores the feature information of the person M and the estimated use language in the use language storage unit 313 in association with each other.
  • the output control device 30 uses the use language estimation process for recording the language used by the person M in the use language storage unit 313 and the information stored in the use language storage unit 313 in the digital signage device 20. Promotion information display processing for displaying advertisement information is executed.
  • FIG. 7 is a flowchart showing the language used estimation process of the output control apparatus according to the second embodiment.
  • the output control device 30 executes the language used estimation process at a timing (for example, every 5 minutes) at which audio information should be output from the speaker 40.
  • the image receiving unit 301 receives (acquires) an image from the imaging device 10 (step S101).
  • the behavior recognition unit 312 identifies a person who is a recognition target of the behavior from the received image (step S102).
  • the first output control unit 305 reads the audio information from the audio information storage unit 311 and transmits an audio information output instruction to the speaker 40 (step S103). Thereby, the speaker 40 outputs audio information including announcements in a plurality of languages.
  • the action recognition unit 312 recognizes the change in action of each person M specified in step S102 (step S104). At this time, the action recognition unit 312 identifies the time when the action changes for each person M.
  • the use language estimation unit 307 estimates the use language of the person M based on the output timing of the audio information from the speaker 40 and the change timing of the action of the person M (step S105). Specifically, the language-of-use estimation unit 307 indicates the time from the time when the voice information output instruction is transmitted in step S103 to the time when the behavior specified in step S104 is changed. It is specified as a playback position related to the changed timing.
  • the use language estimation unit 307 estimates the language used by the person M by specifying the language of the announcement output at the reproduction position specified from the audio information storage unit 311.
  • the use language estimation unit 307 records the feature information of each person M specified in step S102 in association with the use language of the person M in the use language storage unit 313 (step S106).
  • FIG. 8 is a flowchart showing the advertisement information output process of the output control apparatus according to the second embodiment.
  • the output control device 30 executes advertisement information output processing at regular time intervals (for example, every 5 seconds).
  • the image receiving unit 301 receives (acquires) an image from each imaging device 10 (step S121).
  • the target specifying unit 302 determines whether or not the person M is located in front of the digital signage device 20 (step S122).
  • the output control device 30 ends the process and waits for reception of the next image.
  • the target specifying unit 302 specifies the person M positioned in front of the digital signage device 20 and the digital signage device 20.
  • the information determination unit 309 refers to the use language storage unit 313 based on the feature information of the person M identified in step S123, and acquires the language associated with the feature information (step S124).
  • the information determination unit 309 determines the advertisement information to be presented to the person M by acquiring the advertisement information associated with the language from the advertisement information storage unit 308 (step S125).
  • the second output control unit 310 transmits the advertising information output instruction acquired by the information determining unit 309 to the digital signage device 20 identified in step S123 (step S126). Thereby, the digital signage apparatus 20 located in the vicinity of the person M displays the advertisement information expressed in the language used by the person M.
  • the output control device 30 causes the speaker 40 to output an announcement in a plurality of languages, and presents it to the person M based on the announcement and the reaction of the person M to the announcement. Decide what advertising information should be. Thereby, the output control apparatus 30 can present the advertising information expressed in the language used by the person M to the person M. Thereby, the output control device 30 can cause the digital signage device 20 to output information corresponding to the person M.
  • the announcements included in the audio information are announcements of the same content expressed in different languages. Accordingly, since the person M is interested in the content of the announcement that is output, it is possible to prevent the behavior from changing at the output timing of the announcement expressed in a language other than the language used.
  • the announcements included in the audio information are announcements of the same content expressed in different languages, but are not limited thereto.
  • announcements with different contents and different languages may be included in the audio information.
  • the output control apparatus 30 includes a candidate specifying unit 304, and the candidate specifying unit 304 specifies a plurality of language candidates based on person face information. May be.
  • the first output control unit 305 causes the speaker 40 to output sound information including the specified language candidate announcement.
  • the information output system 1 estimates the language used by the person M and presents the information, but is not limited thereto.
  • the information output system 1 may present information by estimating the preference of the person M.
  • the candidate image storage unit 303 may store images including different information that does not depend on language, such as images including a plurality of different products as candidate images. In this case, it is presumed that the image related to the intersection between the line of sight of the person M and the digital signage device 20 reflects the preference of the person M. Therefore, the second output control device 30 can present information according to the preference of the person M.
  • the output of the digital signage device 20 is controlled by the output control device 30 provided separately from the digital signage device 20, but is not limited thereto.
  • each digital signage device 20 may have the function of the output control device 30.
  • the digital signage device 20 is provided as an output device, but is not limited thereto.
  • the information output system 1 may include another output device that outputs information to a person located at a predetermined point, such as a parametric speaker.
  • the output control device 30 stores the advertisement information.
  • the present invention is not limited to this, and the advertisement information may be stored in a database outside the output control device 30.
  • FIG. 9 is a schematic block diagram showing the basic configuration of the output control apparatus.
  • the configuration illustrated in FIGS. 2 and 6 has been described as an embodiment of the output control device 30, but the basic configuration of the output control device 30 is as illustrated in FIG. That is, the output control device 30 has a control unit 355 and an information determination unit 309 as basic configurations.
  • the control unit 355 causes the output device to output first information including a plurality of types of information.
  • the control unit 355 causes the output device or another output device to output the second information determined by the information determination unit 309.
  • the information determination unit 309 specifies the type to be presented to the person M based on the first information output from the output device and the reaction of the person M with respect to the first information, and the second type of the specified type Determine information. Thereby, the output control device 30 can cause the output device to output information corresponding to the person M to be presented.
  • FIG. 10 is a schematic block diagram illustrating a configuration of a computer according to at least one embodiment.
  • the computer 900 includes a CPU (Central Processing Unit) 901, a main storage device 902, an auxiliary storage device 903, and an interface 904.
  • the above-described output control device 30 is mounted on the computer 900.
  • the operation of each processing unit described above is stored in the auxiliary storage device 903 in the form of a program.
  • the CPU 901 reads out the program from the auxiliary storage device 903, expands it in the main storage device 902, and executes the above processing according to this program. Further, the CPU 901 secures a storage area corresponding to each of the above-described storage units in the main storage device 902 according to the program.
  • the auxiliary storage device 903 is an example of a tangible medium that is not temporary.
  • Other examples of non-temporary tangible media include magnetic disks, magneto-optical disks, CD-ROMs (Compact Disc Read Only Memory), DVD-ROMs (Digital Versatile Disc Disc Read Only Memory) connected via the interface 904, Semiconductor memory etc. are mentioned.
  • the computer 900 that has received the distribution may develop the program in the main storage device 902 and execute the above processing.
  • this program may be for realizing a part of the functions described above. Further, this program may be a so-called difference file (difference program) that realizes the above-described functions in combination with another program already stored in the auxiliary storage device 903.
  • difference file difference program

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

出力装置に複数の種類の情報を含む、第１の情報を出力させる制御部と、前記出力装置が出力した前記第１の情報と、前記第１の情報に対する人物の反応とに基づいて、前記人物に提示すべき種類を特定し、前記特定された種類の第２の情報を決定する情報決定部とを備え、前記制御部が、前記出力装置または他の出力装置に前記情報決定部が決定した前記第２の情報を出力させる出力制御装置。

Description

出力制御装置、出力制御方法、およびプログラム
　本発明は、出力制御装置、出力制御方法、およびプログラムに関する。
　施設内などの空間に設置されるサイネージ装置において、表示内容を電気的に変更することができるデジタルサイネージ装置が知られている。デジタルサイネージ装置において、閲覧している人物に応じて表示内容を変更する技術が知られている（例えば、特許文献１を参照）。また、デジタルサイネージ装置の他にも、パラメトリック・スピーカーなど、所定の地点に位置する人物に情報を出力する出力装置が知られている。
特開２０１２－２５２６１３号公報
　出力装置による情報の提供を受ける人物の使用言語は、必ずしも同じであるとは限らない。また出力装置による情報の提供を受ける人物の興味対象は、必ずしも同じであるとは限らない。そのため、出力装置が、対象人物の使用言語と異なる言語に係る情報、または対象人物の興味のない対象に係る情報を出力すると、その人物に適切な情報を伝達することができない可能性がある。
　本発明の目的は、上述した課題を解決する出力制御装置、出力制御方法、およびプログラムを提供することにある。
　本発明の第１の態様に係る出力制御装置は、出力装置に複数の種類の情報を含む、第１の情報を出力させる制御部と、前記出力装置が出力した前記第１の情報と、前記第１の情報に対する人物の反応とに基づいて、前記人物に提示すべき種類を特定し、前記特定された種類の第２の情報を決定する情報決定部と、を備え、前記制御部が、前記出力装置または他の出力装置に前記情報決定部が決定した前記第２の情報を出力させる。
　本発明の第２の態様に係る出力制御方法は、出力装置に複数の種類の情報を含む、第１の情報を出力させ、前記出力装置が出力した前記第１の情報と、前記第１の情報に対する人物の反応とに基づいて、前記人物に提示すべき種類を特定し、前記特定された種類の第２の情報を決定し、前記出力装置または他の出力装置に、決定した前記第２の情報を出力させる。
　本発明の第３の態様に係るプログラムは、コンピュータに、出力装置に複数の種類の情報を含む、第１の情報を出力させ、前記出力装置が出力した前記第１の情報と、前記第１の情報に対する人物の反応とに基づいて、前記人物に提示すべき種類を特定し、前記特定された種類の第２の情報を決定し、前記出力装置または他の出力装置に、決定した前記第２の情報を出力させる処理を実行させる。
　本発明によれば、提示対象の人物に応じた情報を出力装置に出力させることができる。
第１の実施形態に係る情報出力システムの構成を示す概略図である。 第１の実施形態に係る出力制御装置の構成を示す概略ブロック図である。 第１の実施形態に係る候補画像の一例である。 第１の実施形態に係る出力制御装置の動作を示すフローチャートである。 第２の実施形態に係る情報出力システムの構成を示す概略図である。 第２の実施形態に係る出力制御装置の構成を示す概略ブロック図である。 第２の実施形態に係る出力制御装置の使用言語推定処理を示すフローチャートである。 第２の実施形態に係る出力制御装置の宣伝情報表示処理を示すフローチャートである。 出力制御装置の基本構成を示す概略ブロック図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
〈第１の実施形態〉
《構成》
　以下、図面を参照しながら実施形態について詳しく説明する。
　図１は、第１の実施形態に係る情報出力システムの構成を示す概略図である。
　第１の実施形態に係る情報出力システム１は、店舗内に設けられる。情報出力システム１は、店舗内の人物Ｍに対し、その人物Ｍに応じた宣伝情報を表示させる。
　情報出力システム１は、複数の撮像装置１０、複数のデジタルサイネージ装置２０、および出力制御装置３０を備える。
　複数の撮像装置１０は、それぞれ店舗内に設けられる。撮像装置１０は、少なくとも各デジタルサイネージ装置２０の正面の通路が何れかの撮像装置１０の撮像範囲に含まれるように設置される。各撮像装置１０が撮像した画像は、出力制御装置３０に送信される。
　複数のデジタルサイネージ装置２０は、出力制御装置３０の指示に従って画像を表示する。デジタルサイネージ装置２０は、出力装置の一例である。
　出力制御装置３０は、撮像装置１０が撮像した画像に基づいて、各デジタルサイネージ装置２０の表示を制御する。
　図２は、第１の実施形態に係る出力制御装置の構成を示す概略ブロック図である。
　出力制御装置３０は、画像受信部３０１、対象特定部３０２、候補画像記憶部３０３、候補特定部３０４、第１出力制御部３０５、視線推定部３０６、使用言語推定部３０７、宣伝情報記憶部３０８、情報決定部３０９、第２出力制御部３１０を備える。
　画像受信部３０１は、撮像装置１０から画像を取得する。
　対象特定部３０２は、画像受信部３０１が受信した画像から、デジタルサイネージ装置２０の前方の所定距離内に存在する人物Ｍを、情報の出力対象の人物として特定する。例えば、対象特定部３０２は、画像受信部３０１が受信した画像のうち、デジタルサイネージ装置２０の近傍前方、すなわちデジタルサイネージ装置２０の表示内容を視認可能な範囲が写る領域を特定しておき、この領域内に人物Ｍが写っているか否かを判定する。また例えば、対象特定部３０２は、撮像装置１０が撮像した画像に基づいて人物Ｍの動線解析を行い、動線解析により得られた人物Ｍの位置情報とデジタルサイネージ装置２０の設置位置とを比較することで、デジタルサイネージ装置２０の近傍前方に人物Ｍが位置するか否かを判定する。
　候補画像記憶部３０３は、各人種と、それぞれの人種に係る人物の複数の使用言語候補の各画像を含む候補画像とを関連付けて記憶する。図３は、第１の実施形態に係る候補画像の一例である。例えば、候補画像記憶部３０３は、黄色人種に関連付けて、図３に示すような、英語、中国語、日本語、韓国語、ヒンディー語、およびロシア語の文字列の各画像を含む候補画像を記憶する。候補画像に含まれる各言語の文字列は全て同一内容（例えば、「ようこそ」、「こんにちは」など）を示す。候補画像記憶部３０３は、候補画像ごとに、候補画像のうち各言語に係る文字列が存在する範囲を記憶する。
　候補特定部３０４は、対象特定部３０２が特定した人物Ｍの人種を推定し、候補画像記憶部３０３が記憶する複数の候補画像の中から、この人物Ｍに提示する候補画像を決定する。候補特定部３０４は、例えば、予め人種ごとの顔特徴量情報を用意しておき、最も類似度が高い顔特徴量情報に係る人種を、人物Ｍの人種として特定する。つまり、候補特定部３０４は、人物Ｍの顔情報に基づいて、複数の使用言語候補を特定する。
　第１出力制御部３０５は、候補特定部３０４が決定した候補画像を、対象特定部３０２が特定した人物の近傍のデジタルサイネージ装置２０に表示させる。つまり、第１出力制御部３０５は、デジタルサイネージ装置２０に複数の言語によって表される文字列を出力させる。
　視線推定部３０６は、対象特定部３０２が特定した人物Ｍの視線を推定する。例えば、視線推定部３０６は、撮像装置１０または人物Ｍの近傍に位置するデジタルサイネージ装置２０に設けられたカメラによって撮像された画像から人物Ｍの両目の瞳の位置を特定することで、視線を推定することができる。また例えば、視線推定部３０６は、人物Ｍの近傍に位置するデジタルサイネージ装置２０に設けられたライトの反射光をデジタルサイネージ装置２０に設けられたカメラで捉え、人物Ｍの角膜反射量を特定することで、視線を推定することができる。
　使用言語推定部３０７は、視線推定部３０６が推定した視線と、デジタルサイネージ装置２０の交点を推定し、この交点に表示された言語を、人物Ｍの使用言語として推定する。つまり、使用言語推定部３０７は、デジタルサイネージ装置２０が出力した候補画像と、候補画像に対する人物Ｍの反応とに基づいて、人物Ｍの使用言語を推定する。候補画像に対する人物Ｍの反応は人物Ｍがとる行動を示し、例えば、デジタルサイネージ装置２０の視認である。
　宣伝情報記憶部３０８は、言語と、その言語の文字列を含む宣伝情報とを関連付けて記憶する。
　情報決定部３０９は、宣伝情報記憶部３０８が記憶する宣伝情報のうち、使用言語推定部３０７が推定した使用言語に関連付けられた宣伝情報を、人物Ｍに提示すべき情報に決定する。
　第２出力制御部３１０は、情報決定部３０９が決定した情報を、人物Ｍの近傍に位置するデジタルサイネージ装置２０に表示させる。
《動作》
　図４は、第１の実施形態に係る出力制御装置の動作を示すフローチャートである。
　出力制御装置３０が起動すると、画像受信部３０１は、各撮像装置１０から画像を受信（取得）する（ステップＳ１）。画像受信部３０１が画像を受信すると、対象特定部３０２は、デジタルサイネージ装置２０の近傍前方に人物Ｍが位置するか否かを判定する（ステップＳ２）。デジタルサイネージ装置２０の近傍前方に人物Ｍが位置しない場合（ステップＳ２：ＮＯ）、出力制御装置３０は処理を終了し、次の画像の受信を待機する。
　他方、デジタルサイネージ装置２０の近傍前方に人物Ｍが位置する場合（ステップＳ２：ＹＥＳ）、対象特定部３０２は、デジタルサイネージ装置２０の近傍前方に位置する人物Ｍ、およびそのデジタルサイネージ装置２０を特定する（ステップＳ３）。人物Ｍの特定とは、例えば、画像受信部３０１が受信した複数の画像のうちその人物Ｍが写る画像を特定すること、および画像受信部３０１が受信した画像のうちその人物Ｍが写る領域を特定することが挙げられる。デジタルサイネージ装置２０の特定とは、そのデジタルサイネージ装置２０のＩＤ（identification）を特定することが挙げられる。
　次に、候補特定部３０４は、対象特定部３０２が特定した人物Ｍの人種を推定する（ステップＳ４）。次に、候補特定部３０４は、特定した人種に関連付けられた候補画像をその人物Ｍに提示する候補画像に決定し、この候補画像を候補画像記憶部３０３から読み出す（ステップＳ５）。次に、第１出力制御部３０５は、候補特定部３０４が読み出した候補画像の出力指示を、ステップＳ３で特定したデジタルサイネージ装置２０に送信する（ステップＳ６）。これにより、人物Ｍの近傍に存在するデジタルサイネージ装置２０は、その人物Ｍの使用言語候補を含む候補画像を表示する。
　次に、視線推定部３０６は、ステップＳ３で特定した人物Ｍの視線を推定する（ステップＳ７）。次に、使用言語推定部３０７は、視線推定部３０６が推定した視線と、デジタルサイネージ装置２０との交点を特定する（ステップＳ８）。例えば、視線推定部３０６が視線を三次元の直交座標系にて特定する場合、使用言語推定部３０７は、特定された視線を表す直線と、同直交座標系におけるデジタルサイネージ装置２０の表示面を表す平面との交点を算出する。次に、使用言語推定部３０７は、ステップＳ５で決定した候補画像に含まれる文字列のうち、特定した交点に表示される文字列の言語を、人物Ｍの使用言語と推定する（ステップＳ９）。候補画像記憶部３０３は、候補画像ごとに、候補画像のうち各言語に係る文字列が存在する範囲を記憶しているので、使用言語推定部３０７は、決定した候補画像の特定した交点を含む範囲に関連付けられた言語を、候補画像記憶部３０３から取得することで、使用言語を推定することができる。
　人物Ｍは、複数の言語の文字列が同時に表示された場合、通常、慣れ親しんだ使用言語で表される文字列を視認する。これは、使用言語で表される文字列が、他の言語で表される文字列と比較して容易に内容を読み取ることができるためである。したがって、使用言語推定部３０７は、候補画像のうち人物Ｍの視線と交わる部分に表示された文字列の言語を、その人物Ｍの使用言語と推定することができる。
　情報決定部３０９は、推定された使用言語に関連付けられた宣伝情報を、宣伝情報記憶部３０８から読み出すことで、人物Ｍに提示すべき宣伝情報を決定する（ステップＳ１０）。第２出力制御部３１０は、情報決定部３０９が読み出した宣伝情報の出力指示を、ステップＳ３で特定したデジタルサイネージ装置２０に送信する（ステップＳ１１）。これにより、人物Ｍの近傍に位置するデジタルサイネージ装置２０は、その人物Ｍの使用言語で表される宣伝情報を表示する。
《作用・効果》
　このように、第１の実施形態によれば、出力制御装置３０は、デジタルサイネージ装置２０に複数の言語で表された文字列を出力させ、これらの文字列と人物Ｍによるデジタルサイネージ装置２０の視認行動とに基づいて、人物Ｍに提示すべき宣伝情報を決定する。これにより、出力制御装置３０は、人物Ｍの使用言語で表された宣伝情報を、その人物Ｍに提示することができる。これにより、出力制御装置３０は、その人物Ｍに応じた情報をデジタルサイネージ装置２０に出力させることができる。
　また第１の実施形態によれば、候補画像に表示される文字列は、それぞれ異なる言語で表された同一内容の文字列である。これにより、人物Ｍが表示された文字列の内容に興味があるために、使用言語以外の言語で表された文字列を注視してしまうことを防ぐことができる。
　また第１の実施形態によれば、出力制御装置３０は、人物Ｍの顔情報に基づいて複数の使用言語候補を特定する。これにより、候補画像に表示すべき文字列の数を適切に削減することができる。
《変形例》
　なお、第１の実施形態によれば、候補画像に表示される文字列は、それぞれ異なる言語で表された同一内容の文字列であるが、これに限られない。例えば、他の実施形態においては、異なる内容かつ異なる言語の文字列が候補画像に含まれてもよい。
　また、第１の実施形態によれば、候補特定部３０４が、人物の顔情報に基づいて、複数の使用言語候補を特定するが、これに限られない。例えば、他の実施形態においては、出力制御装置３０が候補特定部３０４を備えず、表示可能なすべての言語を含む候補画像をデジタルサイネージ装置２０に表示させてもよい。
　また、第１の実施形態によれば、出力制御装置３０が第１出力制御部３０５と第２出力制御部３１０とを備えるが、これに限られない。例えば、他の実施形態においては、第１出力制御部３０５と第２出力制御部３１０とが同一の制御部として構成されてもよい。
〈第２の実施形態〉
　第２の実施形態について説明する。
　第１の実施形態は、デジタルサイネージ装置２０に表示された候補画像に対する人物Ｍの視線に基づいて人物Ｍの使用言語を推定する。これに対し、第２の実施形態は、音声案内に対する人物Ｍの反応に基づいて人物Ｍの使用言語を推定する。
　図５は、第２の実施形態に係る情報出力システムの構成を示す概略図である。
　第２の実施形態に係る情報出力システム１は、第１の実施形態の構成に加え、さらにスピーカ４０を備える。スピーカ４０は、施設内に音声情報を発する。スピーカ４０が発する音声は、少なくとも各デジタルサイネージ装置２０の設置位置において聞き取ることができるものとする。スピーカ４０は出力装置の一例である。
　図６は、第２の実施形態に係る出力制御装置の構成を示す概略ブロック図である。
　第２の実施形態に係る出力制御装置３０は、第１の実施形態の構成における候補画像記憶部３０３、候補特定部３０４および視線推定部３０６に代えて、音声情報記憶部３１１および行動認識部３１２を備える。また、第１出力制御部３０５および使用言語推定部３０７の挙動が第１の実施形態と異なる。
　音声情報記憶部３１１は、異なる言語で発音された複数のアナウンスを含む音声情報を記憶する。各アナウンスの内容は全て同一である。音声情報記憶部３１１は、アナウンスに係る言語とそのアナウンスが開始される音声情報の再生位置とを関連付けて記憶する。
　行動認識部３１２は、人物Ｍの反応（すなわち人物Ｍがとる行動の変化）を認識する。人物Ｍがとる行動の変化の一例としては、歩行状態の変化および視線の変化が挙げられる。より具体的には、行動の変化の一例として、人物Ｍが歩行を止めること、人物Ｍの歩行速度が低下すること、人物Ｍの視線方向が進行方向前方から他の方向（例えばスピーカ４０の設置方向）へ変わることが挙げられる。
　使用言語記憶部３１３は、人物Ｍの特徴情報と使用言語推定部３０７が推定した使用言語とを関連付けて記憶する。特徴情報の例としては、顔特徴量、服装、および歩行パターンが挙げられる。
　第１出力制御部３０５は、スピーカ４０に音声情報記憶部３１１が記憶する音声情報を出力させる出力指示を送信する。
　使用言語推定部３０７は、スピーカ４０による音声情報の出力タイミングと、人物Ｍの行動の変化のタイミングとに基づいて、人物Ｍの使用言語を推定する。具体的には、使用言語推定部３０７は、スピーカ４０からある言語の音声が出力されているときに人物Ｍの行動が変化した場合に、その言語を人物Ｍの使用言語と推定する。使用言語推定部３０７は、人物Ｍの特徴情報と推定した使用言語とを関連付けて使用言語記憶部３１３に記憶する。
《動作》
　第２の実施形態に係る出力制御装置３０は、使用言語記憶部３１３に人物Ｍの使用言語を記録する使用言語推定処理と、使用言語記憶部３１３が記憶する情報を用いてデジタルサイネージ装置２０に宣伝情報を表示させる宣伝情報表示処理とを実行する。
　図７は、第２の実施形態に係る出力制御装置の使用言語推定処理を示すフローチャートである。
　出力制御装置３０は、スピーカ４０から音声情報を出力すべきタイミング（例えば、５分おき）に、使用言語推定処理を実行する。出力制御装置３０が使用言語推定処理を開始すると、画像受信部３０１は、撮像装置１０から画像を受信（取得）する（ステップＳ１０１）。
次に、行動認識部３１２は、受信した画像から行動の認識対象となる人物を特定する（ステップＳ１０２）。次に、第１出力制御部３０５は、音声情報記憶部３１１から音声情報を読み出し、スピーカ４０に音声情報の出力指示を送信する（ステップＳ１０３）。これによりスピーカ４０は、複数の言語のアナウンスを含む音声情報を出力する。
　次に、行動認識部３１２は、ステップＳ１０２で特定した各人物Ｍの行動の変化を認識する（ステップＳ１０４）。このとき、行動認識部３１２は、各人物Ｍについて行動が変化した時刻を特定する。次に、使用言語推定部３０７は、スピーカ４０による音声情報の出力タイミングと、人物Ｍの行動の変化のタイミングとに基づいて、人物Ｍの使用言語を推定する（ステップＳ１０５）。具体的には、使用言語推定部３０７は、ステップＳ１０３で音声情報の出力指示を送信した時刻から、ステップＳ１０４で特定した行動が変化した時刻までの時間を、音声情報のうち人物Ｍの行動が変化したタイミングに係る再生位置として特定する。そして使用言語推定部３０７は、音声情報記憶部３１１から特定した再生位置において出力されるアナウンスの言語を特定することで、人物Ｍの使用言語を推定する。使用言語推定部３０７は、ステップＳ１０２で特定した各人物Ｍの特徴情報とその人物Ｍの使用言語とを関連付けて使用言語記憶部３１３に記録する（ステップＳ１０６）。
　図８は、第２の実施形態に係る出力制御装置の宣伝情報出力処理を示すフローチャートである。
　出力制御装置３０は、一定時間ごと（例えば、５秒ごと）に、宣伝情報出力処理を実行する。出力制御装置３０が宣伝情報表示処理を開始すると、画像受信部３０１は、各撮像装置１０から画像を受信（取得）する（ステップＳ１２１）。画像受信部３０１が画像を受信すると、対象特定部３０２は、デジタルサイネージ装置２０の近傍前方に人物Ｍが位置するか否かを判定する（ステップＳ１２２）。デジタルサイネージ装置２０の近傍前方に人物Ｍが位置しない場合（ステップＳ１２２：ＮＯ）、出力制御装置３０は処理を終了し、次の画像の受信を待機する。
　他方、デジタルサイネージ装置２０の近傍前方に人物Ｍが位置する場合（ステップＳ１２２：ＹＥＳ）、対象特定部３０２は、デジタルサイネージ装置２０の近傍前方に位置する人物Ｍ、およびそのデジタルサイネージ装置２０を特定する（ステップＳ１２３）。
　次に、情報決定部３０９は、ステップＳ１２３で特定した人物Ｍの特徴情報に基づいて使用言語記憶部３１３を参照し、その特徴情報に関連付けられた言語を取得する（ステップＳ１２４）。次に、情報決定部３０９は、宣伝情報記憶部３０８からその言語に関連付けられた宣伝情報を取得することで、人物Ｍに提示すべき宣伝情報を決定する（ステップＳ１２５）。第２出力制御部３１０は、情報決定部３０９が取得した宣伝情報の出力指示を、ステップＳ１２３で特定したデジタルサイネージ装置２０に送信する（ステップＳ１２６）。これにより、人物Ｍの近傍に位置するデジタルサイネージ装置２０は、その人物Ｍの使用言語で表される宣伝情報を表示する。
《作用・効果》
　このように、第２の実施形態によれば、出力制御装置３０は、スピーカ４０に複数の言語によるアナウンスを出力させ、そのアナウンスとアナウンスに対する人物Ｍの反応とに基づいて、人物Ｍに提示すべき宣伝情報を決定する。これにより、出力制御装置３０は、人物Ｍの使用言語で表された宣伝情報を、その人物Ｍに提示することができる。これにより、出力制御装置３０は、その人物Ｍに応じた情報をデジタルサイネージ装置２０に出力させることができる。
　また第２の実施形態によれば、音声情報に含まれるアナウンスは、それぞれ異なる言語で表された同一内容のアナウンスである。これにより、人物Ｍが出力されたアナウンスの内容に興味があるために、使用言語以外の言語で表されたアナウンスの出力タイミングで行動が変化してしまうことを防ぐことができる。
《変形例》
　なお、第２の実施形態によれば、音声情報に含まれるアナウンスは、それぞれ異なる言語で表された同一内容のアナウンスであるが、これに限られない。例えば、他の実施形態においては、異なる内容かつ異なる言語のアナウンスが音声情報に含まれてもよい。
　また、他の実施形態においては、第１の実施形態と同様に、出力制御装置３０が候補特定部３０４を備え、候補特定部３０４が人物の顔情報に基づいて、複数の使用言語候補を特定してもよい。この場合、第１出力制御部３０５は、特定された使用言語候補のアナウンスからなる音声情報をスピーカ４０から出力させる。
〈他の実施形態〉
　以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
　例えば、上述した実施形態に係る情報出力システム１は、人物Ｍの使用言語を推定して情報の提示を行うが、これに限られない。例えば、他の実施形態に係る情報出力システム１は、人物Ｍの嗜好を推定して情報の提示を行ってもよい。具体的には、候補画像記憶部３０３が候補画像として複数の異なる商品を含む画像など、言語によらない異なる情報を含む画像を記憶してもよい。この場合、人物Ｍの視線とデジタルサイネージ装置２０との交点に係る画像は、その人物Ｍの嗜好を反映していることが推定される。したがって、第２出力制御装置３０は、人物Ｍの嗜好に応じた情報を提示することができる。
　また、上述した実施形態に係る情報出力システム１は、デジタルサイネージ装置２０と別個に設けられた出力制御装置３０によってデジタルサイネージ装置２０の出力が制御されるが、これに限られない。例えば、他の実施形態に係る情報出力システム１においては、各デジタルサイネージ装置２０が出力制御装置３０の機能を有していてもよい。
　また、上述した実施形態では、出力装置としてデジタルサイネージ装置２０を備えるが、これに限られない。例えば、他の実施形態に係る情報出力システム１は、パラメトリック・スピーカーなど、所定の地点に位置する人物に情報を出力する他の出力装置を備えてもよい。
　また、上述した実施形態では、出力制御装置３０が宣伝情報を記憶するが、これに限られず、宣伝情報が出力制御装置３０の外部のデータベース等に記憶されてもよい。
《基本構成》
　図９は、出力制御装置の基本構成を示す概略ブロック図である。
　上述した実施形態では、出力制御装置３０の一実施形態として図２および図６に示す構成について説明したが、出力制御装置３０の基本構成は、図９に示すとおりである。
　すなわち、出力制御装置３０は、制御部３５５および情報決定部３０９を基本構成とする。
　制御部３５５は、出力装置に複数の種類の情報を含む、第１の情報を出力させる。制御部３５５は、その出力装置または他の出力装置に情報決定部３０９が決定した第２の情報を出力させる。
　情報決定部３０９は、出力装置が出力した第１の情報と、第１の情報に対する人物Ｍの反応とに基づいて、人物Ｍに提示すべき種類を特定し、特定された種類の第２の情報を決定する。
　これにより、出力制御装置３０は、提示対象の人物Ｍに応じた情報を出力装置に出力させることができる。
　図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　コンピュータ９００は、ＣＰＵ（Central Processing Unit）９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
　上述の出力制御装置３０は、コンピュータ９００に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、このプログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置９０２に確保する。
　なお、少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース９０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc ReadOnly Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００がこのプログラムを主記憶装置９０２に展開し、上記処理を実行してもよい。
　また、このプログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、このプログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　この出願は、２０１６年３月２３日に出願された日本出願特願２０１６－０５８３４６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　提示対象の人物に応じた情報を出力装置に出力させることができる。
１　情報出力システム
１０　撮像装置
２０　デジタルサイネージ装置
３０　出力制御装置
３０１　画像受信部
３０２　対象特定部
３０３　候補画像記憶部
３０４　候補特定部
３０５　第１出力制御部
３０６　視線推定部
３０７　使用言語推定部
３０８　宣伝情報記憶部
３０９　情報決定部
３１０　第２出力制御部

Claims (8)

  1. 　出力装置に複数の種類の情報を含む、第１の情報を出力させる制御部と、
    　前記出力装置が出力した前記第１の情報と、前記第１の情報に対する人物の反応とに基づいて、前記人物に提示すべき種類を特定し、前記特定された種類の第２の情報を決定する情報決定部と、
    　を備え、
    　前記制御部が、前記出力装置または他の出力装置に前記情報決定部が決定した前記第２の情報を出力させる
    　出力制御装置。
  2. 　前記出力装置が出力した前記第１の情報と、前記人物の反応とに基づいて、前記人物の使用言語を推定する使用言語推定部をさらに備え、
    　前記制御部が、前記出力装置に複数の言語による情報を含む、前記第１の情報を出力させ、
    　前記情報決定部が、前記使用言語推定部が推定した前記使用言語の前記第２の情報を、前記人物に提示すべき情報として決定する
    　請求項１に記載の出力制御装置。
  3. 　前記人物の視線を推定する視線推定部をさらに備え、
    　前記制御部が、前記出力装置に複数の種類の画像を含む、前記第１の情報を表示させ、
    　前記情報決定部が、前記複数の種類の画像のうち、前記視線推定部が推定した前記視線と前記出力装置との交点の部分に表示される画像の前記種類に基づいて、前記人物に提示すべき前記種類の前記第２の情報を決定する
    　請求項１または請求項２に記載の出力制御装置。
  4. 　前記制御部が、前記出力装置に、前記複数の言語による音声情報を含む、前記第１の情報を出力させ、
    　前記使用言語推定部が、前記複数の言語それぞれの音声情報の出力タイミングと、前記人物の反応のタイミングとに基づいて、前記人物の使用言語を推定する
    　請求項２に記載の出力制御装置。
  5. 　前記人物の顔情報に基づいて、複数の使用言語候補を特定する候補特定部をさらに備え、
    　前記制御部が、前記出力装置に、前記候補特定部が特定した前記複数の使用言語候補による情報を含む、前記第１の情報を出力させる
    　請求項２または請求項４に記載の出力制御装置。
  6. 　前記制御部が、前記出力装置に、前記複数の言語で同一の内容の情報を含む、前記第１の情報を出力させる
    　請求項２、請求項４、または請求項５に記載の出力制御装置。
  7. 　出力装置に複数の種類の情報を含む、第１の情報を出力させ、
    　前記出力装置が出力した前記第１の情報と、前記第１の情報に対する人物の反応とに基づいて、前記人物に提示すべき種類を特定し、前記特定された種類の第２の情報を決定し、
    　前記出力装置または他の出力装置に、決定した前記第２の情報を出力させる
    　出力制御方法。
  8. 　コンピュータに、
    　出力装置に複数の種類の情報を含む、第１の情報を出力させ、
    　前記出力装置が出力した前記第１の情報と、前記第１の情報に対する人物の反応とに基づいて、前記人物に提示すべき種類を特定し、前記特定された種類の第２の情報を決定し、
    　前記出力装置または他の出力装置に、決定した前記第２の情報を出力させる
    　処理を実行させるためのプログラム。
PCT/JP2017/006351 2016-03-23 2017-02-21 出力制御装置、出力制御方法、およびプログラム WO2017163719A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/085,664 US20190103096A1 (en) 2016-03-23 2017-02-21 Output control device, output control method, and program
JP2018507140A JP6753462B2 (ja) 2016-03-23 2017-02-21 出力制御装置、出力制御方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016058346 2016-03-23
JP2016-058346 2016-03-23

Publications (1)

Publication Number Publication Date
WO2017163719A1 true WO2017163719A1 (ja) 2017-09-28

Family

ID=59899941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006351 WO2017163719A1 (ja) 2016-03-23 2017-02-21 出力制御装置、出力制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20190103096A1 (ja)
JP (1) JP6753462B2 (ja)
WO (1) WO2017163719A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021089554A (ja) * 2019-12-04 2021-06-10 Kddi株式会社 コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11545140B2 (en) * 2017-07-31 2023-01-03 Beijing Didi Infinity Technology And Development Co., Ltd. System and method for language-based service hailing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090055179A1 (en) * 2007-08-24 2009-02-26 Samsung Electronics Co., Ltd. Method, medium and apparatus for providing mobile voice web service
WO2012050029A1 (ja) * 2010-10-10 2012-04-19 株式会社Ｊｖｃケンウッド 電子機器及びその表示言語判定方法
JP2016071501A (ja) * 2014-09-29 2016-05-09 株式会社日立システムズ 広告評価システム、広告評価方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4736511B2 (ja) * 2005-04-05 2011-07-27 株式会社日立製作所 情報提供方法および情報提供装置
US8340974B2 (en) * 2008-12-30 2012-12-25 Motorola Mobility Llc Device, system and method for providing targeted advertisements and content based on user speech data
US20120169583A1 (en) * 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
US9015032B2 (en) * 2011-11-28 2015-04-21 International Business Machines Corporation Multilingual speech recognition and public announcement
US9620124B2 (en) * 2014-02-28 2017-04-11 Comcast Cable Communications, Llc Voice enabled screen reader
US10158983B2 (en) * 2015-07-22 2018-12-18 At&T Intellectual Property I, L.P. Providing a summary of media content to a communication device
US10116796B2 (en) * 2015-10-09 2018-10-30 Ooma, Inc. Real-time communications-based internet advertising
US11178465B2 (en) * 2018-10-02 2021-11-16 Harman International Industries, Incorporated System and method for automatic subtitle display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090055179A1 (en) * 2007-08-24 2009-02-26 Samsung Electronics Co., Ltd. Method, medium and apparatus for providing mobile voice web service
WO2012050029A1 (ja) * 2010-10-10 2012-04-19 株式会社Ｊｖｃケンウッド 電子機器及びその表示言語判定方法
JP2016071501A (ja) * 2014-09-29 2016-05-09 株式会社日立システムズ 広告評価システム、広告評価方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DEIM FORUM 2016 F4-1, 2 March 2016 (2016-03-02), pages 1 - 7, Retrieved from the Internet <URL:http://db-event.jpn.org/deim2016/papers/179.pdf> [retrieved on 20170310] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021089554A (ja) * 2019-12-04 2021-06-10 Kddi株式会社 コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法
JP7150688B2 (ja) 2019-12-04 2022-10-11 Kddi株式会社 コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法

Also Published As

Publication number Publication date
JPWO2017163719A1 (ja) 2018-11-08
US20190103096A1 (en) 2019-04-04
JP6753462B2 (ja) 2020-09-09

Similar Documents

Publication Publication Date Title
KR102043588B1 (ko) 자율 주행 차량 내에서 미디어 콘텐츠를 표시하기 위한 시스템 및 방법
US9761057B2 (en) Indicating out-of-view augmented reality images
KR101960141B1 (ko) 실시간 교통 정보에 기반하여 자율 주행 차량 내에서 콘텐츠를 제공하는 시스템 및 방법
US10408624B2 (en) Providing familiarizing directional information
CN105136156B (zh) 基于用户行为模式的自适应导航与基于位置的服务
US9791921B2 (en) Context-aware augmented reality object commands
US9721587B2 (en) Visual feedback for speech recognition system
US9563283B2 (en) Device having gaze detection capabilities and a method for using same
JP6031258B2 (ja) 表示装置
JP6352126B2 (ja) 広告表示装置、広告表示方法、及び広告表示プログラム
WO2017163719A1 (ja) 出力制御装置、出力制御方法、およびプログラム
US20180068339A1 (en) Adaptive coupon rendering based on shaking of emotion-expressing mobile device
JPWO2007072675A1 (ja) コンテンツ提示装置およびコンテンツ提示方法
US20220396202A1 (en) Display control apparatus, speed control apparatus and display control method
WO2019176281A1 (ja) 表示制御装置、自動販売機、表示制御方法、及び表示制御プログラム
JP6099845B1 (ja) 情報機器、ナビゲーション装置、作業手順の案内装置、および、負荷状況判定方法
JP2005077381A (ja) コンテンツ表示装置、コンテンツ表示方法、プログラム及び記録媒体
US20240153237A1 (en) Information processing system, information processing apparatus, information processing method, and recording medium
JP2020086808A (ja) 情報処理装置、広告出力方法、及びプログラム
JP7359208B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019235135A1 (ja) タスク対応情報の表示位置を変更する情報処理装置
JP7284401B2 (ja) 視線情報処理プログラム、情報処理装置および視線情報処理方法
US12026805B2 (en) Augmented reality based geolocalization of images
US20240208414A1 (en) Systems and Methods to Provide Otherwise Obscured Information to a User
US20230154059A1 (en) Augmented Reality Based Geolocalization of Images

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018507140

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17769765

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17769765

Country of ref document: EP

Kind code of ref document: A1