WO2021187529A1 - 情報処理装置、表示システム、表示制御方法 - Google Patents

情報処理装置、表示システム、表示制御方法 Download PDF

Info

Publication number
WO2021187529A1
WO2021187529A1 PCT/JP2021/010831 JP2021010831W WO2021187529A1 WO 2021187529 A1 WO2021187529 A1 WO 2021187529A1 JP 2021010831 W JP2021010831 W JP 2021010831W WO 2021187529 A1 WO2021187529 A1 WO 2021187529A1
Authority
WO
WIPO (PCT)
Prior art keywords
advertisement
content
area
displayed
candidate area
Prior art date
Application number
PCT/JP2021/010831
Other languages
English (en)
French (fr)
Inventor
奏美 知名
Original Assignee
シャープNecディスプレイソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープNecディスプレイソリューションズ株式会社 filed Critical シャープNecディスプレイソリューションズ株式会社
Priority to CN202180019879.2A priority Critical patent/CN115299041A/zh
Priority to JP2022508412A priority patent/JP7275379B2/ja
Priority to EP21771004.5A priority patent/EP4124023A4/en
Publication of WO2021187529A1 publication Critical patent/WO2021187529A1/ja
Priority to US17/944,806 priority patent/US11954708B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • G06Q30/0271Personalized advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data

Definitions

  • the present invention relates to an information processing device, a display system, and a display control method.
  • the present application claims priority for PCT / JP2020 / 011705 filed on March 17, 2020, the contents of which are incorporated herein by reference.
  • the problem to be solved is that it is not possible to provide content with a high appeal effect to targets within the effective range.
  • At least a main area and a candidate area are provided on the display screen of the display device, and when the reproduction of the content displayed in the main area is completed, the content displayed in the candidate area is displayed. It has a display control unit to be displayed in the main area and a detection unit for detecting a person from an captured image obtained by at least capturing a visible place on the display screen, and the display control unit is displayed in the main area.
  • This is an information processing device that changes the content displayed in the candidate area according to the person during the reproduction of the content.
  • one aspect of the present invention is a display system including a display device for displaying contents for advertisement and an information processing device, and the information processing device has at least a main area and a candidate area on the display screen of the display device. Is provided, and when the playback of the content displayed in the main area is completed, the display control unit for displaying the content displayed in the candidate area in the main area and the visible location of the display screen are provided.
  • the display control unit has at least a detection unit that detects a person from the captured image, and the display control unit displays the content displayed in the candidate area during playback of the content displayed in the main area. It is a display system that changes according to.
  • the display control unit is provided with at least a main area and a candidate area on the display screen of the display device, and displays the content displayed in the main area in the candidate area when the reproduction of the content is completed.
  • the content to be displayed is displayed in the main area
  • the detection unit detects a person from the captured image obtained by at least capturing a visible place on the display screen
  • the display control unit displays the content in the main area.
  • At least a main area and a candidate area are provided on the display screen of the display device, and when the reproduction of the content displayed in the main area is completed, the content displayed in the candidate area is displayed.
  • the display control unit is displayed in the main area, and has a display control unit for detecting a person from an captured image obtained by at least capturing a visible place on the display screen.
  • This is an information processing device that determines the priority of the content according to the person during the reproduction of the content and displays the content in the candidate area according to the determined priority.
  • FIG. 1 is a schematic block diagram illustrating a configuration of a display system to which an information processing device according to an embodiment of the present invention is applied.
  • the display system 100 is a system that controls the display of contents to be displayed on an electronic signboard such as digital signage.
  • the content is for advertising, may be a still image or a moving image, and may or may not have audio.
  • the display system 100 includes a camera device 1, a content display device 2, a content output device 3, and an information processing device 4.
  • the camera device 1, the content output device 3, and the information processing device 4 are communicated and connected by a wired or wireless LAN (Local Area Network). Further, the content display device 2 and the content output device 3 are connected via a video cable that transmits a video signal.
  • a wired or wireless LAN Local Area Network
  • the camera device 1 is installed in the vicinity of the content display device 2 and captures a person in an effective range in which the display screen of the content display device 2 can be viewed.
  • the content display device 2 displays the content for the advertisement on the display screen.
  • the content output device 3 outputs a video signal of the content to the content display device 2 and causes the content display device 2 to display the content.
  • the information processing device 4 is a computer that controls the display of the content to be displayed on the content display device 2.
  • the content display device 2 can display different or the same advertisement content in the main area, which is the largest display area of the display screen, and the candidate area, whose display area is smaller than the main area.
  • the content of the advertisement displayed in the main area and the content of the advertisement displayed in the candidate area may be the same or different.
  • the content of the advertisement displayed in the main area is referred to as a main advertisement
  • the content of the advertisement displayed in the candidate area is referred to as a thumbnail advertisement.
  • the thumbnail advertisement may be text information, a moving image, a still image, or any combination thereof, and may or may not have audio, and is the same as the main advertisement of the advertisement.
  • thumbnail advertisement may be any content related to the content displayed as the main advertisement, and a part of the main advertisement may be used as the thumbnail advertisement.
  • the thumbnail advertisement displayed in the candidate area is that of the candidate advertisement displayed in the main area next. That is, with respect to the main advertisement displayed in the main area, the content display device 2 is among the thumbnail advertisements displayed in the candidate area when displaying the next main advertisement after the playback of the displayed main advertisement is completed. Display one of the thumbnail ads as the main ad in the main area. Further, each candidate area is associated with a priority, and the content display device 2 arranges and displays the thumbnail advertisement in the candidate area corresponding to the priority.
  • the content display device 2 divides the display screen into a main area MA, a non-display area HA, and a candidate area SA, and the main area MA and the candidate area SA have different or the same advertisements.
  • the non-display area HA shown in black is an area in which nothing is displayed such as advertisement contents.
  • the content of the advertisement may not be displayed, and an image in which the inside of the area is filled with a predetermined color such as black may be displayed.
  • the content display device 2 divides the display screen into a main area MB and two candidate areas SB1 and SB2, and displays different or the same advertisement content in each area.
  • a grayout is applied on the thumbnail advertisement. Therefore, since the thumbnail advertisement displayed in the candidate area SB1 is in the grayed out state, the thumbnail advertisement can be visually recognized, but is displayed in gray instead of being displayed in color. Thumbnail advertisements may be displayed in color in the candidate area SB2 shown in white. Therefore, for example, the priority of the candidate area SB2 that is easy to see may be the highest, and the priority of the candidate area SB1 that is displayed in gray may be the second. In this case, the content display device 2 displays the thumbnail advertisement having the highest priority in the candidate area SB2, and displays the thumbnail advertisement having the second highest priority in the candidate area SB1.
  • the content display device 2 divides the display screen into a main area MC, a pop area PP, and a candidate area SC, and the main area MC and the candidate area SC have different or the same advertisements.
  • the pop area PP related information corresponding to the thumbnail advertisement displayed in the candidate area SC below it is displayed.
  • related information for example, there is an explanatory text regarding a thumbnail advertisement.
  • the content display device 2 divides the display screen into a main area MD and a candidate area SD, and displays different or the same advertisement content in each area.
  • the content display device 2 divides the display screen into a main area ME and four candidate areas SE1, SE2, SE3, and SE4, and displays different advertisement contents in each area.
  • the content of the advertisement displayed in the main area ME and the content of the advertisement displayed in any of the candidate areas may be the same.
  • Candidate areas SE1 to SE4 are arranged in a vertical row on the left side of the main area ME when the display screen is viewed from the front.
  • the priority may be increased in the order of candidate area SE1, candidate area SE2, candidate area SE3, and candidate area SE4.
  • the higher the priority of the thumbnail advertisement the closer the area displayed on the display screen is to the upper side of the display screen.
  • the content display device 2 displays the thumbnail advertisement with the highest priority in the candidate area SF1, displays the thumbnail advertisement with the second highest priority in the candidate area SF2, and displays the thumbnail advertisement with the third highest priority in the candidate area SF2.
  • the thumbnail advertisement is displayed in the candidate area SF3, and the thumbnail advertisement having the fourth highest priority is displayed in the candidate area SF4. It is not necessary to set the priority for each candidate area SF1 to the candidate area SF4. In this case, each thumbnail advertisement is placed in any of the four candidate area SF1 to the candidate area SF4 regardless of the priority of the thumbnail advertisement. Are displayed respectively.
  • each candidate area (SF1, SF2, SF3, SF4) may be arranged above the main area MF when the display screen is viewed from the front.
  • the display screen of the content display device 2 has a longer length in the horizontal direction (horizontal direction) than a length in the vertical direction (vertical direction) when the content display device 2 is installed.
  • the description has been given using a horizontally long rectangular shape as an example, but the present invention is not limited to this, and may be realized by any shape, resolution, or the like such as a vertically long screen.
  • the division pattern of the display screen of the content display device 2 is not limited to the one described above, and may be realized at any position, ratio, and number of divisions.
  • FIG. 3 is a schematic block diagram showing a functional configuration of the display system.
  • the camera device 1 has an imaging unit 101 and a transmitting unit 102.
  • the imaging unit 101 captures a person in an effective range in which the display screen of the content display device 2 can be viewed at an arbitrary frame rate, and generates an captured image thereof.
  • the transmission unit 102 transmits the captured image generated by the imaging unit 101 to the information processing device 4.
  • the information processing device 4 includes a candidate advertisement display number setting unit 401, a candidate advertisement switching time setting unit 402, a storage unit 403, an advertisement ID giving unit 404, an advertisement transmission unit 405, an image capture image acquisition unit 406, and attributes. It has an estimation unit 407, a viewing advertisement specific unit 408, and a display control unit 409.
  • the information processing device 4 may be a computer.
  • the display control unit 409 may be composed of, for example, a processing device such as a CPU (central processing unit) or a dedicated electronic circuit.
  • the candidate advertisement display number setting unit 401 sets the number of thumbnail advertisements to be displayed on the content display device 2 (hereinafter, referred to as “thumbnail advertisement display number”). That is, the candidate advertisement display number setting unit 401 sets the number of candidate areas by instructing the display control unit 409. For example, the candidate advertisement display number setting unit 401 accepts the input of the thumbnail advertisement display number based on the operation input from the user via the input device.
  • the input device may be, for example, a keyboard, a mouse, or the like, and these may be connected to the information processing device 4 by wire or wirelessly.
  • the candidate advertisement switching time setting unit 402 sets the time for switching the thumbnail advertisement to be displayed in the candidate area (hereinafter, referred to as “thumbnail advertisement switching time”). For example, the candidate advertisement switching time setting unit 402 accepts the input of the thumbnail advertisement switching time based on the operation input from the user via the input device. Further, the candidate advertisement switching time setting unit 402 instructs the display control unit 409 of the input thumbnail advertisement switching time.
  • the storage unit 403 stores various information.
  • the storage unit 403 stores the contents (main advertisement and thumbnail advertisement) of each advertisement.
  • the storage unit 403 stores an advertisement ID table showing an advertisement ID for identifying each content of each advertisement and an advertisement attribute table showing the attributes of a person who is the target of each advertisement.
  • the thumbnail advertisement may be content related to the main advertisement.
  • the thumbnail advertisement may be content generated based on at least a part of the plurality of frames constituting the main advertisement.
  • the main advertisement is video data
  • a part of the selected frames among the plurality of frames constituting the video data can be used as the thumbnail advertisement.
  • this frame can be used as the content of a so-called still image to be displayed during the reproduction period.
  • the content may be a content obtained by cutting out a part corresponding to a part of the playback time of the main advertisement.
  • the thumbnail advertisement is the video data that is a part of the reproduction section of the video data of the main advertisement.
  • the thumbnail advertisement may be generated in advance and stored in the storage unit 403.
  • the information processing device 4 is provided with a content editing unit, and the content editing unit generates a thumbnail advertisement from the content which is the main advertisement stored in the storage unit 403 and stores it in the storage unit 403. May be good.
  • the advertisement ID giving unit 404 assigns a main advertisement ID and a thumbnail advertisement ID to each advertisement.
  • the main advertisement ID is an advertisement ID that identifies the main advertisement.
  • the thumbnail advertisement ID is an advertisement ID that identifies a thumbnail advertisement.
  • the advertisement ID giving unit 404 may issue a main advertisement ID or a thumbnail advertisement ID, assign the issued main advertisement ID to the main advertisement, and assign the thumbnail advertisement ID to the thumbnail advertisement.
  • the advertisement ID giving unit 404 writes the main advertisement ID and the thumbnail advertisement ID given to each advertisement in the advertisement ID table stored in the storage unit 403.
  • the advertisement transmission unit 405 transmits the content of each advertisement (main advertisement and thumbnail advertisement) to the content output device 3 in association with the main advertisement ID and the thumbnail advertisement ID.
  • the captured image acquisition unit 406 acquires the captured image by receiving the captured image from the camera device 1.
  • the attribute estimation unit 407 can detect each person in the effective range based on the captured image, and estimates the attributes of the detected person. Further, the attribute estimation unit 407 detects a person from the captured image captured so as to include a place where the display screen of the display device can be visually recognized, and estimates the attribute of the detected person.
  • the effective range may be the range of the area including the place where the content can be viewed.
  • the viewing advertisement specifying unit 408 estimates the direction of the line of sight of each person in the effective range based on the captured image, and identifies the advertisement that each person is viewing based on the estimated direction of the line of sight.
  • the viewing advertisement specifying unit 408 estimates, based on the estimated direction of the line of sight, which area of the display screen of the content display device 2 the destination of the line of sight is facing. do. When the area to which the line of sight is directed is one of the candidate areas, the viewing advertisement specifying unit 408 identifies which candidate area it is. The viewing advertisement specifying unit 408 identifies the advertisement as being viewed by a person by specifying the thumbnail advertisement displayed in the specified candidate area. Further, the viewing advertisement specifying unit 408 is an advertisement viewed by a person by specifying the main advertisement displayed in the main area when the area to which the line of sight is directed is the main area. Can also be specified. When a plurality of persons are included in the effective range of the captured image, the viewing advertisement specifying unit 408 performs such an advertisement for each of the persons.
  • the display control unit 409 controls the display of the content to be displayed on the content display device 2.
  • the display control unit 409 divides the display area of the display screen into a plurality of areas, and the display area is divided into a plurality of areas until the content (main advertisement) is reproduced in the main area among the plurality of areas and the reproduction of the content is completed.
  • the playback of the content (thumbnail advertisement) played in the candidate area of the area is terminated, and the content according to the estimated attribute is played.
  • the display control unit 409 has different advertisements for the main area, which is the largest display area among the areas divided into a plurality of areas on the display screen of the content display device 2, and the candidate area smaller than the main area. Display the content.
  • the display control unit 409 displays an advertisement for displaying the display screen of the content display device 2 in the candidate area based on the attribute of a person who is within the viewable effective range, displays the currently displayed thumbnail advertisement, and then displays the advertisement. Switch the display by displaying the thumbnail advertisement to be displayed. Further, when the display control unit 409 switches the advertisement displayed in the main area, the display control unit 409 displays the most viewed advertisement among the advertisements displayed in the candidate area in the main area. When specifying the most viewed content, the display control unit 409 specifies a candidate area in which the direction of the line of sight is directed for each line of sight, and selects the candidate area having the largest number of lines of sight in the candidate area. The displayed content may be specified as the most viewed content.
  • the time when the line of sight is directed to the candidate area may be measured, and the candidate area having the longest facing time may be specified as the most viewed content.
  • the total value of the time for each line of sight is obtained for each candidate area, and the content of the candidate area having the highest total value is specified as the most viewed content. You may do so.
  • the display control unit 409 may rearrange the contents displayed in the candidate area according to the person.
  • the detection unit does not detect a person during playback of the content displayed in the main area
  • the display control unit 409 displays the content not dependent on the person in the candidate area.
  • the display control unit 409 includes a thumbnail advertisement selection unit 4091, a priority determination unit 4092, an advertisement ID transmission unit 4093, and a main advertisement selection unit 4094.
  • the thumbnail advertisement selection unit 4091 selects the thumbnail advertisement to be displayed on the content display device 2 based on the attributes of the person in the effective range and the thumbnail advertisement being viewed.
  • the priority determination unit 4092 determines the priority of each thumbnail advertisement selected by the thumbnail advertisement selection unit 4091 based on the attributes of the person in the effective range and the thumbnail advertisement being viewed.
  • the advertisement ID transmission unit 4093 transmits the thumbnail advertisement ID of each thumbnail advertisement selected by the thumbnail advertisement selection unit 4091 to the content output device 3 together with its priority.
  • the advertisement ID transmission unit 4093 transmits the main advertisement ID of the main advertisement selected by the main advertisement selection unit 4094 to the content output device 3.
  • the main advertisement selection unit 4094 selects the main advertisement to be displayed on the content display device 2 based on the thumbnail advertisement being viewed.
  • the content output device 3 includes an advertisement receiving unit 301, an advertisement storage unit 302, an advertisement ID receiving unit 303, an advertisement reading unit 304, a screen dividing unit 305, an advertisement arranging unit 306, and an output unit 307.
  • the content output device 3 may be a computer.
  • the advertisement receiving unit 301, the advertisement ID receiving unit 303, the advertisement reading unit 304, the screen dividing unit 305, the advertisement arranging unit 306, and the output unit 307 are, for example, a processing device such as a CPU (central processing unit) or a processing device. It may be composed of a dedicated electronic circuit.
  • the advertisement ID receiving unit 303 receives the advertisement ID of the content to be displayed on the content display device 2 from the information processing device 4.
  • the advertisement reading unit 304 reads the advertisement content corresponding to the advertisement ID received from the information processing device 4 from the advertisement storage unit 302.
  • the screen dividing unit 305 divides the display area of the display screen of the content display device 2 into a main area and a candidate area. Further, when the number of thumbnail advertisement IDs (thumbnail advertisement display number) received from the information processing device 4 is a plurality, the screen division unit 305 is divided so as to match the number of received thumbnail advertisement IDs. Divide the candidate area. At this time, the screen dividing unit 305 gives priority to each divided candidate area.
  • the advertisement placement unit 306 resizes the main advertisement and places it in the main area.
  • the advertisement placement unit 306 sorts each thumbnail advertisement displayed for each of the plurality of candidate areas according to the priority. Then, the advertisement placement unit 306 resizes each thumbnail advertisement and places it in each candidate area according to its priority.
  • the output unit 307 outputs the video signal generated by the advertisement placement unit 306 to the content display device 2.
  • the content display device 2 has an input unit 201 and a display unit 202.
  • the content display device 2 is, for example, a liquid crystal display device. Further, the content display device 2 may be a projector instead of a liquid crystal display device.
  • the input unit 201 inputs a video signal from the content output device 3.
  • the display unit 202 has a display screen and displays the input video signal on the display screen. When the content display device 2 is a projector, the display unit 202 may project a video signal on the projection surface.
  • the advertisement ID giving unit 404 assigns a main advertisement ID to all the main advertisements stored in the storage unit 403 (step S101), and writes the advertisement ID in the advertisement ID table stored in the storage unit 403. Subsequently, the advertisement ID giving unit 404 assigns a thumbnail advertisement ID corresponding to the main advertisement ID to all the thumbnail advertisements (step S102), and writes the thumbnail advertisement ID in the advertisement ID table stored in the storage unit 403. Then, the advertisement transmission unit 405 transmits the main advertisement and the thumbnail advertisement of all the advertisements together with the main advertisement ID and the thumbnail advertisement ID to the content output device 3 (step S103).
  • the candidate advertisement display number setting unit 401 sets the thumbnail advertisement display number (step S104).
  • the candidate advertisement display number setting unit 401 transmits the set thumbnail advertisement display number to the content output device 3 via the advertisement transmission unit 405.
  • the candidate advertisement switching time setting unit 402 sets the thumbnail advertisement switching time (step S105).
  • the captured image acquisition unit 406 acquires a captured image from the camera device 1 and determines whether or not a person is detected from the imaging frame of the acquired captured image (step S106).
  • the display control unit 409 sets the main advertisement ID of the preset default advertisement (hereinafter, referred to as “default advertisement”) to the content output device 3 Is output to (step S107).
  • the display control unit 409 randomly selects the thumbnail advertisement IDs by the number of thumbnail advertisements displayed (step S108). Then, the display control unit 409 transmits the selected thumbnail advertisement ID to the content output device 3 (step S109).
  • the attribute estimation unit 407 estimates the attributes of all the persons detected from the imaging frame (step S111). Subsequently, the display control unit 409 determines the priority of each advertisement based on the estimated attributes (step S112). For example, the display control unit 409 raises the priority of an advertisement having a large number of people matching the attribute. Then, the display control unit 409 assigns the determined priority to the corresponding advertisement (step S113). Subsequently, the display control unit 409 selects the thumbnail advertisement IDs of the advertisements having the second and subsequent priorities by the number of thumbnail advertisements displayed in descending order of priority (step S114).
  • the display control unit 409 transmits the main advertisement ID of the advertisement having the highest priority to the content output device 3 (step S115). Subsequently, the display control unit 409 transmits the thumbnail advertisement IDs of the selected number of thumbnail advertisements displayed to the content output device 3 together with the priority (step S116). That is, when the display control unit 409 first displays the advertisement on the content display device 2, if there is a person in the effective range of the content display device 2, the display control unit 409 displays the advertisement based on the attributes of all the persons in the effective range. Select and display the advertisement with the highest priority based on the attribute in the main area, and the advertisement with the second or higher priority in the candidate area in the order of the priority.
  • step S117 when a person is detected from the image pickup frame (step S117; YES), the viewing advertisement identification unit 408 estimates the line of sight of all the persons detected from the image pickup frame, and the attribute estimation unit 407 is detected from the image pickup frame. The attributes of all the persons are estimated (step S118). Subsequently, the display control unit 409 determines whether or not the thumbnail advertisement switching time has been reached (step S119). If the thumbnail advertisement switching time has not been reached (step S119; NO), the process returns to step S118.
  • the display control unit 409 selects a thumbnail advertisement ID based on the line of sight and a thumbnail advertisement ID based on the attribute from the estimation result (step S120). For example, the display control unit 409 selects the thumbnail advertisement ID of the thumbnail advertisement currently displayed (delivered) in the candidate area as the thumbnail advertisement ID based on the line of sight. Further, the display control unit 409 selects the thumbnail advertisement ID of the advertisement that matches the estimated attribute as the thumbnail advertisement ID based on the attribute.
  • the display control unit 409 gives priority to the thumbnail advertisement ID based on the attribute (step S121). Subsequently, the display control unit 409 gives priority to the thumbnail advertisement ID based on the line of sight (step S122). For example, the display control unit 409 raises the priority of thumbnail advertisements that are viewed by a large number of people. Subsequently, the display control unit 409 selects thumbnail advertisement IDs by the number of thumbnail advertisements displayed in descending order of priority for each of the thumbnail advertisement ID based on the attribute and the thumbnail advertisement ID based on the line of sight (step S123).
  • the display control unit 409 uses the thumbnail advertisement ID based on the selected attribute. It is determined whether or not the advertisement IDs all match the thumbnail advertisement IDs of the thumbnail advertisements being delivered in the candidate area (step S126). If all match (step S126; YES), the display control unit 409 transmits the thumbnail advertisement ID based on the line of sight to the content output device 3 together with its priority (step S127). That is, when the thumbnail advertisement ID based on the attribute matches all the thumbnail advertisements being delivered, the display control unit 409 arranges the thumbnail advertisements based on the number of viewers without replacing the thumbnail advertisements to be displayed in the candidate area. Change the position. For example, the display control unit 409 can be arranged in a candidate area where the thumbnail advertisement with a large number of views is easier to view.
  • the display control unit 409 is among the thumbnail advertisements being distributed.
  • the highest priority is given to the thumbnail advertisement ID of the most viewed item, and the thumbnail advertisement ID is transmitted to the content output device 3 together with the highest priority (step S128).
  • the display control unit 409 excludes the thumbnail advertisement ID of the most viewed thumbnail advertisement from the thumbnail advertisement ID based on the attribute, and displays only the thumbnail advertisement display number -1 (the number obtained by subtracting 1 from the thumbnail advertisement display number).
  • the thumbnail advertisement IDs are selected in descending order of priority (step S129).
  • the display control unit 409 reassigns the second and subsequent priorities to the selected thumbnail advertisement IDs in descending order of priority, and transmits the selected thumbnail advertisement IDs to the content output device 3 together with the reassigned priorities.
  • the thumbnail advertisement ID transmitted at this time does not include the most viewed thumbnail advertisement ID. That is, when the thumbnail advertisement ID based on the attribute is partially different from the thumbnail advertisement being delivered, the display control unit 409 leaves the most viewed thumbnail advertisement and replaces the other thumbnail advertisement. At this time, the display control unit 409 can arrange the most viewed thumbnail advertisement in the most easily viewed candidate area or the like by giving the highest priority to the most viewed thumbnail advertisement.
  • the display control unit 409 determines whether or not the time for determining the next main advertisement has been reached (step S131).
  • the time for determining the main advertisement is, for example, a predetermined time before the time when the main advertisement being delivered ends. If the time for determining the next main advertisement has not been reached (step S131; NO), the process returns to the process of step S118.
  • the viewing advertisement specifying unit 408 estimates the line of sight of each person detected from the imaging frame, and the advertisement that each person is viewing. Is specified (step S132). Subsequently, the display control unit 409 selects the thumbnail advertisement ID of the thumbnail advertisement that is most viewed (step S133). Subsequently, the display control unit 409 reads the main advertisement ID corresponding to the selected thumbnail advertisement ID from the advertisement ID table (step S134). The display control unit 409 transmits the read main advertisement ID to the content output device 3 (step S135). That is, when switching the main advertisement displayed in the main area, the display control unit 409 displays the main advertisement of the most viewed thumbnail advertisement in the main area.
  • step S136 determines whether or not the power is turned off. If the power is not turned off (step S136; NO), the process returns to step S118. On the other hand, when the power is turned off (step S136; YES), the process ends.
  • FIG. 8 is a flowchart illustrating the operation of the display control process executed by the content output device.
  • the content output device 3 executes the process shown in this figure.
  • the advertisement ID receiving unit 303 determines whether or not the main advertisement ID has been received from the information processing device 4 (step S203). If the main advertisement ID has not been received (step S203; NO), the process of step S203 is repeated. On the other hand, when the main advertisement ID is received (step S203; YES), it is determined whether or not the received main advertisement ID includes the main advertisement ID of the default advertisement (step S204). When the main advertisement ID of the default advertisement is included (step S204; YES), the advertisement placement unit 306 arranges the default advertisement in the main area and outputs the video signal to the content display device 2 (step S205). As a result, the content display device 2 displays the default advertisement in the main area.
  • the advertisement placement unit 306 sets the main advertisement of the received main advertisement ID having the highest priority as the main area.
  • the video signal is arranged and output to the content display device 2 (step S206). As a result, the content display device 2 displays the main advertisement in the main area.
  • step S118 the case where the information processing apparatus 4 returns to step S118 after step S136 has been described, but before executing this step S118, a new image is taken by the camera apparatus 1 and the display control unit 409
  • the content being played in the candidate area is switched to the content having the attribute corresponding to the different person. You may.
  • the content output device 3 may switch the thumbnail advertisement so that the entire display area slides, or switches the thumbnail advertisement so that the upper and lower or left and right individual thumbnail advertisements are interchanged. It may be realized by any animation.
  • the content output device 3 determines whether or not the power is turned off (step S209). If the power is not turned off (step S209; NO), the process returns to step S203. On the other hand, when the power is turned off (step S209; YES), the process ends.
  • the display control unit 409 of the information processing device 4 divides the main area, which is the largest display area of the display screen of the content display device 2, into a candidate area smaller than the main area.
  • the display control unit 409 clearly indicates the candidate advertisement to be enlarged and displayed in the main area next in the candidate area, and switches the thumbnail advertisement to be displayed in the candidate area based on the attribute of the person within the effective range. This has the effect of attracting the interest of the person within the effective range and keeping the target person within the effective range of the content display device 2 until the next main advertisement is displayed.
  • the display control unit 409 provides a plurality of candidate areas and displays different thumbnail advertisements for each, it is possible to provide information suitable for each of a plurality of people within the effective range of the content display device 2. Further, for example, in the case of an advertisement having audio, an effect (for example, a cocktail party effect, etc.) can be expected for a target that is within the effective range of the content display device 2 but does not view the display screen.
  • an effect for example, a cocktail party effect, etc.
  • the display control unit 409 switches the thumbnail advertisement to be displayed in the candidate area based on the attribute of the person in the effective range, and when switching the advertisement displayed in the main area, the advertisement displayed in the candidate area. Display the most viewed advertisement in the main area. Therefore, it is possible to display the content having the highest appeal effect that leads to the purchase request of the target person in the main area and provide appropriate information to the target.
  • the display control unit 409 switches the thumbnail advertisement to be displayed in the candidate area, the most viewed thumbnail advertisement is displayed again in the candidate area. Therefore, the thumbnail advertisement that is currently attracting the most attention from the viewer can be left in the candidate area, and it is possible to prevent the viewer from being distracted.
  • the display control unit 409 gives the highest priority to the most viewed advertisement when switching the advertisement to be displayed in the candidate area.
  • the thumbnail advertisement that is currently attracting the most attention from the viewer can be placed in the candidate area that is most easily viewed.
  • the display control unit 409 switches the advertisement to be displayed in the candidate area, if the advertisement selected based on the attribute of the person matches all the advertisements displayed in the candidate area, the display control unit 409 is based on the number of viewers. And give priority. That is, when the thumbnail advertisements selected based on the attributes all match the thumbnail advertisements being delivered, the display control unit 409 does not replace the thumbnail advertisements to be displayed in the candidate area, and the thumbnail advertisements are based on the number of viewers. Change the placement position of. As a result, thumbnail advertisements with a larger number of views can be placed in candidate areas that are easier to view.
  • the display control unit 409 switches to an advertisement other than the advertisement displayed in the main area.
  • the thumbnail advertisement corresponding to the main advertisement being delivered in the main area is not displayed in the candidate area, and it is possible to prevent the same main advertisement from being delivered twice in succession.
  • the information processing device 4 includes a candidate advertisement display number setting unit 401 for setting the number of candidate areas.
  • the number of thumbnail advertisements to be displayed in the candidate area can be set to an arbitrary number, so that even if the number of contents for advertisements stored in the storage unit 403 is increased, the split screen of the display screen of the content display device 2 is displayed.
  • the (candidate area) does not become too detailed, the optimum content can be displayed without degrading the visibility, and information can be provided more effectively.
  • the information processing device 4 includes a candidate advertisement switching time setting unit 402 that sets a time for switching the advertisement to be displayed in the candidate area.
  • the time for switching the thumbnail advertisement displayed in the candidate area can be set to an arbitrary time. Therefore, for example, by setting the time shorter than the time for switching the main advertisement, the attribute of the person within the effective range can be set. It is possible to reduce the time lag until the corresponding thumbnail advertisement is displayed.
  • At least a part of the functions of the information processing device 4 may be provided in the content output device 3, or at least one of the functions of the content output device 3 may be provided in the information processing device 4. good. Further, the information processing device 4 and the content output device 3 may be configured as one device.
  • step S131 if the time for determining the next main advertisement has not been reached, the process proceeds to step S119, and if the thumbnail advertisement replacement time has been reached, the thumbnail advertisement is selected. I tried to fix it.
  • the display control unit 409 can switch the content displayed in the candidate area to different content in a period shorter than the reproduction period of the content reproduced in the main area.
  • the cycle of replacing the contents to be displayed in the candidate area can be updated at a shorter cycle than the cycle of replacing the contents to be displayed in the main area.
  • the person passing through the area photographed by the camera device 1 is replaced while the main advertisement is being played, the person is displayed in the candidate area according to the attributes of the replaced person. It is possible to sequentially switch the contents to be displayed, so that the contents corresponding to the situation where the person is replaced can be displayed in the candidate area.
  • the content according to the situation where the person has changed can be updated to the employment to be displayed in the candidate area. From the contents updated according to this change, select the content to be displayed next in the main area. It is possible to increase the probability that the content can be viewed by a person.
  • FIG. 9 is a diagram showing a basic configuration of an information processing apparatus according to the present invention.
  • the basic configuration of the information processing device 40 according to the present invention includes a display control unit 41 and an attribute estimation unit 42.
  • the display control unit 41 divides the display area of the display screen into a plurality of areas, and the plurality of areas are used until the content is reproduced in the main area among the plurality of areas and the reproduction of the content is completed. Of these, the reproduction of the content reproduced in the candidate area is terminated, and the content corresponding to the estimated attribute is reproduced.
  • the attribute estimation unit 42 detects a person from the captured image captured so as to include a place where the display screen of the display device can be visually recognized, and estimates the attribute of the detected person.
  • the display control unit 52 sets the content based on at least one of the attributes and actions of the detected person as the candidate area. Display it.
  • the display control unit 52 displays the content based on the defined rule in the candidate area.
  • the predetermined rule may be a rule for displaying predetermined content (for example, default content), or a rule for selecting and displaying arbitrary content from a plurality of contents. .. Further, the display control unit 52 may display the content not dependent on the person in the candidate area when the detection unit 61 does not detect the person during the reproduction of the content displayed in the main area.
  • FIG. 11 is a functional block diagram showing the configuration of the information processing device 60 in another embodiment.
  • the information processing device 60 includes a detection unit 61 and a display control unit 62.
  • the detection unit 61 detects a person from at least an captured image of a visible place on the display screen.
  • the display control unit 62 is provided with at least a main area and a candidate area on the display screen of the display device, and displays the content displayed in the candidate area when the reproduction of the content displayed in the main area is completed in the main area. Let me.
  • the display control unit 62 determines the priority of the content according to the person during the reproduction of the content displayed in the main area, and displays the content in the candidate area according to the determined priority.
  • FIG. 12 is a flowchart illustrating the operation of the information processing device 60.
  • the display control unit 62 determines whether or not the timing for updating the display of the thumbnail advertisement has been reached (step S301), and if the timing for updating the thumbnail advertisement has not been reached (step S301-NO), the fixed weight time. After that, the process proceeds to the process of step S301.
  • the display control unit 62 determines whether or not a person has been detected from the captured image based on the result of performing the process of detecting the person obtained from the detection unit 61.
  • step S302 If the determination is made (step S302) and a person is detected (step S302-YES), the priority according to the detected person is determined, and the contents are arranged according to the determined priority (step S303).
  • the display control unit 62 may perform the process of arranging the contents by giving the contents an order of arranging the contents. In this case, since the process does not change the order of the contents displayed in the candidate area at this point, the order of the contents displayed in the candidate area is not changed at this point. For example, the process of arranging the contents can be performed as a background process.
  • the priority according to the person may be, for example, the priority according to the estimated attribute of the person and the priority according to the estimated attribute, or the action according to the detected action of the person is detected. It may be a degree. As for the behavior of the person, for example, when the line of sight of the person is detected and the line of sight is directed to the content displayed in the candidate area, it may be determined that the content has a high priority. In addition, the priority according to the person may be both an attribute and an action.
  • the display control unit 62 arranges the contents in descending order of priority.
  • a process of displaying the content corresponding to the person in the candidate area may be performed, or a process of displaying the default content in the candidate area is performed. May be good.
  • the display control unit 62 determines whether or not the time for determining the content to be displayed in the next main area has been reached (step S305), and if the time for determining the content to be displayed in the next main area has not been reached (step S305). S305-NO), the process proceeds to step S301. On the other hand, when the time for determining the content to be displayed in the next main area is reached, the display control unit 62 displays the content having the highest priority displayed in the candidate area in the main area (step S306).
  • the display control unit 62 ends the process if the instruction to turn off the power is input (step S307-YES), and shifts the process to step S301 if the instruction to turn off the power is not input. On the other hand, if the person is not detected in step S302 (step S302-NO), the display control unit 62 displays the default content in the candidate area (step S308).
  • the display control unit 62 may execute the processing of step S308 when a predetermined condition is satisfied.
  • the display control unit 62 may be executed when a certain period of time has elapsed when a person is not detected from the captured image.
  • a program for realizing each function of the camera device, the content display device, the content output device, and the information processing device in FIG. 3 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is recorded on the computer.
  • the position may be detected by loading it into the system and executing it.
  • computer system includes hardware such as an OS and peripheral devices.
  • the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system. Further, the above program may be stored in a predetermined server, and the program may be distributed (downloaded or the like) via a communication line in response to a request from another device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、前記メインエリアに表示させたコンテンツの再生が終了する際に前記候補エリアに表示させていたコンテンツを、前記メインエリアに表示させる表示制御部(51)と、前記表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出する検出部(52)と、を有し、前記表示制御部(51)は、前記メインエリアに表示させたコンテンツの再生中に、前記候補エリアに表示させているコンテンツを、前記人物に応じて変更する。

Description

情報処理装置、表示システム、表示制御方法
 本発明は、情報処理装置、表示システム、表示制御方法に関する。
 本願は、2020年3月17日に出願されたPCT/JP2020/011705について優先権を主張し、その内容をここに援用する。
 デジタルサイネージのような電子看板において、視聴しているターゲットに対して適切な広告のためのコンテンツを提供するために、最初に複数のコンテンツを等しい大きさに分割された画面に表示させ、その中で最も視聴されているコンテンツを拡大表示する方法が開示されている(例えば、特許文献1参照)。
 しかしながら、上述した技術では、次に拡大表示されるコンテンツが明示されていないため、ターゲットとなる人物をコンテンツ表示装置の有効範囲に留め、その購入欲求に繋げる訴求効果が薄くなる。
特開2012-134836号公報
 解決しようとする問題点は、有効範囲内にいるターゲットへの訴求効果の高いコンテンツを提供することができないという点である。
 本発明の一態様は、表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、前記メインエリアに表示させたコンテンツの再生が終了する際に前記候補エリアに表示させていたコンテンツを、前記メインエリアに表示させる表示制御部と、前記表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出する検出部と、を有し、前記表示制御部は、前記メインエリアに表示させたコンテンツの再生中に、前記候補エリアに表示させているコンテンツを、前記人物に応じて変更する情報処理装置である。
 また、本発明の一態様は、広告のためのコンテンツを表示する表示装置と情報処理装置とを備える表示システムであって、前記情報処理装置は、表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、前記メインエリアに表示させたコンテンツの再生が終了する際に前記候補エリアに表示させていたコンテンツを、前記メインエリアに表示させる表示制御部と、前記表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出する検出部と、を有し、前記表示制御部は、前記メインエリアに表示させたコンテンツの再生中に、前記候補エリアに表示させているコンテンツを、前記人物に応じて変更する表示システムである。
 また、本発明の一態様は、表示制御部が、表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、前記メインエリアに表示させたコンテンツの再生が終了する際に前記候補エリアに表示させていたコンテンツを、前記メインエリアに表示させ、検出部が、前記表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出し、前記表示制御部は、前記メインエリアに表示させたコンテンツの再生中に、前記候補エリアに表示させているコンテンツを、前記人物に応じて変更する表示制御方法である。
 また、本発明の一態様は、表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、前記メインエリアに表示させたコンテンツの再生が終了する際に前記候補エリアに表示させていたコンテンツを、前記メインエリアに表示させる表示制御部と、前記表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出する検出と、を有し、前記表示制御部は、前記メインエリアに表示させたコンテンツの再生中に、前記人物に応じてコンテンツの優先度を決定し、決定された優先度に従ってコンテンツを前記候補エリアに表示させる情報処理装置である。
 本発明によれは、有効範囲内にいるターゲットへの訴求効果のより高いコンテンツを提供することができる。
本発明の実施形態における情報処理装置を適用した表示システムの構成を説明する概略ブロック図である。 コンテンツ表示装置の表示例を示すイメージ図である。 コンテンツ表示装置の表示例を示すイメージ図である。 コンテンツ表示装置の表示例を示すイメージ図である。 コンテンツ表示装置の表示例を示すイメージ図である。 コンテンツ表示装置の表示例を示すイメージ図である。 コンテンツ表示装置の表示例を示すイメージ図である。 表示システムの機能構成を示す概略ブロック図である。 情報処理装置が記憶する広告IDテーブルのデータ構造及びデータ例を示す概略図である。 情報処理装置が記憶する広告属性テーブルのデータ構造及びデータ例を示す概略図である。 情報処理装置が実行する表示制御処理の動作について説明するフローチャートである。 情報処理装置が実行する表示制御処理の動作について説明するフローチャートである。 コンテンツ出力装置が実行する表示制御処理の動作について説明するフローチャートである。 本発明による情報処理装置の基本構成を示す図である。 他の実施形態における情報処理装置50の構成を示す機能ブロック図である。 他の実施形態における情報処理装置60の構成を示す機能ブロック図である。 情報処理装置60の動作を説明するフローチャートである。
 以下、本発明の一実施形態を説明する。
 図1は、本発明の実施形態における情報処理装置を適用した表示システムの構成を説明する概略ブロック図である。この実施形態において、表示システム100は、デジタルサイネージ等の電子看板に表示するコンテンツの表示制御をするシステムである。コンテンツは、広告のためのものであり、静止画像であっても動画像であってもよく、また音声を有するものであっても有さないものであってもよい。
 この図において、表示システム100は、カメラ装置1と、コンテンツ表示装置2と、コンテンツ出力装置3と、情報処理装置4とを有する。
 カメラ装置1とコンテンツ出力装置3と情報処理装置4とは有線又は無線のLAN(Local Area Network)により通信接続する。また、コンテンツ表示装置2とコンテンツ出力装置3とは映像信号を伝達する映像ケーブルを介して接続する。
 カメラ装置1は、コンテンツ表示装置2近傍に設置され、コンテンツ表示装置2の表示画面を視聴可能な有効範囲にいる人物を撮像する。
 コンテンツ表示装置2は、広告のためのコンテンツをその表示画面に表示する。
 コンテンツ出力装置3は、コンテンツの映像信号をコンテンツ表示装置2に出力して、コンテンツ表示装置2にコンテンツを表示させる。
 情報処理装置4は、コンテンツ表示装置2に表示するコンテンツの表示制御をするコンピュータである。
 図2A~図2Fは、コンテンツ表示装置の表示例を示すイメージ図である。コンテンツ表示装置2は、その表示画面のうち最も大きい表示領域であるメインエリアと、メインエリアよりその表示領域が小さい候補エリアとにそれぞれ異なるまたは同じ広告のコンテンツを表示することが可能である。メインエリアに表示される広告のコンテンツと候補エリアに表示される広告のコンテンツは、同じであってもよいし、異なっていてもよい。以下、メインエリアに表示する広告のコンテンツをメイン広告と称し、候補エリアに表示する広告のコンテンツをサムネイル広告と称する。サムネイル広告は、テキスト情報、動画像、静止画像、またはそれらを任意に組み合わせたものでよく、また音声を有するものであっても有さないものであってもよく、その広告のメイン広告と同一のものであっても、メイン広告のサムネイル画像(動画像または静止画像)であってもよい。また、サムネイル広告は、メイン広告として表示されるコンテンツに関連性がある内容であればよく、メイン広告の一部がサムネイル広告として用いられてもよい。
 候補エリアに表示されるサムネイル広告は、次にメインエリアに表示される候補となる広告のものである。すなわち、コンテンツ表示装置2は、メインエリアに表示するメイン広告について、表示中であるメイン広告の再生が終了した後、次のメイン広告を表示する際、候補エリアに表示されているサムネイル広告のうちいずれかのサムネイル広告をメインエリアにメイン広告として表示する。また、各候補エリアには優先度が対応付けられており、コンテンツ表示装置2は、サムネイル広告をその優先度に対応する候補エリアに配置して表示する。
 図2Aに示す例では、コンテンツ表示装置2は、その表示画面をメインエリアMAと、非表示エリアHAと、候補エリアSAとに分割し、メインエリアMAと候補エリアSAとにそれぞれ異なるまたは同じ広告のコンテンツを表示する。黒色で示す非表示エリアHAは、広告のコンテンツ等は何も表示しない領域である。非表示エリアHAは、広告のコンテンツを表示せず、領域内が黒色等の定められた色で塗り潰された画像が表示されてもよい。
 図2Bに示す例では、コンテンツ表示装置2は、その表示画面をメインエリアMBと、2つの候補エリアSB1,SB2とに分割し、各エリアにそれぞれ異なるまたは同じ広告のコンテンツを表示する。斜線部分で示す候補エリアSB1においては、サムネイル広告の上にグレーアウトが施される。よって、候補エリアSB1に表示されるサムネイル広告は、グレーアウト状態であるため、サムネイル広告を視認することはできるが、カラー表示ではなくグレー表示される。白色で示す候補エリアSB2には、サムネイル広告をカラー表示してもよい。よって、例えば、視認し易い候補エリアSB2の優先度を最も高くし、グレー表示される候補エリアSB1の優先度を2番目にしてもよい。この場合には、コンテンツ表示装置2は、最も優先度の高いサムネイル広告を候補エリアSB2に表示し、2番目に優先度の高いサムネイル広告を候補エリアSB1に表示する。
 図2Cに示す例では、コンテンツ表示装置2は、その表示画面をメインエリアMCと、ポップエリアPPと、候補エリアSCとに分割し、メインエリアMCと候補エリアSCとにそれぞれ異なるまたは同じ広告のコンテンツを表示する。ポップエリアPPには、その下にある候補エリアSCに表示されるサムネイル広告に対応する関連情報が表示される。関連情報としては、例えばサムネイル広告に関する説明文等がある。
 図2Dに示す例では、コンテンツ表示装置2は、その表示画面をメインエリアMDと、候補エリアSDとに分割し、各エリアにそれぞれ異なるまたは同じ広告のコンテンツを表示する。
 図2Eに示す例では、コンテンツ表示装置2は、その表示画面をメインエリアMEと、4つの候補エリアSE1,SE2,SE3,SE4とに分割し、各エリアにそれぞれ異なる広告のコンテンツを表示する。但し、メインエリアMEに表示される広告のコンテンツと、いずれかの候補エリアに表示される広告のコンテンツとが同じ場合であってもよい。候補エリアSE1~候補エリアSE4は、表示画面を正面視したときのメインエリアMEの左側に縦一列に配置される。例えば、候補エリアSE1、候補エリアSE2、候補エリアSE3、候補エリアSE4の順に優先度を高くしてもよい。例えば、サムネイル広告の優先度が高いほど表示画面に表示される領域が表示画面の上側に近くなるように割り当てることができる。この場合には、コンテンツ表示装置2は、最も優先度の高いサムネイル広告を候補エリアSE1に表示し、2番目に優先度の高いサムネイル広告を候補エリアSE2に表示し、3番目に優先度の高いサムネイル広告を候補エリアSE3に表示し、4番目に優先度の高いサムネイル広告を候補エリアSE4に表示する。また、この図2Eの例において、各候補エリア(SE1,SE2,SE3,SE4)は、表示画面を正面視した場合にメインエリアMEの右側に配置されてもよい。
 図2Fに示す例では、コンテンツ表示装置2は、その表示画面をメインエリアMFと、4つの候補エリアSF1,SF2,SF3,SF4とに分割し、各エリアにそれぞれ異なる広告のコンテンツを表示する。但し、メインエリアMFに表示される広告のコンテンツと、いずれかの候補エリアに表示される広告のコンテンツとが同じ場合であってもよい。候補エリアSF1~候補エリアSF4は、表示画面を正面視したときのメインエリアMFの下側に横一列に配置される。例えば、候補エリアSF1、候補エリアSF2、候補エリアSF3、候補エリアSF4の順に優先度を高くしてもよい。例えば、サムネイル広告の優先度が高いほど表示画面に表示される領域が表示画面の左側に近くなるように割り当てることができる。この場合には、コンテンツ表示装置2は、最も優先度の高いサムネイル広告を候補エリアSF1に表示し、2番目に優先度の高いサムネイル広告を候補エリアSF2に表示し、3番目に優先度の高いサムネイル広告を候補エリアSF3に表示し、4番目に優先度の高いサムネイル広告を候補エリアSF4に表示する。なお、各候補エリアSF1~候補エリアSF4に優先度を設定しなくてもよく、この場合には、サムネイル広告の優先度に関係なく4つの候補エリアSF1~候補エリアSF4のいずれかに各サムネイル広告がそれぞれ表示される。また、この図2Fの例において、各候補エリア(SF1,SF2,SF3,SF4)は、表示画面を正面視した場合にメインエリアMFの上側に配置されてもよい。
 なお、本実施形態においては、コンテンツ表示装置2の表示画面は、コンテンツ表示装置2が設置された状態において縦方向(垂直方向)の長さよりも横方向(水平方向)の長さの方が長い横長の矩形状のものを例に説明したが、これに限らず、縦長の画面等の任意の形状、解像度等で実現してもよい。また、コンテンツ表示装置2の表示画面の分割パターンは、上述したものに限られず、任意の位置、比率、分割数で実現してよい。
 図3は、表示システムの機能構成を示す概略ブロック図である。
 カメラ装置1は、撮像部101と、送信部102とを有する。
 撮像部101は、任意のフレームレートで、コンテンツ表示装置2の表示画面を視聴可能な有効範囲にいる人物を撮像し、その撮像画像を生成する。
 送信部102は、撮像部101が生成した撮像画像を情報処理装置4に送信する。
 情報処理装置4は、候補広告表示数設定部401と、候補広告切替時間設定部402と、記憶部403と、広告ID付与部404と、広告送信部405と、撮像画像取得部406と、属性推定部407と、視聴広告特定部408と、表示制御部409とを有する。情報処理装置4は、コンピュータであってもよい。
 候補広告表示数設定部401と、候補広告切替時間設定部402と、広告ID付与部404と、広告送信部405と、撮像画像取得部406と、属性推定部407と、視聴広告特定部408と、表示制御部409とについては、例えばCPU(中央処理装置)等の処理装置若しくは専用の電子回路で構成されてもよい。
 記憶部403は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、またはこれらの記憶媒体の任意の組み合わせによって構成される。この記憶部403は、例えば、不揮発性メモリを用いることができる。
 候補広告表示数設定部401は、コンテンツ表示装置2に表示するサムネイル広告の数(以下、「サムネイル広告表示数」とする。)を設定する。すなわち、候補広告表示数設定部401は、候補エリアの数を表示制御部409に指示することで設定する。例えば、候補広告表示数設定部401は、入力装置を介してユーザからの操作入力に基づいて、サムネイル広告表示数の入力を受け付ける。入力装置は、例えばキーボードやマウス等であってもよく、これらが情報処理装置4に有線または無線によって接続されていればよい。
 候補広告切替時間設定部402は、候補エリアに表示するサムネイル広告を切り替える時間(以下、「サムネイル広告切替時間」とする。)を設定する。例えば、候補広告切替時間設定部402は、入力装置を介してユーザからの操作入力に基づいて、サムネイル広告切替時間の入力を受け付ける。また、候補広告切替時間設定部402は、入力されたサムネイル広告切替時間を表示制御部409に指示する。
 記憶部403は、種々の情報を記憶する。例えば、記憶部403は、各広告のコンテンツ(メイン広告及びサムネイル広告)を記憶する。また、記憶部403は、各広告のコンテンツそれぞれを識別するための広告IDを示す広告IDテーブルと、各広告のターゲットとなる人物の属性を示す広告属性テーブルとを記憶する。
 サムネイル広告は、メイン広告に関連するコンテンツであればよい。例えば、サムネイル広告は、メイン広告に構成する複数のフレームのうち少なくとも一部のフレームを基に生成されたコンテンツであってもよい。例えば、メイン広告が動画データである場合には、その動画データを構成する複数のフレームのうち選択された一部のフレームをサムネイル広告として用いることができる。例えば、選択される一部のフレームが、1枚のフレームである場合には、このフレームを再生期間において表示する、いわゆる静止画のコンテンツとして用いることができる。また、選択された一部のフレームが、複数のフレームである場合には、メイン広告の再生時間のうち、一部の再生時間に相当する部分を切り出したコンテンツであってもよい。この場合、サムネイル広告は、メイン広告の動画データのうち、一部の再生区間である動画データである。サムネイル広告は、予め生成されて記憶部403に記憶されていてもよい。また、情報処理装置4にコンテンツ編集部を備えるようにし、このコンテンツ編集部が、記憶部403に記憶されたメイン広告であるコンテンツから、サムネイル広告を生成し、記憶部403に記憶するようにしてもよい。
 広告ID付与部404は、各広告にメイン広告IDとサムネイル広告IDとを付与する。メイン広告IDは、メイン広告を識別する広告IDである。サムネイル広告IDは、サムネイル広告を識別する広告IDである。広告ID付与部404は、メイン広告IDやサムネイル広告IDを発番し、この発番されたメイン広告IDをメイン広告に付与し、サムネイル広告IDをサムネイル広告に付与してもよい。広告ID付与部404は、各広告に付与したメイン広告IDとサムネイル広告IDとを記憶部403が記憶する広告IDテーブルに書き込む。
 広告送信部405は、各広告のコンテンツ(メイン広告及びサムネイル広告)を、そのメイン広告ID及びサムネイル広告IDと対応付けてコンテンツ出力装置3に送信する。
 撮像画像取得部406は、カメラ装置1から撮像画像を受信することで取得する。
 属性推定部407は、撮像画像に基づいて、有効範囲にいる各人物を検出することができ、検出された人物の属性を推定する。また、属性推定部407は、表示装置の表示画面を視認可能な場所を含むように撮像された撮像画像から人物を検出し、検出された人物の属性を推定する。有効範囲は、コンテンツが視聴可能な場所を含む領域の範囲であればよい。
 視聴広告特定部408は、撮像画像に基づいて、有効範囲にいる各人物の視線の方向を推定し、推定した視線の方向に基づいて各人物が視聴している広告を特定する。例えば、視聴広告特定部408は、推定した視線の方向に基づいて、その視線の先がコンテンツ表示装置2の表示画面であって、その表示画面の表示エリアのいずれの領域に向いているかを推定する。視聴広告特定部408は、視線の向いている先の領域がいずれかの候補エリアである場合には、どの候補エリアであるかを特定する。視聴広告特定部408は、特定された候補エリアに表示されているサムネイル広告を特定することで、人物が視聴している広告であると特定する。
 また、視聴広告特定部408は、視線の向いている先の領域がメインエリアである場合には、メインエリアに表示されているメイン広告を特定することで、人物が視聴している広告であると特定することもできる。
 視聴広告特定部408は、このような広告を、撮像画像の有効範囲に複数の人物が含まれている場合には、その人物のそれぞれについて行う。
 表示制御部409は、コンテンツ表示装置2に表示するコンテンツの表示制御をする。表示制御部409は、表示画面の表示領域が複数のエリアに分割されており、複数のエリアのうちメインエリアにコンテンツ(メイン広告)が再生され当該コンテンツの再生が終了するまでの間に、複数のエリアのうち候補エリアに再生されたコンテンツ(サムネイル広告)の再生を終了させ、推定された属性に応じたコンテンツの再生をさせる。
 具体的には、表示制御部409は、コンテンツ表示装置2の表示画面において複数に分割された領域のうち最も大きい表示領域であるメインエリアと、当該メインエリアより小さい候補エリアとにそれぞれ異なる広告のコンテンツを表示させる。また、表示制御部409は、コンテンツ表示装置2の表示画面を視聴可能な有効範囲内にいる人物の属性に基づいて候補エリアに表示する広告を、現在表示されているサムネイル広告を表示し次に表示するサムネイル広告を表示することで表示を切り替える。また、表示制御部409は、メインエリアに表示している広告を切り替える際に、候補エリアに表示されている広告のうち最も視聴されている広告をメインエリアに表示させる。最も視聴されているコンテンツを特定する場合、表示制御部409は、視線毎に、当該視線の方向が向いている候補エリアを特定し、候補エリアに向いている視線の数が最も多い候補エリアに表示されたコンテンツを、最も視聴されているコンテンツとして特定してもよい。また、候補エリアに視線が向いている時間を計測し、向いている時間が最も長い候補エリアを最も視聴されているコンテンツとして特定してもよい。また、複数の人物の視線がある場合には、その視線毎の時間の合計値を、候補エリア毎に求め、その合計値が最も高い候補エリアのコンテンツを、最も視聴されているコンテンツとして特定するようにしてもよい。
 ここで、表示制御部409は、候補エリアに表示する広告を切り替える際に、最も視聴されている広告を再度候補エリアに表示する。また、表示制御部409は、人物の属性に基づいて候補エリアに表示する広告に優先度を付与し、当該優先度に対応する候補エリアに各広告をそれぞれ表示する。例えば、表示制御部409は、推定された属性に基づいて複数のコンテンツのそれぞれに優先度を付与し、候補エリアに対して、当該候補エリアに付与された優先度に対応する優先度が設定されたコンテンツを表示させる。
 また、表示制御部409は、候補エリアに表示する広告を切り替える際に、最も視聴されている広告の優先度を最も高くする。また、表示制御部409は、候補エリアに表示する広告を切り替える際に、人物の属性に基づいて選択された広告が、候補エリアに表示している広告と全て一致する場合には、視聴数に基づいて優先度を付与する。また、表示制御部409は、候補エリアに表示する広告を切り替える際には、メインエリアに表示している広告以外の広告に切り替える。
 また、表示制御部409は、撮像画像から検出された人物に基づいて推定された属性に応じた優先度と、特定された結果に基づいてコンテンツ付与された優先度と、に基づいて、候補エリアに表示するコンテンツを選択することもできる。
 また、表示制御部409は、候補エリアに表示させているコンテンツを、人物に応じた他のコンテンツに変更するようにしてもよい。
 また、表示制御部409は、候補エリアに表示されているコンテンツを、人物に応じて並び替えるようにしてもよい。
 表示制御部409は、メインエリアに表示させたコンテンツの再生中に検出部によって人物が検出されなかった場合、人物によらないコンテンツを候補エリアに表示する。
 表示制御部409は、サムネイル広告選出部4091と、優先度決定部4092と、広告ID送信部4093と、メイン広告選出部4094を有する。
 サムネイル広告選出部4091は、有効範囲にいる人物の属性と視聴されているサムネイル広告とに基づいて、コンテンツ表示装置2に表示するサムネイル広告を選択する。
 優先度決定部4092は、有効範囲にいる人物の属性と視聴されているサムネイル広告とに基づいて、サムネイル広告選出部4091が選択した各サムネイル広告の優先度を決定する。
 広告ID送信部4093は、サムネイル広告選出部4091が選択した各サムネイル広告のサムネイル広告IDをその優先度とともにコンテンツ出力装置3に送信する。また、広告ID送信部4093は、メイン広告選出部4094が選択したメイン広告のメイン広告IDをコンテンツ出力装置3に送信する。
 メイン広告選出部4094は、視聴されているサムネイル広告に基づいて、コンテンツ表示装置2に表示するメイン広告を選択する。
 コンテンツ出力装置3は、広告受信部301と、広告記憶部302と、広告ID受信部303と、広告読出部304と、画面分割部305と、広告配置部306と、出力部307とを有する。コンテンツ出力装置3は、コンピュータであってもよい。
 広告受信部301と、広告ID受信部303と、広告読出部304と、画面分割部305と、広告配置部306と、出力部307とについては、例えばCPU(中央処理装置)等の処理装置若しくは専用の電子回路で構成されてもよい。
 広告記憶部302は、記憶媒体、例えば、HDD、フラッシュメモリ、EEPROM、RAM、ROM、またはこれらの記憶媒体の任意の組み合わせによって構成される。この記憶部403は、例えば、不揮発性メモリを用いることができる。
 広告受信部301は、各広告のコンテンツ(メイン広告及びサムネイル広告)を、そのメイン広告ID及びサムネイル広告IDとともに情報処理装置4から受信し、受信した各広告のコンテンツ(メイン広告及びサムネイル広告)を、そのメイン広告ID及びサムネイル広告IDと対応付けて広告記憶部302に書き込む。
 広告記憶部302は、各広告のコンテンツ(メイン広告及びサムネイル広告)を、そのメイン広告ID及びサムネイル広告IDと対応付けて記憶する。
 広告ID受信部303は、コンテンツ表示装置2に表示するコンテンツの広告IDを情報処理装置4から受信する。
 広告読出部304は、情報処理装置4から受信した広告IDに対応する広告のコンテンツを広告記憶部302から読み出す。
 画面分割部305は、コンテンツ表示装置2の表示画面の表示領域をメインエリアと候補エリアとに分割する。また、画面分割部305は、情報処理装置4から受信したサムネイル広告IDの数(サムネイル広告表示数)が複数である場合には、受信したサムネイル広告IDの数に一致する分割数となるように候補エリアを分割する。このとき、画面分割部305は、分割した各候補エリアに優先度を付与する。例えば、画面分割部305は、表示領域の大きい候補エリアほどその優先度を高くする。また、例えば、画面分割部305は、候補エリアの配置状況に応じて、候補エリアのそれぞれに優先度を付与する。例えば、図2Eに示すように、縦方向に候補エリアが並べられている場合には、画面の上に近い位置にある候補エリアほど高い優先度を付与する。また、例えば、図2Fに示すように、水平方向に候補エリアが並べられている場合には、画面の左端部または右端部に近いほど高い優先度を付与する。
 広告配置部306は、コンテンツ表示装置2の表示画面の分割された各エリアに、広告記憶部302から読み出した広告のコンテンツを配置した映像信号を生成する。具体的には、広告配置部306は、メイン広告をリサイズしてメインエリアに配置する。また、広告配置部306は、複数ある候補エリアに対してそれぞれ表示する各サムネイル広告をその優先度に従って並び替える。そして、広告配置部306は、各サムネイル広告をリサイズしてその優先度に応じた各候補エリアにそれぞれ配置する。
 出力部307は、広告配置部306が生成した映像信号をコンテンツ表示装置2に出力する。
 コンテンツ表示装置2は、入力部201と、表示部202とを有する。コンテンツ表示装置2は、例えば、液晶表示装置である。また、コンテンツ表示装置2は、液晶表示装置ではなく、プロジェクタであってもよい。
 入力部201は、コンテンツ出力装置3から映像信号を入力する。
 表示部202は、表示画面を有し、入力された映像信号を表示画面に表示する。コンテンツ表示装置2がプロジェクタである場合、表示部202は、投写面に映像信号を投写すればよい。
 図4は、情報処理装置が記憶する広告IDテーブルのデータ構造及びデータ例を示す概略図である。
 図示するように、広告IDテーブルは、広告と、メイン広告IDと、サムネイル広告IDとの各項目を対応付けて記憶する。メイン広告IDは、メイン広告を識別する広告IDである。サムネイル広告IDは、サムネイル広告を識別する広告IDである。なお、メイン広告IDとサムネイル広告IDとは、対応する広告IDを有する。例えば、広告Aのメイン広告IDは「1a」であり、サムネイル広告IDは「2a」である。本例では、広告Aのメイン広告ID及びサムネイル広告IDに共通する「a」は広告「A」であることを示し、メイン広告IDの「1」はメイン広告IDであること、サムネイル広告IDの「2」はサムネイル広告IDであることを示す。同様に、広告Bのメイン広告IDは「1b」であり、サムネイル広告IDは「2b」である。
 図5は、情報処理装置が記憶する広告属性テーブルのデータ構造及びデータ例を示す概略図である。
 図示するように、広告IDテーブルは、広告と、当該広告のターゲットとなる人物の属性との各項目を対応付けて記憶する。図示する例では、人物の属性には、性別と年齢とが含まれる。例えば、広告Aのターゲットとなる人物は、性別「女性」であり、年齢「10代~20代」である。また、広告Bのターゲットとなる人物は、性別「男性」であり、年齢「全年齢」である。
 次に、本表示システム100の動作について説明する。
 図6及び図7は、情報処理装置が実行する表示制御処理の動作について説明するフローチャートである。情報処理装置4は、コンテンツ表示装置2にコンテンツを表示する際に、本図に示す処理を実行する。
 まず、広告ID付与部404が、記憶部403に記憶されている全てのメイン広告にメイン広告IDを付与し(ステップS101)、記憶部403が記憶する広告IDテーブルに書き込む。続いて、広告ID付与部404は、全てのサムネイル広告に、メイン広告IDに対応したサムネイル広告IDを付与し(ステップS102)、記憶部403が記憶する広告IDテーブルに書き込む。そして、広告送信部405が、全ての広告のメイン広告及びサムネイル広告を、メイン広告ID及びサムネイル広告IDとともに、コンテンツ出力装置3に送信する(ステップS103)。
 次に、候補広告表示数設定部401が、サムネイル広告表示数を設定する(ステップS104)。候補広告表示数設定部401は、広告送信部405を介して、設定したサムネイル広告表示数をコンテンツ出力装置3に送信する。続いて、候補広告切替時間設定部402が、サムネイル広告切替時間を設定する(ステップS105)。
 次に、撮像画像取得部406がカメラ装置1から撮像画像を取得し、取得した撮像画像の撮像フレームから人物を検出したか否かを判定する(ステップS106)。撮像フレームから人物を検出していない場合(ステップS106;NO)、表示制御部409は、予め設定されたデフォルトの広告(以下、「デフォルト広告」とする。)のメイン広告IDをコンテンツ出力装置3に出力する(ステップS107)。続いて、表示制御部409は、サムネイル広告IDをサムネイル広告表示数だけランダムに選択する(ステップS108)。そして、表示制御部409は、選択したサムネイル広告IDをコンテンツ出力装置3に送信する(ステップS109)。続いて、表示制御部409は、サムネイル広告切替時間に到達(サムネイル広告を表示してからサムネイル広告切替時間経過)したか否かを判定する(ステップS110)。サムネイル広告切替時間に到達していない場合(ステップS110;NO)、ステップS110の処理を繰り返す。一方、サムネイル広告切替時間に到達した場合(ステップS110;YES)、ステップS117の処理に進む。
 すなわち、表示制御部409は、コンテンツ表示装置2に最初にコンテンツを表示する際、コンテンツ表示装置2の有効範囲に人物がいない場合には、デフォルト広告のコンテンツをメインエリアに、ランダムに選択したサムネイル広告を候補エリアにそれぞれ表示する。
 一方、撮像フレームから人物を検出した場合(ステップS106;YES)、属性推定部407が、撮像フレームから検出された全ての人物の属性を推定する(ステップS111)。続いて、表示制御部409が、推定された属性に基づいて各広告の優先度を決定する(ステップS112)。例えば、表示制御部409は、属性に合致する人数の多い広告の優先度を高くする。そして、表示制御部409は、決定した優先度を対応する広告に付与する(ステップS113)。続いて、表示制御部409は、優先度が2番目以降の広告のサムネイル広告IDを、優先度が高い順にサムネイル広告表示数だけ選ぶ(ステップS114)。続いて、表示制御部409は、優先度の最も高い広告のメイン広告IDをコンテンツ出力装置3に送信する(ステップS115)。続いて、表示制御部409は、選んだサムネイル広告表示数のサムネイル広告IDをその優先度とともにコンテンツ出力装置3に送信する(ステップS116)。
 すなわち、表示制御部409は、コンテンツ表示装置2に最初に広告を表示する際、コンテンツ表示装置2の有効範囲に人物がいる場合には、有効範囲にいる全ての人物の属性に基づいて広告を選び、属性に基づく優先度の最も高い広告をメインエリアに、優先度が2番目以降の広告をその優先度の順に候補エリアにそれぞれ表示する。
 続いて、撮像画像取得部406が、カメラ装置1から撮像画像を取得し、取得した撮像画像の撮像フレームから人物を検出したか否かを判定する(ステップS117)。撮像フレームから人物を検出していない場合(ステップS117;NO)、ステップS110の処理に戻る。すなわち、表示制御部409は、撮影フレームから人物が検出されなかった場合、表示している(配信中の)メイン広告及びサムネイル広告を変更しない。
 一方、撮像フレームから人物を検出した場合(ステップS117;YES)、視聴広告特定部408が、撮像フレームから検出された全ての人物の視線を推定し、属性推定部407が、撮像フレームから検出された全ての人物の属性を推定する(ステップS118)。続いて、表示制御部409が、サムネイル広告切替時間に到達したか否かを判定する(ステップS119)。サムネイル広告切替時間に到達していない場合(ステップS119;NO)、ステップS118の処理に戻る。
 一方、サムネイル広告切替時間に到達した場合(ステップS119;YES)、表示制御部409は、推定結果から、視線に基づくサムネイル広告IDと属性に基づくサムネイル広告IDとを選ぶ(ステップS120)。例えば、表示制御部409は、現在候補エリアに表示している(配信中の)サムネイル広告のサムネイル広告IDを視線に基づくサムネイル広告IDとして選択する。また、表示制御部409は、推定した属性に合致する広告のサムネイル広告IDを属性に基づくサムネイル広告IDとして選択する。
 続いて、表示制御部409は、属性に基づくサムネイル広告IDに優先度を付与する(ステップS121)。続いて、表示制御部409は、視線に基づくサムネイル広告IDに優先度を付与する(ステップS122)。例えば、表示制御部409は、視聴している人数の多いサムネイル広告の優先度を高くする。続いて、表示制御部409は、属性に基づくサムネイル広告ID及び視線に基づくサムネイル広告IDのそれぞれについて、優先度の高い順にサムネイル広告表示数だけサムネイル広告IDを選出する(ステップS123)。
 続いて、表示制御部409は、選出した属性に基づくサムネイル広告IDの中に、現在メインエリアで表示している(配信中の)メイン広告に対応するサムネイル広告IDに一致するものが含まれるか否かを判定する(ステップS124)。一致するものが含まれる場合(ステップS124;YES)、表示制御部409は、選出した属性に基づくサムネイル広告IDから、メインエリアで配信中のメイン広告のサムネイル広告IDを除外する(ステップS125)。これにより、メインエリアで配信中のメイン広告に対応するサムネイル広告は候補エリアに配信されず、また、同じメイン広告が2度続けて配信されることを防ぐことができる。
 一方、選出した属性に基づくサムネイル広告IDの中に、メインエリアで配信中のメイン広告のサムネイル広告IDが含まれない場合(ステップS124;NO)、表示制御部409は、選出した属性に基づくサムネイル広告IDが候補エリアで配信中のサムネイル広告のサムネイル広告IDと全て一致するか否かを判定する(ステップS126)。全て一致する場合(ステップS126;YES)、表示制御部409は、視線に基づくサムネイル広告IDをその優先度とともにコンテンツ出力装置3に送信する(ステップS127)。
 すなわち、表示制御部409は、属性に基づくサムネイル広告IDが配信中のサムネイル広告と全て一致する場合には、候補エリアに表示するサムネイル広告を入れ替えずに、その視聴数に基づいてサムネイル広告の配置位置を変更する。例えば、表示制御部409は、視聴数の多いサムネイル広告ほどより視聴し易い候補エリアに配置することができる。
 一方、選出した属性に基づくサムネイル広告IDが候補エリアで配信中のサムネイル広告のサムネイル広告IDと一部でも一致しない場合(ステップS126;NO)、表示制御部409は、配信中のサムネイル広告のうち最も視聴されているもののサムネイル広告IDの優先度を最も高くし、当該サムネイル広告IDをその最も高い優先度とともにコンテンツ出力装置3に送信する(ステップS128)。続いて、表示制御部409は、属性に基づくサムネイル広告IDから、最も視聴されているサムネイル広告のサムネイル広告IDを除き、サムネイル広告表示数-1(サムネイル広告表示数から1を減算した数)だけサムネイル広告IDを優先度の高い順に選出する(ステップS129)。続いて、表示制御部409は、選出したサムネイル広告IDにその優先度の高い順に2番目以降の優先度を再付与し、選出したサムネイル広告IDを再付与した優先度とともにコンテンツ出力装置3に送信する(ステップS130)。重複を避けるため、このとき送信するサムネイル広告IDには、最も視聴されているサムネイル広告IDは含まれない。
 すなわち、表示制御部409は、属性に基づくサムネイル広告IDが配信中のサムネイル広告と一部でも異なる場合には、最も視聴されているサムネイル広告を残し、他のサムネイル広告を入れ替える。このとき、表示制御部409は、最も視聴されているサムネイル広告の優先度を最も高くすることにより、最も視聴されているサムネイル広告を最も視聴し易い候補エリア等に配置することができる。
 続いて、表示制御部409は、次のメイン広告を決定する時間に到達したか否かを判定する(ステップS131)。メイン広告を決定する時間は、例えば、配信中のメイン広告が終了する時間の所定時間前等である。次のメイン広告を決定する時間に到達していない場合(ステップS131;NO)、ステップS118の処理に戻る。
 一方、次のメイン広告を決定する時間に到達した場合(ステップS131;YES)、視聴広告特定部408が、撮像フレームから検出された各人物の視線を推定し、各人物が視聴している広告を特定する(ステップS132)。続いて、表示制御部409が、最も視聴されているサムネイル広告のサムネイル広告IDを選出する(ステップS133)。続いて、表示制御部409は、選出したサムネイル広告IDに対応するメイン広告IDを広告IDテーブルから読み出す(ステップS134)。表示制御部409は、読み出したメイン広告IDをコンテンツ出力装置3に送信する(ステップS135)。
 すなわち、表示制御部409は、メインエリアに表示しているメイン広告を切り替える際、最も視聴されているサムネイル広告のメイン広告をメインエリアに表示させる。
 続いて、情報処理装置4は、電源がOFFになったか否かを判定する(ステップS136)。電源がOFFになっていない場合(ステップS136;NO)、ステップS118の処理に戻る。一方、電源がOFFになった場合(ステップS136;YES)、処理を終了する。
 図8は、コンテンツ出力装置が実行する表示制御処理の動作について説明するフローチャートである。コンテンツ出力装置3は、電源がONになると、本図に示す処理を実行する。
 まず、広告受信部301が、情報処理装置4から全ての広告のメイン広告とサムネイル広告とを受信したか否かを判定する(ステップS201)。このとき、広告受信部301は、メイン広告及びサムネイル広告とともにそのメイン広告ID及びサムネイル広告IDとサムネイル広告表示数とを受信する。全ての広告のメイン広告とサムネイル広告とを受信していない場合(ステップS201;NO)、ステップS201の処理を再度実行する。一方、全ての広告のメイン広告とサムネイル広告とを受信した場合(ステップS201;YES)、画面分割部305が、受信したサムネイル広告表示数に映像信号を分割して出力部307からコンテンツ表示装置2に送信することにより、コンテンツ表示装置2の表示画面をメインエリアとサムネイル広告表示数の候補エリアとに分割する(ステップS202)。すなわち、画面分割部305は、メインエリアと各候補エリアの枠を表示画面上にレイアウトし、メインエリアと各候補エリアとを表示画面に割り付ける。
 続いて、広告ID受信部303が、情報処理装置4からメイン広告IDを受信したか否かを判定する(ステップS203)。メイン広告IDを受信していない場合(ステップS203;NO)、ステップS203の処理を繰り返す。一方、メイン広告IDを受信した場合(ステップS203;YES)、受信したメイン広告IDにデフォルト広告のメイン広告IDが含まれるか否かを判定する(ステップS204)。デフォルト広告のメイン広告IDが含まれる場合(ステップS204;YES)、広告配置部306は、デフォルト広告をメインエリアに配置してその映像信号をコンテンツ表示装置2に出力する(ステップS205)。これにより、コンテンツ表示装置2は、メインエリアにデフォルト広告を表示する。
 一方、受信した広告IDにデフォルト広告のメイン広告IDが含まれない場合(ステップS204;NO)、広告配置部306は、受信したメイン広告IDのうち最も優先度の高いもののメイン広告をメインエリアに配置してその映像信号をコンテンツ表示装置2に出力する(ステップS206)。これにより、コンテンツ表示装置2は、メインエリアにメイン広告を表示する。
 続いて、広告ID受信部303が、情報処理装置4からサムネイル広告IDを受信したか否かを判定する(ステップS207)。サムネイル広告IDを受信していない場合(ステップS207;NO)、ステップS207の処理を繰り返す。一方、サムネイル広告IDを受信した場合(ステップS207;YES)、広告配置部306は、受信したサムネイル広告IDのサムネイル広告をその優先度に応じた候補エリアに配置してその映像信号をコンテンツ表示装置2に出力する(ステップS208)。これにより、コンテンツ表示装置2は、1又は複数のサムネイル広告を、その優先度に応じた候補エリアにそれぞれ表示する。
 ここで、上述の説明において情報処理装置4は、ステップS136の後にステップS118に戻る場合について説明したが、このステップS118を実行する前に、カメラ装置1によって新たに撮像を行い、表示制御部409が、その撮像結果から検出される結果から、前回検出された人物とは異なる人物が検出されると、候補エリアに再生されているコンテンツについて、当該異なる人物に応じた属性のコンテンツに切り替えるようにしてもよい。
 なお、コンテンツ出力装置3は、候補エリアに表示するサムネイル広告を切り替える際、表示エリア全体がスライドするようにサムネイル広告を切り替えてもよいし、上下または左右の個々のサムネイル広告が入れ替わるように切り替えてもよく、任意のアニメーションで実現してよい。
 続いて、コンテンツ出力装置3は、電源がOFFになったか否かを判定する(ステップS209)。電源がOFFになっていない場合(ステップS209;NO)、ステップS203の処理に戻る。一方、電源がOFFになった場合(ステップS209;YES)、処理を終了する。
 表示画面に候補エリアを設けず1つのコンテンツのみを表示する表示システムでは、コンテンツ表示装置2の有効範囲にいる人物の属性を推定しても、推定してからその属性の人物をターゲットとするターゲット広告のコンテンツを配信するまでに時間のずれが生じる。そのため、ターゲット広告のコンテンツを配信するときにはそのターゲットとなる人物がコンテンツ表示装置2の有効範囲から離れてしまっている可能性があり、ターゲット広告本来の効果が薄くなるという課題がある。
 このような課題に対し、本実施形態による情報処理装置4の表示制御部409は、コンテンツ表示装置2の表示画面のうち最も大きい表示領域であるメインエリアと、当該メインエリアより小さい候補エリアとにそれぞれ異なる広告のコンテンツを表示させ、有効範囲内にいる人物の属性に基づいて候補エリアに表示する広告を切り替え、メインエリアに表示している広告を切り替える際に、候補エリアに表示されている広告をメインエリアに表示させる。すなわち、表示制御部409は、候補エリアにおいて次にメインエリアに拡大表示する候補となる広告を明示し、かつ、候補エリアに表示するサムネイル広告を有効範囲内にいる人物の属性に基づいて切り替える。これにより、有効範囲内にいる人物の興味をひき、ターゲットとなる人物を次のメイン広告が表示されるまでコンテンツ表示装置2の有効範囲内に留める効果を奏する。
 また、表示制御部409は、候補エリアを複数設け、それぞれに異なるサムネイル広告を表示しているため、コンテンツ表示装置2の有効範囲内いる複数人それぞれに適した情報を提供することができる。また、例えば音声を有する広告の場合には、コンテンツ表示装置2の有効範囲内に居るが表示画面を視聴していないターゲットに対しての効果(例えば、カクテルパーティ効果等)が期待できる。
 また、表示制御部409は、有効範囲内にいる人物の属性に基づいて候補エリアに表示するサムネイル広告を切り替え、メインエリアに表示している広告を切り替える際に、候補エリアに表示されている広告のうち最も視聴されている広告をメインエリアに表示させる。そのため、ターゲットとなる人物の購入要求に繋げる訴求効果の最も高いコンテンツをメインエリアに表示して、ターゲットに対する適切な情報を提供することができる。
 また、表示制御部409は、候補エリアに表示するサムネイル広告を切り替える際に、最も視聴されているサムネイル広告を再度候補エリアに表示する。そのため、現在視聴者に最も注目されているサムネイル広告を候補エリアに残すことができ、視聴者の関心が逸れること防ぐことができる。
 また、表示制御部409は、コンテンツ表示装置2の有効範囲にいる人物の属性に基づいて候補エリアに表示するサムネイル広告に優先度を付与し、当該優先度に対応する候補エリアに各サムネイル広告をそれぞれ表示する。これにより、属性に基づく優先度の高いサムネイル広告をより視聴し易い候補エリア(例えば、表示領域の大きい候補エリア等)に配置し、視聴者の注意を惹くことができる。
 また、表示制御部409は、候補エリアに表示する広告を切り替える際に、最も視聴されている広告の優先度を最も高くする。これにより、現在視聴者に最も注目されているサムネイル広告を最も視聴し易い候補エリアに配置することができる。
 また、表示制御部409は、候補エリアに表示する広告を切り替える際に、人物の属性に基づいて選出した広告が、候補エリアに表示している広告と全て一致する場合には、視聴数に基づいて優先度を付与する。すなわち、表示制御部409は、属性に基づいて選出したサムネイル広告が配信中のサムネイル広告と全て一致する場合には、候補エリアに表示するサムネイル広告を入れ替えずに、その視聴数に基づいてサムネイル広告の配置位置を変更する。これにより、より視聴数の多いサムネイル広告ほどより視聴し易い候補エリアに配置することができる。
 また、表示制御部409は、候補エリアに表示する広告を切り替える際には、メインエリアに表示している広告以外の広告に切り替える。これにより、メインエリアで配信中のメイン広告に対応するサムネイル広告は候補エリアに表示されず、また、同じメイン広告が2度続けて配信されることを防ぐことができる。
 また、情報処理装置4は、候補エリアの数を設定する候補広告表示数設定部401を備える。これにより、候補エリアに表示するサムネイル広告の数を任意の数に設定することができるため、記憶部403に記憶する広告のためのコンテンツ数を増やしてもコンテンツ表示装置2の表示画面の分割画面(候補エリア)が細かくなりすぎることがなく、視認性を落とすことなく最適なコンテンツ表示が可能となり、より効果的に情報を提供することができる。
 また、情報処理装置4は、候補エリアに表示する広告を切り替える時間を設定する候補広告切替時間設定部402を備える。これにより、候補エリアに表示するサムネイル広告を切り替える時間を任意の時間に設定することができるため、例えばメイン広告を切り替える時間よりも短い時間に設定することにより、有効範囲内にいる人物の属性に応じたサムネイル広告を表示するまでの時間のずれを軽減することができる。
 また、上述した実施形態において、コンテンツ表示装置2の表示画面には、メインエリアと候補エリアが割り当てられている場合における動作を説明したが、この表示画面に、コンテンツ出力装置3が、図2Cに示すように、ポップ等を表示する関連情報表示エリアを割り当てるようにしてもよい。そして表示制御部409が、候補エリアに表示されるコンテンツに関連する関連情報を関連情報表示エリアに表示させるようにしてもよい。関連情報は、コンテンツに予め関連づけされた関連コンテンツを広告記憶部302が記憶しておくようにしてもよい。そして、表示制御部409が、この広告記憶部302に記憶された関連コンテンツのIDを指定することで、関連情報表示エリアに関連情報を表示させるようにしてもよい。
 上述した実施形態において情報処理装置4の少なくとも一部の機能がコンテンツ出力装置3に設けられていてもよく、コンテンツ出力装置3のうち少なくとも
1部の機能が情報処理装置4に設けられていてもよい。また、情報処理装置4とコンテンツ出力装置3が1つの装置として構成されてもよい。
 また、上述した実施形態において、ステップS131において、次のメイン広告を決定する時間に到達していない場合に、ステップS119に移行し、サムネイル広告入れ替え時間に到達していれば、サムネイル広告を選択しなおすようにした。これにより、表示制御部409は、候補エリアに表示されるコンテンツを、メインエリアに再生されるコンテンツの再生期間よりも短い期間で異なるコンテンツに切り替えることができる。これにより、候補エリアに表示させるコンテンツを入れ替える周期を、メインエリアに表示させるコンテンツが入れ替わる周期よりも短い周期で更新することができる。これにより、メイン広告が再生されている途中において、カメラ装置1が撮影している領域を通過する人物に入れ替わりがあったとしても、その入れ替わった後の人物の属性に応じて、候補エリアに表示されるコンテンツを順次切り替えることができる、これにより、人物の入れ替わった状況に応じたコンテンツを候補エリアに表示させることができる。また、人物の入れ替わった状況に応じたコンテンツを候補エリアに表示する雇用に更新することができる、この入れ替わりに応じて更新されたコンテンツのなかから、次にメインエリアに表示するコンテンツを選択することができ、コンテンツを人物に視聴してもらうことができる確率を高めることができる。
 また、上述した実施形態において、ステップS131において、次のメイン広告を決定する時間に到達した場合に、新たに広告コンテンツ選択するようにした。例えば、この次のメイン広告を決定する時間を、このメイン広告の再生時間が終了するタイミングに応じて表示制御部409が設定しておき、この時間が到来したタイミングで、表示制御部409が新たに広告コンテンツを選択するようにしてもよい。これにより、表示制御部409は、メインエリアに再生されているコンテンツの再生が終了すると、候補エリアに表示されているコンテンツから選択されたコンテンツをメインエリアに表示させるようにして再生することができる。
 図9は、本発明による情報処理装置の基本構成を示す図である。
 本発明による情報処理装置40の基本構成は、表示制御部41、及び属性推定部42を基本構成とする。
 表示制御部41は、前記表示画面の表示領域が複数のエリアに分割されており、複数のエリアのうちメインエリアにコンテンツが再生され当該コンテンツの再生が終了するまでの間に、前記複数のエリアのうち候補エリアに再生されたコンテンツの再生を終了させ、前記推定された属性に応じたコンテンツの再生をさせる。
 属性推定部42は、表示装置の表示画面を視認可能な場所を含むように撮像された撮像画像から人物を検出し、検出された人物の属性を推定する。
 図10は、他の実施形態における情報処理装置50の構成を示す機能ブロック図である。
 情報処理装置50は、検出部51と表示制御部52とを含む。
 検出部51は、表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出する。
 表示制御部52は、表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、メインエリアに表示させたコンテンツの再生が終了する際に候補エリアに表示させていたコンテンツを、メインエリアに表示させる。
 また、表示制御部52は、メインエリアに表示させたコンテンツの再生中に、人物を検出する処理を行った結果に応じたコンテンツを候補エリアに表示させる。
 表示制御部52は、人物を検出する処理を行った結果として撮像画像から人物が検出された場合には、検出された人物の属性と行動とのうち少なくともいずれか一方に基づくコンテンツを候補エリアに表示させる。表示制御部52は、人物を検出する処理を行った結果として撮像画像から人物が検出されなかった場合には、定められたルールに基づくコンテンツを候補エリアに表示させる。定められたルールは、予め決められたコンテンツを表示するルール(例えば、デフォルトのコンテンツ)であってもよいし、複数のコンテンツのなかから任意のコンテンツを選択して表示するルールであってもよい。
 また、表示制御部52は、メインエリアに表示させたコンテンツの再生中に検出部61によって人物が検出されなかった場合、人物によらないコンテンツを候補エリアに表示するようにしてもよい。
 図11は、他の実施形態における情報処理装置60の構成を示す機能ブロック図である。
 情報処理装置60は、検出部61と、表示制御部62とを含む。
 検出部61は、表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出する。
 表示制御部62は、表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、メインエリアに表示させたコンテンツの再生が終了する際に候補エリアに表示させていたコンテンツを、メインエリアに表示させる。
 表示制御部62は、メインエリアに表示させたコンテンツの再生中に、人物に応じてコンテンツの優先度を決定し、決定された優先度に従ってコンテンツを候補エリアに表示させる。
 また、表示制御部62は、メインエリアに表示させたコンテンツの再生中に検出部61によって人物が検出されなかった場合、前記人物によらないコンテンツを前記候補エリアに表示する
 表示制御部62は、決定された優先度に従ったコンテンツであってメインエリアに表示されたコンテンツとは異なるコンテンツを候補エリアに表示させるようにしてもよい。
 図12は、情報処理装置60の動作を説明するフローチャートである。
 表示制御部62は、サムネイル広告の表示を更新するタイミングに到達したか否かを判定し(ステップS301)、更新のタイミングに到達していない場合には(ステップS301-NO)、一定のウエイト時間が経過した後に、ステップS301の処理に移行する。
 表示制御部62は、更新タイミングに到達した場合(ステップS301-YES)、検出部61から得られる、人物を検出する処理を行った結果に基づいて、撮像画像から人物が検出されたか否かを判定し(ステップS302)、人物が検出されていれば(ステップS302-YES)、検出された人物に応じた優先度を決定し、決定された優先度に従ってコンテンツを並べる(ステップS303)。
 表示制御部62は、コンテンツを並べる処理を、コンテンツに対して配置する順をコンテンツに付与することで行うようにしてもよい。この場合、この時点で候補エリアに表示されたコンテンツの並び順を替える処理ではないため、この時点では候補エリアに表示されたコンテンツの並び順は変更されない。例えば、コンテンツを並べる処理は、バックグラウンド処理として行うことができる。
 人物に応じた優先度は、例えば、人物の属性を推定し、その推定された属性に応じた優先度であってもよいし、人物の行動を検出し、その検出された行動に応じた優先度であってもよい。人物の行動は、例えば、人物の視線を検出し、その視線が候補エリアに表示されたコンテンツに向いている場合には、そのコンテンツの優先度が高い順位であると判定してもよい。また、人物に応じた優先度は、属性と行動の両方であってもよい。
 コンテンツを並べる場合、表示制御部62は、優先度が高い順にコンテンツを並べる。
 表示制御部62は、優先度が高い順に並べられたコンテンツのうち、メインエリアに表示中のコンテンツ以外のコンテンツを、優先度の順に従って候補エリアに表示させる(ステップS304)。ここでは、表示制御部62は、候補エリアが1つであれば、メインエリアに表示中のコンテンツ以外のコンテンツのうち、最も優先度が高いコンテンツを候補エリアに表示させる。表示制御部62は、候補エリアが複数であれば、メインエリアに表示中のコンテンツ以外のコンテンツのうち、優先度が高いコンテンツから順に、各候補エリアに表示させる。
 このステップS304が実行されることによって候補エリアに表示されたコンテンツは、実行される前と異なるコンテンツが表示される場合と同じコンテンツが表示される場合がある。撮像画像において検出された人物が以前と異なる場合(別の人物が検出された場合、検出された複数の人物の組み合わせが以前と異なる場合等)には、異なるコンテンツが表示されることがある。撮像画像において検出された人物が以前と同じである場合(同じ人物が同じ位置にいる場合等)には、同じコンテンツが表示されることがある。
 上述したフローチャートに基づく処理において、ステップS301の前に、人物に応じたコンテンツが候補エリアに表示される処理が行われてもよいし、デフォルトのコンテンツが候補エリアに表示される処理が行われてもよい。
 表示制御部62は、次のメインエリアに表示するコンテンツを決める時間に到達したか否かを判定し(ステップS305)、次のメインエリアに表示するコンテンツを決める時間に到達していなければ(ステップS305-NO)、処理をステップS301に移行する。
 一方、表示制御部62は、次のメインエリアに表示するコンテンツを決める時間に到達した場合には、候補エリアに表示された最も優先度の高いコンテンツをメインエリアに表示させる(ステップS306)。
 表示制御部62は、電源をオフにする指示が入力されていれば処理を終了し(ステップS307-YES)、電源をオフにする指示が入力されていなければステップS301に処理を移行する。
 一方、表示制御部62は、ステップS302において、人物が検出されなければ(ステップS302-NO)、デフォルトのコンテンツを候補エリアに表示させる(ステップS308)。
 なお、上述の処理において、表示制御部62は、ステップS308の処理を所定の条件を満たした場合に実行するようにしてもよい。例えば、表示制御部62は、撮像画像から人物が検出されない期間が一定時間経過した場合に実行するようにしてもよい。
 また、図3におけるカメラ装置、コンテンツ表示装置、コンテンツ出力装置及び情報処理装置の各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより位置検出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
 また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
 また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものを含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記のプログラムを所定のサーバに記憶させておき、他の装置からの要求に応じて、当該プログラムを通信回線を介して配信(ダウンロード等)させるようにしてもよい。
 以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
 100 表示システム
 1 カメラ装置
 101 撮像部
 102 送信部
 2 コンテンツ表示装置
 201 入力部
 202 表示部
 3 コンテンツ出力装置
 301 広告受信部
 302 広告記憶部
 303 広告ID受信部
 304 広告読出部
 305 画面分割部
 306 広告配置部
 307 出力部
 4、40 情報処理装置
 401 候補広告表示数設定部
 402 候補広告切替時間設定部
 403 記憶部
 404 広告ID付与部
 405 広告送信部
 406 撮像画像取得部
 407、42 属性推定部
 408 視聴広告特定部
 409、41 表示制御部
 4091 サムネイル広告選出部
 4092 優先度決定部
 4093 広告ID送信部
 4094 メイン広告選出部

Claims (17)

  1.  表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、前記メインエリアに表示させたコンテンツの再生が終了する際に前記候補エリアに表示させていたコンテンツを、前記メインエリアに表示させる表示制御部と、
     前記表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出する検出部と、を有し、
     前記表示制御部は、前記メインエリアに表示させたコンテンツの再生中に、前記候補エリアに表示させているコンテンツを、前記人物に応じて変更する
     情報処理装置。
  2.  前記表示制御部は、前記候補エリアに表示させているコンテンツを、前記人物に応じた他のコンテンツに変更する
     請求項1に記載の情報処理装置。
  3.  前記表示制御部は、前記候補エリアに表示されているコンテンツを、前記人物に応じて並び替える
     請求項1または請求項2に記載の情報処理装置。
  4.  前記検出部によって検出された人物の属性を推定する属性推定部を有し、
     前記表示制御部は、前記候補エリアにコンテンツを表示する場合に、前記候補エリアに表示させているコンテンツに代えて、前記推定された属性に応じたコンテンツを表示させる
     請求項1から請求項3のうちいずれか1項に記載の情報処理装置。
  5.  前記表示制御部は、前記候補エリアにコンテンツを表示する場合に、前記候補エリアに表示させているコンテンツに代えて、前記検出された人物の行動に応じたコンテンツを表示させる
     請求項1に記載の情報処理装置。
  6.  前記表示制御部は、前記推定された属性に基づいて複数のコンテンツのそれぞれに優先度を付与し、前記候補エリアに前記優先度の最も高いコンテンツを表示させるとともに、前記表示画面の他のエリアに前記優先度が次に高いコンテンツを少なくとも表示させる
     請求項4に記載の情報処理装置。
  7.  少なくとも前記候補エリアおよび前記他のエリアに表示されたコンテンツへの視線を特定する視聴広告特定部を有し、
     前記表示制御部は、さらに前記視線に基づいて前記優先度を変更し、変更された前記優先度の最も高いコンテンツを前記候補エリアに表示させる
     請求項6に記載の情報処理装置。
  8.  前記表示制御部は、
     前記候補エリアに表示されるコンテンツを、前記メインエリアに再生されるコンテンツの再生期間よりも短い期間で異なるコンテンツに切り替える
     請求項1から請求項7のうちいずれか1項に記載の情報処理装置。
  9.  前記表示制御部は、
     前記人物の検出を行った後に撮像された撮像画像から異なる人物が検出されると、前記候補エリアに再生されているコンテンツについて、当該異なる人物の属性に応じたコンテンツに切り替える
     請求項4に記載の情報処理装置。
  10.  前記候補エリアに表示されるコンテンツは、前記メインエリアに表示されるコンテンツを構成する複数のフレームのうち少なくとも一部のフレームを基に生成されたコンテンツである
     請求項1から請求項9のうちいずれか1項に記載に情報処理装置。
  11.  前記表示制御部は、
     前記候補エリアに表示されるコンテンツに関連する関連情報を前記表示画面の一部の領域に表示させる
     請求項1から請求項10のうちいずれか1項に記載の情報処理装置。
  12.  前記表示制御部は、前記撮像画像から人物が検出されなかった場合には、定められたルールに基づくコンテンツを前記候補エリアに表示させる
     請求項1から請求項11のうちいずれか1項に記載の情報処理装置。
  13.  前記表示制御部は、前記メインエリアに表示させたコンテンツの再生中に前記検出部によって人物が検出されなかった場合、前記人物によらないコンテンツを前記候補エリアに表示する
     請求項1から請求項12のうちいずれか1項に記載の情報処理装置。
  14.  広告のためのコンテンツを表示する表示装置と情報処理装置とを備える表示システムであって、
     前記情報処理装置は、
     表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、前記メインエリアに表示させたコンテンツの再生が終了する際に前記候補エリアに表示させていたコンテンツを、前記メインエリアに表示させる表示制御部と、
     前記表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出する検出部と、を有し、
     前記表示制御部は、前記メインエリアに表示させたコンテンツの再生中に、前記候補エリアに表示させているコンテンツを、前記人物に応じて変更する
     表示システム。
  15.  表示制御部が、表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、前記メインエリアに表示させたコンテンツの再生が終了する際に前記候補エリアに表示させていたコンテンツを、前記メインエリアに表示させ、
     検出部が、前記表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出し、
     前記表示制御部は、前記メインエリアに表示させたコンテンツの再生中に、前記候補エリアに表示させているコンテンツを、前記人物に応じて変更する
     表示制御方法。
  16.  表示装置の表示画面に少なくともメインエリアと候補エリアが設けられ、前記メインエリアに表示させたコンテンツの再生が終了する際に前記候補エリアに表示させていたコンテンツを、前記メインエリアに表示させる表示制御部と、
     前記表示画面の視認可能な場所を少なくとも撮像した撮像画像から人物を検出する検出と、を有し、
     前記表示制御部は、前記メインエリアに表示させたコンテンツの再生中に、前記人物に応じてコンテンツの優先度を決定し、決定された優先度に従ってコンテンツを前記候補エリアに表示させる
     情報処理装置。
  17.  前記表示制御部は、前記決定された優先度に従ったコンテンツであって前記メインエリアに表示されたコンテンツとは異なるコンテンツを前記候補エリアに表示させる
     請求項16に記載の情報処理装置。
     
PCT/JP2021/010831 2020-03-17 2021-03-17 情報処理装置、表示システム、表示制御方法 WO2021187529A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180019879.2A CN115299041A (zh) 2020-03-17 2021-03-17 信息处理装置、显示系统、显示控制方法
JP2022508412A JP7275379B2 (ja) 2020-03-17 2021-03-17 情報処理装置、表示システム、表示制御方法
EP21771004.5A EP4124023A4 (en) 2020-03-17 2021-03-17 INFORMATION PROCESSING APPARATUS, DISPLAY SYSTEM AND DISPLAY CONTROL METHOD
US17/944,806 US11954708B2 (en) 2020-03-17 2022-09-14 Information processing device, display system, display control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/011705 WO2021186547A1 (ja) 2020-03-17 2020-03-17 情報処理装置、表示システム、表示制御方法
JPPCT/JP2020/011705 2020-03-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/944,806 Continuation US11954708B2 (en) 2020-03-17 2022-09-14 Information processing device, display system, display control method

Publications (1)

Publication Number Publication Date
WO2021187529A1 true WO2021187529A1 (ja) 2021-09-23

Family

ID=77770932

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2020/011705 WO2021186547A1 (ja) 2020-03-17 2020-03-17 情報処理装置、表示システム、表示制御方法
PCT/JP2021/010831 WO2021187529A1 (ja) 2020-03-17 2021-03-17 情報処理装置、表示システム、表示制御方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011705 WO2021186547A1 (ja) 2020-03-17 2020-03-17 情報処理装置、表示システム、表示制御方法

Country Status (5)

Country Link
US (1) US11954708B2 (ja)
EP (1) EP4124023A4 (ja)
JP (1) JP7275379B2 (ja)
CN (1) CN115299041A (ja)
WO (2) WO2021186547A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038534A1 (ja) * 2022-08-18 2024-02-22 シャープNecディスプレイソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022134435A (ja) * 2021-03-03 2022-09-15 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214953A (ja) * 2006-02-10 2007-08-23 Hitachi Ltd コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、およびコンテンツ配信サーバ
JP2012022538A (ja) * 2010-07-15 2012-02-02 Hitachi Ltd 注目位置推定方法、画像表示方法、注目コンテンツ表示方法、注目位置推定装置および画像表示装置
JP2017188824A (ja) * 2016-04-07 2017-10-12 三菱電機株式会社 デジタルサイネージ再生装置およびデジタルサイネージ再生装置の制御方法
JP2019159156A (ja) * 2018-03-14 2019-09-19 東芝テック株式会社 表示制御装置及び制御プログラム
US20200045363A1 (en) * 2018-07-16 2020-02-06 Arris Enterprises Llc Gaze-Responsive Advertisement

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873710B1 (en) * 2000-06-27 2005-03-29 Koninklijke Philips Electronics N.V. Method and apparatus for tuning content of information presented to an audience
US20080004953A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Public Display Network For Online Advertising
JP2012134836A (ja) * 2010-12-22 2012-07-12 Canon Marketing Japan Inc コンテンツ表示装置、その制御方法及びプログラム
US20160379261A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Targeted content using a digital sign
KR20170055887A (ko) * 2015-11-12 2017-05-22 엘지전자 주식회사 디지털 사이니지 장치 및 그 동작 방법
US10063600B1 (en) * 2017-06-19 2018-08-28 Spotify Ab Distributed control of media content item during webcast

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214953A (ja) * 2006-02-10 2007-08-23 Hitachi Ltd コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、およびコンテンツ配信サーバ
JP2012022538A (ja) * 2010-07-15 2012-02-02 Hitachi Ltd 注目位置推定方法、画像表示方法、注目コンテンツ表示方法、注目位置推定装置および画像表示装置
JP2017188824A (ja) * 2016-04-07 2017-10-12 三菱電機株式会社 デジタルサイネージ再生装置およびデジタルサイネージ再生装置の制御方法
JP2019159156A (ja) * 2018-03-14 2019-09-19 東芝テック株式会社 表示制御装置及び制御プログラム
US20200045363A1 (en) * 2018-07-16 2020-02-06 Arris Enterprises Llc Gaze-Responsive Advertisement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4124023A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038534A1 (ja) * 2022-08-18 2024-02-22 シャープNecディスプレイソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム

Also Published As

Publication number Publication date
JP7275379B2 (ja) 2023-05-17
JPWO2021187529A1 (ja) 2021-09-23
WO2021186547A1 (ja) 2021-09-23
US20230017751A1 (en) 2023-01-19
EP4124023A1 (en) 2023-01-25
US11954708B2 (en) 2024-04-09
EP4124023A4 (en) 2024-03-27
CN115299041A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US9535991B2 (en) Video display for displaying a series of representative images for video
US11954708B2 (en) Information processing device, display system, display control method
US7886980B2 (en) Presentation system
US11231587B2 (en) Information processing apparatus and image display method
JP5539313B2 (ja) テレビジョン受像機および方法
US20090322678A1 (en) Private screens self distributing along the shop window
US20160379261A1 (en) Targeted content using a digital sign
CN102859486A (zh) 缩放显示导航
JPWO2018235595A1 (ja) 情報提供装置、情報提供方法及びプログラム
US20130211887A1 (en) Multimedia advertisement display method and system using touch screen and projector
US6270421B1 (en) Display unit for bowling alley
JP2010101949A (ja) 表示装置および表示方法
US20200380554A1 (en) Advertising information processing system, advertising display region evaluation method, and advertising information processing program
CN106385613A (zh) 控制弹幕播放的方法及装置
CN109922230A (zh) 动态内容的同步播放方法、播放控制方法及装置
CN112528050A (zh) 一种多媒体互动系统及方法
JP2007033936A (ja) 広告出力方法および広告出力装置
JP7179089B2 (ja) 情報処理装置
CN108810615A (zh) 确定音视频中插播时段的方法和装置
JP4380513B2 (ja) 視聴者コミュニケーションシステムにおける後方映像区間参照コメント表示制御方法及び装置及びプログラム
JP5542469B2 (ja) 情報提示装置及び方法及びプログラム
US9628856B2 (en) Information output apparatus and computer readable medium
WO2023181382A1 (ja) 情報処理装置、表示システム、情報処理方法
WO2024079778A1 (ja) 情報処理装置、表示システム、情報処理方法
WO2022239117A1 (ja) 情報処理装置、コンテンツ表示システム、コンテンツ表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21771004

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022508412

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021771004

Country of ref document: EP

Effective date: 20221017