WO2020137906A1 - 端末の表示方法、端末、端末のプログラム - Google Patents

端末の表示方法、端末、端末のプログラム Download PDF

Info

Publication number
WO2020137906A1
WO2020137906A1 PCT/JP2019/050167 JP2019050167W WO2020137906A1 WO 2020137906 A1 WO2020137906 A1 WO 2020137906A1 JP 2019050167 W JP2019050167 W JP 2019050167W WO 2020137906 A1 WO2020137906 A1 WO 2020137906A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
information
video advertisement
signboard
advertisement
Prior art date
Application number
PCT/JP2019/050167
Other languages
English (en)
French (fr)
Inventor
和嵩 木村
Original Assignee
Line株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line株式会社 filed Critical Line株式会社
Publication of WO2020137906A1 publication Critical patent/WO2020137906A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Definitions

  • the present disclosure relates to a terminal display method, a terminal, and a terminal program.
  • Patent Document 1 discloses a display method in a vehicle for presenting an advertisement/advertisement to a user in the vehicle, and a display image of the advertisement/advertisement based on the advertisement/advertisement information including contents to be advertised/advertised.
  • a display image is displayed in the display area provided on the windshield of the vehicle based on the position of the object to be advertised/advertised.
  • the display of moving images has not been sufficiently studied.
  • a display method of a terminal for displaying a video advertisement in a display area wherein an object is detected by a detection unit of the terminal, and information on the size of the object detected by the detection unit. Is acquired by the acquisition unit of the terminal, and the video advertisement is displayed in the display area based on the information about the position of the object based on the information about the size of the object, and the reproduction of the video advertisement is controlled.
  • a program executed by a computer of a terminal that displays a video advertisement in a display area, the object detecting section detecting the object, and the size of the object detected by the detecting section.
  • the video advertisement is displayed in the display area based on the information about the position of the object, and the control to execute the reproduction of the video advertisement is performed.
  • a terminal that displays a video advertisement in a display area, a detection unit that detects an object, an acquisition unit that acquires information regarding the size of the object detected by the detection unit, And a control unit configured to display a video advertisement in a display area based on the information about the position of the object based on the information about the size of the object, and control the reproduction of the video advertisement.
  • FIG. 1 is a diagram showing a configuration of a communication system according to an aspect of an embodiment.
  • FIG. 1 is a schematic diagram for explaining an outline of an embodiment.
  • the data conceptual diagram which shows the structural example of signboard information.
  • the sequence diagram which shows an example of the exchange in a communication system.
  • the flowchart which shows the operation example regarding the display of the video advertisement in a terminal.
  • the flowchart which shows an example of the transmission operation of the signboard information in a server.
  • FIG. 6A is a screen diagram showing a display example on a terminal.
  • FIG. 6B is a bird's-eye view showing an arrangement example of the user and the signboard in the case of the display in FIG.
  • FIG. 9A is a diagram for explaining another example of opposite sides.
  • (B) is a figure for demonstrating the example of the signboard area
  • FIG. 1 shows a configuration of a communication system 1 according to an embodiment of the present disclosure.
  • the server 10 and the terminal 20 are connected via the network 30.
  • the server 10 provides the terminal 20 owned by the user via the network 30 with a service for transmitting and receiving a message between the terminals 20.
  • the number of terminals 20 connected to the network 30 is not limited.
  • the network 30 plays a role of connecting one or more terminals 20 and one or more servers 10. That is, the network 30 refers to a communication network that provides a connection path so that the terminal 20 can transmit and receive data after connecting to the server 10.
  • the network 30 is, by way of example and not limitation, an ad hoc network, an intranet, an extranet, a virtual private network (VPN), a local area network (LAN), a wireless network.
  • VPN virtual private network
  • LAN local area network
  • the network 30 may include one or more networks 30.
  • the terminal 20 may be any terminal as long as it is an information processing terminal capable of realizing the functions described in each embodiment.
  • the terminal 20 is preferably a wearable terminal (eg, glasses-type device, head-mounted display, etc.) having an image capturing function and a display function, but not limited thereto. ), a computer (such as, but not limited to, a laptop, a tablet, etc.), a handheld computing device (such as, but not limited to, a PDA (personal digital assistant), an email client, etc.), or another type of computer, or a communication platform. including.
  • the terminal 20 may be expressed as an information processing terminal.
  • the terminal 20 Since the configurations of the terminals 20A and 20B are basically the same, the terminal 20 will be described in the following description.
  • the terminal used by the user X is referred to as a terminal 20X
  • the user information in a predetermined service associated with the user X or the terminal 20X is referred to as a user information X as necessary.
  • the user information is user information associated with an account used by the user in a predetermined service.
  • the user information is, for example, without limitation, input by the user or given by a predetermined service, the user's name, the user's icon image, the user's age, the user's gender, the user's address, the user's hobby.
  • the information includes information associated with the user such as the taste and the user's identifier, and may be one or a combination of these, or not.
  • the server 10 has a function of providing a predetermined service to the terminal 20.
  • the server 10 may be any device as long as it is an information processing device that can realize the functions described in each embodiment.
  • the server 10 includes, by way of example and not limitation, server devices, computers (eg, without limitation, desktops, laptops, tablets, etc.), media computer platforms (eg, without limitation, cables, satellite set top boxes, digital video recorders). ), handheld computing devices (eg, without limitation, PDAs, email clients, etc.), or other types of computers, or communication platforms.
  • the server 10 may be expressed as an information processing device. When it is not necessary to distinguish between the server 10 and the terminal 20, the server 10 and the terminal 20 may or may not be expressed as information processing devices.
  • HW Hardware
  • the terminal 20 includes a control unit 21 (CPU: central processing unit (central processing unit)), a storage unit 28, a communication I/F 22 (interface), an input/output unit 23, a display unit 24, and a position information acquisition unit 25.
  • the components of the HW of the terminal 20 are connected to each other via the bus B, as an example and not a limitation. Note that it is not essential that the HW configuration of the terminal 20 includes all the constituent elements. By way of example, and not limitation, the terminal 20 may or may not be configured to remove individual components, or multiple components, such as the microphone 232, speaker 233, etc.
  • the communication I/F 22 transmits and receives various data via the network 30.
  • the communication may be executed by wire or wireless, and any communication protocol may be used as long as mutual communication can be executed.
  • the communication I/F 22 has a function of executing communication with the server 10 via the network 30.
  • the communication I/F 22 transmits various data to the server 10 according to an instruction from the control unit 21. Further, the communication I/F 22 receives various data transmitted from the server 10 and transfers the data to the control unit 21.
  • the communication I/F 22 may be simply referred to as a communication unit. Further, when the communication I/F 22 is composed of a physically structured circuit, it may be expressed as a communication circuit.
  • the input/output unit 23 includes a device that inputs various operations on the terminal 20 and a device that outputs a processing result processed by the terminal 20.
  • the input unit and the output unit may be integrated, or the input unit and the output unit may be separated or may not be separated.
  • the input unit is realized by any one or combination of devices of all types capable of receiving an input from a user and transmitting information related to the input to the control unit 21.
  • the input unit is, for example, without limitation, a hardware key provided in the terminal 20, a controller 231, a touch display, a pointing device such as a mouse, a camera 234 (operation input via a moving image), a microphone 232 (operation by voice). Input) is included.
  • the operation input via the moving image by the camera 234 is, for example and not by way of limitation, in the moving image captured by the camera 234, the movement of the hand of the user wearing the terminal 20 is a predetermined movement. When it can be detected, the predetermined motion is used as an operation input to execute a process associated in advance.
  • the user inputs his/her finger to draw a predetermined locus or blinks a predetermined number of times as the operation input via the moving image.
  • the output unit is realized by any one or combination of all types of devices that can output the processing result processed by the control unit 21.
  • the output unit includes, for example and without limitation, a touch panel, a touch display, a speaker 233 (voice output), a lens (for example, without limitation, 3D (three dimensions) output, hologram output), and the like.
  • the display unit 24 is realized by any of all types of devices capable of displaying or a combination thereof according to the display data written in the frame buffer.
  • the display unit 24 includes, for example and without limitation, a touch panel, a touch display, a monitor (for example, without limitation, a liquid crystal display or OELD (organic electroluminescence display)), a head mounted display (HDM: Head Mounted Display), projection mapping, a hologram.
  • a device capable of displaying images, text information, etc. in the air may or may not be vacuum). Note that these display units 24 may or may not be able to display the display data in 3D.
  • the input/output unit 23 is a touch panel
  • the input/output unit 23 and the display unit 24 may be arranged to face each other with substantially the same size and shape.
  • the control unit 21 has a circuit physically structured to execute a function realized by a code or an instruction included in a program, and as an example and not a limitation, a data processing device incorporated in hardware. It is realized by. Therefore, the control unit 21 may or may not be expressed as a control circuit.
  • the control unit 21 includes, by way of example and not limitation, a central processing unit (CPU), a microprocessor, a processor core, a multiprocessor, an ASIC (application-spec I/Fic integrated circuit), and an FPGA (processor). field programmable gate array) is included.
  • CPU central processing unit
  • microprocessor a processor core
  • ASIC application-spec I/Fic integrated circuit
  • FPGA field programmable gate array
  • the storage unit 28 has a function of storing various programs and various data necessary for the terminal 20 to operate.
  • the storage unit 28 includes, for example and without limitation, various storage media such as an HDD (hard disk drive), an SSD (solid state drive), a flash memory, a RAM (random access memory), and a ROM (read only memory). Further, the storage unit 28 may or may not be expressed as a memory.
  • the terminal 20 stores the program P in the storage unit 28, and by executing the program P, the control unit 21 executes processing as each unit included in the control unit 21. That is, the program P stored in the storage unit 28 causes the terminal 20 to realize each function executed by the control unit 21.
  • the program P may or may not be expressed as a program module.
  • the microphone 232 is used for inputting voice data.
  • the speaker 233 is used to output audio data.
  • the camera 234 is used to acquire moving image data.
  • the position information acquisition unit 25 acquires the position information of the terminal 20 and the orientation (azimuth angle) of the terminal 20, and transmits the position information to the control unit 21.
  • the orientation (azimuth angle) of the terminal 20 refers to the front direction of the user when the terminal 20 is worn by the user.
  • the position information acquisition unit 25 can be realized by a positioning system such as GNSS and GPS, a 6-axis sensor, or the like, as an example and not by limitation, but is not limited thereto.
  • the server 10 includes a control unit 11 (CPU), a storage unit 15, a communication I/F 14 (interface), an input/output unit 12, and a display unit 13.
  • the components of the HW of the server 10 are connected to each other via the bus B by way of example and not limitation.
  • the HW of the server 10 does not have to include all the constituent elements as the configuration of the HW of the server 10.
  • the HW of the server 10 may or may not be configured to remove the display unit 13.
  • the control unit 11 has a circuit physically structured to execute a function realized by a code or an instruction included in a program, and as an example and not a limitation, a data processing device incorporated in hardware. It is realized by.
  • the control unit 11 is typically a central processing unit (CPU), and may or may not be a microprocessor, processor core, multiprocessor, ASIC, FPGA. In the present disclosure, the control unit 11 is not limited to these.
  • the storage unit 15 has a function of storing various programs and various data necessary for the server 10 to operate.
  • the storage unit 15 is realized by various storage media such as HDD, SSD, and flash memory. However, in the present disclosure, the storage unit 15 is not limited to these.
  • the storage unit 15 may or may not be expressed as a memory.
  • the communication I/F 14 transmits and receives various data via the network 30.
  • the communication may be executed by wire or wireless, and any communication protocol may be used as long as mutual communication can be executed.
  • the communication I/F 14 has a function of executing communication with the terminal 20 via the network 30.
  • the communication I/F 14 transmits various data to the terminal 20 according to an instruction from the control unit 11. Further, the communication I/F 14 receives various data transmitted from the terminal 20 and transfers them to the control unit 11. Further, the communication I/F 14 may be simply expressed as a communication unit. Further, when the communication I/F 14 is composed of a physically structured circuit, it may be expressed as a communication circuit.
  • the input/output unit 12 is realized by a device that inputs various operations on the server 10.
  • the input/output unit 12 is realized by any one or combination of devices of all types capable of receiving an input from a user and transmitting information related to the input to the control unit 11.
  • the input/output unit 12 is typically realized by a hardware key typified by a keyboard or the like, or a pointing device such as a mouse. It should be noted that the input/output unit 12 may or may not include a touch panel, a camera (operation input via a moving image), and a microphone (operation input by voice), for example and not by way of limitation. However, in the present disclosure, the input/output unit 12 is not limited to these.
  • the display unit 13 is typically realized by a monitor (a liquid crystal display or an OELD (organic electroluminescence display, as an example, without limitation).
  • the display unit 13 may or may not be a head mounted display (HDM). Note that these display units 13 may or may not be able to display the display data in 3D. However, in the present disclosure, the display unit 13 is not limited to these.
  • the server 10 stores the program P in the storage unit 15, and by executing the program P, the control unit 11 executes the processing as each unit included in the control unit 11. That is, the program P stored in the storage unit 15 causes the server 10 to realize each function executed by the control unit 11. This program P may or may not be expressed as a program module.
  • the control unit 21 of the terminal 20 and/or the control unit 11 of the server 10 is formed not only in a CPU having a control circuit but also in an integrated circuit (IC (Integrated Circuit) chip, LSI (Large Scale Integration)), or the like.
  • IC Integrated Circuit
  • LSI Large Scale Integration
  • Each process may or may not be implemented by a logical circuit (hardware) or a dedicated circuit that is created. Further, these circuits may be realized by one or a plurality of integrated circuits, and the plurality of processes shown in each embodiment may or may not be realized by one integrated circuit.
  • the LSI may be referred to as VLSI, super LSI, ultra LSI, or the like depending on the degree of integration. Therefore, the control unit 21 may or may not be expressed as a control circuit.
  • the program P of each embodiment of the present disclosure may be provided in a state of being stored in a computer-readable storage medium. It does not have to be done.
  • the storage medium can store the program P in a “non-transitory tangible medium”.
  • the program P may or may not be a program for realizing a part of the function of each embodiment of the present disclosure.
  • the function of each embodiment of the present disclosure may be realized by a combination with the program P already recorded in the storage medium, that is, a so-called difference file (difference program) may or may not be provided.
  • the storage medium may be one or more semiconductor-based or other integrated circuits (ICs) such as, by way of example and not limitation, field programmable gate arrays (FPGAs) or application specific ICs (ASICs), hard disks.
  • ICs semiconductor-based or other integrated circuits
  • FPGAs field programmable gate arrays
  • ASICs application specific ICs
  • hard disks such as, by way of example and not limitation, field programmable gate arrays (FPGAs) or application specific ICs (ASICs), hard disks.
  • the storage medium may be volatile, non-volatile, or a combination of volatile
  • the server 10 and/or the terminal 20 can realize the functions of the plurality of functional units shown in each embodiment by reading the program P stored in the storage medium and executing the read program P.
  • the program PDD of the present disclosure may or may not be provided to the server 10 and/or the terminal 20 via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program. Good.
  • the server 10 and/or the terminal 20 execute the program P downloaded via the Internet or the like to realize the functions of the plurality of functional units described in each embodiment.
  • Each embodiment of the present disclosure can also be realized in the form of a data signal embedded in a carrier wave in which the program P is embodied by electronic transmission.
  • At least a part of the processing in the server 10 and/or the terminal 20 may or may not be realized by cloud computing configured by one or more computers.
  • At least a part of the processing in the terminal 20 may or may not be performed by the server 10.
  • at least a part of the processing of each functional unit of the control unit 21 of the terminal 20 may or may not be configured to be performed by the server 10.
  • At least part of the processing in the server 10 may or may not be performed by the terminal 20.
  • at least part of the processing of each functional unit of the control unit 11 of the server 10 may or may not be configured to be performed by the terminal 20.
  • the configuration of the determination in the embodiment of the present disclosure is not essential, a predetermined process is operated when the determination condition is satisfied, or a predetermined process is performed when the determination condition is not satisfied. It may or may not be.
  • program of the present disclosure includes, for example and without limitation, script languages such as ActionScript and JavaScript (registered trademark), object-oriented programming languages such as Objective-C and Java (registered trademark), and markup languages such as HTML5. It is implemented using.
  • script languages such as ActionScript and JavaScript (registered trademark)
  • object-oriented programming languages such as Objective-C and Java (registered trademark)
  • markup languages such as HTML5. It is implemented using.
  • the terminal 20 is basically assumed to be a head-mounted display or glasses-type wearable terminal worn by the user, which has an imaging function and a display function, but is not limited to these. ..
  • FIG. 2 shows an example in which the user wears a head mounted display as the terminal 20.
  • the terminal 20 is typically a device that provides semi-virtual reality such as AR (Augmented Reality) and MR (Mixed Reality), but is not limited to these and provides VR (Virtual Reality).
  • the terminal 20 displays (reproduces) an advertisement when a region that can be recognized as a signboard (display region for displaying a moving image advertisement) exists in the image of the display region and when a predetermined condition is satisfied.
  • a signboard display region for displaying a moving image advertisement
  • the user wears a glasses-type wearable terminal, and the glasses-type wearable terminal displays (the processed image of) the scenery of the city and allows the user to visually recognize the scenery. Then, when there is a signboard in the visually recognized area, the video advertisement is reproduced under appropriate conditions for the user.
  • FIG. 2 specifically, as shown on the right end of FIG. 2, it is assumed that the user 50 is moving toward the sign 200 from a distance from the sign 200. At this time, it is assumed that an image as shown in the display screen diagram 210 is displayed on the screen of the terminal 20.
  • the display screen diagram 210 is an image (moving image) captured by the camera provided in the terminal 20.
  • the signboard 200 itself is present at a distant position, and therefore, the display screen view 210 is shown as a small area with respect to the entire display area. In such a state, the terminal 20 determines that the condition is not satisfied and does not play the video advertisement.
  • the terminal 20 reproduces the moving picture advertisement at the position of the signboard 200.
  • the video advertisement is reproduced when the area in which the signboard 200 is displayed is sufficiently wide and is easily visible to the user 50, it becomes easy to understand the content.
  • the terminal 20 displays a moving image in the area corresponding to the signboard 200. Play the ad.
  • the terminal 20 can improve the accuracy with which the user views the advertisement by playing the video advertisement under appropriate conditions.
  • the term “advertisement” as used herein refers to a moving image including information content (message) for which information is desired to be transmitted to predetermined people, but this is not limited to the moving image and may be a still image.
  • the advertisement may include information regarding products and services that the advertiser wants to sell, and may include introduction of people and entertainment. The details will be described below.
  • control unit 21 of the terminal 20 includes an image analysis unit 211, a video advertisement acquisition unit 212, and a video advertisement reproduction unit 213.
  • the camera 234 of the terminal 20 images the front direction of the user while the user wears the terminal 20.
  • the camera 234 transmits the captured image to the control unit 21.
  • the control unit 21 displays the received image on the display unit 24.
  • the image analysis unit 211 determines whether the signboard area is included in the image captured by the camera 234 of the terminal 20.
  • the signboard area is an area for reproducing a moving picture advertisement, and is, for example, an area in which an advertisement, a poster, or the like is posted in a city.
  • the image analysis unit 211 determines whether or not there is a signboard in the image captured by the camera 234, and has a monotone region (a white region as an example, not a limitation) having a certain width or more.
  • the image analysis unit 211 creates in advance a learning model using deep learning or the like for determining whether or not the signboard area is included in the image, and the learning model is stored in the storage unit 28. It is possible to determine whether or not the image captured by the camera 234 includes the signboard area by storing it in the. When the image analysis unit 211 determines that the signboard area is included in the image captured by the camera 234, it notifies the moving image advertisement acquisition unit 212 of that fact.
  • the video advertisement acquisition unit 212 receives the position information and the orientation information of the terminal 20 acquired by the position information acquisition unit 25 when the image analysis unit 211 notifies the captured image that the signboard area is included. , To the server 10 via the communication I/F 22. Then, the video advertisement acquisition unit 212 transmits, to the video advertisement reproduction unit 213, via the communication I/F 22, the signboard information and the video information that are assumed to be included in the image and are received from the server 10. ..
  • the video advertisement reproduction unit 213 reproduces the video advertisement received from the video advertisement acquisition unit 212 when the terminal 20 and the signboard indicated by the signboard information received from the video advertisement acquisition unit 212 have a predetermined relationship. To do. As an example, the video advertisement reproduction unit 213 may reproduce the video advertisement when at least one of the following conditions 1 to 5 is satisfied, and the video advertisement is not displayed until the plurality of conditions are satisfied. May be played. (Condition 1) The distance between the terminal 20 and the signboard is a predetermined distance or less. That is, the user can see the signboard area sufficiently.
  • the size of the signboard in the display area of the display unit 24 of the terminal 20 satisfies a predetermined standard (in a limited case, As an example, it has a size of 40% or more of the actual size). If the size of the entire display area of the display unit 24 is larger than a predetermined size with respect to the size of the original signboard itself, the user cannot recognize even if the moving image advertisement is reproduced. Therefore, when the size of the signboard itself in the screen with respect to the original size is equal to or larger than the predetermined size, by playing the moving picture advertisement, the user can easily recognize the content of the moving picture advertisement.
  • a predetermined standard in a limited case, As an example, it has a size of 40% or more of the actual size.
  • the viewing angle with respect to the signboard area shown in the display area of the display unit 24 is equal to or more than a predetermined threshold value. That is, the signboard area in the display area has a sufficient area as seen from the user.
  • the width of the signboard area shown in the display area of the display unit 24 has a width of a predetermined number of pixels or more (both vertical width and/or horizontal width). Having a width equal to or larger than a predetermined number of pixels means that the video advertisement has a width sufficient to display the video advertisement. In other words, the condition (whether or not the video advertisement is reproduced in the signboard area) is determined by the perspective (perspective) seen from the user (terminal 20) in the signboard area.
  • the difference or ratio (short side to long side) of the lengths of the opposite sides of the signboard area is equal to or smaller than a predetermined threshold value. If there is a difference (ratio) between one side of the signboard area and the opposite side of the signboard area, the angle of the signboard area with respect to the user is steep, and when the video advertisement is reproduced, the user often understands the content of the video advertisement. I can't confirm. However, conversely, if the difference between the lengths of the opposite sides of the signboard area is equal to or greater than the predetermined threshold value, the user is likely to be able to see the video advertisement well.
  • the distance between the terminal 20 and the signboard area is a predetermined distance or less, and the display area being viewed has a size of a predetermined value or more.
  • Perspective that is, in the case where the perspective of the signboard area is not tight (when viewed from the user, it looks as flat as possible)
  • the moving image advertisement may be reproduced.
  • the size of the signboard area has a predetermined size
  • the video advertisement is reproduced, and when the size of the signboard area is not, a still image related to the video advertisement may be displayed. Good.
  • the moving image advertisement is not displayed, nothing may be displayed in the signboard area, or some still image may be displayed.
  • the signboard area is steep and it is presumed that the user cannot properly confirm the content even if the video advertisement is played in the signboard area
  • the video advertisement is played in the signboard area. It may be configured to. Even if you cannot confirm the content, if you can see that there is some movement on the screen, you can improve the possibility of moving to see the signboard area more appropriately to confirm the content. It is possible to improve the opportunity to view the advertisement.
  • the conditions are not limited to these, and other conditions may be used as long as the user can see the video advertisement to some extent and can determine whether or not the content of the video advertisement can be confirmed. If the condition is not satisfied, the video advertisement playing unit 213 may not play the video advertisement in the signboard area, but may be configured to display only the still image of the first frame of the video. May be.
  • the communication system 1 it is possible to allow each user to visually recognize various kinds of appropriate advertisements without posting advertisements or posters at the positions where actual billboards are present.
  • the labor for that can be reduced.
  • all ads can be digitized, eliminating the need for physical ads.
  • the server 10 includes a signboard identifying unit 111 and a moving image advertisement identifying unit 112 as functions implemented by the control unit 11.
  • the storage unit 15 also stores signboard information 300 described later.
  • the signboard identifying unit 111 based on the position information and the direction information transmitted from the terminal 20, within a predetermined angle range and within a predetermined distance from the position indicated by the position information about the direction indicated by the direction information.
  • the signboard existing in 1 is specified from the signboard information 300.
  • the signboard information specified by the signboard specifying unit 111 includes position information in which the signboard is arranged (positional information of the center of the signboard) and the direction (azimuth) in which the signboard is arranged. It may also include vertical width information and horizontal width information.
  • the video advertisement specifying unit 112 specifies a video advertisement to be played on the user's terminal 20.
  • the video advertisement identification unit 112 identifies a video advertisement that matches the preference of the user of the terminal 20 by way of example and not limitation.
  • the video advertisement identification unit 112 receives the preference information of the user of the terminal 20 from the terminal 20, associates the video advertisement with the attribute of the advertisement as metadata, By specifying a video advertisement having a matching attribute, a video advertisement suitable for the user of the terminal 20 can be specified, but the present invention is not limited to this.
  • the video advertisement identifying unit 112 may or may not assume that the popular video advertisement is a video advertisement to be played on the terminal 20. Alternatively, the video advertisement specifying unit 112 may randomly specify the video advertisement to be played on the terminal 20.
  • the control unit 11 transmits the information of one or more signboards specified by the signboard specifying unit 111 and the video advertisement specified by the video advertisement specifying unit 112 to the terminal 20 via the communication I/F 14.
  • the server 10 may receive a new video advertisement from an advertiser who wants to deliver the advertisement and store the new video advertisement in the storage unit 15, and may also deliver the newly received video advertisement to the terminal 20. You don't have to. The above is the configuration of the server 10.
  • FIG. 3 is a data conceptual diagram showing a configuration example of signboard information.
  • the signboard information 300 illustrated in FIG. 3 is information indicating where, in what direction, and in what size signboards are arranged in the real world (or virtual world).
  • the signboard information 300 it is desirable that an advertisement exists at the place where the signboard is placed, but in the present embodiment, the terminal 20 reproduces the video advertisement without attaching a specific advertisement.
  • the message information 300 is information in which the signboard ID 301 and the position information 302 are associated with each other. As shown in FIG. 3, the message information 300 may or may not further be associated with a horizontal width 303, a vertical width 304, and a direction (azimuth angle) 305.
  • the signboard ID 301 is information for the server 10 or the terminal 20 to identify the corresponding signboard.
  • the position information 302 is information indicating where in the real world the signboard indicated by the corresponding signboard ID is located, and includes longitude and latitude.
  • the position information 302 may or may not further include altitude information.
  • the horizontal width 303 is information indicating the horizontal width of the signboard indicated by the corresponding signboard ID.
  • the vertical width 304 is information indicating the vertical length of the signboard indicated by the corresponding signboard ID.
  • the direction (azimuth) 305 is information indicating the azimuth in the front direction of the signboard indicated by the corresponding signboard ID.
  • the terminal 20 plays the video advertisement when the user is in the front direction of the signboard, that is, when the user faces the signboard, and does not play when the user is on the back side of the signboard. Therefore, the orientation (azimuth angle) 305 is used to determine whether the user (terminal 20) is in the front direction of the signboard.
  • the server 10 can identify which signboard the user (terminal 20) is near, and visually recognize the terminal 20 of the user. You can convey information about the sign that is made.
  • FIG. 4 is a sequence diagram showing an exchange between the terminal 20 and the server 10 in the communication system 1 for reproducing a moving picture advertisement in the terminal 20.
  • the terminal 20 executes imaging.
  • the imaged image includes a signboard area to be a board (step S401).
  • the terminal 20 acquires the position information and the orientation information (step S402).
  • the terminal 20 transmits the acquired position information and orientation information to the server 10 (step S403).
  • the server 10 When the server 10 receives the position information and the direction information from the user's terminal 20, the server 10 identifies a signboard within a predetermined distance existing in the direction indicated by the direction information, based on the position information (step S404). Further, the server 10 identifies the video advertisement that the user of the terminal 20 wants to view. Then, the server 10 transmits the information about the specified signboard and the video advertisement to the terminal 20 (step S405).
  • the terminal 20 When the terminal 20 receives the information about the signboard and the video advertisement, the terminal 20 and the signboard in the display area satisfy a predetermined condition (as an example without limitation, the terminal 20 exists within a predetermined distance from the signboard). If so, the video advertisement is reproduced in the signboard area (step S406).
  • a predetermined condition as an example without limitation, the terminal 20 exists within a predetermined distance from the signboard.
  • FIG. 5 is an example of a flowchart showing a process for playing a video advertisement.
  • the user wears the terminal 20 as a wearable terminal, captures an image of the surroundings, and displays the image on the display unit 24.
  • the camera 234 of the terminal 20 captures an image of the surroundings (step S501) and sends it to the control unit 21.
  • the control unit 21 displays the captured video on the display unit 24, and the image analysis unit 211 of the control unit 21 analyzes the captured image. That is, the image analysis unit 211 analyzes whether the captured image includes the signboard area (step S502).
  • step S502 determines that the signboard area is not included in the captured image (NO in step S502), the process proceeds to step S508.
  • the image analysis unit 211 determines that the signboard area is included in the captured image (YES in step S502), the image analysis unit 211 causes the video advertisement acquisition unit 212 to include the signboard area in the captured image. Notify that.
  • the video advertisement acquisition unit 212 acquires the position information and the orientation information of the terminal 20 from the position information acquisition unit 25 (step S503).
  • the moving image advertisement acquisition unit 212 transmits the acquired position information and orientation information to the server 10 via the communication I/F 22 (step S504).
  • the video advertisement acquisition unit 212 determines whether the signboard information and the video advertisement have been received from the server 10 via the communication I/F 22 (step S505). It waits until the signboard information and the video advertisement are received from the server 10 (NO in step S505). When the signboard information and the video advertisement are received (YES in step S505), the received signboard information and the video advertisement are stored in the storage unit 28. When the signboard information and the video advertisement are stored in the storage unit 28, the video advertisement reproduction unit 213 determines whether the signboard indicated by the signboard information satisfies a predetermined condition (step S506).
  • the video advertisement reproduction unit 213 acquires the position information of the terminal 20 from the position information acquisition unit 25. Further, the moving image advertisement reproducing unit 213 identifies at least the position information of the signboard from the received signboard information. Then, the moving image advertisement reproducing unit 213 determines whether or not the size or position of the signboard area satisfies at least one of the above conditions 1 to 5 (step S506). When the video advertisement reproduction unit 213 determines that any one of the above conditions 1 to 5 or a plurality of conditions are satisfied (YES in step S506), as an example, the user (terminal 20) is present within a predetermined distance from the signboard. When the determination is made, the received moving picture advertisement is reproduced in the corresponding signboard area (step S507).
  • the terminal 20 may or may not output the sound of the video advertisement when the user wears headphones or the like as the sound output unit along with the reproduction of the video advertisement.
  • a still image related to a moving image advertisement may or may not be displayed first.
  • the still image may be a still image of a content related to the video advertisement, and as an example, without limitation, information (for example, a company logo mark) that can recognize information of the company transmitting the video advertisement, or a video advertisement. It may be the first frame, a still image related to the content of the video advertisement, or the like.
  • the control unit 21 determines whether or not there is an end input to the terminal 20 (step S508). If there is an end input (YES in step S508), the process ends. If there is no end input, the process returns to step S501.
  • the termination input may be an input for terminating an application for reproducing a moving picture advertisement on the terminal 20, or an input for turning off the power of the terminal 20.
  • the terminal 20 plays the video advertisement when the position and size of the signboard area are suitable for playing the video advertisement, so the video advertisement is displayed at a timing that is easily visible to the user. Can be provided. Therefore, as the user wearing the terminal 20 moves, the size of the signboard area in the display area changes, so that the video advertisement is reproduced at a timing when the size becomes appropriate or another video advertisement is reproduced. It is possible to switch to, and stop playing the video advertisement.
  • FIG. 6 is an example of a flowchart showing the operation of the server 10 in the sequence diagram of FIG.
  • the communication I/F 14 of the server 10 receives the position information and the orientation information of the terminal 20 from the terminal 20 (step S601).
  • the signboard specifying unit 111 of the control unit 11 can visually recognize the position from the position indicated by the position information of the terminal 20 in the direction indicated by the direction information.
  • a signboard is specified from the signboard information 300 (step S602). Specifically, a signboard that exists within a predetermined distance from the position indicated by the position information of the terminal 20 and that exists in the direction indicated by the direction information from the position indicated by the position information is specified.
  • the signboard specifying unit 111 specifies a signboard in which the direction (azimuth) of the signboard indicates the direction of the user 50 (terminal 20) while satisfying these conditions.
  • the video advertisement identifying unit 112 identifies an appropriate video advertisement for the user 50 corresponding to the terminal 20 (step S603).
  • the video advertisement suitable for the user 50 is a video advertisement that is highly likely to be attracted and viewed by the user 50 when displayed.
  • the video advertisement suitable for the user is, for example, without limitation, transmitting the user's preference information from the terminal 20 to the server 10 and specifying the video advertisement by the server 10 using the tag information previously attached to each video advertisement. You can Further, not only the preference information but also attribute information indicating the characteristics of the user (for example, but not limited to, sex, origin, age, past purchase history, past viewing history, etc.) is identified as an appropriate video advertisement. It may be that. Further, the video advertisement that is likely to be of interest to the user may be specified by the terminal 20 instead of the server 10.
  • the control unit 11 of the server 10 communicates the information of the signboard specified by the signboard specifying unit 111 and the video advertisement specified by the video advertisement specifying unit 112 to the terminal 20 that has transmitted the position information and the orientation information. Transmission is completed via the I/F 14 and the process ends (step S604).
  • the above is the processing of the server.
  • FIG. 7 is an example of a flowchart showing an operation relating to reproduction control of a video advertisement in the terminal 20, and is an example of processing for changing a display mode of the video advertisement in response to an input from the user.
  • FIG. 7 is an example of a flowchart showing an example of processing executed between steps S507 and S508 of FIG.
  • the display unit 24 of the terminal 20 displays the video advertisement in the signboard area (step S701).
  • the control unit 21 determines whether or not a predetermined time (two seconds as an example, without limitation) has elapsed since the reproduction of the video advertisement (step S702).
  • a predetermined time two seconds as an example, without limitation
  • the control unit 21 executes the charging process for the user viewing the video advertisement (step 7603). That is, the terminal 20 pays the server 10 a reward for viewing the video advertisement.
  • the predetermined time has not elapsed (NO in step S702)
  • the process proceeds to step S704. If a still image is displayed instead of a moving image, the billing process may be executed at the timing when the still image is displayed.
  • the control unit 21 of the terminal 20 determines whether or not the display area has been enlarged or reduced by the user (step S704).
  • the terminal 20 may enlarge a part of the display area by a hardware key (not shown) included in the terminal 20, a voice input, a contact input (gesture input), or the like. Receive input of reduction from the user.
  • the size of the signboard area in the display area may change as the user wearing the terminal 20 moves. Due to such enlargement/reduction or change of the display area, a signboard area existing in the display area of the screen may fade out of the screen, or a signboard area outside the display area may fade in of the screen. Since it is possible, the terminal 20 needs to determine whether or not the signboard area satisfies a predetermined condition each time.
  • step S704 the control unit 21 of the terminal 20 displays the signboard area in the user's field of view with a predetermined size or more by enlarging or reducing the display area. By doing so, it is determined whether or not the predetermined condition for reproducing the moving image advertisement is satisfied or is not satisfied (step S705).
  • step S705 If the reproduction condition of the video advertisement is satisfied (YES in step S705), the video advertisement is reproduced in the signboard area satisfying the reproduction condition of the video advertisement. Further, when there is a signboard area that deviates from the reproduction condition of the video advertisement (YES in step S705), the terminal 20 stops the reproduction of the video advertisement (step S706).
  • step S704 If there is no input for enlarging or reducing the display area (NO in step S704), or if the playback condition of the video advertisement is not satisfied or does not deviate from the condition (NO in step S705), the switching input of the video advertisement is input. It is determined whether there is any (step S707). When there is a video advertisement switching input (YES in step S707), the control unit 21 of the terminal 20 reproduces another video advertisement in the signboard area (step S708), and proceeds to the processing in step S508.
  • FIG. 8A is an example of a captured image 800 captured by the camera 234 of the terminal 20 and also an example of a display screen 800 displayed in the display area of the display unit 24 of the terminal 20.
  • FIG. 8B is a bird's-eye view showing an example of the positional relationship between the user 50 and the signboards 801 to 803.
  • the user 50 can view the display screen 800 shown in FIG. 8A.
  • the dotted line indicates the viewing angle of the user (the imaging viewing angle of the camera 234 of the terminal 20).
  • FIG. 8B the dotted line indicates the viewing angle of the user (the imaging viewing angle of the camera 234 of the terminal 20).
  • the signboard 803 is on the left side, the signboard 802 is on the front side, and the signboard 803 is on the right side in the traveling direction of the user 50. Therefore, as shown in FIG. 8A, the terminal 20 displays a screen such as a display screen 800 that captures the signboard area 801 on the left side of the screen, the signboard area 802 at the center of the screen, and the signboard area 803 on the right side of the screen. To do.
  • a display screen 800 that captures the signboard area 801 on the left side of the screen, the signboard area 802 at the center of the screen, and the signboard area 803 on the right side of the screen.
  • FIG. 8 an example of a rectangular signboard is shown as a signboard area in which a video advertisement can be displayed, but the signboard area is not limited to this.
  • any object can be used as long as it can reproduce the moving picture advertisement, for example, an elliptical object or a star-shaped object.
  • the place where the video advertisement is displayed is not limited to the inside of the signboard area, and the reproduction may be performed outside the signboard area, or may not be performed.
  • the control unit 21 of the terminal 20 uses an axis for taking perspective (see FIG. 8 may be set to correspond to the left and right sides of the rectangular signboard area and the perspective is taken.
  • the image analysis unit 211 analyzes the captured image 800 and identifies the signboard areas 801, 802, 803. Since the signboard areas 801, 802, and 803 are specified in the captured image by the analysis by the image analysis unit 211, the server 10 is queried for information about these signboards. The signboard information and the video advertisement can be received from the server 10 by transmitting the position information and the orientation information.
  • the video advertisement reproducing unit 213 acquires the position information of the terminal 20 (or the user of the terminal 20), and the sign indicated by the position indicated by the acquired position information and the sign information received from the server 10 via the communication I/F 22. Calculate the distance between and. In the example of FIG. 8B, the distances between the user 50 and the signboards 801 to 803 are indicated by distances d1, d2, and d3, respectively.
  • the moving image advertisement reproducing unit 213 determines whether or not the distance d1 (d2, d3) is equal to or less than a predetermined distance (5 m as an example without limitation) as an example of the condition for reproducing the moving image advertisement. Then, when determining that the predetermined distance has been reached, the video advertisement reproduction unit 213 reproduces the video advertisement received from the server 10 by superimposing it on the signboard area that satisfies the condition.
  • the viewing angle of the signboard area viewed from the terminal 20 is the user 50 in the case of the signboard 802 in FIG. 8B.
  • the angle ⁇ between the alternate long and short dash lines drawn from the (terminal 20) to both ends of the signboard 802 corresponds.
  • the side when the difference or the ratio with the opposite side is used as the condition for displaying the video advertisement in the signboard area is, for example, in FIG.
  • the side d1r (an example of the first portion without limitation) and the side d1l (an example of the second portion without limitation) are applicable, and in the case of the signboard area 803, the side d3r (the first portion without limitation).
  • the side d3l (an example of the second portion without limitation).
  • the video advertisement reproduction unit 213 reproduces a video advertisement when the terminal 20 satisfies a predetermined condition, as shown in FIG. FIG. 9A shows the display image 600 before the video advertisement is reproduced, and FIG. 9B shows the display image 600 in the state where the video advertisement is being reproduced.
  • the signboard areas 801 and 802 satisfy the predetermined condition and the moving picture advertisement is reproduced, and the signboard area 803 does not satisfy the predetermined condition and the moving picture advertisement is not reproduced.
  • the video advertisement reproduction unit 213 of the terminal 20 reproduces the video advertisement by superimposing the video advertisement on the display area in which the signboard area is detected to be present on the captured image captured by the camera 234.
  • the terminal 20 may change and display the display mode of the video advertisement depending on the angle at which the signboard area is viewed from the standing position of the user 50, You don't have to.
  • FIG. 9B in order to make it easy to understand that the display mode is different, a moving image advertisement to the signboard area 802 facing directly and a signboard area 801 that is oblique to the user 50.
  • the same video advertisement is displayed in the video advertisement to, the displayed video advertisement may or may not be different in each signboard area (801, 802).
  • the method of purging the signboard area is not limited to the above example.
  • the difference or ratio of the vertical sides of the signboard area is used, but it is also possible to specify by using the upper side and the lower side of the signboard area as shown in FIG. That is, as shown in FIG. 10A, d1u and d1d may be used in the case of the signboard area 801, and d3u and d3d may be used in the case of the signboard area 803. . If d1u and d1d of the signboard area 801 are used, the perspective may be obtained by specifying the angles formed by the respective inclinations.
  • the angle formed by each is less than the predetermined angle (acute angle)
  • the video advertisement is played in the signboard area. If the angle is equal to or greater than the predetermined angle, the perspective is determined to be tight. The video advertisement may not be played in the signboard area.
  • the perspective may be specified using the vertical and horizontal sides of the signboard area.
  • the perspective may be specified by using at least one of the ratio of d1l to d1u, the ratio of d1u to d1r, the ratio of d1r to d1d, and the ratio of d1d to d1l in the signboard area 801.
  • the perspective may be specified by using a plurality of ratios.
  • the perspective may be specified by the angle formed between the respective sides.
  • the terminal 20 determines to play the video advertisement when the ratio of d1l to d1u exceeds a certain threshold and the angle between d1l and d1u is within a predetermined angle range. Good.
  • the axes may be virtually set as shown in FIG. 10B to specify the perspective.
  • the signboard area 1000 is an ellipse.
  • a rectangular area surrounding the signboard area (area surrounded by d4l, d4u, d4r, d4d in FIG. 10b) is set, and the setting is made.
  • the perspective may be specified using the sides of the rectangular area.
  • the terminal 20 acquires the signboard information from the server 10, but this is not the only option.
  • the terminal 20 may include the signboard identifying unit 111 so as to identify which signboard is the signboard displayed in the display area of the display unit 24 of the terminal 20.
  • the signboard information may be configured such that the terminal 20 directly acquires from the signboard.
  • the terminal 20 may acquire a signboard information (size, position, orientation of the signboard) by reading a code represented by a two-dimensional barcode written on each signboard.
  • the signboard may be provided with a memory storing signboard information and a unit having a communication function, and the terminal 20 may be configured to acquire the signboard information by communication.
  • the server 10 may have the function of the terminal 20.
  • the server 10 may determine whether or not the user's terminal 20 and the signboard area satisfy at least one of the above conditions 1 to 5, and in that case, the server may execute the determination.
  • the determination result may be notified from 10 to the terminal 20.
  • ⁇ Modification 2> an advertiser who wants to send any information using an advertisement, a distributor (server 10) who distributes the advertisement, a user who sees the advertisement, and an area for showing the advertisement to the user. It may be provided, that is, a reward (for example, money) may be exchanged with the owner of the signboard itself. In this modification, an example of exchanging rewards between these parties will be described.
  • FIG. 11 is an image diagram showing an example of exchanging rewards related to video advertisement in the present embodiment.
  • the advertiser 1101 creates a video advertisement (may be a still image), and the advertiser 1001 holds it, for example.
  • the server 10 Using an information processing device such as a mobile terminal, the server 10 corresponding to an advertisement distribution company or the like is requested to distribute the video advertisement.
  • the advertiser 1101 may or may not pay a reward (money, as an example, but not a limitation) to the server 10 to request the distribution of the video advertisement.
  • the server 10 may or may not notify the advertiser 1101 that the video advertisement has been previewed.
  • the advertisement delivery company (server 10) identifies and delivers a video advertisement suitable for the user in response to a request from the user's terminal 20. At this time, since the terminal 20 transmits the position information to the server 10 in order to specify the signboard area, the server 10 can specify which signboard the user of the terminal 20 uses. The user of the terminal 20 may or may not pay a reward for viewing the video advertisement, that is, an advertisement viewing fee.
  • the server 10 may or may not pay a reward associated with the use of the signboard to the signboard holder 1102 holding the signboard used by the user of the terminal 20.
  • the reward may be transmitted to the terminal held by the signboard holder 1102, or may be transferred to the account of the financial operator used by the signboard holder 1102.
  • the bill holder 1102 may or may not be paid directly from the advertiser 1101 who posted the bill. Further, the bill holder 1102 may be paid by only one of the advertiser 1101 and the advertisement distribution company 10, or may be paid by both.
  • the terminal 20 receives the video advertisement from the server 10 and visually recognizes it.
  • the user of the terminal 20 may or may not pay the reward for viewing the video advertisement to the server 10.
  • the terminal 20 may detect whether or not the user has actually viewed the video advertisement, and then charge the user of the terminal 20 a viewing fee for the video advertisement. That is, the terminal 20 may further have a line-of-sight detection function for the user who is wearing the device, determines whether or not the video advertisement is viewed based on the line-of-sight direction of the user, and determines that the video advertisement is viewed. In this case, the terminal 20 may or may not be configured to pay the reward to the server 10.
  • the terminal 20 may be configured not to play the video advertisement in the signboard area. In this case, it is possible to reduce the processing load and power consumption of the terminal 20 that accompany the reproduction of a video advertisement that the user does not view.
  • the display unit 24 of the terminal 20 may be a transmissive display.
  • the control unit 21 of the transmissive display may control the display area of the display unit 24 corresponding to the signboard area visually recognized by the user to reduce the transmissivity through the transmissive display.
  • the control unit 21 may perform the process of reducing the transmittance and display the moving image advertisement in the display area of the display unit 24 corresponding to the signboard area. In this way, the visibility of moving image advertisements can be improved by blocking the incidence of external light on the transmissive display.
  • the display unit 24 of the transmissive display may be provided with a liquid crystal layer and a polarization filter for controlling the transmittance of incident light. By controlling the arrangement of the partial liquid crystals inside the liquid crystal layer by the control unit 21, it is possible to control the transmittance of light incident on the display area corresponding to the signboard area.
  • the target for displaying the video advertisement is not limited to this, and the head of the vehicle is not limited thereto. It may be displayed on an up-display, or when the window of a vehicle such as a train is used as a head-up display and the signboard area exists when the user looks out from the inside of the train. , May be configured to play a video advertisement there.
  • the terminal 20 detects the position of the user with respect to the head-up display (the position of the user's eyes).
  • the signboard area can be detected from the captured image captured by the camera 234 that captures the opposite landscape viewed from the user of the head-up display provided in the vehicle or the like, the arrangement position of the camera 234 and the user's From the relationship with the standing position with respect to the head-up display, the position on the head-up display where the signboard area can be visually recognized by the user is specified. Then, on the head-up display, the terminal 20 reproduces the moving image advertisement on an area where it is estimated that the user visually recognizes that there is a signboard area.
  • the terminal 20 may switch the video advertisement to be played according to the speed of the vehicle. That is, when the vehicle is traveling at a speed equal to or higher than a certain speed, there is a high possibility that the time during which the user can view the same signboard area is shortened. In such a case, even if a video advertisement having a long playback time is played back, the user may pass in front of the signboard area before the entire video advertisement is played back.
  • the terminal 20 may be configured to play a moving picture advertisement having a shorter playing time than when the speed is lower than the predetermined speed.
  • the terminal 20 plays a video advertisement with a shorter playback time as the moving speed of the terminal 20 is faster, and plays a video advertisement with a longer playing time as the moving speed of the terminal 20 is slower. May be configured.
  • the vehicle when the user is interested in the video advertisement being played, it may be configured to guide the user to a place related to the video advertisement.
  • the vehicle has an automatic driving function and a function of receiving a control signal from the terminal 20. Then, when the user is interested in the video advertisement that he/she has watched, the user performs an operation such as a touch on the video advertisement, as an example without limitation. Then, the terminal 20 transmits the location information associated with the touched video advertisement to the automatic driving function of the vehicle.
  • the automatic driving function of the vehicle receives the location information, travels to the location indicated by the location information with the automatic driving function, and guides the user to the location related to the video advertisement.
  • the terminal 20 may or may not have such a function.
  • FIG. 12 is a diagram showing a configuration example of a communication system 1 using a vehicle as an example of a vehicle.
  • the communication system 1 has a configuration in which a vehicle 1200, a server 10, and a terminal 20 are connected via a network 30. Since the server 10 and the terminal 20 are substantially the same as those shown in the above-mentioned embodiment, the description of the common configuration will be omitted.
  • the terminal 20 is not, for example, worn by the user and may be implemented as, for example, a navigation system installed in the vehicle 1200 or a control device installed in the vehicle 1200. May be.
  • the camera 234 is installed in the vehicle 1200 and is configured to capture an image of the traveling direction of the vehicle 1200.
  • the terminal 20 determines whether or not there is a signboard area in the image captured by the camera 234, and when it is determined that there is a predetermined condition ( At least one of conditions 1 to 5), a video advertisement to be displayed and where in the head-up display the video advertisement is to be displayed are transmitted to the communication I/F 1214 of the vehicle 22 via the communication I/F 22. To do.
  • the terminal 20 may display a place related to the video advertisement (for example, the video advertisement The vehicle 1200 is instructed to guide to the store of the advertiser to be distributed) via the communication I/F 22.
  • vehicle 1200 includes control unit 1211, vehicle drive unit 1212, display unit 1213, communication I/F 1214, and storage unit 1215.
  • the control unit 1211 includes an automatic driving control unit 1112 and has a function of controlling the vehicle 1200.
  • the automatic driving control unit 1112 executes the program stored in the storage unit 1215 to execute the automatic driving.
  • the automatic driving control unit 1112 executes the automatic driving so as to move to the place designated by the guidance instruction.
  • the vehicle drive unit 1212 includes drive systems such as wheels and motors, and executes vehicle operation in accordance with instructions from the automatic driving control unit 1112.
  • the display unit 1213 is realized by a head-up display provided in the vehicle 1200, and displays the specified moving image advertisement in the area specified by the terminal 20, that is, in the signboard area.
  • vehicle 1200 may include a speaker as an audio output unit, and the audio may or may not be output along with the reproduction of the video advertisement.
  • the communication I/F 1214 executes communication via the terminal 20 and the network 30.
  • the network 30 may be a CAN (Controller Area Network) or another network.
  • FIG. 13 is an example of a flowchart showing a process in which the vehicle 1200 guides a user to a place related to a video advertisement that the user is interested in by automatic driving.
  • the flowchart shown in FIG. 13 shows an example in which a vehicle 1200 including the terminal 20 executes in conjunction with each other.
  • the display unit 1213 of the vehicle 1200 reproduces the specified moving image advertisement in the signboard area specified by the terminal 20 (step S1301).
  • the display unit 1213 of the vehicle 1200 executes the reproduction of the video advertisement as the reproduction of the video advertisement based on the flowchart of FIG.
  • the predetermined input is, for example, an operation of touching an area in which a video advertisement is displayed, or a voice input from a user who is in the vehicle 1200, for example, “Go to the current advertisement shop. It may be an input such as "te”.
  • the control unit 21 of the terminal 20 determines whether or not there is a predetermined input for the video advertisement from the user (step S1302). If there is no predetermined input (NO in step S1302), the process ends. On the other hand, when there is a predetermined input (YES in step S1302), the control unit 21 of the terminal 20 acquires the location information corresponding to the moving image advertisement (step S1303).
  • the location information may be acquired from the metadata attached to the video advertisement, or may be acquired from the server of the advertiser who provides the video advertisement by inquiring the server 10. it can.
  • the control unit 21 of the terminal 20 transmits the acquired location information to the vehicle 1200 via the communication I/F 22.
  • the communication I/F 1214 of the vehicle 1200 transmits the received location information to the automatic driving control unit 1112 of the control unit 1211 (step S1304).
  • the automatic driving control unit 1112 identifies a route from the current position of the vehicle 1200 to the place indicated by the received place information. This can be specified by using a conventional navigation technique, and for example, an algorithm such as Dijkstra method or A-Star method can be used.
  • the automatic driving control unit 1112 transmits a control signal to the vehicle drive unit 1212 so that the vehicle 1200 travels along the route.
  • Vehicle drive unit 1212 controls the traveling of vehicle 1200 according to the control signal transmitted from control unit 1211. Thereby, vehicle 1200 travels to a place related to the video advertisement (step S1305).
  • the terminal 20 when the terminal 20 is installed in or linked to the vehicle 1200, the user can be guided to a location related to the video advertisement.
  • the video advertisement is an advertisement for a product, it can be guided to the store that sells the product, and if the video advertisement is an advertisement for an art, for example, it can be guided to the museum displaying the art. If the video advertisement is, for example, an advertisement using some character, it can be guided to a museum or a store selling character goods related to that character.
  • the terminal 20 is supposed to display the video advertisement by superimposing it on the signboard area, but this is not the limitation.
  • the area for displaying the video advertisement does not have to be the entire signboard area, and a part thereof may be used, or the space adjacent to the signboard area may be simulated as a signboard area to display the video advertisement. It may be done.
  • the terminal 20 may use a part of the signboard area together with the adjacent space to play the video advertisement.
  • a part of the signboard area is a monotone area (white as an example without limitation), and an advertisement such as a normal poster is placed (or displayed) in other areas. ), the terminal 20 may be configured to display the video advertisement in the monotone area of the signboard area.
  • this monitor includes a detection device that detects whether or not the user wears the terminal 20, and when the user wears the terminal 20, , A monotone image may be displayed and some advertisement may be displayed when the image is not worn.
  • the detection device for example, a camera and an image captured by the camera are analyzed to realize the presence of a person and image analysis for analyzing whether the person wears the terminal 20. it can.
  • this monitor is configured to switch the display contents by the multi-view display, for each detected user, depending on whether or not the terminal 20 is attached. You can
  • the image analysis unit 211 detects whether or not an object for reproducing a moving image advertisement, that is, a signboard area exists in the image captured by the camera 234. Then, the terminal 20 acquires the signboard information of the detected signboard area from the server 10. In addition, the terminal 20 acquires a video advertisement suitable for the user. Then, from the size of the signboard area and the position where the signboard area is present, the terminal 20 reproduces the moving picture advertisement in the display area where the signboard area is present when a predetermined condition is satisfied.
  • the terminal 20 plays the video advertisement at the timing when it is determined that the signboard area viewed by the user has a size suitable for viewing the video advertisement, and thus the user may view the video advertisement. Can be improved.
  • the control unit 21 (video advertisement reproducing unit 213) of the terminal 20 reproduces the video advertisement in the signboard area according to the viewing angle with respect to the signboard area. That is, if the viewing angle is a certain angle or more, the user can recognize the video advertisement, and in that case, the video advertisement is reproduced.
  • control unit 21 video advertisement reproducing unit 213 of the terminal 20 has a length of one side (one axis) at one end of the signboard area and one side (one axis) facing the other end, that is, Based on the difference and the ratio, the video advertisement is reproduced according to the perspective of the signboard area.
  • control unit 21 of the terminal 20 reproduces the motion advertisement based on the ratio of the lengths of one side at one end of the signboard area and one side orthogonal thereto.
  • the terminal 20 can specify the perspective for the user (terminal 20) in the signboard area based on the length of a part of the signboard area and the length of a different part.
  • the signboard area is tightly parsed for the user, and the video advertisement
  • the unit 213 can execute the reproduction in a state where the video advertisement is easily recognized.
  • the terminal 20 calculates the ratio of the long side to the short side between the length of a part of the signboard area and the length of the other part, and when the signboard area is a rectangular area, calculates the ratio. Play the video after determining whether to play the video ad. If the ratio of the long side to the short side is large, the signboard area is likely to be distorted, and even if the video advertisement is reproduced, the user may not be able to recognize the content of the video advertisement well. If the ratio is small, there is a high possibility that the signboard area is not distorted, and when the video advertisement is reproduced, the user can recognize the content well. Therefore, by specifying the perspective, the video advertisement can be reproduced in a state where the signboard area is appropriate for the user, and the accuracy with which the user recognizes the content of the video advertisement can be improved.
  • the terminal 20 can be configured to acquire information about the signboard area in the captured image captured by the camera 234 from, for example, a communication device provided on the signboard.
  • the terminal 20 can recognize where the signboard area existing in the captured image is, what size it is, and in which direction it is provided, and the reproduction position of the video advertisement can be determined. It can be done without control.
  • the terminal 20 transmits information indicating the position of the terminal 20 and the orientation of the terminal 20 acquired by the location information acquisition unit 25 to the server 10, and the server 10 exists in the orientation specified by the location of the terminal 20.
  • the signboard area to be specified is specified using the signboard information 300.
  • the server 10 transmits the information about the specified signboard to the terminal 20.
  • the terminal 20 can specify the signboard that can be visually recognized from the position where the user exists.
  • the terminal 20 may be configured to identify the signboard area by performing image analysis on the captured image captured by the camera 234.
  • a uniformly white area in the captured image may be detected as the signboard area, or the signboard area may be detected by detecting a two-dimensional barcode provided on the signboard. Good.
  • the terminal 20 can accurately detect the signboard area in which the video advertisement should be played, and can play the video advertisement in the signboard area.
  • the terminal 20 may play back a video advertisement or display a still image related to the video advertisement depending on the size of the signboard area.
  • the signboard area has a predetermined size
  • the user can sufficiently recognize the content of the video advertisement, and therefore, the video advertisement is reproduced, and when the signboard area does not have a sufficient size, the video advertisement is displayed. Even if the content is reproduced, the content may not be recognized. Therefore, by only displaying the still image, the processing load on the terminal 20 can be reduced. Further, by displaying a still image, it is possible to make the user recognize that some moving image advertisement can be viewed by approaching the still image.
  • the terminal 20 may have a function of detecting the line of sight of the user who wears the terminal 20 (a function of acquiring information about the user's eyes), and reproduces a moving image advertisement according to the direction of the detected line of sight. You may comprise.
  • the terminal 20 can determine the reproduction of the video advertisement depending on whether the user visually recognizes the signboard area, and can suppress the reproduction of the video advertisement that the user does not visually recognize.
  • the terminal 20 has, for example, the size of the signboard area up to then is large enough to play the video advertisement.
  • the user can move to approach the signboard area and start playing the video advertisement.
  • the terminal 20 can accept a user's enlargement/reduction operation for the display area, and can start or stop the reproduction of the video advertisement.
  • the size of the signboard area included in the display area displayed by the terminal 20 changes, for example, the size of the signboard area accompanying the mounting of the terminal 20 and the user's own operation.
  • Change the size of the signboard area due to the enlargement (zoom in) or reduction (zoom out) processing in the display area, and change the playback control of the video advertisement due to fade-out/fade-in from the display area of the signboard area Can be started or stopped, or a video advertisement different from the video advertisement that was being played can be played back. It is possible to improve the versatility of the device and also improve the usability.
  • the display unit 24 of the terminal 20 may be a transmissive display, and may be, for example, a head-up display capable of displaying an image on the windshield of the vehicle. Then, the terminal 20 specifies the position on the head-up display where the signboard area visually recognized by the user will exist, depending on the position of the user with respect to the head-up display, and plays the video advertisement in the specified display area.
  • the terminal 20 reproduces the video advertisement at the position where it is superimposed on the signboard area that the user is viewing.
  • the terminal 20 reproduces the moving image advertisement by superimposing it on the position where the signboard area is detected in the captured image captured by the camera 234.
  • the user can view the video advertisement without feeling uncomfortable with the surroundings. .. Further, by combining the moving image advertisement with the captured image captured by the camera 234, it is possible to more reliably provide the moving image advertisement to the user without a sense of discomfort.
  • the terminal 20 controls the reproduction of the video advertisement according to the moving speed of the terminal 20. Specifically, by way of example and not limitation, if the moving speed of the terminal 20 is equal to or higher than a predetermined speed, a video advertisement having a short reproduction time is reproduced, and if it is less than the predetermined speed, a reproduction time is longer than that. Play a video ad.
  • the terminal 20 may control the vehicle to move to a place related to the video advertisement in which the user is interested.
  • the terminal 20 can guide the user to a place related to the video advertisement that the user is interested in, for example, if the video advertisement is an advertisement related to product sales, the store.
  • the video advertisement is an advertisement related to product sales, the store.
  • We can provide timely service.
  • an advertiser who distributes video advertisements it is possible to increase the chances of purchasing by general users.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

動画広告を表示領域に表示する端末の表示方法であって、物体を端末の検出部によって検出することと、検出部によって検出された物体の大きさに関する情報を端末の取得部によって取得することと、物体の大きさに関する情報に基づいて、物体の位置に関する情報に基づく表示領域に動画広告を表示し、動画広告の再生の制御を行うこととを含む。

Description

端末の表示方法、端末、端末のプログラム
 本開示は、端末の表示方法、端末、端末のプログラムに関する。
 近年、各種の広告の提供手法が講じられている。特許文献1には、車両内のユーザに対して宣伝・広告を提示する車両における表示方法が開示されており、宣伝・広告すべき内容を含む宣伝・広告情報に基づいて宣伝・広告の表示画像を生成し、車両のウィンドシールド上に設けられた表示領域に宣伝・広告すべき対象物の位置を基準として、表示画像を表示する技術が開示されている。しかし、動画像の表示については十分検討されていなかった。
特開2005-70231号公報
 本発明の第1の態様によると、動画広告を表示領域に表示する端末の表示方法であって、物体を端末の検出部によって検出することと、検出部によって検出された物体の大きさに関する情報を端末の取得部によって取得することと、物体の大きさに関する情報に基づいて、物体の位置に関する情報に基づく表示領域に動画広告を表示し、動画広告の再生の制御を行うこととを含む。
 本発明の第2の態様によると、動画広告を表示領域に表示する端末のコンピュータによって実行させるプログラムであって、物体を端末の検出部によって検出することと、検出部によって検出された物体の大きさに関する情報を端末の取得部によって取得することと、物体の大きさに関する情報に基づいて、物体の位置に関する情報に基づく表示領域に動画広告を表示し、動画広告の再生を実行する制御を行うこととを含む。
 本発明の第3の態様によると、動画広告を表示領域に表示する端末であって、物体を検出する検出部と、検出部によって検出された物体の大きさに関する情報を取得する取得部と、物体の大きさに関する情報に基づいて、物体の位置に関する情報に基づく表示領域に動画広告を表示し、動画広告の再生を実行する制御を行う制御部とを備える。
実施形態の一態様における通信システムの構成を示す図。 実施形態の概要を説明するための概要図。 看板情報の構成例を示すデータ概念図。 通信システムにおけるやり取りの一例を示すシーケンス図。 端末における動画広告の表示に係る動作例を示すフローチャート。 サーバにおける看板情報の送信動作の一例を示すフローチャート。 端末における動画広告の再生制御に係る動作例を示すフローチャート。 (a)は、端末における表示例を示す画面図。(b)は、図6(a)における表示の場合のユーザと看板の配置例を示す鳥瞰図。 (a)は、動画広告を表示前の画面図。(b)は、動画広告を表示後の画面図。 (a)は、対向する辺の他の例を説明するための図。(b)は、矩形以外の看板領域とその場合の対向する辺の例を説明するための図。 広告の関係者間の報酬のやり取り例を示すイメージ図。 変形例における通信システムの構成を示す図。 変形例における通信システムの動作を示すフローチャート。
<法的事項の遵守>
 本明細書に記載の開示は、通信の秘密など、本開示の実施に必要な実施国の法的事項遵守を前提とすることに留意されたい。
 本開示に係る端末による動画広告の表示方法を実施するための実施形態について、図面を参照して説明する。
<システム構成>
 図1は、本開示の一実施形態に係る通信システム1の構成を示す。図1に開示されるように、通信システム1では、ネットワーク30を介してサーバ10と、端末20(端末20A,端末20B)とが接続される。サーバ10は、ネットワーク30を介してユーザが所有する端末20に、端末20間でのメッセージの送受信を実現するサービスを提供する。なお、ネットワーク30に接続される端末20の数は限定されない。
 ネットワーク30は、1以上の端末20と、1以上のサーバ10とを接続する役割を担う。すなわち、ネットワーク30は、端末20がサーバ10に接続した後、データを送受信することができるように接続経路を提供する通信網を意味する。
 ネットワーク30のうちの1つまたは複数の部分は、有線ネットワークや無線ネットワークであってもよいし、そうでなくてもよい。ネットワーク30は、限定でなく例として、アドホック・ネットワーク(ad hoc network)、イントラネット、エクストラネット、仮想プライベート・ネットワーク(virtual private network:VPN)、ローカル・エリア・ネットワーク(local area network:LAN)、ワイヤレスLAN(wireless LAN:WLAN)、広域ネットワーク(wide area network:WAN)、ワイヤレスWAN(wireless WAN:WWAN)、大都市圏ネットワーク(metropolitan area network:MAN)、インターネットの一部、公衆交換電話網(Public Switched Telephone Network:PSTN)の一部、携帯電話網、ISDN(integrated service digital networks)、無線LAN、LTE(long term evolution)、CDMA(code division multiple access)、ブルートゥース(Bluetooth(登録商標))、衛星通信など、または、これらの2つ以上の組合せを含むことができる。ネットワーク30は、1つまたは複数のネットワーク30を含むことができる。
 端末20(端末20A,端末20B)は、各実施形態において記載する機能を実現できる情報処理端末であればどのような端末であってもよい。端末20は、限定ではなく例として、撮像機能と表示機能を有するウェアラブル端末(メガネ型デバイス、ヘッドマウントディスプレイなど)であることが望ましいが、これらに限定するものではなくスマートフォン、携帯電話(フィーチャーフォン)、コンピュータ(限定でなく例として、ラップトップ、タブレットなど)、ハンドヘルドコンピュータデバイス(限定でなく例として、PDA・(personal digital assistant)、電子メールクライアントなど)、または他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、端末20は情報処理端末と表現されてもよい。
 端末20A、端末20Bの構成は基本的には同一であるため、以下の説明においては、端末20について説明する。また、必要に応じて、ユーザXが利用する端末を端末20Xと表現し、ユーザXまたは端末20Xに対応づけられた、所定のサービスにおけるユーザ情報をユーザ情報Xと表現する。なお、ユーザ情報とは、所定のサービスにおいてユーザが利用するアカウントに対応付けられたユーザの情報である。ユーザ情報は、限定でなく例として、ユーザにより入力される、または、所定のサービスにより付与される、ユーザの名前、ユーザのアイコン画像、ユーザの年齢、ユーザの性別、ユーザの住所、ユーザの趣味趣向、ユーザの識別子などのユーザに対応づけられた情報を含み、これらのいずれか一つまたは、組み合わせであってもよいし、そうでなくてもよい。
 サーバ10は、端末20に対して、所定のサービスを提供する機能を備える。サーバ10は、各実施形態において記載する機能を実現できる情報処理装置であればどのような装置であってもよい。サーバ10は、限定でなく例として、サーバ装置、コンピュータ(限定でなく例として、デスクトップ、ラップトップ、タブレットなど)、メディアコンピュータプラットホーム(限定でなく例として、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ)、ハンドヘルドコンピュータデバイス(限定でなく例として、PDA、電子メールクライアントなど)、あるいは他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、サーバ10は情報処理装置と表現されてもよい。サーバ10と端末20とを区別する必要がない場合は、サーバ10と端末20とは、それぞれ情報処理装置と表現されてもよいし、されなくてもよい。
<ハードウェア(HW)構成> 
 図1を用いて、通信システム1に含まれる各装置のHW構成について説明する。
 (1)端末のHW構成
 端末20は、制御部21(CPU:central processing unit(中央処理装置))、記憶部28、通信I/F22(インタフェース)、入出力部23、表示部24、位置情報取得部25を備える。端末20のHWの各構成要素は、限定でなく例として、バスBを介して相互に接続される。なお、端末20のHW構成として、すべての構成要素を含むことは必須ではない。限定ではなく例として、端末20は、マイク232、スピーカ233等、個々の構成要素、または複数の構成要素を取り外すような構成であってもよいし、そうでなくてもよい。
 通信I/F22は、ネットワーク30を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F22は、ネットワーク30を介して、サーバ10との通信を実行する機能を有する。通信I/F22は、各種データを制御部21からの指示に従って、サーバ10に送信する。また、通信I/F22は、サーバ10から送信された各種データを受信し、制御部21に伝達する。また、通信I/F22を単に通信部と表現する場合もある。また、通信I/F22が物理的に構造化された回路で構成される場合には、通信回路と表現する場合もある。
 入出力部23は、端末20に対する各種操作を入力する装置、および、端末20で処理された処理結果を出力する装置を含む。入出力部23は、入力部と出力部が一体化していてもよいし、入力部と出力部に分離していてもよいし、そうでなくてもよい。
 入力部は、ユーザからの入力を受け付けて、当該入力に係る情報を制御部21に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入力部は、限定でなく例として、端末20に備えられたハードウェアキー、コントローラ231、タッチディスプレイ、マウス等のポインティングデバイス、カメラ234(動画像を介した操作入力)、マイク232(音声による操作入力)を含む。カメラ234による動画像を介した操作入力とは、カメラ234により撮影された動画のなかに、限定ではなく一例として、端末20を装着するユーザの手の動きが所定の動きをしていることを検出できた場合に、その所定の動きを操作入力として、予め対応付けられた処理を実行するというものである。限定ではなく一例として、ユーザが自身の指で所定の軌跡を描くように動かしたり、所定回数のまばたきをしたりすることが、動画像を介した操作入力として考えられる。
 出力部は、制御部21で処理された処理結果を出力することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。出力部は、限定でなく例として、 タッチパネル、タッチディスプレイ、スピーカ233(音声出力)、レンズ(限定でなく例として3D(three dimensions)出力や、ホログラム出力)、などを含む。
 表示部24は、フレームバッファに書き込まれた表示データに従って、表示することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。表示部24は、限定でなく例として、タッチパネル、タッチディスプレイ、モニタ(限定でなく例として、液晶ディスプレイやOELD(organic electroluminescence display))、ヘッドマウントディスプレイ(HDM:Head Mounted Display)、プロジェクションマッピング、ホログラム、空気中など(真空であってもよいし、そうでなくてもよい)に画像やテキスト情報等を表示可能な装置を含む。なお、これらの表示部24は、3Dで表示データを表示可能であってもよいし、そうでなくてもよい。
 入出力部23がタッチパネルの場合、入出力部23と表示部24とは、略同一の大きさおよび形状で対向して配置されていてもよい。
 制御部21は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定でなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。そのため、制御部21は、制御回路と表現されてもよいし、されなくてもよい。
 制御部21は、限定でなく例として、中央処理装置(CPU)、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(application-specI/Fic integrated circuit)、FPGA(field programmable gate array)を含む。
 記憶部28は、端末20が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶部28は、限定でなく例として、HDD(hard disk drive)、SSD(solid state drive)、フラッシュメモリ、RAM(random access memory)、ROM(read only memory)など各種の記憶媒体を含む。また、記憶部28は、メモリ(memory)と表現されてもよいし、されなくてもよい。
 端末20は、プログラムPを記憶部28に記憶し、このプログラムPを実行することで、制御部21が、制御部21に含まれる各部としての処理を実行する。つまり、記憶部28に記憶されるプログラムPは、端末20に、制御部21が実行する各機能を実現させる。また、このプログラムPは、プログラムモジュールと表現されてもよいし、されなくてもよい。
 マイク232は、音声データの入力に利用される。スピーカ233は、音声データの出力に利用される。カメラ234は、動画像データの取得に利用される。位置情報取得部25は、端末20の位置情報および端末20の向き(方位角)を取得し、制御部21に送信する。端末20の向き(方位角)とは、端末20をユーザが装着している状態で、ユーザの正面方向のことを指す。位置情報取得部25は、限定ではなく一例として、GNSS、GPSなどの測位システムや6軸センサなどにより実現することができるが、これらに限定されるものではない。
(2)サーバのHW構成 
 サーバ10は、制御部11(CPU)、記憶部15、通信I/F14(インタフェース)、入出力部12、表示部13を備える。サーバ10のHWの各構成要素は、限定でなく例として、バスBを介して相互に接続される。なお、サーバ10のHWは、サーバ10のHWの構成として、全ての構成要素を含むことは必須ではない。限定ではなく例として、サーバ10のHWは、表示部13を取り外すような構成であってもよいし、そうでなくてもよい。
 制御部11は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定でなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。
 制御部11は、代表的には中央処理装置(CPU)、であり、その他にマイクロプロセッサ、プロセッサコア、マルチプロセッサ、ASIC、FPGAであってもよいし、そうでなくてもよい。本開示において、制御部11は、これらに限定されない。
 記憶部15は、サーバ10が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶部15は、HDD、SSD、フラッシュメモリなど各種の記憶媒体により実現される。ただし、本開示において、記憶部15は、これらに限定されない。また、記憶部15は、メモリ(memory)と表現されてもよいし、されなくてもよい。
 通信I/F14は、ネットワーク30を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F14は、ネットワーク30を介して、端末20との通信を実行する機能を有する。通信I/F14は、各種データを制御部11からの指示に従って、端末20に送信する。また、通信I/F14は、端末20から送信された各種データを受信し、制御部11に伝達する。また、通信I/F14を単に通信部と表現する場合もある。また、通信I/F14が物理的に構造化された回路で構成される場合には、通信回路と表現する場合もある。
 入出力部12は、サーバ10に対する各種操作を入力する装置により実現される。入出力部12は、ユーザからの入力を受け付けて、当該入力に係る情報を制御部11に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入出力部12は、代表的にはキーボード等に代表されるハードウェアキーや、マウス等のポインティングデバイスで実現される。なお、入出力部12、限定でなく例として、タッチパネルやカメラ(動画像を介した操作入力)、マイク(音声による操作入力)を含んでいてもよいし、そうでなくてもよい。ただし、本開示において、入出力部12は、これらに限定されない。
 表示部13は、代表的にはモニタ(限定でなく例として、液晶ディスプレイやOELD(organic electroluminescence display))で実現される。なお、表示部13は、ヘッドマウントディスプレイ(HDM)などであってもよいし、そうでなくてもよい。なお、これらの表示部13は、3Dで表示データを表示可能であってもよいし、そうでなくてもよい。ただし、本開示において、表示部13は、これらに限定されない。
 サーバ10は、プログラムPを記憶部15に記憶し、このプログラムPを実行することで、制御部11が、制御部11に含まれる各部としての処理を実行する。つまり、記憶部15に記憶されるプログラムPは、サーバ10に、制御部11が実行する各機能を実現させる。このプログラムPは、プログラムモジュールと表現されてもよいし、されなくてもよい。
 本開示の各実施形態においては、端末20および/または、サーバ10のCPUがプログラムPを実行することにより、実現するものとして説明する。
 なお、端末20の制御部21、および/または、サーバ10の制御部11は、制御回路を有するCPUだけでなく、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって各処理を実現してもよいし、そうでなくてもよい。また、これらの回路は、1または複数の集積回路により実現されてよく、各実施形態に示す複数の処理を1つの集積回路により実現されることとしてもよいし、そうでなくてもよい。また、LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSIなどと呼称されることもある。そのため、制御部21は、制御回路と表現されてもよいし、されなくてもよい。
 また、本開示の各実施形態のプログラムP(限定ではなく、例として、ソフトウェアプログラム、コンピュータプログラム、またはプログラムモジュール)は、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよいし、されなくてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムPを記憶可能である。また、プログラムPは、本開示の各実施形態の機能の一部を実現するためのものであってもよいし、そうでなくてもよい。さらに、本開示の各実施形態の機能を記憶媒体にすでに記録されているプログラムPとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよいし、そうでなくてもよい。
 記憶媒体は、1つまたは複数の半導体ベースの、または他の集積回路(IC)(限定でなく例として、フィールド・プログラマブル・ゲート・アレイ(FPGA)または特定用途向けIC(ASIC)など)、ハード・ディスク・ドライブ(HDD)、ハイブリッド・ハード・ドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ(FDD)、磁気テープ、固体ドライブ(SSD)、RAMドライブ、セキュア・デジタル・カード、またはドライブ、任意の他の適切な記憶媒体、またはこれらの2つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムPを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。また、記憶媒体をメモリ(memory)と表現されてもよいし、されなくてもよい。
 サーバ10および/または端末20は、記憶媒体に記憶されたプログラムPを読み出し、読み出したプログラムPを実行することによって、各実施形態に示す複数の機能部の機能を実現することができる。
 また、本開示のプログラムPDDは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して、サーバ10および/または端末20に提供されてもよいし、されなくてもよい。サーバ10および/または端末20は、限定でなく例として、インターネット等を介してダウンロードしたプログラムPを実行することにより、各実施形態に示す複数の機能部の機能を実現する。
 また、本開示の各実施形態は、プログラムPが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 
 サーバ10および/または端末20における処理の少なくとも一部は、1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよいし、そうでなくてもよい。
 端末20における処理の少なくとも一部を、サーバ10により行う構成としてもよいし、そうでなくてもよい。この場合、端末20の制御部21の各機能部の処理のうち少なくとも一部の処理を、サーバ10で行う構成としてもよいし、そうでなくてもよい。
 サーバ10における処理の少なくとも一部を、端末20により行う構成としてもよいし、そうでなくてもよい。この場合、サーバ10の制御部11の各機能部の処理のうち少なくとも一部の処理を、端末20で行う構成としてもよいし、そうでなくてもよい。
 明示的な言及のない限り、本開示の実施形態における判定の構成は必須でなく、判定条件を満たした場合に所定の処理が動作されたり、判定条件を満たさない場合に所定の処理がされたりしてもよいし、そうでなくてもよい。
 なお、本開示のプログラムは、限定でなく例として、ActionScript、JavaScript(登録商標)などのスクリプト言語、Objective-C、Java(登録商標)などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装される。
<機能構成>
<実施形態>
<概要>
 本実施例の概要を、図2を用いて説明する。図2に示すようにユーザ50が端末20を装着しているとする。本実施形態に係る端末20は、基本的には、撮像機能および表示機能を有する、ユーザにより装着されるヘッドマウントディスプレイやメガネ型ウェアラブル端末を想定しているが、これらに限定されるものではない。図2では、端末20として、ヘッドマウントディスプレイをユーザが装着している例を示している。端末20は、典型的には、AR(Augmented Reality)やMR(Mixed Reality)などの半仮想現実を提供する装置であるが、これらに限定されるものではなくVR(Virtual Reality)を提供するものであってもよい。端末20は、表示領域の画像内に、看板(動画広告を表示する表示領域)として認識できる領域が存在する場合で、かつ、所定の条件を満たす場合に、広告を表示(再生)する。一例として、ユーザはメガネ型ウェアラブル端末を装着し、メガネ型ウェアラブル端末は、街の風景を撮像しつつ、その風景(の加工画像)を表示して、ユーザに視認させる。そして、視認した領域内に看板がある場合に、ユーザにあわせて適切な条件下で動画広告を再生する。
 図2を参照しながら、具体的に説明すると、図2の右端に示すように、まず、ユーザ50は、看板200の遠方から看板200に向かって進行しているとする。このとき、端末20の画面には、表示画面図210のような画像が表示されているとする。表示画面図210は、端末20に備えられたカメラが撮像した画像(動画)である。このとき、表示画面図210には、看板200自体は遠方に存在するため、表示画面図210全体の表示領域に対して、小さな領域で示されることになる。このような状態では、端末20は、条件を満たしていないと判断し、動画広告を再生しない。
 一方、図2の中央に示すように、ユーザ50が歩いて、看板200に近づいたとする。そうすると、端末20には、表示画面図211に示すような画像が表示される。図示されるように、端末20の表示画面図211には、ユーザ50が看板200から遠方に居た場合に比して、その表示領域内により大きく看板200が表示されることとなる。このような場合に、端末20は、この看板200の位置に、動画広告を再生する。看板200が示される領域が十分に広くユーザ50にとって視認しやすい状態になっているときに動画広告を再生するとその内容を把握しやすくなる。したがって、端末20は、撮像している表示領域内に、看板200に相当する領域があり、その領域をユーザ50が十分かつ適切に視認できる状態にある場合に、看板200に相当する領域に動画広告を再生する。
 端末20は、適切な条件下で動画広告を再生することで、ユーザが広告を視認する確度を向上させることができる。ここでいう広告とは、情報を所定の人々を対象に伝達したい情報内容(メッセージ)を含む動画のことをいうが、これは、動画に限定されるものではなく静止画であってもよい。限定ではなく、一例として、広告は、広告主が販売したい商品やサービスに関する情報を含んでよく、その他には、人物や娯楽の紹介などであってもよい。以下、詳細に説明する。
 (1)端末の機能構成 
 図1に示すように、端末20の制御部21は、画像解析部211と、動画広告取得部212と、動画広告再生部213とを備える。
 端末20のカメラ234は、ユーザが端末20を装着している状態でユーザの正面方向を撮像する。カメラ234は、撮像した画像を制御部21に送信する。制御部21は、受信した画像を表示部24に表示する。
 その一方で、画像解析部211は、端末20のカメラ234が撮像した画像内に看板領域が含まれるか否かを判定する。看板領域は、動画広告を再生するための領域であり、例えば、街中において広告やポスターなどを貼り出す領域のことである。画像解析部211は、一例として、カメラ234が撮像している画像内に看板があるか否かを、一定以上の広さを有するモノトーンの領域(限定ではなく例として、白色の領域)があるか否かにより判定することができる。また、あるいは、画像解析部211は、一例として、予め、画像に看板領域が含まれるか否か判定するための深層学習等を利用した学習モデルを作成しておき、この学習モデルを記憶部28に記憶しておくことで、カメラ234が撮像している画像に看板領域が含まれるか否かを判定することができる。画像解析部211は、カメラ234が撮像した画像内に看板領域が含まれていると判定した場合に、動画広告取得部212にその旨を伝達する。
 動画広告取得部212は、画像解析部211から、撮像した画像内に看板領域が含まれていると伝達された場合に、位置情報取得部25が取得した端末20の位置情報と向きの情報を、通信I/F22を介して、サーバ10に送信する。そして、動画広告取得部212は、通信I/F22を介して、サーバ10から受信した、画像内に含まれていると想定される看板の情報および動画の情報を動画広告再生部213に送信する。
 動画広告再生部213は、端末20と、動画広告取得部212から受信した看板の情報で示される看板とが、所定の関係になった場合に、動画広告取得部212から受信した動画広告を再生する。一例として、動画広告再生部213は、以下に示すような条件1から条件5のうち少なくともいずれか一つを満たした場合に動画広告を再生することとしてよく、複数の条件を満たして初めて動画広告を再生することとしてもよい。
 (条件1)端末20と看板との間の距離が所定距離以下である。即ち、ユーザが看板領域を十分に視認できる状態である。
 (条件2)看板情報で示される看板の実際の大きさ(基準の大きさ)に対して、端末20の表示部24の表示領域中の看板の大きさが、所定の基準を満たす(限定ではなく一例として、実際の大きさの4割以上の大きさを有する)。元の看板自体の大きさに対して、表示部24の表示領域全体に対して占める大きさが所定以上大きくないと動画広告を再生してもユーザが認識できない。そのため、看板自体の元の大きさに対する画面内における大きさが所定以上である場合に、動画広告を再生することで、ユーザが動画広告の内容を認識しやすくすることができる。
 (条件3)表示部24の表示領域に示される看板領域に対する視野角が所定の閾値以上である。即ち、表示領域内の看板領域がユーザから見て十分な広さを有する。
 (条件4)表示部24の表示領域に示される看板領域の広さが所定のピクセル数以上の幅(縦幅、横幅の両方またはいずれか一方)を有する。所定のピクセル数以上の幅があるということは、動画広告を表示するのに足りる広さを有することを意味する。別の言い方をすれば、看板領域のユーザ(端末20)から見たパース(遠近)によって、看板領域に動画広告を再生するか否かの条件とする。
 (条件5)看板領域の対向する辺の長さの差分もしくは比(長辺に対する短辺)が所定の閾値以下である。看板領域の一辺と対向する一辺との間に所定以上の差(比)がある場合に、看板領域のユーザに対する角度が急峻であり、動画広告を再生したところで、ユーザは動画広告の内容をよく確認することができない。しかし、その逆に、看板領域の対向する辺の長さの差分が所定の閾値以上であれば、ユーザは動画広告をよく視認できる可能性が高い。
 したがって、限定ではなく一例として、ここに記載した条件を複数組み合わせたとすると、端末20が看板領域との間の距離が所定距離以下で、視認している表示領域が所定以上の大きさを有し、パース、即ち、看板領域の遠近がきつくない(ユーザから見て、なるべく平坦に見える)場合に、動画広告を再生するというような構成としてよい。また、看板領域の大きさが所定の大きさを有している場合には動画広告を再生し、有していない場合には、動画広告に関連する静止画を表示するように構成してもよい。
 なお、動画広告を表示しない場合には、看板領域には何も表示しなくてもよいし、何らかの静止画を表示するように構成してもよい。また、例えば、看板領域が急峻で動画広告をその看板領域に再生してもユーザが適切にその内容を確認できないと推定されるような状況であったとしても、その看板領域に動画広告を再生するように構成してもよい。内容が確認できずとも、画面内で何らかの動きがあることが見て取れた場合に、ユーザはその内容を確認しようと看板領域をより適切に見ようとして移動する可能性を向上させことができるので、動画広告を視聴させる機会を向上させることができる。
 なお、条件はこれらに限定するものではなく、ユーザがある程度動画広告を視認でき、動画広告の内容を確認できるか否かを判定できる条件になっていれば他の条件であってもよい。条件を満たしていない場合は、動画広告再生部213は、看板領域には動画広告を再生しないが、動画の最初のフレームの静止画のみを表示するように構成してもよいし、そうでなくてもよい。これにより、通信システム1においては、実際の看板がある位置に、広告やポスターを貼りだすことなく、各ユーザに対して適切な各種の広告を視認させることができる。また、広告やポスターを貼りだす必要がないため、そのための労力を削減することができる。また、すべての広告をデジタル化することができ、物理的な広告を用意する必要がなくなる。
 (2)サーバの機能構成 
 図1に示すように、サーバ10は、制御部11により実現される機能として、看板特定部111と、動画広告特定部112とを備える。また、記憶部15は、後述する看板情報300を記憶している。
 看板特定部111は、端末20から送信された位置情報と向きの情報に基づいて、その位置情報で示される位置から、向きの情報で示される方向を中心に所定角度の範囲内かつ所定距離内に存在する看板を、看板情報300から特定する。看板特定部111が特定する看板の情報は、看板が配置されている位置情報(看板の中心の位置情報)と、看板の配置されている向き(方位角)とを含み、さらには、看板の縦幅や横幅の情報も含んでもよい。
 動画広告特定部112は、ユーザの端末20において再生すべき動画広告を特定する。動画広告特定部112は、限定ではなく一例として、端末20のユーザの嗜好に合致する動画広告を特定する。動画広告特定部112は、限定ではなく一例として、端末20のユーザの嗜好情報を端末20から受信し、動画広告にはメタデータとしてどういう属性の広告であるかを対応づけておき、嗜好情報と合致する属性を有する動画広告を特定することで、端末20のユーザに適した動画広告を特定することができるが、これに限定するものではない。動画広告特定部112は、人気の高い動画広告を、端末20で再生すべき動画広告としてとくていすることとしてもよいし、そうでなくてもよい。また、あるいは、動画広告特定部112は、端末20で再生すべき動画広告をランダムで特定することとしてもよい。
 制御部11は、看板特定部111が特定した1以上の看板の情報と、動画広告特定部112が特定した動画広告とを、通信I/F14を介して、端末20に送信する。なお、サーバ10は、広告を配信したい広告主から新たな動画広告を受けて付けて記憶部15に記憶する機能、および、新たに受け付けた動画広告を端末20に配信することとしてもよいし、しなくてもよい。以上が、サーバ10の構成である。
<データ>
 図3は、看板情報の一構成例を示すデータ概念図である。図3に示す看板情報300は、現実世界(仮想世界でもよい)において、どこに、どういう向きで、どのような大きさの看板が配置されているのかを示す情報である。看板情報300において、看板が配置されている場所には、広告が存在することが望ましいが、本実施の形態においては、特定の広告を貼ったりすることなく、端末20が動画広告を再生する。
 図3に示すようにメッセージ情報300は、看板ID301と、位置情報302と、が対応付けられた情報である。図3に示すようにメッセージ情報300には、更に、横幅303と、縦幅304と、向き(方位角)305とが対応付けられてもよいし、対応付けられなくてもよい。
 看板ID301は、対応する看板をサーバ10や端末20が識別するための情報である。
 位置情報302は、対応する看板IDで示される看板が、現実世界のどこに配置されているかを示す情報であり、経度および緯度を含む。位置情報302は、更に高度情報を含んでもよいし、含まなくてもよい。
 横幅303は、対応する看板IDで示される看板の横幅の長さを示す情報である。
 縦幅304は、対応する看板IDで示される看板の縦幅の長さを示す情報である。
 向き(方位角)305は、対応する看板IDで示される看板の正面方向の方位角を示す情報である。端末20は、ユーザが看板の正面方向にいる場合、即ち、ユーザが看板に対して正対する場合に動画広告を再生し、ユーザが看板の裏面側にいる場合には再生しない。したがって、向き(方位角)305は、ユーザ(端末20)が、看板の正面方向に存在するか否かを判定するために用いられる。
 以上に示した看板情報300が記憶部15に記憶されていることにより、サーバ10は、ユーザ(端末20)が、どの看板付近に居るのかを特定できるとともに、ユーザの端末20に対して、視認できている看板についての情報を伝達することができる。
 <動作>
 図4は、端末20において動画広告を再生するための通信システム1における端末20とサーバ10との間のやり取りを示すシーケンス図である。
 図4に示すように、端末20は、撮像を実行する。撮像した画像に看板領域が含まれて板とする(ステップS401)。すると、端末20は、位置情報と向きの情報を取得する(ステップS402)。端末20は、取得した位置情報と向きの情報とを、サーバ10に送信する(ステップS403)。
 サーバ10は、ユーザの端末20から、位置情報と向きの情報を受信すると、その位置情報からみて、向きの情報で示される方向に存在する所定距離内の看板を特定する(ステップS404)。また、サーバ10は、端末20のユーザに視聴して欲しい動画広告を特定する。そして、サーバ10は、特定した看板の情報と、動画広告とを、端末20に送信する(ステップS405)。
 端末20は、看板の情報と動画広告とを受信すると、端末20と表示領域内の看板とが、所定の条件を満たした場合(限定ではなく一例として、端末20が看板から所定距離内に存在する場合)に、動画広告を、看板領域に再生する(ステップS406)。
 図4に示すシーケンス図に示すやり取りを実現するための、端末20の動作を図5に示すフローチャートを用いて説明する。図5は、動画広告を再生するための処理を示すフローチャートの一例である。ここでは、ユーザが、ウェアラブル端末としての端末20を装着している状態で、周囲の画像を撮像し、その画像を表示部24に表示している状態であるとする。
 端末20のカメラ234は、周囲の画像を撮像し(ステップS501)、制御部21に送信する。制御部21は、撮像された映像を表示部24に表示するとともに、制御部21の画像解析部211が撮像画像を解析する。即ち、画像解析部211は、撮像した画像に看板領域が含まれているか否かを解析する(ステップS502)。
 画像解析部211が、撮像した画像内に看板領域が含まれていないと判定した場合には(ステップS502のNO)、ステップS508の処理に移行する。画像解析部211が、撮像した画像内に看板領域が含まれると判定した場合には(ステップS502のYES)、画像解析部211は、動画広告取得部212に撮像画像内に看板領域が存在することを通知する。そうすると動画広告取得部212は、位置情報取得部25から、端末20の位置情報と向きの情報を取得する(ステップS503)。そして、動画広告取得部212は、取得した位置情報と向きの情報を通信I/F22を介して、サーバ10に送信する(ステップS504)。
 動画広告取得部212は、サーバ10から通信I/F22を介して、看板情報と動画広告を受信したか否かを判定する(ステップS505)。看板情報と動画広告をサーバ10から受信するまでは待機する(ステップS505のNO)。看板情報と動画広告を受信した場合には(ステップS505のYES)、受信した看板情報と動画広告とを記憶部28に記憶する。動画広告再生部213は、記憶部28に看板情報と動画広告とが記憶されると、看板情報で示される看板が所定の条件を満たすか否かを判定する(ステップS506)。
 動画広告再生部213は、位置情報取得部25から端末20の位置情報を取得する。また、動画広告再生部213は、受信した看板情報から少なくとも看板の位置情報を特定する。そして、動画広告再生部213は、看板領域の大きさや位置が上記条件1~条件5のうちの少なくとも1つを充足するか否かを判定する(ステップS506)。動画広告再生部213は、上記条件1~条件5のいずれか又は複数の条件を満たしたと判定した場合(ステップS506のYES)、一例として、ユーザ(端末20)が看板から所定距離内に存在すると判定した場合、対応する看板領域に受信した動画広告を再生させる(ステップS507)。端末20は、動画広告の再生に伴って、ユーザが音声出力部としてヘッドホンなどを装着している場合には、動画広告の音声も出力してもよいし、しなくてもよい。また、看板領域には、動画広告に関する静止画を先に表示することとしてもよいし、しなくてもよい。ここで静止画は、動画広告に関連する内容の静止画であってよく、限定ではなく一例として、動画広告を発信する会社の情報が認識できる情報(例えば、会社のロゴマーク)や、動画広告の一枚目のフレームや、動画広告の内容に関する静止画などであってよい。
 制御部21は、端末20に対する終了入力があるか否かを判定する(ステップS508)。終了入力があった場合には(ステップS508のYES)、処理を終了し、終了入力がない場合には、ステップS501の処理に戻る。ここで、終了入力とは、端末20で動画広告を再生するアプリケーションを終了するための入力であってもよいし、端末20の電源を切る入力であってもよい。図5に示す処理により、端末20は、看板領域の位置と大きさが動画広告を再生するのに適した条件になった時に、動画広告を再生するので、ユーザに視認しやすいタイミングで動画広告を提供することができる。したがって、端末20を装着するユーザが移動することによって、表示領域における看板領域の大きさが変化するので、適切な大きさになったタイミングで動画広告の再生を行ったり、別の動画広告の再生に切換えたり、動画広告の再生を中止したりすることができる。
 一方、図6は、図4のシーケンス図におけるサーバ10の動作を示すフローチャートの一例である。図6に示すように、サーバ10の通信I/F14は、端末20から、端末20の位置情報と向きの情報とを受信する(ステップS601)。
 制御部11の看板特定部111は、端末20の位置情報と向きの情報とを受信すると、端末20の位置情報で示される位置から、向きの情報で示される方角を向いた場合に、視認可能な看板を、看板情報300から特定する(ステップS602)。具体的には、端末20の位置情報で示される位置から所定距離内に存在し、かつ、位置情報で示される位置から向きの情報で示される方角に存在する看板を特定する。このとき、看板特定部111は、これらの条件を満たしつつ、看板の向き(方位角)が示す方向が、ユーザ50(端末20)の方向を示している看板を特定する。
 動画広告特定部112は、端末20に対応するユーザ50にとって適切な動画広告を特定する(ステップS603)。ここで、ユーザ50にとって適切な動画広告とは、表示した場合に、ユーザ50が興味を引いて視聴する可能性の高い動画広告のことである。ユーザにとって適切な動画広告は、限定ではなく一例として、ユーザの嗜好情報を端末20からサーバ10に送信するとともに、サーバ10があらかじめ各動画広告に付与されているタグ情報を利用して特定することができる。また、嗜好情報に限らず、ユーザの特性を示す属性情報(限定ではなく一例として、性別、出身、年齢、過去の購買履歴、過去の視聴履歴など)に基づいて、適切な動画広告を特定することとしてもよい。また、ユーザが興味をひく可能性の高い動画広告の特定は、サーバ10ではなく、端末20が特定することとしてもよい。
 サーバ10の制御部11は、看板特定部111が特定した看板の情報と、動画広告特定部112が特定した動画広告とを、位置情報と向きの情報を送信してきた端末20に対して、通信I/F14を介して、送信して処理を終了する(ステップS604)。
 以上がサーバの処理である。
 図7は、端末20における動画広告の再生制御に係る動作を示すフローチャートの一例であり、ユーザからの入力に応答して動画広告の表示態様を変更する処理の一例を示す処理である。図7は、図5のステップS507とS508との間に実行される処理の一例を示すフローチャートの一例である。
 図7に示すように、端末20の表示部24は、看板領域に動画広告を表示する(ステップS701)。
 制御部21は、動画広告の再生から所定時間(限定ではなく一例として、二秒)が経過しているか否かを判定する(ステップS702)。制御部21は、所定時間が経過していると判定した場合には(ステップS702のYES)、ユーザが動画広告を視聴したことに対する課金処理を実行する(ステップ7603)。即ち、端末20は、サーバ10に対して、動画広告を視聴したことに対する報酬の支払いを行う。所定時間が経過していない場合には(ステップS702のNO)、ステップS704の処理に移行する。なお、表示するのが動画ではなく静止画である場合には、静止画を表示したタイミングで課金処理が実行されてよい。
 端末20の制御部21は、ユーザから表示領域の拡大または縮小があったか否かを判定する(ステップS704)。限定ではなく一例として、端末20は、端末20が備えているハードウェアキー(図示せず)、あるいは、音声による入力、あるいは、被接触入力(ジェスチャー入力)などにより表示領域の一部の拡大または縮小の入力をユーザから受け付ける。あるいは、端末20を装着しているユーザが、移動することによって、表示領域内の看板領域の大きさが変化することもあり得る。このような表示領域の拡大縮小や変化に伴い、画面の表示領域内に存在する看板領域が画面外にフェードアウトしたり、表示領域外にあった看板領域が画面内にフェードインしたりすることもあり得るので、端末20は、その都度、看板領域が所定の条件を満たすか否かを判定する必要がある。
 表示領域の拡大または縮小があった場合には(ステップS704のYES)、端末20の制御部21は、表示領域の拡大または縮小によって、看板領域がユーザの視野内に所定の大きさ以上で表示されることによって、動画広告の再生の所定の条件を満たすようになる、あるいは、所定の条件から外れるようになるか否かを判定する(ステップS705)。
 動画広告の再生条件を満たす場合(ステップS705のYES)には、動画広告の再生条件を満たす看板領域に動画広告を再生する。また、動画広告の再生条件から外れる看板領域が存在するようになる場合(ステップS705のYES)には、端末20は、動画広告の再生を中止する(ステップS706)。
 表示領域の拡大または縮小入力がなかった場合(ステップS704のNO)や、動画広告の再生条件を満たさなくなる、又は、条件から外れない場合には(ステップS705のNO)、動画広告の切り替え入力があったか否かを判定する(ステップS707)。動画広告の切り替え入力があった場合には(ステップS707のYES)、端末20の制御部21は、他の動画広告を看板領域に再生し(ステップS708)、ステップS508の処理に移行する。
<具体例>
 図8(a)は、端末20のカメラ234が撮像した撮像画像800の一例であるとともに、端末20の表示部24の表示領域に表示される表示画面800の一例を示す図である。図8(b)は、ユーザ50と、各看板801~803の配置関係の一例を示す鳥瞰図である。図8(b)の位置関係にあるとき、ユーザ50からは図8(a)に示す表示画面800を視認することができる。図8(b)において、点線は、ユーザの視野角(端末20のカメラ234の撮像視野角)を示している。図8(b)の位置関係では、ユーザ50の進行方向に向かって、左側に看板803が存在し、正面に看板802が存在し、右側に看板803が存在している。したがって、端末20は、図8(a)に示すように、画面左側に看板領域801を、画面中央に看板領域802を、画面右側に看板領域803をとらえた表示画面800のような画面を表示する。なお、図8においては、動画広告を表示可能な看板領域として矩形の看板の例を示しているが、これに限定されるものではない。動画広告を再生可能な物体であればどのようなものであってもよく、例えば、楕円形の物体であってもよいし、星形の物体などであってもよい。また、動画広告を表示する場所は、看板領域内に限定するものではなく、看板領域外にまではみ出した再生を行ったりしてもよいし、しなくてもよい。矩形形状以外の形状の看板領域のパースをとる(看板領域の一端部と他端部との遠近の差をとる)場合には、端末20の制御部21が、遠近をとるための軸(図8に示す矩形の看板領域の左右の辺に相当)を設定してパースをとるようにしてよい。
 画像解析部211は、撮像画像800を解析して、看板領域801、802、803を特定する。画像解析部211による解析により撮像画像中に看板領域801、802、803を特定したことに伴い、これらの看板についての情報をサーバ10に問い合わせる。位置情報と向きの情報とを送信することでサーバ10から、看板情報と動画広告とを受信することができる。
 動画広告再生部213は、端末20(または端末20のユーザ)の位置情報を取得し、取得した位置情報が示す位置と、サーバ10から通信I/F22を介して受信した看板情報で示す各看板との間の距離を算出する。図8(b)の例では、ユーザ50と看板801~803それぞれとの間の距離は、それぞれ、距離d1、d2、d3で示される。動画広告再生部213は、動画広告再生の条件の一例として、この距離d1(d2、d3)が所定距離(限定ではなく一例として5m)以下になっているか否かを判定する。そして、所定距離になったと判定すると、動画広告再生部213は、サーバ10から受信した動画広告を、条件を満たした看板領域に重畳して再生する。
 また、看板領域に動画広告を表示する場合に看板領域の視野角を用いる場合における端末20から見た看板領域の視野角とは、図8(b)の看板802の場合であれば、ユーザ50(端末20)から看板802の両端に対して引いた一点鎖線の間の角θが該当する。また、看板領域に動画広告を表示する否かの条件として、対向する辺との差分や比を用いる場合の辺とは、図8(a)を例に説明すれば、看板領域801の場合は、辺d1r(限定ではなく第1部分の一例)と、辺d1l(限定ではなく第2部分の一例)が該当し、看板領域803の場合であれば、辺d3r(限定ではなく第1部分の一例)、辺d3l(限定ではなく第2部分の一例)とが該当する。
 限定ではなく一例として、動画広告再生部213は、図9に示すように、端末20が所定の条件を満たした場合に、動画広告を再生する。図9(a)は、動画広告を再生する前の表示画像600を示しており、図9(b)は、動画広告を再生している状態の表示画像600を示している。図9(b)には、看板領域801、802は所定の条件を満たして、動画広告が再生され、看板領域803は所定の条件を満たさず、動画広告が再生されなかった状態の画面図の例を示している。端末20の動画広告再生部213は、カメラ234が撮像した撮像画像上で看板領域が存在すると検出された表示領域に、動画広告を重畳して再生する。また、端末20は、図9(b)の看板領域801に示すように、ユーザ50の立ち位置から、看板領域が見える角度によって、動画広告の表示態様を変更して表示してもよいし、しなくてもよい。なお、図9(b)においては、表示態様を異ならせていることを理解しやすくするために、正対する看板領域802への動画広告と、ユーザ50から見て斜めになっている看板領域801への動画広告には、同じ動画広告を表示した例を示しているが、それぞれの看板領域(801、802)で、表示する動画広告を異ならせてもよいし、異ならせなくてもよい。
 なお、看板領域のパースをとる手法は上述の例に限るものではない。上述の例では、看板領域の縦の辺の差分や比を用いたが、図10(a)に示すように看板領域の上辺と下辺とを用いて特定することとしてもよい。即ち、図10(a)に示すように、看板領域801の場合であれば、d1uとd1dとを用いてもよいし、看板領域803の場合であれば、d3uとd3dとを用いてもよい。仮に看板領域801のd1uとd1dとを用いる場合には、それぞれの傾きが成す角度を特定することでパースをとることとしてよい。それぞれのなす角度が所定角度未満(鋭角)であれば、パースがきつくないと判断して、その看板領域に動画広告を再生し、角度が所定角度以上であれば、パースがきついと判断して動画広告をその看板領域に再生しないこととしてよい。
 また、更には、看板領域の縦の辺と横の辺とを利用してパースを特定することとしてもよい。例えば、看板領域801のd1lとd1uとの比、d1uとd1rとの比、d1rとd1dとの比、d1dとd1lとの比、のうち少なくともいずれか一つを用いてパースを特定することとしてもよく、複数の比を用いてパースを特定してもよい。また、この場合に、更には、それぞれの辺の間のなす角度によって、パースを特定することとしてもよい。限定ではなく一例として、端末20は、d1lのd1uに対する比が一定の閾値を超え、かつ、d1lとd1uとの間の角度が、所定角度範囲である場合に、動画広告を再生すると判定してもよい。
 また、看板領域が矩形でなく、辺を特定できないような場合には、図10(b)に示すように仮想的に軸を設定して、パースを特定することとしてもよい。図10(b)の例では、看板領域1000が楕円である例を示している。図10(b)に示すように、看板領域が矩形でない場合には、その看板領域を囲う矩形領域(図10bにおいて、d4l、d4u、d4r、d4dにより囲われた領域)を設定し、その設定した矩形領域の辺を用いてパースを特定するようにしてもよい。
<変形例1>
 上記実施の形態においては、端末20は、看板情報をサーバ10から取得することとしているが、その限りではない。端末20は、サーバ10と同様に看板特定部111を備えて、端末20の表示部24の表示領域に表示されている看板がどの看板であるかを特定できるように構成されてもよい。また、看板情報は、端末20が看板から直接取得するように構成されていてもよい。例えば、端末20は、看板それぞれに記載されている二次元バーコードなどに代表されるコードを読み取って、看板情報(看板のサイズや位置、向き)を取得することとしてもよい。また、あるいは、看板に看板情報を記憶したメモリ及び通信機能を有するユニットを備え付けて、通信により端末20が看板情報を取得するように構成されてもよい。
 また、逆に、端末20が保持している機能をサーバ10が保持していてもよい。例えば、ユーザの端末20と看板領域とが、上記条件1~条件5の少なくともいずれか一つに該当するか否かの判定を、サーバ10が実行する構成としてもよく、その場合には、サーバ10から端末20に対して、判定結果を通知する構成とすればよい。
<変形例2>
 上記実施の形態においては、特に述べなかったが、広告を用いて何らの情報を発信したい広告主、広告を配信する配信者(サーバ10)、広告を見るユーザ、そして広告をユーザに見せる領域を提供する、即ち、看板自体の持ち主との間で、報酬(例えば、金銭)のやり取りを発生させてもよい。本変形例においては、これらの関係者間での報酬のやり取りの一例を説明する。
 図11は、本実施の形態における動画広告に係る報酬のやり取り例を示すイメージ図である。図11に示すように、広告を配信して、自身の商品やサービス等を宣伝したい場合に、広告主1101は、動画広告(静止画でもよい)を作成し、例えば、広告主1001が保持する携帯端末などの情報処理装置を用いて、広告配信会社などに相当するサーバ10に動画広告の配信を依頼する。広告主1101は、サーバ10に対して、動画広告を配信する依頼を行うために報酬(限定ではなく一例として、金銭)を支払ってもよいし、支払わなくてもよい。一方で、広告主1101の動画広告がユーザにより視聴された場合には、動画広告が試聴されたことがサーバ10から広告主1101に通知されてもよいし、されなくてもよい。
 広告配信会社(サーバ10)は、ユーザの端末20からの要求によって、ユーザに適した動画広告を特定し、配信する。このとき、端末20からは、看板領域を特定するために位置情報がサーバ10に送信されるので、サーバ10は、端末20のユーザがどの看板を利用しているのかを特定することができる。端末20のユーザは、動画広告を視聴したことに対して報酬、即ち、広告視聴料金を支払ってもよいし、支払わなくてもよい。
 一方、サーバ10は、端末20のユーザが利用した看板を保持する看板保持者1102に対して、看板を利用したことに伴う報酬を支払ってもよいし、支払わなくてもよい。報酬を支払う場合には、看板保持者1102が保持する端末に対して報酬を送信することとしてもよいし、看板保持者1102が利用する金融業者の口座に振り込むこととしてもよい。
 また、看板保持者1102には、看板を掲載した広告主1101から、直接、報酬が支払われてもよいし、支払われなくてもよい。また、看板保持者1102には、広告主1101と広告配信会社10とのいずれか一方のみから報酬が支払われてもよいし、双方から支払われてもよい。
 このように、通信システム1において、報酬のやり取りが実行されてもよい。
<変形例3>
 端末20は、上記実施の形態に説明したように、サーバ10から動画広告を受信して、視認する。端末20のユーザは、サーバ10に対して、動画広告を視聴したことに対する報酬を支払ってもよいし、支払わなくてもよい。また、端末20は、ユーザが実際に動画広告を視認したかどうかを検出したうえで、端末20のユーザに動画広告の視聴料を課金することとしてもよい。即ち、端末20は、さらに、装着しているユーザの視線検出機能を有してもよく、ユーザの視線方向に基づいて、動画広告を視認したかどうかを判定し、動画広告を視認したと判定した場合に、端末20から、サーバ10に対して、報酬を支払うように構成してもよいし、しなくてもよい。また、更には、端末20は、ユーザの視線が看板領域に向いていないことを検出できた場合には、その看板領域に対して動画広告を再生しないように構成されてもよく、この場合に、ユーザが視認していない動画広告の再生に伴う端末20の処理負荷の軽減や消費電力の軽減を実現することができる。
<変形例4>
 上記実施の形態においては、表示部24には、カメラ234が撮像した画像に対して、動画広告を重畳して表示する例を示したが、これはその限りではない。端末20の表示部24は、透過型のディスプレイであってもよい、ユーザからは、透過型のディスプレイを通して周囲の様子を確認しつつ、その中に看板領域があった場合に、そこに動画広告を再生するように構成してもよい。透過型ディスプレイの制御部21は、透過型ディスプレイを通して、ユーザが視認する看板領域に対応する表示部24の表示領域に対し、透過率を低下させる制御を行ってもよい。制御部21は、透過率を低下させる処理を施し、看板領域に対応する表示部24の表示領域に動画広告を表示してもよい。このように、透過型ディスプレイへの外部の光の入射を遮ることにより、動画広告の視認性を向上させることができる。なお、透過率を低下させる方法として、透過型ディスプレイの表示部24に、入射する光の透過率を制御するための液晶層と偏光フィルタを設けてもよい。液晶層内部の一部液晶の配列を制御部21によって制御することにより、看板領域に対応する表示領域に入射する光の透過率を制御することができる。
 また、上記実施の形態においては、端末20として、ウェアラブル端末の表示部24に、動画広告を表示する例を示したが、動画広告を表示する対象はこれに限定するものではなく、車両のヘッドアップディスプレイに表示するものであってもよいし、あるいは、電車等の車両の窓をヘッドアップディスプレイとして利用し、電車の車内から、ユーザが外を見たときに看板領域が存在する場合には、そこに動画広告を再生するように構成してもよい。このとき、端末20は、ヘッドアップディスプレイに対するユーザの位置(ユーザの眼の位置)を検出する。そして、車両等に設けられたヘッドアップディスプレイのユーザから見た反対側の風景を撮像するカメラ234により撮像される撮像画像から看板領域を検出できた場合に、カメラ234の配置位置と、ユーザのヘッドアップディスプレイに対する立ち位置との関係から、ユーザにとって看板領域がヘッドアップディスプレイのどの位置に視認できるかを特定する。そして、端末20は、ヘッドアップディスプレイにおいて、ユーザが、看板領域があると視認していると推測される領域に重ねて動画広告を再生する。
 また、車両等の乗り物のヘッドアップディスプレイに動画広告を再生するにあたって、端末20は、車両の速度に応じて再生する動画広告を切替えてもよい。即ち、車両が一定の速度以上の速度で走行している場合には、ユーザが同じ看板領域を視認できる時間が短縮する可能性が高い。このような場合に、再生時間の長い動画広告を再生したとしても、ユーザは、動画広告の全てを再生しきる前に、看板領域の前を通過してしまう可能性がある。そこで、端末20は、車両の速度、即ち、端末20の移動速度が所定速度以上であれば、所定速度未満である場合よりも再生時間の短い動画広告を再生するように構成されてもよい。別の言い方をすれば、端末20は、端末20の移動速度が速いほど、再生時間の短い動画広告を再生し、端末20の移動速度が遅いほど、再生時間の長い動画広告を再生するように構成されてよい。
 また、車両が自動運転機能を備えている場合に、ユーザが再生されている動画広告に興味をもった場合に、その動画広告に関連する場所に案内するように構成してもよい。具体的には、車両は、自動運転機能および端末20から制御信号を受信する機能を備える。そして、ユーザが端末20に対して、視聴した動画広告に興味を覚えた場合などに、その動画広告に対して、限定ではなく一例として、タッチするなどの操作を行ったとする。そうすると、端末20は、タッチされた動画広告に対応付けられた場所情報を車両の自動運転機能に送信する。車両の自動運転機能は、場所情報を受信し、場所情報で示される場所まで自動運転機能で走行し、ユーザを動画広告に関連する場所まで案内する。このような機能を端末20は備えてもよいし、備えなくてもよい。
 図12および図13を用いて具体的に説明する。図12は、乗り物の一例として車両を利用した通信システム1の構成例を示す図である。図12に示すように、通信システム1は、車両1200と、サーバ10と、端末20と、がネットワーク30を介して接続された構成を備える。サーバ10と端末20とは、上記実施の形態に示したものと略同一であるので、共通の構成については説明を省略する。本変形例4において、端末20は、一例として、ユーザが装着するものではなく、例えば、車両1200に搭載されるナビゲーションシステムとして実現されてもよいし、車両1200に搭載される制御装置として実現されてもよい。この場合に、カメラ234は、車両1200に設置され、車両1200の進行方向を撮像するように構成される。
 端末20は、上記実施の形態に示したように、カメラ234が撮像した画像に看板領域があるか否かを判定し、あると判定した場合であって、所定の条件を満たした場合に(条件1~5のうち少なくともいずれか一つ)、表示すべき動画広告と、その動画広告がヘッドアップディスプレイのどこに表示するのかを通信I/F22を介して、車両22の通信I/F1214に送信する。また、端末20は、動画広告を再生している場合に、その動画広告に対する所定の入力をユーザから受け付けた(例えば、タッチ操作)場合に、その動画広告に関連する場所(たとえば、動画広告を配信する広告主の店舗)への案内指示を車両1200に、通信I/F22を介して指示する。
 車両1200は、図12に示すように、制御部1211と、車両駆動部1212と、表示部1213と、通信I/F1214と、記憶部1215とを備える。
 制御部1211は、自動運転制御部1112を備え、車両1200を制御する機能を有する。自動運転制御部1112は、記憶部1215に記憶されているプログラムを実行することにより自動運転を実行する。自動運転制御部1112は、端末20から案内指示を受け付けた場合に、その案内指示で指定される場所へ移動するよう自動運転を実行する。
 車両駆動部1212は、車輪やモータ等の駆動系を含み、自動運転制御部1112からの指示に従って、車両の運行を実行する。
 表示部1213は、車両1200に設けられたヘッドアップディスプレイにより実現され、端末20から指定された領域に対して、即ち、看板領域に対して、指定された動画広告を表示する。なお、図12には図示していないが、車両1200は音声出力部としてスピーカを備えてよく、動画広告の再生に伴って、その音声を出力してもよいし、しなくてもよい。
 通信I/F1214は、端末20とネットワーク30を介して、通信を実行する。この場合に、ネットワーク30は、CAN(Controller Area Network)であってよいし、それ以外のネットワークであってもよい。
 図13は、車両1200が、自動運転によりユーザが興味を覚えた動画広告に関連する場所まで案内する処理を示すフローチャートの例である。図13に示すフローチャートは、端末20を備える車両1200が連動して実行する例を示している。
 図13に示すように、車両1200の表示部1213は、端末20から指定された看板領域に対して、指定された動画広告を再生する(ステップS1301)。車両1200の表示部1213は、動画広告の再生として、上述の図5のフローチャート等に基づき動画広告の再生を実行する。
 ユーザはヘッドアップディスプレイに表示された動画広告を見て、興味を覚えた場合には、その動画広告に対して所定の入力を行う。ここで、所定の入力とは、例えば、動画広告が表示されている領域をタッチする操作であったり、車両1200に搭乗しているユーザからの音声入力、例えば、「今の広告の店まで行って」というような入力であったりしてもよい。
 端末20の制御部21は、ユーザから動画広告に対する所定の入力があるか否かを判定する(ステップS1302)。所定の入力がない場合には(ステップS1302のNO)、処理を終了する。一方、所定の入力があった場合には(ステップS1302のYES)、端末20の制御部21は、動画広告に対応する場所情報を取得する(ステップS1303)。場所情報は、限定ではなく一例として、動画広告に対して付与されたメタデータから取得できることとしてもよいし、サーバ10に問い合わせて、動画広告を提供している広告主のサーバから取得することができる。
 端末20の制御部21は、通信I/F22を介して、車両1200に、取得した場所情報を送信する。車両1200の通信I/F1214は、受信した場所情報を制御部1211の自動運転制御部1112に送信する(ステップS1304)。
 自動運転制御部1112は、車両1200の現在位置から、受信した場所情報で示される場所までの経路を特定する。これは、従来のナビゲーション技術を利用して特定することができ、例えば、ダイクストラ法やAスター法などのアルゴリズムを利用することができる。自動運転制御部1112は、経路を特定すると、車両駆動部1212に対して、その経路に沿って車両1200を走行させるように、制御信号を送信する。車両駆動部1212は、制御部1211から送信された制御信号に従って、車両1200の走行を制御する。これにより、車両1200は、動画広告に関連する場所まで、走行する(ステップS1305)。
 このように、端末20が車両1200に搭載、又は連動する場合には、動画広告に関連する場所までユーザを案内できる。例えば、動画広告が商品の宣伝であれば、その商品を販売している店舗に案内できるし、動画広告が例えば美術品の宣伝であれば、その美術品を展示している美術館に案内できるし、動画広告が例えば何らかのキャラクターを用いた宣伝であれば、そのキャラクターに関連するミュージアムやキャラクターグッズを販売している店舗に案内できたりする。
 <変形例5>
 上記実施の形態において、端末20は、看板領域に重畳して、動画広告を表示することとしているが、これはその限りではない。動画広告を表示する領域は、看板領域全体である必要はなく、その一部分を利用することとしてもよいし、あるいは、看板領域に隣接する空間を疑似的に看板領域に見立てて、動画広告を表示することとしてもよい。端末20は、隣接する空間を利用する場合には、隣接する空間と併せて看板領域の一部を利用して、動画広告を再生することとしてもよい。
 即ち、看板領域のうち、一部がモノトーン(限定ではなく一例として白色)になっている領域があり、それ以外の箇所には通常のポスター等の広告が張られている(もしくは表示されている)とした場合に、端末20は、その看板領域のモノトーンの領域に対して、動画広告を表示するように構成されてよい。
 また、看板領域として存在する看板がモニタである場合に、このモニタは、ユーザが端末20を装着しているか否かを検出する検出装置を備え、ユーザが端末20を装着している場合には、モノトーンの画像を表示し、装着していない場合には、何らかの広告を表示するように構成してもよい。検出装置としては、例えば、カメラと、そのカメラから撮像された撮像画像を解析して、人物が存在することと、その人物が端末20を装着しているかを解析する画像解析により実現することができる。また、更には、複数のユーザが検出できる場合には、このモニタは、多視点表示により、検出できたユーザ毎に、端末20を装着しているか否かで、表示内容を切替えるように構成されてよい。
 なお、上記実施の形態及び各種変形例は、適宜組み合わせることとしてよい。
<実施形態の効果>
 以下、本実施形態の効果について述べる。
 上記実施の形態に係る端末20によれば、画像解析部211が、カメラ234が撮像した画像内に動画広告を再生するための物体、即ち、看板領域が存在するか否かを検出する。そして、端末20は、サーバ10から、検出した看板領域の看板情報を取得する。また、端末20は、ユーザに適した動画広告を取得する。そして、端末20は、看板領域の大きさと、看板領域が存在する位置とから、所定の条件を満たす場合に、看板領域が存在する場所の表示領域に、動画広告を再生する。
 これにより、端末20は、ユーザが視認している看板領域が動画広告を視聴するのに適した大きさを有すると判定したタイミングで動画広告を再生するので、ユーザが動画広告を視聴する可能性を向上させることができる。
 また、端末20の制御部21(動画広告再生部213)は、看板領域に対する視野角に応じて、動画広告を看板領域に再生する。即ち、視野角が一定角度以上であれば、ユーザが動画広告を認識できるので、その場合に、動画広告を再生する。
 これにより、看板領域に対する十分な視野角が得られている状態で動画広告を再生することで、ユーザに動画広告を認識させやすくすることができる。
 また、端末20の制御部21(動画広告再生部213)は、看板領域の1端における1辺(1軸)と、他端側の対向する1辺(1軸)との長さ、即ち、差分や比に基づいて、看板領域のパースに応じて、動画広告の再生を行う。また、あるいは、端末20の制御部21は、看板領域の1端における1辺と、それに直交する1辺との長さの比に基づいて、動作広告の再生を行う。
 これにより、端末20は、看板領域の一部分の長さと異なる部分の長さとによって、看板領域のユーザ(端末20)に対するパースを特定することができるようになる。これにより、看板領域の一部分の長さと他の一部分の長さとの間として、対向する辺同士の間に大きな差がある場合には、看板領域が、ユーザに対するパースがきつくなっており、動画広告を再生したとしても十分に認識できない可能性があるのに対し、辺の長さに大きな差がない場合には、看板領域をユーザが十分に視認できる状態にあると推定できることから、動画広告再生部213は、動画広告を認識させやすい状態での再生を実行することができる。また、端末20は、看板領域の一部分の長さと他の一部分の長さとの間として、看板領域が矩形領域である場合に、長辺と短辺との比を算出し、その比に応じて動画広告を再生するか否かを判定した上で、再生する。長辺と短辺との比が大きい場合には、看板領域がいびつである可能性が高く、動画広告を再生したとしてもユーザは動画広告の内容をよく認識できない可能性があるのに対して、比が小さい場合には、看板領域はいびつになっていない可能性が高く、動画広告を再生した際にユーザはその内容をよく認識できるようになる。したがって、パースを特定することで、看板領域がユーザに対して適切な状態での動画広告の再生が可能になり、ユーザが動画広告の内容を認識する確度を向上させることができる。
 また、端末20は、カメラ234が撮像した撮像画像内の看板領域を、例えば、看板に備えられた通信装置から、看板の情報を取得するように構成することができる。
 これにより、端末20は、撮像画像内に存在する看板領域がどこにあり、どのような大きさを有し、どの方向に向けて設けられているかを認識することができ、動画広告の再生位置の制御を過たずに行うことができる。
 また、端末20は、位置情報取得部25が取得した端末20の位置と、端末20の向きとを示す情報をサーバ10に送信し、サーバ10は、端末20の位置から指定される向きに存在する看板領域を、看板情報300を用いて特定する。サーバ10は、特定した看板の情報を端末20に送信する。
 これにより、端末20は、ユーザが存在する位置から視認可能な看板を特定することができる。
 また、端末20は、カメラ234が撮像した撮像画像に対して、画像解析を行うことによって看板領域を特定するように構成されてもよい。限定ではなく一例として、撮像画像内の均一に白色になっている領域を看板領域として検出することとしてよいし、看板に設けられている二次元バーコードを検出することで看板領域を検出してもよい。
 これにより、端末20は、動画広告を再生すべき看板領域を正確に検出することができ、看板領域に動画広告を再生することができる。
 また、端末20は、看板領域の大きさに応じて動画広告を再生したり、動画広告に関する静止画を表示するようにしてもよい。
 これにより、看板領域が所定の大きさを有する場合には、ユーザは十分に動画広告の内容を認識できることから動画広告を再生し、十分な大きさを有していない場合には、動画広告を再生したとしても、その内容を認識できない可能性があることから、静止画の表示にとどめることで、端末20の処理負荷を軽減することができる。また、静止画を表示することで、そこに近づくことで、何らかの動画広告を視聴することができることをユーザに認識させることができる。
 また、端末20は、端末20を装着するユーザの視線を検出する機能(ユーザの眼に関する情報を取得する機能)を備えてよく、検出した視線の方向に応じた動画広告の再生を行うように構成してもよい。
 これにより、端末20は、ユーザが看板領域を視認しているかどうかによって動画広告の再生を決定することができ、ユーザが視認しない動画広告の再生を抑制することができる。
 また、端末20は、ユーザの移動に伴って、看板領域の大きさが変化した場合に、たとえば、それまでの看板領域の大きさが動画広告を再生するために十分な大きさを有していなかったものの、ユーザが移動して看板領域に近づいたことによって、動画広告の再生を開始することができる。また、端末20は、ユーザの表示領域に対する拡大縮小操作を受け付けて、動画広告の再生を開始したり、中止したりすることができる。
 これにより、端末20が表示している表示領域内に含まれる看板領域の大きさの変化、例えば、端末20を装着していることに伴った看板領域の大きさの変化や、ユーザ自身の操作による表示領域における拡大(ズームイン)や縮小(ズームアウト)処理による看板領域の大きさの変化や、看板領域の表示領域からのフェードアウト・フェードインによって、動画広告の再生制御を変化、例えば、動画広告の再生を開始したり、中止したり、あるいは、それまで再生していた動画広告とは別の動画広告を再生したりすることができ、動画広告の再生において、端末20の動画広告の再生上の多様性を向上させることができるとともに、ユーザビリティも向上させることができる。
 また、端末20の表示部24は、透過型のディスプレイであってもよく、一例として、車両のフロントガラスに画像を表示可能なヘッドアップディスプレイなどであってもよい。そして、端末20は、ユーザのヘッドアップディスプレイに対する位置によって、ユーザが視認している看板領域が存在するであろうヘッドアップディスプレイ上の位置を特定し、特定した表示領域に動画広告を再生する。
 これにより、透過型のディスプレイを用いても、ユーザが認識している看板領域があると推定される位置に、正確に動画広告を再生することができる。
 また、端末20は、ユーザが視認している看板領域に重畳する位置に動画広告を再生する。また、端末20は、カメラ234が撮像した撮像画像中の看板領域が検出された位置に、動画広告を重畳して再生する。
 これにより、もとから、動画広告を再生することを目的として設けられている看板領域に動画広告を重畳して再生することで、ユーザは、周囲との違和感なく動画広告を視聴することができる。また、カメラ234で撮像した撮像画像に対して、動画広告を合成することでより確実に違和感なく動画広告をユーザに対して提供することができる。
 また、端末20は、端末20の移動速度によって、動画広告の再生を制御する。具体的には、限定ではなく一例として、端末20の移動速度が所定の速度以上であれば、再生時間の短い動画広告を再生し、所定の速度未満であれば、それよりも再生時間の長い動画広告を再生する。
 これにより、端末20の移動速度によって、ユーザが動画広告の全容を認識できない可能性を低減することができる。
 また、端末20は、ユーザが搭乗可能な乗り物に乗っている場合に、ユーザが興味を持った動画広告に関連する場所まで、この乗り物によって、移動する制御を行ってもよい。
 これにより、端末20は、ユーザが興味を持った動画広告に関連する場所、例えば、動画広告が商品販売に関する広告であった場合には、その販売店に案内することができ、ユーザに対してタイムリーなサービスを提供することができる。また、動画広告を配信する広告主としては、一般ユーザによる購買の機会を多くすることができる。
 1 通信システム
  10 サーバ
   11 制御部
    111 看板特定部
    112 動画広告特定部
   12 入出力部
   13 表示部
   14 通信I/F(通信部)
  20 端末
   21 制御部
    211 画像解析部
    212 動画広告取得部
    213 動画広告再生部
   22 通信I/F
   23 入出力部
    231 コントローラ
    232 マイク
    233 スピーカ
    234 カメラ
   24 表示部(ディスプレイ)
   25 位置情報取得部
   28 記憶部
  30 ネットワーク

Claims (20)

  1.  動画広告を表示領域に表示する端末の表示方法であって、
     物体を前記端末の検出部によって検出することと、
     前記検出部によって検出された前記物体の大きさに関する情報を前記端末の取得部によって取得することと、
     前記物体の大きさに関する情報に基づいて、前記物体の位置に関する情報に基づく前記表示領域に前記動画広告を表示し、前記動画広告の再生の制御を行うこととを含む。
  2.  請求項1に記載の表示方法であって、
     前記物体の大きさに関する情報は、前記端末のユーザからの前記物体の視野角に関する情報である。
  3.  請求項1または請求項2に記載の表示方法であって、
     前記取得部は、前記検出部によって前記物体が撮像された画像を取得し、
     前記物体の第1部分の長さと、前記物体の前記第1部分とは異なる第2部分の長さとを前記画像に基づき前記取得部によって取得することと、
     前記第1部分の長さと前記第2部分の長さとに基づいて、前記動画広告の再生を実行する制御を行うこととを含む。
  4.  請求項3に記載の表示方法であって、
     前記第1方向の部分と前記第2部分の長さとの比に関する値に基づいて、前記動画広告の再生を実行する制御を行うことを含む。
  5. 請求項1から請求項4のいずれか一項に記載の表示方法であって、
     前記検出部は、前記物体に備えられた通信装置から送信される情報に基づき、前記物体を検出する。
  6.  請求項1から請求項5のいずれか一項に記載の表示方法であって、
     前記検出部は、前記端末の位置と方位とに関する情報に基づいて、前記物体を検出する。
  7.  請求項1から請求項6のいずれか一項に記載の表示方法であって、
     前記検出部は、前記物体を撮像することにより、前記物体を検出する。
  8.  請求項1から請求項7のいずれか一項に記載の表示方法であって、
     前記物体の大きさに関する情報が第1の大きさ情報の場合、前記物体の位置に基づく前記表示領域に前記動画広告を表示し、前記物体の大きさに関する情報が第2の大きさ情報の場合、前記動画広告の再生を実行することを含み、
     前記第2の大きさ情報は、前記第1の大きさ情報よりも前記物体の大きさが大きいこと示す情報である。
  9.  請求項1から請求項8のいずれか一項に記載の表示方法であって、
     前記端末のユーザの目に関する情報を取得することと、
     前記目に関する情報に基づき、前記動画広告の再生の制御を行うこととを含む。
  10.  請求項1から請求項9のいずれか一項に記載の表示方法であって、
     前記物体の大きさに関する情報の変化に基づいて、前記動画広告の制御を行うことを含む。
  11.  請求項10に記載の表示方法であって、
     前記物体の大きさに関する情報の変化に基づいて、前記動画広告を第1動画広告から第2動画広告に変更することを含む。
  12.  請求項1から請求項11のいずれか一項に記載の表示方法であって、
     前記表示領域は、前記物体からの光を透過し、前記端末のユーザに前記表示領域を介して前記物体を視認可能とし、
     前記物体の位置に関する情報は、前記端末のユーザが、前記表示領域上で前記物体を視認する位置に関する情報であり、
     前記動画広告は、前記端末のユーザが、前記表示領域上で前記物体を視認する位置に関する情報に基づき、前記表示領域に表示される。
  13.  請求項12に記載の表示方法であって、
     前記動画広告は、前記端末のユーザが、前記表示領域上で前記物体を視認する位置に重畳させて前記表示領域に表示される。
  14.  請求項1から請求項11のいずれか一項に記載の表示方法であって、
     前記検出部は、撮像部を含み、
     前記表示領域は、前記撮像部によって撮像された物体と、前記動画広告とを表示する。
  15.  請求項1から請求項14のいずれか一項に記載の表示方法であって、
     前記端末の速度に関する情報を取得することと、
     前記端末の速度に関する情報に基づく、前記動画広告を前記表示領域に表示することとを含む。
  16.  請求項15に記載の表示方法であって、
     前記端末の速度に関する情報が第1情報の場合、第1動画広告を前記表示領域に表示し、前記端末の速度に関する情報が前記第1情報よりも速度に関する情報が早いことを示す第2情報の場合、前記第1動画広告よりも再生時間が短い第2動画広告を前記表示領域に表示する。
  17.  請求項1から請求項16のいずれか一項に記載の表示方法であって、
     前記表示領域に表示された前記動画広告に対する前記端末のユーザによる入力に基づいて、乗り物に備えられる電子機器に対して、前記乗り物を制御する情報を前記端末の通信部によって送信することを含む。
  18.  請求項17に記載の表示方法であって、
     前記乗り物を制御する情報は、前記表示領域に表示された前記動画広告に関連した位置へ前記乗り物により移動することに関する情報である。
  19.  動画広告を表示領域に表示する端末のコンピュータによって実行させるプログラムであって、
     物体を前記端末の検出部によって検出することと、
     前記検出部によって検出された前記物体の大きさに関する情報を前記端末の取得部によって取得することと、
     前記物体の大きさに関する情報に基づいて、前記物体の位置に関する情報に基づく前記表示領域に前記動画広告を表示し、前記動画広告の再生を実行する制御を行うこととを含む。
  20.  動画広告を表示領域に表示する端末であって、
     物体を検出する検出部と、
     前記検出部によって検出された前記物体の大きさに関する情報を取得する取得部と、
     前記物体の大きさに関する情報に基づいて、前記物体の位置に関する情報に基づく前記表示領域に前記動画広告を表示し、前記動画広告の再生を実行する制御を行う制御部とを備える。
PCT/JP2019/050167 2018-12-28 2019-12-20 端末の表示方法、端末、端末のプログラム WO2020137906A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-248655 2018-12-28
JP2018248655A JP2020109548A (ja) 2018-12-28 2018-12-28 端末の表示方法、端末、端末のプログラム

Publications (1)

Publication Number Publication Date
WO2020137906A1 true WO2020137906A1 (ja) 2020-07-02

Family

ID=71125927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050167 WO2020137906A1 (ja) 2018-12-28 2019-12-20 端末の表示方法、端末、端末のプログラム

Country Status (2)

Country Link
JP (1) JP2020109548A (ja)
WO (1) WO2020137906A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565888A (zh) * 2020-11-30 2021-03-26 成都新潮传媒集团有限公司 一种监播拍照方法、装置及计算机设备
CN112672204A (zh) * 2020-12-23 2021-04-16 海信视像科技股份有限公司 一种播放广告的方法及装置
CN112819536A (zh) * 2021-02-01 2021-05-18 北京奇艺世纪科技有限公司 效果广告展示方法、装置、计算机设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7316982B2 (ja) * 2020-08-12 2023-07-28 ソフトバンク株式会社 顔認証サーバ及び情報処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070205963A1 (en) * 2006-03-03 2007-09-06 Piccionelli Gregory A Heads-up billboard
JP2013101698A (ja) * 2013-02-25 2013-05-23 Casio Comput Co Ltd 画像撮像装置及びプログラム
JP2015037242A (ja) * 2013-08-13 2015-02-23 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
US20150348112A1 (en) * 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles
US20180047056A1 (en) * 2016-08-09 2018-02-15 Lg Electronics Inc. Display device and controlling method thereof
JP2018092656A (ja) * 2018-02-22 2018-06-14 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070205963A1 (en) * 2006-03-03 2007-09-06 Piccionelli Gregory A Heads-up billboard
JP2013101698A (ja) * 2013-02-25 2013-05-23 Casio Comput Co Ltd 画像撮像装置及びプログラム
JP2015037242A (ja) * 2013-08-13 2015-02-23 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
US20150348112A1 (en) * 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles
US20180047056A1 (en) * 2016-08-09 2018-02-15 Lg Electronics Inc. Display device and controlling method thereof
JP2018092656A (ja) * 2018-02-22 2018-06-14 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565888A (zh) * 2020-11-30 2021-03-26 成都新潮传媒集团有限公司 一种监播拍照方法、装置及计算机设备
CN112565888B (zh) * 2020-11-30 2022-06-24 成都新潮传媒集团有限公司 一种监播拍照方法、装置、计算机设备及存储介质
CN112672204A (zh) * 2020-12-23 2021-04-16 海信视像科技股份有限公司 一种播放广告的方法及装置
CN112672204B (zh) * 2020-12-23 2023-03-24 海信视像科技股份有限公司 一种播放广告的方法及装置
CN112819536A (zh) * 2021-02-01 2021-05-18 北京奇艺世纪科技有限公司 效果广告展示方法、装置、计算机设备和存储介质
CN112819536B (zh) * 2021-02-01 2023-09-01 北京奇艺世纪科技有限公司 效果广告展示方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP2020109548A (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
WO2020137906A1 (ja) 端末の表示方法、端末、端末のプログラム
US10948982B2 (en) Methods and systems for integrating virtual content into an immersive virtual reality world based on real-world scenery
US10547798B2 (en) Apparatus and method for superimposing a virtual object on a lens
US20200366816A1 (en) System and methods involving edge camera assemblies in handheld devices
US10127724B2 (en) System and method for providing augmented reality on mobile devices
JP6301962B2 (ja) 複合現実フィルタリング
CN105684011B (zh) 自适应嵌入视觉广告内容到媒体内容中
US20190132521A1 (en) Method of displaying wide-angle image, image display system, and information processing apparatus
US20090289955A1 (en) Reality overlay device
US20140267599A1 (en) User interaction with a holographic poster via a secondary mobile device
US11842384B2 (en) Digital model optimization responsive to orientation sensor data
US20180342105A1 (en) Augmented reality-based information acquiring method and apparatus
JP2016533565A (ja) 仮想オブジェクトの方向付け及び可視化
US20150015609A1 (en) Method of augmented reality communication and information
US20230351711A1 (en) Augmented Reality Platform Systems, Methods, and Apparatus
CN109996060B (zh) 一种虚拟现实影院系统及信息处理方法
US20180350103A1 (en) Methods, devices, and systems for determining field of view and producing augmented reality
KR101413794B1 (ko) 증강 현실을 이용한 에듀테인먼트 컨텐츠 이동 단말기 및 그 제어방법
JP2022507502A (ja) 拡張現実(ar)のインプリント方法とシステム
JP6345381B2 (ja) 拡張現実システム
JP6359704B2 (ja) イベントに関連付けられる情報を人に供給するための方法
JP2005173042A (ja) 携帯型情報装置及びその広告表示方法
JP7063264B2 (ja) 情報処理システム、記録媒体、情報処理方法、およびプログラム
JP6804968B2 (ja) 情報配信装置、情報配信方法および情報配信プログラム
US20090036141A1 (en) Mobile advertisement selection method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19905952

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19905952

Country of ref document: EP

Kind code of ref document: A1