WO2018061066A1 - 情報提示システム - Google Patents

情報提示システム Download PDF

Info

Publication number
WO2018061066A1
WO2018061066A1 PCT/JP2016/078327 JP2016078327W WO2018061066A1 WO 2018061066 A1 WO2018061066 A1 WO 2018061066A1 JP 2016078327 W JP2016078327 W JP 2016078327W WO 2018061066 A1 WO2018061066 A1 WO 2018061066A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
advertisement
line
unit
sight
Prior art date
Application number
PCT/JP2016/078327
Other languages
English (en)
French (fr)
Inventor
喜久 山口
裕喜 小中
和代 吉村
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2017508574A priority Critical patent/JP6143986B1/ja
Priority to PCT/JP2016/078327 priority patent/WO2018061066A1/ja
Priority to DE112016007273.2T priority patent/DE112016007273T5/de
Priority to US16/323,034 priority patent/US20190205937A1/en
Publication of WO2018061066A1 publication Critical patent/WO2018061066A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0265—Vehicular advertisement
    • G06Q30/0266—Vehicular advertisement based on the position of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00—Advertising or display means not otherwise provided for
    • G09F19/12—Advertising or display means not otherwise provided for using special optical effects
    • G09F19/14—Advertising or display means not otherwise provided for using special optical effects displaying different signs depending upon the view-point of the observer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F21/00—Mobile visual advertising
    • G09F21/04—Mobile visual advertising by land vehicles
    • G09F21/049—Mobile visual advertising by land vehicles giving information to passengers inside the vehicles

Definitions

  • the present invention relates to an information presentation system, and more particularly to an information presentation system that presents information related to an advertisement visually recognized by a vehicle occupant.
  • an information presentation system As an information presentation system mounted on a vehicle, an information presentation system has been developed that has a function of presenting information on an object that a passenger is paying attention by detecting the line of sight of the passenger.
  • a technique for calculating the intersection position of a person's line of sight and the windshield and displaying information on an object existing ahead of the line of sight at the intersection position of the windshield according to a user operation is disclosed.
  • Patent Document 2 an advertisement existing ahead of the passenger's line of sight is detected, and an advertisement adapted to the passenger's preference based on the biological information of the passenger when viewing the advertisement is presented in sound and image. Techniques to do this are disclosed.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide an information presentation system that can shorten the processing time from analysis processing of a user's line of sight to presentation of information.
  • An information presentation system is an information presentation system that presents provided information related to an advertisement outside the vehicle that is visually recognized by a passenger of the vehicle.
  • the information presentation system is provided outside the vehicle and the vehicle.
  • the vehicle transmits / receives data to / from a server via a network, and the vehicle includes an outside video input unit to which an outside image is input, an in-vehicle image input unit to which the inside image is input, a vehicle state, A data processing delegation unit for creating a load distribution plan for allocating data processing to the vehicle and the server based on a state and a network state; and the passenger's line of sight based on the in-vehicle image acquired from the in-vehicle image input unit The occupant visually recognizes the sight line based on the first sight line detection unit for detecting the sight line, the sight line of the occupant, and the outside image acquired from the outside image input unit.
  • a first advertisement detection unit that identifies the advertisement; a database in which an appearance pattern of the advertisement and the provision information of the advertisement are stored; and an information output unit that outputs the provision information stored in the database.
  • the server includes a second line-of-sight detection unit that detects the line of sight of the occupant based on the vehicle interior image acquired from the vehicle interior image input unit, the line of sight of the passenger, and the vehicle exterior image input unit.
  • a second advertisement detection unit that identifies the advertisement viewed by the passenger based on the outside image acquired from the vehicle, wherein the first and second advertisement detection units include the outside image and the outside image. Matching with the appearance pattern of the advertisement stored in the database is performed to identify the advertisement visually recognized by the passenger.
  • the information presentation system of the present invention since data processing is executed by distributing the load between the vehicle and the server based on the state of the vehicle, the state of the server, and the state of the network, the detection of the sight line of the passenger It is possible to shorten the processing time until presentation of provision information relating to advertisements outside the vehicle.
  • the term passenger used in the following description includes not only the driver of the vehicle, but also passengers in the front passenger seat and the rear seat, and also includes passengers in vehicles with a large number of passengers such as buses.
  • FIG. 1 is a block diagram showing a configuration of an information presentation system 100 according to the first embodiment of the present invention.
  • the information presentation system 100 includes, as a configuration on the vehicle VC side, an outside video input unit 101, an in-vehicle video input unit 102, a data processing delegation unit 103, a gaze detection unit 1041 (first gaze detection unit), An advertisement detection unit 1051 (first advertisement detection unit), an advertisement database (DB) 106, and an information output unit 107 are included.
  • the configuration on the external server SV side includes a line-of-sight detection unit 1042 (second line-of-sight detection unit) and an advertisement detection unit 1052 (second advertisement detection unit).
  • the server SV is, for example, an infrastructure server outside the vehicle such as a VICS (registered trademark: vehicle information and communication system) center.
  • the configuration on the vehicle VC side and the configuration on the server SV side are information (via a network NW such as the Internet ( Data).
  • the outside video input unit 101 acquires a video around the vehicle VC (a video outside the vehicle) on which the passenger gets and a parameter of the video outside the vehicle, and outputs the parameters to the advertisement detection units 1051 and 1052.
  • the parameters of the outside video include at least information on the shooting position and the shooting direction of the outside video.
  • information regarding the camera, the lens, and the image such as the number of pixels of the image, the angle of view, the focal length of the lens, the aperture value (F value) of the lens, and the distortion information of the image may be included.
  • Video parameters should be set in advance by the system developer when the video range is fixed. However, if the video parameters can be changed dynamically, such as the camera direction and zoom, the values at the time of video shooting should be obtained. You can do it.
  • Cameras mounted on the vehicle can shoot other than the front, such as a camera using a wide-angle lens that can shoot the front and side of the vehicle at the same time and a fish-eye lens that can shoot the entire periphery of the vehicle at once. May be used. Also, if it is difficult for the occupant to visually see the front of the vehicle, such as a sightseeing bus with a long vehicle body or a vehicle where the front and rear parts of the vehicle are separated, the camera should be photographed to the side. May be installed.
  • a configuration may be adopted in which the images from a plurality of cameras are combined into a single image. For example, it is possible to install a camera facing 45 degrees diagonally right front and 45 degrees diagonally left front and combine the acquired video to input a wider range of video than shooting with a single camera. good.
  • CG computer graphics
  • the in-vehicle image input unit 102 acquires an image (in-vehicle image) inside the vehicle VC on which the passenger gets and a parameter of the in-vehicle image, and outputs them to the line-of-sight detection units 1041 and 1042.
  • it has a camera mounted on the vehicle VC and captures the face of the occupant, and acquires images in the vehicle in real time when the information presentation system 100 is in operation.
  • the parameters of the in-vehicle video include at least information on the shooting position and shooting direction of the in-vehicle video.
  • Video parameters should be set in advance by the system developer when the video range is fixed. However, if the video parameters can be changed dynamically, such as the camera direction and zoom, the values at the time of video shooting should be obtained. You can do it.
  • the in-vehicle camera may be a camera using a fish-eye lens that can photograph all passengers at once. Further, a configuration may be adopted in which videos from a plurality of cameras are combined into one video. Moreover, it is good also as a structure which inputs other than the video image
  • CG computer graphics
  • CG computer graphics
  • the data processing delegation unit 103 makes a plan to distribute the line-of-sight detection processing and advertisement detection processing between the vehicle VC and the server SV based on the state of the vehicle VC, the server SV, and the network NW (communication).
  • the execution allocation of the line-of-sight detection process and the advertisement detection process is referred to as a load distribution plan, and the load distribution plan is output to the line-of-sight detection units 1041 and 1042 and the advertisement detection units 1051 and 1052.
  • the line-of-sight detection units 1041 and 1042 detect the passenger's line of sight using the parameters of the in-vehicle image and the in-vehicle image acquired by the in-vehicle image input unit 102, and output the detected information to the advertisement detection units 1051 and 1052, respectively.
  • the line-of-sight detection unit 1041 executes line-of-sight detection processing in the vehicle VC
  • the line-of-sight detection unit 1042 executes line-of-sight detection processing in a server SV outside the vehicle VC.
  • Japanese Patent Application Laid-Open No. 7-156712 discloses that the position of a pupil is infrared imaged by irradiating the passenger's face with infrared light and photographing the passenger's face using an infrared camera and a visible camera. And a technique for specifying the positions of the eyes and the corners of the eyes using a visible image is disclosed. Japanese Laid-Open Patent Publication No.
  • 4-225478 discloses a technique for detecting the line of sight by extracting the iris of the eye by edge detection.
  • any known method can be adopted for the detection of the line of sight.
  • the acquired line-of-sight information only needs to include at least information about the position of the line of sight and the direction of the line of sight. It also obtains information about the passenger's eyes, such as the position of the passenger's head or eyes, the orientation of the face or black eye, the number of blinks, whether the passenger has glasses or contact lenses, and includes them Also good.
  • the advertisement detection units 1051 and 1052 use the parameters of the outside video and the outside video acquired by the outside video input unit 101 and the gaze information of the passenger acquired by the gaze detection units 1041 and 1042, respectively. Identify the advertisement (viewing target) that is being viewed.
  • the advertisement detection unit 1051 executes advertisement detection processing in the vehicle VC, and the advertisement detection unit 1052 executes advertisement detection processing in the server SV.
  • advertisement detection process detailed information regarding the visual recognition target is read from the advertisement database (DB) 106 and presented in a manner that can be recognized by the passenger via the information output unit 107.
  • DB advertisement database
  • the processing circuit 10 includes a data processing delegation unit 103 that plans to distribute the line-of-sight detection processing and the advertisement detection processing between the vehicle VC and the server SV based on the state of the vehicle VC, the server SV, and the network NW,
  • a gaze detection unit 1041 that detects a passenger's gaze using the in-vehicle video and in-vehicle video parameters acquired by the video input unit 102, the out-of-vehicle video and out-of-vehicle video parameters acquired by the out-of-vehicle video input unit 101, and the gaze
  • An advertisement detection unit 1051 that detects information related to the advertisement visually recognized by the passenger using the passenger's line-of-sight information acquired by the detection unit 1041 is provided.
  • Dedicated hardware may be applied to the processing circuit 10, or a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) that executes a program stored in the memory may be applied.
  • a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) that executes a program stored in the memory may be applied.
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the processing circuit 10 When the processing circuit 10 is dedicated hardware, the processing circuit 10 corresponds to, for example, a single circuit, a composite circuit, a programmed processor, a processor programmed in parallel, an ASIC, an FPGA, or a combination thereof. To do.
  • FIG. 3 shows a hardware configuration when each configuration (data processing delegation unit 103, line-of-sight detection unit 1041 and advertisement detection unit 1051) on the vehicle VC side of the information presentation system 100 is configured using a processor. Show. In this case, the function of each component on the vehicle VC side of the information presentation system 100 is realized by a combination of software and the like (software, firmware, or software and firmware). Software or the like is described as a program and stored in the memory 12. The processor 11 functioning as the processing circuit 10 implements the functions of the respective units by reading and executing the program stored in the memory 12.
  • the memory 12 is a nonvolatile memory such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read Only Memory), or the like.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • EPROM Erasable Programmable Read Only Memory
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • HDD Hard Disk
  • a magnetic disk a flexible disk, an optical disk, a compact disk, a mini disk, DVD (Digital * Versatile * Disc), its drive apparatus, etc.
  • each component (the line-of-sight detection unit 1042 and the advertisement detection unit 1052) on the server SV side of the information presentation system 100 illustrated in FIG. 1 is realized by a processing circuit similar to the processing circuit 10 illustrated in FIG. In this case, dedicated hardware may be applied, or a processor that executes a program stored in the memory may be applied.
  • each configuration (the line-of-sight detection unit 1042 and the advertisement detection unit 1052) on the server SV side of the information presentation system 100 is configured using a processor, the processor 11 and the memory 12 illustrated in FIG. A similar hardware configuration can be applied.
  • the data processing delegation unit 103 acquires the status of the vehicle VC, the server SV, and the network NW (communication) (step S1).
  • the state of the vehicle VC acquired by the data processing delegation unit 103 includes the upper limit of the processing capacity of the CPU in the vehicle VC, the processing capacity of the CPU having a sufficient processing capacity in the current vehicle VC, and a vehicle that can be used in the delegation process.
  • Upper limit of storage capacity of memory in VC storage capacity of memory having sufficient storage capacity in current vehicle VC, presence / absence of process and program in vehicle VC operating in parallel with delegation process, CPU load Status and memory load status.
  • the data processing delegation unit 103 uses any one or a combination of these as the state of the vehicle VC.
  • the state of the server SV acquired by the data processing delegation unit 103 includes the upper limit of the CPU processing capacity of the server SV, the CPU processing capacity within the current server SV, and the server SV that can be used in the delegation process.
  • the upper limit of the amount of memory in the server the storage capacity of the memory having a sufficient storage capacity in the current server SV, the presence or absence of processing and programs in the server SV operating in parallel with the delegation processing, the load state of the CPU and the memory
  • the data processing delegation unit 103 uses any one or a combination of these as the state of the server SV.
  • the state of communication (network NW) acquired by the data processing delegation unit 103 includes the upper limit of the communication speed, the current and other processes, the communication amount used in the program and the current communication speed, the current vehicle VC and the server SV. And one-way or round-trip communication time.
  • the data processing delegation unit 103 uses any one or a combination of these as a communication state.
  • the data processing delegation unit 103 uses the state of the vehicle VC acquired in step S1 to calculate an assumed processing time when the line-of-sight detection process is executed in the vehicle VC (step S2).
  • the processing amount required for the delegation process is 500 [% seconds]
  • the processing capacity of the CPU in the currently usable vehicle VC acquired in step S1 is 100%
  • the CPU processing capacity means the usage rate of the CPU, and is generally expressed in MIPS (Million Instructions Per Per Second), but in the present application, it is expressed in units of “% seconds” for simplification.
  • 500 [% seconds] is a processing amount corresponding to 5 seconds of processing when the CPU usage rate is 100%.
  • the expression that the processing capacity of the CPU is 200% is used. This is based on the assumption that one CPU has two cores. The CPU has a processing capacity (usage rate) of 100%, and when two cores are fully operated, the CPU has a processing capacity (usage rate) of 200%.
  • the data processing delegation unit 103 calculates an assumed processing time when the line-of-sight detection process is executed by the server SV using the state of communication with the server SV acquired at step S1 (step S3).
  • the processing amount required for the line-of-sight detection process is 500 [% seconds]
  • the processing capacity of the CPU in the currently usable server SV acquired in step S1 is 200%
  • the round-trip communication time between the vehicle VC acquired in step S1 and the server SV is 2 [seconds]
  • it will take 2.5 + 2 4.5 [seconds] until the process is completed.
  • the data processing delegation unit 103 calculates an assumed processing time when the advertisement detection process is executed in the vehicle VC using the state of the vehicle VC acquired in step S1 (step S4).
  • the processing amount necessary for the advertisement detection process is 1000 [% seconds]
  • the processing capability of the CPU in the currently usable vehicle VC acquired in step S1 is 100%
  • the data processing delegation unit 103 calculates an estimated processing time when the advertisement detection process is executed by the server SV using the state of communication with the server SV acquired in step S1 (step S5).
  • the processing amount necessary for the advertisement detection process is 1000 [% seconds]
  • the processing capability of the CPU in the currently usable server SV acquired in step S1 is 200%
  • the round-trip communication time between the vehicle VC acquired in step S1 and the server SV is 2 [seconds]
  • it will take 5 + 2 7 [seconds] until the process is completed.
  • the data processing delegation unit 103 compares the total estimated processing time in the vehicle VC calculated in steps S2 and S4 with the total estimated processing time in the server SV calculated in steps S3 and S5. (Step S6). As a result, if the processing time in the vehicle VC is equal to or less than the processing time in the server SV, the process proceeds to step S7. If the processing time in the vehicle VC exceeds the processing time in the server SV, the step is performed. The process proceeds to S8.
  • the data processing delegation unit 103 makes a load distribution plan for executing the line-of-sight detection processing and the advertisement detection processing in the vehicle VC. Determine (step S7).
  • the line-of-sight detection process is executed by the line-of-sight detection unit 1041
  • the advertisement detection process is executed by the advertisement detection unit 1051.
  • the data processing delegation unit 103 determines a load distribution plan for executing the line-of-sight detection processing and the advertisement detection processing in the server SV. (Step S8).
  • the line-of-sight detection process is executed by the line-of-sight detection unit 1042, and the advertisement detection process is executed by the advertisement detection unit 1052.
  • the data processing delegation unit 103 ends the series of delegation processes after making the determination in step S7 or step S8, and waits until the next delegation process is started.
  • the data processing delegation unit 103 is configured to repeat the delegation process periodically while the information presentation system 100 is in operation, and the start timing thereof is, for example, the outside video input unit 101 and the in-vehicle video input unit. It is only necessary to match the timing at which the video and video parameters are acquired in 102.
  • the data processing delegation unit 103 determines the load distribution plan based on the state of the vehicle VC, the server SV, and the network NW (communication) has been described, but it is not necessary to consider all three states. good. For example, if there is no problem in the state of the network NW, that is, if the communication time is shorter than a predetermined time, for example, 10 msec, the state of the network NW may not be considered.
  • the line-of-sight detection unit 1041 first acquires a load distribution plan from the data processing delegation unit 103, and determines whether or not the line-of-sight detection process is assigned to the line-of-sight detection unit 1041 in the acquired load distribution plan (step S11). . As a result, when the line-of-sight detection process is assigned, the process proceeds to step S12. When the line-of-sight detection process is not assigned, the process after step S12 is not executed and the process ends. This means that only one of the line-of-sight detection units 1041 and 1042 to which the line-of-sight detection process is assigned in the load distribution plan executes the line-of-sight detection process.
  • step S12 the line-of-sight detection unit 1041 acquires the in-vehicle image and the parameters of the in-vehicle image from the in-vehicle image input unit 102.
  • the line-of-sight detection unit 1041 detects the eyes of the passenger in the in-vehicle image (step S13).
  • various known detection methods such as a method of searching for the outline of the eyes by edge extraction and extracting a rectangular region including the eyes can be used.
  • the line-of-sight detection unit 1041 detects the eyes and iris from the image including the eyes detected in step S13 (step S14).
  • various known methods such as a method of detecting the eye and iris by edge extraction can be used.
  • the line-of-sight detection unit 1041 determines the line of sight of the passenger from the positional relationship between the eyes and iris detected in step S14 (step S15). For this, various known methods can be used, such as looking at the left side when the iris of the left eye is far from the eye, and looking at the right side when the iris of the left eye is close. Based on this line of sight, at least the position of the line of sight and the direction of the line of sight are acquired and used as line-of-sight information. After the line of sight is determined, a series of line-of-sight detection processing is terminated, and the process waits until the line-of-sight detection processing is started next.
  • the advertisement detection unit 1051 acquires a load distribution plan from the data processing delegation unit 103, and determines whether or not the advertisement detection process is assigned to the advertisement detection unit 1051 in the acquired load distribution plan (step S21). . As a result, when the advertisement detection process is assigned, the process proceeds to step S22. When the advertisement detection process is not assigned, the process after step S22 is not executed, and the process ends. This means that only one of the advertisement detection units 1051 and 1052 to which the advertisement detection process is assigned in the load distribution plan executes the advertisement detection process.
  • step S22 the advertisement detection unit 1051 acquires the vehicle outside video and the parameters of the vehicle outside video from the vehicle outside video input unit 101.
  • the advertisement detection unit 1051 acquires the passenger's line-of-sight information from the line-of-sight detection unit 1041 (step S23).
  • the advertisement detection unit 1051 extracts a region on the image outside the vehicle that the passenger is viewing based on the starting position of the line of sight included in the acquired line of sight information and the direction of the line of sight (step S24).
  • this area is referred to as a visual recognition area.
  • the advertisement detection unit 1051 calculates a matching rate between the viewing area extracted in step S24 and the appearance pattern of the advertisement (step S25).
  • the advertisement appearance pattern image is stored, for example, in the advertisement DB 106 for each advertisement.
  • the image recognition recognizes the advertisement in the viewing area and the advertisement appearance pattern image, and calculates the matching rate between them.
  • the matching rate is calculated for each advertisement stored in the advertisement DB 106.
  • various methods such as edge extraction and feature point extraction exist as image recognition, but any known method can be employed in the present invention.
  • the advertisement detection unit 1051 determines whether or not the highest matching rate among the matching rates calculated in step S25 is equal to or higher than a predetermined threshold (step S26). As a result, if it is equal to or greater than the threshold value, the process proceeds to step S27, and if it is less than the threshold value, the process is terminated as an advertisement was not detected, and subsequent processes such as the process for the information output unit 107 are not performed.
  • the threshold value here may be set by the manufacturer of the information presentation system 100 or may be set by the user.
  • step S27 the advertisement having the appearance pattern having the highest matching rate is specified as the advertisement (viewing target) that the passenger is viewing.
  • the advertisement is specified, a series of advertisement detection processes are terminated, and the process waits until the advertisement detection process is started next.
  • the advertisement DB 106 stores detailed information about the advertisement as well as an image of the appearance pattern of the advertisement, and stores at least the name and provision information of the advertisement.
  • the advertisement DB 106 may be constructed in a memory or the like mounted on the vehicle VC, or a database constructed in the server SV may be used. Further, it may be updated with new information at any time in cooperation with the server SV.
  • the advertisement DB 106 stores advertisement types, advertisement names, how to read advertisements, business hours, provision information, appearance patterns, and the like.
  • the type of advertisement includes a sign indicating construction in progress.
  • the appearance pattern has shown the example stored by the bitmap, it is not limited to this.
  • the provided information includes information such as a discount rate, price, and under construction, and may be determined in advance by the system developer.
  • the provided information may be updated every day, or when referring to the advertisement DB 106, the advertisement is sent via the network NW.
  • the latest information may be obtained from the provider.
  • the advertisement DB 106 may not be created as a clear database, and may be configured to store the contents hit on the Internet search site as they are or as a summary.
  • advertisement search patterns such as store signs, trademarks, and logo marks are also displayed on Internet search sites, so store them as appearance patterns and store catchphrases as provided information or summarized.
  • a simple database can be created.
  • the information output unit 107 reads out and outputs detailed information regarding the advertisement with reference to the advertisement DB 106 for the advertisement specified by the advertisement detection unit 1051 (1502).
  • provided information such as “radish 10% OFF”, “ ⁇ set meal 500 yen”, “under construction sign” is acquired from the advertisement DB 106, and the display and speaker that constitute the information output unit 107 are used.
  • the information output unit 107 may include a display and a speaker, but may output images and sounds using the display and speaker of a car navigation device mounted on the vehicle VC.
  • the destination where the information output unit 107 presents information may not be a passenger who has visually recognized the advertisement.
  • the line-of-sight detection unit 1041 or 1042 acquires the driver's line of sight, and the information output unit 107 is connected to displays and speakers in the front passenger seat and rear seat, and presents information to passengers in the front passenger seat and rear seat. It does not matter if it is configured.
  • the information presented by the information output unit 107 may be information other than the information provided in the advertisement DB 106. For example, it is possible to present both business hours and provided information.
  • the information output unit 107 may be a system in which information is presented to a server, a smartphone, or another vehicle. For example, advertisement providing information viewed by the passenger may be transmitted to a program on the server. As this program, a program for constructing a database on which advertisements the passengers are interested in can be considered.
  • the provided information may be presented to passengers of other vehicles via the network NW. This makes it possible to share information with passengers in other vehicles.
  • data processing can be executed by distributing the load between the vehicle VC and the server SV. For example, processing that takes time in the vehicle VC, such as image recognition processing, is performed. By executing using the processing capability of the server SV, the time can be shortened.
  • the total processing time can be shortened by making a load distribution plan according to the state of the vehicle VC, the server SV, and the network NW (communication).
  • the load distribution is performed by an alternative method in which the line-of-sight detection process and the advertisement detection process are executed on the vehicle VC side or on the server SV side.
  • the load distribution may be performed by dividing the detection process and the advertisement detection process by the vehicle VC and the server SV.
  • FIG. 8 is a block diagram showing the configuration of the information presentation system 200 according to the second embodiment of the present invention.
  • symbol is attached
  • the line-of-sight information detected by the line-of-sight detection unit 1041 on the vehicle VC side is also output to the advertisement detection unit 1052 on the server SV side and detected by the line-of-sight detection unit 1042 on the server SV side.
  • the line-of-sight information is also output to the advertisement detection unit 1052 on the vehicle VC side.
  • the data processing delegation unit 103 causes the line-of-sight detection process to be executed on the vehicle VC side and the advertisement detection process to be executed on the server SV side based on the state of the vehicle VC, the server SV, and the network NW (communication), or the line-of-sight detection
  • a load distribution plan is made such that the process is executed on the server SV side and the advertisement detection process is executed on the vehicle VC side.
  • the data processing delegation unit 103 acquires the status of the vehicle VC, the server SV, and the network NW (communication) (step S31).
  • the state of the vehicle VC acquired by the data processing delegation unit 103 includes the upper limit of the processing capacity of the CPU in the vehicle VC, the processing capacity of the CPU having a sufficient processing capacity in the current vehicle VC, and a vehicle that can be used in the delegation process.
  • the state of the server SV acquired by the data processing delegation unit 103 includes the upper limit of the CPU processing capacity of the server SV, the CPU processing capacity within the current server SV, and the server SV that can be used in the delegation process.
  • the upper limit of the amount of memory in the server includes the storage capacity of the memory having a sufficient storage capacity in the current server SV, the processing in the server SV operating in parallel with the delegation processing, the presence or absence of a program, and the like.
  • the upper limit of the communication speed, the current communication speed, other processing, the communication amount currently used in the program, the current vehicle VC and the server SV One-way or round-trip communication time between.
  • the data processing delegation unit 103 calculates an estimated processing time when the line-of-sight detection process is executed in the vehicle VC using the state of the vehicle VC acquired in step S31 (step S32).
  • the processing amount required for the delegation process is 500 [% seconds]
  • the processing capacity of the CPU in the currently usable vehicle VC acquired in step S1 is 100%
  • the data processing delegation unit 103 calculates an estimated processing time when the line-of-sight detection process is executed by the server SV using the state of communication with the server SV acquired at step S31 (step S33).
  • the processing amount required for the line-of-sight detection process is 500 [% seconds]
  • the processing capacity of the CPU in the currently usable server SV acquired in step S1 is 200%
  • the round-trip communication time between the vehicle VC acquired in step S1 and the server SV is 2 [seconds]
  • it will take 2.5 + 2 4.5 [seconds] until the process is completed.
  • the data processing delegation unit 103 compares the estimated processing time in the vehicle VC calculated in step S32 with the estimated processing time in the server SV calculated in step S33 (step S34). As a result, if the line-of-sight detection processing time in the vehicle VC is equal to or less than the line-of-sight detection processing time in the server SV, the process proceeds to step S35, and the line-of-sight detection processing time in the vehicle VC is the line of sight in the server SV. If the detection processing time is exceeded, the process proceeds to step S36.
  • the data processing delegation unit 103 makes a load distribution plan that the line-of-sight detection process is executed in the vehicle VC when the line-of-sight detection processing time in the vehicle VC is equal to or shorter than the line-of-sight detection processing time in the server SV. Determine (step S35). As a result, the line-of-sight detection processing is executed by the line-of-sight detection unit 1041. On the other hand, when the line-of-sight detection processing time in the vehicle VC exceeds the line-of-sight detection processing time in the server SV, the data processing delegation unit 103 determines a load distribution plan for executing the line-of-sight detection process in the server SV. (Step S36). As a result, the line-of-sight detection processing is executed by the line-of-sight detection unit 1042.
  • the data processing delegation unit 103 calculates an assumed processing time when the advertisement detection process is executed in the vehicle VC using the state of the vehicle VC acquired in step S31 (step S37).
  • the processing amount necessary for the advertisement detection process is 1000 [% seconds]
  • the processing capability of the CPU in the currently usable vehicle VC acquired in step S31 is 100%
  • the data processing delegation unit 103 calculates an assumed processing time when the advertisement detection process is executed by the server SV using the state of communication with the server SV acquired at step S31 (step S38).
  • the processing amount necessary for the advertisement detection process is 1000 [% seconds]
  • the processing capability of the CPU in the currently usable server SV acquired in step S31 is 200%
  • the round-trip communication time between the vehicle VC and the server SV acquired in step S31 is 2 [seconds]
  • it will take 5 + 2 7 [seconds] until the process is completed.
  • the data processing delegation unit 103 compares the estimated processing time in the vehicle VC calculated in step S37 with the estimated processing time in the server SV calculated in step S38 (step S39). As a result, if the advertisement processing time in the vehicle VC is equal to or shorter than the advertisement processing time in the server SV, the process proceeds to step S40, and the advertisement processing time in the vehicle VC is reduced to the advertisement processing time in the server SV. When exceeding, it transfers to step S41.
  • the data processing delegation unit 103 determines a load distribution plan for executing the advertisement detection process in the vehicle VC when the advertisement processing time in the vehicle VC is equal to or shorter than the advertisement processing time in the server SV. (Step S40). Thereby, the advertisement detection process is executed by the advertisement detection unit 1051. On the other hand, when the advertisement processing time in the vehicle VC exceeds the advertisement processing time in the server SV, the data processing delegation unit 103 determines a load distribution plan for executing the advertisement detection process in the server SV ( Step S41). Accordingly, the advertisement detection process is executed by the advertisement detection unit 1052.
  • the data processing delegation unit 103 ends the series of delegation processing after making the determination in step S40 or step S41, and waits until the next delegation processing is started.
  • the line-of-sight detection process is executed on the vehicle VC side
  • the advertisement detection process is executed on the server SV side
  • the line-of-sight detection process is executed on the server SV side.
  • the estimated processing time of the advertisement detection process is calculated.
  • the assumed processing time may be calculated by reflecting the determination result of the line-of-sight detection processing.
  • step S36 if it is determined in step S36 that the line-of-sight detection process is executed by the server SV, the server SV processing capacity (CPU processing capacity, memory capacity, etc.) is used by executing the line-of-sight detection process. It is conceivable that the processing capability is lower than that at the stage of acquiring the state. If the advertisement detection process is assigned as it is, the server SV may be assigned to the server SV in step S41 through step S39, even though the processing capacity of the server SV is reduced. Therefore, in step S38, the estimated processing time is calculated based on the processing capability obtained by subtracting the processing capability required for executing the line-of-sight detection processing from the processing capability of the server SV acquired in step S31.
  • the server SV processing capacity CPU processing capacity, memory capacity, etc.
  • step S36 it is possible to calculate the estimated processing time that is more realistic, and it is possible to perform appropriate allocation. Note that the above measures can be similarly performed when it is determined in step S36 that the line-of-sight detection process is to be executed by the vehicle CV.
  • ⁇ Modification 2> In the information presentation system 200 and the first modification described above, it is determined whether to execute on the vehicle VC side or on the server SV side for each line-of-sight detection process and each advertisement detection process.
  • the execution destination may be determined for each processing unit in the advertisement detection process.
  • step S12 when each step of steps S12 to S15 in FIG. 5 showing the line-of-sight detection process and each step of steps S22 to S27 in FIG. 6 showing the advertisement detection process are defined as processing units, for example, the process of step S12 is the vehicle
  • the processing may be executed on the VC side, and the processing in step S13 may be executed on the server SV side.
  • steps S32 and S33 in the flowchart shown in FIG. 9 are processes for calculating the estimated processing time for each step of steps S12 to S15, and the processes of steps S34 to S36 are steps S12 to S15.
  • the processing is to determine whether to be executed by the vehicle VC or the server SV.
  • steps S37 and S38 in the flowchart shown in FIG. 9 are processes for calculating the estimated processing time for each step of steps S22 to S27, and the processes of steps S39 to S41 are steps S22 to S27.
  • the processing is to determine whether to be executed by the vehicle VC or the server SV.
  • the processing capacity of the vehicle VC and the processing capacity of the server SV can be handled more precisely.
  • FIG. 10 is a block diagram showing the configuration of the information presentation system 300 according to the third embodiment of the present invention.
  • symbol is attached
  • the information presentation system 300 when the data processing delegation unit 103 makes a load distribution plan, the information presentation system 300 includes a designated plan input unit 108 for setting a designated plan that preliminarily designates a process to be excluded from the load distribution plan. I have.
  • Information on the designated plan set by the designated plan input unit 108 is output to the data processing delegation unit 103.
  • the data processing delegation unit 103 makes a load distribution plan
  • the data processing delegation unit 103 includes the vehicle VC and the server SV.
  • NW communication
  • information on the designated plan output from the designated plan input unit 108 is also used.
  • the designated plan can be set by the system developer considering the processing efficiency.
  • the data processing delegation unit 103 acquires the states of the vehicle VC, the server SV, and the network NW (communication) (step S51).
  • the data processing delegation unit 103 calculates an estimated processing time when the line-of-sight detection process is executed in the vehicle VC using the state of the vehicle VC acquired in step S51 (step S52).
  • the data processing delegation unit 103 calculates an assumed processing time when the line-of-sight detection process is executed by the server SV using the state of communication with the server SV acquired at step S51 (step S53).
  • the data processing delegation unit 103 acquires information on the designated plan set by the designated plan input unit 108 (step S54).
  • the data processing delegation unit 103 determines whether or not the line-of-sight detection process is included in the information of the designated plan acquired in step S54. As a result, when the line-of-sight detection process is included, the process proceeds to step S56, and when the line-of-sight detection process is not included, the process proceeds to step S57.
  • FIG. 12 shows a case where the line-of-sight detection process is included in the designated plan, and the advertisement detection process is not included.
  • the processes of steps S12 to S15 are included as detailed processes.
  • the processes of steps S12 and S15 are designated to be executed by the vehicle VC, and the process of step S13 is performed.
  • Is specified to be executed by the server SV, and the processing of step S14 is arbitrary without specifying the execution location.
  • “arbitrary” means that it may be executed by either the vehicle VC or the server SV.
  • step S13 is executed by the server SV. If executed, step S14 may be executed by the server SV.
  • the data processing delegation unit 103 determines that the line-of-sight detection process is included in the information of the designated plan when the execution place includes at least one process designated by the vehicle VC or the server SV. If the vehicle VC and the server SV are not specified at all, for example, if the execution location is arbitrary for all the processes, it is determined that the line-of-sight detection process is not included in the information of the specified plan.
  • step S56 the data processing delegation unit 103 determines the execution location of the line-of-sight detection process in the vehicle CV or the server SV based on the information of the designated plan acquired in step S54.
  • the execution destination can be determined for each processing unit in the line-of-sight detection process according to the designated plan.
  • step S57 the data processing delegation unit 103 compares the estimated processing time in the vehicle VC calculated in step S52 with the estimated processing time in the server SV calculated in step S53. As a result, if the line-of-sight detection processing time in the vehicle VC is less than or equal to the line-of-sight detection processing time in the server SV, the process proceeds to step S58, and the line-of-sight detection processing time in the vehicle VC is the line of sight in the server SV. When the detection processing time is exceeded, the process proceeds to step S59.
  • the data processing delegation unit 103 makes a load distribution plan that the line-of-sight detection process is executed in the vehicle VC when the line-of-sight detection processing time in the vehicle VC is equal to or shorter than the line-of-sight detection processing time in the server SV. Determine (step S58). As a result, the line-of-sight detection processing is executed by the line-of-sight detection unit 1041. On the other hand, when the line-of-sight detection processing time in the vehicle VC exceeds the line-of-sight detection processing time in the server SV, the data processing delegation unit 103 determines a load distribution plan for executing the line-of-sight detection process in the server SV. (Step S59). As a result, the line-of-sight detection processing is executed by the line-of-sight detection unit 1042.
  • the data processing delegation unit 103 uses the state of the vehicle VC acquired in step S51 to calculate an assumed processing time when the advertisement detection process is executed in the vehicle VC (step S60).
  • the data processing delegation unit 103 calculates an assumed processing time when the advertisement detection process is executed by the server SV using the state of communication with the server SV acquired in step S51 (step S61).
  • the data processing delegation unit 103 determines whether or not the advertisement detection process is included in the information of the designated plan acquired in step S54. As a result, when the advertisement detection process is included, the process proceeds to step S63, and when the advertisement detection process is not included, the process proceeds to step S64. Note that the determination of whether or not the advertisement detection process is included in the designated plan information is the same as the determination of whether or not the line-of-sight detection process described in step S55 is included, and thus the description thereof is omitted.
  • step S63 the data processing delegation unit 103 determines the execution location of the advertisement detection process in the vehicle CV or the server SV based on the information of the designated plan acquired in step S54.
  • the execution destination can be determined for each processing unit in the advertisement detection process according to the designated plan.
  • step S64 the data processing delegation unit 103 compares the estimated processing time in the vehicle VC calculated in step S60 with the estimated processing time in the server SV calculated in step S61. As a result, if the advertisement processing time in the vehicle VC is equal to or shorter than the advertisement processing time in the server SV, the process proceeds to step S65, and the advertisement processing time in the vehicle VC is reduced to the advertisement processing time in the server SV. When it exceeds, it transfers to step S66.
  • the data processing delegation unit 103 determines a load distribution plan for executing the advertisement detection process in the vehicle VC when the advertisement processing time in the vehicle VC is equal to or shorter than the advertisement processing time in the server SV. (Step S65). Thereby, the advertisement detection process is executed by the advertisement detection unit 1051. On the other hand, when the advertisement processing time in the vehicle VC exceeds the advertisement processing time in the server SV, the data processing delegation unit 103 determines a load distribution plan for executing the advertisement detection process in the server SV ( Step S66). Accordingly, the advertisement detection process is executed by the advertisement detection unit 1052.
  • the data processing delegation unit 103 ends the series of delegation processes after making the determination in step S63, step S65, or step S66, and waits until the next delegation process is started.
  • a place where at least a part of the line-of-sight detection process and the advertisement detection process is executed can be designated to the vehicle VC or the server SV. This eliminates the need for the load distribution plan to determine whether efficient processing is executed in a fixed manner in either the vehicle VC or the server SV, shortens the time for making the load distribution plan, and reduces the overall processing. You can save time.
  • the execution location of the line-of-sight detection process is set for each processing unit in the line-of-sight detection process, but for all processing units of the line-of-sight detection process or the advertisement detection process You can also set the execution location in a batch.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本発明は情報提示システムに関する。車両は、車両の状態、サーバの状態およびネットワークの状態に基づいて、車両およびサーバにデータ処理を割り当てる負荷分散計画を立てるデータ処理委譲部と、車内映像に基づいて、搭乗者の視線を検出する第１の視線検出部と、搭乗者の視線と、車外映像に基づいて、搭乗者が視認する広告を特定する第１の広告検出部と、広告の外見パターンおよび広告の提供情報が格納されたデータベースと、データベースに格納された提供情報を出力する情報出力部とを有している。サーバは、車内映像に基づいて、搭乗者の視線を検出する第２の視線検出部と、搭乗者の視線と、車外映像に基づいて、搭乗者が視認する広告を特定する第２の広告検出部と、を有し、第１および第２の広告検出部は、車外映像とデータベースに格納された広告の外見パターンとのマッチングを行って搭乗者が視認する広告を特定する。

Description

情報提示システム
　本発明は情報提示システムに関し、特に、車両の搭乗者に視認された広告に関する情報を提示する情報提示システムに関する。
　車両に搭載される情報提示システムとして、搭乗者の視線を検出して搭乗者が注目している物体の情報を提示する機能を有するものが開発されており、例えば、特許文献１には、搭乗者の視線とフロントガラスの交差位置を計算し、ユーザ操作に応じてフロントガラスの交差位置に、視線の先に存在する物体の情報を表示する技術が開示されている。
　また、特許文献２には、搭乗者の視線の先に存在する広告を検出し、それを見たときの搭乗者の生体情報に基づいて搭乗者の嗜好に合わせた広告を音声および画像で提示する技術が開示されている。
特許第３９２０５８０号公報 特開２０１４－５２５１８号公報
　以上説明したように、搭乗者の視線を検出して搭乗者が注目している物体の情報を提示する場合でも、また、搭乗者の嗜好に合わせた広告を提示する場合でも、ユーザの視線の解析処理から情報の提示まで、処理すべき情報は膨大であり、情報の提示まで時間がかかると言う問題があった。
　本発明は上記のような問題を解決するためになされたものであり、ユーザの視線の解析処理から情報の提示までの処理時間を短縮できる情報提示システムを提供することを目的とする。
　本発明に係る情報提示システムは、車両の搭乗者が視認する前記車両の外部の広告に関する提供情報を提示する情報提示システムであって、前記情報提示システムは、前記車両と、車両外に設けられたサーバとの間で、ネットワークを介してデータを授受し、前記車両は、車外映像が入力される車外映像入力部と、車内映像が入力される車内映像入力部と、車両の状態、サーバの状態およびネットワークの状態に基づいて、前記車両および前記サーバにデータ処理を割り当てる負荷分散計画を立てるデータ処理委譲部と、前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第１の視線検出部と、前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第１の広告検出部と、広告の外見パターンおよび前記広告の前記提供情報が格納されたデータベースと、前記データベースに格納された前記提供情報を出力する情報出力部と、を有し、前記サーバは、前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第２の視線検出部と、前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第２の広告検出部と、を有し、前記第１および第２の広告検出部は、前記車外映像と前記データベースに格納された前記広告の外見パターンとのマッチングを行って前記搭乗者が視認する前記広告を特定する。
　本発明に係る情報提示システムによれば、車両の状態、サーバの状態およびネットワークの状態に基づいて、データ処理を車両内とサーバとで負荷分散して実行させるので、搭乗者の視線の検出から車両の外部の広告に関する提供情報の提示までの処理時間を短縮できる。
本発明に係る実施の形態１の情報提示システムの構成を示すブロック図である。 本発明に係る実施の形態１の情報提示システムの車両側の各処理部のハードウェア構成を示すブロック図である。 本発明に係る実施の形態１の情報提示システムの車両側の各処理部のハードウェア構成を示すブロック図である。 データ処理委譲部における委譲処理を示すフローチャートである。 視線検出部での視線検出処理を示すフローチャートである。 広告検出部での広告検出処理を示すフローチャートである。 広告データベースに格納されるデータの一例を示す図である。 本発明に係る実施の形態２の情報提示システムの構成を示すブロック図である。 本発明に係る実施の形態２の情報提示システムの車両側の各処理部のハードウェア構成を示すブロック図である。 本発明に係る実施の形態３の情報提示システムの構成を示すブロック図である。 本発明に係る実施の形態３の情報提示システムの車両側の各処理部のハードウェア構成を示すブロック図である。 指定計画の一例を示す図である。
　＜はじめに＞
　以下の説明で使用する搭乗者という用語は、車両の運転者だけでなく、助手席および後部座席の乗員も含み、また、バスのような多数の乗客が存在する車両の乗員も含む。
　＜実施の形態１＞
　　＜装置構成＞
　図１は本発明に係る実施の形態１の情報提示システム１００の構成を示すブロック図である。図１に示すように情報提示システム１００は、車両ＶＣ側の構成として、車外映像入力部１０１、車内映像入力部１０２、データ処理委譲部１０３、視線検出部１０４１（第１の視線検出部）、広告検出部１０５１（第１の広告検出部）、広告データベース（ＤＢ）１０６および情報出力部１０７を有している。また、外部のサーバＳＶ側の構成として視線検出部１０４２（第２の視線検出部）および広告検出部１０５２（第２の広告検出部）を有している。サーバＳＶは、例えば、ＶＩＣＳ（登録商標：vehicle information and communication system）センターなどの車外のインフラサーバであり、車両ＶＣ側の構成とサーバＳＶ側の構成とはインターネットなどのネットワークＮＷを介して情報（データ）の授受を行う。
　車外映像入力部１０１は、搭乗者が乗車する車両ＶＣの周囲の映像（車外映像）および車外映像のパラメータを取得し、広告検出部１０５１および１０５２に出力する。基本的な構成としては、車両ＶＣに搭載され、自車前方を撮影するカメラを有し、情報提示システム１００の稼働時にリアルタイムに車外の映像を取得する。また、車外映像のパラメータとしては、少なくとも車外映像の撮影位置と撮影方向の情報を含む。これに加えて、映像の画素数、画角、レンズの焦点距離、レンズの絞り値（Ｆ値）、映像の歪み情報などのカメラ、レンズおよび映像に関する情報を含んでいても良い。映像のパラメータは、映像範囲が固定的である場合はシステム開発者が予め設定しておけば良いが、カメラの向きおよびズームなど動的に変更できる場合は、映像撮影時の値を取得するようにすれば良い。
　車両に搭載されるカメラは、自車前方と側方を同時に撮影可能な広角なレンズを用いたカメラおよび自車の全周囲を一度に撮影できる魚眼レンズを用いたカメラなど、前方以外を撮影できるカメラを用いても良い。また、観光バスのように車体が長い車両および車両の前部と後部が区切られている車両などで、乗員が車両前方を視認することが困難な場合は、側方を撮影するようにカメラを設置しても良い。
　また、複数のカメラの映像を合成して１つの映像とする構成を採っても良い。例えば、右斜め前４５度と左斜め前４５度に向けてカメラを設置し、取得された映像を合成することで、１台のカメラで撮影するよりも広い範囲の映像を入力する構成としても良い。
　また、予め撮影された映像およびコンピュータグラフィクス（ＣＧ）による合成映像など、リアルタイムに撮影した映像以外も入力する構成としても良い。
　車内映像入力部１０２は、搭乗者が乗車する車両ＶＣ内部の映像（車内映像）および車内映像のパラメータを取得し、視線検出部１０４１および１０４２に出力する。基本的な構成としては、車両ＶＣに搭載され、搭乗者の顔を撮影するカメラを有し、情報提示システム１００の稼働時にリアルタイムに車内の映像を取得する。また、車内映像のパラメータとしては、少なくとも車内映像の撮影位置と撮影方向の情報を含む。これに加えて、映像の画素数、画角、レンズの焦点距離、レンズの絞り値（Ｆ値）、映像の歪み情報などのカメラ、レンズおよび映像に関する情報を含んでいても良い。映像のパラメータは、映像範囲が固定的である場合はシステム開発者が予め設定しておけば良いが、カメラの向きおよびズームなど動的に変更できる場合は、映像撮影時の値を取得するようにすれば良い。
　車内用のカメラは、搭乗者全員を一度に撮影できる魚眼レンズを用いたカメラなどでも良い。また、複数のカメラの映像を合成して１つの映像とする構成を採っても良い。また、予め撮影された映像およびコンピュータグラフィクス（ＣＧ）による合成映像など、リアルタイムに撮影した映像以外も入力する構成としても良い。
　また、予め撮影された映像およびコンピュータグラフィクス（ＣＧ）による合成映像など、リアルタイムに撮影した映像以外も入力する構成としても良い。
　データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に基づいて、視線検出処理および広告検出処理を車両ＶＣとサーバＳＶとで分散処理する計画を立てる。ここで、視線検出処理と広告検出処理の実行割り当てを負荷分散計画と呼称し、負荷分散計画は、視線検出部１０４１および１０４２と、広告検出部１０５１および１０５２に出力される。
　視線検出部１０４１および１０４２は、車内映像入力部１０２で取得された車内映像と車内映像のパラメータを用いて搭乗者の視線を検出し、視線情報としてそれぞれ広告検出部１０５１および１０５２に出力する。視線検出部１０４１は車両ＶＣ内で視線検出処理を実行し、視線検出部１０４２は車両ＶＣの外部のサーバＳＶ内で視線検出処理を実行する。
　視線の検出方法としては、搭乗者の角膜に光をあてて車内映像からその反射光を計測する方法、車内映像から搭乗者の虹彩を検出する方法など、様々な方法がある。例えば、特開平７－１５６７１２号公報には、搭乗者の顔に赤外光を照射して赤外カメラと可視カメラを用いて搭乗者の顔を撮影することで、赤外画像により瞳の位置を特定し、可視画像により目頭、目尻の位置を特定する技術が開示されている。また、特開平４－２２５４７８号公報には、エッジ検出により目の虹彩を抽出して視線を検出する技術が開示されている。本発明においては、視線の検出には既知の任意の方法を採用することができるが、取得する視線情報には、少なくとも視線の起点位置と、視線の方向の情報を含んでいれば良い。また、搭乗者の頭または目の位置、顔または黒目の向き、まばたきの回数、搭乗者のメガネまたはコンタクトレンズ装着の有無など、搭乗者の目に関する情報を取得し、それらを視線情報含ませても良い。
　広告検出部１０５１および１０５２は、車外映像入力部１０１で取得された車外映像および車外映像のパラメータと、視線検出部１０４１および１０４２でそれぞれ取得された、搭乗者の視線情報を用いて、搭乗者が視認している広告（視認対象）を特定する。
　広告検出部１０５１は車両ＶＣ内で広告検出処理を実行し、広告検出部１０５２はサーバＳＶ内で広告検出処理を実行する。広告検出処理においては、広告データベース（ＤＢ）１０６から視認対象に関する詳細情報を読み出して、情報出力部１０７を介して搭乗者に認識できる方法で提示する。
　図１に示した情報提示システム１００の車両ＶＣ側の各構成（データ処理委譲部１０３、視線検出部１０４１および広告検出部１０５１）は、例えば図２に示す処理回路１０により実現される。すなわち、処理回路１０は、車両ＶＣ、サーバＳＶおよびネットワークＮＷの状態に基づいて、視線検出処理および広告検出処理を車両ＶＣとサーバＳＶとで分散処理する計画を立てるデータ処理委譲部１０３と、車内映像入力部１０２で取得された車内映像と車内映像のパラメータを用いて搭乗者の視線を検出する視線検出部１０４１と、車外映像入力部１０１で取得された車外映像および車外映像のパラメータと、視線検出部１０４１で取得された、搭乗者の視線情報を用いて、搭乗者が視認している広告に関する情報を検出する広告検出部１０５１を備えている。
　処理回路１０には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサが適用されても良い。
　処理回路１０が専用のハードウェアである場合、処理回路１０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものなどが該当する。
　また、図３には、情報提示システム１００の車両ＶＣ側の各構成（データ処理委譲部１０３、視線検出部１０４１および広告検出部１０５１）がプロセッサを用いて構成されている場合におけるハードウェア構成を示している。この場合、情報提示システム１００の車両ＶＣ側の各構成の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ１２に格納される。処理回路１０とし機能するプロセッサ１１は、メモリ１２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。
　ここで、メモリ１２には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等が該当する。
　また、図１に示した情報提示システム１００のサーバＳＶ側の各構成（視線検出部１０４２および広告検出部１０５２）も、図２に示す処理回路１０と同様の処理回路により実現され、当該処理回路には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。
　また、情報提示システム１００のサーバＳＶ側の各構成（視線検出部１０４２および広告検出部１０５２）がプロセッサを用いて構成されている場合におけるハードウェア構成も、図３に示すプロセッサ１１およびメモリ１２と同様のハードウェア構成を適用できる。
　　＜データ処理委譲部での処理＞
　次に、図４に示すフローチャートを用いて、データ処理委譲部１０３の委譲処理について説明する。
　データ処理委譲部１０３での処理が始まると、まず、データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態を取得する（ステップＳ１）。データ処理委譲部１０３が取得する車両ＶＣの状態としては、車両ＶＣ内のＣＰＵの処理能力の上限、現在の車両ＶＣ内で処理能力に余裕があるＣＰＵの処理能力、委譲処理で使用可能な車両ＶＣ内のメモリの記憶容量の上限、現在の車両ＶＣ内で記憶容量に余裕があるメモリの記憶容量、委譲処理と並行して動作している車両ＶＣ内の処理およびプログラムの有無、ＣＰＵの負荷状態およびメモリの負荷状態などが挙げられる。データ処理委譲部１０３は、これらのうちの何れか１つ、あるいは複数を組み合わせて車両ＶＣの状態として使用する。
　データ処理委譲部１０３が取得するサーバＳＶの状態としては、サーバＳＶのＣＰＵの処理能力の上限、現在のサーバＳＶ内で処理能力に余裕があるＣＰＵの処理能力、委譲処理で使用可能なサーバＳＶ内のメモリ量の上限、現在のサーバＳＶ内で記憶容量に余裕があるメモリの記憶容量、委譲処理と並行して動作しているサーバＳＶ内の処理およびプログラムの有無、ＣＰＵの負荷状態およびメモリの負荷状態などが挙げられる。データ処理委譲部１０３は、これらのうちの何れか１つ、あるいは複数を組み合わせてサーバＳＶの状態として使用する。
　データ処理委譲部１０３が取得する通信（ネットワークＮＷ）の状態としては、通信速度の上限、現在、他の処理、プログラムで使用している通信量および現在の通信速度、現在の車両ＶＣとサーバＳＶとの間の片道または往復の通信時間が挙げられる。データ処理委譲部１０３は、これらのうちの何れか１つ、あるいは複数を組み合わせて通信の状態として使用する。
　次に、データ処理委譲部１０３は、ステップＳ１で取得した車両ＶＣの状態を用いて、視線検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ２）。
　例えば、委譲処理に必要な処理量が５００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能な車両ＶＣ内のＣＰＵの処理能力が１００％であるなら、想定処理時間は５００÷１００＝５［秒］かかることとなる。ここで、ＣＰＵの処理能力とはＣＰＵの使用率を意味し、一般にはＭＩＰＳ（Million Instructions Per Second)で表現されるが、本願では簡単化のため「％秒」と言う単位で表現している。５００［％秒］とは、ＣＰＵの使用率が１００％の状態で５秒間の処理に相当する処理量としている。例えば、３７５０ＭＩＰＳの処理能力を有するＣＰＵでは、３７５０×５＝１８７５０［ＭＩ］の処理が５００［％秒］に相当する。また、以下の説明ではＣＰＵの処理能力が２００％でという表現を使用するが、これは１つのＣＰＵが２つのコアを持つ場合を想定しており、１つのコアがフル稼働した場合は、そのＣＰＵは１００％の処理能力（使用率）となり、２つのコアがフル稼働した場合は、そのＣＰＵは２００％の処理能力（使用率）なる。
　次に、データ処理委譲部１０３は、ステップＳ１で取得したサーバＳＶと通信の状態を用いて、視線検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ３）。
　例えば、視線検出処理に必要な処理量が５００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能なサーバＳＶ内のＣＰＵの処理能力が２００％であるなら、想定処理時間は５００÷２００＝２．５［秒］かかることとなる。また、ステップＳ１で取得した車両ＶＣとサーバＳＶとの間の往復の通信時間が２［秒］であれば、処理完了まで２．５＋２＝４．５［秒］かかることとなるので、通信に必要な時間も考慮する。
　次に、データ処理委譲部１０３は、ステップＳ１で取得した車両ＶＣの状態を用いて、広告検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ４）。
　例えば、広告検出処理に必要な処理量が１０００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能な車両ＶＣ内のＣＰＵの処理能力が１００％であるなら、想定処理時間は１０００÷１００＝１０［秒］かかることとなる。
　次に、データ処理委譲部１０３は、ステップＳ１で取得したサーバＳＶと通信の状態を用いて、広告検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ５）。
　例えば、広告検出処理に必要な処理量が１０００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能なサーバＳＶ内のＣＰＵの処理能力が２００％であるなら、想定処理時間は１０００÷２００＝５［秒］かかることとなる。また、ステップＳ１で取得した車両ＶＣとサーバＳＶとの間の往復の通信時間が２［秒］であれば、処理完了まで５＋２＝７［秒］かかることとなるので、通信に必要な時間も考慮する。
　次に、データ処理委譲部１０３は、ステップＳ２およびＳ４で算出した車両ＶＣ内での想定処理時間の合計と、ステップＳ３およびＳ５で算出したサーバＳＶ内での想定処理時間の合計とを比較する（ステップＳ６）。その結果、車両ＶＣ内での処理時間が、サーバＳＶ内での処理時間以下であればステップＳ７に移行し、車両ＶＣ内での処理時間が、サーバＳＶ内での処理時間を超える場合はステップＳ８に移行する。
　すなわち、データ処理委譲部１０３は、車両ＶＣ内での処理時間が、サーバＳＶ内での処理時間以下である場合は、視線検出処理と広告検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ７）。これにより、視線検出処理は視線検出部１０４１で実行され、広告検出処理は広告検出部１０５１で実行されることとなる。一方、車両ＶＣ内での処理時間が、サーバＳＶ内での処理時間を超える場合は、データ処理委譲部１０３は、視線検出処理と広告検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ８）。これにより、視線検出処理は視線検出部１０４２で実行され、広告検出処理は広告検出部１０５２で実行されることとなる。
　データ処理委譲部１０３は、ステップＳ７またはステップＳ８での決定を行った後は、一連の委譲処理を終了し、次に委譲処理を開始するまで待機する。なお、データ処理委譲部１０３は、情報提示システム１００が稼働している間は、定期的に委譲処理を繰り返すように構成され、その開始タイミングは、例えば、車外映像入力部１０１および車内映像入力部１０２において映像および映像のパラメータを取得するタイミングに合わせるようにすれば良い。
　なお、上記ではデータ処理委譲部１０３が、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に基づいて負荷分散計画を決定する例を示したが、３つの全ての状態を考慮しなくても良い。例えば、ネットワークＮＷの状態に問題がなければ、すなわち通信時間が予め定めた時間、例えば１０ｍｓｅｃより短い場合には、ネットワークＮＷの状態は考慮しなくても良い。
　　＜視線検出部での処理＞
　次に、図５に示すフローチャートを用いて、視線検出部１０４１および１０４２での視線検出処理について説明する。なお、視線検出部１０４１および１０４２での動作は同じなので、以下では視線検出部１０４１を例に採って説明する。
　視線検出部１０４１は、まず、負荷分散計画をデータ処理委譲部１０３から取得し、取得した負荷分散計画において、視線検出処理が視線検出部１０４１に割り当てられているか否かを判断する（ステップＳ１１）。その結果、視線検出処理が割り当てられている場合はステップＳ１２に移行し、割り当てられていない場合はステップＳ１２以下の処理は実行せず、処理を終了する。これは、視線検出部１０４１および１０４２のうち、負荷分散計画で視線検出処理を割り当てられている方のみが視線検出処理を実行することを意味する。
　ステップＳ１２では、視線検出部１０４１は、車内映像入力部１０２から車内映像および車内映像のパラメータを取得する。
　次に、視線検出部１０４１は、車内映像における搭乗者の目を検出する（ステップＳ１３）。これには、エッジ抽出により目の輪郭を探して目が含まれる矩形領域を抽出する方法など、既知の様々な検出方法を使用できる。
　次に、視線検出部１０４１は、ステップＳ１３で検出した目が含まれる映像の中から、目頭と虹彩を検出する（ステップＳ１４）。これには、エッジ抽出により目頭と虹彩を検出する方法など、既知の様々な方法を使用できる。
　次に、視線検出部１０４１は、ステップＳ１４で検出した目頭と虹彩との位置関係から、搭乗者の視線を決定する（ステップＳ１５）。これには、左目の虹彩が目頭から離れていれば左側を見ており、左目の目頭と虹彩が近ければ右側を見ているなど、既知の様々な方法を使用できる。この視線に基づいて、少なくとも視線の起点位置と、視線の方向を取得し、視線情報とする。視線を決定した後は、一連の視線検出処理を終了し、次に視線検出処理を開始するまで待機する。
　　＜広告検出部での処理＞
　次に、図６に示すフローチャートを用いて、広告検出部１０５１および１０５２での広告検出処理について説明する。なお、広告検出部１０５１および１０５２での動作は同じなので、以下では広告検出部１０５１を例に採って説明する。
　広告検出部１０５１は、まず、負荷分散計画をデータ処理委譲部１０３から取得し、取得した負荷分散計画において、広告検出処理が広告検出部１０５１に割り当てられているか否かを判断する（ステップＳ２１）。その結果、広告検出処理が割り当てられている場合はステップＳ２２に移行し、割り当てられていない場合はステップＳ２２以下の処理は実行せず、処理を終了する。これは、広告検出部１０５１および１０５２のうち、負荷分散計画で広告検出処理を割り当てられている方のみが広告検出処理を実行することを意味する。
　ステップＳ２２では、広告検出部１０５１は、車外映像入力部１０１から車外映像および車外映像のパラメータを取得する。
　次に、広告検出部１０５１は、視線検出部１０４１から搭乗者の視線情報を取得する（ステップＳ２３）。
　次に、広告検出部１０５１は、取得した視線情報に含まれる視線の起点位置と、視線の方向に基づいて搭乗者が視認している車外映像上の領域を抽出する（ステップＳ２４）。以降、この領域を視認領域と呼称する。
　次に、広告検出部１０５１は、ステップＳ２４で抽出した視認領域と、広告の外見パターンとの一致率を算出する（ステップＳ２５）。
　広告の外見パターンの画像は、例えば、広告ＤＢ１０６に広告ごとに格納されており、画像認識により視認領域の広告と広告の外見パターンの画像とのマッチングを行い、両者の一致率を算出する。ここでは、広告ＤＢ１０６に格納されている広告ごとに一致率を計算する。なお、画像認識としては、エッジ抽出、特徴点抽出など、様々な手法が存在するが、本発明では既知の任意の手法を採用することができる。
　次に、広告検出部１０５１は、ステップＳ２５で算出された一致率のうち、最も高い一致率が、予め定めた閾値以上か否かを判定する（ステップＳ２６）。その結果、閾値以上であれば、ステップＳ２７に移行し、閾値未満であれば、広告を検出できなかったものとして処理を終了し、情報出力部１０７に対する処理などの以降の処理は行わない。なお、ここでの閾値は、情報提示システム１００の製造者が設定しても良いし、ユーザが設定しても良い。
　ステップＳ２７では、最も高い一致率を有する外見パターンを有する広告を、搭乗者が視認している広告（視認対象）として特定する。広告を特定した後は、一連の広告検出処理を終了し、次に広告検出処理を開始するまで待機する。
　広告ＤＢ１０６は、広告の外見パターンの画像と共に、当該広告に関する詳細情報も格納されており、少なくとも広告の名称および提供情報を格納している。なお、広告ＤＢ１０６は、車両ＶＣに搭載したメモリ等に構築しても良いし、サーバＳＶに構築されたデータベースを用いても良い。また、サーバＳＶと連携し、随時新しい情報に更新されるようにしても良い。
　ここで、広告ＤＢ１０６に格納されるデータの一例を図７に示す。図７に示すように、広告ＤＢ１０６には、広告の種類、広告の名称、広告の読み方、営業時間、提供情報、外見パターンなどが格納されている。なお、広告の種類としては、小売店、レストランなどの他に、工事中を示す標識なども含まれる。また、外見パターンはビットマップで格納されている例を示しているが、これに限定されるものではない。また、提供情報に関しては、割引率、値段、工事中などの情報を含み、システム開発者が予め定めておけば良い。
　また、図５では、広告の名称と提供情報が固定されている例を示したが、提供情報を日々更新するようにしても良いし、広告ＤＢ１０６を参照する際に、ネットワークＮＷを介して広告の提供者から最新の情報を取得しても良い。
　また、広告ＤＢ１０６は明確なデータベースとして作成せず、インターネットの検索サイトなどでヒットした内容をそのまま、または要約して格納する構成を採っても良い。すなわち、インターネットの検索サイトでは、店舗の看板、商標、ロゴマークなど広告の外見パターンも表示されているので、それを外見パターンとして格納し、キャッチコピーを提供情報としてそのまま、または要約して格納すれば簡易なデータベースを作成することができる。
　情報出力部１０７は、広告検出部１０５１（１５０２）で特定された広告について、広告ＤＢ１０６を参照して、当該広告に関する詳細情報を読み出して出力する。図５の例では、「大根１０％ＯＦＦ」「△△△定食５００円」「工事中標識」などの提供情報を、広告ＤＢ１０６から取得し、情報出力部１０７を構成するディスプレイおよびスピーカを用いて、画像および音により搭乗者に提供する。なお、情報出力部１０７は、ディスプレイおよびスピーカを備えていても良いが、車両ＶＣに搭載されているカーナビゲーション装置のディスプレイおよびスピーカを用いて、画像および音を出力しても良い。
　また、情報出力部１０７が情報を提示する先は、広告を視認した搭乗者でなくても良い。例えば、視線検出部１０４１または１０４２は運転者の視線を取得し、情報出力部１０７には助手席および後席のディスプレイおよびスピーカが接続され、助手席および後部座席の搭乗者に情報を提示するといった構成でも構わない。
　また、情報出力部１０７が提示する情報は、広告ＤＢ１０６の提供情報以外であっても良い。例えば、営業時間と提供情報の両方を提示することも可能である。
　また、情報出力部１０７は、情報の提示先を、サーバ、スマートフォン、他車とするシステムとしても良い。例えば、搭乗者が見ている広告の提供情報を、サーバ上のプログラムに送信しても良い。このプログラムとしては搭乗者がどの広告に興味を惹かれるかなどのデータベースを構築するプログラムが考えられる。
　また、ネットワークＮＷを介して、他車の搭乗者に提供情報を提示しても良い。これにより、他車の搭乗者との間で情報を共有することが可能となる。
　以上説明したように、情報提示システム１００によれば、データ処理を車両ＶＣ内とサーバＳＶとで負荷分散して実行できるため、例えば、画像認識処理など車両ＶＣ内では時間がかかるような処理をサーバＳＶの処理能力を使用して実行することで時間を短縮することができる。
　また、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に合わせて負荷分散計画を立てることで、トータルの処理時間を短くすることができる。
　＜実施の形態２＞
　以上説明した実施の形態１の情報提示システム１００では、視線検出処理および広告検出処理を車両ＶＣ側で実行させるかまたはサーバＳＶ側で実行させる択一的な手法で負荷分散を行ったが、視線検出処理および広告検出処理を車両ＶＣとサーバＳＶとで分けることで負荷分散を行うようにしても良い。
　　＜装置構成＞
　図８は本発明に係る実施の形態２の情報提示システム２００の構成を示すブロック図である。なお、図１を用いて説明した情報提示システム１００と同一の構成については同一の符号を付し、重複する説明は省略する。
　図８に示すように情報提示システム２００は、車両ＶＣ側の視線検出部１０４１で検出した視線情報がサーバＳＶ側の広告検出部１０５２にも出力され、サーバＳＶ側の視線検出部１０４２で検出した視線情報が車両ＶＣ側の広告検出部１０５２にも出力される構成となっている。データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に基づいて、視線検出処理を車両ＶＣ側で実行させ、広告検出処理をサーバＳＶ側で実行させる、または、視線検出処理をサーバＳＶ側で実行させ、広告検出処理を車両ＶＣ側で実行させると言った負荷分散計画を立てる。
　　＜データ処理委譲部での処理＞
　次に、図９に示すフローチャートを用いて、データ処理委譲部１０３の委譲処理について説明する。
　データ処理委譲部１０３での処理が始まると、まず、データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態を取得する（ステップＳ３１）。データ処理委譲部１０３が取得する車両ＶＣの状態としては、車両ＶＣ内のＣＰＵの処理能力の上限、現在の車両ＶＣ内で処理能力に余裕があるＣＰＵの処理能力、委譲処理で使用可能な車両ＶＣ内のメモリ量の上限、現在の車両ＶＣ内で記憶容量に余裕があるメモリの記憶容量、委譲処理と並行して動作している車両ＶＣ内の処理およびプログラムの有無などが挙げられる。
　データ処理委譲部１０３が取得するサーバＳＶの状態としては、サーバＳＶのＣＰＵの処理能力の上限、現在のサーバＳＶ内で処理能力に余裕があるＣＰＵの処理能力、委譲処理で使用可能なサーバＳＶ内のメモリ量の上限、現在のサーバＳＶ内で記憶容量に余裕があるメモリの記憶容量、委譲処理と並行して動作しているサーバＳＶ内の処理およびプログラムの有無などが挙げられる。
　データ処理委譲部１０３が取得する通信（ネットワークＮＷ）の状態としては、通信速度の上限、現在の通信速度、現在他の処理、プログラムで使用している通信量、現在の車両ＶＣとサーバＳＶとの間の片道または往復の通信時間などが挙げられる。
　次に、データ処理委譲部１０３は、ステップＳ３１で取得した車両ＶＣの状態を用いて、視線検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ３２）。
　例えば、委譲処理に必要な処理量が５００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能な車両ＶＣ内のＣＰＵの処理能力が１００％であるなら、想定処理時間は５００÷１００＝５［秒］かかることとなる。
　次に、データ処理委譲部１０３は、ステップＳ３１で取得したサーバＳＶと通信の状態を用いて、視線検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ３３）。
　例えば、視線検出処理に必要な処理量が５００［％秒］であると想定される場合、ステップＳ１で取得した現在使用可能なサーバＳＶ内のＣＰＵの処理能力が２００％であるなら、想定処理時間は５００÷２００＝２．５［秒］かかることとなる。また、ステップＳ１で取得した車両ＶＣとサーバＳＶとの間の往復の通信時間が２［秒］であれば、処理完了まで２．５＋２＝４．５［秒］かかることとなるので、通信に必要な時間も考慮する。
　次に、データ処理委譲部１０３は、ステップＳ３２で算出した車両ＶＣ内での想定処理時間と、ステップＳ３３で算出したサーバＳＶ内での想定処理時間とを比較する（ステップＳ３４）。その結果、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間以下であればステップＳ３５に移行し、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間を超える場合はステップＳ３６に移行する。
　すなわち、データ処理委譲部１０３は、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間以下である場合は、視線検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ３５）。これにより、視線検出処理は視線検出部１０４１で実行されることとなる。一方、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間を超える場合は、データ処理委譲部１０３は、視線検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ３６）。これにより、視線検出処理は視線検出部１０４２で実行されることとなる。
　次に、データ処理委譲部１０３は、ステップＳ３１で取得した車両ＶＣの状態を用いて、広告検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ３７）。
　例えば、広告検出処理に必要な処理量が１０００［％秒］であると想定される場合、ステップＳ３１で取得した現在使用可能な車両ＶＣ内のＣＰＵの処理能力が１００％であるなら、想定処理時間は１０００÷１００＝１０［秒］かかることとなる。
　次に、データ処理委譲部１０３は、ステップＳ３１で取得したサーバＳＶと通信の状態を用いて、広告検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ３８）。
　例えば、広告検出処理に必要な処理量が１０００［％秒］であると想定される場合、ステップＳ３１で取得した現在使用可能なサーバＳＶ内のＣＰＵの処理能力が２００％であるなら、想定処理時間は１０００÷２００＝５［秒］かかることとなる。また、ステップＳ３１で取得した車両ＶＣとサーバＳＶとの間の往復の通信時間が２［秒］であれば、処理完了まで５＋２＝７［秒］かかることとなるので、通信に必要な時間も考慮する。
　次に、データ処理委譲部１０３は、ステップＳ３７で算出した車両ＶＣ内での想定処理時間と、ステップＳ３８で算出したサーバＳＶ内での想定処理時間とを比較する（ステップＳ３９）。その結果、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間以下であればステップＳ４０に移行し、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間を超える場合はステップＳ４１に移行する。
　すなわち、データ処理委譲部１０３は、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間以下である場合は、広告検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ４０）。これにより、広告検出処理は広告検出部１０５１で実行されることとなる。一方、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間を超える場合は、データ処理委譲部１０３は、広告検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ４１）。これにより、広告検出処理は広告検出部１０５２で実行されることとなる。
　データ処理委譲部１０３は、ステップＳ４０またはステップＳ４１での決定を行った後は、一連の委譲処理を終了し、次に委譲処理を開始するまで待機する。
　以上説明したように、情報提示システム２００によれば、視線検出処理を車両ＶＣ側で実行させ、広告検出処理をサーバＳＶ側で実行させる、または、視線検出処理をサーバＳＶ側で実行させ、広告検出処理を車両ＶＣ側で実行させると言った負荷分散計画を立てることで、データ処理を車両ＶＣ内とサーバＳＶとで負荷分散して実行できるため、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に合わせることでトータルの処理時間を短くすることができる。
　　＜変形例１＞
　以上説明した情報提示システム２００においては、視線検出処理を車両ＶＣ側で実行させるか、サーバＳＶ側で実行させるかを決定した後に、広告検出処理の想定処理時間を計算するので、広告検出処理の計算に際しては、視線検出処理の決定結果を反映させて想定処理時間を計算しても良い。
　例えば、ステップＳ３６において視線検出処理をサーバＳＶで実行させると決めた場合、視線検出処理の実行によりサーバＳＶの処理能力（ＣＰＵの処理能力、メモリ容量など）を使用するため、ステップＳ３１でサーバＳＶの状態を取得した段階よりも処理能力が低下することが考えられる。このまま広告検出処理の割り当てを行うと、サーバＳＶの処理能力が低下しているにも関わらず、ステップＳ３９を経て、ステップＳ４１で、サーバＳＶに割り当てられてしまう可能性がある。そこで、ステップＳ３８では、視線検出処理の実行に必要とされる処理能力をステップＳ３１で取得したサーバＳＶの処理能力から差し引いた処理の能力で想定処理時間を算出する。これにより、より現実に即した想定処理時間の計算が可能となり、適正な割り当てが可能となる。なお、上記措置はステップＳ３６において視線検出処理を車両ＣＶで実行させると決めた場合も同様に行うことができる。
　　＜変形例２＞
　以上説明した情報提示システム２００および変形例１においては、視線検出処理ごと、および広告検出処理ごとに車両ＶＣ側で実行させるか、サーバＳＶ側で実行させるかを決定したが、視線検出処理内および広告検出処理内の処理単位ごとに実行先を決定しても良い。
　すなわち、視線検出処理を示す図５におけるステップＳ１２～Ｓ１５の各ステップ、および広告検出処理を示す図６におけるステップＳ２２～Ｓ２７の各ステップを処理単位として定義した場合、例えば、ステップＳ１２の処理は車両ＶＣ側で実行させ、ステップＳ１３の処理はサーバＳＶ側で実行させるようにしても良い。
　この場合、図９に示したフローチャートにおけるステップＳ３２およびＳ３３の処理は、それぞれステップＳ１２～Ｓ１５の各ステップごとに、想定処理時間を計算する処理となり、ステップＳ３４～Ｓ３６の処理は、ステップＳ１２～Ｓ１５の各ステップごとに、車両ＶＣで実行するか、サーバＳＶで実行するかを決定する処理となる。
　同様に、図９に示したフローチャートにおけるステップＳ３７およびＳ３８の処理は、それぞれステップＳ２２～Ｓ２７の各ステップごとに、想定処理時間を計算する処理となり、ステップＳ３９～Ｓ４１の処理は、ステップＳ２２～Ｓ２７の各ステップごとに、車両ＶＣで実行するか、サーバＳＶで実行するかを決定する処理となる。
　処理単位ごとに実行先を決定することで、車両ＶＣの処理能力およびサーバＳＶの処理能力に、より細かく対応させることができる。
　＜実施の形態３＞
　　＜装置構成＞
　図１０は本発明に係る実施の形態３の情報提示システム３００の構成を示すブロック図である。なお、図１を用いて説明した情報提示システム１００と同一の構成については同一の符号を付し、重複する説明は省略する。
　図１０に示すように情報提示システム３００は、データ処理委譲部１０３で負荷分散計画を立てる際に、負荷分散計画の対象外とする処理を予め指定した指定計画を設定する指定計画入力部１０８を備えている。
　指定計画入力部１０８で設定された指定計画の情報は、データ処理委譲部１０３に出力され、データ処理委譲部１０３において負荷分散計画を立てる際に、データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態に加えて、指定計画入力部１０８から出力される指定計画の情報も使用することとなる。なお、指定計画はシステム開発者が処理効率を考慮して設定することができる。
　　＜データ処理委譲部での処理＞
　次に、図１１に示すフローチャートを用いて、データ処理委譲部１０３の委譲処理について説明する。
　データ処理委譲部１０３での処理が始まると、まず、データ処理委譲部１０３は、車両ＶＣ、サーバＳＶおよびネットワークＮＷ（通信）の状態を取得する（ステップＳ５１）。
　次に、データ処理委譲部１０３は、ステップＳ５１で取得した車両ＶＣの状態を用いて、視線検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ５２）。
　次に、データ処理委譲部１０３は、ステップＳ５１で取得したサーバＳＶと通信の状態を用いて、視線検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ５３）。
　次に、データ処理委譲部１０３は、指定計画入力部１０８で設定された指定計画の情報を取得する（ステップＳ５４）。
　次に、データ処理委譲部１０３は、ステップＳ５４で取得した指定計画の情報に視線検出処理が含まれているか否かを判断する。その結果、視線検出処理が含まれている場合はステップＳ５６に移行し、視線検出処理が含まれていない場合はステップＳ５７に移行する。
　ここで、指定計画の一例を図１２に示す。図１２においては、視線検出処理が指定計画に含まれている場合を示しており、広告検出処理は含まれていない。そして、視線検出処理のうちステップＳ１２～Ｓ１５（図５）の処理が詳細処理として含まれており、このうち、ステップＳ１２およびＳ１５の処理は車両ＶＣで実行することが指定され、ステップＳ１３の処理がサーバＳＶで実行することが指定されており、ステップＳ１４の処理は実行場所が指定されず任意となっている。ここで、任意とは、車両ＶＣおよびサーバＳＶのどちらで実行させても良いことを意味するが、連続するステップはできるだけ同じ場所で実行させる方が効率的であるので、ステップＳ１３をサーバＳＶで実行させるのであれば、ステップＳ１４はサーバＳＶで実行させることが考えられる。
　データ処理委譲部１０３は、実行場所が車両ＶＣまたはサーバＳＶに指定された処理が１つでも含まれている場合には指定計画の情報に視線検出処理が含まれていると判断し、実行場所に車両ＶＣおよびサーバＳＶが全くして指定されていない場合、例えば全ての処理について実行場所が任意となっている場合は、指定計画の情報に視線検出処理が含まれていないと判断する。
　ステップＳ５６では、データ処理委譲部１０３はステップＳ５４で取得した指定計画の情報に基づいて視線検出処理の実行場所を車両ＣＶまたはサーバＳＶに決定する。この場合、指定計画に従って視線検出処理内の処理単位ごとに実行先を決定することができる。
　一方、ステップＳ５７に移行した場合、データ処理委譲部１０３は、ステップＳ５２で算出した車両ＶＣ内での想定処理時間と、ステップＳ５３で算出したサーバＳＶ内での想定処理時間とを比較する。その結果、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間以下であればステップＳ５８に移行し、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間を超える場合はステップＳ５９に移行する。
　すなわち、データ処理委譲部１０３は、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間以下である場合は、視線検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ５８）。これにより、視線検出処理は視線検出部１０４１で実行されることとなる。一方、車両ＶＣ内での視線検出処理時間が、サーバＳＶ内での視線検出処理時間を超える場合は、データ処理委譲部１０３は、視線検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ５９）。これにより、視線検出処理は視線検出部１０４２で実行されることとなる。
　次に、データ処理委譲部１０３は、ステップＳ５１で取得した車両ＶＣの状態を用いて、広告検出処理を車両ＶＣ内で実行した場合の想定処理時間を計算する（ステップＳ６０）。
　次に、データ処理委譲部１０３は、ステップＳ５１で取得したサーバＳＶと通信の状態を用いて、広告検出処理をサーバＳＶで実行した場合の想定処理時間を計算する（ステップＳ６１）。
　次に、データ処理委譲部１０３は、ステップＳ５４で取得した指定計画の情報に広告検出処理が含まれているか否かを判断する。その結果、広告検出処理が含まれている場合はステップＳ６３に移行し、広告検出処理が含まれていない場合はステップＳ６４に移行する。なお、指定計画の情報に広告検出処理が含まれているか否かの判断は、ステップＳ５５で説明した視線検出処理が含まれているか否かの判断と同じであるので説明は省略する。
　ステップＳ６３では、データ処理委譲部１０３はステップＳ５４で取得した指定計画の情報に基づいて広告検出処理の実行場所を車両ＣＶまたはサーバＳＶに決定する。この場合、指定計画に従って広告検出処理内の処理単位ごとに実行先を決定することができる。
　一方、ステップＳ６４に移行した場合、データ処理委譲部１０３は、ステップＳ６０で算出した車両ＶＣ内での想定処理時間と、ステップＳ６１で算出したサーバＳＶ内での想定処理時間とを比較する。その結果、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間以下であればステップＳ６５に移行し、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間を超える場合はステップＳ６６に移行する。
　すなわち、データ処理委譲部１０３は、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間以下である場合は、広告検出処理を車両ＶＣ内で実行するとの負荷分散計画を決定する（ステップＳ６５）。これにより、広告検出処理は広告検出部１０５１で実行されることとなる。一方、車両ＶＣ内での広告処理時間が、サーバＳＶ内での広告処理時間を超える場合は、データ処理委譲部１０３は、広告検出処理をサーバＳＶ内で実行するとの負荷分散計画を決定する（ステップＳ６６）。これにより、広告検出処理は広告検出部１０５２で実行されることとなる。
　データ処理委譲部１０３は、ステップＳ６３またはステップＳ６５またはステップＳ６６での決定を行った後は、一連の委譲処理を終了し、次に委譲処理を開始するまで待機する。
　以上説明したように、情報提示システム３００によれば、視線検出処理および広告検出処理の少なくとも一部を実行する場所を、車両ＶＣまたはサーバＳＶに指定することができる。これにより、車両ＶＣおよびサーバＳＶのどちらかで、固定的に実行した方が効率的な処理に関してまで負荷分散計画で決定する必要がなくなり、負荷分散計画を立てる時間を短縮して、全体の処理時間を短縮できる。
　　＜変形例＞
　なお、図１２に示した指定計画の例では、視線検出処理の実行場所が視線検出処理内の処理単位ごとに設定されていたが、視線検出処理または広告検出処理の全ての処理単位に対して一括で実行場所を設定することもできる。
　これにより、処理単位ごとに実行先を指定する必要がなくなり、指定計画の設定が容易となる。
　この発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
　なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

Claims (8)

  1. 　車両の搭乗者が視認する前記車両外部の広告に関する提供情報を提示する情報提示システムであって、
    　前記情報提示システムは、
    　前記車両と、車両外に設けられたサーバとの間で、ネットワークを介してデータを授受し、
    　前記車両は、
    　車外映像が入力される車外映像入力部と、
    　車内映像が入力される車内映像入力部と、
    　車両の状態、サーバの状態およびネットワークの状態に基づいて、前記車両および前記サーバにデータ処理を割り当てる負荷分散計画を立てるデータ処理委譲部と、
    　前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第１の視線検出部と、
    　前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像および前記車外映像のパラメータに基づいて、前記搭乗者が視認する前記広告を特定する第１の広告検出部と、
    　広告の外見パターンおよび前記広告の前記提供情報が格納されたデータベースと、
    　前記データベースに格納された前記提供情報を出力する情報出力部と、を有し、
    　前記サーバは、
    　前記車内映像入力部から取得した前記車内映像に基づいて、前記搭乗者の視線を検出する第２の視線検出部と、
    　前記搭乗者の前記視線と、前記車外映像入力部から取得した前記車外映像に基づいて、前記搭乗者が視認する前記広告を特定する第２の広告検出部と、を有し、
    　前記第１および第２の広告検出部は、前記車外映像と前記データベースに格納された前記広告の外見パターンとのマッチングを行って前記搭乗者が視認する前記広告を特定する、情報提示システム。
  2. 　前記データ処理委譲部は、
    　前記車両の状態として、車両側のプロセッサの負荷およびメモリの負荷を取得し、
    　前記サーバの状態として、サーバ側のプロセッサの負荷およびメモリの負荷を取得し、
    　前記ネットワークの状態として、前記ネットワークの通信速度を取得し、これらの少なくとも１つに基づいて、視線検出処理および広告検出処理の処理時間が短縮されるように前記負荷分散計画を立てる、請求項１記載の情報提示システム。
  3. 　前記データ処理委譲部は、
    　前記第１の視線検出部に前記視線検出処理を実行させ、前記第１の広告検出部に前記広告検出処理を実行させる、または前記第２の視線検出部に前記視線検出処理を実行させ、前記第２の広告検出部に前記広告検出処理を実行させるように前記負荷分散計画を立てる、請求項２記載の情報提示システム。
  4. 　前記データ処理委譲部は、
    　前記第１および第２の視線検出部の一方に前記視線検出処理を実行させ、前記第１および第２の広告検出部の一方に前記広告検出処理を実行させるように前記負荷分散計画を立てる、請求項２記載の情報提示システム。
  5. 　前記データ処理委譲部は、
    　前記視線検出処理を構成する処理単位ごとに前記第１および第２の視線検出部の少なくとも一方に処理を割り当て、
    　前記広告検出処理を構成する処理単位ごとに前記第１および第２の広告検出部の少なくとも一方に処理を割り当てるように前記負荷分散計画を立てる、請求項２記載の情報提示システム。
  6. 　前記車両は、
    　前記負荷分散計画の対象外とするデータ処理を予め決定した指定計画を設定する指定計画入力部をさらに有し、
    　前記指定計画は、
    　前記視線検出処理を構成する処理単位ごとに、実行先を前記第１および第２の視線検出部の一方に指定し、
    　前記広告検出処理を構成する処理単位ごとに、実行先を前記第１および第２の広告検出部の一方に指定し、
    　前記データ処理委譲部は、
    　前記指定計画が設定された場合には、前記指定計画に基づいて前記車両および前記サーバにデータ処理を割り当てる、請求項２記載の情報提示システム。
  7. 　前記車両は、
    　前記負荷分散計画の対象外とするデータ処理を予め決定した指定計画を設定する指定計画入力部をさらに有し、
    　前記指定計画は、
    　前記視線検出処理の全体で、実行先を前記第１および第２の視線検出部の一方に指定し、
    　前記広告検出処理の全体で、実行先を前記第１および第２の広告検出部の一方に指定し、
    　前記データ処理委譲部は、
    　前記指定計画が設定された場合には、前記指定計画に基づいて前記車両および前記サーバにデータ処理を割り当てる、請求項２記載の情報提示システム。
  8. 　前記情報出力部は、
    　前記車両および他の車両の少なくとも一方に前記提供情報を出力する、請求項１記載の情報提示システム。
PCT/JP2016/078327 2016-09-27 2016-09-27 情報提示システム WO2018061066A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017508574A JP6143986B1 (ja) 2016-09-27 2016-09-27 情報提示システム
PCT/JP2016/078327 WO2018061066A1 (ja) 2016-09-27 2016-09-27 情報提示システム
DE112016007273.2T DE112016007273T5 (de) 2016-09-27 2016-09-27 Informations-präsentationssystem
US16/323,034 US20190205937A1 (en) 2016-09-27 2016-09-27 Information presentation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/078327 WO2018061066A1 (ja) 2016-09-27 2016-09-27 情報提示システム

Publications (1)

Publication Number Publication Date
WO2018061066A1 true WO2018061066A1 (ja) 2018-04-05

Family

ID=59012171

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/078327 WO2018061066A1 (ja) 2016-09-27 2016-09-27 情報提示システム

Country Status (4)

Country Link
US (1) US20190205937A1 (ja)
JP (1) JP6143986B1 (ja)
DE (1) DE112016007273T5 (ja)
WO (1) WO2018061066A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887443A (zh) * 2019-03-29 2019-06-14 广东邮电职业技术学院 移动广告播放方法、装置、设备及系统
US11704698B1 (en) 2022-03-29 2023-07-18 Woven By Toyota, Inc. Vehicle advertising system and method of using

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010027062A (ja) * 2009-08-21 2010-02-04 Hitachi Ltd 分散制御システム
JP2013200837A (ja) * 2012-03-26 2013-10-03 Fujitsu Ltd 注視対象物推定装置、方法、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3474644B2 (ja) 1994-08-26 2003-12-08 Ｙｋｋ株式会社 一体成形面ファスナー
JPH1153326A (ja) * 1997-07-30 1999-02-26 Internatl Business Mach Corp <Ibm> 分散処理システム、クライアントノード、サーバノードおよび分散処理方法
JP3558887B2 (ja) * 1998-08-28 2004-08-25 株式会社東芝 分散システム、その制御方法、および記憶媒体
JP3920580B2 (ja) 2001-03-14 2007-05-30 トヨタ自動車株式会社 情報提示システム及び情報提示方法
JP4225478B2 (ja) 2002-07-05 2009-02-18 ホシザキ電機株式会社 食器洗浄機のノズル構造
JP5065050B2 (ja) * 2005-12-28 2012-10-31 インターナショナル・ビジネス・マシーンズ・コーポレーション クライアント・サーバ・システムにおける負荷分散
JP5120249B2 (ja) * 2006-03-15 2013-01-16 オムロン株式会社 監視装置および監視方法、制御装置および制御方法、並びにプログラム
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8624758B2 (en) * 2010-03-23 2014-01-07 Mavizon, Llc Communication system including telemetric device for a vehicle connected to a cloud service
US8670183B2 (en) * 2011-03-07 2014-03-11 Microsoft Corporation Augmented view of advertisements
US8879155B1 (en) * 2011-11-09 2014-11-04 Google Inc. Measurement method and system
US20190333109A1 (en) * 2012-03-23 2019-10-31 Google Llc Head-Mountable Display
JP2014052518A (ja) 2012-09-07 2014-03-20 Toyota Motor Corp 広告配信システムおよび広告配信方法
US20140257969A1 (en) * 2013-03-11 2014-09-11 Alexander Pavlovich Topchy Methods and apparatus to measure exposure to mobile advertisements
DE102014109079A1 (de) * 2013-06-28 2014-12-31 Harman International Industries, Inc. Vorrichtung und verfahren zur erfassung des interesses eines fahrers an einer werbeanzeige durch die verfolgung der blickrichtung des fahrers
US20160380914A1 (en) * 2015-06-25 2016-12-29 Here Global B.V. Method and apparatus for providing resource load distribution for embedded systems
US10783558B2 (en) * 2017-08-07 2020-09-22 Harman International Industries, Incorporated System and method for motion onset consumer focus suggestion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010027062A (ja) * 2009-08-21 2010-02-04 Hitachi Ltd 分散制御システム
JP2013200837A (ja) * 2012-03-26 2013-10-03 Fujitsu Ltd 注視対象物推定装置、方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2018061066A1 (ja) 2018-10-11
US20190205937A1 (en) 2019-07-04
JP6143986B1 (ja) 2017-06-07
DE112016007273T5 (de) 2019-06-06

Similar Documents

Publication Publication Date Title
JP6874150B2 (ja) ピクチャベースの車両損害査定の方法および装置、ならびに電子デバイス
KR102418446B1 (ko) 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스
JP6859505B2 (ja) 画像に基づく車両損傷判定方法、装置および電子デバイス
CN111565978B (zh) 主预览区域和基于视线的驾驶员分心检测
GB2553650A (en) Heads up display for observing vehicle perception activity
JP2019535089A (ja) 視覚配分管理を提供するシステムおよび方法
WO2015174050A1 (ja) 表示装置および表示方法
JPWO2016067574A1 (ja) 表示制御装置及び表示制御プログラム
CN113483774B (zh) 导航方法、装置、电子设备及可读存储介质
CN111936345B (zh) 视线引导装置
WO2019012720A1 (ja) 警告出力装置、警告出力方法、及び警告出力システム
CN115056649A (zh) 增强现实抬头显示系统、实现方法、设备及存储介质
CN110678353B (zh) 在vr眼镜中外部地显示车辆内部空间的拍摄图像
JP6143986B1 (ja) 情報提示システム
US11988521B2 (en) Navigation system, navigation display method, and navigation display program
JPWO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
WO2019172333A1 (ja) 駐車支援装置
JP6826010B2 (ja) カメラ運動推定装置、カメラ運動推定方法及びプログラム
CN106095375B (zh) 显示控制方法和装置
CN107832726B (zh) 使用者识别和确认装置及车用中央控制系统
JP6586051B2 (ja) 画像処理装置および画像処理方法
JP2011203766A (ja) 車両用画像処理装置
CN113465611B (zh) 导航方法、装置、电子设备及可读存储介质
US20210197723A1 (en) Information processing apparatus, information processing system, information processing method, and program
CN113360109A (zh) 车载显示方法、设备及车辆

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017508574

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16917620

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16917620

Country of ref document: EP

Kind code of ref document: A1