WO2016092650A1 - 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム - Google Patents

画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2016092650A1
WO2016092650A1 PCT/JP2014/082679 JP2014082679W WO2016092650A1 WO 2016092650 A1 WO2016092650 A1 WO 2016092650A1 JP 2014082679 W JP2014082679 W JP 2014082679W WO 2016092650 A1 WO2016092650 A1 WO 2016092650A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
unit
extraction unit
image
image processing
Prior art date
Application number
PCT/JP2014/082679
Other languages
English (en)
French (fr)
Inventor
諒介 佐々木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US15/514,187 priority Critical patent/US10235768B2/en
Priority to JP2016563338A priority patent/JP6227165B2/ja
Priority to PCT/JP2014/082679 priority patent/WO2016092650A1/ja
Priority to DE112014007249.4T priority patent/DE112014007249B4/de
Priority to CN201480083771.XA priority patent/CN107004363B/zh
Publication of WO2016092650A1 publication Critical patent/WO2016092650A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Definitions

  • the present invention relates to an image processing device, an in-vehicle display system, a display device, an image processing method, and an image processing program.
  • This travel information providing device classifies objects around the vehicle into several groups according to the attributes of the objects, and displays each group in a different color. Examples of objects include other vehicles, pedestrians, signs, signals, pedestrian crossings, and the like.
  • the “attribute” of the object is, for example, the type and distance of the object.
  • the conventional driving information providing device classifies objects having the same type among objects around the vehicle and having a current distance between them below a threshold value in the same group. Future grouping between objects is not considered when grouping objects.
  • the conventional travel information providing device displays four pedestrians as the same group. Therefore, it is difficult for the driver to visually recognize the pedestrian trying to run and the remaining three pedestrians separately. As a result, when the pedestrian actually starts running, the driver is delayed in noticing the pedestrian, which causes an obstacle to safe driving.
  • the conventional technique has a problem that grouping suitable for such a case cannot be performed.
  • the object of the present invention is to appropriately classify objects to be visually recognized separately and objects to be visually recognized together, for example, for the objects highlighted for each group.
  • An image processing apparatus includes: An extraction unit that extracts a plurality of objects from a captured image obtained by photographing a plurality of objects including at least one moving object; A prediction unit that predicts future distances between a plurality of objects extracted by the extraction unit; A classification unit that classifies a plurality of objects extracted by the extraction unit into groups based on a future distance predicted by the prediction unit; A processing unit that processes the captured image into a highlighted image in which a plurality of objects classified by the classification unit are highlighted for each group.
  • the objects are classified into groups based on the future distance between the objects, regardless of the current distance between the objects. For this reason, according to the present invention, it is possible to appropriately classify the objects to be highlighted separately for each group and the objects to be visually recognized separately and the objects to be visually recognized.
  • FIG. 1 is a block diagram illustrating a configuration of an in-vehicle display system according to Embodiment 1.
  • FIG. 3 is a flowchart showing the operation of the in-vehicle display system according to the first embodiment.
  • FIG. 5 is a flowchart showing a procedure of classification processing according to the first embodiment.
  • 4 is a table showing an example of a relationship table according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a highlight image according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a highlight image according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a highlight image according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a highlight image according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a highlight image according to the first embodiment.
  • FIG. 4 is
  • FIG. 4 is a diagram illustrating an example of a highlight image according to the first embodiment.
  • 10 is a table showing an example of a relationship table according to the second embodiment. The figure which shows the example of the hardware constitutions of the vehicle-mounted display system which concerns on embodiment of this invention.
  • Embodiment 1 FIG. First, an outline of the present embodiment will be described.
  • the objects to be photographed are classified into several groups based on the future distance between the objects regardless of the current distance between the objects, and are highlighted for each group. Is done. That is, the future distance between objects is taken into account when grouping objects.
  • “Highlighting” is to make an object visible in a certain image easily visible by enclosing the object in a frame or coloring it.
  • the objects there are moving objects such as vehicles, humans, and animals, and non-moving objects such as signs, signals, and crosswalks. Examples of vehicles include automobiles, motorcycles, and bicycles.
  • the object has an attribute.
  • the “attribute” is, for example, the type, distance, and speed of the object.
  • Type which is a type of attribute, is a characteristic or type that can classify an object regardless of the current state of the object. For example, even if the object is not currently moving, if the object has the ability to move, the type of the object is the moving object. It can be considered that the type has a hierarchy. For example, there are subordinate types such as vehicles, humans, and animals below the moving object. There are lower classes such as automobiles, motorcycles, and bicycles in the lower layer of the vehicle. “Distance” as a kind of attribute is not the “current distance between objects” and “future distance between objects” described above, but from the point where the object was photographed to the object. Is the distance.
  • the current distance between the person who is about to run and the remaining three persons is small, but the future distance is considered to be large. If four people are highlighted together in the same group, it is difficult to see the person who is about to run and the remaining three people separately.
  • the future distance between the four humans is considered, and the human being about to run and the remaining three humans are classified into different groups. Then, an image obtained by photographing four persons is processed into an image in which one person is highlighted as one group and the remaining three persons are highlighted together as another group. Therefore, a person who has seen the processed image can easily visually recognize the person who is about to run and the remaining three persons.
  • the relationship between the objects is also taken into consideration when grouping the objects.
  • the relationship between one vehicle and one person is considered, and the stopped vehicle and the person heading for the vehicle are classified into the same group. An image obtained by photographing one vehicle and one person is processed into an image in which one vehicle and one person are collectively highlighted as one group. Therefore, it becomes easier for a person who has seen the processed image to visually recognize the stopped vehicle and the person who is facing the vehicle.
  • the present embodiment can be applied to driving support.
  • it is possible to perform display with high visibility regarding the surrounding situation of the vehicle by grouping based on the result of the movement prediction of the objects around the vehicle or the result of estimating the relationship between the objects. Become. Therefore, it can contribute to driver's safety confirmation.
  • FIG. 1 is a block diagram showing a configuration of an in-vehicle display system 100 according to the present embodiment.
  • the in-vehicle display system 100 includes an imaging device 110, an image processing device 120, a data storage device 130, and a display device 140.
  • the imaging device 110 is, for example, a stereo camera or a radar.
  • the imaging device 110 is mounted on the vehicle 200.
  • the imaging device 110 captures the periphery of the vehicle 200 and obtains a captured image 101.
  • the captured image 101 is an image obtained by capturing a plurality of objects including at least one moving object.
  • the image processing apparatus 120 is, for example, a computer.
  • the image processing device 120 may be mounted on the vehicle 200, may be brought into the vehicle 200 by a driver, or may be installed outside the vehicle 200.
  • the image processing apparatus 120 includes an extraction unit 121, a prediction unit 122, a classification unit 123, and a processing unit 124.
  • the extraction unit 121 acquires the captured image 101 from the imaging device 110.
  • the extraction unit 121 extracts a plurality of objects from the acquired captured image 101.
  • the plurality of objects include at least one moving object.
  • the extraction unit 121 mainly performs the following three processes on the plurality of extracted objects.
  • the extraction unit 121 calculates the current distance Dc between the extracted objects.
  • current refers to the time when the captured image 101 is captured by the imaging device 110.
  • Current distance between multiple objects refers to the current distance between one of the two objects and the other when there are two objects. When there is an object, it is the current distance between each of the three or more objects and another object.
  • the extraction unit 121 determines the type of each of the plurality of extracted objects. For example, the extraction unit 121 determines whether the type of the target object is a moving object or a non-moving object. In the present embodiment, for the moving object, the extraction unit 121 determines whether the type of the object is a vehicle, a human being, or an animal. Further, the extraction unit 121 determines whether the type of the object is an automobile, a motorcycle, or a bicycle for a vehicle.
  • the extraction unit 121 estimates the current speed Vc of the object that is determined to be the object whose type is moving. For example, the extraction unit 121 estimates the current speed Vc of the object that has been determined that the type is a vehicle or a human.
  • the prediction unit 122 predicts a future distance Df between a plurality of objects extracted by the extraction unit 121.
  • “Future” specifically refers to a time point several seconds, tens of seconds, or minutes after the present.
  • “Future distance between multiple objects” refers to the future distance between one of the two objects and the other, if there are two objects. When there is an object, it is a future distance between each of the three or more objects and another object.
  • the prediction unit 122 performs the movement prediction of the target from the past behavior of the target determined to be the target whose type is moved by the extraction unit 121, and based on the result of the movement prediction, The distance between the target object and the other target object is calculated as the future distance Df.
  • “Past behavior” is data obtained by collecting information obtained by the extraction unit 121 for each time after the target is first extracted by the extraction unit 121, and corresponds to target data 131 described later.
  • the prediction unit 122 determines whether or not the posture of the object whose type is determined to be human by the extraction unit 121 is a starting posture. Based on the determination result, the prediction unit 122 predicts a future distance Df between an object determined to be human by the extraction unit 121 and another object extracted by the extraction unit 121.
  • the classification unit 123 classifies the plurality of objects extracted by the extraction unit 121 into groups based on the future distance Df predicted by the prediction unit 122. That is, the classification unit 123 classifies the objects whose future distances Df predicted by the prediction unit 122 are larger than the threshold Ta among the plurality of objects extracted by the extraction unit 121 into different groups. The classification unit 123 classifies the objects whose future distance Df between them predicted by the prediction unit 122 is smaller than the threshold Ta among the plurality of objects extracted by the extraction unit 121 into the same group. The classification unit 123 classifies the objects having the same future distance Df predicted by the prediction unit 122 as the threshold Ta among the plurality of objects extracted by the extraction unit 121 into the same group. It may also be classified into different groups.
  • the classification unit 123 further includes a plurality of objects extracted by the extraction unit 121 based on the future distance Df predicted by the prediction unit 122 and the type determined by the extraction unit 121. Estimate the relationship between them.
  • the classification unit 123 classifies the plurality of objects into groups based on the estimated relationship. For example, the classification unit 123 classifies the two objects into the same group when it is estimated that there is any one of the following two types of relationships between the two objects.
  • the classification unit 123 estimates that there is a relationship between one object and the other object approaching the two objects, the two objects Are classified into the same group. For example, the classification unit 123 determines that the plurality of objects extracted by the extraction unit 121 are the first object determined to be human by the extraction unit 121 and the type is a vehicle by the extraction unit 121.
  • the second distance estimated by the extraction unit 121 is included in which the future distance Df between the first object and the second object predicted by the prediction unit 122 is smaller than the threshold Ta.
  • the magnitude of the current speed Vc2 of the object is 0, it is estimated that there is a relationship between the first object and the second object, that is, the vehicle and the person who rides the vehicle.
  • the “vehicle” here includes both automobiles and bicycles.
  • the classification unit 123 includes a first object and a second object that are determined to be human by the extraction unit 121 in the plurality of objects extracted by the extraction unit 121, respectively.
  • the classification unit 123 puts the first object and the second object into the same group when the condition of Df ⁇ Ta is established for the combination of the first object and the second object that are humans. Classify.
  • the classification unit 123 estimates that there is a relationship between two objects, that is, an object that moves in a row, the two objects are grouped together.
  • the first condition is that the current distance Dc between the first object and the second object calculated by the extraction unit 121, the first object and the second object predicted by the prediction unit 122, Is a condition that the difference between the distance and the future distance Df is smaller than the threshold value Tb.
  • the second condition is a condition that the current speeds Vc1 and Vc2 of the first object and the second object estimated by the extraction unit 121 are larger than zero.
  • the third condition is that the difference in magnitude between the speeds Vc1 and Vc2 is smaller than the other threshold value Tc.
  • the classification unit 123 sets
  • ⁇ Tc is satisfied, the first object and the second object are classified into the same group.
  • the first object and the second object are, for example, objects that are determined by the extraction unit 121 to be bicycle.
  • the relationship estimated by the classification unit 123 is a relationship of a bicycle running in a row.
  • the “difference” is assumed to be an absolute value.
  • the velocities Vc1 and Vc2 are vectors including directions.
  • the classification unit 123 may estimate the relationship using an angle formed by the speeds Vc1 and Vc2. Specifically, the classification unit 123 determines that the first condition, the third condition, and the condition that the angle formed by the speeds Vc1 and Vc2 is smaller than another threshold value Td are satisfied. It is estimated that there is a relationship of an object that moves in a row between the object and the second object. That is, the classification unit 123 sets
  • the current distance Dc between the first object and the second object calculated by the extraction unit 121 and the first object predicted by the prediction unit 122 are obtained.
  • the plurality of objects are classified into the same group based on the difference between the object and the second object and the future distance Df.
  • the classification unit 123 may estimate various relationships other than the above two types.
  • the processing unit 124 processes the captured image 101 into the highlighted image 102.
  • the highlighted image 102 is an image in which a plurality of objects classified by the classification unit 123 are highlighted for each group.
  • the highlight image 102 is an image in which a plurality of objects classified by the classification unit 123 are surrounded by one frame for each group.
  • the processing unit 124 inputs the highlighted display image 102 to the display device 140.
  • the data storage device 130 is, for example, an HDD (Hard / Disk / Drive) or an SSD (Solid / State / Drive).
  • the data storage device 130 may be mounted on the vehicle 200, may be brought into the vehicle 200 by the driver, or may be installed outside the vehicle 200.
  • the data storage device 130 stores object data 131 and a relationship table 132.
  • the object data 131 is data in which calculation results, determination results, estimation results, and the like of the extraction unit 121 are recorded for each of a plurality of objects extracted by the extraction unit 121 of the image processing apparatus 120.
  • the object data 131 is referred to by the prediction unit 122 of the image processing apparatus 120.
  • the relationship table 132 is a table in which combinations of types of objects that are related to each other are defined in advance.
  • the relationship table 132 is referred to by the classification unit 123 of the image processing apparatus 120.
  • the display device 140 is, for example, an LCD (Liquid / Crystal / Display) or an HUD (Head-Up / Display). Display device 140 is mounted on vehicle 200. The display device 140 outputs the highlighted image 102 input by the processing unit 124 of the image processing device 120.
  • the display device 140 includes an input unit 141 and an output unit 142.
  • the input unit 141 receives an input of the highlighted image 102 from the processing unit 124 of the image processing apparatus 120. That is, the highlight image 102 is input to the input unit 141.
  • the output unit 142 outputs the highlighted image 102 input to the input unit 141.
  • the highlight image 102 is an image obtained by processing the captured image 101 obtained by photographing a plurality of objects including at least one moving object, and the predicted images of the plurality of objects. It is the image which highlighted the said several target object classified into the group based on the future distance Df of every for every group.
  • the future distance Df between the objects is taken into consideration when grouping the objects. Therefore, more appropriate grouping is performed as compared with the case where the future distance Df between the objects is not considered. That is, even if the current distance Dc between the objects is small, if the future distance Df between the objects is predicted to be large, the objects are separately highlighted in the highlight image 102. . Therefore, it is easy for the driver of the vehicle 200 to visually recognize these objects separately.
  • safe driving can be supported by highlighting the object for each unit that the driver should visually recognize according to the future distance Df between the objects.
  • the image processing device 120, the data storage device 130, and the display device 140 may be integrated, or any two may be integrated and the other may be separate, or each one may be separate. It may be.
  • the display device 140 is mounted as a navigation device, DA (Display / Audio), or HUD mounted on the vehicle 200.
  • the image processing device 120 is implemented as a mobile terminal such as a smartphone, a tablet, or a mobile phone.
  • the image processing device 120 is implemented as a server computer.
  • the image processing device 120 is mounted as a navigation device together with the display device 140.
  • the data storage device 130 is implemented as a portable terminal or a server computer together with the image processing device 120.
  • the data storage device 130 is implemented as a navigation device together with the display device 140.
  • the data storage device 130 is implemented as a storage medium separate from the image processing device 120 and the display device 140.
  • the portable terminal is brought into the vehicle 200 by the driver and communicates with the imaging device 110 and the display device 140 by wire or wireless.
  • the server computer is installed in a data center or the like, and communicates with the imaging device 110 and the display device 140 via a network such as the Internet.
  • the system according to the present embodiment may be a display system other than the in-vehicle display system 100. That is, the present embodiment can be applied to uses other than assistance for driving the vehicle 200. For example, the present embodiment can also be applied to security monitoring support for houses, offices, and the like. In that case, the imaging device 110 and the display device 140 are appropriately installed in a place other than the vehicle 200.
  • FIG. 2 is a flowchart showing the operation of the in-vehicle display system 100 corresponding to the display method according to the present embodiment.
  • FIG. 3 is a table showing an example of the object data 131.
  • S12 in FIG. 2 is an extraction process.
  • S13 in FIG. 2 is a prediction process.
  • S14 in FIG. 2 is a classification process.
  • S15 in FIG. 2 is image processing.
  • S16 in FIG. 2 is a display process.
  • S12 to S15 are operations of the image processing apparatus 120 corresponding to the image processing method according to the present embodiment or the processing procedure of the image processing program according to the present embodiment.
  • the imaging device 110 captures the periphery of the vehicle 200 to obtain a captured image 101.
  • the captured image 101 is a three-dimensional still image or moving image in which the periphery of the vehicle 200 is reflected.
  • the imaging device 110 is a radar
  • the captured image 101 is a radar image indicating the distance to an obstacle around the vehicle 200.
  • the extraction unit 121 of the image processing device 120 extracts an object from the captured image 101 obtained in S11.
  • the extraction unit 121 determines the attribute of the extracted object.
  • the extraction unit 121 extracts the feature amount of the object from the captured image 101 obtained in S11 for each extracted object.
  • the data storage device 130 stores in advance a reference value or reference range of the feature amount of the object for each type of object.
  • the extraction unit 121 determines the type of the extracted object by comparing the extracted feature quantity with a reference value or a reference range using a discriminator that is software having a pattern recognition function such as neural network and machine learning. To do.
  • the extraction unit 121 writes data in which the current time, the extracted feature amount, and the determined type are recorded as the object data 131 illustrated in FIG. 3 in the data storage device 130.
  • the extraction unit 121 calculates the current relative position of the object from the captured image 101 obtained in S11 for each extracted object.
  • the “current relative position” is, for example, the current distance and direction from the vehicle 200 to the object.
  • the imaging device 110 is a stereo camera
  • the extraction unit 121 calculates the distance and direction from the vehicle 200 to the object based on the parallax of the stereo camera.
  • the imaging device 110 is a radar
  • the extraction unit 121 calculates the distance and direction from the radar observation values. As shown in FIG. 3, the current relative position calculated by the extraction unit 121 is also recorded in the object data 131.
  • the extraction unit 121 calculates, for each extracted object, a current distance Dc that is a difference between the calculated current relative position and the current relative position of another object. Although not shown in FIG. 3, the current distance Dc calculated by the extraction unit 121 may be recorded in the object data 131.
  • the extraction unit 121 determines, for each extracted object, whether or not the same object has been extracted last time by comparing the feature amount extracted this time with the feature amount extracted last time. If the extraction unit 121 determines that the same object has been extracted in the previous time, the extraction unit 121 estimates the current speed Vc of the object from the calculated current relative position and the previously calculated relative position. For example, the extraction unit 121 reads from the data storage device 130 target object data 131 that records the time when the captured image 101 was previously captured by the imaging device 110 and the feature amount close to the feature amount extracted this time. Whether or not the feature amount extracted this time is similar to the feature amount extracted last time is determined using the above-described classifier.
  • the extraction unit 121 extracts the object.
  • the current speed Vc is calculated.
  • the extraction unit 121 may calculate the average speed of the target object from a series of time-series data of the relative position as well as referring to the current relative position and the previous relative value. As shown in FIG. 3, the current speed Vc estimated by the extraction unit 121 is also recorded in the object data 131.
  • the prediction unit 122 of the image processing device 120 includes the target data 131 written in the data storage device 130 in S12 and the target data determined in S12 for each target determined to be a target that moves in S12.
  • the movement of the object is predicted with reference to the object data 131 written in the past.
  • a Kalman filter or a particle filter can be used.
  • the prediction unit 122 determines whether or not the human has started running by posture estimation, and predicts a future speed.
  • a posture estimation method for example, using the above-described classifier, a method of identifying a posture by learning a posture in which a human starts running and a posture that is not so can be used.
  • the prediction unit 122 extracted in S12 whether or not the same object was continuously extracted from the past for each object determined to be an object whose type moves in S12. Judgment is made by comparing the feature quantity with the feature quantity extracted in the past by the extraction unit 121. When it is determined that the same object has been continuously extracted from the past, the prediction unit 122 predicts the future relative position of the object from the history of the relative position and the speed. “Future relative position” is, for example, the future distance and direction from the vehicle 200 to the object. For example, the prediction unit 122 reads from the data storage device 130 the object data 131 in which the feature amount close to the feature amount extracted in S12 is recorded.
  • the prediction unit 122 uses the relative position, speed, and time recorded in the read object data 131, the current relative position calculated in S12, the speed estimated in S12, and the current time. Analyze time-series changes in relative position and velocity of objects. When the position of the vehicle 200 has changed due to the traveling of the vehicle 200, the prediction unit 122 corrects the relative position recorded in the read object data 131 based on the change in the position of the vehicle 200. Analyze time-series changes in relative position and velocity of objects. The prediction unit 122 predicts the future relative position of the object from the analysis result.
  • the prediction unit 122 calculates a future distance Df that is a difference between the predicted future relative position and the future relative position of another object for each object that is determined to be an object whose type moves in S12. calculate.
  • the classification unit 123 of the image processing apparatus 120 classifies the objects extracted in S12 into groups based on the future distance Df predicted in S13. That is, the classification unit 123 determines a group to which the object belongs for each object extracted in S12. Details of S14 will be described later.
  • the processing unit 124 of the image processing apparatus 120 processes the captured image 101 obtained in S11 to generate the highlighted image 102.
  • the highlighted display image 102 is an image in which the object extracted in S12 is highlighted for each group determined in S14.
  • the highlighted image 102 is an image in which the object extracted in S12 is surrounded by one frame for each group determined in S14.
  • the display device 140 outputs the highlighted display image 102 generated in S15.
  • FIG. 4 is a flowchart showing the procedure of the classification process which is S14 of FIG.
  • FIG. 5 is a table showing an example of the relationship table 132.
  • the classification unit 123 of the image processing device 120 selects a first target and a second target that are arbitrary two targets from the targets extracted in S12 of FIG. 2. .
  • the classification unit 123 obtains the object data 131 written in the data storage device 130 in S12 of FIG. 2 for the first object and the second object selected in S21 from the data storage device 130.
  • the type of the first object and the type of the second object are specified. That is, the classification unit 123 specifies a combination of types of the first object and the second object selected in S21.
  • the classification unit 123 searches the relationship table 132 stored in the data storage device 130 for the combination of the types specified in S22.
  • condition and “condition” are satisfied for each combination of two object types that are “first object” and “second object”. In this case, it is defined whether or not there is a “relationship” between the “first object” and the “second object”. If a certain “condition” is satisfied, and if the “condition” is satisfied, it is defined that there is a “relation”, the “first object” and the “second object” are Classified into the same group. On the other hand, when a certain “condition” is satisfied, if it is defined that there is no “relation” when the “condition” is satisfied, the “first object” and the “second object” Are classified into different groups.
  • the difference between the current distance Dc between the bicycle and another bicycle and the future distance Df between the bicycle and another bicycle is less than the threshold Tb
  • Condition C4 is satisfied that the current speeds Vc1 and Vc2 between the bicycle and another bicycle are larger than 0, and the difference between the current speeds Vc1 and Vc2 between the bicycle and another bicycle is smaller than the threshold Tc. It is defined that it should be assumed that there is a relationship of running bicycles in a row.
  • the classification unit 123 relates the future distance Df between the first object and the second object predicted in S13 of FIG. 2 to the combination of types searched in S23. It is determined whether the conditions defined in the table 132 are satisfied. If necessary, the classification unit 123 further calculates the current distance Dc between the first object and the second object calculated in S12 of FIG. 2 and the first object estimated in S12 of FIG. Any or all of the current speed Vc1 of the object and the current speed Vc2 of the second object estimated in S12 of FIG. 2 are defined in the relationship table 132 for the combination of types searched in S23. It is determined whether or not the conditions that are set are satisfied.
  • the relationship table 132 defines that there is a relationship between the first object and the second object when the condition is satisfied. Determine whether or not. If there is a relationship defined in the relationship table 132, the classification unit 123 classifies the first object and the second object into the same group. On the other hand, when the classification unit 123 determines that the condition is not satisfied, or when the relationship is defined in the relationship table 132 that there is no relationship, the classification unit 123 determines that the first object and the second object Into different groups.
  • FIG. 6 to 9 are diagrams showing examples of the highlight image 102.
  • FIG. 6 to 9 are diagrams showing examples of the highlight image 102.
  • one person 301 and three persons 302 to 304 are surrounded by separate frames 305 and 306.
  • the classification unit 123 can estimate that there is no specific relationship when the condition C1 is satisfied by referring to the relationship table 132. Therefore, in S24 of FIG.
  • the classification unit 123 estimates that there is no relationship between the human 301 and the human 302, and classifies the human 301 and the human 302 into different groups. On the other hand, the classification unit 123 classifies the human 302 and the human 303 into the same group based on another definition in the relationship table 132 (not shown). Similarly, the classification unit 123 classifies the human 302 and the human 304 into the same group. In S15 of FIG. 2, the processing unit 124 generates the highlighted image 102 as shown in FIG.
  • the person 311 and the automobile 312 are collectively surrounded by one frame 313.
  • the human 311 is heading toward the automobile 312 at a position away from the automobile 312 that is stopped.
  • the current distance Dc between the human 311 and the automobile 312 is large, but the future distance Df is considered to be zero.
  • the human 311 is the first object
  • the car 312 is the second object
  • the classification unit 123 can estimate that there is a relationship between the automobile 312 and the person 311 riding in the automobile 312 when the condition C2 is satisfied. Therefore, in S24 of FIG. 4, the classification unit 123 classifies the human 311 and the automobile 312 into the same group.
  • the processing unit 124 generates the highlighted image 102 as shown in FIG.
  • two bicycles 321 and 322 are collectively surrounded by a single frame 323.
  • the bicycle 321 is the first object
  • the bicycle 322 is the second object
  • the current distance Dc between the bicycle 321 and the bicycle 322 calculated in S12 of FIG. 2 is predicted in S13 of FIG.
  • the difference between the future distance Df between the bicycle 321 and the bicycle 322 is smaller than the threshold value Tb, and the magnitudes of the current speeds Vc1 and Vc2 between the bicycle 321 and the bicycle 322 estimated in S12 of FIG.
  • the classification unit 123 can estimate that there is a relationship of the bicycles 321 and 322 that run in a row when the condition C4 is satisfied. Therefore, in S24 of FIG. 4, the classification unit 123 classifies the bicycle 321 and the bicycle 322 into the same group. In S15 of FIG. 2, the processing unit 124 generates the highlighted image 102 as shown in FIG.
  • the classification unit 123 predicts the movement of the rear bicycle 322 in S13 of FIG. 2 instead of whether or not the condition C4 is satisfied or in addition to whether or not the condition C4 is satisfied. From the result, it may be determined whether or not the rear bicycle 322 follows the movement locus of the front bicycle 321.
  • the processing unit 124 may generate the highlighted image 102 as shown in FIG. 9 instead of the highlighted image 102 as shown in FIG.
  • the highlighted image 102 shown in FIG. 8 is an image obtained by photographing the side of the vehicle 200, and two bicycles 321 and 322 shown in the image are collectively surrounded by one frame 323.
  • the highlighted image 102 shown in FIG. 9 is an image obtained by photographing the front of the vehicle 200, and substitutes for the front bicycle 321 shown in the image and the rear bicycle 322 not shown in the image.
  • the mark 324 and the arrow 325 are collectively surrounded by one frame 323. In the highlighted image 102 shown in FIG. 9, the mark 324 and the arrow 325 can be regarded as one object.
  • the objects are classified into groups based on the future distance Df between the objects regardless of the current distance Dc between the objects. For this reason, according to the present embodiment, it is possible to appropriately classify the objects to be highlighted separately for each group and the objects to be visually recognized separately and the objects to be visually recognized.
  • one of the four humans 301 to 304 takes a posture in which one human 301 starts running. Therefore, the image processing apparatus 120 predicts that the current distance Dc between one person 301 and the remaining three persons 302 to 304 is small, but the future distance Df is large.
  • the image processing apparatus 120 generates a highlighted image 102 in which one person 301 and the remaining three persons 302 to 304 are surrounded by separate frames 305 and 306.
  • the driver who sees the highlighted image 102 can visually recognize the human 301 separately from the remaining three humans 302 to 304 at least from the moment when the human 301 starts running. Therefore, it becomes easier for the driver to pay attention to the person 301 who starts running, and safe driving is possible.
  • the objects are further classified into groups according to the relationship between the objects. For this reason, according to the present embodiment, it is possible to more appropriately classify objects to be visually recognized separately and objects to be visually recognized together with respect to the objects highlighted for each group. .
  • the image processing apparatus 120 predicts that the current distance Dc between the human 311 and the automobile 312 is large, but the future distance Df is small.
  • the image processing apparatus 120 estimates that there is a relationship between the person 311 and the automobile 312, that is, the automobile 312 and the person 311 riding in the automobile 312.
  • the image processing apparatus 120 generates a highlighted image 102 in which the person 311 and the automobile 312 are collectively surrounded by a single frame 313.
  • the driver who sees the highlighted image 102 can view the human 311 and the automobile 312 together before the human 311 gets into the automobile 312. Accordingly, the driver can easily pay attention to other objects, and the area between the object and the object can be recognized as an area to be noted, thereby enabling safe driving.
  • Embodiment 2 FIG. In the present embodiment, differences from the first embodiment will be mainly described.
  • the extraction unit 121 of the image processing apparatus 120 determines whether the type of the object is a child for a human.
  • the extraction unit 121 calculates the change amount Ma of the movement of the object determined to be a child or an animal.
  • the extraction unit 121 further determines whether the type of the object is a person who has come out from the driver's seat of the car and whether the type of the object is a person who has come out from the back seat of the car. Determine.
  • the classification unit 123 of the image processing device 120 includes a plurality of objects extracted by the extraction unit 121, a first object determined by the extraction unit 121 as a type, and an extraction unit. And the second object whose type is determined to be a child or an animal by 121 and the movement change amount Ma of the second object calculated by the extraction unit 121 is larger than another threshold Te.
  • the one object and the second object are classified into different groups.
  • the first object may be an object determined by the extraction unit 121 as not being a child, or may be an object determined by the extraction unit 121 as being a child.
  • the processing unit 124 of the image processing device 120 causes the classification unit 123 to store at least one of the two or more objects previously classified into the same group by the classification unit 123.
  • a format different between the at least one target object and the remaining target object is used as the highlighting format in the highlight image 102.
  • group A when an object previously included in group A is separated from group A to form its own group B, the object belonging to group A is surrounded by the same thickness and color frame as before, and group B It is conceivable that the object belonging to the group A is thicker than the group A or surrounded by a frame having a different color from the group A.
  • an object belonging to group B is surrounded by a frame having the same thickness and color as the frame surrounding group A, and an object belonging to group A is thicker than group B or a frame having a different color from group B. It is possible to enclose. In the former case, attention to objects belonging to group B can be more strongly alerted. In the latter case, attention to objects belonging to group A can be more strongly alerted.
  • the extraction unit 121 determines whether the same object has been continuously extracted from the past for each object determined to be a child or an animal, and the feature amount extracted in S12. Judgment is made by comparison with a feature amount extracted in the past by the extraction unit 121.
  • the extraction unit 121 calculates the change amount Ma of the movement of the object from the history of the relative position and speed. Note that the extraction unit 121 may calculate the optical flow of the target object instead of the history of the relative position and speed, and calculate the change amount Ma of the target object from the calculation result.
  • the movement change amount Ma calculated by the extraction unit 121 is also recorded in the object data 131 written to the data storage device 130 by the extraction unit 121.
  • FIG. 10 is a table showing an example of the relationship table 132.
  • the relationship table 132 is the same as that shown in FIG. 5 for each combination of two object types, which are “first object” and “second object”.
  • first object and “second object”.
  • second object In addition to “condition” and “relationship”, when grouping is canceled, “which indicates which one of“ first object ”and“ second object ”is to be highlighted more strongly is displayed.
  • Target object after release is defined. “When grouping is released” refers to a case where two objects classified into the same group are classified into different groups.
  • the relationship between the animal and the human accompanying the animal is It is defined that the animal should be highlighted more strongly when the condition C9 that the change amount Ma of the movement of the animal is greater than the threshold value Te is satisfied.
  • a condition estimated to have a relationship among the plurality of conditions and a relationship When conditions that are not estimated to be present are mixed, priority is given to conditions that are estimated not to be related. For example, even if both the condition C8 and the condition C9 are satisfied for a combination of a human and an animal, the condition C9 is given priority and the human and the animal are classified into different groups.
  • the priority order set in advance for each condition is assumed.
  • the classification unit 123 can estimate that there is a relationship between an animal and a human accompanying the animal when the condition C8 is satisfied. Therefore, in S24 of FIG. 4, the classification unit 123 classifies humans and animals into the same group.
  • the classification unit 123 can estimate that there is no specific relationship when the condition C9 is satisfied. Therefore, in S24 of FIG. 4, the classification unit 123 classifies humans and animals into different groups. In addition, when the condition C9 is satisfied, the classification unit 123 classifies humans and animals into different groups by estimating the relationship between humans and dangerous animals they carry. You may think.
  • the classification unit 123 cancels the grouping when the condition that is estimated to have no relationship defined in the relationship table 132 is satisfied.
  • the processing unit 124 processes the captured image 101 obtained in S11 to generate the highlighted image 102. If at least one of the two or more objects classified in the same group in S14 is classified in a different group from the remaining objects in S14, the processing unit 124 stores the data in the data storage device 130. With reference to the relationship table 132, the highlighted image 102 is generated by highlighting the objects classified into one of the groups more strongly than the objects classified into the other group.
  • the grouping can be canceled to make it easier to pay attention to the child or animal.
  • the grouping can be canceled to make it easier to pay attention to a person or a car.
  • FIG. 11 is a diagram illustrating an example of a hardware configuration of the in-vehicle display system 100 according to the embodiment of the present invention.
  • the in-vehicle display system 100 is a computer and includes hardware such as an output device 910, an input device 920, a storage device 930, and a processing device 940.
  • the hardware is used by each unit of the image processing apparatus 120 such as the extraction unit 121, the prediction unit 122, the classification unit 123, and the processing unit 124.
  • the output device 910 is, for example, a display device 140, a printer, or a communication module.
  • the output device 910 is used by each unit of the image processing device 120 for outputting or transmitting data, information, and signals.
  • the input device 920 is, for example, the imaging device 110, a keyboard, a mouse, a touch panel, and a communication module.
  • the input device 920 is used by each unit of the image processing device 120 to input or receive data, information, and signals.
  • the storage device 930 is, for example, a data storage device 130, a ROM (Read / Only / Memory), a RAM (Random / Access / Memory), an HDD, or an SSD.
  • the storage device 930 stores a program 931 and a file 932.
  • the program 931 includes a program that executes processing of each unit of the image processing apparatus 120.
  • the file 932 includes data, information, signals, and the like that are calculated, processed, read, written, used, input, output, and the like by each unit of the image processing apparatus 120.
  • the file 932 stored in the data storage device 130 includes the object data 131 and the relationship table 132.
  • the processing device 940 is, for example, a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the processing device 940 is connected to other hardware devices via a bus or the like, and controls those hardware devices.
  • the processing device 940 reads the program 931 from the storage device 930 and executes the program 931.
  • the processing device 940 is used for performing calculation, processing, reading, writing, use, input, output, and the like by each unit of the image processing device 120.
  • a plurality of processing devices 940 may execute the program 931 in cooperation.
  • the GPU may execute the processing of the processing unit 124 that processes the captured image 101 into the highlighted image 102
  • the CPU may execute the processing of the other extraction unit 121, the prediction unit 122, and the classification unit 123.
  • Each unit of the image processing device 120 may be a unit obtained by replacing “unit” with “circuit”, “device”, and “device”.
  • each unit of the image processing apparatus 120 may be obtained by replacing “part” with “process”, “procedure”, and “process”. That is, each unit of the image processing apparatus 120 is realized only by software, only hardware, or a combination of software and hardware.
  • the software may be stored in advance as the program 931 in the storage device 930, downloaded from a network such as the Internet and stored in the storage device 930, or moved or copied from a removable recording medium. It may be stored in the storage device 930.
  • the program 931 causes a computer to function as each unit of the image processing apparatus 120.
  • the program 931 causes the computer to execute processing of each unit of the image processing apparatus 120.
  • the hardware may be, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Gate Array), or a combination of discrete elements.
  • 100 in-vehicle display system 101 photographed image, 102 highlighted image, 110 imaging device, 120 image processing device, 121 extraction unit, 122 prediction unit, 123 classification unit, 124 processing unit, 130 data storage device, 131 object data, 132 Relationship table, 140 display device, 141 input unit, 142 output unit, 200 vehicle, 301-304 human, 305,306 frame, 311 human, 312 car, 313 frame, 321,322 bicycle, 323 frame, 324 mark, 325 Arrow, 910 output device, 920 input device, 930 storage device, 931 program, 932 file, 940 processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　画像処理装置（１２０）において、抽出部（１２１）は、撮影画像（１０１）から複数の対象物を抽出する。予測部（１２２）は、抽出部（１２１）により抽出された複数の対象物の間の将来の距離を予測する。分類部（１２３）は、予測部（１２２）により予測された将来の距離に基づいて、抽出部（１２１）により抽出された複数の対象物をグループに分類する。処理部（１２４）は、撮影画像（１０１）を強調表示画像（１０２）に加工する。強調表示画像（１０２）は、分類部（１２３）により分類された複数の対象物をグループごとに強調表示した画像である。

Description

画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
　本発明は、画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラムに関するものである。
　従来、運転者の視認状態を走行情報として提供することで運転を支援する走行情報提供装置がある（例えば、特許文献１参照）。この走行情報提供装置は、車両の周辺の対象物を、対象物の属性によりいくつかのグループに分類し、それぞれのグループを異なる色で表示する。対象物としては、他の車両、歩行者、標識、信号、横断歩道等がある。対象物の「属性」とは、例えば、対象物の種別及び距離のことである。
国際公開第２００８／０２９８０２号
　従来の走行情報提供装置は、車両の周辺の対象物のうち、種別が同じであり、互いの間の現在の距離が閾値以下である対象物を同じグループに分類する。対象物のグルーピングの際に、対象物の間の将来の距離は考慮されない。
　例えば、互いに接近して立っている４人の歩行者のうち、１人の歩行者が走り出す姿勢をとっていたとする。この場合、走り出そうとしている歩行者と残りの３人の歩行者との間の現在の距離は小さいが、将来の距離は大きくなると考えられる。しかし、従来の走行情報提供装置は、４人の歩行者を同じグループとして表示する。そのため、運転者は、走り出そうとしている歩行者と残りの３人の歩行者とを別々に視認しにくい。その結果、歩行者が実際に走り出した際に、運転者が、その歩行者に気づくのが遅れてしまい、安全運転に支障をきたすことになる。
　上記のように、対象物の間の現在の距離が閾値以下でも、対象物の間の将来の距離によっては、対象物を別々に視認すべき場合がある。しかし、従来の技術では、そのような場合に適したグルーピングができないという課題があった。
　本発明は、例えば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを適切に分類することを目的とする。
　本発明の一の態様に係る画像処理装置は、
　移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出する抽出部と、
　前記抽出部により抽出された複数の対象物の間の将来の距離を予測する予測部と、
　前記予測部により予測された将来の距離に基づいて、前記抽出部により抽出された複数の対象物をグループに分類する分類部と、
　前記撮影画像を、前記分類部により分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する処理部とを備える。
　本発明では、対象物の間の現在の距離に関わらず、対象物の間の将来の距離に基づいて、対象物がグループに分類される。このため、本発明によれば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを適切に分類することが可能となる。
実施の形態１に係る車載表示システムの構成を示すブロック図。 実施の形態１に係る車載表示システムの動作を示すフローチャート。 実施の形態１に係る対象物データの例を示す表。 実施の形態１に係る分類処理の手順を示すフローチャート。 実施の形態１に係る関係性テーブルの例を示す表。 実施の形態１に係る強調表示画像の例を示す図。 実施の形態１に係る強調表示画像の例を示す図。 実施の形態１に係る強調表示画像の例を示す図。 実施の形態１に係る強調表示画像の例を示す図。 実施の形態２に係る関係性テーブルの例を示す表。 本発明の実施の形態に係る車載表示システムのハードウェア構成の例を示す図。
　以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一又は相当する部分には、同一符号を付している。実施の形態の説明において、同一又は相当する部分については、その説明を適宜省略又は簡略化する。
　実施の形態１．
　まず、本実施の形態の概要について説明する。
　本実施の形態では、撮影される対象物が、対象物の間の現在の距離に関わらず、対象物の間の将来の距離に基づいて、いくつかのグループに分類され、グループごとに強調表示される。即ち、対象物のグルーピングの際に、対象物の間の将来の距離が考慮される。「強調表示」とは、ある画像に映っている対象物を枠で囲ったり、色づけしたりして、その画像内で対象物を視認しやすくすることである。対象物としては、車両、人間、動物といった移動する対象物と、標識、信号、横断歩道といった移動しない対象物とがある。車両としては、自動車、自動二輪車、自転車等がある。対象物は、属性を有する。「属性」とは、例えば、対象物の種別及び距離及び速度のことである。属性の一種である「種別」とは、対象物の現在の状態に関わらず、対象物を区分することができる特性又は種類のことである。例えば、対象物が現在移動していなくても、移動する能力を持っていれば、その対象物の種別は、移動する対象物である。種別には階層があると考えることができる。例えば、移動する対象物の下層には、車両、人間、動物といった下位の種別がある。車両の下層には、自動車、自動二輪車、自転車等のさらに下位の種別がある。属性の一種である「距離」とは、前述した「対象物の間の現在の距離」及び「対象物の間の将来の距離」のことではなく、対象物が撮影された地点から対象物までの距離のことである。
　例えば、互いに接近して立っている４人の人間のうち、１人の人間が走り出す姿勢をとっていたとする。この場合、走り出そうとしている人間と残りの３人の人間との間の現在の距離は小さいが、将来の距離は大きくなると考えられる。仮に４人の人間が同じグループとしてまとめて強調表示された場合、走り出そうとしている人間と残りの３人の人間とを別々に視認することは難しい。本実施の形態では、４人の人間の間の将来の距離が考慮され、走り出そうとしている人間と残りの３人の人間とが異なるグループに分類される。そして、４人の人間を撮影した画像が、１人の人間を１つのグループとして強調表示し、残りの３人の人間を別のグループとしてまとめて強調表示した画像に加工される。そのため、加工された画像を見た者は、走り出そうとしている人間と残りの３人の人間とを別々に視認しやすい。
　本実施の形態では、対象物のグルーピングの際に、対象物の間の関係性も考慮される。
　例えば、停まっている１台の車両から離れた位置で、１人の人間が、その車両に向かっていたとする。この場合、停まっている車両と車両に向かっている人間との間の現在の距離は大きいが、将来の距離は０になると考えられる。また、停まっている車両と車両に向かっている人間との間には、車両及びその車両に乗る人間という関係性があると考えられる。仮に１台の車両と１人の人間とが異なるグループとして別々に強調表示された場合、停まっている車両と車両に向かっている人間とをまとめて視認することは難しい。しかし、このような場合は、両方をまとめて視認できたほうが効率的である。本実施の形態では、１台の車両と１人の人間との間の関係性が考慮され、停まっている車両と車両に向かっている人間とが同じグループに分類される。そして、１台の車両と１人の人間とを撮影した画像が、１台の車両と１人の人間とを１つのグループとしてまとめて強調表示した画像に加工される。そのため、加工された画像を見た者は、停まっている車両と車両に向かっている人間とをまとめて視認しやすくなる。
　例えば、本実施の形態は、運転の支援に適用することができる。本実施の形態では、車両の周辺にある対象物の移動予測の結果、又は、対象物間の関係性の推定の結果に基づくグルーピングによって、車両の周辺状況に関し、視認性の高い表示が可能となる。よって、運転者の安全確認に資することができる。
　次に、本実施の形態の詳細として、本実施の形態に係るシステムの構成、本実施の形態に係るシステムの動作、本実施の形態の効果を順番に説明する。
　＊＊＊構成の説明＊＊＊
　図１は、本実施の形態に係る車載表示システム１００の構成を示すブロック図である。
　図１に示すように、車載表示システム１００は、撮像装置１１０と、画像処理装置１２０と、データ記憶装置１３０と、表示装置１４０とを備える。
　撮像装置１１０は、例えば、ステレオカメラ又はレーダである。撮像装置１１０は、車両２００に搭載される。撮像装置１１０は、車両２００の周辺を撮影して撮影画像１０１を得る。撮影画像１０１は、移動する対象物を少なくとも１つ含む複数の対象物を撮影した画像である。
　画像処理装置１２０は、例えば、コンピュータである。画像処理装置１２０は、車両２００に搭載されてもよいし、運転者によって車両２００に持ち込まれてもよいし、車両２００の外部に設置されてもよい。画像処理装置１２０は、抽出部１２１と、予測部１２２と、分類部１２３と、処理部１２４とを備える。
　抽出部１２１は、撮像装置１１０から撮影画像１０１を取得する。抽出部１２１は、取得した撮影画像１０１から複数の対象物を抽出する。前述したように、複数の対象物には、移動する対象物が少なくとも１つ含まれる。
　抽出部１２１は、抽出した複数の対象物について、主に、以下の３つの処理を行う。
　第１の処理として、抽出部１２１は、抽出した複数の対象物の間の現在の距離Ｄｃを算出する。「現在」とは、具体的には、撮像装置１１０により撮影画像１０１が撮影された時点のことである。「複数の対象物の間の現在の距離」とは、２つの対象物がある場合には、当該２つの対象物の一方と他方との間の現在の距離のことであり、３つ以上の対象物がある場合には、当該３つ以上の対象物のそれぞれと他の対象物との間の現在の距離のことである。
　第２の処理として、抽出部１２１は、抽出した複数の対象物のそれぞれの種別を判定する。例えば、抽出部１２１は、対象物の種別が移動する対象物なのか、それとも移動しない対象物なのかを判定する。本実施の形態では、抽出部１２１は、移動する対象物については、対象物の種別が車両であるか、人間であるか、それとも動物であるかを判定する。さらに、抽出部１２１は、車両については、対象物の種別が自動車であるか、自動二輪車であるか、それとも自転車であるかを判定する。
　第３の処理として、抽出部１２１は、種別が移動する対象物であると判定した対象物の現在の速度Ｖｃを推定する。例えば、抽出部１２１は、種別が車両又は人間であると判定した対象物の現在の速度Ｖｃを推定する。
　予測部１２２は、抽出部１２１により抽出された複数の対象物の間の将来の距離Ｄｆを予測する。「将来」とは、具体的には、現在から数秒又は数十秒又は数分後の時点のことである。「複数の対象物の間の将来の距離」とは、２つの対象物がある場合には、当該２つの対象物の一方と他方との間の将来の距離のことであり、３つ以上の対象物がある場合には、当該３つ以上の対象物のそれぞれと他の対象物との間の将来の距離のことである。例えば、予測部１２２は、抽出部１２１により種別が移動する対象物であると判定された対象物の過去の挙動から、その対象物の移動予測を行い、移動予測の結果に基づいて、移動後の対象物と他の対象物との間の距離を将来の距離Ｄｆとして算出する。「過去の挙動」とは、対象物が抽出部１２１により最初に抽出されてから、抽出部１２１により得られた情報を時刻ごとにまとめたデータであり、後述する対象物データ１３１に相当する。
　移動予測の処理の一種として、予測部１２２は、抽出部１２１により種別が人間であると判定された対象物の姿勢が走り出す姿勢であるかどうかを判断する。予測部１２２は、判断結果に基づいて、抽出部１２１により種別が人間であると判定された対象物と抽出部１２１により抽出された他の対象物との間の将来の距離Ｄｆを予測する。
　分類部１２３は、予測部１２２により予測された将来の距離Ｄｆに基づいて、抽出部１２１により抽出された複数の対象物をグループに分類する。即ち、分類部１２３は、抽出部１２１により抽出された複数の対象物のうち、予測部１２２により予測された互いの間の将来の距離Ｄｆが閾値Ｔａより大きい対象物を異なるグループに分類する。分類部１２３は、抽出部１２１により抽出された複数の対象物のうち、予測部１２２により予測された互いの間の将来の距離Ｄｆが閾値Ｔａより小さい対象物を同じグループに分類する。分類部１２３は、抽出部１２１により抽出された複数の対象物のうち、予測部１２２により予測された互いの間の将来の距離Ｄｆが閾値Ｔａと同じ対象物については、同じグループに分類してもよいし、異なるグループに分類してもよい。
　本実施の形態では、分類部１２３は、さらに、予測部１２２により予測された将来の距離Ｄｆと抽出部１２１により判定された種別とに基づいて、抽出部１２１により抽出された複数の対象物の間の関係性を推定する。分類部１２３は、推定した関係性によって当該複数の対象物をグループに分類する。例えば、分類部１２３は、２つの対象物の間に、以下の２種類のいずれかの関係性があることを推定したときに、当該２つの対象物を同じグループに分類する。
　第１の種類の関係性として、分類部１２３は、２つの対象物の間に、一方の対象物に他方の対象物が近づくという関係性があることを推定したときに、当該２つの対象物を同じグループに分類する。例えば、分類部１２３は、抽出部１２１により抽出された複数の対象物に、抽出部１２１により種別が人間であると判定された第１対象物と、抽出部１２１により種別が車両であると判定された第２対象物とが含まれ、予測部１２２により予測された第１対象物と第２対象物との間の将来の距離Ｄｆが閾値Ｔａより小さく、抽出部１２１により推定された第２対象物の現在の速度Ｖｃ２の大きさが０である場合に、第１対象物と第２対象物との間に、車両及びその車両に乗る人間という関係性があることを推定する。即ち、分類部１２３は、人間である第１対象物と車両である第２対象物との組み合わせについて、Ｄｆ＜ＴａかつＶｃ２＝０という条件が成立した場合に、第１対象物と第２対象物とを同じグループに分類する。ここでいう「車両」には、自動車及び自転車の両方が含まれる。また、例えば、分類部１２３は、抽出部１２１により抽出された複数の対象物に、抽出部１２１によりそれぞれ種別が人間であると判定された第１対象物と第２対象物とが含まれ、予測部１２２により予測された第１対象物と第２対象物との間の将来の距離Ｄｆが閾値Ｔａより小さい場合に、第１対象物と第２対象物との間に、近づく人間同士という関係性があることを推定する。即ち、分類部１２３は、それぞれ人間である第１対象物と第２対象物との組み合わせについて、Ｄｆ＜Ｔａという条件が成立した場合に、第１対象物と第２対象物とを同じグループに分類する。
　第２の種類の関係性として、分類部１２３は、２つの対象物の間に、列をなして移動する対象物という関係性があることを推定したときに、当該２つの対象物を同じグループに分類する。具体的には、分類部１２３は、抽出部１２１により抽出された複数の対象物に、抽出部１２１により種別が移動する対象物であると判定された第１対象物と第２対象物とが存在し、次の条件が成立した場合に、第１対象物と第２対象物との間に、列をなして移動する対象物という関係性があることを推定する。１つ目の条件は、抽出部１２１により算出された第１対象物と第２対象物との間の現在の距離Ｄｃと、予測部１２２により予測された第１対象物と第２対象物との間の将来の距離Ｄｆとの差が閾値Ｔｂより小さいという条件である。２つ目の条件は、抽出部１２１により推定された第１対象物と第２対象物の現在の速度Ｖｃ１，Ｖｃ２の大きさが０より大きいという条件である。３つ目の条件は、速度Ｖｃ１，Ｖｃ２の大きさの差が他の閾値Ｔｃより小さいという条件である。即ち、分類部１２３は、それぞれ移動する対象物である第１対象物と第２対象物との組み合わせについて、｜Ｄｃ－Ｄｆ｜＜Ｔｂかつ｜Ｖｃ１｜＞０かつ｜Ｖｃ２｜＞０かつ｜Ｖｃ１－Ｖｃ２｜＜Ｔｃという条件が成立した場合に、第１対象物と第２対象物とを同じグループに分類する。この場合の第１対象物及び第２対象物は、例えば、抽出部１２１により種別が自転車であると判定された対象物である。その場合、分類部１２３により推定される関係性は、列をなして走る自転車という関係性である。なお、「差」は、絶対値であるとする。また、速度Ｖｃ１，Ｖｃ２は、方向を含むベクトルとする。分類部１２３は、速度Ｖｃ１，Ｖｃ２のなす角を用いて関係性を推定してもよい。具体的には、分類部１２３は、上記２つ目の条件と、上記３つ目の条件と、速度Ｖｃ１，Ｖｃ２のなす角が他の閾値Ｔｄより小さいという条件が成立した場合に、第１対象物と第２対象物との間に、列をなして移動する対象物という関係性があることを推定する。即ち、分類部１２３は、それぞれ移動する対象物である第１対象物と第２対象物との組み合わせについて、｜Ｖｃ１｜＞０かつ｜Ｖｃ２｜＞０かつ｜Ｖｃ１－Ｖｃ２｜＜Ｔｃかつ「Ｖｃ１，Ｖｃ２のなす角」＜Ｔｄという条件が成立した場合に、第１対象物と第２対象物とを同じグループに分類する。このような条件を用いても、結果的には、抽出部１２１により算出された第１対象物と第２対象物との間の現在の距離Ｄｃと、予測部１２２により予測された第１対象物と第２対象物との間の将来の距離Ｄｆとの差に基づいて複数の対象物を同じグループに分類したことになる。
　分類部１２３は、上記の２種類以外にも、様々な関係性を推定してよい。
　処理部１２４は、撮影画像１０１を強調表示画像１０２に加工する。強調表示画像１０２は、分類部１２３により分類された複数の対象物をグループごとに強調表示した画像である。例えば、強調表示画像１０２は、分類部１２３により分類された複数の対象物をグループごとに１つの枠で囲んだ画像である。処理部１２４は、強調表示画像１０２を表示装置１４０に入力する。
　データ記憶装置１３０は、例えば、ＨＤＤ（Ｈａｒｄ・Ｄｉｓｋ・Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ・Ｓｔａｔｅ・Ｄｒｉｖｅ）である。データ記憶装置１３０は、車両２００に搭載されてもよいし、運転者によって車両２００に持ち込まれてもよいし、車両２００の外部に設置されてもよい。データ記憶装置１３０は、対象物データ１３１と、関係性テーブル１３２とを記憶する。対象物データ１３１は、画像処理装置１２０の抽出部１２１により抽出された複数の対象物のそれぞれについて、抽出部１２１の算出結果、判定結果、推定結果等を記録したデータである。対象物データ１３１は、画像処理装置１２０の予測部１２２により参照される。関係性テーブル１３２は、互いの間に関係性がある対象物の種別の組み合わせを予め定義したテーブルである。関係性テーブル１３２は、画像処理装置１２０の分類部１２３により参照される。
　表示装置１４０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ・Ｃｒｙｓｔａｌ・Ｄｉｓｐｌａｙ）又はＨＵＤ（Ｈｅａｄ－Ｕｐ・Ｄｉｓｐｌａｙ）である。表示装置１４０は、車両２００に搭載される。表示装置１４０は、画像処理装置１２０の処理部１２４により入力される強調表示画像１０２を出力する。表示装置１４０は、入力部１４１と、出力部１４２とを備える。
　入力部１４１は、画像処理装置１２０の処理部１２４から強調表示画像１０２の入力を受ける。即ち、入力部１４１には、強調表示画像１０２が入力される。
　出力部１４２は、入力部１４１に入力された強調表示画像１０２を出力する。
　前述したように、強調表示画像１０２は、移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像１０１が加工されて得られる画像であって、予測された当該複数の対象物の間の将来の距離Ｄｆに基づいてグループに分類された当該複数の対象物をグループごとに強調表示した画像である。本実施の形態では、対象物のグルーピングの際に、対象物の間の将来の距離Ｄｆが考慮されている。そのため、対象物の間の将来の距離Ｄｆが考慮されない場合と比較して、より適切なグルーピングが行われている。即ち、対象物の間の現在の距離Ｄｃが小さくても、対象物の間の将来の距離Ｄｆが大きくなると予測される場合、強調表示画像１０２では、それらの対象物が別々に強調表示される。そのため、車両２００の運転者は、それらの対象物を別々に視認しやすい。このように、本実施の形態では、対象物の間の将来の距離Ｄｆに応じて、運転者が視認すべき単位ごとに対象物を強調表示することで、安全運転を支援することができる。
　画像処理装置１２０と、データ記憶装置１３０と、表示装置１４０は、一体であってもよいし、いずれか２つが一体で他の１つが別体であってもよいし、１つ１つが別体であってもよい。例えば、表示装置１４０は、車両２００に搭載されたナビゲーション装置又はＤＡ（Ｄｉｓｐｌａｙ・Ａｕｄｉｏ）又はＨＵＤとして実装される。画像処理装置１２０は、スマートフォン、タブレット、携帯電話機といった携帯端末として実装される。或いは、画像処理装置１２０は、サーバコンピュータとして実装される。或いは、画像処理装置１２０は、表示装置１４０とともにナビゲーション装置として実装される。データ記憶装置１３０は、画像処理装置１２０とともに携帯端末又はサーバコンピュータとして実装される。或いは、データ記憶装置１３０は、表示装置１４０とともにナビゲーション装置として実装される。或いは、データ記憶装置１３０は、画像処理装置１２０及び表示装置１４０とは別体の記憶媒体として実装される。携帯端末は、運転者によって車両２００に持ち込まれ、有線又は無線により撮像装置１１０及び表示装置１４０と通信を行う。サーバコンピュータは、データセンタ等に設置され、インターネット等のネットワークを介して撮像装置１１０及び表示装置１４０と通信を行う。
　なお、本実施の形態に係るシステムは、車載表示システム１００以外の表示システムであってもよい。即ち、本実施の形態は、車両２００の運転の支援以外の用途に適用することができる。例えば、本実施の形態は、住宅、オフィス等のセキュリティ監視の支援にも適用することができる。その場合、撮像装置１１０及び表示装置１４０は車両２００以外の場所に適宜設置される。
　＊＊＊動作の説明＊＊＊
　図２は、本実施の形態に係る表示方法に相当する、車載表示システム１００の動作を示すフローチャートである。図３は、対象物データ１３１の例を示す表である。
　図２のＳ１１は、撮像処理である。図２のＳ１２は、抽出処理である。図２のＳ１３は、予測処理である。図２のＳ１４は、分類処理である。図２のＳ１５は、画像処理である。図２のＳ１６は、表示処理である。Ｓ１２～Ｓ１５は、本実施の形態に係る画像処理方法、或いは、本実施の形態に係る画像処理プログラムの処理手順に相当する、画像処理装置１２０の動作である。
　図２のＳ１１において、撮像装置１１０は、車両２００の周辺を撮影して撮影画像１０１を得る。例えば、撮像装置１１０がステレオカメラであれば、撮影画像１０１は、車両２００の周辺が映った三次元の静止画像又は動画像である。撮像装置１１０がレーダであれば、撮影画像１０１は、車両２００の周辺の障害物までの距離を示すレーダ画像である。
　図２のＳ１２において、画像処理装置１２０の抽出部１２１は、Ｓ１１で得られた撮影画像１０１から対象物を抽出する。抽出部１２１は、抽出した対象物の属性を判断する。
　具体的には、抽出部１２１は、抽出した対象物ごとに、Ｓ１１で得られた撮影画像１０１から対象物の特徴量を抽出する。例えば、データ記憶装置１３０には、対象物の種別ごとに、対象物の特徴量の基準値又は基準範囲が予め記憶されている。抽出部１２１は、ニューラルネットワーク、機械学習といったパターン認識の機能を持つソフトウェアである識別器を用いて、抽出した特徴量を基準値又は基準範囲と比較することで、抽出した対象物の種別を判定する。抽出部１２１は、現在の時刻と、抽出した特徴量と、判定した種別とを記録したデータを、図３に示す対象物データ１３１としてデータ記憶装置１３０に書き込む。
　抽出部１２１は、抽出した対象物ごとに、Ｓ１１で得られた撮影画像１０１から対象物の現在の相対位置を算出する。「現在の相対位置」とは、例えば、車両２００から対象物までの現在の距離及び方向である。例えば、撮像装置１１０がステレオカメラであれば、抽出部１２１は、ステレオカメラの視差に基づいて、車両２００から対象物までの距離及び方向を算出する。撮像装置１１０がレーダであれば、抽出部１２１は、レーダの観測値から距離及び方向を算出する。図３に示すように、対象物データ１３１には、抽出部１２１により算出された現在の相対位置も記録される。
　抽出部１２１は、抽出した対象物ごとに、算出した現在の相対位置と他の対象物の現在の相対位置との差である現在の距離Ｄｃを算出する。図３には示していないが、対象物データ１３１には、抽出部１２１により算出された現在の距離Ｄｃも記録されてよい。
　抽出部１２１は、抽出した対象物ごとに、同じ対象物を前回も抽出したかどうかを、今回抽出した特徴量と前回抽出した特徴量との比較によって判断する。抽出部１２１は、同じ対象物を前回も抽出したと判断した場合、算出した現在の相対位置と前回算出した相対位置とから、対象物の現在の速度Ｖｃを推定する。例えば、抽出部１２１は、データ記憶装置１３０から、撮像装置１１０により撮影画像１０１が前回撮影された時刻と、今回抽出した特徴量に近い特徴量とを記録した対象物データ１３１を読み取る。今回抽出した特徴量と前回抽出した特徴量とが近いかどうかは、前述した識別器を用いて判断される。抽出部１２１は、読み取った対象物データ１３１に記録された相対位置と、今回算出した現在の相対位置と、読み取った対象物データ１３１に記録された時刻と、現在の時刻といった情報から、対象物の現在の速度Ｖｃを算出する。車両２００が走行したことにより車両２００の位置が変化していた場合、抽出部１２１は、読み取った対象物データ１３１に記録された相対位置を、車両２００の位置の変化に基づいて補正した上で、対象物の現在の速度Ｖｃを算出する。なお、抽出部１２１は、現在の相対位置と前回の相対値とを参照するだけでなく、相対位置の一連の時系列データから、対象物の平均速度を算出してもよい。図３に示すように、対象物データ１３１には、抽出部１２１により推定された現在の速度Ｖｃも記録される。
　図２のＳ１３において、画像処理装置１２０の予測部１２２は、Ｓ１２で種別が移動する対象物であると判定された対象物ごとに、Ｓ１２でデータ記憶装置１３０に書き込まれた対象物データ１３１及び過去に書き込まれた対象物データ１３１を参照して、対象物の移動予測を行う。移動予測には、例えば、カルマンフィルタ又はパーティクルフィルタを用いることができる。Ｓ１２で判定された種別が人間である場合、予測部１２２は、姿勢推定により人間が走り出す姿勢になったかを判定し、将来の速度を予測する。姿勢推定の手法としては、例えば、前述した識別器を用いて、人間が走り出す姿勢とそうでない姿勢とを学習して姿勢を識別する手法を用いることができる。
　具体的には、予測部１２２は、Ｓ１２で種別が移動する対象物であると判定された対象物ごとに、同じ対象物が過去から継続して抽出されていたかどうかを、Ｓ１２で抽出された特徴量と抽出部１２１により過去に抽出された特徴量との比較によって判断する。予測部１２２は、同じ対象物が過去から継続して抽出されていたと判断した場合、相対位置及び速度の履歴から、対象物の将来の相対位置を予測する。「将来の相対位置」とは、例えば、車両２００から対象物までの将来の距離及び方向である。例えば、予測部１２２は、データ記憶装置１３０から、Ｓ１２で抽出された特徴量に近い特徴量を記録した対象物データ１３１を読み取る。Ｓ１２で抽出された特徴量と過去に抽出された特徴量とが近いかどうかは、前述した識別器を用いて判断される。予測部１２２は、読み取った対象物データ１３１に記録された相対位置及び速度及び時刻と、Ｓ１２で算出された現在の相対位置、及び、Ｓ１２で推定された速度、及び、現在の時刻とから、対象物の相対位置及び速度の時系列変化を分析する。車両２００が走行したことにより車両２００の位置が変化していた場合、予測部１２２は、読み取った対象物データ１３１に記録された相対位置を、車両２００の位置の変化に基づいて補正した上で、対象物の相対位置及び速度の時系列変化を分析する。予測部１２２は、分析結果から対象物の将来の相対位置を予測する。
　予測部１２２は、Ｓ１２で種別が移動する対象物であると判定された対象物ごとに、予測した将来の相対位置と他の対象物の将来の相対位置との差である将来の距離Ｄｆを算出する。
　図２のＳ１４において、画像処理装置１２０の分類部１２３は、Ｓ１３で予測された将来の距離Ｄｆに基づいて、Ｓ１２で抽出された対象物をグループに分類する。即ち、分類部１２３は、Ｓ１２で抽出された対象物ごとに、対象物が属するグループを決定する。Ｓ１４の詳細については後述する。
　図２のＳ１５において、画像処理装置１２０の処理部１２４は、Ｓ１１で得られた撮影画像１０１を加工して強調表示画像１０２を生成する。強調表示画像１０２は、Ｓ１２で抽出された対象物をＳ１４で決定されたグループごとに強調表示した画像である。例えば、強調表示画像１０２は、Ｓ１２で抽出された対象物をＳ１４で決定されたグループごとに１つの枠で囲んだ画像である。
　図２のＳ１６において、表示装置１４０は、Ｓ１５で生成された強調表示画像１０２を出力する。
　図２のＳ１７において、車両２００の運転が終了していれば、フローは終了する。車両２００の運転が終了していなければ、フローはＳ１１に戻る。車両２００の運転の「終了」とは、例えば、車両２００の駆動源であるエンジン又はモータの停止である。
　図４は、図２のＳ１４である分類処理の手順を示すフローチャートである。図５は、関係性テーブル１３２の例を示す表である。
　図４のＳ２１において、画像処理装置１２０の分類部１２３は、図２のＳ１２で抽出された対象物のうち、任意の２つの対象物である第１対象物と第２対象物とを選択する。
　図４のＳ２２において、分類部１２３は、データ記憶装置１３０から、Ｓ２１で選択した第１対象物と第２対象物とについて図２のＳ１２でデータ記憶装置１３０に書き込まれた対象物データ１３１を参照して、第１対象物の種別と、第２対象物の種別とを特定する。即ち、分類部１２３は、Ｓ２１で選択した第１対象物と第２対象物との種別の組み合わせを特定する。
　図４のＳ２３において、分類部１２３は、Ｓ２２で特定した種別の組み合わせをデータ記憶装置１３０に記憶された関係性テーブル１３２で検索する。
　図５に示すように、関係性テーブル１３２では、「第１対象物」及び「第２対象物」である２つの対象物の種別の組み合わせごとに、「条件」と、「条件」が満たされた場合に「第１対象物」と「第２対象物」との間に「関係性」があるかどうかが定義されている。ある「条件」が満たされたときに、その「条件」が満たされた場合には「関係性」があると定義されていれば、「第１対象物」と「第２対象物」とが同じグループに分類される。一方、ある「条件」が満たされたときに、その「条件」が満たされた場合には「関係性」がないと定義されていれば、「第１対象物」と「第２対象物」とが異なるグループに分類される。
　例えば、人間と別の人間との組み合わせに対しては、人間と別の人間との間の将来の距離Ｄｆが閾値Ｔａより大きいという条件Ｃ１が満たされた場合に、特定の関係性がないと推定すべきことが定義されている。
　人間と自動車との組み合わせに対しては、人間と自動車との間の将来の距離Ｄｆが閾値Ｔａより小さく、自動車の現在の速度Ｖｃ２の大きさが０であるという条件Ｃ２が満たされた場合に、自動車及びその自動車に乗る人間という関係性があると推定すべきことが定義されている。
　人間と自転車との組み合わせに対しては、人間と自転車との間の将来の距離Ｄｆが閾値Ｔａより小さく、自転車の現在の速度Ｖｃ２の大きさが０であるという条件Ｃ３が満たされた場合に、自転車及びその自転車に乗る人間という関係性があると推定すべきことが定義されている。
　自転車と別の自転車との組み合わせに対しては、自転車と別の自転車との間の現在の距離Ｄｃと、自転車と別の自転車との間の将来の距離Ｄｆとの差が閾値Ｔｂより小さく、自転車と別の自転車との現在の速度Ｖｃ１，Ｖｃ２の大きさが０より大きく、自転車と別の自転車との現在の速度Ｖｃ１，Ｖｃ２の大きさの差が閾値Ｔｃより小さいという条件Ｃ４が満たされた場合に、列をなして走る自転車という関係性があると推定すべきことが定義されている。
　自動車と別の自動車との組み合わせに対しては、常に真であるという条件Ｃ５が満たされた場合に、特定の関係性がないと推定すべきことが定義されている。即ち、無条件で関係性がないと推定すべきことが定義されている。
　図４のＳ２４において、分類部１２３は、図２のＳ１３で予測された第１対象物と第２対象物との間の将来の距離Ｄｆが、Ｓ２３で検索した種別の組み合わせに対して関係性テーブル１３２で定義されている条件を満たすかどうかを判定する。分類部１２３は、必要に応じて、さらに、図２のＳ１２で算出された第１対象物と第２対象物との間の現在の距離Ｄｃと、図２のＳ１２で推定された第１対象物の現在の速度Ｖｃ１と、図２のＳ１２で推定された第２対象物の現在の速度Ｖｃ２とのうちいずれか又は全てが、Ｓ２３で検索した種別の組み合わせに対して関係性テーブル１３２で定義されている条件を満たすかどうかを判定する。分類部１２３は、条件が満たされていると判定した場合、その条件が満たされた場合に第１対象物と第２対象物との間に関係性があると関係性テーブル１３２で定義されているかどうかを判定する。関係性があると関係性テーブル１３２で定義されていた場合、分類部１２３は、第１対象物と第２対象物とを同じグループに分類する。一方、条件が満たされていないと分類部１２３が判定した場合、或いは、関係性がないと関係性テーブル１３２で定義されていた場合、分類部１２３は、第１対象物と第２対象物とを異なるグループに分類する。
　図４のＳ２５において、図２のＳ１２で抽出された対象物から選択可能な２つの対象物の組み合わせがＳ２１で全て選択済であれば、フローは終了する。未選択の２つの対象物の組み合わせがあれば、フローはＳ２１に戻る。
　図６から図９は、強調表示画像１０２の例を示す図である。
　図６の例では、１人の人間３０１と３人の人間３０２～３０４とが別々の枠３０５，３０６で囲まれている。
　例えば、互いに接近して立っている４人の人間３０１～３０４のうち、１人の人間３０１が走り出す姿勢をとっていたとする。この場合、１人の人間３０１と残りの３人の人間３０２～３０４との間の現在の距離Ｄｃは小さいが、将来の距離Ｄｆは大きくなると考えられる。人間３０１が第１対象物であり、人間３０２が第２対象物であり、図２のＳ１３で予測される人間３０１と人間３０２との間の将来の距離Ｄｆが閾値Ｔａより大きい場合、前述した条件Ｃ１が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ１が満たされた場合には、特定の関係性がないと推定できる。よって、図４のＳ２４において、分類部１２３は、人間３０１と人間３０２との間に関係性がないと推定し、人間３０１と人間３０２とを異なるグループに分類する。一方、分類部１２３は、図示していない関係性テーブル１３２における別の定義に基づいて、人間３０２と人間３０３とを同じグループに分類する。同様に、分類部１２３は、人間３０２と人間３０４とを同じグループに分類する。図２のＳ１５において、処理部１２４は、図６に示すような強調表示画像１０２を生成する。
　図７の例では、人間３１１と自動車３１２とがまとめて１つの枠３１３で囲まれている。
　例えば、人間３１１が、停まっている自動車３１２から離れた位置で、自動車３１２に向かっていたとする。この場合、人間３１１と自動車３１２との間の現在の距離Ｄｃは大きいが、将来の距離Ｄｆは０になると考えられる。人間３１１が第１対象物であり、自動車３１２が第２対象物であり、図２のＳ１３で予測される人間３１１と自動車３１２との間の将来の距離Ｄｆが閾値Ｔａより小さく、図２のＳ１２で推定される自動車３１２の現在の速度Ｖｃ２の大きさが０である場合、前述した条件Ｃ２が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ２が満たされた場合には、自動車３１２及びその自動車３１２に乗る人間３１１という関係性があると推定できる。よって、図４のＳ２４において、分類部１２３は、人間３１１と自動車３１２とを同じグループに分類する。図２のＳ１５において、処理部１２４は、図７に示すような強調表示画像１０２を生成する。
　図８の例では、２台の自転車３２１，３２２がまとめて１つの枠３２３で囲まれている。
　例えば、２台の自転車３２１，３２２が列をなして走っていたとする。この場合、２台の自転車３２１，３２２の間の現在の距離Ｄｃと将来の距離Ｄｆとの差はほとんどないと考えられる。自転車３２１が第１対象物であり、自転車３２２が第２対象物であり、図２のＳ１２で算出される自転車３２１と自転車３２２との間の現在の距離Ｄｃと、図２のＳ１３で予測される自転車３２１と自転車３２２との間の将来の距離Ｄｆとの差が閾値Ｔｂより小さく、図２のＳ１２で推定される自転車３２１と自転車３２２との現在の速度Ｖｃ１，Ｖｃ２の大きさが０より大きく、図２のＳ１２で推定される自転車３２１と自転車３２２との現在の速度Ｖｃ１，Ｖｃ２の大きさの差が閾値Ｔｃより小さい場合、図２のＳ１２で算出される自転車３２１と自転車３２２との間の現在の距離Ｄｃに関わらず、前述した条件Ｃ４が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ４が満たされた場合には、列をなして走る自転車３２１，３２２という関係性があると推定できる。よって、図４のＳ２４において、分類部１２３は、自転車３２１と自転車３２２とを同じグループに分類する。図２のＳ１５において、処理部１２４は、図８に示すような強調表示画像１０２を生成する。
　なお、上記の例において、分類部１２３は、条件Ｃ４が満たされているかどうかに代えて、或いは、条件Ｃ４が満たされているかどうかに加えて、図２のＳ１３における後方の自転車３２２の移動予測の結果から、後方の自転車３２２が前方の自転車３２１の移動軌跡を辿っているかどうかを判定してもよい。
　また、上記の例において、処理部１２４は、図８に示すような強調表示画像１０２の代わりに、図９に示すような強調表示画像１０２を生成してもよい。図８に示した強調表示画像１０２は、車両２００の側方を撮影した画像であり、その画像に映っている２台の自転車３２１，３２２がまとめて１つの枠３２３で囲まれている。一方、図９に示す強調表示画像１０２は、車両２００の前方を撮影した画像であり、その画像に映っている前方の自転車３２１と、その画像には映っていない後方の自転車３２２の代わりとなるマーク３２４及び矢印３２５とがまとめて１つの枠３２３で囲まれている。図９に示した強調表示画像１０２では、マーク３２４及び矢印３２５を１つの対象物とみなすことができる。
　＊＊＊効果の説明＊＊＊
　本実施の形態では、対象物の間の現在の距離Ｄｃに関わらず、対象物の間の将来の距離Ｄｆに基づいて、対象物がグループに分類される。このため、本実施の形態によれば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを適切に分類することが可能となる。
　図６の例では、４人の人間３０１～３０４のうち、１人の人間３０１が走り出す姿勢をとっている。そのため、画像処理装置１２０は、１人の人間３０１と残りの３人の人間３０２～３０４との間の現在の距離Ｄｃは小さいが、将来の距離Ｄｆは大きくなると予測する。画像処理装置１２０は、１人の人間３０１と残りの３人の人間３０２～３０４とを別々の枠３０５，３０６で囲んだ強調表示画像１０２を生成する。この強調表示画像１０２を見た運転者は、少なくとも人間３０１が走り出した瞬間から、人間３０１を残りの３人の人間３０２～３０４とは別に視認することができる。したがって、運転者が、走り出す人間３０１に注意を向けやすくなり、安全運転が可能となる。
　本実施の形態では、さらに、対象物の間の関係性によって対象物がグループに分類される。このため、本実施の形態によれば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを、より適切に分類することが可能となる。
　図７の例では、人間３１１が自動車３１２に向かっている。そのため、画像処理装置１２０は、人間３１１と自動車３１２との間の現在の距離Ｄｃは大きいが、将来の距離Ｄｆは小さくなると予測する。画像処理装置１２０は、人間３１１と自動車３１２との間に、自動車３１２及びその自動車３１２に乗る人間３１１という関係性があると推定する。画像処理装置１２０は、人間３１１と自動車３１２とをまとめて１つの枠３１３で囲んだ強調表示画像１０２を生成する。この強調表示画像１０２を見た運転者は、人間３１１が自動車３１２に乗り込む前から、人間３１１と自動車３１２とをまとめて視認することができる。したがって、運転者が、他の物にも注意を向けやすくなり、対象物と対象物との間の領域についても注意すべき領域として認識でき、安全運転が可能となる。
　実施の形態２．
　本実施の形態について、主に実施の形態１との差異を説明する。
　以下では、本実施の形態に係るシステムの構成、本実施の形態に係るシステムの動作、本実施の形態の効果を順番に説明する。
　＊＊＊構成の説明＊＊＊
　本実施の形態に係る車載表示システム１００の構成は、図１に示した実施の形態１のものと同じである。
　本実施の形態において、画像処理装置１２０の抽出部１２１は、人間については、対象物の種別が子供であるかどうかを判定する。抽出部１２１は、種別が子供又は動物であると判定した対象物の動きの変化量Ｍａを算出する。
　抽出部１２１は、人間については、さらに、対象物の種別が自動車の運転席から出てきた人間であるかどうか、及び、対象物の種別が自動車の後部座席から出てきた人間であるかどうかを判定する。
　本実施の形態において、画像処理装置１２０の分類部１２３は、抽出部１２１により抽出された複数の対象物に、抽出部１２１により種別が人間であると判定された第１対象物と、抽出部１２１により種別が子供又は動物であると判定された第２対象物とが含まれ、抽出部１２１により算出された第２対象物の動きの変化量Ｍａが他の閾値Ｔｅより大きい場合に、第１対象物と第２対象物とを異なるグループに分類する。なお、第１対象物は、抽出部１２１により種別が子供でないと判定された対象物でもよいし、抽出部１２１により種別が子供であると判定された対象物でもよい。
　本実施の形態において、画像処理装置１２０の処理部１２４は、分類部１２３により過去に同じグループに分類されていた２つ以上の対象物のうち、少なくとも１つの対象物が分類部１２３により残りの対象物と異なるグループに分類された場合に、強調表示画像１０２における強調表示の形式として当該少なくとも１つの対象物と当該残りの対象物とで異なる形式を用いる。例えば、これまでグループＡに含まれていた対象物がグループＡから離れて独自のグループＢを形成するとき、グループＡに属する対象物をこれまでと同じ太さ及び色の枠で囲み、グループＢに属する対象物をグループＡより太いか又はグループＡと異なる色の枠で囲むことが考えられる。或いは、グループＢに属する対象物をこれまでグループＡを囲んでいた枠と同じ太さ及び色の枠で囲み、グループＡに属する対象物をグループＢより太いか又はグループＢと異なる色の枠で囲むことが考えられる。前者の場合は、グループＢに属する対象物に対する注意を、より強く喚起できる。後者の場合は、グループＡに属する対象物に対する注意を、より強く喚起できる。
　＊＊＊動作の説明＊＊＊
　以下、本実施の形態に係る表示方法に相当する、車載表示システム１００の動作について、図２を用いて説明する。
　図２のＳ１１については、実施の形態１のものと同じである。
　図２のＳ１２において、抽出部１２１は、種別が子供又は動物であると判定した対象物ごとに、同じ対象物が過去から継続して抽出されていたかどうかを、Ｓ１２で抽出された特徴量と抽出部１２１により過去に抽出された特徴量との比較によって判断する。抽出部１２１は、同じ対象物が過去から継続して抽出されていたと判断した場合、相対位置及び速度の履歴から、対象物の動きの変化量Ｍａを算出する。なお、抽出部１２１は、相対位置及び速度の履歴の代わりに、対象物のオプティカルフローを計算し、計算結果から、対象物の動きの変化量Ｍａを算出してもよい。図示していないが、抽出部１２１によりデータ記憶装置１３０に書き込まれる対象物データ１３１には、抽出部１２１により算出された動きの変化量Ｍａも記録される。
　図２のＳ１２における抽出部１２１の他の動作については、実施の形態１のものと同じである。
　図２のＳ１３及びＳ１４については、実施の形態１のものと同じである。ただし、本実施の形態では、関係性テーブル１３２の構成が実施の形態１と異なる。
　図１０は、関係性テーブル１３２の例を示す表である。
　図１０に示すように、関係性テーブル１３２では、「第１対象物」及び「第２対象物」である２つの対象物の種別の組み合わせごとに、図５に示したものと同じである「条件」と「関係性」とに加えて、グルーピングが解除された場合に「第１対象物と「第２対象物」とのうち、どちらの対象物を、より強く強調表示するかを示す「解除後強調対象物」が定義されている。「グルーピングが解除された場合」とは、同じグループに分類されていた２つの対象物が異なるグループに分類される場合のことをいう。
　例えば、人間と自動車との組み合わせに対しては、人間が自動車の運転席から出てきたという条件Ｃ６が満たされた場合に、人間を、より強く強調表示すること、及び、人間が自動車の後部座席から出てきたという条件Ｃ７が満たされた場合に、自動車を、より強く強調表示することが定義されている。
　人間と動物との組み合わせに対しては、人間と動物との間の将来の距離Ｄｆが閾値Ｔａより小さいという条件Ｃ８が満たされた場合に、動物及びその動物を連れている人間という関係性があると推定すべきこと、及び、動物の動きの変化量Ｍａが閾値Ｔｅより大きいという条件Ｃ９が満たされた場合に、動物を、より強く強調表示することが定義されている。
　なお、ある２つの対象物の種別の組み合わせに対して定義されている複数の条件が同時に満たされる場合に、それら複数の条件の中に、関係性があると推定される条件と、関係性がないと推定される条件とが混じっているときは、関係性がないと推定される条件が優先される。例えば、人間と動物との組み合わせに対して、条件Ｃ８と条件Ｃ９との両方が満たされているとしても、条件Ｃ９が優先され、人間と動物とが異なるグループに分類される。関係性がないと推定される２つ以上の条件が同時に満たされる場合には、例えば、それぞれの条件について予め設定された優先順位に従うものとする。
　例えば、人間が動物を連れて歩いていたとする。人間が第１対象物であり、動物が第２対象物であり、図２のＳ１３で予測される人間と動物との間の将来の距離Ｄｆが閾値Ｔａより小さい場合、前述した条件Ｃ８が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ８が満たされた場合には、動物及びその動物を連れている人間という関係性があると推定できる。よって、図４のＳ２４において、分類部１２３は、人間と動物とを同じグループに分類する。
　その後、動物が突発的な動作を頻繁にしたとする。図２のＳ１２で算出された動物の動きの変化量Ｍａが閾値Ｔｅより大きくなった場合、条件Ｃ８よりも優先度の高い条件Ｃ９が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ９が満たされた場合には、特定の関係性がないと推定できる。よって、図４のＳ２４において、分類部１２３は、人間と動物とを異なるグループに分類する。なお、分類部１２３は、条件Ｃ９が満たされた場合には、人間及び人間が連れている危険な動物という関係性を推定することで、人間と動物とを異なるグループに分類している、と考えてもよい。
　上記のように、分類部１２３は、関係性テーブル１３２で定義された、関係性がないと推定される条件が満たされた場合に、グルーピングを解除する。
　図２のＳ１５において、処理部１２４は、Ｓ１１で得られた撮影画像１０１を加工して強調表示画像１０２を生成する。Ｓ１４で同じグループに分類されていた２つ以上の対象物のうち、少なくとも１つの対象物がＳ１４で残りの対象物と異なるグループに分類された場合、処理部１２４は、データ記憶装置１３０に記憶された関係性テーブル１３２を参照して、いずれか一方のグループに分類された対象物を、他方のグループに分類された対象物よりも強く強調表示した画像を強調表示画像１０２として生成する。
　＊＊＊効果の説明＊＊＊
　本実施の形態では、過去に同じグループに分類されていた２つ以上の対象物のうち、少なくとも１つの対象物が残りの対象物と異なるグループに分類された場合に、強調表示の形式として当該少なくとも１つの対象物と当該残りの対象物とで異なる形式が用いられる。このため、本実施の形態によれば、他の対象物とまとめて視認していた対象物が個別に視認すべき対象物に変わったことを明示することが可能となる。
　例えば、大人と一緒に歩いている子供、又は、飼い主に連れられている動物が暴れ出したときは、子供又は動物に注意する必要がある。本実施の形態では、そのような場合、グルーピングを解除して子供又は動物に注意を向けやすくすることができる。
　人間が自動車から降りてきたときも、人間又は自動車に注意する必要がある。本実施の形態では、そのような場合、グルーピングを解除して人間又は自動車に注意を向けやすくすることができる。
　図１１は、本発明の実施の形態に係る車載表示システム１００のハードウェア構成の例を示す図である。
　図１１において、車載表示システム１００は、コンピュータであり、出力装置９１０、入力装置９２０、記憶装置９３０、処理装置９４０といったハードウェアを備える。ハードウェアは、抽出部１２１と、予測部１２２と、分類部１２３と、処理部１２４といった画像処理装置１２０の各部によって利用される。
　出力装置９１０は、例えば、表示装置１４０、プリンタ、通信モジュールである。出力装置９１０は、画像処理装置１２０の各部によってデータ、情報、信号の出力又は送信のために利用される。
　入力装置９２０は、例えば、撮像装置１１０、キーボード、マウス、タッチパネル、通信モジュールである。入力装置９２０は、画像処理装置１２０の各部によってデータ、情報、信号の入力又は受信のために利用される。
　記憶装置９３０は、例えば、データ記憶装置１３０、ＲＯＭ（Ｒｅａｄ・Ｏｎｌｙ・Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ・Ａｃｃｅｓｓ・Ｍｅｍｏｒｙ）、ＨＤＤ、ＳＳＤである。記憶装置９３０には、プログラム９３１、ファイル９３２が記憶される。プログラム９３１には、画像処理装置１２０の各部の処理を実行するプログラムが含まれる。ファイル９３２には、画像処理装置１２０の各部によって演算、加工、読み取り、書き込み、利用、入力、出力等が行われるデータ、情報、信号等が含まれる。例えば、データ記憶装置１３０に記憶されるファイル９３２には、対象物データ１３１と、関係性テーブル１３２とが含まれる。
　処理装置９４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）である。処理装置９４０は、バス等を介して他のハードウェアデバイスと接続され、それらのハードウェアデバイスを制御する。処理装置９４０は、記憶装置９３０からプログラム９３１を読み出し、プログラム９３１を実行する。処理装置９４０は、画像処理装置１２０の各部によって演算、加工、読み取り、書き込み、利用、入力、出力等を行うために利用される。なお、複数の処理装置９４０が連携してプログラム９３１を実行してもよい。例えば、撮影画像１０１を強調表示画像１０２に加工する処理部１２４の処理をＧＰＵが実行し、その他の抽出部１２１と予測部１２２と分類部１２３の処理をＣＰＵが実行するようにしてもよい。
　画像処理装置１２０の各部は、「部」を「回路」、「装置」、「機器」に読み替えたものであってもよい。また、画像処理装置１２０の各部は、「部」を「工程」、「手順」、「処理」に読み替えたものであってもよい。即ち、画像処理装置１２０の各部は、ソフトウェアのみ、ハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせで実現される。ソフトウェアは、プログラム９３１として、記憶装置９３０に予め記憶されていてもよいし、インターネット等のネットワークからダウンロードされて記憶装置９３０に記憶されてもよいし、着脱可能な記録媒体から移動又はコピーされて記憶装置９３０に記憶されてもよい。プログラム９３１は、画像処理装置１２０の各部としてコンピュータを機能させるものである。或いは、プログラム９３１は、画像処理装置１２０の各部の処理をコンピュータに実行させるものである。ハードウェアは、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ・Ｓｐｅｃｉｆｉｃ・Ｉｎｔｅｇｒａｔｅｄ・Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ・Ｐｒｏｇｒａｍｍａｂｌｅ・Ｇａｔｅ・Ａｒｒａｙ）といった集積回路であってもよいし、ディスクリート素子の組み合わせであってもよい。
　以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、いくつかを組み合わせて実施しても構わない。或いは、これらの実施の形態のうち、いずれか１つ又はいくつかを部分的に実施しても構わない。例えば、これらの実施の形態の説明において「部」として説明するもののうち、いずれか１つのみを採用してもよいし、いくつかの任意の組み合わせを採用してもよい。なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
　１００　車載表示システム、１０１　撮影画像、１０２　強調表示画像、１１０　撮像装置、１２０　画像処理装置、１２１　抽出部、１２２　予測部、１２３　分類部、１２４　処理部、１３０　データ記憶装置、１３１　対象物データ、１３２　関係性テーブル、１４０　表示装置、１４１　入力部、１４２　出力部、２００　車両、３０１～３０４　人間、３０５，３０６　枠、３１１　人間、３１２　自動車、３１３　枠、３２１，３２２　自転車、３２３　枠、３２４　マーク、３２５　矢印、９１０　出力装置、９２０　入力装置、９３０　記憶装置、９３１　プログラム、９３２　ファイル、９４０　処理装置。

Claims (15)

  1. 　移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出する抽出部と、
    　前記抽出部により抽出された複数の対象物の間の将来の距離を予測する予測部と、
    　前記予測部により予測された将来の距離に基づいて、前記抽出部により抽出された複数の対象物をグループに分類する分類部と、
    　前記撮影画像を、前記分類部により分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する処理部と
    を備える画像処理装置。
  2. 　前記分類部は、前記抽出部により抽出された複数の対象物のうち、前記予測部により予測された互いの間の将来の距離が閾値より大きい対象物を異なるグループに分類する、請求項１に記載の画像処理装置。
  3. 　前記分類部は、前記抽出部により抽出された複数の対象物のうち、前記予測部により予測された互いの間の将来の距離が閾値より小さい対象物を同じグループに分類する、請求項１に記載の画像処理装置。
  4. 　前記抽出部は、抽出した複数の対象物のそれぞれの種別を判定し、
    　前記分類部は、前記予測部により予測された将来の距離と前記抽出部により判定された種別とに基づいて、前記抽出部により抽出された複数の対象物の間の関係性を推定し、推定した関係性によって当該複数の対象物をグループに分類する、請求項１に記載の画像処理装置。
  5. 　前記抽出部は、種別が車両であると判定した対象物の現在の速度を推定し、
    　前記分類部は、前記抽出部により抽出された複数の対象物に、前記抽出部により種別が人間であると判定された第１対象物と、前記抽出部により種別が車両であると判定された第２対象物とが含まれ、前記予測部により予測された前記第１対象物と前記第２対象物との間の将来の距離が閾値より小さく、前記抽出部により推定された前記第２対象物の現在の速度の大きさが０である場合に、前記第１対象物と前記第２対象物とを同じグループに分類する、請求項４に記載の画像処理装置。
  6. 　前記抽出部は、抽出した複数の対象物の間の現在の距離を算出するとともに、種別が移動する対象物であると判定した対象物の現在の速度を推定し、
    　前記分類部は、前記抽出部により抽出された複数の対象物に、前記抽出部により種別が移動する対象物であると判定された第１対象物と第２対象物とが存在し、前記抽出部により算出された前記第１対象物と前記第２対象物との間の現在の距離と、前記予測部により予測された前記第１対象物と前記第２対象物との間の将来の距離との差が閾値より小さく、前記抽出部により推定された前記第１対象物と前記第２対象物との現在の速度の大きさが０より大きく、前記抽出部により推定された前記第１対象物と前記第２対象物との現在の速度の大きさの差が他の閾値より小さい場合に、前記第１対象物と前記第２対象物とを同じグループに分類する、請求項４に記載の画像処理装置。
  7. 　前記第１対象物及び前記第２対象物は、前記抽出部により種別が自転車であると判定された対象物である、請求項６に記載の画像処理装置。
  8. 　前記抽出部は、種別が子供又は動物であると判定した対象物の動きの変化量を算出し、
    　前記分類部は、前記抽出部により抽出された複数の対象物に、前記抽出部により種別が人間であると判定された第１対象物と、前記抽出部により種別が子供又は動物であると判定された第２対象物とが含まれ、前記抽出部により算出された前記第２対象物の動きの変化量が閾値より大きい場合に、前記第１対象物と前記第２対象物とを異なるグループに分類する、請求項４に記載の画像処理装置。
  9. 　前記処理部は、前記分類部により過去に同じグループに分類されていた２つ以上の対象物のうち、少なくとも１つの対象物が前記分類部により残りの対象物と異なるグループに分類された場合に、前記強調表示画像における強調表示の形式として当該少なくとも１つの対象物と当該残りの対象物とで異なる形式を用いる、請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記抽出部は、抽出した複数の対象物のそれぞれの種別を判定し、
    　前記予測部は、前記抽出部により種別が人間であると判定された対象物の姿勢が走り出す姿勢であるかどうかを判断し、判断結果に基づいて、前記抽出部により種別が人間であると判定された対象物と前記抽出部により抽出された他の対象物との間の将来の距離を予測する、請求項１から３のいずれか１項に記載の画像処理装置。
  11. 　前記強調表示画像は、前記分類部により分類された複数の対象物をグループごとに１つの枠で囲んだ画像である、請求項１から１０のいずれか１項に記載の画像処理装置。
  12. 　請求項１から１１のいずれか１項に記載の画像処理装置と、
    　車両に搭載され、前記車両の周辺を撮影して前記撮影画像を得る撮像装置と、
    　前記車両に搭載され、前記強調表示画像を出力する表示装置と
    を備える車載表示システム。
  13. 　移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像が加工されて得られる強調表示画像であって、予測された当該複数の対象物の間の将来の距離に基づいてグループに分類された当該複数の対象物をグループごとに強調表示した強調表示画像が入力される入力部と、
    　前記入力部に入力された強調表示画像を出力する出力部と
    を備える表示装置。
  14. 　抽出部が、移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出し、
    　予測部が、前記抽出部により抽出された複数の対象物の間の将来の距離を予測し、
    　分類部が、前記予測部により予測された将来の距離に基づいて、前記抽出部により抽出された複数の対象物をグループに分類し、
    　処理部が、前記撮影画像を、前記分類部によりグループに分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する画像処理方法。
  15. 　コンピュータに、
    　移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出する抽出処理と、
    　前記抽出処理により抽出された複数の対象物の間の将来の距離を予測する予測処理と、
    　前記予測処理により予測された将来の距離に基づいて、前記抽出処理により抽出された複数の対象物をグループに分類する分類処理と、
    　前記撮影画像を、前記分類処理により分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する画像処理と
    を実行させる画像処理プログラム。
PCT/JP2014/082679 2014-12-10 2014-12-10 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム WO2016092650A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/514,187 US10235768B2 (en) 2014-12-10 2014-12-10 Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium
JP2016563338A JP6227165B2 (ja) 2014-12-10 2014-12-10 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
PCT/JP2014/082679 WO2016092650A1 (ja) 2014-12-10 2014-12-10 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
DE112014007249.4T DE112014007249B4 (de) 2014-12-10 2014-12-10 Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
CN201480083771.XA CN107004363B (zh) 2014-12-10 2014-12-10 图像处理装置及车载显示系统及显示装置及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/082679 WO2016092650A1 (ja) 2014-12-10 2014-12-10 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2016092650A1 true WO2016092650A1 (ja) 2016-06-16

Family

ID=56106901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/082679 WO2016092650A1 (ja) 2014-12-10 2014-12-10 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム

Country Status (5)

Country Link
US (1) US10235768B2 (ja)
JP (1) JP6227165B2 (ja)
CN (1) CN107004363B (ja)
DE (1) DE112014007249B4 (ja)
WO (1) WO2016092650A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056385A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP3477615A4 (en) * 2016-06-27 2019-07-17 Nissan Motor Co., Ltd. OBJECT TRACKING METHOD AND OBJECT TRACKING DEVICE
JP6572406B1 (ja) * 2018-08-01 2019-09-11 楽天株式会社 警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
DE102018005561A1 (de) 2018-07-09 2020-01-09 AKO Vermittlungs- und Beratungsgesellschaft UG Verfahren zur Verkehrsinformation
JP2020071495A (ja) * 2018-10-29 2020-05-07 日立オートモティブシステムズ株式会社 移動体挙動予測装置
KR20200047796A (ko) * 2017-10-31 2020-05-07 웨이모 엘엘씨 자율 차량 의사 결정을 위한 시맨틱 물체 클러스터링
US11887474B2 (en) 2017-10-31 2024-01-30 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200581B2 (en) * 2016-03-31 2019-02-05 Peter G. Hartwell Heads down intelligent display and processing
CN110419063A (zh) * 2017-03-17 2019-11-05 麦克赛尔株式会社 Ar显示装置和ar显示方法
US10000153B1 (en) * 2017-08-31 2018-06-19 Honda Motor Co., Ltd. System for object indication on a vehicle display and method thereof
WO2019089455A1 (en) 2017-10-31 2019-05-09 Waymo Llc Semantic object clustering for autonomous vehicle decision making
CN110110189A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
GB201804195D0 (en) * 2018-03-15 2018-05-02 Blue Vision Labs Uk Ltd Visual vehicle tracking through noise and occlusions using crowd-sourced maps
US10497161B1 (en) * 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
JP7211674B2 (ja) * 2018-09-27 2023-01-24 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
DE102018133441A1 (de) * 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
CN109624858B (zh) * 2019-01-04 2021-02-02 斑马网络技术有限公司 外后视镜的图像显示方法及装置
CN109886335B (zh) * 2019-02-21 2021-11-26 厦门美图之家科技有限公司 分类模型训练方法及装置
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11320830B2 (en) * 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
FR3107349B1 (fr) * 2020-02-14 2022-01-14 Amadeus Sas Procédé et système de carte et de navigation assistées par caméra
US11514618B2 (en) * 2020-11-06 2022-11-29 Adobe Inc. Generation of object hierarchies for logical selection of groups of objects in vector designs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003499A (ja) * 1998-06-16 2000-01-07 Daihatsu Motor Co Ltd 歩行者検知システム及びその制御方法
JP2012226437A (ja) * 2011-04-15 2012-11-15 Toyota Motor Corp 運転支援装置
JP2014002477A (ja) * 2012-06-15 2014-01-09 Denso Corp 車群管理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006224740A (ja) 2005-02-16 2006-08-31 Advics:Kk 車両用走行支援装置
JP2007172541A (ja) 2005-12-26 2007-07-05 Toyota Motor Corp 運転支援装置
US7671725B2 (en) 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
US8085140B2 (en) 2006-09-04 2011-12-27 Panasonic Corporation Travel information providing device
CN101681244B (zh) * 2007-05-09 2012-02-29 松下电器产业株式会社 显示装置、显示方法、显示程序
JP2009040107A (ja) 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP5338273B2 (ja) 2008-11-24 2013-11-13 株式会社デンソー 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP5198346B2 (ja) * 2009-04-23 2013-05-15 本田技研工業株式会社 車両周辺監視装置
JP2011150475A (ja) 2010-01-20 2011-08-04 Toyota Motor Corp 周辺監視装置
EP2544162B1 (en) * 2010-03-01 2015-04-29 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
EP2544161B1 (en) * 2010-03-03 2014-12-24 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
JP2012153256A (ja) 2011-01-26 2012-08-16 Toyota Motor Corp 画像処理装置
JP2012169826A (ja) 2011-02-14 2012-09-06 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像処理方法
JP5533766B2 (ja) 2011-04-05 2014-06-25 株式会社デンソー 車両用表示装置
KR101405583B1 (ko) * 2012-10-30 2014-06-10 현대자동차주식회사 차량 속도 추정 장치 및 방법
JP5578254B2 (ja) 2013-05-14 2014-08-27 株式会社デンソー 画像生成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003499A (ja) * 1998-06-16 2000-01-07 Daihatsu Motor Co Ltd 歩行者検知システム及びその制御方法
JP2012226437A (ja) * 2011-04-15 2012-11-15 Toyota Motor Corp 運転支援装置
JP2014002477A (ja) * 2012-06-15 2014-01-09 Denso Corp 車群管理装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056385A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2017056382A1 (ja) * 2015-09-29 2018-08-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11915522B2 (en) 2015-09-29 2024-02-27 Sony Corporation Information processing apparatus and information processing method
US10949656B2 (en) 2015-09-29 2021-03-16 Sony Corporation Information processing apparatus and information processing method
US10692379B2 (en) 2015-09-29 2020-06-23 Sony Corporation Image processing device and image processing method
EP3477615A4 (en) * 2016-06-27 2019-07-17 Nissan Motor Co., Ltd. OBJECT TRACKING METHOD AND OBJECT TRACKING DEVICE
US10510257B2 (en) 2016-06-27 2019-12-17 Nissan Motor Co., Ltd. Object tracking method and object tracking device
RU2714091C1 (ru) * 2016-06-27 2020-02-11 Ниссан Мотор Ко., Лтд. Способ отслеживания объектов и устройство отслеживания объектов
KR20200047796A (ko) * 2017-10-31 2020-05-07 웨이모 엘엘씨 자율 차량 의사 결정을 위한 시맨틱 물체 클러스터링
US11402843B2 (en) 2017-10-31 2022-08-02 Waymo Llc Semantic object clustering for autonomous vehicle decision making
KR102524859B1 (ko) * 2017-10-31 2023-04-24 웨이모 엘엘씨 자율 차량 의사 결정을 위한 시맨틱 물체 클러스터링
US11887474B2 (en) 2017-10-31 2024-01-30 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US11951991B2 (en) 2017-10-31 2024-04-09 Waymo Llc Semantic object clustering for autonomous vehicle decision making
DE102018005561A1 (de) 2018-07-09 2020-01-09 AKO Vermittlungs- und Beratungsgesellschaft UG Verfahren zur Verkehrsinformation
WO2020026381A1 (ja) * 2018-08-01 2020-02-06 楽天株式会社 警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
JP6572406B1 (ja) * 2018-08-01 2019-09-11 楽天株式会社 警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
JP2020071495A (ja) * 2018-10-29 2020-05-07 日立オートモティブシステムズ株式会社 移動体挙動予測装置
WO2020090419A1 (ja) * 2018-10-29 2020-05-07 日立オートモティブシステムズ株式会社 移動体挙動予測装置
JP7203563B2 (ja) 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
US11978345B2 (en) 2018-10-29 2024-05-07 Hitachi Astemo, Ltd. Moving object behavior prediction device

Also Published As

Publication number Publication date
CN107004363B (zh) 2020-02-18
US10235768B2 (en) 2019-03-19
CN107004363A (zh) 2017-08-01
DE112014007249T5 (de) 2017-08-31
JP6227165B2 (ja) 2017-11-08
DE112014007249B4 (de) 2022-11-03
JPWO2016092650A1 (ja) 2017-04-27
US20170301107A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6227165B2 (ja) 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
Bila et al. Vehicles of the future: A survey of research on safety issues
US9881221B2 (en) Method and system for estimating gaze direction of vehicle drivers
CN107380164B (zh) 基于计算机视觉的驾驶员辅助系统和支持系统
CN106980813B (zh) 机器学习的注视生成
CN106611512B (zh) 前车起步的处理方法、装置和系统
CN103448653B (zh) 车辆碰撞报警系统和方法
Abdi et al. In-vehicle augmented reality traffic information system: a new type of communication between driver and vehicle
CN101269635B (zh) 视场监视设备
EP3367365A1 (en) Parking support information display method and parking support device
EP3367363A1 (en) Parking support method and parking support device
EP2026246A1 (en) Method and apparatus for evaluating an image
DE102017207968A1 (de) Vorrichtung zum Vorbeugen gegen einen Fußgängerkollisionsunfall, System mit derselben, und Verfahren hierzu
CN105719311B (zh) 用于检测目标的车辆系统及其操作方法
US20230005169A1 (en) Lidar point selection using image segmentation
US20160297433A1 (en) Long Term Driving Danger Prediction System
Paone et al. Baseline face detection, head pose estimation, and coarse direction detection for facial data in the SHRP2 naturalistic driving study
KR20150087985A (ko) 안전운행정보 표출 장치 및 그 방법
WO2019193928A1 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
Rajendar et al. Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
Rill et al. Collision Avoidance Using Deep Learning-Based Monocular Vision
JP5811918B2 (ja) 注視対象物推定装置、方法、及びプログラム
WO2016157277A1 (ja) 走行環境抽象化映像作成方法及び装置
Virgilio G et al. Vision-based blind spot warning system by deep neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14908050

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016563338

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15514187

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014007249

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14908050

Country of ref document: EP

Kind code of ref document: A1