WO2017164245A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2017164245A1
WO2017164245A1 PCT/JP2017/011498 JP2017011498W WO2017164245A1 WO 2017164245 A1 WO2017164245 A1 WO 2017164245A1 JP 2017011498 W JP2017011498 W JP 2017011498W WO 2017164245 A1 WO2017164245 A1 WO 2017164245A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
image processing
images
bird
Prior art date
Application number
PCT/JP2017/011498
Other languages
English (en)
French (fr)
Inventor
宗作 重村
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN201780017527.7A priority Critical patent/CN108780564A/zh
Priority to DE112017001515.4T priority patent/DE112017001515T5/de
Publication of WO2017164245A1 publication Critical patent/WO2017164245A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program.
  • the image processing apparatus acquires a plurality of images around the vehicle with a time difference using a camera mounted on the vehicle.
  • the image processing device converts each of the plurality of images into a bird's eye view image.
  • the image processing apparatus acquires a vehicle signal representing the behavior of the vehicle from the in-vehicle network.
  • the image processing apparatus determines the positional relationship between the plurality of bird's-eye view images based on the vehicle signal.
  • the image processing apparatus creates a composite image by arranging a plurality of bird's-eye view images in the positional relationship determined as described above.
  • Patent Document 1 Such an image processing apparatus is disclosed in Patent Document 1 below.
  • the vehicle signal acquired from the in-vehicle network is delayed. If the composite image is generated by the above method using the delayed vehicle signal when the behavior of the vehicle is not constant, a divergence occurs between the composite image and the actual situation.
  • An image processing apparatus includes an image acquisition unit configured to acquire a plurality of images around a vehicle with a time difference using a camera mounted on the vehicle, and each of the plurality of images.
  • a conversion unit configured to convert the image into a bird's-eye view image and create a plurality of bird's-eye view images, and when the image acquisition unit acquires an image, a vehicle signal representing the behavior of the vehicle is acquired from the in-vehicle network
  • a position determination unit configured to determine the positional relationship of the plurality of bird's-eye view images using the signal acquisition unit that has been acquired, the vehicle signal acquired by the signal acquisition unit, and at least a part of the plurality of bird's-eye view images
  • a composition unit configured to create a composition image arranged in a positional relationship determined by the determination unit.
  • the image processing apparatus is further configured to predict the vehicle speed of the vehicle at a time point ahead by the signal delay time of the in-vehicle network, using a time-dependent change of the vehicle signal acquired by the signal acquisition unit.
  • the vehicle speed predicted by the prediction unit and the prediction unit is equal to or less than a preset threshold, it is determined whether the vehicle is stopped by comparing a plurality of images acquired at different times using a camera.
  • a stop determination unit configured as described above.
  • the position determination unit is configured to determine the positional relationship when the vehicle is stopped when the stop determination unit determines that the vehicle is stopped.
  • an image processing method uses a camera mounted on a vehicle to acquire a plurality of images around the vehicle with a time difference, and converts each of the plurality of images into a bird's eye view image.
  • a bird's-eye view image is created and an image is acquired using a camera
  • a vehicle signal representing the behavior of the vehicle is acquired from the in-vehicle network
  • the positional relationship of the plurality of bird's-eye view images is determined using the vehicle signal.
  • a composite image in which at least a part of the bird's-eye view image is arranged in the positional relationship is created.
  • the image processing method further uses a time-dependent change of the vehicle signal to predict the vehicle speed of the vehicle at a time point ahead by the signal delay time of the in-vehicle network, and the predicted vehicle speed is a preset threshold value.
  • it is determined whether or not the vehicle is stopped by comparing a plurality of images acquired at different times using a camera. If the vehicle is determined to be stopped, the vehicle is stopped. Determine the positional relationship.
  • FIG. It is a block diagram showing the structure of an image processing apparatus. It is a block diagram showing the functional structure of an image processing apparatus. It is explanatory drawing showing arrangement
  • DELTA time ahead
  • the image processing device 1 is an in-vehicle device mounted on a vehicle.
  • the vehicle on which the image processing apparatus 1 is mounted is referred to as the own vehicle.
  • the image processing apparatus 1 includes a microcomputer having a CPU 3 and a semiconductor memory (hereinafter referred to as a memory 5) such as a RAM, a ROM, and a flash memory.
  • a memory 5 a semiconductor memory
  • Various functions of the image processing apparatus 1 are realized by the CPU 3 executing a program stored in a non-transitional physical recording medium.
  • the memory 5 corresponds to a non-transitional tangible recording medium that stores a program. Further, by executing this program, a method corresponding to the program is executed.
  • the image processing apparatus 1 may include one microcomputer or a plurality of microcomputers.
  • the image processing apparatus 1 has a function configuration realized by the CPU 3 executing a program. As illustrated in FIG. 2, the image acquisition unit 7, the conversion unit 9, the signal acquisition unit 11, and the position determination unit 13. A synthesis unit 15, a prediction unit 17, a stop determination unit 19, and a display unit 20.
  • the method for realizing these elements included in the image processing apparatus 1 is not limited to software, and some or all of the elements may be realized using hardware that combines a logic circuit, an analog circuit, and the like. .
  • the own vehicle includes a camera 21, a display 23, and an in-vehicle network 25 in addition to the image processing apparatus 1.
  • the camera 21 is mounted on the rear portion of the host vehicle 27.
  • the camera 21 captures a landscape behind the vehicle 27 and creates an image.
  • the rear of the host vehicle corresponds to the periphery of the host vehicle.
  • the optical axis 29 of the camera 21 is parallel to the longitudinal axis of the host vehicle 27.
  • the optical axis 29 has a depression angle.
  • the optical axis 29 is always constant. Therefore, if the host vehicle 27 is not inclined and the road is flat, the range 31 included in the image captured by the camera 21 is always at a fixed position with respect to the host vehicle 27.
  • the range 31 includes a road surface.
  • the display 23 is provided in the passenger compartment of the host vehicle 27 as shown in FIG.
  • the driver of the host vehicle 27 can visually recognize the display 23.
  • the display 23 is controlled by the image processing apparatus 1 and displays an image.
  • the in-vehicle network 25 is connected to the image processing apparatus 1.
  • the image processing apparatus 1 can acquire a vehicle signal representing the behavior of the host vehicle from the in-vehicle network 25.
  • the vehicle signal is a signal representing the vehicle speed of the host vehicle.
  • An example of the in-vehicle network 25 is CAN (registered trademark).
  • the vehicle signal transmitted by the in-vehicle network 25 is delayed by the signal delay time ⁇ T. That is, the vehicle signal that the image processing apparatus 1 acquires from the in-vehicle network 25 at time T is a vehicle signal that represents the behavior of the host vehicle at time (T ⁇ T).
  • the signal delay time ⁇ T is a positive value unique to the in-vehicle network 25 and is a known value.
  • Image Processing Performed by Image Processing Device 1 Image processing that is repeatedly executed by the image processing device 1 at a fixed period I will be described with reference to FIGS.
  • the unit of period I is time. In the following, executing the process shown in FIG. 4 once may be referred to as one cycle.
  • the image acquisition unit 7 acquires one image using the camera 21.
  • the image processing apparatus 1 repeats the cycle with a constant period I. Therefore, the image acquisition unit 7 acquires a plurality of images with a time difference corresponding to the period I. For example, the image acquisition unit 7 acquires a first image in a cycle executed at time t 0 , acquires a second image in a cycle executed at time (t 0 + I), and acquires time (t 0 + 2I). The third image is acquired in the cycle executed at), and the fourth image is acquired in the cycle executed at time (t 0 + 3I).
  • step 2 the signal acquisition unit 11 acquires a vehicle signal from the in-vehicle network 25. Since each cycle includes step 2 together with step 1, the signal acquisition unit 11 acquires a vehicle signal when the image acquisition unit 7 acquires an image.
  • step 3 the signal acquisition unit 11 stores the vehicle signal acquired in step 2 in the memory 5 in association with the time of acquisition.
  • the conversion unit 9 converts the image acquired in step 1 in the current cycle into a bird's eye view image.
  • a well-known method can be used as a method for converting into a bird's eye view image.
  • a method for converting to a bird's eye view image for example, a method described in JP-A-10-211849 can be used.
  • the conversion unit 9 converts the image acquired in step 1 in the same cycle into a bird's eye view image each time the process of step 4 is performed. Therefore, the conversion unit 9 converts each of the plurality of images acquired in Step 1 into a bird's eye view image.
  • the conversion unit 9 stores the bird's eye view image in the memory 5.
  • step 5 it is determined whether or not the timing for starting the creation of the composite image has already arrived.
  • the timing at which the creation of the composite image is started is the timing at which the host vehicle has moved by a preset distance since the bird's eye view image was first stored in step 4. If it is already time to start creating a composite image, the process proceeds to step 6; otherwise, the process ends.
  • step 6 the prediction unit 17 predicts the vehicle speed of the host vehicle at a time ahead by ⁇ T from the current time T as follows.
  • the prediction unit 17 first reads out the vehicle signal stored in Step 3 in the current cycle and in Step 3 in the previous cycle. As described above, the vehicle signal represents the vehicle speed of the host vehicle.
  • the prediction unit 17 plots the read vehicle signal on a graph in which the vertical axis is the vehicle speed and the horizontal axis is the time when the vehicle signal is acquired.
  • the prediction unit 17 calculates an approximate curve 33 representing the relationship between the time when the vehicle signal is acquired and the vehicle speed, using the time-dependent change in the vehicle speed shown in this graph.
  • the approximate curve 33 may be a temporary function related to time, a quadratic function, or a cubic function.
  • the prediction unit 17 uses the approximate curve 33 to predict the vehicle speed of the host vehicle at a time point that is ahead of the current time T by ⁇ T.
  • step 7 the stop determination unit 19 determines whether or not the vehicle speed predicted in step 6 is equal to or less than a preset threshold value. If the predicted vehicle speed exceeds the threshold value, the process proceeds to step 8, and if the predicted vehicle speed is equal to or less than the threshold value, the process proceeds to step 12.
  • step 8 the movement amount ⁇ X of the own vehicle in the period from the previous cycle to the current cycle is calculated.
  • the movement amount ⁇ X is a value obtained by multiplying the vehicle speed represented by the vehicle signal acquired in step 2 in the current cycle by the period I. For example, when the vehicle speed is 60 km / h and the period I is 33 msec, ⁇ X is 0.55 m.
  • the composition unit 15 creates a composite image as follows. If the composition unit 15 has already started creating a composite image in the previous cycle, the composition unit 15 reads the content of the composite image stored in the memory 5 in step 10 in the previous cycle and the position of the composite image. The position of the composite image means a position when displayed on the display 23. Further, when the creation of a composite image is started in this cycle, the composite image is not read out.
  • FIG. 6 shows an example of the read composite image.
  • a composite image G (i-1) is a composite image created and stored in the previous cycle.
  • the composite image G (i-1) is, for example, a combination of the bird's eye view images TV (i-1), TV (i-2), TV (i-3), and TV (i-4).
  • TV (i-1) means the bird's eye view image created in step 4 in the cycle before (n + 1) times
  • TV (i-2) means step 4 in the cycle before (n + 2) times.
  • TV (i-3) means the bird's eye view image created in step 4 in the previous cycle (n + 3)
  • TV (i-4) means (n + 4) Means a bird's eye view image created in step 4 in the previous cycle.
  • n is a natural number of 1 or more, and is a constant number.
  • this composite image G (i-1) was created by the following process.
  • a composite image G (i-4) composed of the bird's eye view image TV (i-4) was created.
  • the bird's eye view image TV (i-3) is added to the composite image G (i-4) to create a composite image G (i-3).
  • the bird's eye view image TV (i-2) was added to the composite image G (i-3) to create a composite image G (i-2).
  • the bird's eye view image TV (i-1) was added to the composite image G (i-2) to create a composite image G (i-1).
  • the composition unit 15 moves the position of the composite image G (i-1) by k ⁇ X in the direction opposite to the traveling direction D of the host vehicle.
  • k ⁇ X is a value obtained by multiplying the constant k and the movement amount ⁇ X.
  • the constant k is the pixel pitch.
  • the unit of pixel pitch is m / pix.
  • the synthesizing unit 15 obtains the bird's eye view image TV (i) created in the cycle one time after the latest bird's eye view image TV (i-1) included in the synthesized image G (i-1), In addition to the composite image G (i-1), a composite image G (i) in this cycle is created. For example, if TV (i ⁇ 1) is the bird's eye view image created in step 4 in the cycle before (n + 1) times, TV (i) is created in step 4 in the cycle before n times. It is a bird's-eye view image.
  • the position of the bird's eye view image TV (i) to be newly added is always constant. Accordingly, the positional relationship between the bird's eye view image TV (i) and the bird's eye view image TV (i-1), TV (i-2), TV (i-3), and TV (i-4) is determined by k ⁇ X. The That is, k ⁇ X corresponds to the positional relationship between a plurality of bird's-eye view images.
  • the position of the bird's eye view image TV (i) is a position shifted to the direction D side by k ⁇ X from the bird's eye view image TV (i ⁇ 1).
  • the content of the composite image G (i) in the overlapping region is the content of the bird's-eye view image TV (i). is there.
  • the bird's eye view image TV (i) when the length of the composite image G (i) in the vertical direction exceeds the upper limit, the oldest bird's eye view image included in the composite image G (i) Is deleted. In the example shown in FIG. 6, the bird's eye view image TV (i-4) is deleted.
  • step 14 described later when the movement amount ⁇ X becomes 0, as shown in FIG. 7, the position of the composite image G (i ⁇ 1) does not move.
  • the position of the bird's eye view image TV (i-1) in the composite image G (i-1) is the same as the position of the bird's eye view image TV (i) to be added. Therefore, the bird's eye view image TV (i-1) and the bird's eye view image TV (i) overlap with each other.
  • the composite image G (i) is a composite image obtained by replacing the portion of the bird's eye view image TV (i-1) in the composite image G (i-1) with the bird's eye view image TV (i).
  • the composition unit 15 stores the content and position of the composite image G (i) created in step 9 in the memory 5.
  • the display unit 20 displays an image including the composite image G (i) created in step 9 on the display 23.
  • An example of the display is shown in FIG.
  • the composite image G (i) is displayed on the left middle of the display 23.
  • an area displayed as “image in the traveling direction” is an area for displaying a real-time image of the camera 21.
  • the area displayed as “actual image” is an area for displaying the bird's eye view image created in step 4 in the current cycle.
  • the area displayed as “blank” is an area where nothing is displayed.
  • the upper left area of the display 23 is an area for displaying a bird's eye view image obtained by converting an image acquired using the front camera.
  • FIG. 8 is an image displayed when the host vehicle moves backward. The front camera is not used when the host vehicle is moving backward. Therefore, in FIG. 8, the upper left area on the display 23 is “blank”. When the host vehicle moves forward, a bird's eye view image obtained by converting an image acquired using the front camera is displayed in the upper left area of the display 23.
  • step 7 the process proceeds to step 12.
  • the stop determination unit 19 compares the image P (i) acquired in step 1 in the current cycle with the image P (i-1) acquired in step 1 in the previous cycle. .
  • the image P (i) and the image P (i-1) correspond to a plurality of images acquired at different times using the camera 21.
  • the comparison is performed as follows. As shown in FIG. 9, pixels having the same coordinates in the image P (i) and the image P (i-1) are compared with each other, and differences in luminance, color, etc. are calculated. This process is performed for all the pixels in the image P (i) and the image P (i ⁇ 1), and the difference of the entire image is calculated.
  • step 13 the stop determination unit 19 determines whether or not the host vehicle is stopped based on the comparison result in step 12. That is, if the difference of the entire image calculated in step 12 is equal to or less than a preset threshold value, it is determined that the host vehicle is stopped. Otherwise, the host vehicle is not stopped. to decide. If it is determined that the host vehicle is stopped, the process proceeds to step 14, and if it is determined that the host vehicle is not stopped, the process proceeds to step 8.
  • step 14 the movement amount ⁇ X is set to zero.
  • a movement amount ⁇ X of 0 corresponds to the host vehicle being stopped.
  • the process proceeds to step 9. 3.
  • Effects produced by the image processing apparatus 1 (1A) The image processing apparatus 1 predicts the vehicle speed of the host vehicle at a time point ahead by the signal delay time ⁇ T. Then, when the predicted vehicle speed is equal to or lower than a preset threshold, the image processing apparatus 1 compares the plurality of images acquired at different times using the camera 21 to determine whether the host vehicle is stopped. Judging. Furthermore, when the image processing apparatus 1 determines that the host vehicle is stopped, the image processing apparatus 1 sets the movement amount ⁇ X to zero.
  • the host vehicle 27 moves backward between the left and right poles 35 and stops before the stop line 37.
  • the behavior of the host vehicle 27 changes from a backward traveling state to a stopped state.
  • the image processing apparatus 1 repeatedly creates a composite image and displays it on the display 23 when the host vehicle 27 moves backward and stops.
  • a composite image at a time after ⁇ T from the time when the host vehicle 27 stops before the stop line 37 (hereinafter referred to as the stop time) is as shown in FIG.
  • the position of the pole 35 ⁇ / b> A closest to the stop line 37 among the poles 35 is displayed above the actual position 39. That is, the synthesized image and the actual situation are different.
  • the image processing apparatus 1 acquires a vehicle signal at a time point that is traced back by the signal delay time ⁇ T. Therefore, the vehicle signal in the period from the stop time point to the time point after ⁇ T is a vehicle signal representing the vehicle speed when the host vehicle 27 is still moving backward. That is, the image processing apparatus 1 acquires a vehicle signal that represents the vehicle speed when the host vehicle 27 is moving backward, although the host vehicle 27 is actually stopped during the period from the stop point to the point after ⁇ T. Therefore, the movement amount ⁇ X calculated at a time after ⁇ T from the stop time becomes a value larger than the actual value.
  • the composite image G (i) when the composite image G (i) is created at a time after ⁇ T from the stop point, the composite image G (i ⁇ 1) moves largely upward as shown in FIG. As a result, as shown in FIG. 11, the pole 35A appearing in the composite image G (i-1) moves upward, and is displayed above the actual position 39 in the composite image G (i). End up.
  • the own vehicle 27 in FIG. 11 and FIG. 12 mentioned later is displayed by computer graphics.
  • the image processing apparatus 1 can make the movement amount ⁇ X 0 by making an affirmative determination in Step 7 after the stop point and making an affirmative determination in Step 13. Then, when creating the composite image G (i) at the time after ⁇ T from the stop time, the image processing apparatus 1 does not move the composite image G (i ⁇ 1) as shown in FIG. As a result, as shown in FIG. 12, the pole 35A appearing in the composite image G (i-1) does not move upward and is correctly displayed at the actual position 39 in the composite image G (i). That is, the difference between the composite image and the actual situation is suppressed.
  • the vehicle signal acquired by the image processing device 1 represents the vehicle speed of the host vehicle. Therefore, the movement amount ⁇ X can be easily calculated.
  • the image processing apparatus 1 determines whether or not the host vehicle is stopped by comparing pixels having the same coordinates in a plurality of images. This makes it possible to easily and accurately determine whether the host vehicle is stopped.
  • Second Embodiment 1 Differences from the First Embodiment Since the basic configuration of the second embodiment is the same as that of the first embodiment, description of the common configuration will be omitted, and differences will be mainly described. Note that the same reference numerals as those in the first embodiment indicate the same configuration, and the preceding description is referred to.
  • the stop determination unit 19 compares the image P (i) and the image P (i-1) by the following method. As shown in FIG. 13, the stop determination unit 19 recognizes the same target 41 in each of the image P (i) and the image P (i-1).
  • a known image recognition technique can be used for the recognition of the target 41.
  • the target 41 is preferably one that does not move relative to the earth. Examples of such a target include a white line, a building, and a structure. Whether or not the target recognized in the image P (i) and the target recognized in the image P (i) are the same can be determined by the similarity of the shape, size, color, etc. of both.
  • the stop determination unit 19 compares the position of the target 41 recognized in the image P (i) with the position of the target 41 recognized in the image P (i-1), and calculates the distance between them. .
  • the stop determination unit 19 determines whether or not the host vehicle is stopped based on the comparison result in step 12. That is, if the distance calculated in step 12 is equal to or less than a preset threshold value, it is determined that the host vehicle is stopped, and otherwise, it is determined that the host vehicle is not stopped. If it is determined that the host vehicle is stopped, the process proceeds to step 14, and if it is determined that the host vehicle is not stopped, the process proceeds to step 8.
  • the image processing apparatus 1 recognizes the same target 41 in each of the image P (i) and the image P (i-1). Then, the image processing apparatus 1 compares the position of the target 41 in the image P (i) and the image P (i-1) to determine whether or not the host vehicle is stopped. This makes it possible to easily and accurately determine whether the host vehicle is stopped. ⁇ Other embodiments> As mentioned above, although the form for implementing this indication was demonstrated, this indication is not limited to the above-mentioned embodiment, and can carry out various modifications.
  • the camera 21 may be attached to the front end of the host vehicle 27.
  • the image processing apparatus 1 can acquire an image of the front of the host vehicle using the camera 21.
  • the front of the host vehicle corresponds to the periphery of the host vehicle.
  • the image processing apparatus 1 can create a composite image using an image taken in front of the host vehicle.
  • the vehicle signal may be a signal representing the position of the host vehicle or the amount of movement of the host vehicle.
  • the vehicle signal may be a signal representing at least one selected from the value of a pulse counter, the traveling direction of the host vehicle, and the steering angle of the host vehicle.
  • the image to be compared in step 12 may be a bird's eye view image.
  • a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate
  • at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment.
  • all the aspects included in the technical idea specified only by the wording described in the claim are embodiment of this indication.
  • a system including the image processing apparatus as a constituent element, a program for causing a computer to function as the image processing apparatus, and a non-transitory actual recording such as a semiconductor memory storing the program
  • the present disclosure can also be realized in various forms such as a medium and an image processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

画像処理装置（１）は、車両の周辺の画像を取得するように構成された画像取得ユニット（７）と、画像を鳥瞰図画像に変換するように構成された変換ユニット（９）と、車両信号を車載ネットワークから取得するように構成された信号取得ユニット（１１）と、複数の鳥瞰図画像の位置関係を決定するように構成された位置決定ユニット（１３）と、合成画像を作成するように構成された合成ユニット（１５）と、信号遅延時間だけ先の時点における車速を予測するように構成された予測ユニット（１７）と、車両が停止しているか否かを判断するように構成された停止判断ユニット（１９）とを備える。位置決定ユニットは、車両が停止していると判断した場合、車両が停止している場合の位置関係を決定する。

Description

画像処理装置、画像処理方法、及びプログラム 関連出願の相互参照
　本国際出願は、２０１６年３月２２日に日本国特許庁に出願された日本国特許出願第２０１６－０５６９７５号に基づく優先権を主張するものであり、日本国特許出願第２０１６－０５６９７５号の全内容を本国際出願に参照により援用する。
　本開示は、画像処理装置、画像処理方法、及びプログラムに関する。
　以下のような画像処理装置が知られている。画像処理装置は、車両に搭載されたカメラを用いて、車両の周辺の画像を、時間差をおいて複数取得する。画像処理装置は、複数の画像のそれぞれを鳥瞰図画像に変換する。画像処理装置は、車両の挙動を表す車両信号を車載ネットワークから取得する。画像処理装置は、車両信号に基づき、複数の鳥瞰図画像の位置関係を決定する。画像処理装置は、複数の鳥瞰図画像を、上記のように決定した位置関係で配置して合成画像を作成する。このような画像処理装置は、下記特許文献１に開示されている。
特許第４１５６２１４号公報
　発明者の詳細な検討の結果、以下の課題が見出された。車載ネットワークから取得する車両信号は遅延している。車両の挙動が一定でない場合に、遅延した車両信号を用いて上記の方法で合成画像を作成すると、合成画像と実際の状況との間に乖離が生じてしまう。
　本開示の一局面は、合成画像と実際の状況との間の乖離を抑制できる画像処理装置、画像処理方法、及びプログラムを提供できることが好ましい。
　本開示の一局面における画像処理装置は、車両に搭載されたカメラを用いて、車両の周辺の画像を、時間差をおいて複数取得するように構成された画像取得ユニットと、複数の画像のそれぞれを鳥瞰図画像に変換して複数の鳥瞰図画像を作成するように構成された変換ユニットと、画像取得ユニットが画像を取得するとき、車両の挙動を表す車両信号を、車載ネットワークから取得するように構成された信号取得ユニットと、信号取得ユニットにより取得した車両信号を用いて、複数の鳥瞰図画像の位置関係を決定するように構成された位置決定ユニットと、複数の鳥瞰図画像の少なくとも一部が、位置決定ユニットにより決定した位置関係で配置された合成画像を作成するように構成された合成ユニットと、を備える。
　本開示の一局面における画像処理装置は、さらに、信号取得ユニットにより取得した車両信号の経時変化を用いて、車載ネットワークの信号遅延時間だけ先の時点における車両の車速を予測するように構成された予測ユニットと、予測ユニットにより予測した車速が予め設定された閾値以下である場合、カメラを用いて異なる時刻に取得した複数の画像を対比することで、車両が停止しているか否かを判断するように構成された停止判断ユニットと、を備える。位置決定ユニットは、車両が停止していると停止判断ユニットが判断した場合、車両が停止している場合の位置関係を決定するように構成されている。
　本開示の一局面における画像処理装置によれば、車両の挙動が一定でない場合でも、合成画像と実際の状況との間の乖離を抑制できる。
　本開示の別の局面における画像処理方法は、車両に搭載されたカメラを用いて、車両の周辺の画像を、時間差をおいて複数取得し、複数の画像のそれぞれを鳥瞰図画像に変換して複数の鳥瞰図画像を作成し、カメラを用いて画像を取得するとき、車両の挙動を表す車両信号を、車載ネットワークから取得し、車両信号を用いて、複数の鳥瞰図画像の位置関係を決定し、複数の鳥瞰図画像の少なくとも一部が前記位置関係で配置された合成画像を作成する。
　本開示の別の局面における画像処理方法は、さらに、車両信号の経時変化を用いて、車載ネットワークの信号遅延時間だけ先の時点における車両の車速を予測し、予測した車速が予め設定された閾値以下である場合、カメラを用いて異なる時刻に取得した複数の画像を対比することで、車両が停止しているか否かを判断し、車両が停止していると判断した場合は、車両が停止している場合の位置関係を決定する。
　本開示の別の局面における画像処理方法によれば、車両の挙動が一定でない場合でも、合成画像と実際の状況との間の乖離を抑制できる。
　なお、請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
画像処理装置の構成を表すブロック図である。 画像処理装置の機能的構成を表すブロック図である。 自車両におけるカメラ及びディスプレイの配置を表す説明図である。 画像処理装置が実行する処理を表すフローチャートである。 現時点の時刻ＴからΔＴだけ先の時点における自車両の車速を予測する方法を表す説明図である。 現時点における合成画像Ｇ（ｉ）を作成する方法を表す説明図である。 移動量ΔＸが０である場合に、現時点における合成画像Ｇ（ｉ）を作成する方法を表す説明図である。 ディスプレイの表示例を表す説明図である。 画像Ｐ（ｉ）と画像Ｐ（ｉ－１）とを対比する方法を表す説明図である。 自車両、ポール、及び停止線を表す説明図である。 停止時点からΔＴ後における合成画像であって、移動量ΔＸを、常に車両信号に基づき作成した場合の合成画像を表す説明図である。 停止時点からΔＴ後において、画像処理装置が作成した合成画像Ｇ（ｉ）を表す説明図である。 物標の位置に基づき画像Ｐ（ｉ）と画像Ｐ（ｉ－１）とを対比する方法を表す説明図である。
　本開示の実施形態を図面に基づき説明する。
＜第１実施形態＞
　１．画像処理装置１の構成
　画像処理装置１の構成を、図１～図３に基づき説明する。画像処理装置１は、車両に搭載される車載装置である。以下では、画像処理装置１を搭載する車両を自車両とする。画像処理装置１は、ＣＰＵ３と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ５とする）と、を有するマイクロコンピュータを備える。画像処理装置１の各種機能は、ＣＰＵ３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理装置１は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
　画像処理装置１は、ＣＰＵ３がプログラムを実行することで実現される機能の構成として、図２に示すように、画像取得ユニット７と、変換ユニット９と、信号取得ユニット１１と、位置決定ユニット１３と、合成ユニット１５と、予測ユニット１７と、停止判断ユニット１９と、表示ユニット２０と、を備える。画像処理装置１に含まれるこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
　自車両は、画像処理装置１に加えて、カメラ２１、ディスプレイ２３、及び車載ネットワーク２５を備える。カメラ２１は、図３に示すように、自車両２７の後部に搭載されている。カメラ２１は、自車両２７から見て後方にある風景を撮影し、画像を作成する。自車両の後方は、自車両の周辺に対応する。
　自車両２７を上方から見たとき、カメラ２１の光軸２９は、自車両２７の前後軸と平行である。また、光軸２９は俯角を有する。自車両２７を基準としたとき、光軸２９は常に一定である。そのため、自車両２７の傾きがなく、道路が平坦であれば、カメラ２１が撮影する画像に含まれる範囲３１は、自車両２７に対し、常に一定の位置にある。範囲３１には、路面が含まれる。
　ディスプレイ２３は、図３に示すように、自車両２７の車室内に設けられている。自車両２７のドライバはディスプレイ２３を視認可能である。ディスプレイ２３は、画像処理装置１により制御され、画像を表示する。
　車載ネットワーク２５は、画像処理装置１に接続している。画像処理装置１は、車載ネットワーク２５から、自車両の挙動を表す車両信号を取得することができる。車両信号は、具体的には、自車両の車速を表す信号である。車載ネットワーク２５としては、例えば、ＣＡＮ（登録商標）が挙げられる。
　車載ネットワーク２５により送信される車両信号は、信号遅延時間ΔＴだけ遅延している。すなわち、時刻Ｔにおいて画像処理装置１が車載ネットワーク２５から取得する車両信号は、時刻（Ｔ－ΔＴ）における自車両の挙動を表す車両信号である。信号遅延時間ΔＴは、車載ネットワーク２５に固有の正の値であり、既知の値である。
　２．画像処理装置１が実行する画像処理
　画像処理装置１が一定の周期Ｉで繰り返し実行する画像処理を、図４～図９に基づき説明する。周期Iの単位は時間である。以下では、図４に示す処理を１回実行することを、１サイクルということがある。
　図４のステップ１では、画像取得ユニット７が、カメラ２１を用いて１つの画像を取得する。なお、画像処理装置１は、一定の周期Ｉでサイクルを繰り返す。そのため、画像取得ユニット７は、周期Ｉに相当する時間差をおいて、複数の画像を取得する。例えば、画像取得ユニット７は、時刻ｔ０で実行するサイクルにおいて第１の画像を取得し、時刻（ｔ０+Ｉ）で実行するサイクルにおいて第２の画像を取得し、時刻（ｔ０+２Ｉ）で実行するサイクルにおいて第３の画像を取得し、時刻（ｔ０+３Ｉ）で実行するサイクルにおいて第４の画像を取得する。
　ステップ２では、信号取得ユニット１１が、車載ネットワーク２５から車両信号を取得する。なお、各サイクルは、前記ステップ１とともに、本ステップ２を含むから、信号取得ユニット１１は、画像取得ユニット７が画像を取得するとき、車両信号を取得することになる。
　ステップ３では、信号取得ユニット１１が、前記ステップ２で取得した車両信号を、それを取得した時刻と関連付けてメモリ５に記憶する。
　ステップ４では、変換ユニット９が、今回のサイクルでの前記ステップ１で取得した画像を鳥瞰図画像に変換する。鳥瞰図画像に変換する方法として、周知の方法を用いることができる。鳥瞰図画像に変換する方法の例として、例えば、特開平１０－２１１８４９号公報に記載されている方法等を用いることができる。
　なお、画像処理装置１は、サイクルごとにステップ４の処理を繰り返し実行する。変換ユニット９は、ステップ４の処理を行うごとに、同じサイクルでの前記ステップ１で取得された画像を鳥瞰図画像に変換する。よって、変換ユニット９は、前記ステップ１で取得された複数の画像のそれぞれを鳥瞰図画像に変換する。変換ユニット９は、鳥瞰図画像をメモリ５に記憶する。
　ステップ５では、合成画像の作成を開始するタイミングが既に到来しているか否かを判断する。合成画像の作成を開始するタイミングとは、前記ステップ４で最初に鳥瞰図画像を記憶してから、自車両が予め設定された距離だけ移動したタイミングである。合成画像の作成を開始するタイミングが既に到来している場合はステップ６に進み、それ以外の場合は本処理を終了する。
　ステップ６では、予測ユニット１７が、以下のようにして、現時点の時刻ＴからΔＴだけ先の時刻における自車両の車速を予測する。
　予測ユニット１７は、まず、今回のサイクルでの前記ステップ３及びそれ以前のサイクルでの前記ステップ３で記憶しておいた車両信号を読み出す。車両信号は、上述したように、自車両の車速を表す。次に、予測ユニット１７は、図５に示すように、縦軸が車速であり、横軸が車両信号を取得した時刻であるグラフに、読み出した車両信号をプロットする。
　次に、予測ユニット１７は、このグラフに表れる車速の経時変化を用いて、車両信号を取得した時刻と、車速との関係を表す近似曲線３３を算出する。近似曲線３３は、時刻に関する一時関数であってもよいし、二次関数であってもよいし、三次関数であってもよい。次に、予測ユニット１７は、近似曲線３３を用いて、現時点の時刻ＴからΔＴだけ先の時点における自車両の車速を予測する。
　ステップ７では、前記ステップ６で予測した車速が、予め設定された閾値以下であるか否かを、停止判断ユニット１９が判断する。予測した車速が閾値を超える場合はステップ８に進み、予測した車速が閾値以下である場合はステップ１２に進む。
　ステップ８では、前回のサイクルから今回のサイクルまでの期間における自車両の移動量ΔＸを算出する。移動量ΔＸは、今回のサイクルでの前記ステップ２で取得した車両信号が表す車速と、周期Ｉとを乗算した値である。例えば、車速が６０ｋｍ／ｈであり、周期Ｉが３３ｍｓｅｃの場合、ΔＸは０．５５ｍである。
　ステップ９では、以下のようにして、合成ユニット１５が合成画像を作成する。合成ユニット１５は、前回以前のサイクルで既に合成画像の作成を開始している場合は、前回のサイクルでのステップ１０でメモリ５に記憶した合成画像の内容、及び合成画像の位置を読み出す。合成画像の位置とは、ディスプレイ２３上に表示するときの位置を意味する。また、今回のサイクルで合成画像の作成を開始する場合は、合成画像の読み出しは行わない。
　図６に、読み出された合成画像の例を示す。図６において、合成画像Ｇ（ｉ－１）は、前回のサイクルにおいて作成され、記憶された合成画像である。合成画像Ｇ（ｉ－１）は、例えば、鳥瞰図画像ＴＶ（ｉ－１）、ＴＶ（ｉ－２）、ＴＶ（ｉ－３）、及びＴＶ（ｉ－４）を組み合わせたものである。ＴＶ（ｉ－１）は（ｎ+１）回前のサイクルでのステップ４で作成された鳥瞰図画像を意味し、ＴＶ（ｉ－２）は（ｎ+２）回前のサイクルでのステップ４で作成された鳥瞰図画像を意味し、ＴＶ（ｉ－３）は（ｎ+３）回前のサイクルでのステップ４で作成された鳥瞰図画像を意味し、ＴＶ（ｉ－４）は（ｎ+４）回前のサイクルでのステップ４で作成された鳥瞰図画像を意味する。ｎは１以上の自然数であり、一定の数である。
　なお、この合成画像Ｇ（ｉ－１）は、以下の経緯により、作成されたものである。まず、４回前のサイクルでのステップ９において、鳥瞰図画像ＴＶ（ｉ－４）から成る合成画像Ｇ（ｉ－４）が作成された。次に、３回前のサイクルでのステップ９において、鳥瞰図画像ＴＶ（ｉ－３）が合成画像Ｇ（ｉ－４）に加えられ、合成画像Ｇ（ｉ－３）が作成された。次に、２回前のサイクルでのステップ９において、鳥瞰図画像ＴＶ（ｉ－２）が合成画像Ｇ（ｉ－３）に加えられ、合成画像Ｇ（ｉ－２）が作成された。次に、前回のサイクルでのステップ９において、鳥瞰図画像ＴＶ（ｉ－１）が合成画像Ｇ（ｉ－２）に加えられ、合成画像Ｇ（ｉ－１）が作成された。
　次に、合成ユニット１５は、合成画像Ｇ（ｉ－１）の位置を、ｋΔＸだけ、自車両の進行方向Ｄとは反対方向に移動させる。ｋΔＸは、定数ｋと移動量ΔＸとを乗算した値である。定数ｋはピクセルピッチである。ピクセルピッチの単位はｍ／ｐｉｘである。
　次に、合成ユニット１５は、合成画像Ｇ（ｉ－１）に含まれる、最も新しい鳥瞰図画像ＴＶ（ｉ－１）よりも、１回後のサイクルで作成された鳥瞰図画像ＴＶ（ｉ）を、合成画像Ｇ（ｉ－１）に加え、今回のサイクルでの合成画像Ｇ（ｉ）を作成する。例えば、ＴＶ（ｉ－１）が（ｎ+１）回前のサイクルでのステップ４で作成された鳥瞰図画像である場合、ＴＶ（ｉ）は、ｎ回前のサイクルでのステップ４で作成された鳥瞰図画像である。
　新たに加える鳥瞰図画像ＴＶ（ｉ）の位置は、常に一定である。よって、鳥瞰図画像ＴＶ（ｉ）と、鳥瞰図画像ＴＶ（ｉ－１）、ＴＶ（ｉ－２）、ＴＶ（ｉ－３）、及びＴＶ（ｉ－４）との位置関係は、ｋΔＸにより決定される。すなわち、ｋΔＸは、複数の鳥瞰図画像の位置関係に対応する。
　鳥瞰図画像ＴＶ（ｉ）の位置は、鳥瞰図画像ＴＶ（ｉ－１）よりも、ｋΔＸだけ、方向Ｄ側にずれた位置である。鳥瞰図画像ＴＶ（ｉ）と、合成画像Ｇ（ｉ－１）とが重複する領域を有する場合、その重複する領域での合成画像Ｇ（ｉ）の内容は、鳥瞰図画像ＴＶ（ｉ）の内容である。
　合成画像Ｇ（ｉ）の上下方向における長さには一定の上限値がある。合成画像Ｇ（ｉ）の上下方向における長さが上限値に達するまでは、鳥瞰図画像ＴＶ（ｉ）を加えても、古い鳥瞰図画像は削除しない。
　一方、鳥瞰図画像ＴＶ（ｉ）を加えた結果、合成画像Ｇ（ｉ）の上下方向における長さが上限値を超えた場合、合成画像Ｇ（ｉ）に含まれる鳥瞰図画像のうち、最も古いものを削除する。図６に示す例では、鳥瞰図画像ＴＶ（ｉ－４）を削除する。
　後述するステップ１４において、移動量ΔＸが０となった場合は、図７に示すように、合成画像Ｇ（ｉ－１）の位置は移動しない。合成画像Ｇ（ｉ－１）における鳥瞰図画像ＴＶ（ｉ－１）の位置は、追加する鳥瞰図画像ＴＶ（ｉ）の位置と同じである。よって、鳥瞰図画像ＴＶ（ｉ－１）と鳥瞰図画像ＴＶ（ｉ）とは、それらの全体にわたって重複する。合成画像Ｇ（ｉ）は、合成画像Ｇ（ｉ－１）における鳥瞰図画像ＴＶ（ｉ－１）の部分を、鳥瞰図画像ＴＶ（ｉ）で置換した合成画像である。
　ステップ１０では、合成ユニット１５が、前記ステップ９で作成した合成画像Ｇ（ｉ）の内容、及び位置をメモリ５に記憶する。
　ステップ１１では、表示ユニット２０が、前記ステップ９で作成した合成画像Ｇ（ｉ）を含む画像を、ディスプレイ２３に表示する。その表示例を図８に示す。合成画像Ｇ（ｉ）はディスプレイ２３における左側中段に表示される。図８において「進行方向の画像」と表示された領域は、カメラ２１のリアルタイムの画像を表示する領域である。「実画」と表示された領域は、今回のサイクルでの前記ステップ４で作成された鳥瞰図画像を表示する領域である。「ブランク」と表示された領域は、何も表示しない領域である。
　なお、ディスプレイ２３における左上の領域は、フロントカメラを用いて取得した画像を変換して成る鳥瞰図画像を表示する領域である。図８は、自車両が後進するときに表示する画像である。自車両が後進するとき、フロントカメラは使用しない。そのため、図８において、ディスプレイ２３での左上の領域は、「ブランク」となっている。自車両が前進するときは、フロントカメラを用いて取得した画像を変換して成る鳥瞰図画像を、ディスプレイ２３での左上の領域に表示する。
　前記ステップ７で肯定判断した場合はステップ１２に進む。ステップ１２では、停止判断ユニット１９が、今回のサイクルでの前記ステップ１で取得した画像Ｐ（ｉ）と、前回のサイクルでの前記ステップ１で取得した画像Ｐ（ｉ－１）とを対比する。画像Ｐ（ｉ）及び画像Ｐ（ｉ－１）は、カメラ２１を用いて異なる時刻に取得した複数の画像に対応する。
　対比は、以下のように行う。図９に示すように、画像Ｐ（ｉ）と画像Ｐ（ｉ－１）とにおける同一座標の画素同士を対比し、それらの輝度、色等の差を算出する。この処理を、画像Ｐ（ｉ）及び画像Ｐ（ｉ－１）における全画素について行い、画像全体としての差を算出する。
　ステップ１３では、停止判断ユニット１９が、前記ステップ１２での対比結果に基づき、自車両が停止しているか否かを判断する。すなわち、前記ステップ１２で算出した、画像全体としての差が予め設定された閾値以下であれば、自車両が停止していると判断し、それ以外の場合は、自車両は停止していないと判断する。自車両が停止していると判断した場合はステップ１４に進み、自車両は停止していないと判断した場合は前記ステップ８に進む。
　ステップ１４では、移動量ΔＸを０とする。移動量ΔＸが０であることは、自車両が停止していることに対応する。その後、前記ステップ９に進む。
　３．画像処理装置１が奏する効果
　（１Ａ）画像処理装置１は、信号遅延時間ΔＴだけ先の時点における自車両の車速を予測する。そして、画像処理装置１は、予測した車速が予め設定された閾値以下である場合、カメラ２１を用いて異なる時刻に取得した複数の画像を対比することで、自車両が停止しているか否かを判断する。さらに、画像処理装置１は、自車両が停止していると判断した場合、移動量ΔＸを０にする。
　そのことにより、自車両の挙動が変化する場合でも、合成画像と実際の状況との乖離を抑制することができる。この効果を、図１０～図１２に示す例に即して説明する。
　図１０に示すように、自車両２７は、左右両側のポール３５の間を後進し、停止線３７の手前で停止する。すなわち、自車両２７の挙動は、後進している状態から、停止状態へと変化する。画像処理装置１は、自車両２７が後進しているとき、及び停止しているときに、繰り返し合成画像を作成し、ディスプレイ２３に表示する。
　前記ステップ６、７、１２、１３、１４における処理を行わず、移動量ΔＸを常に前記ステップ８で算出する場合を想定する。この場合、自車両２７が停止線３７の手前で停止した時点（以下では停止時点とする）からΔＴ後の時点における合成画像は、図１１に示すものとなる。この合成画像において、ポール３５のうち、停止線３７に最も近いポール３５Ａの位置は、実際の位置３９よりも上側に表示されている。すなわち、合成画像と実際の状況とが乖離している。
　これは、以下の理由による。画像処理装置１は、信号遅延時間ΔＴの分だけ遡った時点での車両信号を取得する。よって、停止時点から、ΔＴ後の時点までの期間における車両信号は、自車両２７が未だ後進を続けていたときの車速を表す車両信号である。すなわち、画像処理装置１は、停止時点から、ΔＴ後の時点までの期間において、実際には自車両２７は停止しているのに、後進しているときの車速を表す車両信号を取得する。そのため、停止時点からからΔＴ後の時点で算出する移動量ΔＸは実際より大きい値となる。
　そして、停止時点からΔＴ後の時点で合成画像Ｇ（ｉ）を作成するとき、図６に示すように、合成画像Ｇ（ｉ－１）は、実際より大きく上方に移動する。その結果、図１１に示すように、合成画像Ｇ（ｉ－１）に表れていたポール３５Ａは、上側に移動し、合成画像Ｇ（ｉ）において、実際の位置３９よりも上側に表示されてしまう。なお、図１１及び後述する図１２における自車両２７は、コンピュータグラフィックスにより表示したものである。
　一方、画像処理装置１は、停止時点以降は、前記ステップ７で肯定判断し、前記ステップ１３で肯定判断することで、移動量ΔＸを０にすることができる。そして、画像処理装置１は、停止時点からΔＴ後の時点での合成画像Ｇ（ｉ）を作成するとき、図７に示すように、合成画像Ｇ（ｉ－１）を移動させない。その結果、図１２に示すように、合成画像Ｇ（ｉ－１）に表れていたポール３５Ａは、上側に移動せず、合成画像Ｇ（ｉ）において、実際の位置３９に正しく表示される。すなわち、合成画像と実際の状況との乖離が抑制される。
　（１Ｂ）画像処理装置１が取得する車両信号は、自車両の車速を表す。そのため、移動量ΔＸの算出が容易である。
　（１Ｃ）画像処理装置１は、複数の画像における同一座標の画素同士を対比することで、自車両が停止しているか否かを判断する。そのことにより、自車両が停止しているか否かを容易且つ正確に判断することができる。
＜第２実施形態＞
　１．第１実施形態との相違点
　第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
　前記ステップ１２において、停止判断ユニット１９は、画像Ｐ（ｉ）と画像Ｐ（ｉ－１）とを、以下の方法で対比する。
　図１３に示すように、停止判断ユニット１９は、画像Ｐ（ｉ）及び画像Ｐ（ｉ－１）のそれぞれにおいて、同一の物標４１を認識する。物標４１の認識には、周知の画像認識技術を用いることができる。物標４１としては、地球に対し移動しないものが好ましい。そのような物標として、例えば、白線、建物、構造物等が挙げられる。画像Ｐ（ｉ）で認識した物標と画像Ｐ（ｉ）で認識した物標とが同一であるか否かは、両者の形状、大きさ、色等の類似性により判断できる。
　次に、停止判断ユニット１９は、画像Ｐ（ｉ）で認識した物標４１の位置と、画像Ｐ（ｉ－１）で認識した物標４１の位置とを対比し、それらの距離を算出する。
　前記ステップ１３では、停止判断ユニット１９が、前記ステップ１２での対比結果に基づき、自車両が停止しているか否かを判断する。すなわち、前記ステップ１２で算出した距離が予め設定された閾値以下であれば、自車両が停止していると判断し、それ以外の場合は、自車両は停止していないと判断する。自車両が停止していると判断した場合はステップ１４に進み、自車両は停止していないと判断した場合は前記ステップ８に進む。
　２．画像処理装置１が奏する効果
　以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ａ）、（１Ｂ）に加え、以下の効果が得られる。
　（２Ａ）画像処理装置１は、画像Ｐ（ｉ）及び画像Ｐ（ｉ－１）のそれぞれにおいて、同一の物標４１を認識する。そして、画像処理装置１は、画像Ｐ（ｉ）及び画像Ｐ（ｉ－１）における物標４１の位置を対比することで、自車両が停止しているか否かを判断する。そのことにより、自車両が停止しているか否かを容易且つ正確に判断することができる。
＜他の実施形態＞
　以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（１）カメラ２１は、自車両２７の前端に取り付けられてもよい。その場合、画像処理装置１は、カメラ２１を用いて、自車両の前方を撮影した画像を取得することができる。自車両の前方は、自車両の周辺に対応する。画像処理装置１は、自車両の前方を撮影した画像を用いて合成画像を作成することができる。
　（２）車両信号は、自車両の位置、又は自車両の移動量を表す信号であってもよい。例えば、車両信号は、パルスカウンターの値、自車両の進行方向、及び自車両の舵角から選択される少なくとも１つを表す信号であってもよい。
　（３）前記ステップ１２で対比する画像は、鳥瞰図画像であってもよい。
　（４）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
　（５）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法等、種々の形態で本開示を実現することもできる。　
 

Claims (9)

  1. 　画像処理装置（１）であって、
    　車両（２７）に搭載されたカメラ（２１）を用いて、前記車両の周辺の画像を、時間差をおいて複数取得するように構成された画像取得ユニット（７）と、
    　前記複数の画像のそれぞれを鳥瞰図画像に変換して複数の鳥瞰図画像を作成するように構成された変換ユニット（９）と、
    　前記画像取得ユニットが前記画像を取得するとき、前記車両の挙動を表す車両信号を、車載ネットワーク（２５）から取得するように構成された信号取得ユニット（１１）と、
    　前記信号取得ユニットにより取得した前記車両信号を用いて、前記複数の鳥瞰図画像の位置関係を決定するように構成された位置決定ユニット（１３）と、
    　前記複数の鳥瞰図画像の少なくとも一部が、前記位置決定ユニットにより決定した前記位置関係で配置された合成画像を作成するように構成された合成ユニット（１５）と、
    　前記信号取得ユニットにより取得した前記車両信号の経時変化を用いて、前記車載ネットワークの信号遅延時間だけ先の時点における前記車両の車速を予測するように構成された予測ユニット（１７）と、
    　前記予測ユニットにより予測した前記車速が予め設定された閾値以下である場合、前記カメラを用いて異なる時刻に取得した複数の画像を対比することで、前記車両が停止しているか否かを判断するように構成された停止判断ユニット（１９）と、
    　を備え、
    　前記位置決定ユニットは、前記車両が停止していると前記停止判断ユニットが判断した場合、前記車両が停止している場合の前記位置関係を決定するように構成されている、画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記車両信号は、前記車両の車速、パルスカウンタ、進行方向、及び舵角から選択される少なくとも１つを表す信号である画像処理装置。
  3. 　請求項１又は２に記載の画像処理装置であって、
    　前記停止判断ユニットは、前記複数の画像における同一座標の画素同士を対比することで、前記車両が停止しているか否かを判断するように構成されている、画像処理装置。
  4. 　請求項１又は２に記載の画像処理装置であって、
    　前記停止判断ユニットは、前記複数の画像のそれぞれにおいて、同一の物標を認識し、前記複数の画像における前記物標の位置を対比することで、前記車両が停止しているか否かを判断するように構成されている、画像処理装置。
  5. 　画像処理方法であって、
    　車両に搭載されたカメラを用いて、前記車両の周辺の画像を、時間差をおいて複数取得し（Ｓ１）、
    　前記複数の画像のそれぞれを鳥瞰図画像に変換して複数の鳥瞰図画像を作成し（Ｓ４）、
    　前記カメラを用いて前記画像を取得するとき、前記車両の挙動を表す車両信号を、車載ネットワークから取得し（Ｓ２）、
    　前記車両信号を用いて、前記複数の鳥瞰図画像の位置関係を決定し（Ｓ８、Ｓ１５）、
    　前記複数の鳥瞰図画像の少なくとも一部が前記位置関係で配置された合成画像を作成し（Ｓ９）、
    　前記車両信号の経時変化を用いて、前記車載ネットワークの信号遅延時間だけ先の時点における前記車両の車速を予測し（Ｓ５）、
    　予測した前記車速が予め設定された閾値以下である場合、前記カメラを用いて異なる時刻に取得した複数の画像を対比することで、前記車両が停止しているか否かを判断し（Ｓ１３、Ｓ１４）、
    　前記車両が停止していると判断した場合は、前記車両が停止している場合の前記位置関係を決定する（Ｓ１５）画像処理方法。
  6. 　請求項５に記載の画像処理方法であって、
    　前記車両信号は、前記車両の車速、パルスカウンタ、進行方向、及び舵角から選択される少なくとも１つを表す信号である画像処理方法。
  7. 　請求項５又は６に記載の画像処理方法であって、
    　前記複数の画像における同一座標の画素同士を対比することで、前記車両が停止しているか否かを判断する（Ｓ１３）画像処理方法。
  8. 　請求項５又は６に記載の画像処理方法であって、
    　前記複数の画像のそれぞれにおいて、同一の物標を認識し、前記複数の画像における前記物標の位置を対比することで、前記車両が停止しているか否かを判断する（Ｓ１３）画像処理方法。
  9. 　請求項１～４のいずれか１項に記載の画像処理装置における各ユニットとしてコンピュータを機能させるプログラム。 
     
PCT/JP2017/011498 2016-03-22 2017-03-22 画像処理装置、画像処理方法、及びプログラム WO2017164245A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780017527.7A CN108780564A (zh) 2016-03-22 2017-03-22 图像处理装置、图像处理方法、以及程序
DE112017001515.4T DE112017001515T5 (de) 2016-03-22 2017-03-22 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-056975 2016-03-22
JP2016056975A JP6512145B2 (ja) 2016-03-22 2016-03-22 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2017164245A1 true WO2017164245A1 (ja) 2017-09-28

Family

ID=59900281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011498 WO2017164245A1 (ja) 2016-03-22 2017-03-22 画像処理装置、画像処理方法、及びプログラム

Country Status (4)

Country Link
JP (1) JP6512145B2 (ja)
CN (1) CN108780564A (ja)
DE (1) DE112017001515T5 (ja)
WO (1) WO2017164245A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168362A (zh) * 2023-02-27 2023-05-26 小米汽车科技有限公司 车辆感知模型的预训练方法、装置、电子设备及车辆

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210084A (ja) * 2007-02-26 2008-09-11 Denso Corp 道路標示認識装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3663801B2 (ja) 1997-01-30 2005-06-22 いすゞ自動車株式会社 車両後方視界支援装置
JP3847547B2 (ja) * 2000-10-17 2006-11-22 三菱電機株式会社 車両周辺監視支援装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3886376B2 (ja) * 2001-12-26 2007-02-28 株式会社デンソー 車両周辺監視システム
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP2012222617A (ja) * 2011-04-08 2012-11-12 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP5124672B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
WO2013114617A1 (ja) * 2012-02-03 2013-08-08 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP5888164B2 (ja) * 2012-07-20 2016-03-16 トヨタ自動車株式会社 車両周辺監視装置、車両周辺監視システム
JP6326869B2 (ja) * 2014-03-05 2018-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
JP6312565B2 (ja) 2014-09-08 2018-04-18 日立アプライアンス株式会社 気泡機能付き貯湯式給湯機

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210084A (ja) * 2007-02-26 2008-09-11 Denso Corp 道路標示認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168362A (zh) * 2023-02-27 2023-05-26 小米汽车科技有限公司 车辆感知模型的预训练方法、装置、电子设备及车辆

Also Published As

Publication number Publication date
JP6512145B2 (ja) 2019-05-15
CN108780564A (zh) 2018-11-09
DE112017001515T5 (de) 2018-12-06
JP2017175268A (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP6406159B2 (ja) 車載表示制御装置、車載表示制御方法
EP2437494A1 (en) Device for monitoring area around vehicle
CN106660495B (zh) 车辆用显示装置以及车辆用显示方法
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JPWO2017014012A1 (ja) 経路生成装置、経路生成方法、および経路生成プログラム
JP6471522B2 (ja) カメラパラメータ調整装置
JP6662227B2 (ja) 制御装置
JP2017033402A (ja) 車載表示制御装置、車載表示制御方法
WO2014006793A1 (ja) 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
KR102268641B1 (ko) 어라운드 뷰 시스템 및 그 동작방법
JP6338930B2 (ja) 車両周囲表示装置
JP2008048094A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP6152261B2 (ja) 車載用駐車枠認識装置
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
CN107430821B (zh) 图像处理装置
WO2017164245A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010081245A (ja) 車両用表示装置および表示方法
JP7075273B2 (ja) 駐車支援装置
JP6585371B2 (ja) 画像処理装置、画像処理方法および車載装置
JP2008294616A (ja) 運転支援システム及び車両
WO2017188245A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US10926700B2 (en) Image processing device
EP3396620A1 (en) Display control device and display control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17770285

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17770285

Country of ref document: EP

Kind code of ref document: A1