WO2018037479A1 - 画像処理装置、ステレオカメラ装置及び画像処理方法 - Google Patents

画像処理装置、ステレオカメラ装置及び画像処理方法 Download PDF

Info

Publication number
WO2018037479A1
WO2018037479A1 PCT/JP2016/074514 JP2016074514W WO2018037479A1 WO 2018037479 A1 WO2018037479 A1 WO 2018037479A1 JP 2016074514 W JP2016074514 W JP 2016074514W WO 2018037479 A1 WO2018037479 A1 WO 2018037479A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
parameter
parallax calculation
calculation
unit
Prior art date
Application number
PCT/JP2016/074514
Other languages
English (en)
French (fr)
Inventor
聡 笹谷
誠也 伊藤
倉田　謙一郎
亮祐 三木
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2018535962A priority Critical patent/JP6811244B2/ja
Priority to CN201680088317.2A priority patent/CN109643437B/zh
Priority to PCT/JP2016/074514 priority patent/WO2018037479A1/ja
Publication of WO2018037479A1 publication Critical patent/WO2018037479A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to an image processing device, a stereo camera device, and an image processing method.
  • a measuring device As a measuring device, a surveillance camera, a distance sensor, a laser radar, an infrared tag, or the like is used.
  • the surveillance camera is preferable because an existing device can be used and an introduction cost for newly installing the device is not required. For this reason, technology development for detecting an object based on an image acquired from a surveillance camera has been underway.
  • sample image sample image
  • a method is generally used in which a large amount of sample data (sample image) of an object to be recognized is stored in a database in advance, and whether or not there is a portion similar to the sample data in the image.
  • this recognition method it is difficult to recognize an object when the appearance of the object is significantly different from the sample data due to illumination conditions or the like.
  • An example of such a technique is an object recognition technique using a stereo camera.
  • the three-dimensional shape of an object is measured by acquiring distance information from the stereo camera to the object using a parallax calculated by comparing a pair of left and right camera images captured by the stereo camera.
  • the calculation of parallax leads to an increase in processing load, the number of images that can be processed within a certain time is reduced.
  • Patent Document 1 describes a method of suppressing an increase in processing load by selecting a frame for calculating parallax from video based on the result of detecting and tracking an object from an image feature amount.
  • Japanese Patent Application Laid-Open No. 2004-228561 describes a method of reducing the processing amount by extracting a region where an object exists from an image and calculating parallax only within the range of the region.
  • the processing load can be reduced because the detection frame is thinned out.
  • the number of images in which the shape of the object can be measured by calculating the parallax is reduced, the object is recognized from continuous image information. The recognition accuracy will be reduced.
  • the image processing apparatus of the present invention includes a parallax calculation unit and a parameter change unit.
  • the parallax calculation unit calculates the parallax between one image data captured by the stereo camera and the other image data by an arithmetic process using the set parallax calculation parameter.
  • the parameter changing unit changes the parallax calculation parameter for each pixel or pixel area in one frame based on the parallax information calculated by the parallax calculating unit.
  • the stereo camera device of the present invention includes one and the other cameras arranged at a predetermined distance, a parallax calculation unit, and a parameter change unit.
  • the parallax calculation unit calculates the parallax between one image data captured by one camera and the other image data captured by the other camera by an arithmetic process using the set parallax calculation parameters.
  • the parameter changing unit changes the parallax calculation parameter for each pixel or pixel area in one frame based on the parallax information calculated by the parallax calculating unit.
  • the image processing method of the present invention includes a parallax calculation processing step and a parameter change processing step.
  • the parallax calculation processing step the parallax between one image data captured by the stereo camera and the other image data is calculated by a calculation process using the set parallax calculation parameters.
  • the parameter change processing step the parallax calculation parameter is changed for each pixel or pixel area in one frame based on the parallax information calculated in the parallax calculation processing step.
  • 1 is an overall view showing a system configuration example of a first exemplary embodiment of the present invention.
  • 1 is a block diagram illustrating a configuration example of a computer applied to an image processing apparatus according to a first exemplary embodiment of the present invention. It is a figure which shows the initial stage parallax calculation process state by the 1st Example of this invention. It is a figure which shows an example of the parameter for parallax calculation by the 1st Example of this invention. It is a flowchart which shows the example of a parameter change process by the 1st Example of this invention. It is a figure which shows the example of the production process of the parallax image by the 1st Example of this invention, and the area
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an image processing system according to a first embodiment.
  • the image processing system 100 includes two cameras 101L and 101R and an image processing apparatus 110.
  • the two cameras 101L and 101R are spaced apart by a predetermined distance in the horizontal direction, and a stereo image is obtained from images taken by the two cameras 101L and 101R.
  • Each of the cameras 101L and 101R digitally converts an electrical signal obtained by converting visible light acquired at a predetermined time period through an image sensor to generate digital image data.
  • the imaging device for example, a CCD (Charge Coupled Device) imager or a CMOS (Complementary Metal Oxide Semiconductor) device is used.
  • the image processing device 110 processes image data obtained by photographing with the two cameras 101L and 101R, and performs a process of calculating parallax between images.
  • the parallax information calculated by the image processing apparatus 110 is supplied to a device (not shown) that calculates the distance of the recognized object from the image. For example, according to the calculated distance, an intruder warning, an object approach warning, etc. Process.
  • the image processing apparatus 110 includes image acquisition units 111a and 111b, an initial parallax calculation unit 112, a parameter change unit 113, a final parallax calculation unit 114, a parallax output unit 115, and a parallax calculation parameter storage unit 121. .
  • Each unit 111a, 111b, 112, 113, 114, 115, 121 of these image processing apparatuses 110 is realized by a computer device built in or externally provided in each camera 101L, 101R. A configuration example of the computer apparatus will be described later.
  • the two image acquisition units 111a and 111b acquire image data from the cameras 101L and 101R.
  • the initial parallax calculation unit 112 calculates the parallax between the images acquired by the two image acquisition units 111 a and 111 b using the initial parameter values acquired from the parallax calculation parameter storage unit 121.
  • the parameter changing unit 113 performs arithmetic processing for changing the value of the parallax calculation parameter in accordance with the parallax calculated by the initial parallax calculating unit 112.
  • the final parallax calculation unit 114 performs a process of calculating again the parallax between images using the parameters changed by the parameter changing unit 113.
  • the parallax output unit 115 outputs the parallax information calculated by the final parallax calculation unit 114.
  • digital image data acquired by the image acquisition units 111a and 111b from the cameras 101L and 101R is referred to as “captured image”.
  • FIG. 2 is a diagram illustrating an example of the computer apparatus C that constitutes the image processing apparatus 110.
  • the computer device C includes a CPU (Central Processing Unit) C1, a ROM (Read Only Memory) C2, a RAM (Random Access Memory) C3, a nonvolatile storage C5, and an input / output unit C6. These units C1, C2, C3, C5, and C6 are connected to each other by a bus line C4 so that data can be transferred.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU C1 reads out the program code of software that realizes the function of each unit constituting the image processing apparatus 110 from the ROM C2, and executes it.
  • the RAM C3 variables, parameters and the like generated during the arithmetic processing are temporarily written.
  • non-volatile storage C5 for example, HDD (Hard disk drive), SSD (Solid State Drive), and other various storage media are used.
  • OS Operating System
  • a program for causing the computer apparatus C to function as the image processing apparatus 110 is recorded in the nonvolatile storage C5.
  • the input / output unit C6 transmits / receives various data to / from an external device via a LAN (Local Area Network), a dedicated line, or the like.
  • LAN Local Area Network
  • the input / output unit C6 captures captured images captured by the cameras 101L and 101R and outputs the calculated parallax information to the outside.
  • FIG. 3 is a diagram illustrating the initial parallax calculation process in the initial parallax calculation unit 112.
  • the initial parallax calculation unit 112 calculates the initial parallax by a method called block matching. That is, as shown in FIG. 3, under the situation where the subject 21 is being photographed, the captured image acquired from one camera 101L (left camera) is captured from the reference image 20a and the other camera 101R (right camera). Let the image be a comparative image 20b. Then, a certain small area 22a is determined from the reference image 20a. Here, a part of the subject 21 is included in the small area 22a.
  • FIG. 3 shows the principle of calculating the parallax, and the position change of the subject 21 that occurs in the actual reference image 20a and the comparison image 20b is not as large as shown in FIG.
  • T 1 is the luminance value of the small region 22 a
  • T 2 is the luminance value of the small region 22 b
  • M is the horizontal width of the search window 23
  • N is the vertical width of the search window 23.
  • (i, j) indicates the coordinate position of each pixel in the search window 23, and is a value from the upper left coordinate (0, 0) to the lower right coordinate (M-1, N-1). .
  • the calculation method of the dissimilarity SAD shown in the formula 1 is an example, and the dissimilarity may be calculated by other calculation methods.
  • the captured image for which the parallax calculation is performed is subjected to preprocessing called parallelization between the reference image 20a and the comparison image 20b, and the initial parallax calculation unit 112 moves the search window 23 in the horizontal direction (arrow 24). (Only in the direction).
  • the search window 23 may be scanned in the vertical direction or the oblique direction, and is not limited to scanning in the horizontal direction.
  • General parameters used when calculating parallax by block matching include the following parameters. That is, the size of the search window, the maximum search width scanned in the horizontal direction, the parallax calculation area, the strength of a filter that removes erroneous matching called a speckle filter, and the like can be cited as parameters.
  • three parameters which are parameters that greatly affect the calculation amount when calculating the parallax, that is, the size of the search window, the maximum search width, and the parallax calculation area are handled.
  • the larger the search window size the more accurate the parallax is required, but the more computational complexity increases.
  • the recognition precision can be improved.
  • the parameters used when calculating the initial parallax in the present embodiment are not limited to these three parameters.
  • the search window size may be a fixed value, and only the maximum search width and the parallax calculation area may be changed, or may be treated as one of the parameters for changing the intensity value of the speckle filter.
  • FIG. 4 shows an example of the parallax calculation parameter 30, and shows the size of the search window, the maximum search width 31 of the search window, the start point coordinates of the search, and the end point coordinates of the search.
  • an example of two parallax calculation areas 32a and 32b is shown.
  • the parallax calculation areas 32a and 32b indicated by these parallax calculation parameters 30 are set for the reference image 20a, and a small area 22a having the same size as the search window is extracted from the parallax calculation areas 32a and 32b.
  • the search window size and the maximum search width 31 parameters are held for each of the areas 32a and 32b.
  • FIG. 4 shows an example in which two parallax calculation areas 32a and 32b are set, the number of parallax calculation areas actually set is not limited to two.
  • the initial parallax calculation unit 112 sets, for example, only one parallax calculation area, the start point coordinates and the end point coordinates are values including all the reference images 20a, and acquires the size of the search window and the maximum search width.
  • the search window size and maximum search width predetermined parallax calculation parameters are acquired, and parallax is calculated using these parameters.
  • the size of the search window and the value of the maximum search width can be determined by the user in consideration of the fact that the smaller the value, the smaller the amount of calculation, and the processing resources of the CPU.
  • a difference between a background image acquired in advance and a reference image is determined to determine an area that is expected to include a measurement target, and the area May be set as the parallax calculation area. Furthermore, only an area designated by a user operation using a GUI or the like may be set as a parallax calculation area.
  • FIG. 5 is a flowchart illustrating an example of a parameter changing process executed by the parameter changing unit 113.
  • the parameter changing process will be described with reference to FIG. 5.
  • the parameter changing unit 113 creates a parallax image from the parallax information calculated by the initial parallax calculating unit 112 (step S1).
  • the parameter changing unit 113 divides the parallax image into a plurality of areas according to the parallax value (step S2), and calculates an average parallax for each divided area (step S3).
  • parallax calculation parameters are determined according to the average value calculated in step S3 (step S4).
  • step S5 The calculation of the average parallax and the determination of the parallax calculation parameters in steps S3 and S4 are repeated for the number A of divided areas. Then, the parameter changing unit 113 changes the parallax calculation parameter to the parallax calculation parameter determined in step S4 (step S5).
  • FIG. 6 shows an example of processing in steps S1 and S2 of the flowchart of FIG.
  • the parameter changing unit 113 calculates the parallax corresponding to all the pixels of the reference image 20a, and creates the parallax image 40.
  • the value of the average parallax for each divided area is shown. In this example, there are an area with an average parallax value “5”, an area with an average parallax value “15”, and an area with an average parallax value “25”.
  • step S2 the parallax image 40 is segmented so that pixels having similar parallax values are in the same group, and a segmented image 41 is obtained.
  • a method for obtaining the region divided image 41 a general clustering method may be used, and the method is not limited to a specific method.
  • it is not necessary to divide all the pixels into regions for example, processing for ignoring pixels whose parallax is greater than or less than a threshold, or regions where the number of pixels in an area determined to be the same group is greater than or less than a threshold Processing that is not considered may be added.
  • the region divided image 41 is a result of dividing the parallax image 40 into a plurality of regions 42 a and 42 b ignoring pixels whose average parallax value between the reference image 20 a and the comparative image 20 b is “5” or less. Indicates.
  • the regions 42a and 42b from the average parallax value, it is possible to extract a region where an object having a certain size exists in the captured image.
  • the subject 21a corresponds to the region 42a
  • the subject 21b corresponds to the region 42b.
  • the average parallax values in the respective regions 42a and 42b are the same value, but the average parallax values in one region may be different as long as they are within a certain range.
  • FIG. 7 shows an example of processing in step S4 of the flowchart of FIG.
  • the parameter changing unit 113 determines a parallax calculation parameter according to the average value calculated for each divided area.
  • the parameter changing unit 113 sets rectangular areas 50a and 50b in the reference image 20a.
  • the rectangular areas 50a and 50b are rectangular areas having a minimum size that cover the divided areas 42a and 42b set in step S2.
  • start point coordinates 51a and 51b and end point coordinates 52a and 52b of the respective rectangular areas 50a and 50b are set.
  • the parameter changing unit 113 determines a parallax calculation parameter for each region from the average parallax value by using the matrix 53 that associates the parallax and each parallax calculation parameter.
  • the matrix 53 As the matrix 53, a search window size and a maximum search width are determined for each average parallax value.
  • the matrix 53 is stored in advance by the image processing apparatus 110. 7 shows an example of the parallax calculation parameter 54 determined for each of the rectangular areas 50a and 50b.
  • the search window size is 15 pixels ⁇ 15 pixels, and the maximum search width is 25 pixels.
  • the search window size is 25 pixels ⁇ 25 pixels, and the maximum search width is 15 pixels.
  • the method for associating the parallax with the parallax calculation parameter may use a linear function or the like in addition to using the matrix 53, and the parallax calculation parameter value associated with the parallax calculation parameter is also limited to the example of FIG. Not.
  • FIG. 8 shows an example of parallax calculation parameters changed by the parameter changing unit 113.
  • the parameter 62 used in the initial parallax calculation unit 112 since the parallax calculation area 1 is only one of the entire image, the start point coordinates 60a and the end point coordinates 60b are the upper left end 60 of the image 20a. And the lower right 61.
  • the size and the maximum search width of the search window 23 are set to values that reduce the calculation amount as much as possible, and a simple search is performed in the initial parallax calculation.
  • the parallax calculation parameter 63 after changing the search window 23 instead of reducing the calculation amount by setting only the two areas 50a and 50b including the measurement target as the parallax calculation areas 1 and 2.
  • the size of is set to a large value.
  • the changed parallax calculation parameter 63 shown in FIG. 8 is the same as the parallax calculation parameter 54 shown in FIG.
  • the calculation amount can be reduced by decreasing the search width value as the average parallax value in the parallax calculation area is smaller.
  • Such a method of setting the maximum search width is based on the fact that the search width may be small as long as it is a measurement target that exists far away from the camera.
  • the parameter can be optimally changed by predetermining the maximum calculation amount for parallax calculation in consideration of the processing load on the CPU. .
  • the total amount of calculation is obtained from the size of the search window 23 after the parameter change, the maximum search width, and the parallax calculation area by the equation [2], and the parameters are optimized so as to be approximately equal to the predetermined maximum amount of calculation.
  • M is the horizontal width of the search window
  • N is the vertical width of the search window
  • D is the maximum search width.
  • the parameter changing unit 113 efficiently uses the processing resources of the CPU by allocating the parameter values so that the processing resources are optimized based on the current processing resource information in the parallax calculation units 112 and 114. become able to. Also, the area with parallax that falls within a certain range is prioritized and the total amount of calculation is calculated from the formula [2]. When the maximum amount of calculation is exceeded, the remaining areas are excluded from the range of parallax calculation. Also good.
  • the parameter changing unit 113 changes the parameter so that the parallax calculation is not performed on the low priority area for calculating the parallax based on the current processing resource information in the parallax calculating units 112 and 114. It is also possible to improve efficiency.
  • the final parallax calculation unit 114 calculates the parallax using the parallax calculation parameters output from the parameter change unit 113.
  • FIG. 9 is an example of the parallax result output by the final parallax calculation unit 114.
  • the reference image 20a, the comparison image 20b, and the subjects 21a and 21b are the same as those in FIG.
  • the parallax image 43 shown in FIG. 9 is the result of the final parallax that is output. Moreover, the parallax image 44 shows the result of having performed the area
  • the parallax image 43 output by the final parallax calculation unit 114 is a detailed parallax image in an area where the subject exists, compared to the initial parallax image 40 illustrated in FIG. 6.
  • the method for calculating the parallax by the final parallax calculation unit 114 is a method that can calculate parallax with high accuracy if the CPU has enough processing resources instead of using block matching of the same algorithm as the initial parallax calculation unit 112. It may be changed.
  • the final parallax result obtained by the final parallax calculation unit 114 in this way is output from the parallax output unit 115.
  • an image is divided into a plurality of regions based on the rough parallax value calculated in the entire image, and the parallax that can calculate the optimal parallax for object recognition for each divided region. I asked for. Then, by calculating the parallax of the corresponding region again with the obtained parameter value, it is possible to calculate the parallax with the accuracy required for object recognition while suppressing the increase in processing load as much as possible. .
  • the final parallax calculation unit 114 may not perform the parallax calculation again. For example, when the measurement target does not exist in the captured image and there is no parallax calculation area having a size that falls within the threshold range, the parallax calculation of the final parallax calculation unit 114 is omitted. By doing so, the processing load on the CPU is reduced, so that the power consumption of the image processing apparatus 110 can be controlled efficiently.
  • the amount of calculation increases because the measurement target far from the camera is easily changed to the parameter for calculating the parallax with high accuracy by the parameter changing unit 113. . Conversely, the amount of calculation for calculating parallax for nearby measurement objects is reduced. Therefore, by installing a stereo camera so that the measurement target exists mainly in the vicinity of the camera, it is possible to realize an image processing apparatus that consumes less power than in the past.
  • the method for calculating the integer-precision parallax as a specific parallax value is shown, but a method for calculating the decimal (sub-pixel) parallax may be used.
  • a flag type parameter such as whether or not to obtain a decimal precision parallax is prepared.
  • the parameter changing unit 113 switches the flag according to the measurement target. In this way, it is possible to apply a method of calculating an integer-precision parallax for a measurement target existing near the camera and a decimal-precision parallax for a measurement target existing far from the camera. .
  • Second Embodiment> A system according to a second embodiment of the present invention will be described with reference to FIGS. In FIGS. 10 to 14 for explaining the second embodiment, the same reference numerals are given to the same portions as those in FIGS. 1 to 9 explained in the first embodiment.
  • FIG. 10 is a diagram illustrating an example of the overall configuration of the image processing system according to the second embodiment.
  • the parallax calculation parameters used in the previous frame and the region information predicted to include the measurement target in the next frame from the calculated parallax are displayed. It is what you use.
  • the region information predicted in this way it is possible to calculate the parallax with high accuracy more efficiently while reducing the processing load. It is a thing.
  • the captured images from the two cameras 101L and 101R are processed by the image processing device 110 ′, and the disparity information is obtained. can get.
  • the reference image and the comparison image acquired by the image acquisition units 111a and 111b of the image processing apparatus 110 ′ are supplied to the initial parallax calculation determination unit 131.
  • the initial parallax calculation determination unit 131 performs a process of determining whether to calculate a rough initial parallax in the current frame based on the predicted object information stored in the predicted object information storage unit 122.
  • the predicted object information is information that is output from the object prediction unit 116 described later and stored in the predicted object information storage unit 122 in advance. Then, the determination result in the initial parallax calculation determination unit 131 is supplied to the initial parallax calculation unit 112.
  • the initial parallax calculation unit 112 calculates the initial parallax using the parallax calculation parameters stored in the parallax calculation parameter storage unit 121. .
  • the parallax information calculated by the initial parallax calculation unit 112 is supplied to the parameter adjustment unit 132.
  • the parameter adjustment unit 132 adjusts parallax calculation parameters. In this adjustment, the predicted object information stored in the predicted object information storage unit 122, the rough parallax acquired by the initial parallax calculation unit 112, and the parameter adjustment result stored in the parameter adjustment result information storage unit 123 in advance. Use information and.
  • the parameter adjustment result information in the parameter adjustment unit 132 is stored in the parameter adjustment result information storage unit 123.
  • the final parallax calculation unit 114 calculates final parallax information using the parallax calculation parameters adjusted by the parameter adjustment unit 132, and the obtained parallax information is output from the parallax output unit 115. Further, the parallax information calculated by the final parallax calculation unit 114 and the image (reference image) used for parallax calculation are supplied to the object movement prediction unit 116.
  • the object movement prediction unit 116 predicts the movement state of the subject (object) in the image from the change in the parallax information. Note that the object movement prediction unit 116 may predict the movement state of the subject directly from the reference image itself.
  • the object movement prediction information obtained by the object movement prediction unit 116 is stored in the predicted object information storage unit 122.
  • FIG. 11 shows an example of an image of each frame and a predicted object region during the initial parallax calculation determination process.
  • Three images 80a, 80b, and 80c shown in FIG. 11 are reference images obtained by acquiring three frames at times T, T + 1, and T + 2 in time series. In each reference image 80a, 80b, 80c, the position of the subject 81 changes from left to right.
  • the predicted object information 82a including the predicted object region 83a in which the position of the subject 81 is predicted is obtained from the motion of the subject 81 before that time.
  • predicted object information 82b including a predicted object region 83b in which the position of the subject 81 is predicted is obtained from the motion of the subject 81 before that time.
  • the initial parallax calculation determination unit 131 determines that the initial parallax is not calculated if the size of the predicted object region is greater than or equal to a certain value, and calculates the initial parallax if the size of the predicted object regions 83a and 83b is less than a certain value. Judge that.
  • FIG. 12 is a flowchart showing processing in the parameter adjustment unit 132.
  • the parameter adjustment unit 132 divides the reference image into predicted object regions based on the region including the parallax calculated by the initial parallax calculating unit 112 and the predicted object information stored in the predicted object information storage unit 122 (step S10). ). Then, the parameter adjustment unit 132 determines a parallax calculation parameter for each initial parallax calculation area calculated by the initial parallax calculation unit 112 (step S11). The parameter adjustment unit 132 also determines a parallax calculation parameter for the predicted object region acquired from the predicted object information (step S12).
  • the determined parallax calculation parameter is accumulated as parameter adjustment result information in the parameter adjustment result information storage unit 123 (step S13), and the parameter adjustment unit 132 outputs the accumulated parameter value to the final parallax calculation unit 114 (step S14). ).
  • FIG. 13 is an example of a result obtained by dividing the reference image 82a into regions by the process of step S10 in the flowchart of FIG.
  • a rough parallax is calculated by the initial parallax calculation unit 112 in the area 90a other than the predicted object area 83a.
  • a rough parallax is calculated only in an area where there is a difference in luminance value between the background image held in advance by the background difference and the input captured image. To do.
  • the parallax values obtained by the initial parallax calculation unit 5 are not all the regions other than the region 83a but some regions. 90b only.
  • the range for calculating the parallax can be more efficiently limited by using preprocessing such as background difference.
  • the parallax calculation parameter can be determined by repeating the processes of steps S3 and S4 of the flowchart of FIG. 5 for each region.
  • FIG. 14 shows a specific example of parallax calculation parameter determination processing.
  • the reference image 103 shown in FIG. 14 is a reference image processed in the frame at time T ⁇ 1, where T is the current time.
  • the parallax calculation parameter 104 accumulated in the process in step S13 is obtained.
  • the parallax calculation parameter 104 the start point coordinate 101 and the end point coordinate 102 of the region 100 are set, and the average parallax value “15”, the size of the search window 23, and the maximum search width are set.
  • step S12 the parameter adjustment unit 132 determines whether or not there is an overlapping region 108 between the predicted object region 106 and the rectangular region 107 of the parallax calculation parameter accumulated by the processing in step S13 for the previous frame. Explore. Then, when the overlapping region 108 is confirmed, the parameter adjustment unit 132 determines the parallax calculation parameter used in the predicted object region 106 as the parameter value of the region 107.
  • the parallax calculation parameters used for the search are not particularly limited to those stored in the previous frame, and all the stored parallax calculation parameters may be used as search targets.
  • a method of associating the predicted object region with the parallax calculation parameter the determination based on the presence or absence of overlapping regions is used, but other determinations may be performed.
  • a method of associating the parallax calculation parameter with the largest area of the overlapping region 108 or a method of associating the predicted object region and the rectangular region of the parallax calculation parameter closest to the center of gravity position may be applied.
  • a method of preferentially associating the parallax calculation parameter accumulated most recently or a method of associating with the predicted parallax information in advance with the predicted object region may be applied.
  • step S13 the parallax calculation parameters determined in steps S11 and S12 are stored in the parameter adjustment result information storage unit 123. If the capacity of the information is larger than the capacity of the storage device etc. in the image processing apparatus 110 ′, the oldest stored parallax calculation parameter is deleted. Alternatively, the parallax calculation parameter that is frequently associated with the predicted object region may be determined as having high reliability, and the parallax calculation parameter having low reliability may be deleted. Further, only the most recently accumulated parameters may be left as parallax calculation parameters having similar coordinate information and the like. Furthermore, the calculated average values of the parameters may be accumulated and detailed parameters may be deleted.
  • step S14 the parallax calculation parameter determined in steps S11 and S12 is output as the final parallax calculation parameter.
  • the object movement prediction unit 116 acquires the three-dimensional information of the measurement target from the parallax information output by the final parallax calculation unit 114, and the range (area) in the image where the measurement target is predicted to exist in the captured image to be acquired next. ) Is output.
  • the region where the measurement target is predicted can be calculated by estimating the traveling direction and the movement width from the trajectory information created by tracking the object.
  • the object tracking may be performed using a known general method. For example, when the measurement target is a person, the same head may be tracked by analyzing the three-dimensional information and extracting the person's head. Further, image feature amounts such as an optical flow may be analyzed and tracked. Further, the orientation of a person's body estimated from information such as a face may be used for tracking.
  • the parallax calculation parameter may be changed using all the requirements described so far.
  • the parameter changing unit 113 calculates the parallax using at least one of at least one of past measurement target information, parameter change history information, processing resource information, image data information, and user setting information. Parameters may be changed.
  • parallax calculation parameters changed by the parameter changing unit three parameters of a block matching window size, a maximum search width, and a parallax calculation area are shown.
  • at least one parameter of the block matching window size, the maximum search width, and the parallax calculation area may be changed. Alternatively, it may be combined with other parameters.
  • the parallax calculation processing step is performed by the two parallax calculation units of the initial parallax calculation unit 112 and the final parallax calculation unit 114.
  • the image processing device 110 or 110 ′ includes only one parallax calculation unit, and the switching of the one parallax calculation unit allows both the initial parallax calculation processing step and the final parallax calculation processing step. You may make it perform.
  • the two parallax calculation processes of the initial parallax calculation and the final parallax calculation are preferably performed on the same image. However, as a result obtained by the initial parallax calculation process from an image of a certain frame, Alternatively, the final parallax calculation process may be performed.
  • Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

ステレオカメラが撮影した一方の画像データと他方の画像データの視差を、設定された視差算出用パラメータを使った演算処理で算出する。このとき、算出した視差情報に基づいて、１フレーム内の画素または画素領域ごとに、視差算出用パラメータを変更する。このように視差算出用パラメータを変更することで、処理負荷の増大を抑制しつつ、物体の認識に最適な精度の視差を算出できる。

Description

画像処理装置、ステレオカメラ装置及び画像処理方法
　本発明は、画像処理装置、ステレオカメラ装置及び画像処理方法に関する。
　近年、計測装置が計測した情報により、物体を検出する物体認識技術へのニーズが高まっている。計測装置としては、監視カメラ、距離センサ、レーザレーダ、赤外線タグなどが活用されている。特に、監視カメラは、既設の装置を利用でき、装置を新設するための導入コストが掛からないため好ましい。そのため、監視カメラから取得した画像に基づいて、物体を検出する技術開発が進められている。
　カメラが撮影した画像から物体を認識する技術としては、従来から各種方法が開発されている。例えば、認識したい物体の大量のサンプルデータ(サンプル画像)をデータベースに予め保存しておき、画像中にサンプルデータと類似した部分が存在するか否かを検索する方法が一般的に用いられる。しかし、この認識方法では、照明条件などにより物体の見え方がサンプルデータと大きく異なる場合には、物体を認識することが困難となる。
　そこで、複数のカメラにより物体を撮像し、物体の三次元形状を計測することで、物体を高精度に認識する技術に注目が集まっている。このような技術として、例えば、ステレオカメラを用いた物体認識技術が挙げられる。この技術では、ステレオカメラが撮像した左右一対のカメラ画像を比較して算出した視差により、ステレオカメラから物体までの距離情報を取得することで、物体の三次元形状を計測する。しかし、視差の算出は処理負荷の増大に繋がるため、一定時間内に処理できる画像の枚数が少なくなってしまう。また処理負荷が大きい高度なアルゴリズムを適応することは、視差を算出した後に、物体を認識する場合には困難となる。そのため、処理負荷の増大を抑えて効率的に視差を算出する技術が要求されている。例えば、特許文献１には、画像特徴量から物体の検出と追跡を実施した場合の結果により、映像の中から視差を算出するフレームを選定することで、処理負荷の増大を抑える手法が記載されている。また、特許文献２には、画像中から物体が存在する領域を抽出して、その領域の範囲内のみの視差を計算することで処理量を削減する手法が記載されている。
特開２００８－２３６６４２号公報 特開２０１３－１６１２４１号公報
　特許文献１に記載された手法では、検出フレームを間引くため処理負荷は削減できるが、視差を算出して物体の形状を計測できる画像の枚数が少なくなるため、連続した画像の情報から物体を認識する場合に認識精度が低下してしまう。
　一方、特許文献２に記載された手法では、物体が存在する領域のみの視差を算出するため、処理負荷の増大を抑えつつ、映像中の全てのフレームにおいて物体の視差を算出できる。しかしながら、全ての物体の視差を一律のパラメータにて計算するため、例えば精度の低いパラメータを設定した場合には、物体の認識に必要な精度の視差が求められないという問題がある。逆に、精度の高いパラメータを設定した場合には、物体の認識には充分過ぎる精度の視差を算出して処理負荷を無駄に増大させてしまう。
　本発明は、ステレオカメラから得た画像から視差を算出する場合に、処理負荷の増大を可能な限り抑制しつつ、物体の認識に最適な精度の視差の算出ができるようにすることを目的とする。
　本発明の画像処理装置は、視差算出部と、パラメータ変更部とを備える。
　視差算出部は、ステレオカメラが撮影した一方の画像データと他方の画像データの視差を、設定された視差算出用パラメータを使った演算処理で算出する。
　パラメータ変更部は、視差算出部が算出した視差情報に基づいて、１フレーム内の画素または画素領域ごとに、視差算出用パラメータを変更する。
　本発明のステレオカメラ装置は、所定の距離離れて配置された一方及び他方のカメラと、視差算出部と、パラメータ変更部とを備える。
　視差算出部は、一方のカメラが撮影した一方の画像データと他方のカメラが撮影した他方の画像データの視差を、設定された視差算出用パラメータを使った演算処理で算出する。
　パラメータ変更部は、視差算出部が算出した視差情報に基づいて、１フレーム内の画素または画素領域ごとに、視差算出用パラメータを変更する。
　本発明の画像処理方法は、視差算出処理工程と、パラメータ変更処理工程とを含む。
　視差算出処理工程では、ステレオカメラが撮影した一方の画像データと他方の画像データの視差が、設定された視差算出用パラメータを使った演算処理で算出される。
　パラメータ変更処理工程では、視差算出処理工程で算出された視差情報に基づいて、１フレーム内の画素または画素領域ごとに、視差算出用パラメータが変更される。
　本発明によれば、視差算出のための処理負荷の増大を抑制しつつ、物体の認識に最適な精度の視差を算出できる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第１の実施の形態例のシステム構成例を示す全体図である。 本発明の第１の実施の形態例の画像処理装置に適用されるコンピュータの構成例を示すブロック図である。 本発明の第１の実施の形態例による初期視差算出処理状態を示す図である。 本発明の第１の実施の形態例による視差算出用パラメータの一例を示す図である。 本発明の第１の実施の形態例によるパラメータ変更処理例を示すフローチャートである。 本発明の第１の実施の形態例による視差画像の作成処理及び視差画像の領域分割の例を示す図である。 本発明の第１の実施の形態例による視差算出用パラメータの決定処理の例を説明する図である。 本発明の第１の実施の形態例により変更された視差算出用パラメータの一例を示す図である。 本発明の第１の実施の形態例の最終視差算出部により出力された視差結果の一例を示す図である。 本発明の第２の実施の形態例のシステム構成例を示す全体図である。 本発明の第２の実施の形態例による初期視差算出判定処理時の各フレームの画像と予測物体領域の例を示す図である。 本発明の第２の実施の形態例によるパラメータ調整部での処理例を示すフローチャートである。 本発明の第２の実施の形態例による初期視差算出領域と予測物体領域の分割例を説明する図である。 本発明の第２の実施の形態例による予測物体領域ごとに視差算出パラメータを決定する例を説明する図である。
＜１．第１の実施の形態例＞
　以下、図１～図９を参照して、本発明の第１の実施の形態例のシステムを説明する。
［１－１．システム全体の構成例］
　図１は、第１の実施の形態例の画像処理システムの全体構成例を示す図である。
　画像処理システム１００は、２台のカメラ１０１Ｌ，１０１Ｒと、画像処理装置１１０とを備える。２台のカメラ１０１Ｌ，１０１Ｒは、水平方向に所定距離だけ離して配置され、２台のカメラ１０１Ｌ，１０１Ｒで撮影した画像からステレオ画像を得る。
　それぞれのカメラ１０１Ｌ，１０１Ｒは、所定の時間周期で取得した可視光を、撮像素子を介して変換した電気信号をデジタル変換し、デジタル画像データを生成する。撮像素子としては、例えばＣＣＤ(Charge Coupled Device)イメージャやＣＭＯＳ(Complementary Metal Oxide Semiconductor)素子が使用される。
　画像処理装置１１０は、２台のカメラ１０１Ｌ，１０１Ｒで撮影して得た画像データを処理して、画像間の視差を算出する処理を行う。画像処理装置１１０が算出した視差情報は、画像から認識した物体の距離を算出する装置（不図示）に供給し、例えば算出した距離に応じて、侵入者の警告、物体の接近の警告などの処理を行う。
　画像処理装置１１０は、画像取得部１１１ａ，１１１ｂと、初期視差算出部１１２と、パラメータ変更部１１３と、最終視差算出部１１４と、視差出力部１１５と、視差算出用パラメータ記憶部１２１とを備える。これらの画像処理装置１１０の各部１１１ａ，１１１ｂ，１１２，１１３，１１４，１１５，１２１は、各カメラ１０１Ｌ，１０１Ｒに内蔵または外部に用意されたコンピュータ装置により実現される。コンピュータ装置の構成例については後述する。
　画像処理装置１１０で行われる処理の概要を説明すると、２つの画像取得部１１１ａ，１１１ｂは、各カメラ１０１Ｌ，１０１Ｒから画像データを取得する。初期視差算出部１１２は、視差算出用パラメータ記憶部１２１から取得した初期のパラメータ値にて、２つの画像取得部１１１ａ，１１１ｂが取得した画像間の視差を算出する。パラメータ変更部１１３は、初期視差算出部１１２が算出した視差に応じて、視差算出用パラメータの値を変更する演算処理を行う。最終視差算出部１１４は、パラメータ変更部１１３が変更したパラメータにより、画像間の視差を再度計算する処理を行う。視差出力部１１５は、最終視差算出部１１４が算出した視差情報を出力する。
　なお、以下の説明では、画像取得部１１１ａ，１１１ｂがカメラ１０１Ｌ，１０１Ｒから取得するデジタル画像データを「撮像画像」と呼ぶ。
［１－２．コンピュータ装置の構成例］
　図２は、画像処理装置１１０を構成するコンピュータ装置Ｃの一例を示す図である。
　コンピュータ装置Ｃは、ＣＰＵ（Central Processing Unit：中央処理装置）Ｃ１、ＲＯＭ（Read Only Memory）Ｃ２、ＲＡＭ（Random Access Memory）Ｃ３、不揮発性ストレージＣ５、及び入出力部Ｃ６を備える。これら各部Ｃ１，Ｃ２，Ｃ３，Ｃ５，Ｃ６は、バスラインＣ４によりデータ転送可能に接続されている。
　ＣＰＵ　Ｃ１は、画像処理装置１１０を構成する各部の機能を実現するソフトウェアのプログラムコードをＲＯＭ　Ｃ２から読み出して実行する。ＲＡＭ　Ｃ３には、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。
　不揮発性ストレージＣ５としては、例えば、ＨＤＤ（Hard disk drive）、ＳＳＤ（Solid State Drive）、その他の各種記憶媒体が用いられる。この不揮発性ストレージＣ５には、ＯＳ（Operating System）、各種のパラメータの他に、コンピュータ装置Ｃを画像処理装置１１０として機能させるためのプログラムが記録されている。
　入出力部Ｃ６は、ＬＡＮ（Local Area Network）、専用線等を介して各種のデータを外部の装置と送受信する。例えば、入出力部Ｃ６は、カメラ１０１Ｌ、１０１Ｒが撮影した撮影画像を取り込み、算出した視差情報を外部に出力する。
［１－３．初期視差の算出処理］
　次に、画像処理装置１１０の各部での処理の詳細について説明する。
　図３は、初期視差算出部１１２での初期視差の算出処理を説明する図である。
　初期視差算出部１１２では、ブロックマッチングと称される方法により初期視差を算出する。すなわち、図３に示すように、被写体２１が撮影されている状況下において、一方のカメラ１０１Ｌ(左カメラ)から取得した撮像画像を基準画像２０ａ、他方のカメラ１０１Ｒ(右カメラ)から取得した撮像画像を比較画像２０ｂとする。そして、基準画像２０ａからある小領域２２ａを決定する。ここでは小領域２２ａに被写体２１の一部が含まれている。
　そして、比較画像２０ｂにおいて、探索ウィンドウ２３を、小領域２２ａと同じ位置から矢印２４の水平方向に走査することで、小領域２２ａと相違度が最小となる小領域２２ｂを探索し、その探索幅２５を視差として算出する。なお、図３は、視差を算出する原理を示すものであり、実際の基準画像２０ａと比較画像２０ｂで生じる被写体２１の位置変化は、図３に示すような大きなものではない。
　２つの小領域２２ａ，２２ｂの相違度を計算する方法としては、例えば［数１］式に示すＳＡＤ(sum of squared difference)法がある。
Figure JPOXMLDOC01-appb-M000001
　［数１］式において、Ｔ１は小領域２２ａの輝度値、Ｔ２は小領域２２ｂの輝度値、Ｍは探索ウィンドウ２３の横幅、Ｎは探索ウィンドウ２３の縦幅である。また、（ｉ，ｊ）は、探索ウィンドウ２３内の各画素の座標位置を示し、左上の座標（０，０）から、右下の座標（Ｍ－１，Ｎ－１）までの値である。
　なお、［数１］式に示す相違度ＳＡＤの計算方法は一例であり、その他の計算方法で相違度を計算してもよい。
　なお、視差算出を行う撮像画像は、基準画像２０ａと比較画像２０ｂの間に平行化と称される前処理が施されており、初期視差算出部１１２では、探索ウィンドウ２３を水平方向（矢印２４の方向）にのみ走査する。但し、平行化処理が施されていない画像の場合には、探索ウィンドウ２３内を垂直方向や斜め方向に走査すれば良く、水平方向の走査に限定されるものではない。
　ブロックマッチングにより視差を算出する場合に使用する一般的なパラメータとしては、以下に示すものがある。すなわち、探索ウィンドウのサイズ、水平方向に走査する最大探索幅、視差を算出する領域、スペックルフィルタと呼ばれる誤マッチングを除去するフィルタの強度などが、パラメータとして挙げられる。
　本実施の形態例では、視差を算出する際の計算量に大きく影響するパラメータである、探索ウィンドウのサイズ、最大探索幅、視差算出領域の３つのパラメータを扱う。一般的に探索ウィンドウのサイズは、大きい値ほど精度の高い視差を求められる反面、計算量が増大するという特徴を持つ。なお、精度の高い視差を求めることで詳細な３次元情報を取得できるため、領域内に計測対象が存在する場合その認識精度を向上させることができる。最大探索幅は、小さい値である程、計算量は抑えられるものの、正確な小領域を探索できる精度が低下する。また、視差算出領域は、少ない領域である程、全体の計算量は低減する。
　なお、本実施の形態例で初期視差算出時に使用するパラメータは、これら３つのパラメータに限定されるものではない。例えば、探索ウィンドウのサイズは固定値として、最大探索幅と視差算出領域のみ変更する場合や、スペックルフィルタの強度の値を変更するパラメータの１つとして扱ってもよい。
［１－４．視差算出用パラメータの具体例］
　図４は、視差算出用パラメータ３０の例を示し、探索ウィンドウのサイズ、探索ウィンドウの最大探索幅３１、探索の始点座標、探索の終点座標を示す。ここでは、２つの視差算出領域３２ａ，３２ｂの例を示す。
　これらの視差算出用パラメータ３０で示される視差算出領域３２ａ，３２ｂは、基準画像２０ａに対して設定され、視差算出領域３２ａ，３２ｂから探索ウィンドウと同一サイズの小領域２２ａが抽出される。また、各領域３２ａ，３２ｂに対して探索ウィンドウのサイズと最大探索幅３１のパラメータが保持されている。なお、図４では２つの視差算出領域３２ａ，３２ｂを設定した例を示すが、実際に設定される視差算出領域の数は２つに限定されない。
　初期視差算出部１１２は、例えば視差算出領域を１つのみ設定し、始点座標と終点座標は基準画像２０ａが全て含まれる値とし、探索ウィンドウのサイズ及び最大探索幅を取得する。探索ウィンドウのサイズ及び最大探索幅としては、予め定めた視差算出用のパラメータが取得され、このパラメータを用いて視差が計算される。なお、探索ウィンドウのサイズ及び最大探索幅の値は、共に値が小さい程計算量を少なくできること、及びＣＰＵの処理リソースなどを考慮してユーザが決定することもできる。
　また、視差算出領域を１つのみに設定するだけではなく、予め取得した背景画像と基準画像との差分を取ることで、計測対象が含まれていると予想される領域を判定し、その領域を視差算出領域として設定するようにしてもよい。さらに、ＧＵＩなどでのユーザ操作で指定した領域のみを視差算出領域として設定するようにしてもよい。
［１－５．パラメータの変更処理］
　図５は、パラメータ変更部１１３で実行されるパラメータの変更処理例を示すフローチャートである。
　図５に従ってパラメータ変更処理を説明すると、まずパラメータ変更部１１３は、初期視差算出部１１２により計算した視差情報より視差画像を作成する（ステップＳ１）。次に、パラメータ変更部１１３は、視差値に応じて視差画像を複数の領域に分割し（ステップＳ２）、分割した領域ごとに平均視差を算出する（ステップＳ３）。そして、ステップＳ３で算出した平均値に応じて視差算出用パラメータを決定する（ステップＳ４）。このステップＳ３及びＳ４の平均視差の算出と視差算出用パラメータの決定は、分割した領域数Ａだけ繰り返す。
　そして、パラメータ変更部１１３は、視差算出用パラメータを、ステップＳ４で決定した視差算出用パラメータに変更する（ステップＳ５）。
　図６は、図５のフローチャートのステップＳ１及びＳ２における処理の例を示す。
　ステップＳ１では、図６に示すように、パラメータ変更部１１３は、基準画像２０ａの全ての画素に対応する視差を算出して、視差画像４０を作成する。図６に示す視差画像４０では、分割した領域ごとの平均視差の値を示す。この例では、平均視差値「５」の領域と、平均視差値「１５」の領域と、平均視差値「２５」の領域とが存在している。
　そして、ステップＳ２では、視差画像４０を類似した視差の値を示す画素が同じグループとなるように領域分割して、領域分割画像４１を得る。領域分割画像４１を得る方法としては、一般的なクラスタリング手法を利用すればよく、特定の方法には限定されない。また、全ての画素を領域分割する必要はなく、例えば視差が閾値以上あるいは閾値未満の画素は無視する処理や、同じグループと判定された領域内の画素の数が閾値以上あるいは閾値未満である領域は考慮しない処理などを加えてもよい。
　図６の例では、領域分割画像４１は、基準画像２０ａと比較画像２０ｂとの平均視差値が「５」以下の画素を無視して、視差画像４０を複数の領域４２ａ，４２ｂに分割した結果を示す。このようにして平均視差値から領域４２ａ，４２ｂを得ることで、撮像画像内の一定の大きさを持つ物体が存在する領域を抽出することができる。図６の例では、被写体２１ａが領域４２ａに、被写体２１ｂが領域４２ｂに対応する。なお、図６の例では、各領域４２ａ，４２ｂ内の平均視差値は同じ値であるが、一定範囲内であれば、１つの領域内の平均視差値が相違してもよい。
　図７は、図５のフローチャートのステップＳ４での処理の例を示す。
　ステップＳ４では、図７に示すように、パラメータ変更部１１３は、分割した領域ごとに算出した平均値に応じて視差算出用パラメータを決定する。
　まず、図７に示すように、パラメータ変更部１１３は、基準画像２０ａ内に矩形領域５０ａ，５０ｂを設定する。この矩形領域５０ａ，５０ｂは、ステップＳ２で設定した分割領域４２ａ，４２ｂを覆う最小の大きさの矩形形状の領域とする。これらの矩形領域５０ａ，５０ｂを設定する際には、図７に示すように、各矩形領域５０ａ，５０ｂの始点座標５１ａ，５１ｂと終点座標５２ａ，５２ｂを設定する。
　そして、パラメータ変更部１１３は、視差と視差算出用の各パラメータを対応付ける行列５３を利用して、平均視差値から視差算出用パラメータを領域ごとに決定する。行列５３としては、平均視差値ごとに、探索ウィンドウサイズと最大探索幅を決める。行列５３は、画像処理装置１１０が予め記憶する。
　図７の下側には、矩形領域５０ａ，５０ｂのそれぞれで決定した視差算出用パラメータ５４の例を示す。
　例えば、平均視差２５の領域５０ａでは、探索ウィンドウサイズが１５ピクセル×１５ピクセルであり、最大探索幅が２５ピクセルになる。また、平均視差１５の領域５０ｂでは、探索ウィンドウサイズ２５ピクセル×２５ピクセルであり、最大探索幅が１５ピクセルになる。
　なお、視差と視差算出用パラメータとの対応付け方法は、行列５３を利用する以外に、線形関数などを利用してもよく、また対応付けられる視差算出用パラメータの値も図７の例に限定されない。
　図８は、パラメータ変更部１１３により変更された視差算出用パラメータの一例を示す。
　図８に示すように、初期視差算出部１１２にて使用するパラメータ６２では、視差算出領域１は画像全体の１つのみであるため、始点座標６０ａと終点座標６０ｂは、画像２０ａの左上端６０と右下端６１になる。この初期視差算出用のパラメータ６２では、探索ウィンドウ２３のサイズと最大探索幅は、計算量がなるべく低減される値とし、初期視差算出で簡易的な探索が行われるようにする。
　これに対して、変更後の視差算出用パラメータ６３は、計測対象が含まれる２つの領域５０ａ，５０ｂのみを視差算出領域１，２とすることで、計算量を低減する代わりに、探索ウィンドウ２３のサイズは大きい値に設定する。図８に示す変更後の視差算出用パラメータ６３は、図７に示す視差算出用パラメータ５４と同じである。
　変更後の視差算出用パラメータ６３では、計算量を増やして高精度の視差を求めることができる。一方、最大探索幅については、視差算出領域の平均視差値が小さい程、探索幅の値を小さくすることで計算量を削減することができる。このような最大探索幅の設定の仕方は、カメラ遠方に存在する計測対象であれば探索幅を小さくてもよいことを利用したものである。
　なお、パラメータ変更部１１３により視差算出用パラメータを変更する際に、ＣＰＵへの処理負荷を考慮して視差算出用の最大演算量を予め決めておくことで、パラメータを最適に変更することができる。
　例えば、［数２］式によりパラメータ変更後の探索ウィンドウ２３のサイズ、最大探索幅、及び視差算出領域から合計の演算量を求め、予め決定した最大演算量とほぼ同等になるようにパラメータを最適化する。［数２］式において、Ｍは探索ウィンドウの横幅、Ｎは探索ウィンドウの縦幅、Ｄは最大探索幅である。
Figure JPOXMLDOC01-appb-M000002
　このようにパラメータを最適化することで、ＣＰＵの処理リソースを効率的に使用することができる。すなわち、パラメータ変更部１１３は、視差算出部１１２，１１４での現在の処理リソース情報に基づいて、処理リソースが最適となるようにパラメータ値を配分することで、ＣＰＵの処理リソースを効率的に使用できるようになる。
　また、一定の範囲の間に収まる視差を持つ領域を優先して［数２］式から合計の演算量を算出し、最大演算量を上回った時点で残りの領域は視差算出の範囲対象外としてもよい。すなわち、パラメータ変更部１１３は、視差算出部１１２，１１４での現在の処理リソース情報に基づいて、視差を算出する優先度が低い領域に対して、視差算出が実施されないようパラメータを変更して、効率化を図ることも可能である。
　最終視差算出部１１４は、パラメータ変更部１１３から出力された視差算出用パラメータを用いて視差を算出する。
　図９は、最終視差算出部１１４により出力される視差の結果の一例である。図９において、基準画像２０ａ，比較画像２０ｂ，被写体２１ａ，２１ｂは、図６のものと同一である。
　図９に示す視差画像４３は、出力される最終の視差の結果である。また、視差画像４４は、視差画像４３に対して、図５のフローチャートのステップＳ２のような領域分割を実施した結果を示す。視差画像４４内の領域４５ａ，４５ｂは、被写体２１ａ，２１ｂに対応する分割領域を示す。最終視差算出部１１４により出力される視差画像４３は、図６に示す初期視差画像４０と比べて、被写体が存在する領域で詳細な視差画像となる。なお、最終視差算出部１１４で視差を算出する方法は、初期視差算出部１１２と同じアルゴリズムのブロックマッチングを使用する代わりに、ＣＰＵの処理リソースに余裕があれば高精度な視差を算出できる手法に変更してもよい。
　このようにして最終視差算出部１１４で得られた最終的な視差の結果は、視差出力部１１５から出力される。
［１－６．第１の実施の形態例の効果］
　以上説明したように、本実施の形態例では、画像全体において算出した大まかな視差の値に基づき画像を複数の領域に分割し、分割した領域ごとに物体の認識に最適な視差が算出できるパラメータを求めるようにした。そして、その求めたパラメータの値にて、再度該当する領域の視差を算出することで、処理負荷の増大を可能な限り抑制しつつ、物体の認識に必要な精度の視差を算出することができる。
［１－７．第１の実施の形態例の変形例］
　なお、パラメータ変更部１１３によって出力される視差算出用パラメータの値が全て「０」となる場合には、最終視差算出部１１４において再度の視差計算を実施しないようにしてもよい。例えば、計測対象が撮像画像内に存在せず閾値範囲内に収まる大きさの視差算出領域が存在しない場合には、最終視差算出部１１４の視差計算を省略する。このようにすることで、ＣＰＵへの処理負荷が削減されるため、画像処理装置１１０の消費電力を効率的に制御することができる。
　また、カメラの遠方や近傍に計測対象が存在する場合の計算量を比較すると、カメラ遠方の計測対象はパラメータ変更部１１３により高精度な視差を算出するパラメータに変更されやすいため計算量は多くなる。逆に、近傍の計測対象に対する視差算出の計算量は少なくなる。そのため、主にカメラ近傍に計測対象が存在するようステレオカメラを設置することで、従来と比べて消費電力が低減する画像処理装置を実現することができる。
　また、第１の実施の形態例では、具体的な視差値として、整数精度の視差を算出する方法を示したが、小数(サブピクセル)精度の視差を算出する方法を利用してもよい。例えば、使用する視差算出用パラメータとして、小数精度の視差を求めるか否かといったフラグ型のパラメータを用意する。そして、パラメータ変更部１１３により、計測対象に応じてフラグを切り替えるようにする。このようにすることで、カメラ近傍に存在する計測対象に対しては整数精度の視差を、カメラ遠方に存在する計測対象に対しては小数精度の視差を算出するといった方法を適用できるようになる。
＜２．第２の実施の形態例＞
　図１０～図１４を参照して、本発明の第２の実施の形態例のシステムを説明する。この第２の実施の形態例を説明する図１０～図１４において、第１の実施の形態例で説明した図１～図９と同一箇所には同一符号を付す。
［２－１．システム全体の構成例］
　図１０は、第２の実施の形態例の画像処理システムの全体構成例を示す図である。
　この第２の実施の形態例では、連続した撮像画像（フレーム）において、前フレームにて使用した視差算出用パラメータと、算出した視差から次のフレームにおける計測対象が存在すると予測される領域情報を利用するものである。このように予測される領域情報を利用することで、第２の実施の形態例では、処理負荷を低減させつつ、より効率的に高精度な視差を算出できるようなる。
にしたものである。
　図１０に示す構成について説明すると、第２の実施の形態例の画像処理システム１００′では、２台のカメラ１０１Ｌ，１０１Ｒからの撮影画像は、画像処理装置１１０′で処理されて、視差情報が得られる。
　画像処理装置１１０′の画像取得部１１１ａ，１１１ｂが取得した基準画像及び比較画像は、初期視差算出判定部１３１に供給される。初期視差算出判定部１３１は、予測物体情報記憶部１２２に記憶されている予測物体情報に基づいて、現在のフレームにおいて大まかな初期視差を算出するか否かを判定する処理を行う。なお、予測物体情報とは、後述する物体予測部１１６より出力され、予め予測物体情報記憶部１２２に記憶される情報である。そして、この初期視差算出判定部１３１での判定結果が、初期視差算出部１１２に供給される。
　初期視差算出部１１２は、初期視差算出判定部１３１から大まかな初期視差を算出する判定結果が供給されると、視差算出パラメータ記憶部１２１に記憶されている視差算出パラメータにより、初期視差を算出する。
　初期視差算出部１１２が算出した視差情報は、パラメータ調整部１３２に供給される。パラメータ調整部１３２では、視差算出用パラメータを調整する。この調整では、予測物体情報記憶部１２２に記憶されている予測物体情報と、初期視差算出部１１２により取得された大まかな視差と、予めパラメータ調整結果情報記憶部１２３に蓄積されているパラメータ調整結果情報とを利用する。なお、パラメータ調整部１３２でのパラメータ調整結果情報は、パラメータ調整結果情報記憶部１２３に記憶される。
　そして、パラメータ調整部１３２で調整された視差算出用パラメータを使って、最終視差算出部１１４が最終的な視差情報を算出し、得られた視差情報が視差出力部１１５から出力される。さらに、最終視差算出部１１４で算出された視差情報や視差算出に使用した画像（基準画像）が、物体移動予測部１１６に供給される。物体移動予測部１１６は、視差情報の変化から、画像内の被写体（物体）の移動状態を予測する。なお、物体移動予測部１１６は、基準画像そのものから直接、被写体の移動状態を予測するようにしてもよい。
　物体移動予測部１１６で得られた物体移動予測情報は、予測物体情報記憶部１２２に記憶される。
［２－２．予測物体情報の例］
　次に、本実施の形態例での視差情報の算出処理例について説明する。
　図１１は、初期視差算出判定処理時の各フレームの画像と予測物体領域の例を示す。
　図１１に示す３枚の画像８０ａ，８０ｂ，８０ｃは、時刻Ｔ，Ｔ＋１，Ｔ＋２の３つフレームを時系列順に取得した基準画像である。各基準画像８０ａ，８０ｂ，８０ｃでは、被写体８１の位置が左から右に変化している。
　ここで、時刻Ｔの画像８０ａを取得したとき、それ以前での被写体８１の動きから、被写体８１の位置を予測した予測物体領域８３ａが含まれる予測物体情報８２ａを得る。さらに、時刻Ｔ＋１の画像８０ｂを取得したとき、それ以前での被写体８１の動きから、被写体８１の位置を予測した予測物体領域８３ｂが含まれる予測物体情報８２ｂを得る。予測物体情報や予測物体領域の算出方法については、後述する。
　そして、初期視差算出判定部１３１では、予測物体領域の大きさが一定以上であれば初期視差を算出しないと判定し、予測物体領域８３ａ，８３ｂの大きさが一定未満であれば初期視差を算出すると判定する。
［２－３．予測物体情報を使った視差算出用パラメータの決定処理の例］
　図１２は、パラメータ調整部１３２での処理を示すフローチャートである。
　パラメータ調整部１３２は、初期視差算出部１１２によって算出された視差を含む領域と、予測物体情報記憶部１２２に記憶された予測物体情報に基づいて、基準画像を予測物体領域に分割する（ステップＳ１０）。そして、パラメータ調整部１３２は、初期視差算出部１１２によって算出された初期視差算出領域ごとに、視差算出用パラメータを決定する（ステップＳ１１）。また、パラメータ調整部１３２は、予測物体情報から取得した予測物体領域に対しても、視差算出用パラメータを決定する（ステップＳ１２）。
　そして、決定した視差算出パラメータをパラメータ調整結果情報としてパラメータ調整結果情報記憶部１２３に蓄積し（ステップＳ１３）、パラメータ調整部１３２は、蓄積したパラメータ値を最終視差算出部１１４に出力する（ステップＳ１４）。
　図１３は、図１２のフローチャートのステップＳ１０の処理により、基準画像８２ａが領域分割された結果の一例である。画像９１では、予測物体領域８３ａの部分以外の領域９０ａは、初期視差算出部１１２により大まかな視差が算出されている。
　また、画像９２では、初期視差算出部１１２により視差を計算する際に、背景差分により予め保持した背景画像と入力の撮像画像との間の輝度値に差分があった領域のみ大まかな視差を算出する。このように背景画像と撮像画像の輝度差を利用して予め大まかな視差を算出することで、初期視差算出部５により求める視差値は、領域８３ａ以外の全ての領域ではなく、一部の領域９０ｂのみにすることができる。
　すなわち、画像９２の例のように、背景差分などの前処理を利用することで、視差を算出する範囲をより効率的に限定することができる。
　図１２のフローチャートのステップＳ１１では、領域ごとに図５のフローチャートのステップＳ３及びＳ４の処理を繰り返すことで、視差算出用パラメータを決定することができる。
　図１４は、視差算出用パラメータの決定処理の具体例を示す。
　ここでは、図１４に示す基準画像１０３は、現時刻をＴとした場合に時刻Ｔ－１のフレームにおいて処理された基準画像である。この基準画像１０３を使って、ステップＳ１３での処理で蓄積される視差算出用パラメータ１０４が得られる。
　視差算出用パラメータ１０４としては、領域１００の始点座標１０１及び終点座標１０２が設定され、平均視差値「１５」と、探索ウィンドウ２３のサイズ及び最大探索幅が設定される。
　ステップＳ１２では、パラメータ調整部１３２は、予測物体領域１０６と、前フレームについてのステップＳ１３での処理により蓄積された視差算出用パラメータの矩形領域１０７との、重複領域１０８が存在するか否かを探索する。
　そして、パラメータ調整部１３２は、重複領域１０８が確認された場合に、予測物体領域１０６にて使用する視差算出用パラメータを領域１０７のパラメータ値に決定する。
　なお、探索に利用する視差算出用パラメータとしては前フレームに蓄積されたものに特に限定はせず、蓄積された全ての視差算出用パラメータを探索対象として利用してもよい。また、ここでは予測物体領域と視差算出用パラメータの対応付け方法として、領域の重複の有無による判定を利用したが、その他の判定を行うようにしてもよい。
　例えば、重複領域１０８の面積が最も多い視差算出用パラメータを対応付ける方法や、予測物体領域と視差算出用パラメータの矩形領域との重心位置が最も近いものを対応付ける方法を適用してもよい。あるいはまた、直近に蓄積された視差算出用パラメータを優先して対応付ける方法や、予め予測物体領域に予想される視差情報などを付随させておくことで平均視差により対応付ける方法を適用してもよい。
　ステップＳ１３では、ステップＳ１１とステップＳ１２によって決定された視差算出用パラメータを、パラメータ調整結果情報記憶部１２３に保存する。なお、情報の容量が画像処理装置１１０′が内部に持つ記憶装置などの容量より多い場合は、最も古く蓄積された視差算出用パラメータを削除する。あるいは、予測物体領域と対応付けられた回数が多い視差算出用パラメータを信頼性が高いものとして判定し、信頼性が低い視差算出用パラメータを削除するようにしてもよい。さらに、座標情報などが類似した視差算出用パラメータは、直近に蓄積されたパラメータのみ残すよういにしてもよい。さらにまた、算出したパラメータの平均値を蓄積して、詳細なパラメータを削除するようにしてもよい。
　ステップＳ１４では、ステップＳ１１とステップＳ１２によって決定された視差算出用パラメータを最終の視差算出用パラメータとして出力する。
　物体移動予測部１１６は、最終視差算出部１１４によって出力される視差情報から計測対象の３次元情報を取得し、次に取得する撮像画像において計測対象が存在すると予測される画像中の範囲（領域）を出力する。
　計測対象が存在すると予測される領域は、物体を追跡して作成した軌跡情報から進行方向や移動幅を推定することで算出することができる。物体追跡は、既に知られた一般的な手法を利用すればよい。例えば、計測対象を人とした場合、３次元情報を解析して人物の頭部を抽出して同一の頭部を追跡すればよい。また、オプティカルフローなどの画像特徴量を解析して追跡するようにしてもよい。また、顔などの情報から推定した人物の身体の向きなどを追跡に利用してもよい。
［２－４．第２の実施の形態例の効果・変形例］
　以上説明した第２の実施の形態例によると、第１の実施の形態例を超える効果が得られる。すなわち、計測対象が存在する可能性が高い領域に対して過去に使用した視差算出用パラメータから視差を算出することで、より処理負荷の増大を抑制しつつ、物体の認識に必要な精度の視差を効率的に算出することができる。
　なお、このように過去に使用した視差算出用パラメータを使用する場合には、パラメータの変更履歴情報の中で、信頼性の高いパラメータを抽出して、その抽出したパラメータを使用し、信頼性の低いものは使用しないようにしてもよい。
＜３．その他の変形例＞
　なお、本発明は上記した各実施の形態例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態例の構成の一部を他の実施の形態例や変形例の構成に置き換えることが可能であり、また、ある実施の形態例の構成に他の実施の形態例や変形例の構成に置き換えることも可能である。また、実施の形態例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　例えば、パラメータ変更部１１３が、視差算出用パラメータを変更する際には、ここまで説明した全ての要件を使って視差算出用パラメータを変更してもよい。これに対して、パラメータ変更部１１３は、過去の計測対象の情報、パラメータの変更履歴情報、処理リソース情報、画像データ情報、及びユーザの設定情報の少なくともいずれか１つ以上を用いて、視差算出用パラメータを変更してもよい。
　また、パラメータ変更部により変更される視差算出用のパラメータとしては、ブロックマッチングのウィンドウサイズ、最大探索幅、視差算出領域の３つを示した。これに対して、ブロックマッチングのウィンドウサイズ、最大探索幅、視差算出領域の少なくとも１つのパラメータだけを変更するようにしてもよい。あるいは、その他のパラメータと組み合わせるようにしてもよい。
　また、上述した各実施の形態例では、初期視差算出部１１２と最終視差算出部１１４の２つの視差算出部で視差算出処理工程を行うようにした。これに対して、画像処理装置１１０又は１１０′が、１つの視差算出部だけを備えるようして、その１つの視差算出部の切り替えで、初期視差算出処理工程と最終視差算出処理工程の双方を行うようにしてもよい。
　また、初期視差算出と最終視差算出の２つの視差算出処理は、同じ画像に対して施すのが好ましいが、あるフレームの画像から初期視差算出処理で得た結果で、次以降のフレームの画像に対して最終視差算出処理を行うようにしてもよい。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１００，１００′…画像処理システム、１０１Ｌ，１０１Ｒ…カメラ、１１０，１１０′…画像処理装置、１１１ａ，１１１ｂ…画像取得部、１１２…初期視差算出部、１１３…パラメータ変更部、１１４…最終視差算出部、１１５…視差出力部、１１６…物体移動予測部、１２１…視差算出用パラメータ記憶部、１２２…予測物体情報記憶部、１２３…パラメータ調整結果情報記憶部、１３１…初期視差算出判定部、１３２…パラメータ調整部、Ｃ…コンピュータ装置、Ｃ１…ＣＰＵ、Ｃ２…ＲＯＭ、Ｃ３…ＲＡＭ、Ｃ４…バスライン、Ｃ５…不揮発性ストレージ、Ｃ６…入出力部

Claims (11)

  1. 　ステレオカメラが撮影した一方の画像データと他方の画像データの視差を、設定された視差算出用パラメータを使った演算処理で算出する視差算出部と、
    　前記視差算出部が算出した視差情報に基づいて、１フレーム内の画素または画素領域ごとに、前記視差算出用パラメータを変更するパラメータ変更部と、
    を備える画像処理装置。
  2. 　前記パラメータ変更部は、入力した画像データに対して、第１の視差算出用パラメータを前記視差算出部に設定して視差を算出した後、前記第１の視差算出用パラメータよりも詳細な視差を算出する第２の視差算出用パラメータを前記視差算出部に設定して、同じ画像データに対して再度視差を算出するようにした
    　請求項１に記載の画像処理装置。
  3. 　前記パラメータ変更部が、算出した視差情報を用いて画像データから計測対象が含まれる領域を抽出し、各領域の視差情報に基づき前記視差算出部での視差算出用パラメータを変更する
    　請求項１に記載の画像処理装置。
  4. 　前記パラメータ変更部が、過去の計測対象の情報、パラメータの変更履歴情報、画像処理装置の処理リソース情報、画像データ情報、及びユーザの設定情報の少なくとも１つ以上を用いて、視差算出用パラメータを変更する
    　請求項１に記載の画像処理装置。
  5. 　過去の計測対象の情報が、計測対象の過去の位置情報から推定した計測対象の予測位置を含む
    　請求項４に記載の画像処理装置。
  6. 　前記パラメータ変更部は、パラメータの変更履歴情報の中で、信頼性の高いパラメータを抽出して、前記視差算出部に設定する
    　請求項４に記載の画像処理装置。
  7. 　前記パラメータ変更部は、前記視差算出部の現在の処理リソース情報に基づいて、処理リソースが最適となるようにパラメータ値を配分する
    　請求項４に記載の画像処理装置。
  8. 　前記パラメータ変更部は、前記視差算出部の現在の処理リソース情報に基づいて、視差を算出する優先度が低い領域に対して、視差算出が実施されないようパラメータを変更する
    　請求項４に記載の画像処理装置。
  9. 　前記パラメータ変更部により変更される視差算出用のパラメータは、ブロックマッチングのウィンドウサイズ、最大探索幅、及び視差算出領域の少なくとも１つ以上である
    　請求項１に記載の画像処理装置。
  10. 　所定の距離離れて配置された一方及び他方のカメラと、
    　前記一方のカメラが撮影した一方の画像データと前記他方のカメラが撮影した他方の画像データの視差を、設定された視差算出用パラメータを使った演算処理で算出する視差算出部と、
    　前記視差算出部が算出した視差情報に基づいて、１フレーム内の画素または画素領域ごとに、前記視差算出用パラメータを変更するパラメータ変更部とを備える
    　ステレオカメラ装置。
  11. 　ステレオカメラが撮影した一方の画像データと他方の画像データの視差を、設定された視差算出用パラメータを使った演算処理で算出する視差算出処理工程と、
    　前記視差算出処理工程により算出した視差情報に基づいて、１フレーム内の画素または画素領域ごとに、前記視差算出用パラメータを変更するパラメータ変更処理工程とを含む
    　画像処理方法。
PCT/JP2016/074514 2016-08-23 2016-08-23 画像処理装置、ステレオカメラ装置及び画像処理方法 WO2018037479A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018535962A JP6811244B2 (ja) 2016-08-23 2016-08-23 画像処理装置、ステレオカメラ装置及び画像処理方法
CN201680088317.2A CN109643437B (zh) 2016-08-23 2016-08-23 图像处理装置、立体照相机装置以及图像处理方法
PCT/JP2016/074514 WO2018037479A1 (ja) 2016-08-23 2016-08-23 画像処理装置、ステレオカメラ装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/074514 WO2018037479A1 (ja) 2016-08-23 2016-08-23 画像処理装置、ステレオカメラ装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2018037479A1 true WO2018037479A1 (ja) 2018-03-01

Family

ID=61246470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/074514 WO2018037479A1 (ja) 2016-08-23 2016-08-23 画像処理装置、ステレオカメラ装置及び画像処理方法

Country Status (3)

Country Link
JP (1) JP6811244B2 (ja)
CN (1) CN109643437B (ja)
WO (1) WO2018037479A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017172A1 (ja) * 2018-07-17 2020-01-23 ソニー株式会社 情報処理装置と情報処理方法およびプログラム
CN112513572A (zh) * 2018-09-10 2021-03-16 日立汽车系统株式会社 图像处理装置
WO2023037575A1 (ja) * 2021-09-13 2023-03-16 日立Astemo株式会社 画像処理装置、および、画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185720A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JP2013242854A (ja) * 2012-04-17 2013-12-05 Panasonic Corp 視差算出装置及び視差算出方法
JP2014089498A (ja) * 2012-10-29 2014-05-15 Hitachi Automotive Systems Ltd ステレオ画像処理装置及びステレオ画像処理方法
JP2015536057A (ja) * 2012-09-06 2015-12-17 ノキア テクノロジーズ オーユー 画像処理装置、方法及びコンピュータプログラム
JP2016152027A (ja) * 2015-02-19 2016-08-22 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5392198B2 (ja) * 2010-07-06 2014-01-22 株式会社リコー 測距装置及び撮像装置
JP2012105172A (ja) * 2010-11-12 2012-05-31 Sharp Corp 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体
JP5792662B2 (ja) * 2011-03-23 2015-10-14 シャープ株式会社 視差算出装置、距離算出装置及び視差算出方法
JP5878756B2 (ja) * 2011-12-28 2016-03-08 浜松ホトニクス株式会社 画像処理装置、撮像装置、顕微鏡装置、画像処理方法、及び画像処理プログラム
JP6150164B2 (ja) * 2013-07-01 2017-06-21 株式会社リコー 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185720A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JP2013242854A (ja) * 2012-04-17 2013-12-05 Panasonic Corp 視差算出装置及び視差算出方法
JP2015536057A (ja) * 2012-09-06 2015-12-17 ノキア テクノロジーズ オーユー 画像処理装置、方法及びコンピュータプログラム
JP2014089498A (ja) * 2012-10-29 2014-05-15 Hitachi Automotive Systems Ltd ステレオ画像処理装置及びステレオ画像処理方法
JP2016152027A (ja) * 2015-02-19 2016-08-22 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017172A1 (ja) * 2018-07-17 2020-01-23 ソニー株式会社 情報処理装置と情報処理方法およびプログラム
US11989901B2 (en) 2018-07-17 2024-05-21 Sony Corporation Information processing device and information processing method
CN112513572A (zh) * 2018-09-10 2021-03-16 日立汽车系统株式会社 图像处理装置
WO2023037575A1 (ja) * 2021-09-13 2023-03-16 日立Astemo株式会社 画像処理装置、および、画像処理方法

Also Published As

Publication number Publication date
CN109643437A (zh) 2019-04-16
JPWO2018037479A1 (ja) 2019-03-22
CN109643437B (zh) 2023-01-10
JP6811244B2 (ja) 2021-01-13

Similar Documents

Publication Publication Date Title
KR101687530B1 (ko) 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
CN106709895B (zh) 图像生成方法和设备
US10506174B2 (en) Information processing apparatus and method for identifying objects and instructing a capturing apparatus, and storage medium for performing the processes
JP5398341B2 (ja) 物体認識装置及び物体認識方法
US8144932B2 (en) Image processing apparatus, image processing method, and interface apparatus
US10867166B2 (en) Image processing apparatus, image processing system, and image processing method
JP4642128B2 (ja) 画像処理方法、画像処理装置及びシステム
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
JP2008286725A (ja) 人物検出装置および方法
JP5271227B2 (ja) 群衆監視装置および方法ならびにプログラム
US8923552B2 (en) Object detection apparatus and object detection method
WO2018037479A1 (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
US20240135552A1 (en) Object feature extraction device, object feature extraction method, and non-transitory computer-readable medium
JP6028972B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
JP7483140B2 (ja) 画像処理システム、撮像装置、端末装置及び画像処理方法
JP2008102589A (ja) 動画像処理装置および動画像処理方法ならびに動画像処理プログラム
JP2024000518A (ja) クロップされた画像を使用した物体検出のための方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018535962

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16914153

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16914153

Country of ref document: EP

Kind code of ref document: A1