JP7465671B2 - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP7465671B2 JP7465671B2 JP2020027050A JP2020027050A JP7465671B2 JP 7465671 B2 JP7465671 B2 JP 7465671B2 JP 2020027050 A JP2020027050 A JP 2020027050A JP 2020027050 A JP2020027050 A JP 2020027050A JP 7465671 B2 JP7465671 B2 JP 7465671B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- parameter
- parameters
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 199
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 86
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 13
- 239000013256 coordination polymer Substances 0.000 description 9
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本開示は、ステレオ画像に基づいて視差画像を得る画像処理装置、およびそのような画像処理装置において使用される画像処理方法に関する。 This disclosure relates to an image processing device that obtains a parallax image based on a stereo image, and an image processing method used in such an image processing device.
自動車等の車両には、ステレオカメラにより得られたステレオ画像に基づいて、ステレオマッチング処理を行うことにより、物体までの距離および方位を検出するものがある。例えば、特許文献１には、左画像および右画像の上下位置を補正する平行化補正処理を行った後に、ステレオマッチング処理を行う技術が開示されている。
Some vehicles, such as automobiles, detect the distance and direction to an object by performing stereo matching processing based on stereo images obtained by a stereo camera. For example,
画像処理装置では、ステレオマッチング処理を行うことにより生成された視差画像の精度が高いことが望まれており、さらなる精度の向上が期待されている。 In image processing devices, it is desirable for the parallax images generated by performing stereo matching processing to be highly accurate, and further improvements in accuracy are expected.
視差画像の精度を高めることができる画像処理装置を提供することが望ましい。 It is desirable to provide an image processing device that can improve the accuracy of disparity images.
本開示の一実施の形態に係る画像処理装置は、画像処理部と、視差画像生成部と、制御部とを備える。画像処理部は、左画像および右画像を有するステレオ画像における、左画像および右画像の一方または双方に対して、制御パラメータに応じた画像処理を行うように構成される。視差画像生成部は、画像処理が行われたステレオ画像に含まれる左画像および右画像に基づいてステレオマッチング処理を行うことにより視差画像を生成するとともに、左画像および右画像のマッチング度合いに応じた評価値を算出するように構成される。制御部は、第１の期間において、制御パラメータを順次変化させ、視差画像生成部により算出された複数の評価値に基づいて、第１の期間の後の第２の期間に使用すべき制御パラメータを決定するように構成される。制御部は、第１の期間において、複数のパラメータのうちの１つを制御パラメータとして順次設定する。画像処理部は、複数のステレオ画像に対して、複数のパラメータのうちの設定されたパラメータに応じた画像処理を行う。視差画像生成部は、画像処理が行われた複数のステレオ画像のそれぞれに基づいて評価値を算出することにより、設定されたパラメータに対応する複数の評価値を算出する。制御部は、設定されたパラメータに対応する複数の評価値の代表値を算出し、代表値が最も大きくなるようなパラメータを予想することにより、第２の期間に使用すべき制御パラメータを決定する。 An image processing device according to an embodiment of the present disclosure includes an image processing unit, a parallax image generating unit, and a control unit. The image processing unit is configured to perform image processing on one or both of a left image and a right image in a stereo image having a left image and a right image according to a control parameter. The parallax image generating unit is configured to generate a parallax image by performing a stereo matching process based on the left image and the right image included in the stereo image subjected to image processing, and to calculate an evaluation value according to a matching degree of the left image and the right image. The control unit is configured to sequentially change the control parameter in a first period, and determine a control parameter to be used in a second period after the first period based on the multiple evaluation values calculated by the parallax image generating unit. The control unit sequentially sets one of the multiple parameters as a control parameter in the first period. The image processing unit performs image processing on the multiple stereo images according to a set parameter of the multiple parameters. The parallax image generating unit calculates an evaluation value based on each of the multiple stereo images subjected to image processing, thereby calculating multiple evaluation values corresponding to the set parameter. The control unit calculates a representative value of a plurality of evaluation values corresponding to the set parameters, and predicts the parameter that will produce the largest representative value, thereby determining the control parameter to be used in the second period.
本開示の一実施の形態に係る画像処理方法は、左画像および右画像を有するステレオ画像における、左画像および右画像の一方または双方に対して、制御パラメータに応じた画像処理を行うことと、画像処理が行われたステレオ画像に含まれる左画像および右画像に基づいてステレオマッチング処理を行うことにより視差画像を生成することと、ステレオマッチング処理において、左画像および右画像のマッチング度合いに応じた評価値を算出することと、第１の期間において、制御パラメータを順次変化させることと、複数の評価値に基づいて、第１の期間の後の第２の期間に使用すべき制御パラメータを決定することとを含む。上記制御パラメータを決定する際、第１の期間において、複数のパラメータのうちの１つを制御パラメータとして順次設定し、複数のステレオ画像に対して、複数のパラメータのうちの設定されたパラメータに応じた画像処理を行い、画像処理が行われた複数のステレオ画像のそれぞれに基づいて評価値を算出することにより、設定されたパラメータに対応する複数の評価値を算出し、設定されたパラメータに対応する複数の評価値の代表値を算出し、代表値が最も大きくなるようなパラメータを予想することにより、第２の期間に使用すべき制御パラメータを決定する。
The image processing method according to an embodiment of the present disclosure includes performing image processing on one or both of the left and right images in a stereo image having a left image and a right image according to a control parameter, performing stereo matching processing based on the left and right images included in the stereo image subjected to image processing to generate a parallax image, calculating an evaluation value according to the degree of matching of the left and right images in the stereo matching processing, sequentially changing the control parameter in a first period, and determining a control parameter to be used in a second period after the first period based on the multiple evaluation values. When determining the control parameter, in the first period, one of the multiple parameters is sequentially set as the control parameter, image processing is performed on the multiple stereo images according to the set parameter of the multiple parameters, and an evaluation value is calculated based on each of the multiple stereo images subjected to image processing to calculate multiple evaluation values corresponding to the set parameter, a representative value of the multiple evaluation values corresponding to the set parameter is calculated, and the control parameter to be used in the second period is determined by predicting the parameter with the largest representative value.
本開示の一実施の形態に係る画像処理装置および画像処理方法によれば、視差画像の精度を高めることができる。 According to an image processing device and an image processing method according to an embodiment of the present disclosure, the accuracy of the parallax image can be improved.
以下、本開示の実施の形態について、図面を参照して詳細に説明する。 The following describes in detail the embodiments of the present disclosure with reference to the drawings.
＜実施の形態＞
［構成例］
図１は、一実施の形態に係る画像処理装置（画像処理装置１）の一構成例を表すものである。画像処理装置１は、ステレオカメラ１１と、処理部２０とを備えている。画像処理装置１は、この例では、自動車等の車両１０に搭載される。
<Embodiment>
[Configuration example]
1 shows an example of the configuration of an image processing device (image processing device 1) according to an embodiment. The
ステレオカメラ１１は、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するように構成される。ステレオカメラ１１は、左カメラ１１Ｌと、右カメラ１１Ｒとを有する。左カメラ１１Ｌおよび右カメラ１１Ｒのそれぞれは、レンズとイメージセンサとを含んでいる。左カメラ１１Ｌおよび右カメラ１１Ｒは、この例では、車両１０の車両内において、車両１０のフロントガラスの上部近傍に、車両１０の幅方向に所定距離だけ離間して配置される。左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行う。左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬおよび右画像ＰＲは、ステレオ画像ＰＩＣを構成する。ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）で撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。
The
図２は、ステレオ画像ＰＩＣの一例を表すものであり、図２（Ａ）は左画像ＰＬの一例を示し、図２（Ｂ）は右画像ＰＲの一例を示す。この例では、車両１０が走行している道路における車両１０の前方に、他車両（先行車両９０）が走行している。左カメラ１１Ｌがこの先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒがこの先行車両９０を撮像することにより右画像ＰＲを生成する。ステレオカメラ１１は、このような左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成するようになっている。
Figure 2 shows an example of a stereo image PIC, with Figure 2(A) showing an example of a left image PL and Figure 2(B) showing an example of a right image PR. In this example, another vehicle (preceding vehicle 90) is traveling ahead of
処理部２０は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、車両１０の前方の物体を認識するように構成される。車両１０では、例えば、処理部２０が認識した物体についての情報に基づいて、例えば、車両１０の走行制御を行い、あるいは、認識した物体についての情報をコンソールモニタに表示することができるようになっている。処理部２０は、例えば、プログラムを実行するＣＰＵ（Central Processing Unit）、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、プログラムを記憶するＲＯＭ（Read Only Memory）などにより構成される。処理部２０は、画像処理部２１と、視差画像生成部２２と、画像処理制御部２４と、物体認識部２９とを有している。
The
画像処理部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲのうちの一方および双方に対して、画像処理制御部２４から供給された制御パラメータＣＴＬに応じた画像処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成するように構成される。
The
すなわち、処理部２０では、後述するように、視差画像生成部２２が、左画像ＰＬ（左画像ＰＬ１）および右画像ＰＲ（右画像ＰＲ１）に基づいてステレオマッチング処理を行うことにより、視差画像ＰＤを生成する。このように、視差画像生成部２２が視差画像ＰＤを生成する際、図２に示したように、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置がほぼ等しいことや、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度がほぼ等しいことが望まれる。しかしながら、左カメラ１１Ｌおよび右カメラ１１Ｒが相対的にずれた位置や向きに配置されることにより、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置が互いにずれる場合や、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度が互いにずれる場合があり得る。
That is, in the
図３は、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置が互いにずれる場合における、ステレオ画像ＰＩＣの一例を表すものであり、図３（Ａ）は左画像ＰＬの一例を示し、図３（Ｂ）は右画像ＰＲの一例を示す。この例では、左画像ＰＬにおける上下方向の画像位置は、右画像ＰＲにおける上下方向の画像位置よりも高い。このような状況は、例えば、左カメラ１１Ｌが、右カメラ１１Ｒの位置よりも低い位置に配置された場合により生じ得る。
Figure 3 shows an example of a stereo image PIC when the vertical image positions of the left image PL and the right image PR are misaligned from each other, with Figure 3(A) showing an example of the left image PL and Figure 3(B) showing an example of the right image PR. In this example, the vertical image position of the left image PL is higher than the vertical image position of the right image PR. This situation can arise, for example, when the
図４は、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度が互いにずれる場合におけるステレオ画像ＰＩＣの一例を表すものであり、図４（Ａ）は左画像ＰＬの一例を示し、図４（Ｂ）は右画像ＰＲの一例を示す。この例では、左画像ＰＬにおける画像が、水平方向からやや反時計回りに回転している。このような状況は、例えば、左カメラ１１Ｌが、光軸を中心として水平方向から時計回りにやや回転した角度で配置された場合に生じ得る。
Figure 4 shows an example of a stereo image PIC when the image angles in the rotational direction of the left image PL and the right image PR are misaligned from each other, with Figure 4(A) showing an example of the left image PL and Figure 4(B) showing an example of the right image PR. In this example, the image in the left image PL is rotated slightly counterclockwise from the horizontal direction. This situation can occur, for example, when the
このように、左画像ＰＬおよび右画像ＰＲにおける上下方向の画像位置が互いにずれる場合（図３）や、左画像ＰＬおよび右画像ＰＲにおける回転方向の画像角度が互いにずれる場合（図４）には、視差画像生成部２２は、ステレオマッチング処理を行うことが難しくなり、その結果、視差画像ＰＤの精度が低下するおそれがある。そこで、画像処理装置１では、画像処理部２１は、左画像ＰＬおよび右画像ＰＲの一方または双方に対して、制御パラメータＣＴＬに応じた画像処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成する。この画像処理は、上下方向に画像を移動させる処理（移動処理Ａ１）や、画像を回転させる処理（回転処理Ａ２）を含む。制御パラメータＣＴＬは、移動処理Ａ１における上下方向の画像の移動量についての情報や、回転処理Ａ２における画像の回転角度についての情報を含む。そして、視差画像生成部２２は、この左画像ＰＬ１および右画像ＰＲ１に基づいてステレオマッチング処理を行う。
In this way, when the image positions in the left image PL and the right image PR are misaligned in the vertical direction (FIG. 3) or when the image angles in the rotational direction in the left image PL and the right image PR are misaligned in the vertical direction (FIG. 4), it becomes difficult for the parallax
図５は、図３に示したように、左画像ＰＬにおける上下方向の画像位置が、右画像ＰＲにおける上下方向の画像位置よりも高い場合における画像処理部２１の一動作例を表すものであり、図５（Ａ）は、画像処理部２１が生成した左画像ＰＬ１を示し、図５（Ｂ）は、画像処理部２１が生成した右画像ＰＲ１を示す。この例では、画像処理部２１は、左画像ＰＬを下方向に移動させる移動処理Ａ１を行うことにより、左画像ＰＬ１および右画像ＰＲ１における上下方向の画像位置を一致させる。
Figure 5 shows an example of the operation of the
図６は、図４に示したように、左画像ＰＬにおける画像が、水平方向からやや反時計回りに回転している場合における画像処理部２１の一動作例を表すものであり、図６（Ａ）は、画像処理部２１が生成した左画像ＰＬ１を示し、図６（Ｂ）は、画像処理部２１が生成した右画像ＰＲ１を示す。この例では、画像処理部２１は、左画像ＰＬを時計回りに回転させる回転処理Ａ２を行うことにより、左画像ＰＬ１および右画像ＰＲ１における回転方向の画像角度を一致させる。
Figure 6 shows an example of the operation of the
これにより、視差画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいてステレオマッチング処理を行いやすくなり、その結果、視差画像ＰＤの精度を高めることができるようになっている。
This makes it easier for the parallax
視差画像生成部２２（図１）は、画像処理部２１により生成された左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理を含む所定の画像処理を行うことにより、視差画像ＰＤを生成するように構成される。視差画像ＰＤは、複数の画素値を有している。複数の画素値のそれぞれは、各画素における視差についての値を示している。言い換えれば、複数の画素値のそれぞれは、３次元の実空間における、各画素に対応する点までの距離に対応している。
The parallax image generating unit 22 (Fig. 1) is configured to generate a parallax image PD by performing predetermined image processing, including stereo matching processing, based on the left image PL1 and right image PR1 generated by the
視差画像生成部２２は、対応点算出部２３を有している。対応点算出部２３は、左画像ＰＬ１および右画像ＰＲ１に基づいて、区分された複数のサブ領域Ｓのそれぞれを単位としてステレオマッチング処理を行うことにより、互いに対応する２つの画像点を含む対応点ＣＰを特定するように構成される。具体的には、対応点算出部２３は、左画像ＰＬ１における複数のサブ領域ＳＬ、および右画像ＰＲ１における複数のサブ領域ＳＲのうち、同様の画像パターンを有するサブ領域ＳＬ，ＳＲを探索することにより、互いに対応する左画像点ＣＰＬおよび右画像点ＣＰＲを対応点ＣＰとして特定するようになっている。また、対応点算出部２３は、左画像ＰＬ１および右画像ＰＲ１により得られた対応点ＣＰの数を算出し、その算出結果を対応点数ＣＮＴとして、画像処理制御部２４に供給するようになっている。対応点算出部２３は、例えばテンプレートマッチングにより対応点ＣＰを特定してもよいし、局所特徴量に基づく特徴量マッチングにより対応点ＣＰを特定してもよい。
The parallax
画像処理制御部２４は、キャリブレーション処理を行うことにより、視差画像ＰＤの精度を高めることができる制御パラメータＣＴＬを決定するように構成される。キャリブレーション処理は、例えば、エンジンが起動した時、例えば交通信号が赤信号である場合などにおいて車両が停止した時、不具合が発生した時などに実行される。画像処理制御部２４は、設定制御部２５と、対応点数格納部２６と、平均値算出部２７と、パラメータ決定部２８とを有している。
The image processing control unit 24 is configured to perform a calibration process to determine a control parameter CTL that can improve the accuracy of the parallax image PD. The calibration process is performed, for example, when the engine is started, when the vehicle is stopped, for example, when a traffic light is red, or when a malfunction occurs. The image processing control unit 24 has a
設定制御部２５は、キャリブレーション処理において、制御パラメータＣＴＬを順次変化させるように構成される。具体的には、設定制御部２５は、キャリブレーション処理において、移動処理Ａ１における上下方向の画像の移動量や、回転処理Ａ２における画像の回転角度を順次変化させ、この移動量および回転角度についての情報を含む制御パラメータＣＴＬを順次生成するようになっている。また、設定制御部２５は、キャリブレーション処理において、パラメータ決定部２８により決定された制御パラメータＣＴＬＡに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを設定するようになっている。
The setting
対応点数格納部２６は、対応点算出部２３により算出された対応点数ＣＮＴを、設定制御部２５が設定した制御パラメータＣＴＬと対応づけて記憶するように構成される。
The corresponding point
平均値算出部２７は、対応点数格納部２６に格納された、様々な制御パラメータＣＴＬに対応づけられた複数の対応点数ＣＮＴのうち、同じ制御パラメータＣＴＬに対応づけられた複数の対応点数ＣＮＴの平均値ＣＡＶを算出するように構成される。これにより、平均値算出部２７は、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の平均値ＣＡＶを算出するようになっている。
The average
パラメータ決定部２８は、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の平均値ＣＡＶに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを制御パラメータＣＴＬＡとして決定するように構成される。
The
物体認識部２９は、左画像ＰＬ１および右画像ＰＲ１と、視差画像生成部２２により生成された視差画像ＰＤとに基づいて、車両１０の前方の物体を認識するように構成される。そして、物体認識部２９は、その認識結果についてのデータを出力するようになっている。
The
ここで、画像処理部２１は、本開示における「画像処理部」の一具体例に対応する。視差画像生成部２２は、本開示における「視差画像生成部」の一具体例に対応する。画像処理制御部２４は、本開示における「制御部」の一具体例に対応する。ステレオ画像ＰＩＣは、本開示における「ステレオ画像」の一具体例に対応する。左画像ＰＬは、本開示における「左画像」の一具体例に対応する。右画像ＰＲは、本開示における「右画像」の一具体例に対応する。視差画像ＰＤは、本開示における「視差画像」の一具体例に対応する。対応点は、本開示における「対応点ＣＰ」の一具体例に対応する。制御パラメータＣＴＬは、本開示における「制御パラメータ」の一具体例に対応する。対応点数ＣＮＴは、本開示における「評価値」の一具体例に対応する。平均値ＣＡＶは、本開示における「代表値」の一具体例に対応する。
Here, the
［動作および作用］
続いて、本実施の形態の画像処理装置１の動作および作用について説明する。
[Actions and Functions]
Next, the operation and function of the
（全体動作概要）
まず、図１を参照して、画像処理装置１の全体動作概要を説明する。ステレオカメラ１１は、車両１０の前方を撮像することにより、左画像ＰＬおよび右画像ＰＲを含むステレオ画像ＰＩＣを生成する。処理部２０において、画像処理部２１は、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲの一方または双方に対して、制御パラメータＣＴＬに応じた画像処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成する。視差画像生成部２２は、画像処理部２１により生成された左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理を含む所定の画像処理を行うことにより、視差画像ＰＤを生成する。画像処理制御部２４は、キャリブレーション処理を行うことにより、視差画像ＰＤの精度を高めることができる制御パラメータＣＴＬを決定する。物体認識部２９は、左画像ＰＬ１および右画像ＰＲ１と、視差画像生成部２２により生成された視差画像ＰＤとに基づいて、車両１０の前方の物体を認識する。
(Overall operation overview)
First, an overview of the overall operation of the
（詳細動作）
図７は、キャリブレーション処理における処理部２０の一動作例を表すものである。図８は、キャリブレーション処理における、制御パラメータＣＴＬの一設定例を表すものである。図８において、Ｎ個のパラメータＰ（パラメータＰ1～ＰN）のそれぞれは、制御パラメータＣＴＬである。パラメータＰは、移動処理Ａ１における上下方向の画像の移動量についての情報と、回転処理Ａ２における画像の回転角度についての情報を含んでいる。
(Detailed operation)
Fig. 7 shows an example of an operation of the
処理部２０は、キャリブレーション期間ＴＣにおける複数の期間Ｔ（この例ではＭ個の期間Ｔ1～ＴM）のそれぞれにおいて、制御パラメータＣＴＬを順次設定することにより、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを決定する。以下に、この処理について詳細に説明する。
The
まず、画像処理制御部２４の設定制御部２５は、制御パラメータＣＴＬを初期値に設定する（ステップＳ１０１）。具体的には、設定制御部２５は、移動処理Ａ１における上下方向の画像の移動量を初期値に設定するとともに、回転処理Ａ２における画像の回転角度を初期値に設定する。図８の例では、設定制御部２５は、制御パラメータＣＴＬをパラメータＰ1に設定する。
First, the setting
次に、画像処理部２１は、ステレオカメラ１１により生成されたステレオ画像ＰＩＣを取得する（ステップＳ１０２）。
Next, the
次に、画像処理部２１は、ステレオ画像ＰＩＣに対して、制御パラメータＣＴＬに応じた画像処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成する（ステップＳ１０３）。
Next, the
次に、視差画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理を含む所定の画像処理を行うことにより視差画像ＰＤを生成するとともに、対応点数ＣＮＴを算出する（ステップＳ１０４）。
Next, the parallax
次に、画像処理制御部２４の対応点数格納部２６は、視差画像生成部２２により算出された対応点数ＣＮＴを、設定制御部２５が設定した制御パラメータＣＴＬと対応づけて記憶する（ステップＳ１０５）。
Next, the corresponding point
次に、画像処理制御部２４の設定制御部２５は、全ての制御パラメータＣＴＬを設定したかどうかを確認する（ステップＳ１０６）。まだ全ての制御パラメータＣＴＬを設定していない場合（ステップＳ１０６において“Ｎ”）には、設定制御部２５は、制御パラメータＣＴＬを変更する（ステップＳ１０７）。具体的には、設定制御部２５は、移動処理Ａ１における上下方向の画像の移動量や、回転処理Ａ２における画像の回転角度を変更することにより、制御パラメータＣＴＬを変更する。そして、ステップＳ１０２の処理に戻る。このようにして、処理部２０は、全ての制御パラメータＣＴＬを設定するまで、ステップＳ１０２～Ｓ１０７の処理を繰り返す。
Next, the setting
図８の例では、処理部２０は、制御パラメータＣＴＬをパラメータＰ1に設定し、１つのフレーム画像ＰＩＣに対する処理を行い、次に、制御パラメータＣＴＬをパラメータＰ2に設定し、１つのフレーム画像ＰＩＣに対する処理を行い、次に、制御パラメータＣＴＬをパラメータＰ3に設定し、１つのフレーム画像ＰＩＣに対する処理を行う。パラメータＰ4～ＰNについても同様である。これにより、Ｎ個の制御パラメータＣＴＬ（パラメータＰ1～ＰN）のそれぞれに対応づけられた１つの対応点数ＣＮＴが、対応点数格納部２６に記憶される。
8, the
ステップＳ１０６において、全ての制御パラメータＣＴＬを設定した場合（ステップＳ１０６において“Ｙ”）には、設定制御部２５は、ステップＳ１０１～Ｓ１０７の処理を所定回数（この例ではＭ回）繰り返したかどうかを確認する（ステップＳ１０８）。まだ所定回数繰り返していない場合（ステップＳ１０８において“Ｎ”）には、ステップＳ１０１の処理に戻る。このようにして、処理部２０は、ステップＳ１０１～Ｓ１０７の処理を所定回数（この例ではＭ回）繰り返す。
If all control parameters CTL have been set in step S106 ("Y" in step S106), the setting
図８の例では、処理部２０は、期間Ｔ1において、制御パラメータＣＴＬをパラメータＰ1～ＰNに順次設定し、フレーム画像ＰＩＣに対する処理をそれぞれ行う。同様に、処理部２０は、期間Ｔ2において、制御パラメータＣＴＬをパラメータＰ1～ＰNに順次設定し、フレーム画像ＰＩＣに対する処理をそれぞれ行う。期間Ｔ3～ＴMについても同様である。これにより、Ｎ個の制御パラメータＣＴＬ（パラメータＰ1～ＰN）のそれぞれに対応づけられたＭ個の対応点数ＣＮＴが、対応点数格納部２６に記憶される。
8, the
ステップＳ１０８において、所定回数繰り返した場合（ステップＳ１０８において“Ｙ”）には、平均値算出部２７は、対応点数格納部２６に格納された、複数の制御パラメータＣＴＬに対応づけられた複数の対応点数ＣＮＴに基づいて、各制御パラメータＣＴＬについて、対応点数ＣＮＴの平均値ＣＡＶを算出する（ステップＳ１０９）。具体的には、図８の例では、平均値算出部２７は、パラメータＰ1に対応づけられたＭ個の対応点数ＣＮＴの平均値ＣＡＶ（平均値ＣＡＶ1）を算出し、パラメータＰ2に対応づけられたＭ個の対応点数ＣＮＴの平均値ＣＡＶ（平均値ＣＡＶ2）を算出し、パラメータＰ3に対応づけられたＭ個の対応点数ＣＮＴの平均値ＣＡＶ（平均値ＣＡＶ3）を算出する。パラメータＰ4～ＰNについても同様である。このようにして、平均値算出部２７は、複数の制御パラメータＣＴＬ（Ｎ個のパラメータＰ1～ＰN）にそれぞれ対応する複数の平均値ＣＡＶ（Ｎ個の平均値ＣＡＶ1～ＣＡＶN）を算出する。
In step S108, if the process is repeated a predetermined number of times ("Y" in step S108), the average
次に、パラメータ決定部２８は、複数の制御パラメータＣＴＬにそれぞれ対応する複数の平均値ＣＡＶに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを制御パラメータＣＴＬＡとして決定する（ステップＳ１１０）。この例では、パラメータ決定部２８は、複数の制御パラメータＣＴＬのうち、平均値ＣＡＶが最も大きくなるような制御パラメータＣＴＬを、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬとして決定する。
Next, the
図９は、平均値ＣＡＶの分布の一例を、等高線図を用いて表すものである。この例では、画像処理部２１は、左画像ＰＬに対してのみ、移動処理Ａ１および回転処理Ａ２を行う。制御パラメータＣＴＬは、左画像ＰＬに対する、移動処理Ａ１における上下方向の画像の移動量についての情報、および回転処理Ａ２における画像の回転角度についての情報を含む。図９の横軸は移動量を示し、縦軸は回転角度を示す。移動量の単位は、例えばピクセルであり、回転角度の単位は、例えば度である。この例では、移動量が“－１００ピクセル”であり、回転角度が“７度”である場合に、平均値ＣＡＶが最も大きくなる。よって、パラメータ決定部２８は、移動量“－１００ピクセル”、および回転角度“７度”を、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬとして決定する。このように、パラメータ決定部２８は、この例では、移動量および回転角度により定義される２次元空間において、平均値ＣＡＶが最も大きくなるような制御パラメータＣＴＬを決定する。
Figure 9 shows an example of the distribution of the average value CAV using a contour map. In this example, the
以上で、このキャリブレーション処理は終了する。 This completes the calibration process.
ここで、キャリブレーション期間ＴＣは、本開示における「第１の期間」の一具体例に対応する。期間Ｔは、本開示における「サブ期間」の一具体例に対応する。パラメータＰは、本開示における「パラメータ」の一具体例に対応する。 Here, the calibration period TC corresponds to a specific example of a "first period" in this disclosure. The period T corresponds to a specific example of a "sub-period" in this disclosure. The parameter P corresponds to a specific example of a "parameter" in this disclosure.
このように、画像処理装置１では、キャリブレーション処理を行うキャリブレーション期間ＴＣにおいて、画像処理部２１における画像処理を制御するための制御パラメータＣＴＬを順次変化させ、ステレオマッチング処理を行う視差画像生成部２２により算出された対応点数ＣＮＴに基づいて、キャリブレーション期間ＴＣの後に使用すべき制御パラメータＣＴＬを決定するようにした。これにより、画像処理制御部２４は、例えば、複数の制御パラメータＣＴＬのうち、対応点数ＣＮＴの平均値ＣＡＶが最も大きい制御パラメータＣＴＬを、キャリブレーション期間ＴＣの後に使用すべき制御パラメータＣＴＬとすることができる。これにより、画像処理装置１では、視差画像ＰＤの精度を高めることができる。
In this way, in the
すなわち、対応点算出部２３は、ステレオマッチング処理において、左画像ＰＬ１における複数のサブ領域ＳＬ、および右画像ＰＲ１における複数のサブ領域ＳＲのうち、同様の画像パターンを有するサブ領域ＳＬ，ＳＲを探索することにより、互いに対応する左画像点ＣＰＬおよび右画像点ＣＰＲを対応点ＣＰとして特定する。例えば、左画像ＰＬ１および右画像ＰＲ１における上下方向の画像位置のずれが小さいほど、また、左画像ＰＬ１および右画像ＰＲ１における回転方向の画像角度のずれが小さいほど、ステレオマッチング処理におけるマッチング度合いが高くなる。その結果、対応点算出部２３は、対応点ＣＰを特定しやすくなり、対応点数ＣＮＴが多くなる。すなわち、対応点数ＣＮＴが多いことは、ステレオマッチング処理におけるマッチング度合いが高いことを意味し、視差画像ＰＤの精度が高いことを意味する。画像処理装置１では、複数の制御パラメータＣＴＬのうちの、対応点数ＣＮＴの平均値ＣＡＶが最も大きい制御パラメータＣＴＬを、使用すべき制御パラメータＣＴＬとすることができるので、視差画像ＰＤの精度を高めることができる。
That is, in the stereo matching process, the correspondence
また、画像処理装置１では、視差画像生成部２２により算出された対応点数ＣＮＴに基づいて、キャリブレーション期間ＴＣの後に使用すべき制御パラメータＣＴＬを決定するようにした。この視差画像生成部２２は、通常動作において使用される回路であり、処理部２０は、キャリブレーション処理において、この回路を流用することにより、使用すべき制御パラメータＣＴＬを決定することができるので、シンプルな構成を実現することができる。
In addition, the
また、画像処理装置１では、制御パラメータＣＴＬを順次設定し、複数の制御パラメータＣＴＬのうち、対応点数ＣＮＴの平均値ＣＡＶが最も大きい制御パラメータＣＴＬを、キャリブレーション期間ＴＣの後に使用すべき制御パラメータＣＴＬとするようにした。よって、例えば、順次設定した制御パラメータＣＴＬのうちの１つをそのまま、使用すべき制御パラメータＣＴＬとすることができるので、ロバスト性を高めることができる。
In addition, in the
また、画像処理装置１では、画像処理制御部２４が、キャリブレーション期間ＴＣにおいて、複数のパラメータＰのうちの１つを制御パラメータＣＴＬとして順次設定し、画像処理部２１が、複数のステレオ画像ＰＩＣに対して、複数のパラメータＰのうちの設定されたパラメータＰに応じた画像処理を行うようにした。視差画像生成部２２は、この画像処理が行われた複数のステレオ画像ＰＩＣのそれぞれに基づいて対応点数ＣＮＴを算出することにより、設定されたパラメータＰに対応する複数の対応点数ＣＮＴを算出するようにした。そして、画像処理制御部２４は、設定されたパラメータＰに対応する複数の対応点数ＣＮＴの平均値ＣＡＶを算出し、この平均値ＣＡＶに基づいて、キャリブレーション期間ＴＣの後に使用すべき制御パラメータＣＴＬを決定するようにした。このように、画像処理装置１では、複数の対応点数ＣＮＴの平均値ＣＡＶに基づいて、使用すべき制御パラメータＣＴＬを決定するので、例えば１つの対応点数ＣＮＴに基づいて使用すべき制御パラメータＣＴＬを決定する場合に比べて、使用すべき制御パラメータＣＴＬの決定精度を高めることができる。
In the
また、画像処理装置１では、図８に示したように、キャリブレーション期間ＴＣに含まれる複数の期間Ｔのそれぞれにおいて、制御パラメータＣＴＬを順次設定し、複数の期間Ｔにおける、あるパラメータＰに対応する複数の対応点数ＣＮＴの平均値ＣＡＶを算出するようにした。これにより、例えば、キャリブレーション処理を行っている最中に車両１０が走行した場合でも、使用すべき制御パラメータＣＴＬの精度を高めることができる。すなわち、車両１０が走行した場合には、ステレオカメラ１１における撮像対象が変化するので、対応点数ＣＮＴが変化するおそれがある。画像処理装置１では複数の期間Ｔ（図８の例ではＭ個の期間Ｔ1～ＴM）のそれぞれにおいて、制御パラメータＣＴＬを順次設定する。これにより、複数の制御パラメータＣＴＬにそれぞれ対応する複数の平均値ＣＡＶにおいて、撮像対象が変化したことの影響をほぼ同じにすることができる。これにより、使用すべき制御パラメータＣＴＬの決定精度を高めることができる。
In addition, as shown in FIG. 8, in the
［効果］
以上のように本実施の形態では、キャリブレーション処理を行うキャリブレーション期間において、画像処理部における画像処理を制御するための制御パラメータを順次変化させ、ステレオマッチング処理を行う視差画像生成部により算出された対応点数に基づいて、キャリブレーション期間の後に使用すべき制御パラメータを決定するようにしたので、視差画像の精度を高めることができる。
[effect]
As described above, in the present embodiment, during the calibration period in which the calibration process is performed, the control parameters for controlling the image processing in the image processing unit are sequentially changed, and the control parameters to be used after the calibration period are determined based on the number of corresponding points calculated by the disparity image generation unit that performs the stereo matching process, thereby making it possible to improve the accuracy of the disparity image.
［変形例１］
上記実施の形態では、画像処理部２１は、左画像ＰＬに対してのみ、移動処理Ａ１および回転処理Ａ２を行うようにしたが、これに限定されるものではない。画像処理部２１は、例えば、右画像ＰＲに対して移動処理Ａ１を行うようにしてもよいし、右画像ＰＲに対して回転処理Ａ２を行うようにしてもよい。また、画像処理部２１は、左画像ＰＬおよび右画像ＰＲの両方に対して、別々に回転処理Ａ２を行うようにしてもよい。この場合、パラメータ決定部２８は、移動量、左画像ＰＬの回転角度、および右画像ＰＲの回転角度により定義される３次元空間において、平均値ＣＡＶが最も大きくなるような制御パラメータＣＴＬを決定することができる。
[Modification 1]
In the above embodiment, the
［変形例２］
上記実施の形態では、図７，８に示したように、キャリブレーション期間ＴＣに含まれる複数の期間Ｔのそれぞれにおいて、制御パラメータＣＴＬを順次設定するようにしたが、これに限定されるものではない。以下に、本変形例に係る画像処理装置１Ａについて、以下に詳細に説明する。
[Modification 2]
In the above embodiment, the control parameters CTL are set sequentially in each of the multiple periods T included in the calibration period TC as shown in Figures 7 and 8, but the present invention is not limited to this. The image processing device 1A according to this modified example will be described in detail below.
画像処理装置１Ａは、上記実施の形態に係る画像処理装置１（図１）と同様に、処理部２０Ａを備えている。処理部２０Ａは、画像処理制御部２４Ａを有している。画像処理制御部２４Ａは、設定制御部２５Ａを有している。 The image processing device 1A includes a processing unit 20A, similar to the image processing device 1 (FIG. 1) according to the above embodiment. The processing unit 20A includes an image processing control unit 24A. The image processing control unit 24A includes a setting control unit 25A.
図１０は、キャリブレーション処理における処理部２０Ａの一動作例を表すものである。図１１は、キャリブレーション処理における、制御パラメータＣＴＬの一設定例を表すものである。この例では、処理部２０Ａは、キャリブレーション期間ＴＣにおける複数の期間Ｔ（この例ではＮ個の期間Ｔ1～ＴN）のそれぞれにおいて制御パラメータＣＴＬが互い異なるように、制御パラメータＣＴＬを設定することにより、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを決定する。以下に、この処理について詳細に説明する。 Fig. 10 shows an example of an operation of the processing unit 20A in the calibration process. Fig. 11 shows an example of setting the control parameter CTL in the calibration process. In this example, the processing unit 20A sets the control parameter CTL so that the control parameter CTL is different from one another in each of a plurality of periods T (in this example, N periods T 1 to T N ) in the calibration period TC, thereby determining the control parameter CTL to be used after the calibration process is completed. This process will be described in detail below.
まず、画像処理制御部２４Ａの設定制御部２５Ａは、制御パラメータＣＴＬを初期値に設定する（ステップＳ１２１）。図１１の例では、設定制御部２５Ａは、制御パラメータＣＴＬをパラメータＰ1に設定する。 First, the setting control unit 25A of the image processing control unit 24A sets the control parameter CTL to an initial value (step S121). In the example of Fig. 11, the setting control unit 25A sets the control parameter CTL to the parameter P1 .
次に、画像処理部２１は、ステレオカメラ１１により生成されたステレオ画像ＰＩＣを取得する（ステップＳ１２２）。次に、画像処理部２１は、ステレオ画像ＰＩＣに対して、制御パラメータＣＴＬに応じた画像処理を行うことにより、左画像ＰＬ１および右画像ＰＲ１を生成する（ステップＳ１２３）。次に、視差画像生成部２２は、左画像ＰＬ１および右画像ＰＲ１に基づいて、ステレオマッチング処理を含む所定の画像処理を行うことにより視差画像ＰＤを生成するとともに、対応点数ＣＮＴを算出する（ステップＳ１２４）。次に、画像処理制御部２４Ａの対応点数格納部２６は、視差画像生成部２２により算出された対応点数ＣＮＴを、設定制御部２５が設定した制御パラメータＣＴＬと対応づけて記憶する（ステップＳ１２５）。
Next, the
次に、設定制御部２５Ａは、１つの制御パラメータＣＴＬについて、ステップＳ１２２～Ｓ１２５の処理を所定回数（この例ではＭ回）繰り返したかどうかを確認する（ステップＳ１２６）。まだ所定回数繰り返していない場合（ステップＳ１２６において“Ｎ”）には、ステップＳ１２２の処理に戻る。このようにして、処理部２０は、１つの制御パラメータＣＴＬについて、ステップＳ１２２～Ｓ１２６の処理を所定回数繰り返す。
Then, the setting control unit 25A checks whether the processing of steps S122 to S125 has been repeated a predetermined number of times (M times in this example) for one control parameter CTL (step S126). If the processing has not yet been repeated the predetermined number of times ("N" in step S126), the processing returns to step S122. In this way, the
図１１の例では、処理部２０Ａは、制御パラメータＣＴＬをパラメータＰ1に設定し、Ｍ個のフレーム画像ＰＩＣに対する処理を行う。これにより、１つの制御パラメータＣＴＬ（パラメータＰ1）に対応づけられたＭ個の対応点数ＣＮＴが、対応点数格納部２６に記憶される。
11, the processing unit 20A sets the control parameter CTL to the parameter P1 and processes M frame images PIC, whereby M corresponding points CNT associated with one control parameter CTL (parameter P1 ) are stored in the corresponding
ステップＳ１２６において、所定回数繰り返した場合（ステップＳ１２６において“Ｙ”）には、設定制御部２５Ａは、全ての制御パラメータＣＴＬを設定したかどうかを確認する（ステップＳ１２７）。まだ全ての制御パラメータＣＴＬを設定していない場合（ステップＳ１２７において“Ｎ”）には、設定制御部２５Ａは、制御パラメータＣＴＬを変更し（ステップＳ１２８）、ステップＳ１２２の処理に戻る。このようにして、処理部２０は、全ての制御パラメータＣＴＬを設定するまで、ステップＳ１２２～Ｓ１２８の処理を繰り返す。
If the process has been repeated a predetermined number of times in step S126 ("Y" in step S126), the setting control unit 25A checks whether all the control parameters CTL have been set (step S127). If all the control parameters CTL have not yet been set ("N" in step S127), the setting control unit 25A changes the control parameters CTL (step S128) and returns to the process of step S122. In this way, the
図１１の例では、処理部２０Ａは、期間Ｔ1において、制御パラメータＣＴＬをパラメータＰ1に設定し、Ｍ個のフレーム画像ＰＩＣに対する処理を行い、期間Ｔ2において、制御パラメータＣＴＬをパラメータＰ2に設定し、Ｍ個のフレーム画像ＰＩＣに対する処理を行う。期間Ｔ3～ＴNについても同様である。これにより、Ｎ個の制御パラメータＣＴＬ（パラメータＰ1～ＰN）のそれぞれに対応づけられたＭ個の対応点数ＣＮＴが、対応点数格納部２６に記憶される。
11, the processing unit 20A sets the control parameter CTL to parameter P1 in period T1 and processes M frame images PIC, and sets the control parameter CTL to parameter P2 in period T2 and processes M frame images PIC. The same is true for periods T3 to TN . As a result, M corresponding points CNT associated with the N control parameters CTL (parameters P1 to PN ) are stored in the corresponding
ステップＳ１２７において、全ての制御パラメータＣＴＬを設定した場合（ステップＳ１２７において“Ｙ”）には、平均値算出部２７は、対応点数格納部２６に格納された、複数の制御パラメータＣＴＬに対応づけられた複数の対応点数ＣＮＴに基づいて、各制御パラメータＣＴＬについて、対応点数ＣＮＴの平均値ＣＡＶを算出する（ステップＳ１２９）。具体的には、図１１の例では、平均値算出部２７は、パラメータＰ1に対応づけられたＭ個の対応点数ＣＮＴの平均値ＣＡＶ（平均値ＣＡＶ1）を算出し、パラメータＰ2に対応づけられたＭ個の対応点数ＣＮＴの平均値ＣＡＶ（平均値ＣＡＶ2）を算出し、パラメータＰ3に対応づけられたＭ個の対応点数ＣＮＴの平均値ＣＡＶ（平均値ＣＡＶ3）を算出する。パラメータＰ4～ＰNについても同様である。このようにして、平均値算出部２７は、複数の制御パラメータＣＴＬ（Ｎ個のパラメータＰ1～ＰN）にそれぞれ対応する複数の平均値ＣＡＶ（Ｎ個の平均値ＣＡＶ1～ＣＡＶN）を算出する。
In step S127, when all the control parameters CTL are set (step S127: "Y"), the average
次に、パラメータ決定部２８は、複数の制御パラメータＣＴＬにそれぞれ対応する複数の平均値ＣＡＶに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを制御パラメータＣＴＬＡとして決定する（ステップＳ１３０）。以上で、このキャリブレーション処理は終了する。
Next, the
［変形例３］
上記実施の形態では、平均値算出部２７を設け、パラメータ決定部２８は、平均値算出部２７により算出された複数の平均値ＣＡＶに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを決定するようにしたが、これに限定されるものではない。これに代えて、例えば、図１２に示す画像処理装置１Ｂのように、最頻値に基づいて、使用すべき制御パラメータＣＴＬを決定してもよい。画像処理装置１Ｂは、処理部２０Ｂを備えている。処理部２０Ｂは、画像処理制御部２４Ｂを有している。画像処理制御部２４Ｂは、最頻値算出部２７Ｂと、パラメータ決定部２８Ｂとを有している。
[Modification 3]
In the above embodiment, the average
最頻値算出部２７Ｂは、対応点数格納部２６に格納された、様々な制御パラメータＣＴＬに対応づけられた複数の対応点数ＣＮＴのうち、同じ制御パラメータＣＴＬに対応づけられた複数の対応点数ＣＮＴの最頻値ＶＡＬを算出するように構成される。具体的には、最頻値算出部２７Ｂは、複数の対応点数ＣＮＴに基づいてヒストグラムを生成し、そのヒストグラムに基づいて、複数の対応点数ＣＮＴの最頻値ＶＡＬを算出することができる。これにより、最頻値算出部２７Ｂは、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の最頻値ＶＡＬを算出するようになっている。ここで、最頻値ＶＡＬは、本開示における「代表値」の一具体例に対応する。
The
パラメータ決定部２８Ｂは、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の最頻値ＶＡＬに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを制御パラメータＣＴＬＡとして決定するように構成される。
The
［変形例４］
上記実施の形態では、画像処理制御部２４は、対応点算出部２３が算出した対応点数ＣＮＴに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを決定するようにしたが、これに限定されるものではない。これに代えて、例えば、図１３に示す画像処理装置１Ｃのように、マッチングスコアＳＣＲに基づいて、使用すべき制御パラメータＣＴＬを決定してもよい。画像処理装置１Ｃは、処理部２０Ｃを備えている。処理部２０Ｃは、視差画像生成部２２Ｃと、画像処理制御部２４Ｃを有している。
[Modification 4]
In the above embodiment, the image processing control unit 24 determines the control parameters CTL to be used after the calibration process is completed based on the number of corresponding points CNT calculated by the corresponding
視差画像生成部２２Ｃは、対応点算出部２３Ｃを有している。対応点算出部２３Ｃは、上記実施の形態に係る対応点算出部２３と同様に、左画像ＰＬ１および右画像ＰＲ１に基づいて、区分された複数のサブ領域Ｓのそれぞれを単位としてステレオマッチング処理を行うことにより、互いに対応する２つの画像点を含む対応点ＣＰを特定するように構成される。また、対応点算出部２３Ｃは、ステレオマッチング処理におけるマッチング度合いに応じたマッチングスコアＳＣＲを算出する。マッチングスコアＳＣＲは、例えば、マッチング度合いが高いほど高い値になるスコアである。対応点算出部２３Ｃは、このマッチングスコアＳＣＲを画像処理制御部２４Ｃに供給するようになっている。
The parallax
画像処理制御部２４Ｃは、マッチングスコア格納部２６Ｃと、平均値算出部２７Ｃと、パラメータ決定部２８Ｃとを有している。
The image processing control unit 24C has a matching
マッチングスコア格納部２６Ｃは、対応点算出部２３Ｃにより算出されたマッチングスコアＳＣＲを、設定制御部２５が設定した制御パラメータＣＴＬと対応づけて記憶するように構成される。
The matching
平均値算出部２７Ｃは、対応点数格納部２６に格納された、様々な制御パラメータＣＴＬに対応づけられた複数のマッチングスコアＳＣＲのうち、同じ制御パラメータＣＴＬに対応づけられた複数のマッチングスコアＳＣＲの平均値ＳＡＶを算出するように構成される。これにより、平均値算出部２７Ｃは、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の平均値ＳＡＶを算出するようになっている。ここで、マッチングスコアＳＣＲは、本開示における「評価値」の一具体例に対応する。平均値ＳＡＶは、本開示における「代表値」の一具体例に対応する。
The average
パラメータ決定部２８Ｃは、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の平均値ＳＡＶに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを制御パラメータＣＴＬＡとして決定するように構成される。
The
［変形例５］
上記実施の形態では、全ての制御パラメータＣＴＬを設定するようにしたが、これに限定されるものではない。以下に、本変形例に係る画像処理装置１Ｄについて、以下に詳細に説明する。
[Modification 5]
In the above embodiment, all the control parameters CTL are set, but the present invention is not limited to this. An image processing device 1D according to this modified example will be described in detail below.
図１４は、画像処理装置１Ｄの一構成例を表すものである。画像処理装置１Ｄは、処理部２０Ｄを備えている。処理部２０Ｄは、画像処理制御部２４Ｄを有している。画像処理制御部２４Ｄは、設定制御部２５Ｄを有している。
Figure 14 shows an example of the configuration of an image processing device 1D. The image processing device 1D has a processing unit 20D. The processing unit 20D has an image processing control unit 24D. The image processing control unit 24D has a
設定制御部２５Ｄは、キャリブレーション処理において、制御パラメータＣＴＬを順次変化させ、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の平均値ＣＡＶに基づいて、平均値ＣＡＶが最も大きくなるような制御パラメータＣＴＬを予想することにより、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを制御パラメータＣＴＬＡとして決定するように構成される。設定制御部２５Ｄは、分析部３１Ｄと、パラメータ決定部２８Ｄとを有している。
The setting
分析部３１Ｄは、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の平均値ＣＡＶに基づいて、平均値ＣＡＶが最も大きくなるような制御パラメータＣＴＬを予想するように構成される。
The
パラメータ決定部２８Ｄは、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の平均値ＣＡＶに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを制御パラメータＣＴＬＡとして決定するように構成される。
The
図１５は、処理部２０Ｄの一動作例を表すものである。例えば、設定制御部２５Ｄは、図１５に示した範囲Ｗ１において、制御パラメータＣＴＬを順次設定する。そして、設定制御部２５Ｄの分析部３１Ｄは、これらの複数の制御パラメータＣＴＬのそれぞれに対応づけられた平均値ＣＡＶに基づいて、この範囲Ｗ１の右下方向に平均値ＣＡＶが最も大きくなるような制御パラメータＣＴＬがあることを予想する。
Figure 15 shows an example of the operation of the processing unit 20D. For example, the setting
そして、設定制御部２５Ｄは、この範囲Ｗ１の右下の範囲Ｗ２において、制御パラメータＣＴＬを順次設定する。そして、設定制御部２５Ｄの分析部３１Ｄは、これらの複数の制御パラメータＣＴＬのそれぞれに対応づけられた平均値ＣＡＶに基づいて、この範囲Ｗ２の右下方向に平均値ＣＡＶが最も大きくなるような制御パラメータＣＴＬがあることを予想する。
Then, the setting
設定制御部２５Ｄは、このような処理を繰り返す。そして、設定制御部２５Ｄのパラメータ決定部２８Ｄは、複数の制御パラメータＣＴＬにそれぞれ対応づけられた複数の平均値ＣＡＶに基づいて、キャリブレーション処理が終了した後で使用すべき制御パラメータＣＴＬを制御パラメータＣＴＬＡとして決定する。
The setting
［その他の変形例］
また、これらの変形例のうちの２以上を組み合わせてもよい。
[Other Modifications]
Moreover, two or more of these modifications may be combined.
以上、実施の形態およびいくつかの変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。 The present technology has been described above using embodiments and several modified examples, but the present technology is not limited to these embodiments and can be modified in various ways.
例えば、上記実施の形態では、ステレオカメラ１１は車両１０の前方を撮像するようにしたが、これに限定されるものではなく、例えば、車両１０の側方や後方を撮像してもよい。
For example, in the above embodiment, the
なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。 Note that the effects described in this specification are merely examples and are not limiting, and other effects may also be present.
１，１Ｂ，１Ｃ，１Ｄ…画像処理装置、１１…ステレオカメラ、１１Ｌ…左カメラ、１１Ｒ…右カメラ、２０，２０Ｂ，２０Ｃ，２０Ｄ…処理部、２１…画像処理部、２２…視差画像生成部、２３…対応点算出部、２４，２４Ｂ，２４Ｃ，２４Ｄ…画像処理制御部、２５，２５Ｄ…設定制御部、２６…対応点数格納部、２６Ｃ…マッチングスコア格納部、２７，２７Ｃ…平均値算出部、２７Ｂ…最頻値算出部、２８，２８Ｂ，２８Ｃ，２８Ｄ…パラメータ決定部、３１Ｄ…分析部、ＣＡＶ，ＳＡＶ…平均値、ＣＮＴ…対応点数、ＣＴＬ，ＣＴＬＡ…制御パラメータ、ＰＤ…視差画像、Ｐ…パラメータ、ＰＩＣ…ステレオ画像、ＰＬ，ＰＬ１…左画像、ＰＲ，ＰＲ１…右画像、ＳＣＲ…マッチングスコア、Ｔ…期間、ＴＣ…キャリブレーション期間。 1, 1B, 1C, 1D... image processing device, 11... stereo camera, 11L... left camera, 11R... right camera, 20, 20B, 20C, 20D... processing unit, 21... image processing unit, 22... parallax image generation unit, 23... corresponding point calculation unit, 24, 24B, 24C, 24D... image processing control unit, 25, 25D... setting control unit, 26... corresponding point storage unit, 26C... matching score storage unit, 27, 27C... average Value calculation section, 27B...mode calculation section, 28, 28B, 28C, 28D...parameter determination section, 31D...analysis section, CAV, SAV...average value, CNT...number of corresponding points, CTL, CTLA...control parameters, PD...parallax image, P...parameters, PIC...stereo image, PL, PL1...left image, PR, PR1...right image, SCR...matching score, T...period, TC...calibration period.
Claims (9)
前記画像処理が行われた前記ステレオ画像に含まれる前記左画像および前記右画像に基づいてステレオマッチング処理を行うことにより視差画像を生成するとともに、前記左画像および前記右画像のマッチング度合いに応じた評価値を算出する視差画像生成部と、
第１の期間において、前記制御パラメータを順次変化させ、前記視差画像生成部により算出された複数の前記評価値に基づいて、前記第１の期間の後の第２の期間に使用すべき前記制御パラメータを決定する制御部と
を備え、
前記制御部は、前記第１の期間において、複数のパラメータのうちの１つを前記制御パラメータとして順次設定し、
前記画像処理部は、複数の前記ステレオ画像に対して、前記複数のパラメータのうちの設定されたパラメータに応じた前記画像処理を行い、
前記視差画像生成部は、前記画像処理が行われた前記複数のステレオ画像のそれぞれに基づいて前記評価値を算出することにより、設定された前記パラメータに対応する複数の前記評価値を算出し、
前記制御部は、設定された前記パラメータに対応する前記複数の評価値の代表値を算出し、前記代表値が最も大きくなるようなパラメータを予想することにより、前記第２の期間に使用すべき前記制御パラメータを決定する
画像処理装置。 an image processing unit that performs image processing on one or both of a left image and a right image in a stereo image having the left image and the right image in accordance with a control parameter;
a parallax image generating unit that generates a parallax image by performing a stereo matching process based on the left image and the right image included in the stereo image that has been subjected to the image processing, and calculates an evaluation value according to a matching degree between the left image and the right image;
a control unit that sequentially changes the control parameters during a first period, and determines the control parameters to be used during a second period following the first period, based on the plurality of evaluation values calculated by the parallax image generation unit ;
The control unit sequentially sets one of a plurality of parameters as the control parameter during the first period;
the image processing unit performs the image processing on the plurality of stereo images in accordance with a set parameter among the plurality of parameters,
the parallax image generating unit calculates the evaluation value based on each of the plurality of stereo images that have been subjected to the image processing, thereby calculating a plurality of the evaluation values corresponding to the set parameters;
The control unit calculates a representative value of the plurality of evaluation values corresponding to the set parameter, and predicts a parameter that will maximize the representative value, thereby determining the control parameter to be used in the second period.
Image processing device.
前記評価値は、前記ステレオ画像における前記対応点の数である
請求項１に記載の画像処理装置。 the parallax image generating unit generates the parallax image by performing a search process to search for corresponding points including left image points in the left image and right image points in the right image that correspond to each other;
The image processing device according to claim 1 , wherein the evaluation value is the number of the corresponding points in the stereo images.
前記制御部は、前記複数のパラメータのそれぞれについて、前記複数の評価値の前記代表値を算出する
請求項１または請求項２に記載の画像処理装置。 The control unit sequentially sets one of the plurality of parameters as the control parameter in each of a plurality of sub-periods included in the first period ;
The control unit calculates the representative value of the plurality of evaluation values for each of the plurality of parameters.
3. The image processing device according to claim 1 or 2 .
前記第１の期間に含まれる複数のサブ期間のそれぞれにおいて、前記複数のサブ期間の間でパラメータが異なるように、前記複数のパラメータのうちの１つを前記制御パラメータとして設定し、
前記制御部は、前記複数のパラメータのそれぞれについて、前記複数の評価値の前記代表値を算出する
請求項１または請求項２に記載の画像処理装置。 The control unit is
setting one of the plurality of parameters as the control parameter in each of a plurality of sub-periods included in the first period such that the parameter differs between the plurality of sub-periods ;
The control unit calculates the representative value of the plurality of evaluation values for each of the plurality of parameters.
3. The image processing device according to claim 1 or 2 .
請求項１から請求項４のいずれか一項に記載の画像処理装置。 The representative value is an average value of the plurality of evaluation values corresponding to the set parameter.
The image processing device according to claim 1 .
請求項１から請求項４のいずれか一項に記載の画像処理装置。 The representative value is the most frequent value of the plurality of evaluation values corresponding to the set parameter.
The image processing device according to claim 1 .
請求項１から請求項６のいずれか一項に記載の画像処理装置。 The image processing device according to claim 1 , wherein the image processing includes a process of moving the image in a vertical direction.
請求項１から請求項６のいずれか一項に記載の画像処理装置。 The image processing device according to claim 1 , wherein the image processing includes a process of rotating an image.
前記画像処理が行われた前記ステレオ画像に含まれる前記左画像および前記右画像に基づいてステレオマッチング処理を行うことにより視差画像を生成することと、
前記ステレオマッチング処理において、前記左画像および前記右画像のマッチング度合いに応じた評価値を算出することと、
第１の期間において、前記制御パラメータを順次変化させることと、
複数の前記評価値に基づいて、前記第１の期間の後の第２の期間に使用すべき前記制御パラメータを決定することと
を含み、
前記制御パラメータを決定する際、前記第１の期間において、複数のパラメータのうちの１つを前記制御パラメータとして順次設定し、複数の前記ステレオ画像に対して、前記複数のパラメータのうちの設定されたパラメータに応じた前記画像処理を行い、前記画像処理が行われた前記複数のステレオ画像のそれぞれに基づいて前記評価値を算出することにより、設定された前記パラメータに対応する複数の前記評価値を算出し、設定された前記パラメータに対応する前記複数の評価値の代表値を算出し、前記代表値が最も大きくなるようなパラメータを予想することにより、前記第２の期間に使用すべき前記制御パラメータを決定する
画像処理方法。 performing image processing on one or both of a left image and a right image in a stereo image having a left image and a right image in accordance with a control parameter;
generating a parallax image by performing stereo matching processing based on the left image and the right image included in the stereo image subjected to the image processing;
calculating an evaluation value according to a degree of matching between the left image and the right image in the stereo matching process;
sequentially varying the control parameters during a first period;
determining the control parameters to be used in a second time period after the first time period based on a plurality of the evaluation values ;
When determining the control parameter, in the first period, one of a plurality of parameters is sequentially set as the control parameter, the image processing is performed on a plurality of the stereo images according to the set parameter among the plurality of parameters, and the evaluation value is calculated based on each of the plurality of the stereo images subjected to the image processing, thereby calculating the plurality of evaluation values corresponding to the set parameter, calculating a representative value of the plurality of evaluation values corresponding to the set parameter, and predicting the parameter that will maximize the representative value, thereby determining the control parameter to be used in the second period.
Image processing methods.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020027050A JP7465671B2 (en) | 2020-02-20 | 2020-02-20 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020027050A JP7465671B2 (en) | 2020-02-20 | 2020-02-20 | Image processing device and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021131750A JP2021131750A (en) | 2021-09-09 |
| JP7465671B2 true JP7465671B2 (en) | 2024-04-11 |
Family
ID=77551075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020027050A Active JP7465671B2 (en) | 2020-02-20 | 2020-02-20 | Image processing device and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7465671B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7394934B1 (en) | 2022-08-16 | 2023-12-08 | 株式会社デンソーテン | Information processing device, information processing method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004063991A1 (en) | 2003-01-14 | 2004-07-29 | The Circle For The Promotion Of Science And Engineering | Multi-parameter highly-accurate simultaneous estimation method in image sub-pixel matching and multi-parameter highly-accurate simultaneous estimation program |
| JP2012177676A (en) | 2011-01-31 | 2012-09-13 | Sony Corp | Information processor and method, and program |
| JP2018105682A (en) | 2016-12-26 | 2018-07-05 | 日立オートモティブシステムズ株式会社 | Stereo camera |
| JP2020012735A (en) | 2018-07-18 | 2020-01-23 | 日立オートモティブシステムズ株式会社 | On-vehicle environment recognition device |
-
2020
- 2020-02-20 JP JP2020027050A patent/JP7465671B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004063991A1 (en) | 2003-01-14 | 2004-07-29 | The Circle For The Promotion Of Science And Engineering | Multi-parameter highly-accurate simultaneous estimation method in image sub-pixel matching and multi-parameter highly-accurate simultaneous estimation program |
| JP2012177676A (en) | 2011-01-31 | 2012-09-13 | Sony Corp | Information processor and method, and program |
| JP2018105682A (en) | 2016-12-26 | 2018-07-05 | 日立オートモティブシステムズ株式会社 | Stereo camera |
| JP2020012735A (en) | 2018-07-18 | 2020-01-23 | 日立オートモティブシステムズ株式会社 | On-vehicle environment recognition device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021131750A (en) | 2021-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6910973B2 (en) | Vehicle control device, its control method, and vehicle control system | |
| US10839248B2 (en) | Information acquisition apparatus and information acquisition method | |
| CN102959600B (en) | Device for estimating vehicle travel path | |
| JP6720510B2 (en) | Mobile system | |
| EP3113150B1 (en) | Local location computation device and local location computation method | |
| US9772627B2 (en) | Self-position calculating apparatus and self-position calculating method | |
| JP6176387B2 (en) | Self-position calculation device and self-position calculation method | |
| WO2015125297A1 (en) | Local location computation device and local location computation method | |
| JP6936098B2 (en) | Object estimation device | |
| CN103303198A (en) | Vehicle circumference monitor device | |
| KR20190084594A (en) | Apparatus and method tracking object based on 3 dimension images | |
| JP7041172B2 (en) | 3D visual system for automobiles and how to control 3D visual system | |
| JP2008304248A (en) | Method for calibrating on-board stereo camera, on-board distance image generating apparatus, and program | |
| JP7465671B2 (en) | Image processing device and image processing method | |
| JP2006011570A (en) | Camera calibration method and camera calibration device | |
| JP6635621B2 (en) | Automotive vision system and method of controlling the vision system | |
| JP7145770B2 (en) | Inter-Vehicle Distance Measuring Device, Error Model Generating Device, Learning Model Generating Device, Methods and Programs Therefor | |
| CN111989541B (en) | Stereo camera device | |
| WO2020110435A1 (en) | External environment recognition device | |
| JP2017112566A (en) | Parameter identification device | |
| US20220318960A1 (en) | Image processing apparatus, image processing method, vehicle control apparatus, and storage medium | |
| JP2019059274A (en) | Vehicular control device and method for controlling vehicle | |
| WO2020153384A1 (en) | Calibration auxiliary device for mobile body-mounted camera, and mobile body-mounted camera calibration system | |
| JP7358593B1 (en) | In-vehicle device, operation method of in-vehicle device, and program | |
| JP7291505B2 (en) | External environment detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240401 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7465671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |