JP7284246B2

JP7284246B2 - 撮像装置

Info

Publication number: JP7284246B2
Application number: JP2021208149A
Authority: JP
Inventors: 祐基今任
Original assignee: Lapis Semiconductor Co Ltd
Current assignee: Lapis Semiconductor Co Ltd
Priority date: 2017-07-24
Filing date: 2021-12-22
Publication date: 2023-05-30
Anticipated expiration: 2037-07-24
Also published as: JP2022058389A

Description

本発明は、撮像装置に関する。

車載カメラ等の撮像装置では、カメラの実際の取り付け位置と所望の取り付け位置とのずれに応じて、撮像角度及び撮像方向の補正が行われる。例えば、車載カメラを撮像する外部カメラを設け、外部カメラにより撮像された車載カメラの画像に基づいて並進誤差を補正する並進誤差補正手段を有する車載カメラ姿勢補正装置が提案されている（例えば、特許文献１）。

角度補正処理における角度（例えば、水平角度）の検出は、期待値映像と映像内の対象とを比較してその差分から角度を検出したり、大規模なソフト処理で画像認識を行い、映像内の対象物との関係を算出したりすることにより行われる。

特開２００６－２８７７８９号公報

映像内の対象とのマッチングをとる方法では、距離が遠いとカメラ映像とのずれが大きくなり、マッチングがし辛くなるという問題があった。また、大規模なソフト処理を行う場合、複雑な回路が必要となり、ハード実装に向かないという問題があった。

本発明は上記問題点に鑑みてなされたものであり、簡易な構成で高精度にカメラの水平角度を検出することが可能な撮像装置を提供することを目的とする。

本発明に係る撮像装置は、所定の被写体を撮影して画像データを得る撮像部と、前記画像データに基づく表示画像を、表示面上において段階的に回転させる画像回転部と、段階的に回転された前記表示画像の各々について、前記表示面内の走査線の各々における特定色の画素数に基づいて前記撮像部の撮影角度の水平方向を判定する判定部と、を有し、前記画像回転部は、当該段階的な回転において、第１の初期角度分だけ前記表示画像を回転させて第１の回転範囲の始点とし、続けて所定角度ずつ前記表示画像を回転させることにより、前記第１の回転範囲の終点まで前記表示画像を回転させることを特徴とする。

本発明に係る撮像装置によれば、簡易な構成で高精度にカメラの水平角度を検出することが可能となる。

本実施例の撮像装置の構成を示すブロック図である。被写体Ｘの例を模式的に示す図である。平均化回路の構成を示すブロック図である。カウント値に基づく水平角度の検出の例を示す図である。水平検出処理の処理動作を示すフローチャートである。特定色の指定を模式的に示す図である。

以下、本発明の実施例について、図面を参照して説明する。なお、以下の実施例における説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

図１は、本実施例の撮像装置１０の概略構成を示すブロック図である。撮像装置１０は、カメラ１１と、ＡＤＣ（Analog Digital Converter）１２、回転部１３及びカウンタ１４からなる画像処理部１６と、平均化回路１７と、計算部１８と、から構成される。撮像装置１０は、被写体Ｘを撮像して得た画像データに基づいて、カメラ１１の水平方向の角度の検出（以下、水平検出）を行う。なお、以下の説明では、静止画像及び動画像（映像）を含めて単に「画像」と称する。

カメラ１１は、例えば自動車等の車両に搭載される車載カメラであり、車両周辺の画像を取得するべく所定の取り付け位置に固定されている。カメラ１１は、被写体Ｘを撮像して得たアナログの画像信号ＶＳをＡＤＣ１２に供給する。

被写体Ｘは、水平検出を行うためにカメラ１１の撮像範囲に設置される水平検出用の被写体である。例えば、図２（ａ）に示すように水平方向に長い同一色の領域を有する被写体（Ｘ１）や、図２（ｂ）に示すように水平方向に一定の間隔で設けられた同一色の領域を有する被写体（Ｘ２）が、被写体Ｘとして選択される。

再び図１を参照すると、ＡＤＣ１２は、カメラ１１から供給されたアナログの画像信号ＶＳをデジタルデータに変換し、画像データＶＤとして回転部１３に供給する。

回転部１３は、画像データＶＤに基づく画像を表示平面（図示せず）上に表示させた場合の表示画像を回転させる画像回転部である。回転部１３は、計算部１８の制御に応じて所定角度ずつ段階的に表示画像を回転させる。

カウンタ１４は、回転部１３が回転させた表示画像について、表示平面上の走査ラインに沿って特定色の画素数をカウントする。カウンタ１４は、表示画像の複数の走査ラインの各々について画素数のカウントを行い、走査ライン毎の画素数のうち１フレーム内における最大値をカウント値として取得する。

また、カウンタ１４は、複数の走査ラインの画素数の系列からノイズ成分を除去するためのフィルタ１５を有する。フィルタ１５は、例えばローパスフィルタから構成されており、フィルタ１５を通過することにより、画素数の急激な変化を示す高周波成分がノイズ成分として除去される。カウンタ１４は、ノイズ成分が除去された画素数の系列から、上記の最大値（走査ライン毎の画素数のうち１フレーム内における最大値）をカウント値として取得する。

なお、カウンタ１４におけるカウントの対象となる特定色の設定は、外部から供給された色設定信号ＣＳに基づいて行う。また、回転部１３による所定角度の回転の時間間隔は、カウンタ１４が表示画像の１フレーム分のカウントを完了するまでの時間に対応している。以下の説明では、回転部１３による所定角度の回転の時間間隔を１フレーム周期と称する。

平均化回路１７は、カウンタ１４から出力されたカウント値の複数フレーム分（例えば、３フレーム分）の平均値を算出する回路である。平均化回路１７は、例えば図３に示すように、遅延回路２１、遅延回路２２、及び平均算出回路２３から構成される。

遅延回路２１及び遅延回路２２は、夫々入力されたカウント値を１フレーム周期分遅延させて出力する遅延回路である。遅延回路２１は、例えばカウンタ１４からカウント値ＣＶ１が出力されたとすると、これを１フレーム周期分遅延させたカウント値ＣＶ２を出力し、遅延回路２２及び平均算出回路２３に供給する。遅延回路２２は、カウント値ＣＶ２を１フレーム周期分遅延させたカウント値ＣＶ３を出力し、平均算出回路２３に供給する。平均算出回路２３は、３フレーム周期分のカウント値ＣＶ１～ＣＶ３の平均値を算出し、平均のカウント値ＣＶ（以下、単にカウント値ＣＶと称する）として出力する。

再び図１を参照すると、計算部１８は、回転部１３による回転角度とカウント値ＣＶとに基づいて、カメラ１１の水平角度を検出する。

計算部１８は、例えば図４に示すように、仮に被写体Ｘにおける特定色の画素数を水平方向にカウントした場合に想定されるカウント値の８０％の値を閾値として、カウント値ＣＶと閾値とを比較する。そして、計算部１８は、カウント値ＣＶが閾値未満から閾値以上に変化する角度ＢＡ１、及びカウント値ＣＶが閾値以上から閾値未満に変化する角度ＢＡ２を検出し、角度ＢＡ１及びＢＡ２の平均値を算出することにより、水平角度ＨＡを検出する（すなわち、水平角度ＨＡ＝（閾値を上回った角度ＢＡ１＋閾値を下回った角度ＢＡ２）／２）。

次に、本実施例の撮像装置１０における水平検出処理の動作について、図５のフローチャートを参照して説明する。

撮像装置１０は、水平方向として想定される方向に同一色の領域が延在若しくは一定間隔で存在する被写体Ｘがカメラ１１の撮像範囲内に配置された状態で処理を開始する。

まず、カウンタ１４は外部から供給された色設定信号ＣＳに基づいて、画素数のカウントの対象となる特定色の設定を行う（ステップＳ１０１）。特定色は、被写体Ｘの色に基づいて指定される。

図６（ａ）及び（ｂ）は、特定色の指定方法を模式的に示す図である。本実施例の撮像装置１０では、ＹＣｂＣｒ方式に基づいて特定色の指定を行う。

まず、図６（ａ）に示すように青の色差ＣｂをＸ方向（横軸）、赤の色差ＣｒをＹ方向（縦軸）とした色差平面上で、被写体Ｘの色に基づいて色角度θを指定する。

そして、図６（ｂ）に示すように、指定された色角度θを基準として傾きの範囲及び濃さを決定することにより、特定色の範囲を指定する。例えば、色角度θに応じて色差平面を傾けた平面上において、ｙ方向（図中、ＧＲＡＤとして示す）が傾きの範囲、ｘ方向（図中、ＤＥＥＰとして示す）が濃さの範囲を示している。例えば、ｙ＝ＡＴＣ＿ＧＲＡＤ×ｘ及びｙ＝－ＡＴＣ＿ＧＲＡＤ×ｘにより、その間の範囲が傾きの範囲として指定される。また、ｘ＝ｄｘ以上の範囲が指定され、濃さが所定以上である領域（ｘ＝ｄｘ未満の領域）が範囲から除外される。これにより、図６（ｂ）に斜線で示す領域が特定色の範囲として指定される。

再び図５を参照すると、計算部１８は、回転部１３による回転の初期角度及び回転範囲を設定する（ステップＳ１０２）。例えば、－３°が初期角度として設定され、－３°から３°までが回転範囲として設定される。

回転部１３は、計算部１８の制御に応じて、画像データＶＤに基づく表示画像を回転させる（ステップＳ１０３）。例えば、回転部１３は、最初の回転では初期角度（－３°）分の回転を行い、２度目以降の回転では所定角度（例えば、０．３°）の回転を行う。

カウンタ１４は、回転部１３により回転された表示画像に対し、表示平面の走査ライン方向における特定色の画素数をカウントする。カウンタ１４は、表示画像の１フレーム分、すなわち全走査ラインについて走査ライン毎に画素数のカウントを行い、その中の最大値（ノイズ成分を取り除いたうちの最大値）をカウント値として取得する（ステップＳ１０４）。

計算部１８は、カウンタ１４から平均化回路１７を介してカウント値ＣＶを取得し、カウント値ＣＶと閾値とを比較する（ステップＳ１０５）。計算部１８は、比較結果をメモリ（図示せず）等の記憶手段に一時的に記憶させる。

計算部１８は、ステップＳ１０２で設定した回転範囲の最後まで表示画像の回転が完了したか否かを判定する（ステップＳ１０６）。回転が完了していないと判定すると（ステップＳ１０６：Ｎｏ）、ステップＳ１０３～Ｓ１０５の処理、すなわち回転部１３による表示画像の回転、カウンタ１４によるカウント値の取得、及び計算部１８によるカウント値と閾値との比較の処理を繰り返す。

一方、回転が完了したと判定すると（ステップＳ１０６：Ｙｅｓ）、カウント値と閾値との境界部分である２つの角度、すなわち閾値未満から閾値以上に変化した角度ＢＡ１及び閾値以上から閾値未満に変化した角度ＢＡ２を検出したか否かを判定する（ステップＳ１０７）。

閾値との境界部分である２つの角度を検出しなかったと判定すると（ステップＳ１０７：Ｎｏ）、計算部１８は、ステップＳ１０２に戻って、初期角度及び回転範囲を再設定する。例えば、初期角度が－３°、回転範囲が－３°～３°で境界部分の角度が検出されなかった場合、計算部１８は、初期角度を－５°、回転範囲を－５°～５°に再設定する。再設定後、ステップＳ１０３～Ｓ１０７の処理を繰り返す。

一方、閾値との境界部分である２つの角度を検出したと判定すると（ステップＳ１０７：Ｙｅｓ）、計算部１８は、当該境界部分の角度（角度ＢＡ１及びＢＡ２）に基づいて水平角度ＨＡを算出し（ステップＳ１０８）、処理を終了する。

以上のように、本実施例の撮像装置１０では、被写体Ｘを撮影して得た表示画像を段階的に回転させつつ特定色の画素数を走査線方向に沿ってカウントし、カウント値と閾値とを比較してカメラ１１の水平方向を検出する。

本実施例の撮像装置１０によれば、特定色の画素数をカウントするカウンタ１４やカウント値と閾値とを比較する計算部１８等からなる簡易な構成で、カメラ１１の水平方向を検出することができる。

また、カウンタ１４がフィルタ１５を有することにより、瞬間的な環境ノイズが低減された状態でカウント値を取得することができ、精度の高い水平方向の検出を行うことができる。

また、色差ＣｂＣｒの色角度、傾き及び濃さを用いて特定色の設定を行っているため、明るさに関わらず特定色の設定を行うことができ、被写体の環境やカメラの種類に応じた誤差を吸収することができる。

なお、本発明は上記実施形態に限定されない。例えば、上記実施例では、フィルタ１５がローパスフィルタから構成されている場合について説明した。しかし、フィルタ１５はノイズ成分を除去することが可能に構成されていれば良く、例えばバンドパスフィルタやハイパスフィルタであっても良い。

また、上記実施例では、平均化回路１７が遅延回路２１、遅延回路２２及び平均算出回路２３から構成されている場合について説明した。しかし、平均化回路１７の構成はこれに限られず、複数フレーム分のカウント値の平均を算出することが可能な構成であれば良い。

また、上記実施例では、水平である場合に想定されるカウント値の８０％を閾値とし、カウント値ＣＶが閾値を上回った角度と下回った角度との平均を算出することにより水平角度を算出する例について説明した。しかし、閾値の選択及び水平角度の算出方法はこれに限られず、計算部１８は、カウント値ＣＶと所定の閾値との比較により水平角度を算出するものであれば良い。

また、上記実施例では、初期角度及び回転範囲を設定して回転を行った後、閾値との境界部分である２つの角度（閾値未満から閾値以上に変化した角度及び閾値以上から閾値未満に変化した角度）が検出されたか否かを判定し、検出されなかった場合には再び初期角度及び回転範囲を設定して回転を行う例について説明した。しかし、最初に設定された回転範囲内で閾値との境界部分である２つの角度が検出されなかった場合、回転範囲を再設定することなく、当該角度が検出されるまで当初の回転範囲を超えてさらに回転を行う構成であっても良い。すなわち、閾値との境界部分である２つの角度を検出するまで回転を行うように計算部１８が回転部１３を制御する構成であれば良い。

１０撮像装置
１１カメラ
１２ＡＤＣ
１３回転部
１４カウンタ
１５フィルタ
１６画像処理部
１７平均化回路
１８計算部
２１，２２遅延回路
２３平均算出回路

Claims

所定の被写体を撮影して画像データを得る撮像部と、
前記画像データに基づく表示画像を、表示面上において段階的に回転させる画像回転部と、
段階的に回転された前記表示画像の各々について、前記表示面内の走査線の各々における特定色の画素数に基づいて前記撮像部の撮影角度の水平方向を判定する判定部と、
を有し、
前記画像回転部は、当該段階的な回転において、第１の初期角度分だけ前記表示画像を回転させて第１の回転範囲の始点とし、続けて所定角度ずつ前記表示画像を回転させることにより、前記第１の回転範囲の終点まで前記表示画像を回転させることを特徴とする撮像装置。
前記判定部は、段階的に回転された前記表示画像の各々について、前記特定色の画素数をカウントしたカウント値を閾値と比較して前記撮像部の撮影角度の水平方向を判定することを特徴とする請求項１に記載の撮像装置。
前記判定部は、前記第１の回転範囲における前記表示画像の回転角度の各々において、前記カウント値が前記閾値未満から前記閾値以上に変化する第１の角度及び前記カウント値が前記閾値以上から前記閾値未満に変化する第２の角度を検出し、前記第１の角度及び前記第２の角度に基づいて前記撮像部の撮影角度の水平方向を判定し、
前記画像回転部は、前記判定部が前記第１の回転範囲において前記第１の角度及び前記第２の角度を検出できない場合、第２の初期角度分だけ前記表示画像を回転させて第２の回転範囲の始点とし、続けて所定角度ずつ前記表示画像を回転させることにより、前記第２の回転範囲の終点まで前記表示画像を回転させることを特徴とする請求項２に記載の撮像装置。