JP4725821B2 - ターゲット位置特定装置 - Google Patents
ターゲット位置特定装置 Download PDFInfo
- Publication number
- JP4725821B2 JP4725821B2 JP2010523826A JP2010523826A JP4725821B2 JP 4725821 B2 JP4725821 B2 JP 4725821B2 JP 2010523826 A JP2010523826 A JP 2010523826A JP 2010523826 A JP2010523826 A JP 2010523826A JP 4725821 B2 JP4725821 B2 JP 4725821B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- target
- value
- target position
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Description
本発明は、第1色と第2色との組み合わせからなるターゲットの撮影画像データを画像処理することにより、ターゲットの撮影画像上での位置を特定するターゲット位置特定装置に関する。
近年、車両の運転者が車両の側方や後方などの情景を車内のモニタを介して視認できるようにカメラが搭載された車両が増加している。さらに、このカメラの撮影画像を利用して画像処理などを行い、駐車などの運転を支援する装置も開発されている。特に、車両の位置決めなどに利用される情報を作り出すためのベースとなる撮影画像を取り込むカメラに関しては、光軸調整などの較正が高い精度で要求される。上記ターゲット位置特定装置は、そのような車載カメラの較正処理のために用いられる。例えば、カメラの視野内の2箇所に配置された白黒の市松模様のパターンを有するマーカ(ターゲット)を車載カメラで撮影し、画像処理を通じてマーカの中心点(較正点)を検出し、車載カメラを較正する技術が知られている(例えば、特許文献1参照)。この技術では白黒の市松模様の中心点を正確に検出する必要があるが、照明光や太陽光の状態によっては白黒領域のエッジ検出精度が不安定になり、マーカの中心点の検出精度が低下するという問題がある。
また、原稿の位置合わせのために予め原稿に記入されたターゲットの位置を正確に検出するというイメージスキャナの技術分野において、赤と青と緑の同心円パターンからなるターゲットの撮影画像信号を色差信号に変換し、色差信号を用いてターゲットの位置検出を行う映像信号処理装置が知られている(例えば、特許文献2参照)。この技術では色差信号をターゲットの検出に用いるので、ターゲットの撮影画像信号に予め決められているターゲットパターンの色情報(色差成分)が十分に保持されていることが、正確な位置検出の前提条件となる。イメージスキャナでは、外乱光の影響が無視することができるので、ターゲットの撮影画像信号に正確な色差成分が保持されるとみなすことができる。これに対して、車載カメラによるターゲット撮影などでは、ターゲットを環境光の影響下で撮影することになり、単純に、色差信号を用いるだけで正確なターゲットの位置検出は困難である。また、ターゲットの模様に類似したものをカメラ視野内に置いてしまった場合などでも誤認識してしまい、これを防ぐためには作業場の管理がわずらわしくなる。
上記実状に鑑み、本発明の目的は、複数の色の組み合わせパターンからなるターゲットを環境光の影響下で撮影して得られた撮影画像データからでもターゲットの正確な検出と位置算定が可能となるターゲット位置特定装置を提供することである。
上記目的を達成するため、本発明に係るターゲット位置特定装置の特徴構成は、第1色と第2色との組み合わせからなるターゲットを環境光の影響下で撮影することによって得られた撮影画像の画素値を処理して第1の色成分値と第2の色成分値と輝度値とを生成する色差変換部と、前記撮影画像の輝度または前記輝度値に応じて前記撮影画像毎に判定条件として設定された閾値を、前記第1の色成分値が上回るか否かに基づいて前記第1色の領域を判定し、前記閾値を、前記第2の色成分値が上回るか否かに基づいて前記第2色の領域を判定する色領域判定部と、前記色領域判定部による判定結果に基づいて前記ターゲットにおける前記第1色と前記第2色との境界を検出する境界検出部と、前記境界検出部による境界検出結果に基づいて前記ターゲットの前記撮影画像上での位置を算定するターゲット位置算定部とを備えていることである。
この特徴構成では、ターゲットを撮影することによって得られた撮影画像データは第1の色成分値と第2の色成分値と輝度値とからなる色差情報に変換されるが、得られた第1の色成分値と第2の色成分値とから単純にターゲットの第1色の領域と第2色の領域を判定するのではない。ターゲットの第1色または第2色の領域を判定するために、撮影画像それ自体の輝度または色差情報に含まれる輝度値に基づいて設定される判定条件が使用される。なお、撮影画像がRGB表色系なら、その輝度を簡単に求めるには、単にR・G・B値を加算して3で割るだけでもよい。例えば、薄暗い環境下で撮影して得られたターゲット画像では全体の輝度または色差情報の輝度値が低下するとともにターゲットを構成する色成分は無彩色側に移行する。このことを考慮して、本発明では、特定色の検出判定に用いられる判定条件が、撮影画像それ自体の輝度または色差情報に含まれる輝度値に基づいて設定される。これにより、ターゲットを照明する環境光が変動しても、安定したターゲットを構成する第1色領域と第2色領域との検出及びそれらの領域の境界検出に基づくターゲット位置の算定が実現する。このようにすることで、カメラ視野内に類似の色の組み合わせが存在しないように注意さえすればよいという点で誤認識に対する作業場の管理が容易となる。
また、本発明に係るターゲット位置特定装置における特徴構成として、前記第1色が青色で、前記第2色が赤色で、前記輝度値と前記第1の色成分値と前記第2の色成分値とがそれぞれYCbCr表色系におけるY値とCb値とCr値とすることも好適である。Cb値(青成分)とCr値(赤成分)は対極関係にあることから、Cb値とCr値の差分から正確に青判定と赤判定を行うことも可能となる。また、YCbCr表色系はテレビ放送等のビデオ信号として用いられており、その処理系デバイスを安価かつ容易に入手することができる。また、青色と赤色で組み合わされたターゲットは人間にとっても視覚的に認識しやすく、好都合である。
また、本発明に係るターゲット位置特定装置における特徴構成として、前記判定条件は前記撮影画像の輝度または前記輝度値に応じて変動し、前記撮影画像の輝度または前記輝度値が大きくなると、前記撮影画像の画素が前記色領域のいずれかに属すると判定するための色成分値の範囲が狭められるように構成することも好適である。撮影画像の輝度または輝度値が大きいということは、ターゲットの照明光量が多いということであり、それぞれの色差成分の差が大きくなるが、同時にノイズ成分も大きくなる可能性がある。従って、判定条件を厳しくすることで、つまり撮影画像の画素が前記色領域のいずれかに属すると判定するための色成分値の範囲が狭められるようにすることで、ノイズを除外することができる。逆に、撮影画像の輝度または輝度値が小さいということは、ターゲットの照明光量が少ないということであり、それぞれの色差成分の差が小さくなるが、同時にノイズ成分も小さくなる可能性がある。従って、判定条件を緩くすることで、つまり撮影画像の画素が前記色領域のいずれかに属すると判定するための色成分値の範囲が広げられることで、より安定した特定色の検出が可能となる。
この判定条件の好適な具体例の1つとして、本発明では特定色検出閾値:THが提案される。さらに、この特定色検出閾値:THは、次式によって求められる、
TH=VA_avg + K×(VH_avg−VA_avg)
ここで、VA_avg:前記撮影画像における全画素の判定対象となる色成分値の平均値、VH_avg:前記撮影画像における全画素のうち判定対象となる色成分値が上位レベルに属する画素の色成分値の上位レベルの平均値、K:前もって設定された一定値である。なお、色成分値が上位レベルに属する画素の具体例としては、たとえばその色成分値が上から所定順位までの画素であり、最大色成分値の所定%内に入る色成分値を有する画素である。あるいは、色成分値のヒストグラムから上位レベルの範囲を設定し、この範囲に入る画素を成分値が上位レベルに属する画素としてもよい。このようにして算定された閾値:THは、撮影画像における輝度レベルが高いと大きくなり(判定条件が厳しくなる)、輝度が低いと小さくなる(判定条件は緩くなる)。
TH=VA_avg + K×(VH_avg−VA_avg)
ここで、VA_avg:前記撮影画像における全画素の判定対象となる色成分値の平均値、VH_avg:前記撮影画像における全画素のうち判定対象となる色成分値が上位レベルに属する画素の色成分値の上位レベルの平均値、K:前もって設定された一定値である。なお、色成分値が上位レベルに属する画素の具体例としては、たとえばその色成分値が上から所定順位までの画素であり、最大色成分値の所定%内に入る色成分値を有する画素である。あるいは、色成分値のヒストグラムから上位レベルの範囲を設定し、この範囲に入る画素を成分値が上位レベルに属する画素としてもよい。このようにして算定された閾値:THは、撮影画像における輝度レベルが高いと大きくなり(判定条件が厳しくなる)、輝度が低いと小さくなる(判定条件は緩くなる)。
また、本発明に係るターゲット位置特定装置における特徴構成として、前記ターゲットを市松模様で形成することも好適である。市松模様は少なくとも2つの異なる色を有する矩形面の繰り返しパターンによって作り出されるものである。従って、市松模様として撮影画像での前記異なる色のための画素値が著しく異なる色を選択することにより、そのパターン配置が簡単な画像処理を通じて検出しやすくなり、その検出信頼性が向上する。特に、異なる色同士の境界は簡単なエッジ検出技術によって検出可能であるので、前記市松模様の異なる色領域を境界付けている2本の方向の異なる境界線の交点の座標を前記ターゲット位置として利用すると好適である。これにより、1点がターゲット位置として算定されるので、精度の高いターゲット位置特定が実現する。その際、前記ターゲットの位置座標が既知であれば、撮影画面上でのカメラとの位置関係が、算定できるので、ターゲットの配置は任意に配置することができる。
また、本発明に係るターゲット位置特定装置における特徴構成として、前記ターゲットの表面がつや消し処理されていることも好適である。これにより、照明光等の反射に基づく撮影画像上の外乱を抑制することができる。
上述した本発明のターゲット位置特定装置の好適な適用形態の1つは、車両に搭載されたカメラの取付位置の較正である。つまり、前記撮影画像として車両に搭載されたカメラによって撮影されたものが用いられ、前記ターゲット位置算定部によって算定された前記ターゲットの前記撮影画像上での位置からカメラの取付位置の評価が行われる。そのような適用例において、ターゲットは車両が走行する路面に塗装等により配置されるのが好適である。しかしながら、そのような場合車両の車輪によってターゲットが踏みつけられる可能性があり、ターゲットの識別特性が劣化する可能性がある。この問題を抑制するために、前記ターゲットとして前記車両の左右方向に並んだ2つのターゲットが用意された場合、前記車両の左右車輪が前記2つのターゲットを跨げるように前記車両のトレッド幅よりも狭い間隔で配置される方策、または前記2つのターゲットの間を前記車両が通過できるように前記2つのターゲットは記車両のトレッド幅よりも広い間隔で配置される方策を採用することが提案される。このような方策により、車両の左右車輪がターゲットを踏みつける可能性が少なくなるからである。
以下、本発明の実施形態を図面に基づいて説明する。
図1は、較正用のターゲット2(較正指標)と車両1との配置関係の一例を示す説明図である。カメラ11(車載カメラ)は、車両1の後方のナンバープレートの上方に車体長手軸心から側方へオフセットした位置で、カメラ光軸を下方(例えば水平から30°下方)に向けて設置される。なお、この図示例では、車体長手軸心とカメラ光軸とは平行ではない。カメラ11は、例えば水平方向の視野角110〜120°の広角カメラであり、後方約8m程度までの領域を撮影可能である。このカメラ11は、車両の生産工場等で車両1に取り付けられる際に取り付け誤差を吸収するべく較正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ11のずれを修正するべく較正される。以下、自動車生産工場におけるカメラ較正のためのカメラ取付精度の判定作業を例として説明する。
図1は、較正用のターゲット2(較正指標)と車両1との配置関係の一例を示す説明図である。カメラ11(車載カメラ)は、車両1の後方のナンバープレートの上方に車体長手軸心から側方へオフセットした位置で、カメラ光軸を下方(例えば水平から30°下方)に向けて設置される。なお、この図示例では、車体長手軸心とカメラ光軸とは平行ではない。カメラ11は、例えば水平方向の視野角110〜120°の広角カメラであり、後方約8m程度までの領域を撮影可能である。このカメラ11は、車両の生産工場等で車両1に取り付けられる際に取り付け誤差を吸収するべく較正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ11のずれを修正するべく較正される。以下、自動車生産工場におけるカメラ較正のためのカメラ取付精度の判定作業を例として説明する。
図1に示すように、カメラ11の較正は、車両1を所定位置に停車させた状態で行われる。例えば、車両1をバックまたは前進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図1に示す例では、2つのターゲット2(2a、2b)が床面上に配置されている。図から明らかなように、2つのターゲット2a、2bの間隔は車両1のトレッド幅に比べて狭く、ターゲット2が車両1の車輪によって踏まれにくい配置となっている。この配置とは逆に、2つのターゲット2a、2bの間隔を車両1のトレッド幅に比べて広くとって、ターゲット2が車両1の車輪によって踏まれにくい配置を採用してもよい。
図1において、車両1は、後端部中央の床面がワールド座標系(基準座標系、XW,YW,ZW)の原点OWとなるように停車されている。ここでは、カメラ11の光学中心OCを中心とするカメラ座標系(XC,YC,ZC)は、ワールド座標系に対して各軸が平行とはなっていない。ワールド座標系、カメラ座標系共に右手系の座標系であり、図中では、紙面に対して鉛直方向のXW軸、及びほぼ鉛直方向のXC軸は図示していない。ワールド座標系とカメラ座標系との間の座標変換は良く知られた演算法を用いて行うことができる。
ターゲット2は、カメラ11の視野範囲内において少なくとも2箇所に配置される。また、ターゲット2は、ワールド座標系においてその座標が既知となるように配置される。本例において、ターゲット2は、図2に示すように青と赤の市松模様のパターンを有している。パターン中央の点Qが較正点であり、カメラ11の較正の基準となる。つまり、この較正点Qの座標がワールド座標系においてその座標が既知となるように、ターゲット2は配置されている。尚、ここでは青の矩形2個、赤の矩形2個の計4個の矩形の例を示したが、計4個以上であっても良く、その数や形状はここで図示されているものに限定されない。
ターゲット2は、蛍光灯からの光や窓ガラスから入射する日光などの環境光にさらされる床面に直接的または間接的に配置されるが、いずれにしても環境光の反射状況によっては画像認識が困難となる。従って、本発明では、鉄板につや消しサテン状塗料を2度塗りする塗装法を採用することで、ターゲット2の表面をつや消し状態とし、環境光の反射等の影響を受けにくい撮影画像が得られるようにしている。
図1に示す例では、2つのターゲット2は床上に車両の主軸(ワールド座標系のZW軸)に対して左右対称に配置されている(D1=D2、W1=W2)。ただし、常に左右対称である必要はなく、カメラ11の視野内であって、座標値が既知であればその配置は自由である。つまり、工場において確保できる広さや他の設備との関係によってターゲット2の配置を任意に設定することが可能である。
ターゲット2の寸法は、カメラ11の解像度やカメラ11による撮影画像を処理する画像処理機能の性能、マーカの配置位置などに応じて、精度良く較正点Qを検出できるように適切に定められる。一例として、D1とD2が1〜2m、W1とW2が0.5m程度である場合には、図2に示すような、各白黒が10〜15cm四方、全体が20〜30cm四方のターゲット2が利用される。
この実施形態では、本発明によるターゲット位置特定装置としてのターゲット位置特定手段は画像処理ユニット3に組み込まれている。図3は、画像処理ユニット3における本発明に特に関係する機能を模式的に示すブロック図である。図3に示すように、この画像処理ユニット3には、画像入力部31と、フレームメモリ32と、ターゲット位置特定手段4と、取付精度判定部33とが含まれている。画像入力部31は、カメラ11によって取得されたターゲット2を含む撮影画像を入力して、フレームメモリ32に展開する。ターゲット位置特定手段4は、フレームメモリ32に展開された撮影画像からターゲット2の位置、特にターゲット2の較正点Qの位置を求める。取付精度判定部33は、ターゲット位置特定手段4によって特定されたターゲット2の較正点Qの位置と目標となる較正点位置との差からカメラ11の取付精度の判定を行う。
ターゲット位置特定手段4は、前処理部41と、色差変換部42と、閾値設定部43と、色領域判定部44と、境界検出部45と、ターゲット位置算定部46とを含んでいる。前処理部41は、必要に応じてカメラ11のレンズ特性を起因とする画像歪の補正やレベル調整(濃度補正やコントラスト補正など)を行う。
色差変換部42は、RGB画像データとしてフレームメモリ32に展開されている撮影画像のRGB画素値を演算して青色成分値と赤色成分値と輝度値を求めて色差画像データを生成する。この変換には、RGB表色系からYCbCr表色系への変換で用いられている、例えば次式を利用することができる。
Y=0.299×R+ 0.587×G+ 0.114×B
Cb=0.564×(B − Y)
Cr=0.713×(R − Y)
ここで、Y:輝度値、Cb:青色成分値、Cr:赤色成分値、R:R画素値、G:G画素値、B:B画素値である。この式からの理解できるように、第1の色成分値や第2の色成分値、例えば青色成分値:Cb、赤色成分値:Cr は撮影画像の輝度(明るさ)に応じて変
化するものである。
Y=0.299×R+ 0.587×G+ 0.114×B
Cb=0.564×(B − Y)
Cr=0.713×(R − Y)
ここで、Y:輝度値、Cb:青色成分値、Cr:赤色成分値、R:R画素値、G:G画素値、B:B画素値である。この式からの理解できるように、第1の色成分値や第2の色成分値、例えば青色成分値:Cb、赤色成分値:Cr は撮影画像の輝度(明るさ)に応じて変
化するものである。
閾値設定部43は、色差変換部42によって生成された色差画像データに含まれている輝度値(Y)に基づいて、対象画素(対象領域)が赤色であるかまたは青色であるかを判定するための判定条件としての特定色検出閾値を設定する。これは、YCbCr表色系における青色成分値や赤色成分値には輝度値の影響が入っており、撮影画像が明るいほどその成分値が大きくなり、画像が暗いほどその成分値が小さくなる。図4には、ターゲット2を含む色差画像を横方向に走査した際の、青色成分値:Cbと赤色成分値:Crの変動の様子が示されている。図4(a)は明るい環境下で取得された撮影画像に基づくもので、その輝度値:Yの値は相対的に高くなり、青色成分値:Cbと赤色成分値:Crのレベルも相
対的に高くなっている。図4(b)は暗い環境下で取得された撮影画像に基づくもので、その輝度値:Yの値は相対的に低くなり、その輝度値:Yの値は相対的に低くなっている。従って、色差画像データからターゲット2の青色領域または赤色領域を精度よく検出するためには、図4(a)に示すように輝度値が高い場合には、その検出条件としての閾値(THb、THr)のレベルを相対的に高くするとよい。逆に、図4(a)に示すように輝度値が低い場合には、その検出条件としての閾値のレベルを相対的に低くするとよい。
対的に高くなっている。図4(b)は暗い環境下で取得された撮影画像に基づくもので、その輝度値:Yの値は相対的に低くなり、その輝度値:Yの値は相対的に低くなっている。従って、色差画像データからターゲット2の青色領域または赤色領域を精度よく検出するためには、図4(a)に示すように輝度値が高い場合には、その検出条件としての閾値(THb、THr)のレベルを相対的に高くするとよい。逆に、図4(a)に示すように輝度値が低い場合には、その検出条件としての閾値のレベルを相対的に低くするとよい。
このように画像の明るさ(輝度レベル)に応じて動的に閾値レベルを変動させるための好適な方法の1つとして、図5で模式的に示しているように、撮影画像における全画素の判定対象となる色成分値の平均値:VA_avgと、撮影画像における全画素のうち判定対象となる色成分値が上位レベルに属する画素(例えば最大色成分値の95%以上の色成分値を有する画素)の色成分値の上位レベルの平均値:VH_avgと、それらの差分値:ΔV_avg(=VH_avg−VA_avg)とから、撮影画像の画素が特定色領域(ここでは青色または赤色)のいずれかに属すると判定するための特定色閾値:TH(THb、THr)を次式で求めことができる。
TH=VA_avg + K×ΔV_avg
ここで、Kは一定値であり、予め実験的に求められた値である。
このようにして算定された閾値:THは、撮影画像における輝度成分を含んだCb:青色成分値ないしはCr:赤色成分値をパラメータとする関数によって導出されているので、撮影画像における輝度レベルが高いと大きくなり、輝度レベルが低いと小さくなる。なお、この閾値を求める演算処理を簡単化するためには、青色の閾値:THbまたは赤色の閾値:THrの一方を求め、これを他方の閾値とするような閾値の共通化を行うとよい。
TH=VA_avg + K×ΔV_avg
ここで、Kは一定値であり、予め実験的に求められた値である。
このようにして算定された閾値:THは、撮影画像における輝度成分を含んだCb:青色成分値ないしはCr:赤色成分値をパラメータとする関数によって導出されているので、撮影画像における輝度レベルが高いと大きくなり、輝度レベルが低いと小さくなる。なお、この閾値を求める演算処理を簡単化するためには、青色の閾値:THbまたは赤色の閾値:THrの一方を求め、これを他方の閾値とするような閾値の共通化を行うとよい。
撮影画像の明るさ(輝度レベル)に応じて動的に閾値レベルを変動させる方法は、上述したもの以外に種々の演算方法が考えられるが、上位概念的には次のように説明することができる。例えば、青領域判定のための閾値:THbは、撮影画像の輝度:Yまたは色差情報の輝度値の統計学的(平均値、中央値など)数値:f(Y)と青色成分値:Cbの統計学的数値:f(Cb)とのをパラメータとする以下の関数:Fbで求めることができる。
THb=Fb(f(Y),f(Cb))、またはTHb=Fb(Y,f(Cb))
赤領域判定のための閾値:THrは、撮影画像の輝度:Yまたは色差情報の輝度値の統計学的数値:f(Y)と赤色成分値:Cbの統計学的数値:f(Cr)とのをパラメータとする以下の関数:Frで求めることができる。
THr=Fr(f(Y),f(Cr)) 、またはTHr=Fr(Y,f(Cr))
なお、ここでは、青領域判定のための閾値:THbと赤領域判定のための閾値:THrの2つの閾値を求めたが、一方の閾値を兼用して使用することも可能である。
THb=Fb(f(Y),f(Cb))、またはTHb=Fb(Y,f(Cb))
赤領域判定のための閾値:THrは、撮影画像の輝度:Yまたは色差情報の輝度値の統計学的数値:f(Y)と赤色成分値:Cbの統計学的数値:f(Cr)とのをパラメータとする以下の関数:Frで求めることができる。
THr=Fr(f(Y),f(Cr)) 、またはTHr=Fr(Y,f(Cr))
なお、ここでは、青領域判定のための閾値:THbと赤領域判定のための閾値:THrの2つの閾値を求めたが、一方の閾値を兼用して使用することも可能である。
色領域判定部44は、閾値設定部43によって動的に、つまり撮影画像毎に、設定された閾値を用いて、ターゲット2を含む色差画像を順次走査し、青色領域と赤色領域とを判定する。その際、青色領域を判定するための判定条件として、青色成分値が閾値を上回ることと赤色成分値が閾値を下回ることとをAND条件にするとよい。同様に、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることと青色成分値が閾値を下回ることとをAND条件にするとよい。つまり、色差信号では青色成分値と赤色成分値とが対極関係にあるため、その差分を利用することでより正確な青色領域判定が可能となるからである。しかしながら、本発明では、青色領域と赤色領域とを判定する際に、一方の色成分値が閾値を上回ることと他方の色成分値が閾値を下回ることとをAND条件にすることに限定されているわけではない。青色領域を判定するための判定条件として、青色成分値が閾値を上回ることだけを採用しても良いし、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることだけを採用しても良い。本発明で重要な点は、輝度情報を用いて特定色領域の判定条件を変更することである。
境界検出部45は、色領域判定部44による青色領域と赤色領域の判定結果を利用して、ターゲットの青色領域と赤色領域との境界を検出する。境界検出部45よって検出された境界、つまり2つの境界線の交点が較正点Qとなるので、ターゲット位置算定部46は境界検出部45による境界検出結果に基づいて、撮像画像におけるターゲット2の位置、つまり較正点Qを算定することができる。
上述した画像処理ユニット3における各機能部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はない。マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって各機能が実現されるものでも勿論構わない。
カメラ11によって取得されフレームメモリ32に展開された撮影画像やターゲット位置特定手段4によって特定された較正点Qと目標較正点位置とのずれなどを示す画像は、画像信号生成部6を通じてモニタ5に表示することも可能である。
上述したように構成されたターゲット位置特定手段4を用いた、ターゲット位置特定制御の一例を図6のフローチャートを用いて以下に説明する。
まず、車両1は、検査場の所定位置に正確に位置決めされ停車される(#01)。停車の確認後、カメラ11を動作させ、車両周辺を撮影する(#02)。所定位置に停車した車両1のカメラ11による撮影画像には、カメラ11の取り付け精度が多少悪くても2つのターゲット2の画像が含まれるようにカメラ設定されている。画像入力部31を通じて入力された撮影画像(RGBカラー画像データ)は、レンズ特性を起因とする画像歪の補正や必要に応じてコントラスト補正や濃度補正(レベル補正)などの前処理が施される(#03)。次いで撮影画像に対してRGBカラー画像データからYCbCrカラー(色差)画像データへの変換を行う(#04)。
まず、車両1は、検査場の所定位置に正確に位置決めされ停車される(#01)。停車の確認後、カメラ11を動作させ、車両周辺を撮影する(#02)。所定位置に停車した車両1のカメラ11による撮影画像には、カメラ11の取り付け精度が多少悪くても2つのターゲット2の画像が含まれるようにカメラ設定されている。画像入力部31を通じて入力された撮影画像(RGBカラー画像データ)は、レンズ特性を起因とする画像歪の補正や必要に応じてコントラスト補正や濃度補正(レベル補正)などの前処理が施される(#03)。次いで撮影画像に対してRGBカラー画像データからYCbCrカラー(色差)画像データへの変換を行う(#04)。
次いで、閾値設定部43が、YCbCrカラー画像データのCb:青色成分値ないしはCr:赤色成分値を、上述した式、
TH=VA_avg + K×ΔV_avg
に適用して、ターゲット2の青領域に対する検出閾値の設定と(#05)、ターゲット2の赤領域に対する検出閾値とを設定する(#06)。取得された撮影画像に応じて、ステップ#08での演算処理を通じて設定された閾値を用いて、YCbCr系の撮像画像を順次走査し、ターゲット2の青色領域の判定(#07)と赤色領域の判定(#08)を行う。青色領域の判定においては、青色成分値が青色検出閾値を上回るとともに赤色成分値が赤色検出閾値を下回ることとをその判定条件としている。同様に、赤色領域の判定においては、赤色成分値が閾値を上回るとともに青色成分値が閾値を下回ることとをその判定条件としている。
TH=VA_avg + K×ΔV_avg
に適用して、ターゲット2の青領域に対する検出閾値の設定と(#05)、ターゲット2の赤領域に対する検出閾値とを設定する(#06)。取得された撮影画像に応じて、ステップ#08での演算処理を通じて設定された閾値を用いて、YCbCr系の撮像画像を順次走査し、ターゲット2の青色領域の判定(#07)と赤色領域の判定(#08)を行う。青色領域の判定においては、青色成分値が青色検出閾値を上回るとともに赤色成分値が赤色検出閾値を下回ることとをその判定条件としている。同様に、赤色領域の判定においては、赤色成分値が閾値を上回るとともに青色成分値が閾値を下回ることとをその判定条件としている。
次いで、青色領域と赤色領域の判定結果から、ターゲット2の青色領域と赤色領域との境界線を検出する(#09)。もちろん、ターゲット2の青色領域と赤色領域の判定及び青色領域と赤色領域との境界線の検出を同時に実施することも可能である。いずれにせよ、検出された青色領域と赤色領域との境界線は、ほぼ2本の線が直交する形態を示すことになるので、その交点を較正点として較正点座標を算定する(#10)。
以上の処理ステップにより、ターゲット2の位置、つまり較正点の座標位置を求めることができる。従って、次に、予め設定されている目標較正点とステップ#10で算定された較正点とのずれ量を算定し(#11)、このずれ量からカメラ11の取付精度の判定が行われる(#12)。
〔別実施形態〕
(1)上記実施の形態の説明では、複数の色成分値と輝度値とから構成される色差表色系としてYCbCr系表色系を採用したが、これ以外の色差表色系を採用してもよい。本発明の重要な点は、輝度情報を用いて特定色領域の判定条件を変更することである。
(2)目標較正点と算定較正点とのずれ量からカメラ取付精度の判定をする処理を、モニタ5に目標較正点と算定較正点を表示し、目視でその判定を行ってもよい。
(3)カメラ11側で、YCbCr信号を出力できる場合では、RGBカラー画像データからYCbCrカラーへの変換ステップを省略することができる。
(1)上記実施の形態の説明では、複数の色成分値と輝度値とから構成される色差表色系としてYCbCr系表色系を採用したが、これ以外の色差表色系を採用してもよい。本発明の重要な点は、輝度情報を用いて特定色領域の判定条件を変更することである。
(2)目標較正点と算定較正点とのずれ量からカメラ取付精度の判定をする処理を、モニタ5に目標較正点と算定較正点を表示し、目視でその判定を行ってもよい。
(3)カメラ11側で、YCbCr信号を出力できる場合では、RGBカラー画像データからYCbCrカラーへの変換ステップを省略することができる。
本発明によるターゲット位置特定装置は、ターゲットを撮影した撮影画像からターゲット位置を算定する種々の画像処理応用技術分野に適用可能である。
Claims (11)
- 第1色と第2色との組み合わせからなるターゲットを環境光の影響下で撮影することによって得られた撮影画像の画素値を処理して第1の色成分値と第2の色成分値と輝度値とを生成する色差変換部と、
前記撮影画像の輝度または前記輝度値に応じて前記撮影画像毎に判定条件として設定された閾値を、前記第1の色成分値が上回るか否かに基づいて前記第1色の領域を判定し、前記閾値を、前記第2の色成分値が上回るか否かに基づいて前記第2色の領域を判定する色領域判定部と、
前記色領域判定部による判定結果に基づいて前記ターゲットにおける前記第1色と前記第2色との境界を検出する境界検出部と、
前記境界検出部による境界検出結果に基づいて前記ターゲットの前記撮影画像上での位置を算定するターゲット位置算定部と、
を備えるターゲット位置特定装置。 - 前記第1色が青色で、前記第2色が赤色で、前記輝度値と前記第1の色成分値と前記第2の色成分値とがそれぞれYCbCr表色系におけるY値とCb値とCr値である請求項1に記載のターゲット位置特定装置。
- 前記判定条件は前記撮影画像の輝度または前記輝度値に応じて変動し、前記撮影画像の輝度または前記輝度値が大きくなると、前記撮影画像の画素が前記色領域のいずれかに属すると判定するための色成分値の範囲が狭められる請求項1または2記載のターゲット位置特定装置。
- 前記判定条件は、前記撮影画像の画素が前記色領域のいずれかに属すると判定するための特定色検出閾値:THであり、次式によって求められる、
TH=VA_avg +K×(VH_avg−VA_avg)
ここで、VA_avg:前記撮影画像における全画素の判定対象となる色成分値の平均値、VH_avg:前記撮影画像における全画素のうち判定対象となる色成分値が上位レベルに属する画素の色成分値の上位レベルの平均値、K:前もって設定された一定値である請求項3に記載のターゲット位置特定装置。 - 前記ターゲットは市松模様である請求項1から4のいずれか一項に記載のターゲット位置特定装置。
- 前記市松模様の異なる色領域を境界付けている2本の方向の異なる境界線の交点の座標を前記ターゲット位置として利用する請求項5に記載のターゲット位置特定装置。
- 前記ターゲットの位置座標が既知である請求項1から6のいずれか一項に記載のターゲット位置特定装置。
- 前記ターゲットの表面がつや消し処理されている請求項1から7のいずれか一項に記載のターゲット位置特定装置。
- 前記撮影画像は車両に搭載されたカメラによって撮影されたものであり、前記ターゲット位置算定部によって算定された前記ターゲットの前記撮影画像上での位置が前記カメラの取付位置較正に用いられる請求項1から8のいずれか一項に記載のターゲット位置特定装置。
- 前記ターゲットとして前記車両の左右方向に並んだ2つのターゲットが用意されており、前記車両の左右車輪が前記2つのターゲットを跨げるように前記車両のトレッド幅よりも狭い間隔で配置されている請求項9に記載のターゲット位置特定装置。
- 前記ターゲットとして車両の左右方向に並んだ2つのターゲットが用意されており、前記2つのターゲットの間を前記車両が通過できるように前記2つのターゲットは前記車両のトレッド幅よりも広い間隔で配置されている請求項9に記載のターゲット位置特定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010523826A JP4725821B2 (ja) | 2008-08-05 | 2009-07-17 | ターゲット位置特定装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008202027 | 2008-08-05 | ||
JP2008202027 | 2008-08-05 | ||
PCT/JP2009/062977 WO2010016379A1 (ja) | 2008-08-05 | 2009-07-17 | ターゲット位置特定装置 |
JP2010523826A JP4725821B2 (ja) | 2008-08-05 | 2009-07-17 | ターゲット位置特定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4725821B2 true JP4725821B2 (ja) | 2011-07-13 |
JPWO2010016379A1 JPWO2010016379A1 (ja) | 2012-01-19 |
Family
ID=41663602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010523826A Expired - Fee Related JP4725821B2 (ja) | 2008-08-05 | 2009-07-17 | ターゲット位置特定装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8077199B2 (ja) |
EP (1) | EP2309746A4 (ja) |
JP (1) | JP4725821B2 (ja) |
KR (1) | KR101205428B1 (ja) |
CN (1) | CN102113321B (ja) |
WO (1) | WO2010016379A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5339124B2 (ja) * | 2008-09-30 | 2013-11-13 | アイシン精機株式会社 | 車載カメラの校正装置 |
US8413341B2 (en) * | 2009-06-29 | 2013-04-09 | Snap-On Incorporated | Vehicle measurement system with user interface |
JP2011254311A (ja) * | 2010-06-02 | 2011-12-15 | Aisin Seiki Co Ltd | 車両周辺画像処理装置 |
JP5590387B2 (ja) * | 2010-06-07 | 2014-09-17 | アイシン精機株式会社 | カラーターゲット位置決定装置 |
US20130101211A1 (en) | 2010-08-19 | 2013-04-25 | Aisin Seiki Kabushiki Kaisha | Target location determination device |
FR2971861B1 (fr) | 2011-02-21 | 2013-02-22 | Essilor Int | Procede de determination d'au moins un parametre geometrico-physionomique associe au montage d'une lentille ophtalmique dans une monture de lunettes portee par un porteur |
KR101180027B1 (ko) * | 2011-03-10 | 2012-09-06 | 디나스트 | 광센서 및 이를 이용한 감지 방법 |
CN103200393B (zh) * | 2013-04-02 | 2016-03-16 | 天津市亚安科技股份有限公司 | 一种实现视频监控区域扫描的方法及装置 |
IN2014CH02078A (ja) * | 2013-04-24 | 2015-07-03 | Morpho Inc | |
CN104622549B (zh) * | 2015-03-03 | 2017-07-18 | 张新明 | 一种超声乳化流产装置 |
DE102017207614A1 (de) | 2017-05-05 | 2018-11-08 | Conti Temic Microelectronic Gmbh | Vorrichtung und Verfahren zur Kalibrierung eines Kamerasystems eines Fahrzeugs |
JP6856914B2 (ja) * | 2017-07-18 | 2021-04-14 | ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドHangzhou Taro Positioning Technology Co.,Ltd. | インテリジェントな物体追跡 |
CN110298294B (zh) * | 2019-06-25 | 2022-02-11 | 中国人民解放军火箭军工程大学 | 一种基于yuv颜色空间的简易目标识别方法 |
CN112351191B (zh) * | 2020-09-14 | 2021-11-23 | 中标慧安信息技术股份有限公司 | 一种移动侦测处理方法及系统 |
CN113696939B (zh) * | 2021-08-25 | 2023-08-01 | 北京博研盛科科技有限公司 | 一种基于标识物的轨道车定位方法、系统及设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08161508A (ja) * | 1994-12-09 | 1996-06-21 | Mazda Motor Corp | パターン検出方法 |
JPH09153139A (ja) * | 1995-11-30 | 1997-06-10 | Sanyo Electric Co Ltd | 映像信号処理装置 |
JP2002354506A (ja) * | 2001-05-25 | 2002-12-06 | Minolta Co Ltd | カメラ校正用立体チャート、カメラの校正用パラメータの取得方法、カメラの校正用情報処理装置、およびプログラム |
JP2004088247A (ja) * | 2002-08-23 | 2004-03-18 | Sony Corp | 画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラム |
JP2005016979A (ja) * | 2003-06-23 | 2005-01-20 | Matsushita Electric Ind Co Ltd | 車載カメラ校正治具及び車載カメラ校正方法 |
JP2006162442A (ja) * | 2004-12-07 | 2006-06-22 | Matsushita Electric Ind Co Ltd | ナビゲーション装置及びナビゲーション方法 |
JP2007225809A (ja) * | 2006-02-22 | 2007-09-06 | Nippon Hoso Kyokai <Nhk> | カメラ雲台付き移動台車 |
JP2008131250A (ja) * | 2006-11-20 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
JP2008131177A (ja) * | 2006-11-17 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2720924B2 (ja) * | 1993-09-21 | 1998-03-04 | 富士ゼロックス株式会社 | 画像信号の符号化装置 |
US6137893A (en) | 1996-10-07 | 2000-10-24 | Cognex Corporation | Machine vision calibration targets and methods of determining their location and orientation in an image |
JPH10336439A (ja) * | 1997-05-28 | 1998-12-18 | Minolta Co Ltd | 画像読取り装置 |
DE10025922A1 (de) * | 2000-05-27 | 2001-12-13 | Robert Massen | Automatische photogrammetrische Digitalisierung von Körpern und Objekten |
US7423666B2 (en) * | 2001-05-25 | 2008-09-09 | Minolta Co., Ltd. | Image pickup system employing a three-dimensional reference object |
JP4681856B2 (ja) | 2004-11-24 | 2011-05-11 | アイシン精機株式会社 | カメラの校正方法及びカメラの校正装置 |
JP4820221B2 (ja) * | 2006-06-29 | 2011-11-24 | 日立オートモティブシステムズ株式会社 | 車載カメラのキャリブレーション装置およびプログラム |
US20080101693A1 (en) * | 2006-10-26 | 2008-05-01 | Intelligence Frontier Media Laboratory Ltd | Video image based tracking system for identifying and tracking encoded color surface |
JP5339124B2 (ja) | 2008-09-30 | 2013-11-13 | アイシン精機株式会社 | 車載カメラの校正装置 |
-
2009
- 2009-07-17 US US13/001,061 patent/US8077199B2/en not_active Expired - Fee Related
- 2009-07-17 JP JP2010523826A patent/JP4725821B2/ja not_active Expired - Fee Related
- 2009-07-17 EP EP09804866A patent/EP2309746A4/en not_active Ceased
- 2009-07-17 WO PCT/JP2009/062977 patent/WO2010016379A1/ja active Application Filing
- 2009-07-17 CN CN2009801308178A patent/CN102113321B/zh not_active Expired - Fee Related
- 2009-07-17 KR KR1020107029747A patent/KR101205428B1/ko active IP Right Grant
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08161508A (ja) * | 1994-12-09 | 1996-06-21 | Mazda Motor Corp | パターン検出方法 |
JPH09153139A (ja) * | 1995-11-30 | 1997-06-10 | Sanyo Electric Co Ltd | 映像信号処理装置 |
JP2002354506A (ja) * | 2001-05-25 | 2002-12-06 | Minolta Co Ltd | カメラ校正用立体チャート、カメラの校正用パラメータの取得方法、カメラの校正用情報処理装置、およびプログラム |
JP2004088247A (ja) * | 2002-08-23 | 2004-03-18 | Sony Corp | 画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラム |
JP2005016979A (ja) * | 2003-06-23 | 2005-01-20 | Matsushita Electric Ind Co Ltd | 車載カメラ校正治具及び車載カメラ校正方法 |
JP2006162442A (ja) * | 2004-12-07 | 2006-06-22 | Matsushita Electric Ind Co Ltd | ナビゲーション装置及びナビゲーション方法 |
JP2007225809A (ja) * | 2006-02-22 | 2007-09-06 | Nippon Hoso Kyokai <Nhk> | カメラ雲台付き移動台車 |
JP2008131177A (ja) * | 2006-11-17 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 |
JP2008131250A (ja) * | 2006-11-20 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
Also Published As
Publication number | Publication date |
---|---|
US8077199B2 (en) | 2011-12-13 |
KR20110015033A (ko) | 2011-02-14 |
WO2010016379A1 (ja) | 2010-02-11 |
US20110102581A1 (en) | 2011-05-05 |
EP2309746A4 (en) | 2011-09-07 |
CN102113321A (zh) | 2011-06-29 |
CN102113321B (zh) | 2013-09-11 |
EP2309746A1 (en) | 2011-04-13 |
KR101205428B1 (ko) | 2012-11-27 |
JPWO2010016379A1 (ja) | 2012-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4725821B2 (ja) | ターゲット位置特定装置 | |
US8605156B2 (en) | Calibration target detection apparatus, calibration target detecting method for detecting calibration target, and program for calibration target detection apparatus | |
JP5339124B2 (ja) | 車載カメラの校正装置 | |
US7957559B2 (en) | Apparatus and system for recognizing environment surrounding vehicle | |
US20150360612A1 (en) | Around view monitoring apparatus and method thereof | |
JP5176014B2 (ja) | ディスプレーの多角度計測システム及び方法 | |
US20140085473A1 (en) | In-vehicle camera apparatus | |
US10368063B2 (en) | Optical test device for a vehicle camera and testing method | |
JP4775123B2 (ja) | 車両用監視装置 | |
US10326969B2 (en) | Vehicle vision system with reduction of temporal noise in images | |
JP5240517B2 (ja) | 車載カメラの校正装置 | |
JP5959311B2 (ja) | データ導出装置、及び、データ導出方法 | |
JP5697646B2 (ja) | 車両周辺監視装置 | |
JP5633733B2 (ja) | 暗領域ノイズ補正装置 | |
JP5252247B2 (ja) | ターゲット位置決定装置 | |
JP5590387B2 (ja) | カラーターゲット位置決定装置 | |
JP6855254B2 (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 | |
JP2009053780A (ja) | 立体物検出方法及び装置 | |
KR102016630B1 (ko) | 채색 체스보드를 이용한 컬러 캘리브레이션 기반의 svm 영상 생성 방법 | |
JP5483945B2 (ja) | カメラ調整方法及び装置 | |
JP5065715B2 (ja) | 画像処理装置 | |
KR101583662B1 (ko) | 광각 카메라 영상의 특징점 검출 방법 | |
JP2000356514A (ja) | ステレオカメラを用いた距離計測方法及び距離計測装置 | |
JP2020095625A (ja) | 画像処理装置および画像処理方法 | |
JP2001006084A (ja) | 車両端点検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110330 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4725821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |