JP5252247B2 - ターゲット位置決定装置 - Google Patents
ターゲット位置決定装置 Download PDFInfo
- Publication number
- JP5252247B2 JP5252247B2 JP2012529527A JP2012529527A JP5252247B2 JP 5252247 B2 JP5252247 B2 JP 5252247B2 JP 2012529527 A JP2012529527 A JP 2012529527A JP 2012529527 A JP2012529527 A JP 2012529527A JP 5252247 B2 JP5252247 B2 JP 5252247B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- target
- grayscale
- profile
- target position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/70—Circuits for processing colour signals for colour killing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40012—Conversion of colour to monochrome
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、異なる色の組み合わせからなるカラーターゲットを撮影した撮影画像を画像処理することにより、このカラーターゲットの撮影画像上での位置を決定するターゲット位置決定装置に関する。
近年、車両の運転者が車両の側方や後方などの情景を車内のモニタを介して視認できるようにカメラが搭載された車両が増加している。さらに、このカメラの撮影画像を利用して画像処理などを行い、駐車などの運転を支援する装置も開発されている。特に、車両の位置決めなどに利用される情報を作り出すためのベースとなる撮影画像を取り込むカメラに関しては、光軸調整などの較正が高い精度で要求される。上記ターゲット位置特定装置は、そのような車載カメラの較正処理のために用いられる。例えば、カメラの視野内の2箇所に配置された白黒の市松模様のパターンを有するマーカ(ターゲット)を車載カメラで撮影し、画像処理を通じてマーカの中心点(較正点)を検出し、車載カメラを較正する技術が知られている(例えば、特許文献1参照)。このように白黒模様のターゲットを用いた場合、この白黒模様の輝度差を適切に出すためにはこの白黒模様の輝度差を明確にするように調整された白黒カメラを利用する必要がある。ところが、車内のモニタに車両の側方や後方などの情景を写し出すために用いられるカメラは、視認性などの点からカラー画像を生成するカラーカメラが採用されることが多くなっている。カラーカメラから出力されるカラー画像信号を白黒模様の輝度差評価のために用いた場合、白黒模様の輝度差が十分に得られない可能性が生じる。
また、カラーカメラとカラーターゲットを用いたターゲット位置特定装置も知られている(例えば、特許文献2参照)。このターゲット位置特定装置は、第1カラー色と第2カラー色との組み合わせからなるターゲットを撮影することによって得られた撮影画像の画素値を処理して第1の色成分値と第2の色成分値と輝度値とを生成する色差変換部と、輝度値に基づく判定条件を用いて第1の色成分値と第2の色成分値とに基づいて第1カラー色と第2カラー色の領域を判定する色領域判定部と、その判定結果に基づいて第1カラー色と第2カラー色の境界を検出する境界検出部と、この境界検出結果に基づいてターゲットの位置を算定するターゲット位置算定部を備えている。カラー画像信号は3つの色成分信号(例えばRGB信号)で構成されているので、その画像処理演算の演算負荷は白黒画像(グレースケール画像)に比べて大きくなり、コスト的な負担も増加する。
上記実情に鑑み、本発明の目的は、カラーカメラとカラーターゲットを用いながらも、演算負荷を小さくするとともにカラー模様を精度よく認識できるターゲット位置決定装置を提供することである。
第1カラー色の第1ターゲット領域と当該第1カラー色とは異なる色成分を有する第2カラー色の第2ターゲット領域との組み合わせからなるカラーターゲットを撮影して得られたカラー画像データに基づいて前記ターゲットの撮影画像における位置を決定するターゲット位置決定装置における、本発明の特徴は、前記第1カラー色から変換される第1モノクロ色と前記第2カラー色から変換される第2モノクロ色との輝度差が前記第1カラー色と前記第2カラー色との輝度差より大きくなるように前記第1カラー色と前記第2カラー色とをそれぞれ前記第1モノクロ色と前記第2モノクロ色とに変換するグレースケール化プロファイルを格納するグレースケール化プロファイル格納部と、前記グレースケール化プロファイルを用いて前記カラー画像データをグレースケール画像データに変換するグレースケール化部と、前記グレースケール画像データにおける前記カラーターゲットの前記第1ターゲット領域と前記第2ターゲット領域との間の境界を認識して、前記撮影画像におけるターゲット位置を決定するターゲット位置決定モジュールとを備えている点にある。
この構成によると、カラー画像データからグレースケール画像データに変換する際に、第1カラー色の変換先としての第1モノクロ色と第2カラー色の変換先としての第2モノクロ色との間の輝度差が大きくなるようなグレースケール化プロファイルが用いられるので、第1モノクロ色の領域と第2モノクロ色の領域との境界を精度よく検出することができる。しかも、その境界検出はグレースケール画像に基づいて、つまり輝度値のみに基づいて行われるので、演算負荷もカラー処理に比べて小さくなる。このようにグレースケール化された撮影画像は、カラーバランス(正確にはグレーバランス)が大きく崩れているので、運転者の周辺確認のためのモニタ表示にはグレースケール化前のカラー画像データを用いるとよい。
上述したグレースケール化プロファイルの具体的な作成にあたって、前記グレースケール化プロファイルは、前記第1カラー色の色成分が大きいほど白色に近づくとともに前記第2カラー色の色成分が大きいほど黒色に近づくように作成されると好適である。例えば、肉眼でも分かりやすいように、第1カラー色が赤で第2カラー色が青とする。画素値であるRGB値のうちでR成分値が他の2つの色成分値に比べてその割合が大きい場合には白色となるような第1の関係を作り出す。同様に、RGB値のうちでB成分値が他の2つの色成分値に比べてその割合が大きい場合には黒色となるような第2の関係を作り出す。この第1と第2の関係を融合して赤色成分が大きいほど白くなるとともに青色成分が大きいほ黒くなる関係を表現できるようなグレースケール化プロファイルを作成する。
一般的なグレースケール化において輝度差による識別が困難ではあるが人間の視覚による識別性が良好なために赤色と青色によるターゲットが比較的良く用いられることを考慮すると、前記第1カラー色が赤色であり、前記第2カラー色が青色であるカラーターゲットが、本発明の好適な適用例となる。
一般的なグレースケール化において輝度差による識別が困難ではあるが人間の視覚による識別性が良好なために赤色と青色によるターゲットが比較的良く用いられることを考慮すると、前記第1カラー色が赤色であり、前記第2カラー色が青色であるカラーターゲットが、本発明の好適な適用例となる。
カラーターゲットのターゲット色は、使用目的やその他の事情で異なることも考えられる。そのような場合に対処できるように、本発明の好適な実施形態の1つでは、前記カラーターゲットに利用される前記第1カラー色と前記第2カラー色との異なる色組み合わせ毎の前記グレースケール化プロファイルが前記グレースケール化プロファイル格納部に格納されている。この構成によれば、前もって利用可能性のあるカラーターゲットのターゲット色の組み合わせに適合するグレースケール化プロファイルを作成して格納しておくことで、種々のカラー模様を精度よく認識することが可能となる。
カラーターゲットを照明している照明光源種によっては、本来の第1カラー色や第2カラー色がカラーカメラによって取得されたカラー画像データ内では大きく色ずれしてしまう問題が生じうる。このような問題を低減するためには、前もって特定の照明光源種によって本来の第1カラー色や第2カラー色が色ずれした後の色を求めておき、それを第1カラー色及び第2カラー色としたグレースケール化プロファイルを照明光源種を作成しておくとよい。この目的のため、本発明の好適な実施形態の1つでは、前記グレースケール化プロファイルは、前記カラーターゲットを照明している照明光源種毎に作成され、前記グレースケール化プロファイル格納部に格納されている。
以下、本発明の実施の形態を図面に基づいて説明する。
図1には、本発明によるターゲット位置決定装置で採用されている、グレースケール化処理の原理が模式的に示されている。ここでは、カラーターゲット2は、2つの異なる色の組み合わせ(パターン)によって構成されている。2つの色のうちの一方は第1カラー色(ここでは青色系としておく)と名づけてC1(R1,G1,B1)(RGB表色系)で表している。2つの色のうちの他方は第2カラー色(ここでは赤色系としておく)と名づけてC2(R2,G2,B2)で表している。つまり、このカラーターゲット2を特徴付けている特徴色は、第1カラー色と第2カラー色であり、この第1カラー色で塗られた第1ターゲット領域と第2カラー色で塗られた第2ターゲット領域との間の境界線の検出を通じて正確な位置検出が行われる。
図1には、本発明によるターゲット位置決定装置で採用されている、グレースケール化処理の原理が模式的に示されている。ここでは、カラーターゲット2は、2つの異なる色の組み合わせ(パターン)によって構成されている。2つの色のうちの一方は第1カラー色(ここでは青色系としておく)と名づけてC1(R1,G1,B1)(RGB表色系)で表している。2つの色のうちの他方は第2カラー色(ここでは赤色系としておく)と名づけてC2(R2,G2,B2)で表している。つまり、このカラーターゲット2を特徴付けている特徴色は、第1カラー色と第2カラー色であり、この第1カラー色で塗られた第1ターゲット領域と第2カラー色で塗られた第2ターゲット領域との間の境界線の検出を通じて正確な位置検出が行われる。
このカラーターゲット2が、カラーカメラによって撮影されることによりカラー画像データが生成されるが、ここでは、そのカラー画像データにおける第1カラー色の画素値及び第2カラー色の画素値もそれぞれC1(R1,G1,B1)とC2(R2,G2,B2)で表現されていることにする。このカラー画像データをグレースケール画像データに変換することがこのグレースケール化処理である。その際、カラー画像データにおける第1カラー色:C1(R1,G1,B1)と第2カラー色:C2(R2,G2,B2)が、それぞれグレースケール画像データにおける第1モノクロ色:D1(N1)と第2モノクロ色:D2(N2)に変換される。なお、カラー画像データが32ビットカラーの場合、R1,G1,B1、R2,G2,B2は0〜255の値をとり、グレースケール画像データが8ビットグレースケールの場合、N1、N2も0から0〜255の値をとる。C (0,0,0)及びD(0)が黒を表し、C (255,255,255)及びD(255)が白を表すとする。この発明では、グレースケール化処理において、第1カラー色から変換される第1モノクロ色と第2カラー色から変換される第2モノクロ色との輝度差が第1カラー色と第2カラー色との間の輝度差より大きくすることが意図されている。
1つの色空間から他の色空間(白黒空間も含める)への変換は色変換マトリックスとも呼ばれる色変換プロファイルを用いて行われるが、ここではグレースケール空間への変換であることから、これをグレースケール化プロファイルと呼ぶことにする。このグレースケール化プロファイルは簡単には、
M[C(R,G,B) ]=D(N)、
ここで、R,G,Bはカラー画像データの画素値、Nはグレースケール画像データの画素値のように表現することができる。
なお、ここでの色変換プロファイルは、通常時(ユーザ使用時)は、ユーザが表示装置にて視認するカメラ画像の色調整にも用いられるが、本発明によるターゲット位置決定の際にはグレースケール化プロファイルとして機能するものである。通常時(ユーザ使用時)の色変換プロファイルとしての使用時には、あるカラー画素値Cm(Rm,Gm,Bm)から他のカラー画素値Cn(Rn,Gn,Bn)を導出するが、グレースケール化プロファイルとしての使用時には、あるカラー画素値Cm(Rm,Gm,Bm)から一つのグレースケール画素値D(N)を導出する。
M[C(R,G,B) ]=D(N)、
ここで、R,G,Bはカラー画像データの画素値、Nはグレースケール画像データの画素値のように表現することができる。
なお、ここでの色変換プロファイルは、通常時(ユーザ使用時)は、ユーザが表示装置にて視認するカメラ画像の色調整にも用いられるが、本発明によるターゲット位置決定の際にはグレースケール化プロファイルとして機能するものである。通常時(ユーザ使用時)の色変換プロファイルとしての使用時には、あるカラー画素値Cm(Rm,Gm,Bm)から他のカラー画素値Cn(Rn,Gn,Bn)を導出するが、グレースケール化プロファイルとしての使用時には、あるカラー画素値Cm(Rm,Gm,Bm)から一つのグレースケール画素値D(N)を導出する。
図1では、このグレースケール化プロファイルを、G軸の単位位置毎に作成された多数のR−B面テーブルから構成された形態で示している。つまり、Gの色成分の値によって引き出された所定のR−B面テーブルにおいて、RとBの色成分の値で決定される座標位置にグレースケール画像データの画素値:Nが記述されているとしている。図1の(a)は、一般的なグレースケール化に用いられている従来のグレースケール化プロファイルを示しており、例えば、RGBそれぞれの色成分値を足し合わせた値を3で割って得られた値をグレースケール画像データの画素値:Nとしている。従って、図1の(a)に示されているように、R,G,B値(10,20,240)をもつ第1カラー色(ほぼ青色):C1は、N値(90)をもつ第1モノクロ色(中間灰色):D2に変換され、R,G,B値(240,30,30)をもつ第2カラー色(ほぼ赤色):C2は、N値(100)をもつ第2モノクロ色(中間灰色)D2に変換されている。このことから明らかなように、このような従来のグレースケール化プロファイルを用いると、第1モノクロ色(中間灰色)と第2モノクロ色(中間灰色)との間で輝度差は少なく、その境界を検出することが困難である。
このような問題を避けるため、本発明では、所定の第1カラー色と第2カラー色とをグレースケール化した際に、大きな輝度差をもつ第1モノクロ色と第2モノクロ色とに変換されるようなグレースケール化プロファイルが用意される。例えば、図1の(b)で模式的に示されているように、例えば、R,G,B値(10,20,240)をもつ第1カラー色(ほぼ青色):C1は、N値(185)をもつ第1モノクロ色(濃い灰色):D2に変換され、R,G,B値(240,30,30)をもつ第2カラー色(ほぼ赤色):C2は、N値(20)をもつ第2モノクロ色(薄い灰色)D2に変換されている。つまり、このグレースケール化プロファイルを式で表すと、
M(10,20,240)=20、
M(240,30,30)=185、
となる。このグレースケール化プロファイルは、青色系のR,G,B値は濃い灰色となる領域にできるだけ連続的に変換されるように、かつ、赤色系のR,G,B値は薄い灰色となる領域にできるだけ連続的に変換されるように作成されることが好ましい。
M(10,20,240)=20、
M(240,30,30)=185、
となる。このグレースケール化プロファイルは、青色系のR,G,B値は濃い灰色となる領域にできるだけ連続的に変換されるように、かつ、赤色系のR,G,B値は薄い灰色となる領域にできるだけ連続的に変換されるように作成されることが好ましい。
そのような連続性を維持したグレースケール化プロファイルを作成するにあたって、R,G,B値(0, 0, 255)で表される純粋な青色から近似的な青色に移行していくR,G,B値に対して、移行量に応じた重み係数を設定する重み演算を用いて、D値を算定するようにするとよい。
このように作成されたグレースケール化プロファイルを用いることにより、第1モノクロ色と第2モノクロ色との間で大きな輝度差が生じたグレースケール画像データが出力される。このような輝度差を有するグレースケール画像データを用いることで、第1カラー色で塗られた第1ターゲット領域と第2カラー色で塗られた第2ターゲット領域との間の境界線の検出を、簡単でかつ正確に行うことができる。
図2に示すように、カラーカメラ(以下単にカメラと略称する)11の較正は、車両1を所定位置に停車させた状態で行われる。例えば、車両1をバックまたは前進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図2に示す例では、2つのカラーターゲット(以下単にターゲットと略称する)2(2a、2b)が床面上に配置されている。図から明らかなように、2つのターゲット2a、2bの間隔は車両1のトレッド幅に比べて狭く、ターゲット2が車両1の車輪によって踏まれにくい配置となっている。この配置とは逆に、2つのターゲット2a、2bの間隔を車両1のトレッド幅に比べて広くとって、ターゲット2が車両1の車輪によって踏まれにくい配置を採用してもよい。
図2において、車両1は、後端部中央の床面がワールド座標系(基準座標系、Xw,Yw,Zw)の原点Owとなるように停車されている。ここでは、カメラ11の光学中心Ocを中心とするカメラ座標系(Xc,Yc,Zc)は、ワールド座標系に対して各軸が平行とはなっていない。ワールド座標系、カメラ座標系共に右手系の座標系であり、図中では、紙面に対して鉛直方向のXw軸、及びほぼ鉛直方向のXc軸は図示していない。ワールド座標系とカメラ座標系との間の座標変換は良く知られた演算法を用いて行うことができる。
ターゲット2は、カメラ11の視野範囲内において少なくとも2箇所に配置される。また、ターゲット2は、ワールド座標系においてその座標が既知となるように配置される。本例において、ターゲット2は、図3に示すように、このターゲット2を特徴付ける特徴色としての青(第1カラー色)と赤(第2カラー色)の市松模様のパターンを有している。パターン中央の点Qが較正点であり、カメラ11の較正の基準となる。つまり、この較正点Qの座標がワールド座標系においてその座標が既知となるように、ターゲット2は配置されている。尚、ここでは青の矩形2個(第1ターゲット領域)、赤の矩形2個(第2ターゲット領域)の計4個の矩形の例を示したが、計4個以上であっても良く、その数や形状はここで図示されているものに限定されない。
図2に示す例では、2つのターゲット2は床上に車両の主軸(ワールド座標系のZw軸)に対して左右対称に配置されている(D1=D2、W1=W2)。ただし、常に左右対称である必要はなく、カメラ11の視野内であって、座標値が既知であればその配置は自由である。つまり、工場において確保できる広さや他の設備との関係によってターゲット2の配置を任意に設定することが可能である。
ターゲット2の寸法は、カメラ11の解像度やカメラ11による撮影画像を処理する画像処理機能の性能、ターゲットの配置位置などに応じて、精度良く較正点Qを検出できるように適切に定められる。一例として、D1とD2が1〜2m、W1とW2が0.5m程度である場合には、図3に示すような、各白黒が10〜15cm四方、全体が20〜30cm四方のターゲット2が利用される。
この実施形態では、本発明によるターゲット位置特定装置は、実質的には、コンピュータを中核部材とする画像処理ユニットによって構成され、図4には、その画像処理機能を模式的に示すブロック図が示されている。図4に示すように、この画像処理ユニットは、撮影機器としてのカメラ11に組み込まれている画像信号出力部12からカラー画像信号(カラー画像データ)を受け取る。画像処理ユニットには、グレースケール化モジュール4と、ターゲット位置決定モジュール5と、取付精度判定モジュール6とが含まれている。グレースケール化モジュール4は、画像信号出力部12から送られてきたカラー撮影画像であるカラー画像データを入力して、図示されていないワーキングメモリに展開する。さらに、このカラー画像データを白黒撮影画像であるグレースケール画像データに変換する。ターゲット位置決定モジュール5は、ワーキングメモリに展開されている白黒撮影画像であるグレースケール画像データからターゲット2の位置、特にターゲット2の較正点Qの位置を求める。取付精度判定モジュール6は、ターゲット位置決定モジュール5によって特定されたターゲット2の較正点Qの位置と目標となる較正点位置との差からカメラ11の取付精度の判定を行う。
グレースケール化モジュール4は、ターゲット色設定部41と、グレースケール化プロファイル格納部42と、グレースケール化プロファイル選択部43と、グレースケール化部44とを含んでいる。ターゲット色設定部41は、処理対象となるターゲット2の特徴色である第1カラー色と第2カラー色とをキーボード14からの入力操作を通じて設定する。もちろん、入力されてきたカラー画像データから、第1カラー色と第2カラー色を推定して設定する方法を採用してもよい。
グレースケール化プロファイル格納部42は、図1を用いて説明したグレースケール化処理に用いられる、グレースケール変換テーブルとしてのグレースケール化プロファイル(色空間変換マトリックス)を格納している。この実施形態では、各グレースケール化プロファイルは、ターゲット2の特定の色構成(ここでは第1カラー色としての青色と第2カラー色としての赤色)との組み合わせ毎に作成されているので、ターゲット色設定部41で設定されているターゲット2の色構成を検索キーワードとして検索抽出できるようにデータベース化されている。
グレースケール化プロファイル選択部43は、ターゲット色設定部41で設定されているターゲット2の色構成、ここでは青と赤の市松模様の色構成から適合するグレースケール化プロファイルを選択し、グレースケール化部44に与える。グレースケール化部44は、グレースケール化プロファイル選択部43によって選択されたグレースケール化プロファイルを用いてカラー画像データからグレースケース画像データを生成する。
ターゲット位置決定モジュール5は、この実施形態では、前処理部51と、輝度差算定部52と、しきい値設定部53と、ターゲット領域判定部54と、境界検出部55と、ターゲット位置算定部56とを含んでいる。前処理部51は、必要に応じてカメラ11のレンズ特性を起因とする画像歪の補正などを行う。輝度差算定部52は、選択されたグレースケール化プロファイルを用いて第1カラー色及び第2カラー色がグレースケース化されることで得られる第1モノクロ色及び第2モノクロ色の輝度差を算定する。しきい値設定部53は、輝度差算定部52によって算定された輝度差演算値に基づいて、対象画素(対象領域)が第1モノクロ色(第1カラー色:青色)であるかまたは第2モノクロ色(第2カラー色:赤色)であるかを判定するための判定条件としての特定色検出しきい値を設定する。
領域判定部54は、しきい値設定部53によって設定されたしきい値を用いて、ターゲット2を含むグレースケール画像データを順次走査し、第1ターゲット領域(青色領域)と第2ターゲット領域(赤色領域)とを区分け判定する。
境界検出部55は、領域判定部54による第1ターゲット領域(青色領域)と第2ターゲット領域(赤色領域)の判定結果を利用して、ターゲット2における青色領域と赤色領域との境界を検出する。境界検出部55よって検出された境界、つまり2つの境界線の交点が較正点Qとなるので、ターゲット位置算定部56は境界検出部55による境界検出結果に基づいて、撮像画像におけるターゲット2の位置、つまり較正点Qを算定することができる。
境界検出部55は、領域判定部54による第1ターゲット領域(青色領域)と第2ターゲット領域(赤色領域)の判定結果を利用して、ターゲット2における青色領域と赤色領域との境界を検出する。境界検出部55よって検出された境界、つまり2つの境界線の交点が較正点Qとなるので、ターゲット位置算定部56は境界検出部55による境界検出結果に基づいて、撮像画像におけるターゲット2の位置、つまり較正点Qを算定することができる。
なお、カメラ11によって取得され、画像信号出力部12から出力されるカラー画像信号はビデオ信号生成部33を通じてモニタ13にカラー撮影画像として表示される。
次に、上述したように構成されたグレースケール化モジュール4とターゲット位置決定モジュール5とを備えたカラーターゲット位置決定装置における制御の流れを図5を用いて説明する。
まず、車両1は、検査場の所定位置に正確に位置決め停車される(#01)。停車の確認後、カメラ11を動作させ、車両周辺を撮影する(#02)。所定位置に停車した車両1のカメラ11によるカラー撮影画像には、カメラ11の取り付け精度が多少悪くても2つのターゲット2の画像が含まれるようにカメラは設定されている。画像信号出力部12を通じて出力されたカラー画像データは、例えば、ホワイトバランス補正などの基本的な画像処理が施される(#03)。
まず、車両1は、検査場の所定位置に正確に位置決め停車される(#01)。停車の確認後、カメラ11を動作させ、車両周辺を撮影する(#02)。所定位置に停車した車両1のカメラ11によるカラー撮影画像には、カメラ11の取り付け精度が多少悪くても2つのターゲット2の画像が含まれるようにカメラは設定されている。画像信号出力部12を通じて出力されたカラー画像データは、例えば、ホワイトバランス補正などの基本的な画像処理が施される(#03)。
次に、処理対象となっているターゲット2のカラー構成として、ターゲット色設定部41に予め設定されている処理対象となるターゲット2の特徴色である第1カラー色と第2カラー色とを読み出す(#04)。読み出されたカラー構成を検索キーワードとして、適合するグレースケール化プロファイルを選択する(#05)。選択されたグレースケール化プロファイルを用いて、カラー画像データをグレースケール画像データに変換する(#06)。
変換されたグレースケール画像データはターゲット位置決定処理に用いられる。ターゲット位置決定処理では、輝度差算定部52が第1モノクロ色及び第2モノクロ色の輝度差演算値を算定する(#11)。次に、輝度差演算値に基づいてしきい値設定部53が、ターゲット2の第1ターゲット領域(青領域)に対する検出しきい値の設定と(#12)、ターゲット2の第2ターゲット領域(赤領域)に対する検出しきい値とを設定する(#13)。これは、例えば、輝度差(輝度差演算値)が大きい場合には良好な光環境で撮影されたものであると推察できるので、自動での検出精度を高めるために検出しきい値を厳しく設定する(第1ターゲット領域(青領域)に対する検出しきい値と第2ターゲット領域(赤領域)に対する検出しきい値との間を大きくする)ことが想定される。逆に、輝度差(輝度差演算値)が小さい場合には、良好でない光環境(暗い光環境)で撮影されたものであると推察されるので、まずは自動による検出を可能にするために検出しきい値を緩めに設定する(第1ターゲット領域(青領域)に対する検出しきい値と第2ターゲット領域(赤領域)に対する検出しきい値との間を小さくする)ことが想定される。このようなしきい値を可変にする方法は、自動による検出後に作業者による手動の微調整を行う場合に好適である。ここで設定されたしきい値を用いて、ターゲット2の第1ターゲット領域(青領域)の判定(#14)と第2ターゲット領域(赤領域)の判定(#15)を行う。次いで、第1ターゲット領域と第2ターゲット領域の判定結果から、ターゲット2の第1ターゲット領域と第2ターゲット領域との境界線を検出する(#16)。もちろん、ターゲット2の第1ターゲット領域と第2ターゲット領域の判定及び第1ターゲット領域と第2ターゲット領域との境界線の検出を同時に実施することも可能である。いずれにせよ、検出された第1ターゲット領域と第2ターゲット領域との境界線は、ほぼ2本の線が直交する形態を示すことになるので、その交点を較正点として較正点座標を算定する(#17)。なお、上述のステップ#12及び#13のような検出しきい値を可変とするような処理をせず、あらかじめ定められたしきい値が用いられるような構成であってもよい。
以上の処理ステップにより、ターゲット2の位置、つまり較正点の座標位置を求めることができる。従って、次に、予め設定されている目標較正点とステップ#17で算定された較正点とのずれ量を算定する(#18)。この算定されたずれ量に基づき、取付精度判定モジュール6が、カメラ11の取付精度の判定を行う(#19)。
〔別実施形態〕
(1) 図6に別実施形態での画像処理機能を示す機能ブロック図が示されている。この別実施形態と図4で示された実施形態での画像処理機能との違いは、光源推定部45が追加されていることと、グレースケール化プロファイルの内容である。光源推定部45は、画像信号出力部12から受け取ったカラー画像データから算出された種々の画像特徴量、例えば、平均輝度、ヒストグラム特性、色成分割合などを入力パラメータとして重み演算やルール演算などのシミュレーション演算を行い、光源種を推定して出力する。ここでの重み演算とは、例えばニューラルネットワークで用いられているような、各入力パラメータに重み係数を付与し、繰り返し学習によってこの重み係数の修正を行って、出力結果の誤差を最小にした演算式を用いた演算の総称である。また、ルール演算とは、ifthen文のような所定のルールに基づいて、結果を導く演算の総称である。ルール自体の内容としては、例えば、「B(青)色成分値が所定値より高くR(赤)とG(緑)の成分値が所定値より低いならば、オレンジランプの可能性が所定%以上」などが挙げられる。なお、光源種として、タングステンランプ、ナトリウムランプ、蛍光ランプ、LEDランプなどが挙げられるが、太陽光に含めて、互い同士の組み合わせもここで推定される光源種としてもよい。また、その各ランプの強度、色影響の大きさ別に同一光源種を区分けしてもよい。
(1) 図6に別実施形態での画像処理機能を示す機能ブロック図が示されている。この別実施形態と図4で示された実施形態での画像処理機能との違いは、光源推定部45が追加されていることと、グレースケール化プロファイルの内容である。光源推定部45は、画像信号出力部12から受け取ったカラー画像データから算出された種々の画像特徴量、例えば、平均輝度、ヒストグラム特性、色成分割合などを入力パラメータとして重み演算やルール演算などのシミュレーション演算を行い、光源種を推定して出力する。ここでの重み演算とは、例えばニューラルネットワークで用いられているような、各入力パラメータに重み係数を付与し、繰り返し学習によってこの重み係数の修正を行って、出力結果の誤差を最小にした演算式を用いた演算の総称である。また、ルール演算とは、ifthen文のような所定のルールに基づいて、結果を導く演算の総称である。ルール自体の内容としては、例えば、「B(青)色成分値が所定値より高くR(赤)とG(緑)の成分値が所定値より低いならば、オレンジランプの可能性が所定%以上」などが挙げられる。なお、光源種として、タングステンランプ、ナトリウムランプ、蛍光ランプ、LEDランプなどが挙げられるが、太陽光に含めて、互い同士の組み合わせもここで推定される光源種としてもよい。また、その各ランプの強度、色影響の大きさ別に同一光源種を区分けしてもよい。
グレースケール化プロファイル格納部42に格納されるグレースケール化プロファイルは、上述したようなターゲット2の特定の色構成(第1カラー色と第2カラー色)との組み合わせ毎に作成されるだけでなく、さらに光源推定部45で推定される光源種毎にも作成されている。従って、グレースケール化プロファイル選択部43は、ターゲット色設定部41で設定されているターゲット2の色構成と、光源推定部45で推定された光源種を検索キーワードとしてグレースケール化プロファイルを選択する。この構成により、ターゲット撮影時の光源種による悪影響も抑制されたターゲット位置決定が可能となる。
(2) 上述したグレースケール化モジュール4やターゲット位置決定モジュール5における各機能部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はない。マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって各機能が実現されるものでも勿論構わない。
(3) 上述した実施形態では、このカラーターゲット位置決定装置の処理対象となるターゲット2は、車載カメラ取付位置の判定用ターゲット2であったが、駐車場やバッテリ充電ステーションでの停止目標用ターゲットであってもよい。また、道路上に描かれている白線や黄線などをターゲット2とみなして、本発明を適用しても良い。
(4) 上記実施形態では、ターゲット2が光源によって受ける色影響を低減する特性を持つグレースケール化プロファイルとして、第1色(青)に対する色影響を低減させるためのグレースケール化プロファイルと、第2色(赤)に対する色影響を低減させるためのグレースケール化プロファイルとを融合させた、青・赤共通グレースケール化プロファイルが用いられた。これに代えて、青色に対する色影響を低減させるための青補正グレースケール化プロファイルと赤色に対する色影響を低減させるため赤補正グレースケール化プロファイルを用意し、これらを個別に適用させる構成を採用してもよい。
本発明は、異なる色の組み合わせを特徴とするターゲットのカラー画像をグレースケール画像に変換して、異なる色の境界を検出する画像処理技術に広く利用することができる。
2:カラーターゲット
4:グレースケール化モジュール
41:ターゲット色設定部
42:グレースケール化プロファイル格納部
43:グレースケール化プロファイル選択部
44:グレースケール化部
45:光源推定部
5:ターゲット位置決定モジュール
6:取付精度判定モジュール
Q:較正点(ターゲットの中心位置)
4:グレースケール化モジュール
41:ターゲット色設定部
42:グレースケール化プロファイル格納部
43:グレースケール化プロファイル選択部
44:グレースケール化部
45:光源推定部
5:ターゲット位置決定モジュール
6:取付精度判定モジュール
Q:較正点(ターゲットの中心位置)
Claims (8)
- 第1カラー色の第1ターゲット領域と当該第1カラー色とは異なる色成分を有する第2カラー色の第2ターゲット領域との組み合わせからなるカラーターゲットを撮影して得られたカラー画像データに基づいて前記カラーターゲットの撮影画像における位置を決定するターゲット位置決定装置であって、
前記第1カラー色から変換される第1モノクロ色と前記第2カラー色から変換される第2モノクロ色との輝度差が前記第1カラー色と前記第2カラー色との輝度差より大きくなるように前記第1カラー色と前記第2カラー色とをそれぞれ前記第1モノクロ色と前記第2モノクロ色とに変換するグレースケール化プロファイルを格納するグレースケール化プロファイル格納部と、
前記グレースケール化プロファイルを用いて前記カラー画像データをグレースケール画像データに変換するグレースケール化部と、
前記グレースケール画像データにおける前記カラーターゲットの前記第1ターゲット領域と前記第2ターゲット領域との間の境界を認識して、前記撮影画像におけるターゲット位置を決定するターゲット位置決定モジュールと、
を備えたターゲット位置決定装置。 - 前記グレースケール化プロファイルは、前記第1カラー色の色成分が大きいほど白色に近づくとともに前記第2カラー色の色成分が大きいほど黒色に近づくように作成されている請求項1に記載のターゲット位置決定装置。
- 前記第1カラー色が赤色であり、前記第2カラー色が青色である請求項2に記載のターゲット位置決定装置。
- 前記第1カラー色が青色であり、前記第2カラー色が赤色である請求項2に記載のターゲット位置決定装置。
- 前記カラーターゲットに利用される前記第1カラー色と前記2カラー色との異なる色組み合わせ毎の前記グレースケール化プロファイルが前記グレースケール化プロファイル格納部に格納されている請求項1から4のいずれか一項に記載のターゲット位置決定装置。
- 前記グレースケール化プロファイルは、前記カラーターゲットを照明している照明光源種毎に作成され、前記グレースケール化プロファイル格納部に格納されている請求項1から5のいずれか一項に記載のターゲット位置決定装置。
- 前記第1ターゲット領域と前記第2ターゲット領域とが隣り合って配置されている請求項1から6のいずれか一項に記載のターゲット位置決定装置。
- 前記第1ターゲット領域と前記第2ターゲット領域とは複数の直線状境界線を作り出すように配置され、前記直線状境界線の交点をターゲットの中心位置とする請求項7に記載のターゲット位置決定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012529527A JP5252247B2 (ja) | 2010-08-19 | 2011-07-14 | ターゲット位置決定装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010184185 | 2010-08-19 | ||
JP2010184185 | 2010-08-19 | ||
JP2012529527A JP5252247B2 (ja) | 2010-08-19 | 2011-07-14 | ターゲット位置決定装置 |
PCT/JP2011/066124 WO2012023370A1 (ja) | 2010-08-19 | 2011-07-14 | ターゲット位置決定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5252247B2 true JP5252247B2 (ja) | 2013-07-31 |
JPWO2012023370A1 JPWO2012023370A1 (ja) | 2013-10-28 |
Family
ID=45605031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012529527A Expired - Fee Related JP5252247B2 (ja) | 2010-08-19 | 2011-07-14 | ターゲット位置決定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20130101211A1 (ja) |
EP (1) | EP2608545A4 (ja) |
JP (1) | JP5252247B2 (ja) |
CN (1) | CN103069808A (ja) |
WO (1) | WO2012023370A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9135718B2 (en) * | 2012-03-30 | 2015-09-15 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
CN108256521B (zh) * | 2017-12-29 | 2021-06-22 | 济南中维世纪科技有限公司 | 用于车身颜色识别的有效区域定位方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008131250A (ja) * | 2006-11-20 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
JP2010016661A (ja) * | 2008-07-04 | 2010-01-21 | Murata Mach Ltd | 画像処理装置 |
WO2010016379A1 (ja) * | 2008-08-05 | 2010-02-11 | アイシン精機株式会社 | ターゲット位置特定装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6891960B2 (en) * | 2000-08-12 | 2005-05-10 | Facet Technology | System for road sign sheeting classification |
EP1220182A3 (en) * | 2000-12-25 | 2005-08-17 | Matsushita Electric Industrial Co., Ltd. | Image detection apparatus, program, and recording medium |
US7231063B2 (en) * | 2002-08-09 | 2007-06-12 | Intersense, Inc. | Fiducial detection system |
JP4155049B2 (ja) * | 2003-02-14 | 2008-09-24 | 富士ゼロックス株式会社 | ドキュメント処理装置 |
US8462384B2 (en) * | 2004-09-29 | 2013-06-11 | Apple Inc. | Methods and apparatuses for aesthetically enhanced image conversion |
KR100782505B1 (ko) * | 2006-09-19 | 2007-12-05 | 삼성전자주식회사 | 이동통신 단말기의 명암색을 이용한 영상 표시 방법 및장치 |
US8596541B2 (en) * | 2008-02-22 | 2013-12-03 | Qualcomm Incorporated | Image capture device with integrated barcode scanning |
-
2011
- 2011-07-14 CN CN2011800400564A patent/CN103069808A/zh active Pending
- 2011-07-14 JP JP2012529527A patent/JP5252247B2/ja not_active Expired - Fee Related
- 2011-07-14 US US13/805,480 patent/US20130101211A1/en not_active Abandoned
- 2011-07-14 WO PCT/JP2011/066124 patent/WO2012023370A1/ja active Application Filing
- 2011-07-14 EP EP11818014.0A patent/EP2608545A4/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008131250A (ja) * | 2006-11-20 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
JP2010016661A (ja) * | 2008-07-04 | 2010-01-21 | Murata Mach Ltd | 画像処理装置 |
WO2010016379A1 (ja) * | 2008-08-05 | 2010-02-11 | アイシン精機株式会社 | ターゲット位置特定装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012023370A1 (ja) | 2013-10-28 |
EP2608545A1 (en) | 2013-06-26 |
WO2012023370A1 (ja) | 2012-02-23 |
CN103069808A (zh) | 2013-04-24 |
EP2608545A4 (en) | 2013-06-26 |
US20130101211A1 (en) | 2013-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101205428B1 (ko) | 타겟 위치 특정 장치 | |
US11915516B2 (en) | Information processing device and recognition support method | |
US8358835B2 (en) | Method for detecting and correcting chromatic aberration, and apparatus and method for processing image using the same | |
US20140085473A1 (en) | In-vehicle camera apparatus | |
CN109408008B (zh) | 影像辨识系统及其信息显示方法 | |
CN106161974A (zh) | 利用高动态范围功能的车辆用显示装置及其方法 | |
EP1311130B1 (en) | Method for matching stereoscopic color images | |
JP5697646B2 (ja) | 車両周辺監視装置 | |
JP2011254311A (ja) | 車両周辺画像処理装置 | |
JP5240517B2 (ja) | 車載カメラの校正装置 | |
JP5252247B2 (ja) | ターゲット位置決定装置 | |
JP2009134591A (ja) | 車色判定装置、車色判定システム及び車色判定方法 | |
JP5590387B2 (ja) | カラーターゲット位置決定装置 | |
CN109726708A (zh) | 一种车道线识别方法及装置 | |
JP5056931B2 (ja) | 車色判定装置、車色判定システム及び車色判定方法 | |
JP4053280B2 (ja) | 画像処理装置および画像処理方法 | |
JP5904825B2 (ja) | 画像処理装置 | |
KR102373571B1 (ko) | 서라운드 뷰 모니터링 시스템 및 그 방법 | |
WO2020195515A1 (ja) | 撮像装置及び画像処理方法 | |
JP2000356514A (ja) | ステレオカメラを用いた距離計測方法及び距離計測装置 | |
JP2006053801A (ja) | 物体検出装置及び物体検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130321 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130403 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5252247 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |