JP6291274B2 - 画像検出処理装置、プログラムおよび集積回路 - Google Patents

画像検出処理装置、プログラムおよび集積回路 Download PDF

Info

Publication number
JP6291274B2
JP6291274B2 JP2014024874A JP2014024874A JP6291274B2 JP 6291274 B2 JP6291274 B2 JP 6291274B2 JP 2014024874 A JP2014024874 A JP 2014024874A JP 2014024874 A JP2014024874 A JP 2014024874A JP 6291274 B2 JP6291274 B2 JP 6291274B2
Authority
JP
Japan
Prior art keywords
gradation conversion
image
detection
hist
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014024874A
Other languages
English (en)
Other versions
JP2015153037A (ja
Inventor
祐次郎 谷
祐次郎 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2014024874A priority Critical patent/JP6291274B2/ja
Priority to PCT/JP2015/050756 priority patent/WO2015122227A1/ja
Publication of JP2015153037A publication Critical patent/JP2015153037A/ja
Application granted granted Critical
Publication of JP6291274B2 publication Critical patent/JP6291274B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理(映像処理)に関する。特に、階調変換処理を用いて、所定の画像領域を検出するための技術に関する。
例えば、自動車の前方に撮像装置(カメラ)を搭載し、その搭載した撮像装置により、自動車の前方のシーンを撮像し、撮像した画像(撮像映像)に含まれる所定の画像領域(所定の画像特徴量を有する画像領域)を検出する技術(例えば、白線検出や車両検出や人物検出等を行う技術)がある。
このような技術において、所定の画像領域の検出精度を高めるために、自動車に搭載した撮像装置が、適切な露出量により、撮像画像を取得することが好ましい。しかしながら、走行する自動車から、例えば、前方のシーンを撮像する場合、自動車が走行する環境が多様であるため、適切な露出量を決定することが容易ではない。
そこで、例えば、特許文献1に開示されている技術のように、ブラケット撮影を行うことが考えられる。つまり、ブラケット撮影により、複数の撮像画像を取得し、取得した複数の撮像画像の中から、露出量が好適な画像を選択し、選択した画像を用いて、所定の画像領域の検出処理を行う。これにより、自動車がどのような環境下で走行していても、良好な撮像画像が取得でき、所定の画像領域の検出処理における検出精度を確保することができる。
特開2003―348438号公報
しかしながら、特許文献1に開示されている技術を用いる場合、露出量を変えて複数回の撮影を行う必要があり、撮像装置(カメラ)の光学系(絞り等)の制御を行う必要がある。そのため、撮像装置において、露出量を変えて複数回の撮影を行うためには、カメラ光学系、イメージセンサ等の撮像素子、および、信号処理部等が、連動して、絞り調整処理(露出量調整処理)、撮像画像取得処理等を行う必要がある。
つまり、特許文献1に開示されている技術を用いる場合、連動した処理を実行する必要があるので、フィードバック制御を行う必要があり、撮像装置の機構、信号処理系統が複雑になる。また、特許文献1に開示されている技術を用いる場合、露出量を変えるために、絞り調整等の機構を動かす処理(機械を制御する処理)を伴うので、処理時間が長くなる。
そこで、本願発明は、上記問題点に鑑み、ブラケット撮影のように、撮影パラメータを変更して実行される複数回の撮影を必要とすることなく、1回の撮影で取得された画像(撮像画像)のみを用いて、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理における検出精度を確保することができる画像検出処理装置、プログラムおよび集積回路を実現することを目的とする。
上記課題を解決するために、第1の発明は、N個(N:2以上の自然数)の階調変換部と、N個の検出部と、統合処理部と、を備える画像検出処理装置である。
N個(N:2以上の自然数)の階調変換部は、入力画像に対して、それぞれ、異なる階調変換特性による階調変換を行う。
N個の検出部は、N個の階調変換部のそれぞれにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得する。
統合処理部は、N個の検出部により取得されたN個の検出精度に基づいて、入力画像から、所定の画像特徴量を有する画像領域を検出する。
この画像検出処理装置では、入力画像(例えば、撮像装置により1回の撮影で取得した画像)に対して、N個の階調変換部が、それぞれ、異なる階調変換特性による階調変換処理を実行した画像を取得する。そして、この画像検出処理装置では、N個の検出部のそれぞれが、N個の階調変換部により取得されたN個の画像を用いて、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を行う。そして、この画像検出処理装置では、統合処理部が、N個の検出部の検出処理の精度を把握し(例えば、ハフ変換を用いた処理により白線検出処理の検出精度を把握して)、N個の検出部の検出結果に基づいて、入力画像から、所定の画像特徴量を有する画像領域を検出する。
つまり、この画像検出処理装置では、上記の通り、1つの入力画像に対して、異なる階調変換により取得した複数の画像を用いて、複数の検出部により、一旦、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を行い、その検出結果を統合、あるいは、最良のものを選択して取得した最終検出結果に基づいて、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を高精度に行うことができる。
すなわち、この画像検出処理装置では、ブラケット撮影のように、撮影パラメータを変更して実行される複数回の撮影を必要とすることなく、1回の撮影で取得された画像(撮像画像)のみを入力画像として用いて、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理における検出精度を確保することができる。
第2の発明は、第1の発明であって、N個の階調変換部は、それぞれ、入力値が第1閾値Aよりも小さい場合、入力値よりも小さい値を出力値とし、入力値が第2閾値B(B>A)よりも大きい場合、入力値と同じ値を出力値とする、入出力特性を有する階調変換特性により階調変換を行う。
この画像検出処理装置では、所定のレベル以下の入力画素値の画素が、入力画素値よりも小さい出力画素値の画素に変換される。これにより、この画像検出処理装置では、露出量を調整して取得されるのと同様の画像を、1つの入力画像から、複数取得することができる。
第3の発明は、第2の発明であって、N個の階調変換部は、それぞれ、入力値が第1閾値Aよりも小さい場合、出力値を「0」とし、入力値が第2閾値B(B>A)よりも大きい場合、入力値と同じ値を出力値とする、入出力特性を有する階調変換特性により階調変換を行う。
この画像検出処理装置では、所定のレベル以下の入力画素値の画素が、「0」の出力画素値の画素に変換される。これにより、この画像検出処理装置では、露出量を調整して取得されるのと同様の画像を、1つの入力画像から、複数取得することができる。
第4の発明は、第3の発明であって、N個の階調変換部は、それぞれ、入力値が、第1閾値A以上であり、かつ、第2閾値B以下である場合、入力値をxとし、出力値をyとすると、
y=B/(B−A)×(x−A)
により決定される値yを出力値とする、入出力特性を有する階調変換特性により階調変換を行う。
これにより、閾値A以上であり、かつ、閾値B以下の入力画素値を有する画素が、上記数式に相当する出力画素値を有する画素に変換される。これにより、この画像検出処理装置では、露出量を調整して取得されるのと同様の画像を、1つの入力画像から、複数取得することができる。
第5の発明は、可変階調変換部と、検出部と、階調変換調整部と、を備える画像検出処理装置である。
可変階調変換部は、入力画像に対して、N個(N:2以上の自然数)の異なる階調変換特性による階調変換を行うことができる。
検出部は、可変階調変換部により階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得する。
階調変換調整部は、検出部により取得された検出精度が所定のレベルよりも悪いと判断した場合、可変階調変換部に階調変換特性の調整処理を実行させるための階調変換調整信号を出力する。
これにより、この画像検出処理装置では、可変階調変換部が複数の階調変換特性による階調変換を行うことができ、現在設定されている階調変換特性による階調変換画像を用いた画像検出処理の精度を、階調変換調整部が監視することができる。したがって、この画像検出処理装置では、現在設定されている階調変換特性による階調変換画像を用いた画像検出処理の精度が悪化した場合、階調変換特性の調整処理を実行し、階調変換画像を用いた画像検出処理の精度を迅速に改善することができる。
また、この画像検出処理装置では、上記処理を、1つの入力画像(例えば、撮像部が1回の撮影で取得した画像(撮像画像))に対して、実行するので、従来技術のように、ブラケット撮影を行う必要もない。
第6の発明は、第5の発明であって、可変階調変換部のN個の階調変換特性は、それぞれ、入力値が第1閾値Aよりも小さい場合、入力値よりも小さい値を出力値とし、入力値が第2閾値B(B>A)よりも大きい場合、入力値と同じ値を出力値とする、入出力特性を有する階調変換特性である。
この画像検出処理装置では、所定のレベル以下の入力画素値の画素が、入力画素値よりも小さい出力画素値の画素に変換される。これにより、この画像検出処理装置では、露出量を調整して取得されるのと同様の画像を、1つの入力画像から、複数取得することができる。
第7の発明は、第6の発明であって、可変階調変換部のN個の階調変換特性は、それぞれ、入力値が第1閾値Aよりも小さい場合、出力値を「0」とし、入力値が第2閾値B(B>A)よりも大きい場合、入力値と同じ値を出力値とする、入出力特性を有する階調変換特性である。
この画像検出処理装置では、所定のレベル以下の入力画素値の画素が、「0」の出力画素値の画素に変換される。これにより、この画像検出処理装置では、露出量を調整して取得されるのと同様の画像を、1つの入力画像から、複数取得することができる。
第8の発明は、第7の発明であって、可変階調変換部のN個の階調変換特性は、それぞれ、入力値が、第1閾値A以上であり、かつ、第2閾値B以下である場合、入力値をxとし、出力値をyとすると、
y=B/(B−A)×(x−A)
により決定される値yを出力値とする、入出力特性を有する階調変換特性である。
これにより、閾値A以上であり、かつ、閾値B以下の入力画素値を有する画素が、上記数式に相当する出力画素値を有する画素に変換される。これにより、この画像検出処理装置では、露出量を調整して取得されるのと同様の画像を、1つの入力画像から、複数取得することができる。
第9の発明は、N個(N:2以上の自然数)の階調変換ステップと、N個の検出ステップと、統合処理ステップと、を備える画像検出処理方法をコンピュータに実行させるためのプログラムである。
N個(N:2以上の自然数)の階調変換ステップは、入力画像に対して、それぞれ、異なる階調変換特性による階調変換を行う。
N個の検出ステップは、N個の階調変換ステップのそれぞれにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得する。
統合処理ステップは、N個の検出ステップにより取得されたN個の検出精度に基づいて、入力画像から、所定の画像特徴量を有する画像領域を検出する。
これにより、第1の発明と同様の効果を奏する画像検出処理方法をコンピュータに実行させるためのプログラムを実現することができる。
第10の発明は、N個(N:2以上の自然数)の階調変換部と、N個の検出部と、統合処理部と、を備える集積回路である。
N個(N:2以上の自然数)の階調変換部は、入力画像に対して、それぞれ、異なる階調変換特性による階調変換を行う。
N個の検出部は、N個の階調変換部のそれぞれにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得する。
統合処理部は、N個の検出部により取得されたN個の検出精度に基づいて、入力画像から、所定の画像特徴量を有する画像領域を検出する。
これにより、第1の発明と同様の効果を奏する集積回路をコンピュータに実行させるためのプログラムを実現することができる。
第11の発明は、可変階調変換ステップと、検出ステップと、階調変換調整ステップと、を備える画像検出処理方法をコンピュータに実行させるためのプログラムである。
可変階調変換ステップは、入力画像に対して、N個(N:2以上の自然数)の異なる階調変換特性による階調変換を行うことができる。
検出ステップは、可変階調変換ステップにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得する。
階調変換調整ステップは、検出ステップにより取得された検出精度が所定のレベルよりも悪いと判断した場合、可変階調変換ステップに階調変換特性の調整処理を実行させるための階調変換調整信号を出力する。
これにより、第5の発明と同様の効果を奏する画像検出処理方法をコンピュータに実行させるためのプログラムを実現することができる。
第12の発明は、N個(N:2以上の自然数)の階調変換部と、N個の検出部と、統合処理部と、を備える集積回路である。
N個(N:2以上の自然数)の階調変換部は、入力画像に対して、それぞれ、異なる階調変換特性による階調変換を行う。
N個の検出部は、N個の階調変換部のそれぞれにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得する。
統合処理部は、N個の検出部により取得されたN個の検出精度に基づいて、入力画像から、所定の画像特徴量を有する画像領域を検出する。
これにより、第5の発明と同様の効果を奏する集積回路をコンピュータに実行させるためのプログラムを実現することができる。
本発明によれば、ブラケット撮影のように、撮影パラメータを変更して実行される複数回の撮影を必要とすることなく、1回の撮影で取得された画像(撮像画像)のみを用いて、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理における検出精度を確保することができる画像検出処理装置、プログラムおよび集積回路を実現することができる。
第1実施形態に係る画像検出処理システム1000の概略構成図。 画像検出処理部1に入力される画像Dinの一例を示す図。 第1階調変換部10A、第2階調変換部10B、および、第3階調変換部10Cにおいて設定される階調変換特性(一例)を示す図。 に、階調変換を実行して取得された、画像D1A、画像D1B、および、画像D1Cを示す図。 画像D1A、D1B、および、D1Cに対して、所定の前処理を実行した後、2値化処理した画像を示す図。 図5の2値化画像の一部(下部)を抽出した画像を示す図。 図6の2値化画像をハフ変換して取得されるデータを示す図。 最終検出結果detを示す図。 検出結果画像Doutの一例を示す図。 図3に示す階調変換特性(コアリング特性)のAの値およびBの値の取り得る範囲を説明するための図。 階調変換特性(一例)を示す図。 階調変換特性(一例)を示す図。 階調変換特性(一例)を示す図。 第2実施形態の画像検出処理システム2000の概略構成図を示す。 階調変換調整信号Adjと、画像D2(画像信号D2)とを、時間軸(横軸)を一致させて示したタイミングチャート。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:画像検出処理システムの構成>
図1は、第1実施形態に係る画像検出処理システム1000の概略構成図である。
画像検出処理システム1000は、図1に示すように、被写体を撮影し、撮像画像を取得する撮像部C1と、撮像部C1が取得した撮像画像に対してカメラ信号処理を実行するカメラ信号処理部C2と、カメラ信号処理部C2によりカメラ信号処理が実行された画像から所定の画像領域を検出する画像検出処理部(画像検出処理装置)1と、検出結果画像を取得する検出結果画像取得部2と、を備える。
撮像部C1は、被写体からの光を集光する光学系(不図示)と、当該光学系により集光された被写体光を光電変換により画像信号(電気信号)として取得する撮像素子(たとえばCCDイメージセンサやCMOSイメージセンサ)(不図示)とを備えている。撮像部C1は、撮像素子により撮像した画像(撮像画像)を、カメラ信号処理部C2に出力する。
カメラ信号処理部C2は、撮像部C1から出力される撮像画像(撮像画像を形成する画像信号)を入力とし、入力された撮像画像に対して、カメラ信号処理(ゲイン調整処理、ガンマ補正処理、アパーチャー調整処理、WB(White Balance)処理、フィルタ処理等)を実行する。そして、カメラ信号処理部C2は、カメラ信号処理を実行した画像を、画像Dinとして、画像検出処理部1および検出結果画像取得部2に出力する。
画像検出処理部1は、図1に示すように、第1階調変換部10Aと、第1検出部11Aと、第2階調変換部10Bと、第2検出部11Bと、第3階調変換部10Cと、第3検出部11Cと、統合処理部12と、を備える。
第1階調変換部10Aは、カメラ信号処理部C2から出力される画像Dinを入力する。第1階調変換部10Aは、画像Dinに対して、第1の階調変換特性による階調変換処理を行い、処理後の画像を画像D1Aとして、第1検出部11Aに出力する。
第1検出部11Aは、第1階調変換部10Aから出力される画像D1Aを入力する。第1検出部11Aは、画像D1Aに対して、所定の画像領域を検出する処理を行い、その検出結果を、detAとして、統合処理部12に出力する。
第2階調変換部10Bは、カメラ信号処理部C2から出力される画像Dinを入力する。第2階調変換部10Bは、画像Dinに対して、第2の階調変換特性による階調変換処理を行い、処理後の画像を画像D1Bとして、第2検出部11Bに出力する。
第2検出部11Bは、第2階調変換部10Bから出力される画像D1Bを入力する。第2検出部11Bは、画像D1Bに対して、所定の画像領域を検出する処理を行い、その検出結果を、detBとして、統合処理部12に出力する。
第3階調変換部10Cは、カメラ信号処理部C2から出力される画像Dinを入力する。第3階調変換部10Cは、画像Dinに対して、第3の階調変換特性による階調変換処理を行い、処理後の画像を画像D1Cとして、第3検出部11Cに出力する。
第3検出部11Cは、第3階調変換部10Cから出力される画像D1Cを入力する。第3検出部11Cは、画像D1Cに対して、所定の画像領域を検出する処理を行い、その検出結果を、detCとして、統合処理部12に出力する。
統合処理部12は、第1検出部11Aからの出力される検出結果detAと、第2検出部11Bからの出力される検出結果detBと、第3検出部11Cからの出力される検出結果detCと、を入力する。統合処理部12は、検出結果detA、detB、および、detCに基づいて、最終検出結果detを取得する(詳細については、後述)。統合処理部12は、取得した最終検出結果detを検出結果画像取得部2に出力する。
検出結果画像取得部2は、カメラ信号処理部C2から出力される画像Dinと、統合処理部12から出力される最終検出結果detとを入力する。検出結果画像取得部2は、最終検出結果detに基づいて、検出結果画像を取得し、取得した検出結果画像を画像Doutとして、出力する。
<1.2:画像検出処理システムの動作>
以上のように構成された画像検出処理システム1000の動作について、以下、説明する。
なお、説明便宜のため、以下では、図2に示す画像が、画像Dinとして、画像検出処理部1に入力される場合について、説明する。そして、画像検出処理システム1000において、検出対象を道路上の白線として、画像検出処理を実行する場合を一例として、以下、説明する。また、画像Dinは、グレースケールの画像であり、画像Dinを構成する画素の画素値は、8ビットデータであり、0〜255の値をとるものとして、以下、説明する。
撮像部C1では、光学系(不図示)により集光された被写体光が光電変換により画像信号(電気信号)として取得される。そして、取得された画像(撮像画像)は、カメラ信号処理部C2に出力される。
カメラ信号処理部C2では、撮像部C1から出力される撮像画像に対して、カメラ信号処理(ゲイン調整処理、ガンマ補正処理、アパーチャー調整処理、WB(White Balance)処理、フィルタ処理等)が実行される。そして、カメラ信号処理が実行された画像は、画像Dinとして、画像検出処理部1および検出結果画像取得部2に出力される。
画像検出処理部1の第1階調変換部10A、第2階調変換部10B、および、第3階調変換部10Cでは、入力される画像Dinに対して、それぞれ異なる階調変換特性による階調変換が実行される。
図3に、第1階調変換部10A、第2階調変換部10B、および、第3階調変換部10Cにおいて設定される階調変換特性(一例)を示す。図3において、横軸(x軸)は、入力画素値であり、縦軸(y軸)は、出力画素値である。
図3に示すように、階調変換特性は、3つの直線により決定される。具体的には、図3に示すAの値(0≦A≦max_in)およびBの値(0≦B≦max_in、B>A)を設定することにより、階調変換特性が決定される。つまり、
(1)入力される画像Dinの画素の画素値xが、0≦x<Aである場合、階調変換後の画像の画素の画素値yは、
y=0
に相当する処理により、階調変換が実行され、
(2)入力される画像Dinの画素の画素値xが、A≦x<Bである場合、階調変換後の画像の画素の画素値yは、
y=B/(B−A)×(x−A)
に相当する処理により、階調変換が実行され、
(3)入力される画像Dinの画素の画素値xが、B≦x<max_in(=255)である場合、階調変換後の画像の画素の画素値yは、
y=x
に相当する処理により、階調変換が実行される。
本実施形態では、第1階調変換部10A、第2階調変換部10B、および、第3階調変換部10Cにおいて、Aの値およびBの値は、以下の通り設定される。
第1階調変換部10A:A=0、B=255
第2階調変換部10B:A=10、B=100
第3階調変換部10C:A=100、B=200
なお、上記は、一例であり、上記設定値に限定されるものではない。
第1階調変換部10Aでは、入力された画像Dinに対して、A=0、B=255とする階調変換が実行され、階調変換後の画像は、画像D1Aとして、第1検出部11Aに出力される。なお、A=0、B=255であるので、第1階調変換部10Aから出力される画像D1Aは、画像Dinと同じ(階調変換されていない画像)となる。
第2階調変換部10Bでは、入力された画像Dinに対して、A=10、B=100とする階調変換が実行され、階調変換後の画像は、画像D1Bとして、第2検出部11Bに出力される。
第3階調変換部10Cでは、入力された画像Dinに対して、A=100、B=200とする階調変換が実行され、階調変換後の画像は、画像D1Cとして、第3検出部11Cに出力される。
図4に、図3の画像Dinに対して、上記階調変換を実行して取得された、画像D1A(図4(a))、画像D1B(図4(b))、および、画像D1C(図4(c))を示す。
図4から分かるように、Aの値およびBの値を変更することで、カメラの露出量を変更したときに取得される画像と類似する画像が取得されることが分かる。
次に、第1検出部11A、第2検出部11B、および、第3検出部11Cでの処理について、図5〜図7を用いて、説明する。
図5は、画像D1A、D1B、および、D1Cに対して、所定の前処理を実行した後、2値化処理した画像を示す図である。
図6は、図5の2値化画像の一部(下部)を抽出した画像を示す図である。
図7は、図6の2値化画像をハフ変換して取得されるデータを示す図である。
第1検出部11Aは、第1階調変換部から出力される画像D1Aに対して、ノイズ低減処理等の前処理を実行した後、所定の画像領域(道路上の白線を形成する画像領域)を検出する処理を実行し、その検出結果を、detAとして、取得する。
例えば、第1検出部11Aは、上記前処理後の画像を2値化し、図5(a)に示す画像を取得する。そして、第1検出部11Aは、2値化した画像に対して、ハフ変換を行う。なお、本実施形態では、検出対象を道路上の白線としているため、白線が存在し得ない画像領域を対象外とする。具体的には、第1検出部11Aは、図5の画像の下部(図5にR1で示した下部領域)のみを抽出し、ハフ変換の対象とする。なお、白線が存在し得ない画像領域は、撮像部C1の設置位置、設置角度、画角、撮像パラメータ(ズーム倍率、焦点距離等)等に基づいて、決定すればよい。
第1検出部11Aは、例えば、図6(a)に示す2値化画像において「1」(階調値255)である画素同士を結ぶ直線を、
r=x×cosθ+y×sinθ
で表し、(r,θ)を求める(ハフ変換を行う)。なお、上記数式において、原点((x,y)=(0,0)の点)は、図6(a)の画像において、左下端の点とする。なお、原点は、他の位置であってもよい。
そして、(r,θ)が同じである直線(図6(a)に示す2値化画像において「1」(階調値255)である画素同士を結ぶ直線)の度数Hist(r,θ)を求める。
さらに、図6(a)に示す2値化画像において「1」(階調値255)である画素の総数をN1とすると、第1検出部11Aは、
Hist1(r,θ)=Hist(r,θ)/N1
により、画素数N1で正規化した度数Hist1(r,θ)を求める。
なお、第1検出部11Aは、度数Hist1(r,θ)が所定の閾値Th1以下である場合、
Hist1(r,θ)=0
として、当該Hist1(r,θ)に対応する直線が検出されないようにする。
図7(a)は、上記のようにして求めたHist1(r,θ)を、ハフ空間(θ−r空間)にプロットしたものである。なお、図7(a)において、プロットした点の丸の大きさは、度数を示しており、丸の大きさが大きい程、度数が多いことを示している(以下、同様)。
以上のようにして求めた度数Hist1(r,θ)のデータは、検出結果detAとして、統合処理部12に出力される。
なお、検出結果detAは、水平方向を角度θとし、垂直方向を距離rとし、画素値を度数Hist1(r,θ)とする画像(ハフ空間領域画像)として、統合処理部12に出力されるものであってもよい。
第2検出部11Bにおいても、上記で説明した第1検出部11Aでの処理と同様の処理が実行される。これにより、第2検出部11Bは、図6(b)の2値化画像から、図7(b)に示す検出結果を取得する。そして、第2検出部11Bにより求められた検出結果detB(度数Hist1(r,θ)のデータ)は、統合処理部12に出力される。
なお、検出結果detBは、水平方向を角度θとし、垂直方向を距離rとし、画素値を度数Hist1(r,θ)とする画像(ハフ空間領域画像)として、統合処理部12に出力されるものであってもよい。
第3検出部11Cにおいても、上記で説明した第1検出部11Aでの処理と同様の処理が実行される。これにより、第3検出部11Cは、図6(c)の2値化画像から、図7(c)に示す検出結果を取得する。そして、第3検出部11Cにより求められた検出結果detC(度数Hist1(r,θ)のデータ)は、統合処理部12に出力される。
なお、検出結果detCは、水平方向を角度θとし、垂直方向を距離rとし、画素値を度数Hist1(r,θ)とする画像(ハフ空間領域画像)として、統合処理部12に出力されるものであってもよい。
統合処理部12では、第1検出部11A、第2検出部11B、および、第3検出部11Cにより取得された検出結果detA、detB、および、detCから、最終検出結果detを取得する。統合処理部12は、例えば、以下の(1)から(3)のいずれかの処理により、検出結果detA、detB、および、detCから、最終検出結果detを取得する。
(1)単純加算方式
統合処理部12は、検出結果detA、detB、および、detCを加算して、最終結果detを取得する。つまり、検出結果detAの(r1,θ1)における度数Hist1(r1,θ1)をH_detA(r1,θ1)とし、検出結果detBの(r1,θ1)における度数Hist1(r1,θ1)をH_detB(r1,θ1)とし、検出結果detCの(r1,θ1)における度数Hist1(r1,θ1)をH_detC(r1,θ1)とし、最終検出結果detの(r1,θ1)における度数をHistAll(r1,θ1)とすると、
HistAll(r1,θ1)
=H_detA(r1,θ1)+H_detB(r1,θ1)
+H_detC(r1,θ1)
により、最終検出結果detの(r1,θ1)における度数HistAll(r1,θ1)を取得する。そして、上記処理を全ての(r,θ)について行うことで、取得したHistAll(r,θ)を、最終検出結果detとして取得する。
このようにして取得した最終検出結果detを、図8(a)に示す。
(2)重み付け加算方式
統合処理部12は、検出結果detA、detB、および、detCを重み付け加算して、最終結果detを取得する。つまり、検出結果detAの(r1,θ1)における度数Hist1(r1,θ1)をH_detA(r1,θ1)とし、検出結果detBの(r1,θ1)における度数Hist1(r1,θ1)をH_detB(r1,θ1)とし、検出結果detCの(r1,θ1)における度数Hist1(r1,θ1)をH_detC(r1,θ1)とし、最終検出結果detの(r1,θ1)における度数をHistAll(r1,θ1)とすると、
HistAll(r1,θ1)
=w1×H_detA(r1,θ1)+w2×H_detB(r1,θ1)
+w3×H_detC(r1,θ1)
により、最終検出結果detの(r1,θ1)における度数HistAll(r1,θ1)を求める。そして、上記処理を全ての(r,θ)について行うことで、取得したHistAll(r,θ)を、最終検出結果detとして取得する。
なお、重み付けw1、w2、w3は、検出結果detA、detB、および、detCの検出精度が高いと判断できる検出結果の重み付けが大きくなるように設定することが好ましい。例えば、検出結果detA、detB、および、detCが、図7に示すような状態である場合、度数の多い点を有する検出結果detCの検出精度が高いと判断することができるので、統合処理部12は、検出結果detCの重み付けを大きくすることが好ましい。なお、統合処理部12は、検出結果の精度が極端に悪い検出結果の重み付けを「0」にするようにしてもよい。
このようにして取得した最終検出結果detを、図8(b)に示す。
(3)選択方式
統合処理部12は、検出結果detA、detB、および、detCのうち、最も検出精度が高いと判断できる検出結果を、最終結果detとして取得(選択)する。例えば、検出結果detA、detB、および、detCが、図7に示すような状態である場合、統合処理部12は、度数の多い点を有する検出結果detCの検出精度が最も高いと判断し、検出結果detCを、最終結果detとして取得(選択)する。つまり、検出結果detCの度数Hist1(r,θ)をH_detC(r,θ)とすると、統合処理部12は、
HistAll(r,θ)=H_detC(r,θ)
にとして、最終検出結果detを取得する。
このようにして取得した最終検出結果detを、図8(c)に示す。
以上のようにして取得された最終検出結果detは、検出結果画像取得部2に出力される。
検出結果画像取得部2は、統合処理部12により取得された最終検出結果detに基づいて、検出結果画像Doutを生成する。例えば、最終検出結果detが、図8に示すものである場合、最終検出結果det(=HistAll(r,θ))において、HistAll(r,θ)が、所定の閾値Th3よりも多い点のみを抽出する。例えば、図8(a)〜(c)の場合において、
HistAll(d1,θ1)>Th3
HistAll(d2,θ2)>Th3
HistAll(d3,θ3)>Th3
であり、上記3点以外において、HistAll(r,θ)が閾値Th3を超える点がない場合、検出結果画像取得部2は、(r,θ)=(d1,θ1)、(r,θ)=(d2,θ2)、(r,θ)=(d3,θ3)の3点を検出し、当該3点に相当する直線を、道路上の白線であると判定する。そして、検出結果画像取得部2は、例えば、当該判定結果を明示する画像を生成し、検出結果画像Doutとして出力する。
図9に、検出結果画像Doutの一例を示す。図9から分かるように、(r,θ)=(d1,θ1)に相当する直線Ld1と、(r,θ)=(d2,θ2)に相当する直線Ld2と、(r,θ)=(d3,θ3)に相当する直線Ld3と、が検出されており、適切に、道路上の白線が検出されている。
以上のように、画像検出処理システム1000では、撮像部C1が1回の撮影で取得した画像(撮像画像)に対して、第1〜第3階調変換部が、3つの異なる階調変換特性による階調変換処理を実行した画像を取得する。そして、画像検出処理システム1000では、第1〜第3検出部のそれぞれが、第1〜第3階調変換部により取得された3つの画像を用いて、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を行う。そして、画像検出処理システム1000では、統合処理部12が、第1〜第3検出部の検出処理の精度を把握し(例えば、ハフ変換を用いた処理により白線検出処理の検出精度を把握して)、第1〜第3検出部の検出結果の中から検出精度の高い検出結果を最終検出結果として選択し、あるいは、第1〜第3検出部の検出結果を統合した結果を最終検出結果として取得する。さらに、画像検出処理システム1000では、統合処理部12により取得された最終検出結果に基づいて、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を行う。
つまり、画像検出処理システム1000では、上記の通り、撮像部C1が1回の撮影で取得した画像(撮像画像)に対して、異なる階調変換により取得した複数の画像を用いて、複数の検出部により、一旦、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を行い、その検出結果を統合、あるいは、最良のものを選択して取得した最終検出結果に基づいて、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を高精度に行うことができる。
すなわち、画像検出処理システム1000では、ブラケット撮影のように、撮影パラメータを変更して実行される複数回の撮影を必要とすることなく、1回の撮影で取得された画像(撮像画像)のみを用いて、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理における検出精度を確保することができる。
さらに、画像検出処理システム1000では、撮像部C1が1回の撮影で取得した画像(撮像画像)を用いて、上記処理を行うことで、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を高精度に行うことができる。したがって、画像検出処理システム1000では、例えば、絞り等を変更することができない光学系を有する撮像部を用いる場合(露出量を変更することができない場合)であっても、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を高精度に行うことができる。
また、画像検出処理システム1000では、第1〜第3階調変換部が階調変換処理を行うときに用いられる階調変換特性を、図3に示す階調変換特性(コアリング特性)としたため、Aの値と、Bの値とを調整するだけで、簡単に階調変換特性を変更することができる。なお、例えば、検出対象が、道路上の白線である場合、以下のようにして、図3に示す階調変換特性(コアリング特性)のAの値およびBの値の取り得る範囲を決定すればよい。これについて、図10を用いて、説明する。
図10は、図3に示す階調変換特性(コアリング特性)のAの値およびBの値の取り得る範囲を説明するための図である。
例えば、画像を形成する画素の画素値Pxの取り得る範囲が0〜255である場合(8ビットデータである場合)において、道路上の白線を検出する場合を一例として説明する。この場合、図10に示す、画素値Pxの取り得る最大値maxは、「255」であり、画素値Pxの取り得る最小値minは、「0」である。そして、検出対象である白線が、画像上において、かすれない状態で表示されるときに、当該白線を形成する画像領域を構成する画素の画素値Pxが取り得る値域を、図10に示す値域Ra1(値域Ra1:γ≦Px≦max)とする。また、検出対象である白線が、画像上において、かすれのある状態で表示されるときに、当該白線を形成する画像領域を構成する画素の画素値Pxが取り得る値域を、図10に示す値域Ra2(値域Ra1:β≦Px≦max、β<γ)とする。また、検出対象である白線の背景となる道路(例えば、アスファルト)を形成する画像領域を構成する画素の画素値Pxが取り得る値域を、図10に示す値域Rb(値域Rb:min≦Px≦α、α<β)とする。
このとき、かすれのない白線を検出する場合、図3に示す階調変換特性(コアリング特性)のAの値およびBの値は、以下を満たすように設定されればよい。
A≦α+m1
B>γ−m2
なお、m1およびm2は、正の数であり、許容誤差(マージン)を設定するための値である。
また、かすれのない白線だけでなく、かすれのある白線も検出する場合、図3に示す階調変換特性(コアリング特性)のAの値およびBの値は、以下を満たすように設定されればよい。
A≦α+m3
B>β−m4
なお、m3およびm4は、正の数であり、許容誤差(マージン)を設定するための値である。
画像検出処理システム1000では、上記のように、道路上の白線を検出する場合、上記を満たすように、Aの値およびBの値を設定するだけで良いため、第1〜第3階調変換部における階調変換特性を簡単に設定することができる。さらに、上記のように、検出対象を考慮して、Aの値域、および、Bの値域を決定し、その値域に含まれるように、Aの値およびBの値が決定されるため、画像検出処理システム1000の第1〜第3階調変換部で実行される階調変換で取得される階調変換画像の品質が一定レベル以上の画像となることを保証することができる。その結果、画像検出処理システム1000の統合処理部12で取得される最終検出結果の精度も高いものとなり、画像検出処理システム1000における画像検出処理を高精度に行うことができる。
また、上記では、画像検出処理システム1000が、3つの階調変換部(第1〜第3階調変換部)を含む場合について説明したが、これに限定されることはなく、画像検出処理システム1000は、さらに多くの階調変換部を含むものであってもよい。この場合においても、各階調変換部の階調変換特性を、上記のように決定したAの値域、および、Bの値域に含まれるようにして、Aの値、および、Bの値を設定することで、より多くの階調変換画像を取得することができる。そして、統合処理部12が、取得したより多くの階調変換画像の検出結果を用いることで、さらに高精度の最終検出結果を取得することができ、その結果、さらに高精度の画像検出処理を実行することができる。
また、上記では、第1〜第3階調変換部における階調変換特性が、図3に示す階調変換特性を有する場合について説明したが、これに限定されず、第1〜第3階調変換部の階調変換特性は、例えば、図11〜図13に示す階調変換特性であってもよい。
つまり、図11に示すように、入力される画像Dinの画素の画素値xは、以下の数式に相当する処理により、階調変換されるものであってもよい。
y=Aout/A×(x−A)+Aout 0≦x<A
y=(B−Aout)/(B−A)×(x−A)+Aout A≦x<B
y=x x≧B
なお、yは、階調変換後の画素値である。
また、図12に示すように、入力される画像Dinの画素の画素値xは、以下の数式に相当する処理により、階調変換されるものであってもよい。
y=Aout/A×(x−A)+Aout 0≦x<A
y=(Bout−Aout)/(B−A)×(x−A)+Aout A≦x<B
y=(C−Bout)/(C−B)×(x−B)+Bout B≦x<C
y=x x≧C
なお、yは、階調変換後の画素値である。
また、図13に示すように、入力される画像Dinの画素の画素値xは、以下の数式に相当する処理により、階調変換されるものであってもよい。
y=(x/B)^A 0≦x<B
y=x x≧B
A≧1
なお、yは、階調変換後の画素値である。
また、図11〜図13の階調変換特性は、画像検出処理システム1000がN個(N:自然数)の階調変換部を有する場合に、適用されるものであってもよい。
[第2実施形態]
次に、第2実施形態について、説明する。
なお、本実施形態において、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
<2.1:画像検出処理システムの構成>
図14に、第2実施形態の画像検出処理システム2000の概略構成図を示す。
図14に示すように、画像検出処理システム2000は、第1実施形態の画像検出処理システム1000において、画像検出処理部1を、画像検出処理部3に置換した構成を有している。
画像検出処理部3は、図14に示すように、可変階調変換部31と、検出部32と、階調変換調整部33とを備える。
可変階調変換部31は、カメラ信号処理部C2から出力される画像Dinと、階調変換調整部33から出力される階調変換調整信号Adjおよびパラメータ設定信号とを入力する。可変階調変換部31は、画像Dinに対して、パラメータ設定信号により設定される階調変換特性により、階調変換処理を行い、処理後の画像を画像D2として、検出部32に出力する。また、可変階調変換部31は、階調変換調整信号Adjに基づいて、階調変換調整処理を行う。なお、可変階調変換部31は、複数の階調変換特性による階調変換処理を行うことができる。
検出部32は、可変階調変換部31から出力される画像D2を入力する。検出部32は、画像D2に対して、所定の画像領域を検出する処理を行い、その検出結果を、detとして、階調変換調整部33および検出結果画像取得部2に出力する。
階調変換調整部33は、検出部32から出力される検出結果detを入力する。階調変換調整部33は、検出結果detに基づいて、階調変換調整信号Adjを生成し、生成した階調変換調整信号Adjを可変階調変換部31に出力する(詳細については、後述)。また、階調変換調整処理に基づいて、可変階調変換部31の階調変換特性を決定するためのパラメータ設定信号を生成し、生成したパラメータ設定信号を可変階調変換部31に出力する。
<2.2:画像検出処理システムの動作>
以上のように構成された画像検出処理システム2000の動作について、以下、説明する。なお、第1実施形態の画像検出処理システム1000と同様の部分については、詳細な説明を省略する。
画像検出処理部3の処理について、図15を用いて、説明する。
図15は、階調変換調整信号Adjと、画像D2(画像信号D2)とを、時間軸(横軸)を一致させて示したタイミングチャートである。
カメラ信号処理部C2から出力される画像Dinは、画像検出処理部3の可変階調変換部31に入力される。
図15の時刻t1において、画像検出処理システム2000の置かれている環境光が大きく変化したものとする。
また、可変階調変換部31は、図8に示す階調変換特性により、複数の階調変換特性を実行することができるものとする。ここでは、可変階調変換部31は、図8に示すAの値およびBの値を設定することにより、3つの階調変換特性を実行するものとする。具体的には、3種類のAの値およびBの値を、パラメータ1〜3とし、以下のように設定する。
パラメータ1:A=0、B=255
パラメータ2:A=10、B=100
パラメータ3:A=100、B=200
また、時刻t1において、画像検出処理部3に入力される画像Dinは、図2に示す画像であるものとする。また、検出対象は、第1実施形態と同様に、道路上の白線とする。
また、図15において、画像(画像信号)D2の部分の「D2(para1)」は、パラメータ1により決定される階調変換特性により、階調変換された画像が出力されていることを示しており、「D2(para2)」は、パラメータ2により決定される階調変換特性により、階調変換された画像が出力されていることを示しており、「D2(para3)」は、パラメータ3により決定される階調変換特性により、階調変換された画像が出力されていることを示している。
図15の時刻t1よりも前では、可変階調変換部31は、パラメータ1により決定される階調変換により階調変換画像D2を取得している。そして、検出部32では、第1実施形態と同様に、階調変換画像D2に対して画像領域の検出処理が実行され、その検出結果detが、階調変換調整部33に出力されている。
階調変換調整部33は、検出結果detに基づいて、検出精度が十分であると判定し、現在設定されているパラメータ1による階調変換処理で、十分精度の高い画像検出処理が実行されていると判断する。そのため、階調変換調整部33は、階調変換調整信号Adjを、階調変換特性の調整処理が不要であることを示す信号値「0」にして、可変階調変換部31に出力している。
図15の時刻t1において、階調変換調整部33は、検出結果detに基づいて、検出精度が十分ではないと判定し、現在設定されているパラメータ1による階調変換処理では、十分精度の高い画像検出処理が実行できないと判断する。そして、階調変換調整部33は、階調変換調整信号Adjを、階調変換特性の調整処理が必要であることを示す信号値「1」にして、可変階調変換部31に出力する。
可変階調変換部31では、階調変換調整部33から、階調変換特性の調整処理が必要であることを示す信号値「1」である階調変換調整信号Adjを受信すると、階調変換特性の調整処理を行う。つまり、可変階調変換部31は、1フレームごとに、パラメータを変えて、階調変換を変更した階調変換画像D2を検出部32に出力する。
具体的には、時刻t1〜t2の期間(1フレームに相当する期間)において、可変階調変換部31は、パラメータ1により決定される階調変換特性による階調変換を行い、階調変換調整部33は、このときの画像検出処理の検出精度についての情報を保持する。
時刻t2〜t3の期間(1フレームに相当する期間)において、可変階調変換部31は、パラメータ2により決定される階調変換特性による階調変換を行い、階調変換調整部33は、このときの画像検出処理の検出精度についての情報を保持する。
時刻t3〜t4の期間(1フレームに相当する期間)において、可変階調変換部31は、パラメータ3により決定される階調変換特性による階調変換を行い、階調変換調整部33は、このときの画像検出処理の検出精度についての情報を保持する。
時刻t4において、階調変換調整部33は、上記の3通りの階調変換による画像検出処理の検出精度のうち、最も検出精度の高い階調変換を特定する。図15の場合、最も検出精度の高い階調変換が、パラメータ2により決定される階調変換特性による階調変換であったものとすると、階調変換調整部33は、可変階調変換部31の階調変換特性が、パラメータ2により決定される階調変換特性となるように、パラメータ設定信号を生成し、生成したパラメータ設定信号を可変階調変換部31に出力する。
可変階調変換部31は、階調変換調整部33から、上記パラメータ設定信号を受信すると、当該パラメータ設定信号に基づいて、階調変換特性を、パラメータ2により決定される階調変換特性となるように、Aの値とBの値を設定する。
これにより、図15の時刻4以降において、可変階調変換部31では、パラメータ2により決定される階調変換特性による階調変換が実行され、画像検出処理の精度が確保される。
以上のように、画像検出処理システム2000では、可変階調変換部31が複数の階調変換特性による階調変換を行うことができ、現在設定されている階調変換特性による階調変換画像を用いた画像検出処理の精度を、階調変換調整部33が監視しているので、現在設定されている階調変換特性による階調変換画像を用いた画像検出処理の精度が悪化した場合、階調変換特性の調整処理を実行し、階調変換画像を用いた画像検出処理の精度を迅速に改善することができる。
また、画像検出処理システム2000では、上記処理を、撮像部C1が1回の撮影で取得した画像(撮像画像)に対して、実行するので、従来技術のように、ブラケット撮影を行う必要もない。
また、画像検出処理システム2000では、撮像部C1が1回の撮影で取得した画像(撮像画像)を用いて、上記処理を行うことで、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を高精度に行うことができる。したがって、画像検出処理システム1000では、例えば、絞り等を変更することができない光学系を有する撮像部を用いる場合(露出量を変更することができない場合)であっても、所定の画像領域(所定の画像特徴量を有する画像領域)の検出処理を高精度に行うことができる。
また、画像検出処理システム2000では、複数の階調変換特性を可変階調変換部31により実現することができるので、複数の階調変換部を設ける必要がなく、ハードウェアで実現する場合の回路規模を削減することができる。
なお、上記では、可変階調変換部31が実現することができる複数の階調変換特性は、図3の階調変換特性に基づくものであったが、これに限定されることはなく、可変階調変換部31は、例えば、図11〜図13に示す階調変換特性により、複数の階調変換特性による階調変換処理を行うものであってもよい。
[他の実施形態]
上記実施形態において、階調変換特性の種類が3種類である場合について、説明したが、これに限定されることはなく、N種類の階調変換特性を用いて、処理が実行されるものであってもよい。
また、上記実施形態において、検出処理対象が道路上の白線である場合、白線が位置しない画像領域を検出処理の対象外とする場合について説明したが、これに限定されることはなく、例えば、検出処理対象が存在し得ない画像領域を除外した画像を生成し、生成した当該画像を画像検出処理部1、または、画像検出処理部3に入力して、処理を行うようにしてもよい。
また、上記では、検出処理対象が道路上の白線である場合について説明したが、これに限定されることはなく、他の物体を検出処理対象としてもよい。その場合、検出対象物に応じて、検出方法、検出精度の判定等を行うようにすればよい。
また、上記実施形態の一部または全部を組み合わせるようにしてもよい。
また、上記実施形態の画像検出処理システム、画像検出処理部(画像検出処理装置)の一部または全部は、集積回路(例えば、LSI、システムLSI等)として実現されるものであってもよい。
上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る動画像符号化装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
1000、2000 画像検出処理システム
1 画像検出処理部(画像検出処理装置)
10A 第1階調変換部
10B 第2階調変換部
10C 第3階調変換部
11A 第1検出部
11B 第2検出部
11C 第3検出部
12 統合処理部
2 検出結果画像取得部
3 画像検出処理部(画像検出処理装置)
31 可変階調変換部
32 検出部
33 階調変換調整部

Claims (12)

  1. 入力画像に対して、それぞれ、異なる階調変換特性による階調変換を行うN個(N:2以上の自然数)の階調変換部と、
    前記N個の階調変換部のそれぞれにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得するN個の検出部と、
    前記N個の検出部により取得されたN個の前記検出精度に基づいて、最終検出結果を取得する統合処理部と、
    前記入力画像と前記最終検出結果とに基づいて、検出結果画像を取得する検出結果画像取得部と、
    を備え
    前記N個の検出部は、
    前記N個の階調変換部のそれぞれにより階調変換された画像から、2値化画像を取得し、取得した前記2値化画像に対して、画素値が「1」である画素同士を結ぶ直線を
    r=x×cosθ+y×sinθ
    で表し、データ(r,θ)を求めるハフ変換を行い、データ(r,θ)が同じである直線の度数Hist(r,θ)を求めることで、前記検出処理の検出精度を取得し、
    前記統合処理部は、
    (1)前記N個の階調変換部のそれぞれにより取得されたN個の前記度数Hist(r,θ)を、Hist_1(r,θ)、Hist_2(r,θ)、・・・、Hist_N(r,θ)とし、前記最終検出結果をHistAll(r,θ)とすると、
    HistAll(r,θ)=Hist_1(r,θ)+Hist_2(r,θ)+・・・+Hist_N(r,θ)
    により、前記最終検出結果をHistAll(r,θ)を取得する単純加算方式による処理、
    (2)前記N個の階調変換部のそれぞれにより取得されたN個の前記度数Hist(r,θ)を、Hist_1(r,θ)、Hist_2(r,θ)、・・・、Hist_N(r,θ)とし、N個の重み付けデータをw1、w2、・・・、wNとし、前記最終検出結果をHistAll(r,θ)とすると、
    HistAll(r,θ)=w1×Hist_1(r,θ)+w2×Hist_2(r,θ)+・・・+wN×Hist_N(r,θ)
    により、前記最終検出結果をHistAll(r,θ)を取得する重み付け加算方式による処理、および、
    (3)前記N個の階調変換部のそれぞれにより取得されたN個の前記度数Hist(r,θ)のうち、最も度数の多い点を含むデータがHist_most(r,θ)であるとき、
    HistAll(r,θ)=Hist_most(r,θ)
    として、前記最終検出結果を取得する選択方式による処理、
    のいずれかによる処理を実行することで、前記最終検出結果を取得する、
    画像検出処理装置。
  2. 前記N個の階調変換部は、それぞれ、
    入力値が第1閾値Aよりも小さい場合、前記入力値よりも小さい値を出力値とし、
    入力値が第2閾値B(B>A)よりも大きい場合、前記入力値と同じ値を出力値とする、入出力特性を有する階調変換特性により前記階調変換を行う、
    請求項1に記載の画像検出処理装置。
  3. 前記N個の階調変換部は、それぞれ、
    入力値が前記第1閾値Aよりも小さい場合、出力値を「0」とし、
    入力値が前記第2閾値B(B>A)よりも大きい場合、前記入力値と同じ値を出力値とする、入出力特性を有する階調変換特性により前記階調変換を行う、
    請求項2に記載の画像検出処理装置。
  4. 前記N個の階調変換部は、それぞれ、
    入力値が、前記第1閾値A以上であり、かつ、前記第2閾値B以下である場合、入力値をxとし、出力値をyとすると、
    y=B/(B−A)×(x−A)
    により決定される値yを出力値とする、入出力特性を有する階調変換特性により前記階調変換を行う、
    請求項3に記載の画像検出処理装置。
  5. 入力画像に対して、N個(N:2以上の自然数)の異なる階調変換特性による階調変換を行うことができる可変階調変換部と、
    前記可変階調変換部により階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得する検出部と、
    前記検出部により取得された検出精度が所定のレベルよりも悪いと判断した場合、前記可変階調変換部に階調変換特性の調整処理を実行させるための階調変換調整信号を出力する階調変換調整部と、
    を備える画像検出処理装置。
  6. 前記可変階調変換部の前記N個の階調変換特性は、それぞれ、
    入力値が第1閾値Aよりも小さい場合、前記入力値よりも小さい値を出力値とし、
    入力値が第2閾値B(B>A)よりも大きい場合、前記入力値と同じ値を出力値とする、入出力特性を有する階調変換特性である、
    請求項5に記載の画像検出処理装置。
  7. 前記可変階調変換部の前記N個の階調変換特性は、それぞれ、
    入力値が前記第1閾値Aよりも小さい場合、出力値を「0」とし、
    入力値が前記第2閾値B(B>A)よりも大きい場合、前記入力値と同じ値を出力値とする、入出力特性を有する階調変換特性である、
    請求項6に記載の画像検出処理装置。
  8. 前記可変階調変換部の前記N個の階調変換特性は、それぞれ、
    入力値が、前記第1閾値A以上であり、かつ、前記第2閾値B以下である場合、入力値をxとし、出力値をyとすると、
    y=B/(B−A)×(x−A)
    により決定される値yを出力値とする、入出力特性を有する階調変換特性である、
    請求項7に記載の画像検出処理装置。
  9. 入力画像に対して、それぞれ、異なる階調変換特性による階調変換を行うN個(N:2以上の自然数)の階調変換ステップと、
    前記N個の階調変換ステップのそれぞれにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得するN個の検出ステップと、
    前記N個の検出ステップにより取得されたN個の前記検出精度に基づいて、最終検出結果を取得する統合処理ステップと、
    前記入力画像と前記最終検出結果とに基づいて、検出結果画像を取得する検出結果画像取得ステップと、
    を備え
    前記N個の検出ステップは、
    前記N個の階調変換ステップのそれぞれにより階調変換された画像から、2値化画像を取得し、取得した前記2値化画像に対して、画素値が「1」である画素同士を結ぶ直線を
    r=x×cosθ+y×sinθ
    で表し、データ(r,θ)を求めるハフ変換を行い、データ(r,θ)が同じである直線の度数Hist(r,θ)を求めることで、前記検出処理の検出精度を取得し、
    前記統合処理ステップは、
    (1)前記N個の階調変換ステップのそれぞれにより取得されたN個の前記度数Hist(r,θ)を、Hist_1(r,θ)、Hist_2(r,θ)、・・・、Hist_N(r,θ)とし、前記最終検出結果をHistAll(r,θ)とすると、
    HistAll(r,θ)=Hist_1(r,θ)+Hist_2(r,θ)+・・・+Hist_N(r,θ)
    により、前記最終検出結果をHistAll(r,θ)を取得する単純加算方式による処理、
    (2)前記N個の階調変換ステップのそれぞれにより取得されたN個の前記度数Hist(r,θ)を、Hist_1(r,θ)、Hist_2(r,θ)、・・・、Hist_N(r,θ)とし、N個の重み付けデータをw1、w2、・・・、wNとし、前記最終検出結果をHistAll(r,θ)とすると、
    HistAll(r,θ)=w1×Hist_1(r,θ)+w2×Hist_2(r,θ)+・・・+wN×Hist_N(r,θ)
    により、前記最終検出結果をHistAll(r,θ)を取得する重み付け加算方式による処理、および、
    (3)前記N個の階調変換ステップのそれぞれにより取得されたN個の前記度数Hist(r,θ)のうち、最も度数の多い点を含むデータがHist_most(r,θ)であるとき、
    HistAll(r,θ)=Hist_most(r,θ)
    として、前記最終検出結果を取得する選択方式による処理、
    のいずれかによる処理を実行することで、前記最終検出結果を取得する、
    画像検出処理方法をコンピュータに実行させるためのプログラム。
  10. 入力画像に対して、それぞれ、異なる階調変換特性による階調変換を行うN個(N:2以上の自然数)の階調変換部と、
    前記N個の階調変換部のそれぞれにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得するN個の検出部と、
    前記N個の検出部により取得されたN個の前記検出精度に基づいて、最終検出結果を取得する統合処理部と、
    前記入力画像と前記最終検出結果とに基づいて、検出結果画像を取得する検出結果画像取得部と、
    を備え
    前記N個の検出部は、
    前記N個の階調変換部のそれぞれにより階調変換された画像から、2値化画像を取得し、取得した前記2値化画像に対して、画素値が「1」である画素同士を結ぶ直線を
    r=x×cosθ+y×sinθ
    で表し、データ(r,θ)を求めるハフ変換を行い、データ(r,θ)が同じである直線の度数Hist(r,θ)を求めることで、前記検出処理の検出精度を取得し、
    前記統合処理部は、
    (1)前記N個の階調変換部のそれぞれにより取得されたN個の前記度数Hist(r,θ)を、Hist_1(r,θ)、Hist_2(r,θ)、・・・、Hist_N(r,θ)とし、前記最終検出結果をHistAll(r,θ)とすると、
    HistAll(r,θ)=Hist_1(r,θ)+Hist_2(r,θ)+・・・+Hist_N(r,θ)
    により、前記最終検出結果をHistAll(r,θ)を取得する単純加算方式による処理、
    (2)前記N個の階調変換部のそれぞれにより取得されたN個の前記度数Hist(r,θ)を、Hist_1(r,θ)、Hist_2(r,θ)、・・・、Hist_N(r,θ)とし、N個の重み付けデータをw1、w2、・・・、wNとし、前記最終検出結果をHistAll(r,θ)とすると、
    HistAll(r,θ)=w1×Hist_1(r,θ)+w2×Hist_2(r,θ)+・・・+wN×Hist_N(r,θ)
    により、前記最終検出結果をHistAll(r,θ)を取得する重み付け加算方式による処理、および、
    (3)前記N個の階調変換部のそれぞれにより取得されたN個の前記度数Hist(r,θ)のうち、最も度数の多い点を含むデータがHist_most(r,θ)であるとき、
    HistAll(r,θ)=Hist_most(r,θ)
    として、前記最終検出結果を取得する選択方式による処理、
    のいずれかによる処理を実行することで、前記最終検出結果を取得する、
    集積回路。
  11. 入力画像に対して、N個(N:2以上の自然数)の異なる階調変換特性による階調変換を行うことができる可変階調変換ステップと、
    前記可変階調変換ステップにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得する検出ステップと、
    前記検出ステップにより取得された検出精度が所定のレベルよりも悪いと判断した場合、前記可変階調変換ステップに階調変換特性の調整処理を実行させるための階調変換調整信号を出力する階調変換調整ステップと、
    を備える画像検出処理方法をコンピュータに実行させるためのプログラム。
  12. 入力画像に対して、それぞれ、異なる階調変換特性による階調変換を行うN個(N:2以上の自然数)の階調変換部と、
    前記N個の階調変換部のそれぞれにより階調変換された画像から、所定の画像特徴量を有する画像領域の検出処理を行い、当該検出処理の検出精度を取得するN個の検出部と、
    前記N個の検出部により取得されたN個の前記検出精度に基づいて、前記入力画像から、所定の画像特徴量を有する画像領域を検出する統合処理部と、
    を備える集積回路。

JP2014024874A 2014-02-12 2014-02-12 画像検出処理装置、プログラムおよび集積回路 Expired - Fee Related JP6291274B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014024874A JP6291274B2 (ja) 2014-02-12 2014-02-12 画像検出処理装置、プログラムおよび集積回路
PCT/JP2015/050756 WO2015122227A1 (ja) 2014-02-12 2015-01-14 画像検出処理装置、プログラムおよび集積回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014024874A JP6291274B2 (ja) 2014-02-12 2014-02-12 画像検出処理装置、プログラムおよび集積回路

Publications (2)

Publication Number Publication Date
JP2015153037A JP2015153037A (ja) 2015-08-24
JP6291274B2 true JP6291274B2 (ja) 2018-03-14

Family

ID=53799975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014024874A Expired - Fee Related JP6291274B2 (ja) 2014-02-12 2014-02-12 画像検出処理装置、プログラムおよび集積回路

Country Status (2)

Country Link
JP (1) JP6291274B2 (ja)
WO (1) WO2015122227A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223946A (ja) * 2000-02-08 2001-08-17 Canon Inc 画像表示装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2006081221A (ja) * 2005-11-21 2006-03-23 Ricoh Co Ltd 撮像装置
JP5535443B2 (ja) * 2008-03-26 2014-07-02 株式会社メガチップス 画像処理装置
JP2009302960A (ja) * 2008-06-13 2009-12-24 Olympus Corp 映像信号処理装置並びにプログラム及び方法
JP2012249079A (ja) * 2011-05-27 2012-12-13 Semiconductor Components Industries Llc 輪郭補正装置
JP5759907B2 (ja) * 2012-01-19 2015-08-05 クラリオン株式会社 車載撮像装置
JP5397509B2 (ja) * 2012-07-02 2014-01-22 株式会社ニコン 画像処理装置、電子カメラおよび画像処理プログラム

Also Published As

Publication number Publication date
WO2015122227A1 (ja) 2015-08-20
JP2015153037A (ja) 2015-08-24

Similar Documents

Publication Publication Date Title
CN102629976B (zh) 图像处理设备和图像处理设备的控制方法
US8878946B2 (en) Image processing apparatus and control method therefor
US8605999B2 (en) Signal processing apparatus and method, noise reduction apparatus and method, and program therefor
EP2988488B1 (en) Image processing apparatus, image processing apparatus control method, image pickup apparatus, and image pickup apparatus control method
JP5053802B2 (ja) 信号処理装置及び信号処理プログラム
CN106454079B (zh) 图像处理方法及装置和相机
WO2007077730A1 (ja) 撮像システム、画像処理プログラム
JP5183440B2 (ja) 階調補正装置および撮像装置
JP6834945B2 (ja) 画像信号処理装置、画像信号処理方法および撮像装置
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP6320053B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP5121675B2 (ja) 画像処理装置、映像表示装置、撮像装置、画像処理方法
JP6070283B2 (ja) 撮像装置、露出制御方法およびプログラム
JP6305290B2 (ja) 画像処理装置、撮像装置、画像処理方法
US8599288B2 (en) Noise reduction apparatus, method and computer-readable recording medium
JP6291274B2 (ja) 画像検出処理装置、プログラムおよび集積回路
JP5172283B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
EP3860110A1 (en) Image capturing apparatus, image capturing system, control method therefor, and program
WO2016167140A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP6041523B2 (ja) 画像処理装置及び方法
JP6826472B2 (ja) 画像処理装置およびその制御方法
JP2021093694A (ja) 情報処理装置およびその制御方法
JP6552248B2 (ja) 画像処理装置及び方法、撮像装置、並びにプログラム
JP2008252228A (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180209

R150 Certificate of patent or registration of utility model

Ref document number: 6291274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees