JP6428266B2 - 色補正装置、色補正方法および色補正用プログラム - Google Patents

色補正装置、色補正方法および色補正用プログラム Download PDF

Info

Publication number
JP6428266B2
JP6428266B2 JP2014548454A JP2014548454A JP6428266B2 JP 6428266 B2 JP6428266 B2 JP 6428266B2 JP 2014548454 A JP2014548454 A JP 2014548454A JP 2014548454 A JP2014548454 A JP 2014548454A JP 6428266 B2 JP6428266 B2 JP 6428266B2
Authority
JP
Japan
Prior art keywords
color
moving object
region
image
stable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014548454A
Other languages
English (en)
Other versions
JPWO2014080613A1 (ja
Inventor
康史 平川
康史 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014080613A1 publication Critical patent/JPWO2014080613A1/ja
Application granted granted Critical
Publication of JP6428266B2 publication Critical patent/JP6428266B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本発明は、画像内の色を補正する色補正装置、色補正方法および色補正用プログラムに関する。
監視カメラなどで小売店などの入り口を撮影する際、外光と建物内の照明灯のように複数の光源から光が入射すると、その光の影響により同じカメラで撮影した画像内であっても位置によって色味が大きく異なるという問題があった。画像の領域ごとに色味が変化すると、監視カメラなどの撮影映像から、人物の特徴の1つである服装などの特定の色を判断したり、人物の同一性などを判断するのが難しくなる。
画像の色味を補正する方法の一つに、自然色、有彩色、原色、グレースケールなど基準とする複数の色が配置されたカラーチャートを用いて色補正を行う方法がある。本方法は、カラーチャートの撮影結果に基づいて、撮影画像に対して色補正パラメタを求めることで、画像の色味を補正することができる。
また、他にも非特許文献1,2に記載されているような輝度伝達関数を用いて色補正を行う方法がある。非特許文献1には、色味が異なるカメラ間でオブジェクトの対応付けを行う輝度伝達関数の例が記載されている。例えば、カメラAで撮影した映像において、見かけが青色の服装を着ているAさんは、カメラBでは色味の変化のため服装の色が水色になることがある。本方法は、青色と水色の服装の画像特徴量を対応付けることで、カメラ間で色味が異なっていても、同一オブジェクトであることがわかるようにする。
また、非特許文献2には、光源の変動を考慮した輝度伝達関数が記載されている。
Omar Javed, Khurram Shafique, Zeeshan Rasheed, Mubarak Shah, "Modeling inter-camera space-time and appearance relationships for tracking across non-overlapping views", Computer Vision and Image Understanding(CVIU), vol 109, Issue 2, 2008, p.146-162. Bryan Prosser, Shaogang Gong, and Tao Xiang, "Multi-camera Matching under Illumination Change Over Time", Workshop on multi-camera and multi-modal Sensor fusion Algorithms and Applications-M2SFA2, 2008
しかし、単にカラーチャートを用いるだけでは、撮影画像全体の色味を補正することはできても、撮影範囲内の位置によって変化する物体の色味の補正には対応できない。また、複数の位置でカラーチャートを撮影することは可能であるが、撮影位置をどの程度の粒度で決めるかなどの判断が難しく、撮影コストが大きくなるという問題があった。また、時間変化による光源の変化についてはカラーチャートでは対応できないという問題があった。
また、非特許文献1に記載されている技術は、色味が異なるカメラ間でオブジェクトの対応付けを行うことを目的としており、1つのカメラで撮影した画像内における位置ごとの光源変化は想定していない。すなわち、非特許文献1には、カメラ内の光源変化を検出するために、1つのカメラで撮影した画像内で同一人物を対応付けることについては記載がない。
また、非特許文献1に記載されている技術は、オブジェクトを撮影するカメラが変わる時が、オブジェクトの色が変化するタイミングとしているため、同一カメラ内での画素上の色変化を検出することはできない。この点は、非特許文献2に記載されている技術も同様である。
そこで、本発明は、光源変化等によって色味が変化する領域ごとにカラーチャートを用意しなくても、画像内において領域ごとに変化する色味を容易に補正できる色補正装置、色補正方法および色補正用プログラムを提供することを目的とする。
本発明による色補正装置は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、移動物体検出手段により検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、取得した移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段とを備え、色安定領域推定手段は、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定し、色安定領域推定手段による推定結果と、位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備えることを特徴とする。また、本発明による色補正装置において、色安定領域推定手段は、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定してもよい。
本発明による色補正方法は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、取得した移動物体の位置と色との関係を示す情報を記憶手段に記憶させ、取得した移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、色安定領域の推定で、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定し、色安定領域の推定結果と、記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正することを特徴とする。また、本発明による色補正方法は、色安定領域の推定で、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定してもよい。
本発明による色補正用プログラムは、コンピュータに、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理、取得した移動物体の位置と色との関係を示す情報を記憶手段に記憶させる処理、および、取得した移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理を実行させ、色安定領域を推定する処理で、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定させ、色安定領域の推定結果と、記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理をさらに実行させることを特徴とする。また、本発明による色補正用プログラムは、コンピュータに、色安定領域を推定する処理で、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定させてもよい。
本発明によれば、光源変化等によって色味が変化する領域ごとにカラーチャートを用意しなくても、画像内において領域ごとに変化する色味を容易に補正できる。
第1の実施形態の色補正装置の構成例を示すブロック図である。 第1の実施形態の色補正装置の動作例を示すフローチャートである。 第2の実施形態の色補正装置の構成例を示すブロック図である。 境界領域および色安定領域の例を示す説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 画像特徴量変化量の集計結果の一例を示す説明図である。 画像特徴量変化量の集計結果の他の例を示す説明図である。 領域間の色変換パラメタの算出方法を説明するための説明図である。 領域間の色変換パラメタの算出方法を説明するための説明図である。 領域別の色補正パラメタの算出方法を説明するための説明図である。 第2の実施形態の色補正装置の動作例を示すフローチャートである。 本発明の概要を示すブロック図である。 本発明の概要を示すブロック図である。
実施形態1.
以下、本発明の実施形態を図面を参照して説明する。図1は、本発明の第1の実施形態の色補正装置の構成例を示すブロック図である。図1に示す色補正装置は、位置別色変化特徴抽出部1と、色安定領域推定部2と、領域別色補正パラメタ算出部3と、色補正部4とを備える。
位置別色変化特徴抽出部1は、撮影範囲の各位置における画像の色変化特徴を抽出する。位置別色変化特徴抽出部1は、例えば、固定カメラで撮影された撮影動画から移動物体が写っている領域(以下、移動物体領域という。)を抽出してトラッキング(追跡処理)し、移動物体領域の位置と色との関係および移動物体領域の位置と色変化との関係を示す情報を抽出してもよい。また、位置別色変化特徴抽出部1は、抽出した情報を記憶手段(図示せず)に保持しておく。移動物体領域の位置と色との関係を示す情報は、例えば、該当する移動物体領域について、撮影範囲内の位置と、該位置での画像内での色を示す情報(例えば、画像特徴量)とを対応づけた情報であってもよい。また、撮影範囲内の位置と色変化との関係を示す情報は、該当する移動物体領域について、撮影範囲内の位置と、該位置での隣接位置との間の画像内での色の変化量を示す情報とを対応づけた情報であってもよい。
位置別色変化特徴抽出部1は、例えば、色を示す情報として、色ヒストグラムを抽出してもよい。また、色の変化量を示す情報として、ヒストグラム間の距離を算出してもよい。ヒストグラム間の距離は、例えば、ヒストグラムインターセクションを利用して算出できる。色の変化量の算出には、方向情報(すなわち、ある位置に対し、移動物体がどの方向から入ってきたかを示す情報)が含まれていることが好ましい。上述のヒストグラムインターセクションは、その位置、方向に対して、ヒストグラムインターセクションの差分を関連づけることができる。
位置別色変化特徴抽出部1は、複数の移動物体についてトラッキングを行い、移動物体領域の撮影範囲内の位置と色との関係、および移動物体領域の撮影範囲内の位置と色変化との関係を示す情報を抽出する。これにより、撮影範囲内の主要な位置について画像の色変化特徴(隣接領域との間でどのような色の変化が起きたかを示す情報)を抽出する。
なお、1つの移動物体についてのトラッキング結果だけでも、その画像フレームに対する色補正は可能であるが、精度向上のためには、多くの移動物体についてのトラッキング結果があるのが好ましい。影や画像上のノイズ、何らかの要因における物体領域の変化に対して1つの移動物体に依存すると、精度が低下するからである。
色安定領域推定部2は、位置別色変化特徴抽出部1が抽出した情報に基づいて、位置ごとの色の特徴変化量(色に関する画像特徴量の変化量)を示す画像特徴量変化モデルを作成し、色安定領域を推定する。ここで、色安定領域とは、撮影範囲において色が安定している領域、すなわち色変化が起きにくい領域をいう。
色安定領域推定部2は、例えば、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成して、色の特徴変化量が大きい領域を境界領域とし、境界領域によって分けられた色の特徴変化量の小さい領域を各々1つの色安定領域と推定してもよい。この場合、境界領域によって分けられた色の特徴変化量の小さい領域の範囲は、同一照明条件下の色安定領域と推定される。
領域別色補正パラメタ算出部3は、色安定領域推定部2によって推定された色安定領域ごとに色補正パラメタを算出する。領域別色補正パラメタ算出部3は、例えば、1つの照明条件下でカラーチャートなどのレファレンス色が撮影されている場合には、そのリファレンス色の撮影結果に基づいて、当該領域(レファレンス色を有する物体が位置する色安定領域)に対する色補正パラメタを算出してもよい。1つの色安定領域で色補正パラメタが算出されれば、位置別色変化特徴抽出部1によって抽出された撮影範囲内の位置と色の関係を示す情報に基づいて、他の色安定領域についての色補正パラメタも算出できる。
また、領域別色補正パラメタ算出部3は、レファレンス色が撮影された画像が入力されない場合には、補正対象画像内の1つの色安定領域内の色味を基準にして、他の色安定領域内の色味がその基準とする色味に近づくように、各色安定領域での色補正パラメタを算出してもよい。
色補正部4は、領域別色補正パラメタ算出部3によって算出された色安定領域ごとの色補正パラメタに基づいて、対象画像の色を補正する。色補正部4は、色安定領域ごとに算出される色補正パラメタを用いて、色安定領域別に対象画像内の色を補正すればよい。
本実施形態において、位置別色変化特徴抽出部1、色安定領域推定部2、領域別色補正パラメタ算出部3および色補正部4は、例えば、CPU等のプログラムに従って動作する情報処理装置によって実現される。また、図示省略しているが、位置別色変化特徴抽出部1が抽出した各位置における画像の色変化特徴や、色安定領域推定部2が推定した色安定領域に関する情報や、領域別色補正パラメタ算出部3が算出した色安定領域ごとの色補正パラメタや、補正対象画像の情報や、補正後の画像の情報等を必要に応じて記憶する記憶装置を備えていてもよい。
次に、図2を参照して本実施形態の動作を説明する。図2は、本実施形態の動作例を示すフローチャートである。撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像が入力されると、図2に示すように、まず位置別色変化特徴抽出部1が、各位置における画像の色変化特徴を抽出する(ステップS1)。
次いで、色安定領域推定部2は、位置別色変化特徴抽出部1による抽出結果に基づいて、補正対象画像または入力動画像の撮影範囲における色安定領域を推定する(ステップS2)。色安定領域推定部2は、例えば、位置別色変化特徴抽出部1によって抽出された撮影範囲内の位置と色変化との関係を示す情報に基づいて、補正対象画像の撮影範囲の位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成して、作成した画像特徴量変化モデルによって示される位置ごとの色の特徴変化量の大きさに基づいて、色安定領域を推定する。なお、補正対象画像の撮影範囲と入力動画像の撮影範囲は同じであるか対応関係が既知であることを前提としているので、いずれか一方の撮影範囲において色安定領域を求めれば、他方の撮影範囲における色安定領域も必然的に求まる。
次いで、領域別色補正パラメタ算出部3は、色安定領域ごとに色補正パラメタを算出する(ステップS3)。領域別色補正パラメタ算出部3は、例えば、色安定領域推定部2によって推定された色安定領域の情報と、位置別色変化特徴抽出部1によって抽出された撮影範囲内の位置と色の関係を示す情報とに基づいて、色安定領域ごとに色補正パラメタを算出する。
領域別色補正パラメタ算出部3によって領域別の色補正パラメタが算出されると、色補正部4は、領域別色補正パラメタ算出部3によって算出された色補正パラメタに基づいて、補正対象画像の色を補正する(ステップS4)。なお、境界領域については、位置別の色情報を基に補正することは可能であるが、本実施形態では、少なくとも色安定領域ごとに色補正パラメタを用意し、その色補正パラメタを用いて色安定領域別に色補正を行えばよいものとする。
以上のように、本実施形態によれば、移動物体の位置ごとの色の変化を把握し、その位置ごとの色の変化の様子を基に色安定領域を推定するとともに、それらの位置ごとの色に基づいて、色安定領域ごとに色補正パラメタを算出するので、監視カメラなどの固定カメラの撮影範囲に複数の種類の光源から光が入射する場合など、光の影響によって1つの画像内において領域ごとに色味が変化する場合であっても、そのような領域ごとに変化する色味を容易に補正できる。
従来技術では、カメラ間での人物の対応付けは一部の領域で行われていたが、色安定領域の抽出および色安定領域ごとの色の変化の様子を得るために、カメラの撮影範囲内で移動物体をトラッキングし、その物体の色と位置情報とを関連づけることは行われていない。これに対して、例えば、本実施形態では、カメラの撮影範囲内での移動物体を画像特徴量などを用いてトラッキングし、その物体の色と位置情報とを関連づけた情報を取得して、それを基に領域間の色の変化の有無(またはその程度)を推定する。そして、推定した領域間の色の変化の有無から色安定領域と推定する。その上で、推定された色安定領域ごとに移動物体の色の変化の様子から色補正パラメタを算出する。このように、移動物体の移動に伴う色変化の特徴(色変化の有無やその様子)を利用して、色安定領域の推定と色安定領域ごとの色補正パラメタを算出するので、画像内において領域ごとに変化する色味を容易に補正できる。すなわち、複数箇所にカラーチャートを配置しなくても、撮影領域の位置ごとに同一物体の色味が変化しないように画像内の色を補正したり、画像内の色味が本来の色に近い色味になるように画像内の色を補正できる。
また、本実施形態の位置別色変化特徴抽出部1および色安定領域推定部2が、位置別および時間別に画像の色変化特徴を抽出して、抽出結果に基づいて位置ごとおよび時間ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、時間別の色安定領域を推定してもよい。そのようにすれば、カメラの切り替え時といった明示の変化のタイミングがなくても、随時色変化を伴う領域を検出できるので、時間変化による光源の変化にも対応可能である。
実施形態2.
図3は、本発明の第2の実施形態の色補正装置の構成例を示すブロック図である。本実施形態の色補正装置は、図1で示した第1の実施形態の色補正装置のより具体的な構成の一例である。図3に示す色補正装置は、移動物体領域抽出部21と、移動物体同定部22と、位置別画像特徴量保持部23と、境界情報算出部24と、領域間色変換パラメタ算出部25と、特定位置色補正パラメタ算出部26と、領域別色補正パラメタ算出部27と、色補正部28とを備える。
本実施形態では、固定カメラで撮影された動画像を入力画像とする。また、補正対象画像は、同じ固定カメラで撮影された画像とする。なお、入力画像に含まれる1または複数のフレームであってもよい。なお、入力画像は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像であれば、固定カメラで撮影された動画像でなくてもよい。また、入力画像は、撮影範囲と現実の位置との関係が既知であれば、複数の固定カメラで撮影された複数種類の動画像であってもよい。
移動物体領域抽出部21は、動画像が入力されると、入力された動画像から移動物体を抽出する。移動物体領域抽出部21は、より具体的には、入力画像内から移動物体が位置する領域(以下、物体領域という。)を抽出する。物体領域の抽出は、画像間の画素変化を見つけることによって行ってもよい。例えば、背景差分や、フレーム間差分を算出し、差分のあった画素領域を物体領域として検出してもよい。
また、移動物体領域抽出部21は、物体領域の抽出の際に、学習によって生成される識別器(識別モデル)やテンプレートマッチングを用いた物体検出処理を行ってもよい。例えば、差分があったとして抽出した領域に写っているものが移動物体であるか否かの判定を行うため、一般的な移動物体の画像の特徴量を学習した識別器を生成し、生成した識別器に抽出した領域の画像情報を入力して、物体判定処理を行ってもよい。識別器には、サポートベクターマシン(SVM)やアダブースト(AdaBoost)などを利用できる。
また、移動物体領域抽出部21は、後段で行われる同定処理および位置別の画像特徴量の算出処理のために、抽出した物体領域から色を表現する画像特徴量やトラッキングのための画像特徴量を抽出する。
色を表現する画像特徴量としては、具体的には、RGB、HSV、L*a*b、L*u*vなどの色空間における色ヒストグラムが挙げられる。また、トラッキングのための画像特徴量としては、利用するアルゴリズムによるが、前述した色を表現する画像特徴量の他、エッジ特徴量、局所的な領域を示す特徴量(Haar−like、HOG、SIFT、SURF等)が挙げられる。なお、色を表現する画像特徴量およびトラッキングのための画像特徴量は、上述の例に限定されない。
また、移動物体領域抽出部21は、物体識別等を行った場合、物体の特定位置の画像特徴量のみを抽出してもよい。例えば、人物識別を行った場合には、上半身の画像特徴量のみを抽出してもよい。
移動物体同定部22は、移動物体領域抽出部21によって抽出された物体領域の画像特徴量に基づいて、入力動画内において該移動物体をトラッキングする。移動物体同定部22は、より具体的には、入力された動画内の各フレーム間で移動物体領域抽出部21によって抽出された物体領域の同定処理を行う。移動物体同定部22は、例えば、追跡を行って位置が変化する移動体の同一性を判定し、各フレームから抽出された移動体について同一であればその旨を示すIDを付与してもよい。また、移動物体同定部22は、パン・チルド・ズーム(PTZ)カメラによって人物を追跡する場合などには、PTZによる画角変化や倍率変化を併せて記録してもよい。
物体の追跡方法には、例えば、画像差分等から変動した領域や、パターンマッチング、SVMやAdaBoostなどの物体識別器で抽出した物体に対して、その物体の移動を、物体の色やエッジなどの画像特徴量で推定するトラッキング技術を利用できる。具体的には、mean−shiftトラッキングや、パーティクルフィルタ、KLT法、カルマンフィルタなどが利用できる。
このような同定処理により、各フレーム内における移動物体の位置を特定する。固定カメラで撮影された動画データの各フレーム内における移動物体の位置が特定されることによって、撮影領域における移動物体の移動経路や移動ごとの位置等の位置情報が特定される。フレーム画像内の位置から、撮影領域内の位置(現実の位置)への変換は、予め登録されている変換式またはカメラパラメータから算出される変換式を用いればよい。
位置別画像特徴量保持部23は、物体位置と色を示す画像特徴量とを結びつけて保持する。物体位置は、例えば、移動物体領域抽出部21によって抽出された物体領域の下端部分を設定してもよい。また、例えば識別器によって人物と判定している場合には、人物の足元位置を設定してもよい。また、PTZカメラを利用する場合には、物体位置と色を示す画像特徴量とともに、変化する撮影範囲の位置関係を登録する。なお、実世界の撮影範囲を3次元として捉え、3次元領域における位置情報を設定したり、単純に画像上の位置情報(画素位置等)を設定することも可能である。
例えば、パンで15度変化する場合、その変化前後での同一位置を把握する必要がある。移動物体同定部22は、同定処理で画角変化や倍率変化を抽出している場合には、その情報に基づいて同一位置を抽出して、位置別画像特徴量保持部23に登録してもよい。また、画像特徴量を利用して物体の同一位置を抽出することも可能である。この場合、SURF(Speeded Up Robust Features)やSIFT(Scale Invariant feature transform )特徴量やテンプレートマッチングなどを利用して同一位置の判定を行ってもよい。
境界情報算出部24は、位置別画像特徴量保持部23に保持されている物体位置と色を示す画像特徴量とを対応づけた情報に基づいて、撮影領域内(実空間)での色変化が起きる位置(境界領域)を算出して、色安定領域を推定する。
境界情報算出部24は、例えば、位置別画像特徴量保持部23に保持されている物体位置と色を示す画像特徴量とを対応づけた情報に基づいて、撮影領域内を複数の部分領域に分割した各部分領域に対して、当該部分領域における隣接領域との間の画像特徴量の変化量(代表値)を示す画像特徴量変化モデルを生成してもよい。そして、生成した画像特徴量変換モデルを用いて、各部分領域が隣接領域に対して色変化が大きい領域を含んでいるか否か、または、各部分領域と隣接領域との境界が色変化が大きい領域であるか否かをしきい値処理などで判定して、色変化が大きい領域と判定された場合に、その領域が該当する実空間の撮影領域は色味が安定しない境界領域に属するものと判定してもよい。そのようにして得られた境界領域によって区切られた、色変化の小さい領域の範囲を同一照明条件下での色安定領域であると推定してもよい。なお、境界領域によって区切られた色変化の小さい領域の範囲として、例えば、境界領域によって分断されることなく、連続する領域として所定サイズ以上を確保した、画像特徴量の変化量の小さい領域群を抽出してもよい。
なお、各部分領域と隣接領域との境界に対して色変化が大きい領域か否かを判定する場合には、隣接領域との間の変化量の集計結果にどの隣接領域との間の変化量かを示す方向を持たせ、その方向が示す隣接領域との境界に相当する実空間の撮影領域内の位置を、色変化が起きる位置として抽出してもよい。そして、抽出された色変化が起きる位置を境界位置として、そのような境界位置によって区切られた、色変化が起きない領域の範囲を同一照明条件下での色安定領域であると推定してもよい。なお、境界位置が連続しない場合は、境界位置が連続するように補間処理などを行ってもよい。
図4は、境界領域および色安定領域の例を示す説明図である。図4に示す例では、固定カメラ301の撮影範囲300内において、2つの異なる照明303,304による照射がなされ、かつ照明303の照射範囲305と、照明304の照射範囲306とが一部重なっている。すなわち、撮影範囲300内には、照射範囲305に含まれる領域と、照射範囲306に含まれる領域と、照射範囲305および照射範囲306に含まれる領域とが存在している。図4に示す例では、このような状況下において、人物307等のトラッキングを行った結果、2つの境界領域に分けられた3つの色安定領域が推定されたことが示されている。具体的には、照明条件A下での色安定領域と照明条件B下での色安定領域と照明条件C下での色安定領域の3つの色安定領域が検出された例が示されている。ここで、照明条件A下での色安定領域は、照明304のみが照射する領域に相当する。また、照明条件B下での色安定領域は、照明303と照明304とが照射する領域に相当する。また、照明条件C下での色安定領域は、照明303のみが照射する領域に相当する。
以下、より具体的な方法を説明する。まず、境界情報算出部24は、画像特徴量の変化量として、トラッキング結果に基づいて、時系列順に連続して抽出した移動物体の色の画像特徴量における差分(例えば、ヒストグラム間の距離等)を画像特徴量変化量として算出する。例えば、境界情報算出部24は、時刻tにおける移動物体の色の画像特徴量と、時刻t+1における移動物体の色の画像特徴量の差分を算出する。この際、位置情報と移動方向情報とを同時に保持しておく。
そして、境界情報算出部24は、位置ごとに算出した画像特徴量変化量を集計し、各位置に代表される画像特徴量変化量を算出する。集計処理では、物体が移動可能な領域(例えば、底面)を仮想的に分割して部分領域とし、隣接する部分領域間で画像特徴量変化量を算出、集計してもよい。領域を分割する方法は特に限定されないが、矩形の部分領域に分割してもよい。
また、境界情報算出部24は、部分領域を設定する代わりに、仮想の測定基準点を複数設定してもよい。そのような場合には、境界情報算出部24は、各測定基準点に一番近い位置情報との関連付けを行い、隣接する測定基準点間の画像特徴量変化量を算出、集計してもよい。
境界情報算出部24は、例えば、算出した画像特徴量変化量を、算出に用いた隣接する部分領域または測定基準点の各々に、比較先の情報とともに対応づけて記憶してもよい。複数の物体について物体の移動ごとに画像特徴量変化量を算出し、それらを集計して、モデル化することで、各位置での画像特徴量の変化量の代表値を得る。
画像特徴量変化量の代表値を算出するモデルは、例えば、集計された位置ごとの画像特徴量変化量の平均や分散値を算出するモデルであってもよい。その際、集計数は各領域・点によって異なるため、変化量の正規化を行ってもよい。また、算出される代表値が、実際の光源変化の様子とより合致するように、所定のルールに従って影やノイズと思われる値の除去や、境界領域が連続するように補間処理などを行ってもよい。
図5〜図8は、位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。図5は、カメラ視点映像の例を示す説明図である。図5において、401はフレーム範囲を示している。なお、402は壁、403は床面を示している。図5に示す例では、フレーム範囲401のカメラ視点映像において、人物404が時刻tから時刻t+1の間に図示した方向(人物404から見て前方斜め左方向)に移動した様子が写っていることを示している。
また、図6は、図5に示したフレーム範囲に含まれる被写体の実世界の位置関係を示す上面図である。図6では、カメラ405の撮影範囲を破線406で示している。なお、一点鎖線406’は、撮影範囲に含まれる床面領域を示している。
また、図7は、撮影範囲の床面領域406’を矩形の部分領域に分割する例を示す説明図である。境界情報算出部24は、例えば、図7に示すように、撮影範囲の床面領域406’を複数の部分領域501に分割して、隣接する部分領域間(網掛け表示参照。)の画像特徴量の変化量を順次算出していき、それらを集計してもよい。なお、部分領域は矩形でなくてもよい。
また、図8は、撮影範囲の床面領域406’に複数の測定基準点を設ける例を示す説明図である。境界情報算出部24は、例えば、図8に示すように、撮影範囲の床面領域406’に複数の測定基準点601を設けて、各測定基準点601に一番近い位置情報と関連付けを行い、隣接する測定基準点601間の画像特徴量の変化量を順次算出していき、それらを集計してもよい。また、任意に定めた測定基準点ごとに変化量を求める場合、内挿補間によって測定基準点間の変化量を算出してもよい。
境界情報算出部24は、このようにして求めた各位置ごとの画像特徴量変化量の代表値に基づき、領域分類を行う。境界情報算出部24は、例えば、求めた各位置ごとに画像特徴量変化量の代表値に対して閾値処理を行い、変化量が小さいと判断されたひとつづきの領域を1つの色安定領域としてもよい。また、例えば、閾値処理を行い、変化量が大きい領域の境目を境界領域として、境界領域で区切られる一定サイズ以上の領域を色安定領域としてもよい。
図9は、画像特徴量変化量の集計結果の一例を示す説明図である。図9に示す例では、部分領域ごとの画像特徴量変化量の代表値に基づき領域を分類した結果、画像特徴量変化量が所定の値以下となった隣接領域については同じ網掛けで示している。また、図9に示す例では、画像特徴量変化量が所定の値以上となった隣接領域との境界を、境界位置として実線で示している。すなわち、図9では、実線で囲まれた領域が1つの色安定領域に相当している。なお、図9に示す例では、撮影領域の範囲の関係で網掛けがされていない領域が各々1つの色安定領域とみなされた結果、計10個の色安定領域が検出される。
また、図10は、画像特徴量変化量の集計結果の他の例を示す説明図である。図10は、等間隔に並べた測定基準点ごとに求めた画像特徴量の変化量の集計結果の一例を示す説明図である。なお、図10に示す例では、測定基準点ごとに求めた画像特徴量変化量に基づき、内挿補間を行った後に領域を分類した結果、画像特徴量変化量が所定の値以上となった隣接領域との境界を、境界位置として実線で示し、その境界位置で区切られた領域を1つの色味安定領域として示している。すなわち、図10に示す例では、実線で囲まれた領域が1つの色安定領域に相当している。なお、図10に示す例では、撮影領域の範囲の関係で網掛けがされていない領域が各々1つの色安定領域とみなされた結果、計6個の色安定領域が検出される。
領域間色変換パラメタ算出部25は、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する。色変換パラメタは、画像内の色を変換するためのパラメタであって、本実施形態においては、対象とする領域間の照明条件の違いを吸収し、画像内において同一物体の色を該領域間で同じ色味で表現するためのパラメタである。色変換パラメタは、一方の領域の色味を基準として他方の領域の色味を補正するという点で、色補正パラメタの一種であるといえる。
領域間色変換パラメタ算出部25は、位置別画像特徴量保持部23に保持されている位置別の画像特徴量に基づいて、色安定領域間の色変換パラメタを算出する。複数の画像特徴量を用いて変換パラメタを算出する場合には、領域間色変換パラメタ算出部25は、色安定領域内で誤差が最小となるように計算してもよい。色変換パラメタの算出には、最小二乗法や、ロバスト推定、RANSAC等を利用できる。
領域間色変換パラメタ算出部25は、例えば、図11において矢印で示すように、色安定領域602−604間の色変換パラメタを算出する場合、2つの色安定領域602および色安定領域604にて複数の物体の画像特徴量を収集し、収集した画像特徴量に基づいて、色安定領域602内の画像特徴量を色安定領域604内の画像特徴量に変換するための変換式、および色安定領域604内の画像特徴量を色安定領域602内の画像特徴量に変換するための変換式を算出すればよい。なお、一方の変換式から他方の変換式が求まる場合には、いずれか一方の変換式のみを求めればよい。図11は、領域間の色変換パラメタの算出方法を説明するための説明図である。
色補正部28は、領域間色変換パラメタ算出部25が算出した領域別の色変換パラメタまたは後述する領域別色補正パラメタ算出部27が算出した領域別の色補正パラメタを用いて、色安定領域間で同一物体の色味が変化しないように、または色安定領域内の色味がレファレンス色に近い色味になるように、画像内の色を領域別に補正する。
例えば、特定の物体の色味が移動先の領域で変化しないようにしたい場合には、色補正部28が、物体の移動経路に沿って、色安定領域ごとに、領域間色変換パラメタ算出部25が求めた各色安定領域間の色変換パラメタを用いて物体の色を変換すればよい。例えば、図12に示すような特定の色安定領域において人物404の色を把握する目的で、領域間の色の変化をなくしたいという要望があったとする。このような場合には、人物404の移動経路に沿って、移動元の色安定領域と移動先の色安定領域間の色変換を順に行えばよい。図12の例では、色安定領域605−604間と、色安定領域604−602間とで計2回の色変換を行えばよい。図12は、色安定領域間の色変換パラメタの算出方法を説明するための説明図である。
また、色補正部28は、例えば、後述する特定位置色補正パラメタ算出部26および領域別色補正パラメタ算出部27によって、基準光源下での色味へ補正するための色補正パラメタが算出されている場合には、算出されている領域別色補正パラメタを用いて色変換を行ってもよい。これにより、画像内の各色安定領域の色味を基準光源下での色味に変換することができる。
特定位置色補正パラメタ算出部26は、基準とされる照明条件下(例えば、太陽光下)での発色状態(例えば、画像特徴量)が把握されている色(以下、レファレンス色という。)を有する物体が色安定領域に配置されている画像が入力されると、当該色安定領域での当該物体のレファレンス色の発色状態と、基準とされる照明条件下での発色状態とを比較して、当該色安定領域での発色状態を基準とされる照明条件下での発色状態に近づけるための当該色安定領域における色補正パラメタを算出する。なお、ここでの入力画像は、撮影範囲が移動物体を検出した動画像の撮影範囲と同じまたは一部重複している画像であればよい。
例えば、レファレンス色を有する物体Bが色安定領域Aに配置された画像が入力されると、特定位置色補正パラメタ算出部26は、画像内における色安定領域Aにおける物体Bの発色状態を把握するために、入力画像から色安定領域A内の物体Bの色(画像特徴量)を算出する。物体Bの色に関して、基準とされる照明条件下での画像特徴量と算出された色安定領域A内での画像特徴量との間の変化量を求めることにより、色安定領域Aでの色補正パラメタを算出できる。ここでいう物体Bは、カラーチャートであってもよい。
領域別色補正パラメタ算出部27は、領域間色変換パラメタ算出部25によって算出された領域間色変換パラメタと、特定位置色補正パラメタ算出部26によって算出された特定位置の色補正パラメタとに基づいて、色安定領域ごとに、当該色安定領域内の発色状態を基準とされる照明条件下での発色状態に変換するための色補正パラメタを算出する。例えば、図13に矢印で示すように、色安定領域603においてレファレンス色の発色状態の把握を行った場合には、当該色安定領域603と隣接する色安定領域604との間の色補正パラメタを、レファレンス色の発色状態の把握により算出された色安定領域603の色補正パラメタと、当該領域間の色変換パラメタすなわち色安定領域603−604間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域604と隣接する色安定領域602との間の色補正パラメタを、算出した色安定領域604の色補正パラメタと、当該領域間の色変換パラメタすなわち604−602間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域604と隣接する色安定領域605との間の色補正パラメタを、算出した色安定領域604の色補正パラメタと、当該領域間の色変換パラメタすなわち604−605間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域605と隣接する色安定領域606との間の色補正パラメタを、算出した色安定領域605の色補正パラメタと、当該領域間の色変換パラメタすなわち605−606間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域605と隣接する色安定領域607との間の色補正パラメタを、算出した色安定領域605の色補正パラメタと、当該領域間の色変換パラメタすなわち605−607間の色変換パラメタとに基づいて算出すればよい。このようにして、物体色の把握により算出された色安定領域から隣接する色安定領域へと順次色変換パラメタを算出すれば、各色安定領域の色補正パラメタを得られる。各色安定領域の色補正パラメタの算出方法は、色変換パラメタの算出方法と同様でよい。
本実施形態において、移動物体領域抽出部21、移動物体同定部22、境界情報算出部24、領域間色変換パラメタ算出部25、特定位置色補正パラメタ算出部26、領域別色補正パラメタ算出部27および色補正部28は、例えば、CPU等のプログラムに従って動作する情報処理装置によって実現される。また、位置別画像特徴量保持部23は、記憶装置によって実現される。
なお、色補正装置は、図9や図10に示すように、色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる表示制御部(図示せず)を備えていてもよい。表示制御部が表示装置に図10のように表示させた場合、色安定領域605と色安定領域604(図12参照)とに対するクリック等のユーザの入力を受け付け、ユーザの入力があった色安定領域間で色補正の処理が実行されるようにしてもよい。
次に、本実施形態の動作について説明する。図14は、本実施形態の動作例を示すフローチャートである。図14に示す例では、まず、カメラのセッティングに併せて撮影領域の設定を行う(ステップS21)。ここで、カメラパラメータを入力してもよい。
次いで、背景差分を検出するための初期化処理を行う(ステップS22)。本処理は、トラッキング処理において背景差分を検出できるように、背景のみを撮影した動画をその旨とともに入力する。
そのような初期化処理が終了すると、補正対象画像と同じ固定カメラで撮影された動画像を入力し、移動物体の抽出処理を行う(ステップS23)。ステップS23では、移動物体領域抽出部21が、入力された動画像から物体領域を抽出する。物体領域の抽出は、フレームごとに行ってもよいし、動画内における一定時間毎におこなってもよい。
物体領域を抽出すると、移動物体領域抽出部21は、抽出した物体領域から色を表示する画像特徴量と、必要に応じてエッジ特徴量を抽出する(ステップS24)。ここで抽出された画像特徴量は、撮影フレーム内における物体領域の位置を特定する情報とともに、ステップS26で位置別画像特徴量保持部23に保持される。
物体領域が抽出されると、移動物体同定部22が、ステップS24で抽出された当該物体領域の画像特徴量に基づいて、入力動画内において該移動物体をトラッキングする(ステップS25)。移動物体同定部22は、同定処理によって、位置が変化する移動体の同一性が判明したものに対して、各フレームから抽出された移動体に同一であることを示すIDを付与し、付与したID(移動体識別子)と、撮影フレーム内における物体領域の位置を特定する情報と、当該位置での画像特徴量と、撮影時刻または動画内における時間を示す情報とを対応づけて、位置別画像特徴量保持部23に保持する(ステップS26)。なお、撮影フレーム内における物体領域の位置を特定する情報の代わりに、または撮影フレーム内における物体領域の位置を特定する情報とともに、撮影領域における移動体の位置を特定する情報を保持してもよい。
ステップS23〜ステップS26までの処理を、複数の移動物体について行う。
複数の移動物体について、位置別画像特徴量保持部23に情報が保持されると、境界情報算出部24が、色安定領域を抽出する(ステップS27)。境界情報算出部24は、例えば、位置別画像特徴量保持部23に保持されている物体位置と色を示す画像特徴量とを対応づけた情報に基づいて、撮影領域内での色変化が起きる境界領域を算出して、色安定領域を推定してもよい。
色安定領域の推定処理が完了すると、領域間色変換パラメタ算出部25が、位置別画像特徴量保持部23に保持されている位置別の画像特徴量に基づいて、色安定領域間の色変換パラメタを算出する(ステップS28)。
色安定領域間の色変換パラメタが算出されると、色補正部28が、算出された色安定領域間の色変換パラメタに基づいて、画像内の色を領域別に補正する(ステップS29)。このとき、レファレンス色を含むカラーチャート画像が入力されている場合には、色補正部28は、特定位置色補正パラメタ算出部26および領域別色補正パラメタ算出部27に入力されたカラーチャート画像と算出された色安定領域間の色変換パラメタとを用いて、色安定領域別に色補正パラメタを算出させ、算出された色安定領域別の色補正パラメタに基づいて、画像内の色を領域別に補正してもよい。
カラーチャート画像は、例えば、背景差分をとるための初期撮影で撮影されたものであってもよい。すなわち、背景と一緒にレファレンス色を含むカラーチャートを撮影したものを最初に初期画像として入力してもよい。
以上のように、本実施形態によれば、移動物体の位置ごとの色の変化を把握し、その位置ごとの変化の様子を基に色安定領域を推定するとともに、それらの位置ごとの色に基づいて、色安定領域間の色変換パラメタを算出するので、算出した色安定領域間の色変換パラメタを基に領域別に色補正を行えば、監視カメラなどの固定カメラの撮影範囲に複数の種類の光源から光が入射する場合であっても、その光の影響によって1つの画像内において変化する色味を容易に補正できる。
また、本実施形態でも、移動物体領域抽出部21が位置別および時間別に画像の色変化特徴を抽出して、境界情報算出部24が移動物体領域抽出部21による抽出結果に基づいて位置ごとおよび時間ごとの色安定領域を推定することによって、時間変化による光源の変化にも対応することが可能である。
次に、本発明の概要について説明する。図15および図16は、本発明の概要を示すブロック図である。図15に示すように、本発明による色補正装置は、移動物体検出手段101と、位置別色情報取得手段102と、位置別色情報記憶手段103と、色安定領域推定手段104と、色変換パラメタ算出手段105と、色補正手段106とを備えている。
移動物体検出手段101(例えば、位置別色変化特徴抽出部1や移動物体領域抽出部21)は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出する。
位置別色情報取得手段102(例えば、位置別色変化特徴抽出部1や移動物体同定部22)は、移動物体検出手段101により検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する。
位置別色情報記憶手段103(例えば、位置別画像特徴量保持部23)は、位置別色情報取得手段102によって取得された移動体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する。
色安定領域推定手段104(例えば、色安定領域推定部2や境界情報算出部24)は、位置別色情報記憶手段103に記憶されている移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけた情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する。
色変換パラメタ算出手段105(例えば、領域別色補正パラメタ算出部3や領域間色変換パラメタ算出部25)は、色安定領域推定手段104による推定結果と、位置別色情報記憶手段103に記憶されている移動物体の位置と色との関係を示す情報に基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する。色変換パラメタ算出手段105は、例えば、色安定領域推定手段104による推定結果を基に、位置別色情報記憶手段103から各色安定領域における移動物体の色を示す情報を参照して、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する。
色補正手段106(例えば、色補正部4や色補正部28)は、色変換パラメタ算出手段105によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する。
このような構成により、1つのカメラで撮影された画像内において変化する色味を容易に補正できる。例えば、領域ごとに同一物体の色味が変化しないようにする補正も容易にできる。また、例えば、一部の領域の色味に他の領域の色味を合わせるといった補正も容易に可能である。
また、本発明による色補正装置は、図16に示すような構成であってもよい。図16に示す色補正装置は、図15に示す構成に加えて、特定領域色補正パラメタ算出手段107と、色補正パラメタ算出手段108とを備えている。
特定領域色補正パラメタ算出手段107(例えば、特定位置色補正パラメタ算出部26)は、撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも1つの色安定領域に対して、当該領域での発色状態を、基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する。
色補正パラメタ算出手段108(例えば、領域別色補正パラメタ算出部27)は、特定領域色補正パラメタ算出手段107によって算出された1つの色安定領域に対する色補正パラメタと、色変換パラメタ算出手段105によって算出された色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する。
このような構成の場合、色補正手段106は、色補正パラメタ算出手段108によって算出された色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を色安定領域別に補正してもよい。
このような構成によれば、1つのカメラで撮影された画像内において変化する色味を、各々、基準とされる照明条件下での色味に補正できる。
また、色安定領域推定手段104は、位置別色情報記憶手段103に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定してもよい。
また、色安定領域推定手段104は、位置別色情報記憶手段103に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定してもよい。
また、位置別色情報取得手段102は、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得してもよい。
また、位置別色情報取得手段102は、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とその時の時刻とを取得し、色安定領域推定手段104は、位置別色情報取得手段102によって取得され位置別色情報記憶手段103に記憶された移動物体の位置と色との関係を示す情報に基づいて、時間別の色安定領域を推定してもよい。また、時間別の色安定領域の推定は、現実の時間の経過に伴って、然るべき時間に自動的に行われてもよい。例えば、色補正装置は、正午、15時、17時およびそれ以降は深夜まで1時間毎に自動的に色安定領域の推定を行い、色補正処理を実行するようにしてもよい。このように構成することにより、本発明の色補正装置は、屋外の天候や時間帯による画像上の色変化に対し自動的に補正を行うことが可能となる。
また、位置別色情報取得手段102は、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得してもよい。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、前記位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段と、前記色安定領域推定手段による推定結果と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、前記色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備えたことを特徴とする色補正装置。
(付記2)撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも1つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する特定領域色補正パラメタ算出手段と、前記特定領域色補正パラメタ算出手段によって算出された1つの色安定領域に対する色補正パラメタと、色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する色補正パラメタ算出手段とを備え、色補正手段は、前記色補正パラメタ算出手段によって算出された色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する付記1に記載の色補正装置。
(付記3)前記色安定領域推定手段は、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定する付記1または付記2に記載の色補正装置。
(付記4)前記色安定領域推定手段は、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定する付記1または付記2に記載の色補正装置。
(付記5)前記位置別色情報取得手段は、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得する付記1から付記4のうちのいずれかに記載の色補正装置。
(付記6)前記位置別色情報取得手段は、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とその時の時刻とを取得し、色安定領域推定手段は、位置別色情報取得手段によって取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定する付記1から付記5のうちのいずれかに記載の色補正装置。
(付記7)前記位置別色情報取得手段は、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得する付記1から付記6のうちのいずれかに記載の色補正装置。
(付記8)撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させ、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正することを特徴とする色補正方法。
(付記9)撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも1つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出し、算出された前記少なくとも1つの色安定領域に対する色補正パラメタと、色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出し、算出された前記色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する付記8に記載の色補正方法。
(付記10)前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定する付記8または付記9に記載の色補正方法。
(付記11)前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定する付記8または付記9に記載の色補正方法。
(付記12)移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得する付記8から付記11のうちのいずれかに記載の色補正方法。
(付記13)移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報と併せてその時の時刻とを取得し、取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定する付記8から付記12のうちのいずれかに記載の色補正方法。
(付記14)移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得する付記8から付記13のうちのいずれかに記載の色補正方法。
(付記15)コンピュータに、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させる処理、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理、前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理を実行させるための色補正用プログラム。
(付記16)コンピュータに、撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも1つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する処理、および前記少なくとも1つの色安定領域における色補正パラメタと、前記色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する処理を実行させ、色を補正する処理で、算出された前記色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正させる付記15に記載の色補正用プログラム。
(付記17)コンピュータに、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計させ、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出させて、色安定領域を推定させる付記15または付記16に記載の色補正用プログラム。
(付記18)コンピュータに、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成させ、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定させる付記15または付記16に記載の色補正用プログラム。
(付記19)コンピュータに、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得させる付記15から付記18のうちのいずれかに記載の色補正用プログラム。
(付記20)コンピュータに、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報と併せてその時の時刻とを取得させ、取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定させる付記15から付記19のうちのいずれかに記載の色補正用プログラム。
(付記21)コンピュータに、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得させる付記15から付記20のうちのいずれかに記載の色補正用プログラム。
(付記22)撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定する色安定領域推定手段とを備えたことを特徴とする色補正装置。
(付記23)推定した前記色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる表示制御手段を備えた請求項22に記載の色補正装置。
(付記24)撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出し、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定することを特徴とする色補正方法。
(付記25)推定した前記色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる付記24に記載の色補正方法。
(付記26)コンピュータに、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理、および、取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定する処理を実行させるための色補正プログラム。
(付記27)コンピュータに、推定した前記色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる処理を実行させる付記26に記載の色補正プログラム。
この出願は、2012年11月22日に出願された日本特許出願2012−255981を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
本発明は、監視カメラの撮影映像から人物の特徴の1つである服装などの色を判断したい場合など、カメラ映像の解析用途に好適に適用可能である。
1 位置別色変化特徴抽出部
2 色安定領域推定部
3 領域別色補正パラメタ算出部
4 色補正部
21 移動物体領域抽出部
22 移動物体同定部
23 位置別画像特徴量保持部
24 境界情報算出部
25 領域間色変換パラメタ算出部
26 特定位置色補正パラメタ算出部
27 領域別色補正パラメタ算出部
28 色補正部
101 移動物体検出手段
102 位置別色情報取得手段
103 位置別色情報記憶手段
104 色安定領域推定手段
105 色変換パラメタ算出手段
106 色補正手段
107 特定領域色補正パラメタ算出手段
108 色補正パラメタ算出手段

Claims (11)

  1. 撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、
    前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、
    前記位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、
    取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段とを備え、
    前記色安定領域推定手段は、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定し、
    前記色安定領域推定手段による推定結果と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、
    前記色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備える
    ことを特徴とする色補正装置。
  2. 撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、
    前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、
    前記位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、
    取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段とを備え、
    前記色安定領域推定手段は、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定し、
    前記色安定領域推定手段による推定結果と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、
    前記色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備える
    ことを特徴とする色補正装置。
  3. 撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも1つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する特定領域色補正パラメタ算出手段と、
    前記特定領域色補正パラメタ算出手段によって算出された1つの色安定領域に対する色補正パラメタと、色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する色補正パラメタ算出手段とを備え、
    色補正手段は、前記色補正パラメタ算出手段によって算出された色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する
    請求項1または請求項2に記載の色補正装置。
  4. 位置別色情報取得手段は、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得する
    請求項1から請求項のうちのいずれか1項に記載の色補正装置。
  5. 位置別色情報取得手段は、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とその時の時刻とを取得し、
    色安定領域推定手段は、位置別色情報取得手段によって取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定する
    請求項1から請求項のうちのいずれか1項に記載の色補正装置。
  6. 位置別色情報取得手段は、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得する
    請求項1から請求項のうちのいずれか1項に記載の色補正装置。
  7. 前記色安定領域推定手段は、前記色安定領域を複数推定する
    請求項1から請求項のうちのいずれか1項に記載の色補正装置。
  8. 撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、
    検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、
    取得した前記移動物体の位置と色との関係を示す情報を記憶手段に記憶させ、
    取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、
    前記色安定領域の推定で、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定し、
    前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、
    算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する
    ことを特徴とする色補正方法。
  9. 撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、
    検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、
    取得した前記移動物体の位置と色との関係を示す情報を記憶手段に記憶させ、
    取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、
    前記色安定領域の推定で、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定し、
    前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、
    算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する
    ことを特徴とする色補正方法。
  10. コンピュータに、
    撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、
    検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理
    取得した前記移動物体の位置と色との関係を示す情報を記憶手段に記憶させる処理、および、
    取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理を実行させ、
    前記色安定領域を推定する処理で、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定させ
    前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および
    算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理をさらに実行させる
    ための色補正用プログラム。
  11. コンピュータに、
    撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、
    検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理
    取得した前記移動物体の位置と色との関係を示す情報を記憶手段に記憶させる処理、および、
    取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理を実行させ、
    前記色安定領域を推定する処理で、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定させ
    前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および
    算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理をさらに実行させる
    ための色補正用プログラム。
JP2014548454A 2012-11-22 2013-11-19 色補正装置、色補正方法および色補正用プログラム Active JP6428266B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012255981 2012-11-22
JP2012255981 2012-11-22
PCT/JP2013/006776 WO2014080613A1 (ja) 2012-11-22 2013-11-19 色補正装置、色補正方法および色補正用プログラム

Publications (2)

Publication Number Publication Date
JPWO2014080613A1 JPWO2014080613A1 (ja) 2017-01-05
JP6428266B2 true JP6428266B2 (ja) 2018-11-28

Family

ID=50775808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014548454A Active JP6428266B2 (ja) 2012-11-22 2013-11-19 色補正装置、色補正方法および色補正用プログラム

Country Status (3)

Country Link
US (1) US9462160B2 (ja)
JP (1) JP6428266B2 (ja)
WO (1) WO2014080613A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6335498B2 (ja) * 2013-03-19 2018-05-30 キヤノン株式会社 画像処理装置及びその制御方法
US10664705B2 (en) 2014-09-26 2020-05-26 Nec Corporation Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium
JP6488647B2 (ja) * 2014-09-26 2019-03-27 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
JP6525453B2 (ja) * 2014-11-26 2019-06-05 日本放送協会 オブジェクト位置推定システム、及びそのプログラム
JP2016134803A (ja) * 2015-01-20 2016-07-25 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017034444A (ja) * 2015-07-31 2017-02-09 オリンパス株式会社 撮像装置および撮像方法
JP6624877B2 (ja) * 2015-10-15 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9858686B2 (en) 2016-02-10 2018-01-02 Google Llc Dynamic color determination for user interface components of a video player
JP6718646B2 (ja) * 2016-04-15 2020-07-08 ホーチキ株式会社 火災検知装置及び火災検知方法
CN105976398A (zh) * 2016-04-28 2016-09-28 天津大学 一种白天火灾视频检测方法
US10134154B2 (en) 2016-12-30 2018-11-20 Google Llc Selective dynamic color management for user interface components of a media player
JP7058471B2 (ja) 2017-04-17 2022-04-22 キヤノン株式会社 画像処理装置、画像処理方法
CN110473232B (zh) * 2017-07-14 2024-02-09 腾讯科技(深圳)有限公司 图像识别方法、装置、存储介质及电子设备
JP7191633B2 (ja) * 2017-12-01 2022-12-19 キヤノン株式会社 画像処理装置、制御方法及びプログラム
EP3493539B1 (en) * 2017-12-01 2021-03-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
JP6725733B2 (ja) * 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
DE102021205096A1 (de) * 2021-05-19 2022-11-24 Robert Bosch Gesellschaft mit beschränkter Haftung System und Verfahren, insbesondere computerimplementiertes Verfahren zum Bestimmen einer Störung zum Angreifen und/oder Validieren eines Objektverfolgers
CN113467678A (zh) * 2021-06-10 2021-10-01 北京达佳互联信息技术有限公司 目标对象显示方法、装置、电子设备及计算机可读存储介质
JP2022191030A (ja) * 2021-06-15 2022-12-27 株式会社リコー 画像形成装置、画像形成システム、及び、画像形成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4742542B2 (ja) * 2004-09-02 2011-08-10 株式会社ニコン 撮像装置
JP5046809B2 (ja) * 2007-09-04 2012-10-10 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP4813456B2 (ja) * 2007-12-21 2011-11-09 日本放送協会 映像編集装置及び映像編集プログラム
JP5146015B2 (ja) * 2008-03-04 2013-02-20 株式会社リコー 撮像装置及び撮像方法
JP5394952B2 (ja) 2010-03-03 2014-01-22 セコム株式会社 移動物体追跡装置
WO2012099013A1 (ja) * 2011-01-20 2012-07-26 シャープ株式会社 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体

Also Published As

Publication number Publication date
WO2014080613A1 (ja) 2014-05-30
JPWO2014080613A1 (ja) 2017-01-05
US20150334267A1 (en) 2015-11-19
US9462160B2 (en) 2016-10-04

Similar Documents

Publication Publication Date Title
JP6428266B2 (ja) 色補正装置、色補正方法および色補正用プログラム
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
CN104202547B (zh) 投影画面中提取目标物体的方法、投影互动方法及其系统
JP6125188B2 (ja) 映像処理方法及び装置
Tang et al. Cross-camera knowledge transfer for multiview people counting
JP5567853B2 (ja) 画像認識装置および方法
JP4772839B2 (ja) 画像識別方法および撮像装置
WO2020167581A1 (en) Method and apparatus for processing video stream
JP5873442B2 (ja) 物体検出装置および物体検出方法
JP6036824B2 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
WO2016199244A1 (ja) 物体認識装置及び物体認識システム
CN111862296A (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
JP2014178957A (ja) 学習データ生成装置、学習データ作成システム、方法およびプログラム
TWI438702B (zh) 影像環境邊界之動態設定方法及人員活動內容之即時判定方法
JP6521626B2 (ja) 被写体追跡装置、方法およびプログラム
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
US20220366570A1 (en) Object tracking device and object tracking method
JP6547626B2 (ja) 画像の特徴量に関する処理システム、処理方法及びプログラム
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
JP6943340B2 (ja) 物体検出装置、物体検出システム、物体検出方法、およびプログラム
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
KR20100073366A (ko) 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181015

R150 Certificate of patent or registration of utility model

Ref document number: 6428266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150