JP7205380B2 - 撮像装置及び撮像方法 - Google Patents

Description

この発明は、映像を撮像する撮像装置及び撮像方法に関するものである。

従来の撮像装置におけるホワイトバランス制御として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から色差信号（Ｒ－Ｙ、Ｂ－Ｙ）、輝度信号（Ｙ）を算出し、算出した色差信号と輝度信号からフレームから白に近い色の画素を抽出した後、抽出した白に近い色の画素の色信号の平均値を無彩色（目標とする白色）と等しくなるように制御するものがある（例えば、特許文献１参照）。

特開２００９－２２５１５０号公報

従来の撮像装置におけるホワイトバランス制御では、順次生成されるフレームのすべてに対して白に近い色の画素を抽出するために、処理負荷が高くなるという課題があった。

この発明は上記のような課題を解決するためになされたもので、白に近い色の画素の抽出の処理負荷を削減することができる撮像装置を得ることを目的としている。

この発明に係る撮像装置は、
複数の画素から構成されるフレームを順次生成する撮像処理部と、
前記フレームの１つである対象フレームを複数に分割した部分ブロックのうち、白色または白に近い色の前記画素である白色画素の数が第一の閾値以上存在する前記部分ブロックを基準ブロックとして選択する白色検出部と、
前記基準ブロックを基準として、当該基準ブロックが白色となるように前記対象フレームのホワイトバランス制御を行うホワイトバランス制御部とを備え、
前記ホワイトバランス制御部が基準とする前記基準ブロックの位置は、
前記対象フレームとその前に生成されたフレームとの輝度値の平均の変化量が第二の閾値以上の場合、前記対象フレームで選択された前記基準ブロックの位置であり、
前記対象フレームと前記前に生成されたフレームとの輝度値の平均の変化量が第二の閾値より小さい場合、前記前に生成されたフレームで選択された前記基準ブロックの位置であることを特徴とするものである。

この発明によれば、上記のように構成したので、ホワイトバランス制御における白に近い画素の抽出の処理負荷を削減することができるという効果がある。

この発明の実施の形態１に係る監視カメラシステムの構成の一例を示す図である。 この発明の実施の形態１に係る撮像装置の構成の一例を示すブロック図である。 この発明の実施の形態１に係る撮像装置の動作の一例を示すフローチャートである。 この発明の実施の形態２に係る監視カメラシステムの構成の一例を示す図である。 この発明の実施の形態２に係る撮像装置の構成の一例を示すブロック図である。 この発明の実施の形態２に係る撮像装置の動作の一例を示すフローチャートである。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る監視カメラシステムの構成の一例を示す図である。
図１に示すように、監視カメラシステム１は、映像を撮像するｎ台の撮像装置２（ｎは１以上の整数）、撮像装置２が順次出力するフレームを記録する映像記録再生装置３、映像記録再生装置３が出力するフレームを表示するモニタ４を備える。

撮像装置２は、人物や車両など（図示せず）を撮像し、複数の画素から構成されるフレームを映像記録再生装置３に順次出力するものである。

映像記録再生装置３は、撮像装置２から順次出力されたフレームを記録し、また、記録されたフレームを再生して、モニタ４に出力するものである。

モニタ４は、映像記録再生装置３から出力されたフレームを表示するものである。

図２は、この発明の実施の形態１に係る撮像装置の構成の一例を示すブロック図である。
図２に示すように、撮像装置２は、撮像処理部２１、信号処理部２２、輝度情報変化判定部２３、白色検出部２４、記憶部２５、ホワイトバランス制御部２６及びＩＦ部２７を備える。

撮像処理部２１は、レンズ（図示せず）により集光された光を電気信号に変換して、複数の画素から構成されるフレームを順次生成し、信号処理部２２に出力するものである。

信号処理部２２は、撮像処理部２１から出力されたフレームの赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から色差信号（Ｒ－Ｙ、Ｂ－Ｙ）、輝度信号（Ｙ）を算出し、算出した色差信号（Ｒ－Ｙ、Ｂ－Ｙ）、輝度信号（Ｙ）及びフレームを輝度情報変化判定部２３に出力するものである。

輝度情報変化判定部２３は、信号処理部２２から出力された、前後するフレームについて、各フレームの輝度値の平均の変化の有無を判定するものである。

白色検出部２４は、フレームを所定の数に分割し、分割された領域（部分ブロック）ごとに、信号処理部２２により算出された色差信号（Ｒ－Ｙ、Ｂ－Ｙ）と輝度信号（Ｙ）に基づき白または白に近い色の画素（白色画素）を抽出し、白色画素の数が所定の閾値（第一の閾値）以上である部分ブロックを基準ブロックとして選択するものである。

記憶部２５は、基準ブロックの位置を記憶するものである。

ホワイトバランス制御部２６は、基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるようにフレームのホワイトバランス制御を行うものである。

ＩＦ部２７は、ホワイトバランス制御部２６から出力されたフレームを映像記録再生装置３に出力するものである。

次に、撮像装置２の基本的な動作について、図２及び図３を参照しながら説明する。
撮像処理部２１はレンズにより集光された光を電気信号に変換し、複数の画素から構成されるフレームを信号処理部２２に順次出力する。

信号処理部２２は、撮像処理部２１から順次出力されたフレームの１つ（対象フレーム）について、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から色差信号（Ｒ－Ｙ、Ｂ－Ｙ）、輝度信号（Ｙ）を算出し、算出した色差信号（Ｒ－Ｙ、Ｂ－Ｙ）、輝度信号（Ｙ）及び対象フレームを輝度情報変化判定部２３に出力する。

輝度情報変化判定部２３は、信号処理部２２から出力された、対象フレームとその前に生成されたフレームとについて（すなわち前後するフレームについて）、各フレームの輝度値の平均の変化量が所定の閾値（第二の閾値）以上であるか否かを判定する（ステップＳＴ１０１）。なお、前後するフレームは、連続するフレームでもよいし、所定のフレーム数だけ離れたフレームでもよい。

輝度情報変化判定部２３によりフレームの輝度値の平均の変化量が所定の閾値（第二の閾値）以上であると判定された場合（ステップＳＴ１０１、Ｙｅｓ）、白色検出部２４は、対象フレームを複数に分割した部分ブロックごとに、信号処理部２２により算出された色差信号（Ｒ－Ｙ、Ｂ－Ｙ）と輝度信号（Ｙ）に基づき白色画素を抽出し、白色画素の数が所定の閾値（第一の閾値）以上抽出されたか否かを、判定する（ステップＳＴ１０２）。

白色検出部２４により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが存在すると判定された場合（ステップＳＴ１０３、Ｙｅｓ）、白色検出部２４は、当該部分ブロックを基準ブロックとして選択し（ステップＳＴ１０４）、記憶部２５は、当該基準ブロックの位置を記憶する（ステップＳＴ１０５）。ホワイトバランス制御部２６は、白色検出部２４により対象フレームで選択された基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０６）。この場合、ホワイトバランス制御部２６が基準とする基準ブロックの位置は、対象フレームで選択された基準ブロックの位置となる。なお、本実施の説明においては、本動作の開始の時点で基準ブロックが選択されているものとしている。

白色検出部２４により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが存在しないと判定された場合（ステップＳＴ１０３、Ｎｏ）、ホワイトバランス制御部２６は、対象フレームの全体の色差信号（Ｒ－Ｙ、Ｂ－Ｙ）が０となるように制御する（ステップＳＴ１０７）。

輝度情報変化判定部２３によりフレームの輝度値の平均の変化量が所定の閾値（第二の閾値）より小さいと判定された場合（ステップＳＴ１０１、Ｎｏ）、白色検出部２４は白色画素の抽出及び基準ブロックの選択をせず、ホワイトバランス制御部２６は、記憶部２５により記憶されている基準ブロックの位置（すなわち、白色検出部２４により前に生成されたフレームで選択された基準ブロックの位置）にある部分ブロックを基準ブロックとして、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０８）。

このように、本実施の形態に係る撮像装置は、フレームの輝度値の平均の変化量が小さい場合、白色画素を抽出せず、前に生成されたフレームで選択された基準ブロックを基準として、ホワイトバランス制御を行うように構成したので、白色画素を抽出するための処理負荷を軽減することが可能となる。

実施の形態２．
実施の形態２では、白色検出部２４により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが複数存在すると判定された場合について、説明する。

図４は、この発明の実施の形態２に係る監視カメラシステムの構成の一例を示す図である。図４において、図１と同一の符号は、同一または相当するものであるので、説明を省略する。

図４に示すように、監視カメラシステム５は、映像を撮像するｎ台の撮像装置６（ｎは１以上の整数）、撮像装置２が順次出力するフレームを記録する映像記録再生装置３、映像記録再生装置３が出力するフレームを表示するモニタ４を備える。

撮像装置６は、人物や車両など（図示せず）を撮像し、複数の画素から構成されるフレームを映像記録再生装置３に順次出力するものである。

図５は、この発明の実施の形態２に係る撮像装置の構成の一例を示すブロック図である。図５において、図２と同一の符号は、同一または相当するものであるので、説明を省略する。

図５に示すように、撮像装置６は、撮像処理部２１、信号処理部２２、輝度情報変化判定部２３、白色検出エリア決定部６１、白色検出部６２、物体情報取得部６３、記憶部６４、ホワイトバランス制御部２６及びＩＦ部２７を備える。

白色検出エリア決定部６１は、信号処理部２２により算出された輝度信号（Ｙ）に基づき、部分ブロックを、輝度値の変化量が大きいエリアと小さいエリアとのいずれかに区分するものである。

白色検出部６２は、部分ブロックごとに、信号処理部２２により算出された色差信号（Ｒ－Ｙ、Ｂ－Ｙ）と輝度信号（Ｙ）に基づき白色画素を抽出し、白色画素の数が所定の閾値（第一の閾値）以上抽出されている部分ブロックを基準ブロックとして選択するものである。

物体情報取得部６３は、フレームの指定された部分ブロックから物体を検出し、当該物体に関する物体情報を取得するものである。

記憶部６４は、基準ブロックの位置及び基準ブロックから検出された物体の物体情報を記憶するものである。

次に、撮像装置６の基本的な動作について、図５及び図６を参照しながら説明する。図５において、図３と同一の符号は、同一または相当するものであるので、説明を省略する。

輝度情報変化判定部２３によりフレームの輝度値の平均の変化量が所定の閾値（第二の閾値）以上であると判定された場合（ステップＳＴ１０１、Ｙｅｓ）、白色検出エリア決定部６１は、前後するフレームについて、前に生成されたフレームの部分ブロックの輝度値の平均と、対象フレームの部分ブロックの輝度値の平均との変化量が、所定の閾値（第三の閾値）以上か否かにより、対象フレームの部分ブロックを、輝度変化量の大きいエリアと輝度変化量の小さいエリアとのいずれかに区分する（ステップＳＴ２０１）。

白色検出部６２は、信号処理部２２により算出された色差信号（Ｒ－Ｙ、Ｂ－Ｙ）と輝度信号（Ｙ）に基づき白色画素を抽出し、白色画素の数が所定の閾値（第一の閾値）以上抽出されているかを、対象フレームの部分ブロックのうち、白色検出エリア決定部６１により輝度変化量の小さいエリアに区分された部分ブロックについて判定する（ステップＳＴ２０２）。

白色検出部６２により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが存在すると判定した場合において（ステップＳＴ１０３、Ｙｅｓ）、そのような部分ブロックが１つだけ存在するとき（ステップＳＴ２０３、Ｎｏ）、白色検出部６２は、当該部分ブロックを基準ブロックとして選択し（ステップＳＴ１０４）、記憶部６４は、当該基準ブロックの位置を記憶する（ステップＳＴ２０８）。ホワイトバランス制御部２６は、白色検出部６２により対象フレームで選択された基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０６）。なお、本実施の説明においては、本動作の開始の時点で基準ブロックが選択されているものとしている。

白色検出部６２により、白色画素の数が所定の閾値（第一の閾値）以上抽出された部分ブロックが存在すると判定した場合において（ステップＳＴ１０３、Ｙｅｓ）、そのような部分ブロックが複数存在するとき（ステップＳＴ２０３、Ｙｅｓ）、物体情報取得部６３は、それらの部分ブロックのそれぞれについて、所定のアルゴリズムを用いて、物体情報を取得する（ステップＳＴ２０４）。

物体情報取得部６３により、白色画素の数が所定の閾値（第一の閾値）以上抽出された複数の部分ブロックのうちのある部分ブロックから、記憶部により記憶された物体情報と同一の物体情報が取得された場合（ステップＳＴ２０５、Ｙｅｓ）、白色検出部６２は、その部分ブロックを基準ブロックとして選択し（ステップＳＴ２０６）、記憶部６４は、当該基準ブロックの位置及び当該基準ブロックから取得された物体情報を記憶する（ステップＳＴ２０８）。ホワイトバランス制御部２６は、白色検出部６２により対象フレームで選択された基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０６）。この場合、ホワイトバランス制御部２６が基準とする基準ブロックは、前に生成されたフレームで選択された基準ブロックから取得された物体情報と同一の物体情報が取得された基準ブロックとなる。

物体情報取得部６３により、白色画素の数が所定の閾値（第一の閾値）以上抽出された複数の部分ブロックのいずれからも記憶部により記憶された物体情報が取得されなかった場合、または記憶部が物体情報を記憶していない場合（ステップＳＴ２０５、Ｎｏ）、白色検出部６２は、白色画素の数が最も多い部分ブロックを基準ブロックとして選択し（ステップＳＴ２０７）、記憶部６４は、当該基準ブロックの位置及び（もし取得されていれば）当該基準ブロックから取得された物体情報を記憶する（ステップＳＴ２０８）。ホワイトバランス制御部２６は、白色検出部６２により対象フレームで選択された基準ブロックを基準として、当該基準ブロックに含まれる画素の色信号の平均値が無彩色（目標とする白色）と等しくなるように対象フレームのホワイトバランス制御を行う（ステップＳＴ１０６）。

このように、本実施の形態に係る撮像装置は、フレームの部分ブロックのうち、輝度値の変化量の小さい部分ブロックについて白色画素の抽出を実施するように構成したので、白色画素を抽出するための処理負荷を削減することが可能となる。

また、本実施の形態に係る撮像装置は、前に生成されたフレームで選択された基準ブロックから取得された物体情報と同一の物体情報が取得された部分ブロックを、ホワイトバランス制御の基準ブロックとするように構成したので、ホワイトバランス制御に伴うフレームの色変化量を軽減することが可能となる。

なお、本実施の形態２では、順次生成されるフレームのうち、フレームの輝度値の平均の変化量が所定の閾値（第二の閾値）以上であると判定されたフレームに対し、輝度値の変化量の小さい部分ブロックについて白色画素の抽出を実施するように構成したが、順次生成されるすべてのフレームに対し、輝度値の変化量の小さい部分ブロックについて白色画素の抽出を実施するように構成しても、白色画素を抽出するための処理負荷が削減される。

１ 監視カメラシステム、
２ 撮像装置、
３ 映像記録再生装置、
４ モニタ、
５ 監視カメラシステム、
６ 撮像装置、
２１ 撮像処理部、
２２ 信号処理部、
２３ 輝度情報変化判定部、
２４ 白色検出部、
２５ 記憶部、
２６ ホワイトバランス制御部、
２７ ＩＦ部、
６１ 白色検出エリア決定部、
６２ 白色検出部、
６３ 物体情報取得部、
６４ 記憶部

Claims (4)

1. 複数の画素から構成されるフレームを順次生成する撮像処理部と、
   前記フレームの１つを複数に分割した部分ブロックのうち、白色または白に近い色の前記画素である白色画素の数が第一の閾値以上存在する前記部分ブロックを基準ブロックとして選択する白色検出部と、
   前記基準ブロックを基準として、当該基準ブロックが白色となるように前記フレームのホワイトバランス制御を行うホワイトバランス制御部とを備え、
   前記ホワイトバランス制御部が基準とする前記基準ブロックの位置は、
   前記ホワイトバランス制御を行う対象フレームとその前に生成されたフレームとの輝度値の平均の変化量が第二の閾値以上の場合、前記対象フレームで選択された前記基準ブロックの位置であり、
   前記対象フレームと前記前に生成されたフレームとの輝度値の平均の変化量が第二の閾値より小さい場合、前記前に生成されたフレームで選択された前記基準ブロックの位置であることを特徴とする撮像装置。
2. 前記白色検出部が、
   前記部分ブロックのうち、前記対象フレームと前記前に生成されたフレームとの当該部分ブロックの輝度値の平均の変化量が第三の閾値より小さい前記部分ブロックから、前記白色画素を抽出することを特徴とする請求項１に記載の撮像装置。
3. 前記基準ブロックから物体を検出し、前記物体に関する物体情報を取得する物体情報取得部をさらに備え、
   前記白色検出部により複数の前記基準ブロックが選択されたとき、
   前記ホワイトバランス制御部は、
   前記複数の前記基準ブロックのうち、前記前に生成されたフレームで選択された前記基準ブロックから取得された前記物体情報が取得された前記基準ブロックが白色となるように前記対象フレームのホワイトバランス制御を行うことを特徴とする請求項２に記載の撮像装置。
4. 複数の画素から構成されるフレームを順次生成する撮像処理部と、
   前記フレームの１つである対象フレームを複数に分割した部分ブロックのうち、白色または白に近い色の前記画素である白色画素の数が第一の閾値以上存在する前記部分ブロックを基準ブロックとして選択する白色検出部と、
   前記基準ブロックを基準として、当該基準ブロックが白色となるように前記対象フレームのホワイトバランス制御を行うホワイトバランス制御部とを備える撮像装置の撮像方法であって、
   前記ホワイトバランス制御部が基準とする前記基準ブロックの位置は、
   前記対象フレームとその前に生成されたフレームとの輝度値の平均の変化量が第二の閾値以上の場合、前記対象フレームで選択された前記基準ブロックの位置であり、
   前記対象フレームと前記前に生成されたフレームとの輝度値の平均の変化量が第二の閾値より小さい場合、前記前に生成されたフレームで選択された前記基準ブロックの位置であることを特徴とする撮像方法。

Images