JP4329677B2 - 動き検出装置 - Google Patents
動き検出装置 Download PDFInfo
- Publication number
- JP4329677B2 JP4329677B2 JP2004324749A JP2004324749A JP4329677B2 JP 4329677 B2 JP4329677 B2 JP 4329677B2 JP 2004324749 A JP2004324749 A JP 2004324749A JP 2004324749 A JP2004324749 A JP 2004324749A JP 4329677 B2 JP4329677 B2 JP 4329677B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- luminance
- motion detection
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
また、被写体に動きがあるときでも、被写体の動きによって明るさの評価値に変化が生じてしまうと、露出制御動作が働き、シャッタ速度や増幅率が変化する。そのため、背景画像の輝度値が変化してしまい、背景画像にフレーム差分が生じて、背景部分にも動きがあると誤判定され、その結果、動き検出の精度が低下してしまうという問題があった。
前記正規化手段では、前記イメージセンサが有する最大シャッタ速度と前記イメージセンサの出力を所定のゲインで増幅する増幅手段が有する最大ゲインとの乗算値を前記シャッタ速度と前記ゲインとで除して算出される変換係数を、前記第2の画像の輝度値に乗じることが好ましい。
前記正規化手段では、前記第1の時刻における電子シャッタのシャッタ速度と前記第1の画像を撮像したイメージセンサの出力に乗じたゲインとの少なくとも一方を用いて前記第1の画像の輝度値を正規化し、前記検出手段では、前記正規化手段で輝度値が正規化された前記第1及び第2の画像とに基づいて前記輝度値が変化した領域を検出することが好ましい。
前記第2の時刻は、前記第1の時刻より所定時間後の時刻であることが好ましい。
本発明に係る動き検出装置の他の態様は、第1の時刻に撮像された第1の画像と前記第1の時刻とは異なる第2の時刻に撮像された第2の画像とに基づいて被写体の動きを検出する動き検出装置であって、前記第2の時刻における電子シャッタのシャッタ速度と前記第2の画像を撮像したイメージセンサの出力に乗じたゲインとの少なくとも一方を用いて前記第2の画像の輝度値を正規化する正規化手段と、前記第1の画像を構成する画素の輝度値と前記正規化手段で輝度値が正規化された前記第2の画像を構成する画素の輝度値とを記憶する記憶手段と、前記第1の画像を構成する所定の画素の輝度値と、前記所定の画素の位置に対応する位置の前記正規化手段で輝度値が正規化された前記第2の画像を構成する画素の輝度値と、の差分を算出する差分手段と、前記差分手段によって算出された差分の大きさに基づいて、前記輝度値が変化した領域を検出する判定手段と、を有することを特徴とする。
本発明に係る動き検出装置の他の態様は、第1の時刻に第1の画像を撮像し第2の時刻に第2の画像を撮像する撮像部と、前記撮像部の撮像条件を制御する露出制御部と、前記第1の画像と前記第2の画像とに基づき動きを検出する動き検出部と、を備え、前記露出制御部が輝度測光部と露出誤差検出器とシャッタ速度・ゲイン設定部とを含み、前記撮像部が前記第1の画像に対応する映像信号を出力し、前記輝度測光部が前記映像信号に基づく複数の画素の輝度値を積分し輝度評価値として前記露出誤差検出器へ出力し、前記露出誤差検出器が前記輝度評価値と露出目標値との大小関係を判定して判定結果を前記シャッタ速度・ゲイン設定部へ出力するものであり、前記輝度評価値が前記露出目標値よりも大きい場合、前記シャッタ速度・ゲイン設定部が前記シャッタ速度を前記判定結果の出力された時点よりも短く設定する指令または前記ゲインを前記判定結果の出力された時点よりも小さく設定する指令を、前記撮像部へ出力し、前記撮像部が前記指令に基づき前記第2の画像を撮像するものであり、前記輝度評価値が前記露出目標値よりも小さい場合、前記シャッタ速度・ゲイン設定部が前記シャッタ速度を前記判定結果の出力された時点よりも長く設定する指令または前記ゲインを前記判定結果の出力された時点よりも大きく設定する指令を、前記撮像部へ出力し、前記撮像部が前記指令に基づき前記第2の画像を撮像するものである、ことを特徴とする。
上記動き検出装置において、前記輝度測光部が前記複数の画素のうち中央付近の画素を重み付けして積分するものである、ことが好ましい。また、前記複数の画素が複数の領域に分割され、前記輝度測光部が前記複数の画素を前記複数の領域毎に重み付けして積分するものである、ことが好ましい。また、前記第1の画像と前記第2の画像とで互いに異なる部分の検出に用いられる画像の輝度値を補正するものである、ことが好ましい。また、前記第1の画像と前記第2の画像とで互いに共通する背景画像の輝度値を一定に保つものである、ことが好ましい。
また、前記正規化手段は、最大シャッタ速度と最大ゲインとの乗算値を前記シャッタ速度と前記ゲインとで除して算出される変換係数を、前記画像の輝度値に乗じるものであってもよい。
このような構成によれば、例えば、露出制御動作が働いて電子シャッタのシャッタ速度やセンサ出力の増幅率が変化した場合、シャッタ速度や増幅率で画像の輝度値を正規化することで、背景画像の輝度値を一定に保つことができる。そのため、背景画像にフレーム差分が生じることを防止することができ、例えば、撮像部で撮像された画像をそのまま用いて被写体の動きを検出する方法に比べ、動き検出の精度を向上することができる。
この動き検出装置1は、所定画像を撮像可能な撮像部で所定時間が経過するたびに撮像された画像の間から互いに異なる部分を検出することで被写体の動きを検出するものである。また、その際、この動き検出装置は、前記撮像部で実行される露出制御の制御パラメータによって、前記互いに異なる部分の検出に用いられる画像の輝度値を補正するようになっている。そのため、背景画像の輝度値を一定に保つことができ、背景画像にフレーム差分が生じることを防止することができ、動き検出の精度を向上することができる。
図1は、本発明の一実施形態の内部構成を示すブロック図である。この図1に示すように、動き検出装置1は、撮像部2、広Dレンジ画像生成部3、及び動き検出部4を含んで構成される。また、撮像部2は、図2に示すように、撮像レンズ5、アナログ・デジタル映像信号処理本線6及び露出制御部7を含んで構成される。
また、アナログ・デジタル映像信号処理本線6は、イメージセンサ8、PGA(Programmable Gain Amplifier)9、及びADC(Analog-to-Digital Converter)10を含んで構成される。
また、PGA9は、露出制御部7(シャッタ速度・ゲイン設定部13)から出力されるゲイン設定指令(後述)に対応するゲイン(増幅率)でイメージセンサ8から出力される電力を増幅する。そして、PGA9は、その増幅された電力をADC10に出力する。
また、露出制御部7は、輝度測光部11、露出誤差検出器12及びシャッタ速度・ゲイン設定部13を含んで構成される。
なお、本実施形態では、1画面分の画像に含まれる各画素の輝度値を単に積分することで輝度評価値を生成する例を示したが、これに限られるものではない。例えば、中央付近に被写体が撮像されていると想定し、中央付近の画素を重み付けして積分してもよく、また、画像を複数の領域に分割し、各領域毎に重み付けして積分するようにしてもよい。
さらに、シャッタ速度・ゲイン設定部13は、露出誤差検出器12から出力される判定結果が、輝度評価値が露出目標値よりも大きいことを示す場合には、シャッタ速度(露光時間)をそれまでよりも短く設定したりゲインを小さく設定したりする指令(以下、「シャッタ速度設定指令」「ゲイン設定指令」とも呼ぶ。)をアナログ・デジタル映像信号処理本線6(イメージセンサ8、PGA9)に出力する。また、シャッタ速度・ゲイン設定部13は、露出誤差検出器12から出力される判定結果が、輝度評価値が露出目標値よりも小さいことを示す場合には、シャッタ速度をそれまでよりも長く設定したりゲインを大きく設定したりする指令をアナログ・デジタル映像信号処理本線6に出力する。なお、その際、シャッタ速度Tは、イメージセンサ8の構造で決まる最短露光時間Tminの整数N倍に設定され、また、ゲインMは整数値で設定される。
また、シャッタ速度・ゲイン設定部13は、アナログ・デジタル映像信号処理本線6に出力しているシャッタ速度設定指令やゲイン設定指令が示すシャッタ速度TやゲインMに基づき、下記(1)式に従って、撮像条件値Vを生成する。そして、シャッタ速度・ゲイン設定部13は、その生成された撮像条件値を広Dレンジ画像生成部3に出力する。
=((Tmin×Nmax)×Mmax)/((Tmin×N)×M)
=(Nmax×Mmax)/(N×M) ………(1)
なお、本実施形態では、撮像条件値Vをフレーム単位で切り替えて設定する例を示したが、これに限られるものではない。例えば、画像を形成する複数の画素からなる画素領域単位や、画素列単位、画素単位で切り替えて設定するようにしてもよい。
画素カウンタ・制御部14は、撮像部2における各種同期信号(水平同期信号、垂直同期信号、画素同期信号等)を検出し、その検出された同期信号に基づいて、広Dレンジ画像生成部3から出力されている広Dレンジ画像信号WIが示す画素のXY座標位置を算出する。また、画素カウンタ・制御部14は、広Dレンジ画像信号WIが順次入力され、XY座標位置が変わる度に、所定の制御信号をメモリアービタ15に出力し、また、前記XY座標位置に対応する画素の輝度値を記録させるアドレスを示すアドレス・制御信号を画像メモリ16に出力する。
さらに、判定部18は、差分部17から出力される算出結果の大きさに基づいて被写体の動きを検出し、その検出結果を、CPUや動き検出メモリ(不図示)に転送する。
次に、本発明に係る動き検出装置の動作を具体的状況に基づいて説明する。なお、本例は、フレーム単位で撮像条件を更新する。
そして、被写体の動き検出の実行中に、被写体の動きによって本線映像信号が示す現フレームの画像において一部の画素の輝度値が増大したとする。すると、図2に示すように、輝度測光部11によって、輝度評価値が露出目標値より十分に大きく算出され、露出誤差検出器12によって、その旨を示す判定結果がシャッタ速度・ゲイン設定部13に出力される。そして、シャッタ速度・ゲイン設定部13によって、シャッタ速度設定指令がアナログ・デジタル映像信号処理本線6のイメージセンサ8に出力され、ゲイン設定指令がPGA9に出力され、さらに、撮像条件値V2が広Dレンジ画像生成部3に出力される。上記動作は、現フレームの撮像動作終了後、直ちに実行され、次フレームにおいては、新しい撮像条件にて撮像動作が行われる。
なお、図1の広Dレンジ画像生成部3が特許請求の範囲に記載の正規化手段を構成する。また、本発明の動き検出装置は、上記実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
Claims (10)
- 第1の時刻に撮像された第1の画像と前記第1の時刻とは異なる第2の時刻に撮像された第2の画像とに基づいて被写体の動きを検出する動き検出装置であって、
前記第2の時刻における電子シャッタのシャッタ速度と前記第2の画像を撮像したイメージセンサの出力に乗じたゲインとの少なくとも一方を用いて前記第2の画像の輝度値を正規化する正規化手段と、前記第1の画像と前記正規化手段で輝度値が正規化された前記第2の画像とに基づいて前記輝度値が変化した領域を検出する検出手段とを有することを特徴とする動き検出装置。 - 前記正規化手段では、前記イメージセンサが有する最大シャッタ速度と前記イメージセンサの出力を所定のゲインで増幅する増幅手段が有する最大ゲインとの乗算値を前記シャッタ速度と前記ゲインとで除して算出される変換係数を、前記第2の画像の輝度値に乗じることを特徴とする請求項1に記載の動き検出装置。
- 前記正規化手段では、前記第1の時刻における電子シャッタのシャッタ速度と前記第1の画像を撮像したイメージセンサの出力に乗じたゲインとの少なくとも一方を用いて前記第1の画像の輝度値を正規化し、
前記検出手段では、前記正規化手段で輝度値が正規化された前記第1及び第2の画像とに基づいて前記輝度値が変化した領域を検出することを特徴とする請求項1又は2に記載の動き検出装置。 - 前記第2の時刻は、前記第1の時刻より所定時間後の時刻であることを特徴とする請求項1〜3のいずれかに記載の動き検出装置。
- 第1の時刻に撮像された第1の画像と前記第1の時刻とは異なる第2の時刻に撮像された第2の画像とに基づいて被写体の動きを検出する動き検出装置であって、
前記第2の時刻における電子シャッタのシャッタ速度と前記第2の画像を撮像したイメージセンサの出力に乗じたゲインとの少なくとも一方を用いて前記第2の画像の輝度値を正規化する正規化手段と、
前記第1の画像を構成する画素の輝度値と前記正規化手段で輝度値が正規化された前記第2の画像を構成する画素の輝度値とを記憶する記憶手段と、
前記第1の画像を構成する所定の画素の輝度値と、前記所定の画素の位置に対応する位置の前記正規化手段で輝度値が正規化された前記第2の画像を構成する画素の輝度値と、の差分を算出する差分手段と、
前記差分手段によって算出された差分の大きさに基づいて、前記輝度値が変化した領域を検出する判定手段と、
を有することを特徴とする動き検出装置。 - 第1の時刻に第1の画像を撮像し第2の時刻に第2の画像を撮像する撮像部と、
前記撮像部の撮像条件を制御する露出制御部と、
前記第1の画像と前記第2の画像とに基づき動きを検出する動き検出部と、を備え、
前記露出制御部が輝度測光部と露出誤差検出器とシャッタ速度・ゲイン設定部とを含み、
前記撮像部が前記第1の画像に対応する映像信号を出力し、前記輝度測光部が前記映像信号に基づく複数の画素の輝度値を積分し輝度評価値として前記露出誤差検出器へ出力し、前記露出誤差検出器が前記輝度評価値と露出目標値との大小関係を判定して判定結果を前記シャッタ速度・ゲイン設定部へ出力するものであり、
前記輝度評価値が前記露出目標値よりも大きい場合、前記シャッタ速度・ゲイン設定部が前記シャッタ速度を前記判定結果の出力された時点よりも短く設定する指令または前記ゲインを前記判定結果の出力された時点よりも小さく設定する指令を、前記撮像部へ出力し、前記撮像部が前記指令に基づき前記第2の画像を撮像するものであり、
前記輝度評価値が前記露出目標値よりも小さい場合、前記シャッタ速度・ゲイン設定部が前記シャッタ速度を前記判定結果の出力された時点よりも長く設定する指令または前記ゲインを前記判定結果の出力された時点よりも大きく設定する指令を、前記撮像部へ出力し、前記撮像部が前記指令に基づき前記第2の画像を撮像するものである、ことを特徴とする動き検出装置。 - 請求項6に記載の動き検出装置において、
前記輝度測光部が前記複数の画素のうち中央付近の画素を重み付けして積分するものである、ことを特徴とする動き検出装置。 - 請求項6に記載の動き検出装置において、
前記複数の画素が複数の領域に分割され、前記輝度測光部が前記複数の画素を前記複数の領域毎に重み付けして積分するものである、ことを特徴とする動き検出装置。 - 請求項1ないし6に記載の動き検出装置において、
前記第1の画像と前記第2の画像とで互いに異なる部分の検出に用いられる画像の輝度値を補正するものである、ことを特徴とする動き検出装置。 - 請求項1ないし6に記載の動き検出装置において、
前記第1の画像と前記第2の画像とで互いに共通する背景画像の輝度値を一定に保つものである、ことを特徴とする動き検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004324749A JP4329677B2 (ja) | 2004-11-09 | 2004-11-09 | 動き検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004324749A JP4329677B2 (ja) | 2004-11-09 | 2004-11-09 | 動き検出装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007294006A Division JP4285573B2 (ja) | 2007-11-13 | 2007-11-13 | 動き検出装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006135838A JP2006135838A (ja) | 2006-05-25 |
JP2006135838A5 JP2006135838A5 (ja) | 2007-12-20 |
JP4329677B2 true JP4329677B2 (ja) | 2009-09-09 |
Family
ID=36728933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004324749A Expired - Fee Related JP4329677B2 (ja) | 2004-11-09 | 2004-11-09 | 動き検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4329677B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4626689B2 (ja) | 2008-08-26 | 2011-02-09 | ソニー株式会社 | 撮像装置、補正回路および補正方法 |
JP4678061B2 (ja) | 2009-04-02 | 2011-04-27 | 株式会社ニコン | 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム |
JP6319709B2 (ja) * | 2014-03-21 | 2018-05-09 | 株式会社Ihi | デブリ検出方法 |
JP7231054B2 (ja) * | 2019-10-08 | 2023-03-01 | 株式会社デンソー | 誤差推定装置、誤差推定方法、誤差推定プログラム |
DE112021007535T5 (de) * | 2021-04-19 | 2024-06-27 | Hanwha Vision Co., Ltd. | Einstellung des Verschlusswerts einer Überwachungskamera über KI-basierte Objekterkennung |
-
2004
- 2004-11-09 JP JP2004324749A patent/JP4329677B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006135838A (ja) | 2006-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11431937B2 (en) | Data rate control for event-based vision sensor | |
KR102668130B1 (ko) | 이벤트 카메라를 이용한 정적 이미지들의 생성 | |
JP2006005520A (ja) | 撮像装置 | |
JP2022076837A (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20130329091A1 (en) | Image capture device, method for generating composite image, and storage medium | |
JP4329677B2 (ja) | 動き検出装置 | |
US10129449B2 (en) | Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus | |
JP2006295707A (ja) | 画像再生装置及び像ブレ補正プログラム | |
US10965877B2 (en) | Image generating method and electronic apparatus | |
JP4285573B2 (ja) | 動き検出装置 | |
JP2829801B2 (ja) | トンネル内車両動態計測装置 | |
JP2006311367A (ja) | 撮像装置及び撮像方法 | |
JP3751799B2 (ja) | 撮像装置の揺れ補正装置及び方法 | |
JP2014150409A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP7031570B2 (ja) | 振動検出方法 | |
US10187559B2 (en) | Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus | |
JP2008312169A (ja) | 画像処理装置及び方法、及び撮像装置 | |
US20230247306A1 (en) | Image capturing apparatus, information processing apparatus, control method, and storage medium | |
US10785420B2 (en) | Imaging device and camera for minimizing a digital gain value to be multiplied and suppressing noise | |
JP2962290B2 (ja) | トンネル内自動監視装置 | |
JP6066942B2 (ja) | 画像処理装置 | |
WO2020152997A1 (ja) | 画像処理システムおよびカメラシステム | |
JP2023104719A (ja) | 撮像装置、制御方法及びコンピュータプログラム | |
JPH1127654A (ja) | 監視カメラ及び監視システム | |
JP2006309510A (ja) | 動き検出装置およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071107 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4329677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |