JP5242470B2 - 検知システムおよびその信号処理方法 - Google Patents

検知システムおよびその信号処理方法 Download PDF

Info

Publication number
JP5242470B2
JP5242470B2 JP2009069114A JP2009069114A JP5242470B2 JP 5242470 B2 JP5242470 B2 JP 5242470B2 JP 2009069114 A JP2009069114 A JP 2009069114A JP 2009069114 A JP2009069114 A JP 2009069114A JP 5242470 B2 JP5242470 B2 JP 5242470B2
Authority
JP
Japan
Prior art keywords
unit
calculation
light source
output signal
sum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009069114A
Other languages
English (en)
Other versions
JP2010226259A (ja
Inventor
淳 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rhythm Co Ltd
Original Assignee
Rhythm Watch Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rhythm Watch Co Ltd filed Critical Rhythm Watch Co Ltd
Priority to JP2009069114A priority Critical patent/JP5242470B2/ja
Publication of JP2010226259A publication Critical patent/JP2010226259A/ja
Application granted granted Critical
Publication of JP5242470B2 publication Critical patent/JP5242470B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、例えば、撮像装置を用いて被写体の状態を検知可能な検知システムおよびその信号処理方法に関するものである。
白熱電球や蛍光灯等の光源、または、その光源によって照射された被写体をCCD(Charge Coupled Device)等が搭載された撮像装置を用いて撮像するとき、撮像画像に明暗の縞模様等が生じ、撮像装置にとって被写体が何であるかを判別することが困難な場合がある。
これは、一般に、インターレース方式の撮像装置ではフィールド周波数が60Hz程度であるのに対し、光源の変調周波数は100Hzまたは120Hz程度であり、商用の電源周波数(50Hzまたは60Hz)によっては、撮像のタイミングにずれが生じるからである。
このような問題を解決すべく、例えば、特許文献1に示す撮像装置が開示されている。この特許文献1によれば、撮像装置が光源の変調周波数よりも高いフレームレートで被写体を撮像する。
ところで、市場に広く流通している一般的な撮像装置では、NTSC(National Television System Committee)方式またはPAL(Phase Alternating Line standard)方式に対応しているものが大多数である。例えば、NTSC方式では、インターレース走査でフィールド周波数が約60Hz、フレームレート(フレーム周波数)が30Hzと定められている。
したがって、特許文献1が開示する撮像装置のように、一般的な撮像装置を用いてフレームレートを上げることは困難である。
そこで、特許文献2に示す検知システムでは、光源の輝度を撮像装置の走査面周期の所定数倍で変化させ、撮像装置がこの光源によって照射された被写体を撮像する。
これにより、被写体を鮮明に撮像することができるだけでなく、撮像装置のフレームレート自体を上げる必要がないため、市場に広く流通している一般的な撮像装置を用いることができる。
特許第3019309号公報 特開2008−141251号公報
しかしながら、特許文献2が開示する検知システムでは、図29に図示するように、光源(不図示)によって照射された被写体OBJ以外に、不要な動きのある動体物OBJも撮像される場合がある。なお、この動体物OBJの速度vは、その動作の周波数foに比例する。
特許文献2が開示する検知システムでは、光源は、種々の周波数成分の光を放射し、撮像装置の走査周期の所定倍周期で点滅する。このため、動体物OBJの持つ周波数foに近い光源の周波数成分の光も検知される。
その結果、図30に図示するように、フレームFRM内に、被写体OBJだけでなく、被写体OBJであると誤検知された周波数成分foをもつ動体物OBJも撮像されてしまう。
本発明は、撮像対象の光源またはその光源によって照射された被写体を高精度に検知し、撮像対象を鮮明に撮像することができる検知システムおよびその信号処理方法を提供することにある。
本発明の検知システムは、光源と、上記光源または上記光源によって照射された被写体を撮像する撮像部と、上記撮像部の出力信号レベルに応じて、上記光源の状態または上記被写体の状態を検知するための演算を実行する演算部と、上記演算部の演算結果から上記光源または上記被写体の出力信号成分に基づく演算値を抽出する抽出部と、上記抽出部によって抽出された演算値に応じて、上記光源の状態または上記被写体の状態を検知する検知部とを有し、上記光源は、輝度が上記撮像部の走査面周期の所定倍周期で変化し、上記演算部は、上記出力信号を所定走査面周期ごとに取得し、複数の異なる走査面間で上記各出力信号レベル差から上記出力信号レベル差の時間平均を各々算出し、上記各時間平均に基づく演算を実行し、上記抽出部は上記演算部の演算結果としての演算値を閾値と画素単位でフレームごとに比較して、上記閾値より大きい演算値をフレームごとに抽出する第1比較抽出部と、上記第1比較抽出部によって抽出された演算値を画素単位でフレームごとに比較し、第1のフレームと第2のフレームの演算値が一致した場合に、いずれか一方の演算値を上記光源または上記被写体の出力信号成分に基づく演算値であるとして抽出する第2比較抽出部と、からなる。
好適には、本発明の検知システムは、上記撮像部の上記出力信号レベルを、上記演算部の上記演算におけるオーバーフローを抑制可能な信号レベルに調節する調節部を有する。
好適には、本発明の検知システムは、上記オーバーフローを抑制するための変換値を含む変換テーブルが格納された記憶部を有し、上記調節部は、上記記憶部に格納された上記変換テーブルを参照し、上記出力信号レベルに上記変換テーブルの上記変換値を乗じて、上記出力信号レベルを調節する。
好適には、上記調節部は、上記出力信号レベルの調節を実行する第1のモードと、上記出力信号レベルの調節を停止する第2のモードとを有し、上記第1のモードでは、上記出力信号レベルに上記変換テーブルの変換値を画素単位で乗じて、上記出力信号レベルを調節し、上記第2のモードでは、上記出力信号レベルに値が1の変換値を乗じる。
好適には、上記第1のモードでは、上記オーバーフローの抑制レベルを複数レベルに調節可能であり、上記変換テーブルは、上記各々の抑制レベルに対応して、上記抑制レベルが高い程、上記出力信号レベルを下げるまたは上げる変換値を各々含み、上記調節部は、上記第1のモードでは、上記出力信号レベルに上記変換テーブルの上記抑制レベルに対応した変換値を乗じて、上記オーバーフローの抑制レベルを調節する。
好適には、本発明の検知システムの信号処理方法は、光源と、上記光源または上記光源によって照射された被写体を撮像する撮像部とを有する検知システムの信号処理方法であって、上記光源の輝度を上記撮像部の走査面周期の所定倍周期で変化させる第1のステップと、上記撮像部の出力信号レベルに応じて、上記光源の状態または上記被写体の状態を検知するための演算を実行する第2のステップと、上記第2のステップでの演算結果から上記光源または上記被写体の出力信号成分に基づく演算値を抽出する第3のステップと、 上記第3のステップで抽出された演算値に応じて、上記光源の状態または上記被写体の状態を検知する第4のステップとを有し、上記第2のステップでは、上記出力信号を所定走査面周期ごとに取得し、複数の異なる走査面間で上記各出力信号レベル差から上記出力信号レベル差の時間平均を各々算出し、上記各時間平均に基づく演算を実行し、上記第3のステップでは、上記第2のステップでの演算値を閾値と画素単位でフレームごとに比較して、上記閾値より大きい演算値をフレームごとに抽出し、上記抽出された演算値を画素単位でフレームごとに比較して、第1のフレームと第2のフレームの演算値が一致した場合に、いずれか一方の演算値を上記光源または上記被写体の出力信号成分に基づく演算値であるとして抽出する。
本発明によれば、撮像対象の光源またはその光源によって照射された被写体を高精度に検知し、撮像対象を鮮明に撮像することができる。
図1は、本発明の第1実施形態に係る検知システムの構成例を示す概略ブロック図である。 図2は、本発明の第1実施形態に係るCCDの構造を説明するための概略模式図である。 図3は、図2に図示されるCCD121の時系列を説明するための図である。 図4は、単板補色フィルタの色の配列を示す一例の図である。 図5は、奇数フィールドOFDおよび偶数フィールドEFDにおける色信号の組み合わせの一例を示す図である。 図6は、本発明の第1実施形態に係る輝度信号抽出部によって抽出された輝度信号の例を示す図である。 図7は、RS−170A規格による水平ブランキング期間を示す図である。 図8は、RS−170A規格による輝度信号の符号化パラメータを示す図である。 図9は、本発明の第1実施形態に係る変換値テーブルの具体例を示す図である。 図10は、本発明の第1実施形態に係る調節部によって信号レベルが調節された輝度信号の例を示す図である。 図11(A)〜(F)は、第1実施形態に係る第1演算部および第2演算部における演算処理を説明するためのタイミングチャートである。 図12は、本発明の第1実施形態に係る光源の輝度の変化の例を示すタイミングチャートである。 図13は、本発明の第1実施形態に係る各デューティー比に対する和SUMの値の例を示す図である。 図14は、本発明の第1実施形態に係るデューティー比Dと和SUMとの関係を示す図である。 図15は、本発明の第1実施形態に係る撮像対象抽出部の詳細な構成例を示すブロック図である。 図16は、本発明の第1実施形態に係る調節部によって調節された輝度信号の例を示す図である。 図17(A)〜(C)は、動きのある動体物の具体例を示す模式図である。 図18は、本発明の第1実施形態に係る第3演算部の演算結果の例を示す図である。 図19は、本発明の第1実施形態に係る第3演算部の演算結果の例を示す図である。 図20は、本発明の第1実施形態に係る第1比較抽出部の抽出結果の例を示す図である。 図21は、本発明の第1実施形態に係る第1比較抽出部の抽出結果の例を示す図である。 図22は、本発明の第1実施形態に係る第2比較抽出部の抽出結果の例を示す図である。 図23(A)〜(C)は、本発明の第1実施形態に係る第3演算部の演算結果に、一般的なフレーム間差分を適用した場合の不都合について説明するための図である。 図24は、本発明の第1実施形態に係る検知システムの動作例を示すフローチャートである。 図25は、本発明の第2実施形態に係る検知システムの構成例を示す概略ブロック図である。 図26は、本発明の第2実施形態に係る抽出値増幅部の近傍処理を説明するための模式図である。 図27は、本発明の第2実施形態に係る検知システムの動作例を示すフローチャートである。 図28は、本発明の第3実施形態に係る検知システムの構成例を示す概略ブロック図である。 図29は、不要な動体物を説明するため図である。 図30は、一般的な検知システムによって撮像された撮像画像の例を示す図である。
以下、本発明の実施形態を図面に関連付けて説明する。
(第1実施形態)
[検知システム10の構成例]
図1は、本発明の第1実施形態に係る検知システムの構成例を示す概略ブロック図である。
図1に図示するように、検知システム10は、光源11、撮像部12、信号処理部13を有する。
この信号処理部13は、輝度信号抽出部131、調節部132、記憶部133、第1演算部134、第2演算部135、FIFO(First-In First-Out)136a、FIFO136b、第3演算部137、撮像対象抽出部138、および検知部139を有する。
なお、第1演算部134、第2演算部135、および第3演算部137は、本発明の演算部に対応する。撮像対象抽出部138は、本発明の抽出部に対応する。
検知システム10は、撮像対象の光源11または光源11によって照射された被写体OBJを検知し、撮像対象を鮮明に撮像することができるシステムである。本実施形態の特徴として、検知システム10では、被写体OBJ以外に動きのある不要な動体物があっても、動体物を除去して、撮像対象を鮮明に撮像することができる。
光源11は、例えば、LED(Light Emitting Diode)で構成されている。光源11は、被写体OBJを照射し、その輝度が撮像部12のフィールド周期の4n(n=1,2,…)倍周期で変化する。
撮像部12は、例えば、固体撮像素子としてのCCD121で構成されている。CCD121は、例えば、単板補色フィルタを有し、フィールド蓄積型インターライン転送を行うものである。
撮像部12は、光源11または光源11によって照射された被写体OBJを撮像し、光電変換によって受光量に応じたアナログ信号(色信号)を生成する。そして、撮像部12は、これをAD(Analog-to-Digital)変換器等でアナログ信号からデジタル信号に変換(AD変換)した後、このデジタル信号を撮像信号S1として信号処理部13の輝度信号抽出部131に出力する。
なお、テレビジョン方式はNTSC(National Television System Committee)方式であり、走査方式はインターレース方式であるものとする。この場合、水平周波数は15.734kHzであり、フィールド周波数(垂直周波数)は59.94Hzである。
信号処理部13は、撮像部12からnフィールドごとに撮像信号S1が入力されると、以下の信号処理を行う。
輝度信号抽出部131は、撮像部12から撮像信号S1が入力されると、これから輝度信号(本発明の出力信号)を抽出する。そして、輝度信号抽出部131は、この抽出した輝度信号Yを調節部132に出力する。
調節部132は、輝度信号Yの信号レベルの調節を有効にする有効モードと、この信号レベルの調節を無効にする無効モードとを有する。
有効モードでは、調節部132は、第1演算部134、第2演算部135および第3演算部137における演算で、オーバーフローによって演算が破綻しないように、輝度信号抽出部131から入力された輝度信号Yの信号レベルを調節する。
そして、調節部132は、信号レベルを調節した輝度信号S2を第1演算部134と第2演算部135とに出力する。
無効モードでは、調節部132は、輝度信号Yの信号レベルを調節せずに、これをそのまま輝度信号S2として第1演算部134と第2演算部135とに出力する。
記憶部133は、例えば、不揮発性の記憶デバイスまたはランダムアクセス可能な記憶デバイスで構成されている。記憶部133には、調節部132によって参照される変換値テーブル1331が格納されている。
第1演算部134は、調節部132から輝度信号S2が入力されると、同一の画素領域において、m(m=1,2,…)番目のフィールドにおける輝度信号レベルと、(m+2)番目とのフィールドにおける輝度信号レベルとの差の時間平均を画素単位で算出する。そして、第1演算部134は、この時間平均を演算結果AとしてFIFO136aに出力する。
第2演算部135は、調節部132から輝度信号S2が入力されると、同一の画素領域において、(m+1)番目のフィールドにおける輝度信号レベルと、(m+3)番目のフィールドにおける輝度信号レベルとの差の時間平均を画素単位で算出する。そして、第2演算部135は、この時間平均を演算結果BとしてFIFO136bに出力する。
FIFO136a、136bは、互いにフレーム同期で動作する。
FIFO136aは、第1演算部134から入力された画素ごとの演算結果Aを入力順に1フレーム分格納する。
FIFO136bは、第2演算部135から入力された画素ごとの演算結果Bを入力順に1フレーム分格納する。
そして、FIFO136aは、演算結果Aを第3演算部137に順次出力し、FIFO136bは、演算結果Bを第3演算部137に順次出力する。なお、FIFO136a、136bの記憶内容は、適宜クリアされる。
第3演算部137は、FIFO136aから演算結果Aが入力され、FIFO136bから演算結果Bが入力されると、演算結果Aの2乗と演算結果Bの2乗との和SUM(=A+B)を画素単位で算出する。そして、第3演算部137は、この和SUMを演算結果Cとして撮像対象抽出部138に出力する。
撮像対象抽出部138は、第3演算部137から入力された演算結果Cから、撮像対象の輝度信号成分による演算結果を抽出し、それ以外の演算結果をノイズとして除去する。
先ず、撮像対象抽出部138は、光源11または被写体OBJの輝度信号成分に基づき演算された和C(=A+B)を抽出する。
次に、撮像対象抽出部138は、フレーム間差分を行って、差分がない画素の和Cを抽出する。そして、撮像対象抽出部138は、これを光源11または被写体OBJの輝度信号成分に基づき演算された演算結果であるとし、これを抽出結果S3として検知部139に出力する。
換言すれば、撮像対象抽出部138は、被写体OBJ以外に動きのある動体物がある場合、不要な動体物の輝度信号成分に基づく演算結果を除去する。
検知部139は、撮像対象抽出部138から抽出結果S3が入力されると、これに基づき、撮像対象の状態、即ち、撮像対象が何であるかを検知する。具体的には、検知部139は、撮像対象が光源11または光源11によって照射された被写体OBJであることを検知する。
検知部139の検知結果は、不図示の画像処理装置等に入力され、検知された撮像対象が写った撮像画像が生成される。
[CCD121の詳細]
ここで、CCD121の構造を図2に関連づけて説明する。
図2は、本発明の第1実施形態に係るCCDの構造を説明するための概略模式図である。
図2に図示するように、CCD121は、複数のフォトダイオード(PD)1211、垂直転送CCD1212、水平転送CCD1213、および増幅器1214を有する。
各フォトダイオード1211は、画素領域においてマトリクス状に配列されている。垂直ライン方向に配列されたフォトダイオード1211は、列ごとに電荷を転送するための垂直転送CCD1212に各々接続されている。各垂直転送CCD1212の一端は、電荷を増幅部に転送するための水平転送CCD1213に各々接続されている。水平転送CCD1213の出力側には増幅器1214が接続されている。
インターレース方式では、1フレーム(1画面)は、奇数フィールドと偶数フィールドとで構成される。
光源11が放射する光がフォトダイオード1211に入射されると、フォトダイオード1211は、光電変換によって光を電荷に変換し、電荷蓄積時間にこれを蓄積する。この間、フォトダイオード1211と垂直転送CCD1212との間は、各々電気的に遮断されている。
電荷蓄積時間の終了後、フォトダイオード1211と垂直転送CCD1212と間が導通する。すると、フォトダイオード1211に蓄積された電荷は、垂直転送CCD1212に転送される。
この直後に、フォトダイオード1211と垂直転送CCD1212との間は遮断され、フォトダイオード1211は、次の電荷の蓄積を開始する。
ところで、垂直転送CCD1212に転送された電荷は、1水平ライン毎に水平転送CCD1213に転送される。この転送の周波数は、CCD121の水平走査周波数15.734Hzである。
増幅器1214は、水平転送CCD1213から電荷が入力されると、これをアナログ信号として増幅し、これをAD変換器(不図示)等に出力する。増幅されたアナログ信号は、AD変換器等によってデジタル信号に変換された後、撮像信号S1として信号処理部13に出力される。
なお、フォトダイオード1211が電荷を蓄積し、これを垂直転送CCD1212に転送するまでの転送周波数は、59.94Hzである。
図3は、図2に図示されるCCD121の時系列を説明するための図である。
図3に示すように、フォトダイオード1211による電荷の蓄積の開始から終了までの電荷蓄積時間をΔT1とする。また、電荷がフォトダイオード1211から垂直転送CCD1212へ転送されるまでの転送時間をΔT2とする。
図3に図示するように、CCD121に入射した光エネルギーは、電荷蓄積時間ΔT1の間積分されながら、電荷蓄積周期ΔT=ΔT1+ΔT2=(1/59.94秒)でサンプリングされていることになる。
[輝度信号抽出部131の詳細]
以下、信号処理部13について詳細に説明する。始めに、輝度信号抽出部131をCCD121に関連づけて説明する。
図4は、単板補色フィルタの色の配列を示す一例の図である。図4には、画素領域の一部が図示されている。図中のCm,nは、画素の配列を示している。
図5は、奇数フィールドOFDおよび偶数フィールドEFDにおける色信号の組み合わせの一例を示す図である。
単板補色フィルタは、4種類のカラーフィルタで構成されている。詳細には、図4に図示するように、単板補色フィルタは、Ye(イエロ)、Cy(シアン)、Mg(マジェンタ)、およびG(グリーン)のカラーフィルタがベイヤー型の配列形態をもって構成されている。
画素の読み出しの際には、その上下の画素を加算したものが色信号として読み出しされる。加算する組み合わせは、奇数フィールドOFDと偶数フィールドEFDとで、1列ずれている。
具体的には、奇数フィールドOFDのnラインでは、画素(C1,1+C2,1)、画素(C1,2+C2,2)、画素(C1,3+C2,3)、画素(C1,4+C2,4)、画素(C1,5+C2,5)、…のように画素の上下で組み合わせられる。
偶数フィールドEFDのnラインでは、画素(C2,1+C3,1)、画素(C2,2+C3,2)、画素(C2,3+C3,3)、画素(C2,4+C3,4)、画素(C2,5+C3,5)、…のように画素の上下で組み合わされる。
即ち、図5に図示するように、奇数フィールドOFDでは、上述した画素の組み合わせで色信号が読み出される。偶数フィールドEFDでも、上述した画素の組み合わせで色信号が読み出される。
いずれのフィールドも、2画素周期で同一のYe、Cy、Mg、Gの組み合わせの色パターンが繰り返されているため、色信号は2画素周期以上の周波数に重畳して現れる。
そこで、輝度信号抽出部131は、2画素周期を遮断周波数とするローパスフィルタ(不図示)にこの色信号を通す。これにより、色信号が失われ、輝度信号Yが抽出される。つまり、輝度信号Yは2画素周期でサンプリングされることになる。
ところで、図4において、円形で図示される投影領域REGは、光源11による光が投影されている領域である。なお、画素C3,5、C3,6、C4,5、C4,6、C5,5、C5,6は完全に投影領域REGに含まれ、均一に光が照射されているものとする。
この場合、奇数フィールドOFDでは、(n+1)ラインの画素C3,5、C3,6、C4,5、C4,6の組み合わせによって色信号が読み出しされる。
一方、偶数フィールドEFDでは、(n+1)ラインの画素C4,5、C4,6、C5,5、C5,6の組み合わせによって色信号が読み出しされる。
[調節部132の詳細]
調節部132を図6〜図10に関連づけて説明する。
図6は、本発明の第1実施形態に係る輝度信号抽出部によって抽出された輝度信号の例を示す図である。縦軸は輝度信号Yの量子化レベルを示し、横軸はフレームFRMごとに繰り返される、1ライン(1走査線)当たり640個の画素を示す。
先に述べたように、撮像部12は、CCD121が出力した色信号をデジタル信号に変換する。このとき、AD変換器の分解能が8ビット(bit)であるとすると、色信号は0から255のデータに量子化(デジタル化)される。
例えば、点灯している蛍光灯の下で光源11を撮像した場合、撮像部12は、量子化した色信号を撮像信号S1として輝度信号抽出部131に出力する。そして、輝度信号抽出部131は、この撮像信号S1を上述したローパスフィルタに通し、図6に図示するような輝度信号Yを抽出する。
図6には、連続した3つのフレームFRMにおける輝度信号Yが図示されている。各フレームFRMのnラインにおいて、画素Cn,237付近の輝度信号Yは、光源11によるものを示し、画素Cn,591付近の輝度信号Yは、蛍光灯によるものを示す。
光源11や蛍光灯は、他の撮像対象よりも輝度が高い。このため、図6に図示するように、例えば、画素Cn,237付近の量子化レベルは255の値をとり、画素Cn,597付近の量子化レベルも255の値をとっている。
このように、輝度信号Yが8ビットのデータで表現される場合、255という値は量子化された輝度信号レベルの最大値であるが、これが本来の輝度信号レベルの最大値であるとは限らない。換言すれば、AD変換の分解能を超えた所に輝度信号レベルの最大値が存在する可能性がある。無論、AD変換の分解能が8ビット以外であっても同様である。
演算の詳細については後述するが、第1演算部134は時間平均SACを算出し、第2演算部135は時間平均SBDを算出し、第3演算部137は和SUM=SAC +SBD を算出する。
これらの演算は基本的に積分演算である上、特に、第3演算部137では、2乗和の演算が実行される。このため、輝度信号レベルの最大値がAD変換の分解能の範囲内に存在しないと、演算結果の最大値が255以内に収まらずにオーバーフローを引き起こし、演算を実行できない場合がある。
そこで、調節部132は、本来の輝度信号レベルの最大値が0から255という値の範囲内に収まるように、輝度信号レベルを調節する。これにより、上述した理由によるオーバーフローを抑制することができる。
ところで、NTSC方式では、RS−170A規格によって、輝度信号レベルや輝度信号の符号パラメータ等が図7および図8に図示するように定められている。
図7は、RS−170A規格による水平ブランキング期間を示す図である。
図8は、RS−170A規格による輝度信号の符号化パラメータを示す図である。
図7には、輝度信号レベルを説明するため、水平ブランキング期間が例示されている。
信号レベル(直流電圧値)の単位であるIREは、白レベルを100(%)と定めたときの相対値を表すものである。なお、140IRE=1Vppであると定めると、白レベルは100IRE=714mVである。
図7に図示するように、水平ブランキングの立ち下がり後、フロントポーチが設けられている。このフロントポーチでの信号レベルをペデスタルレベルと呼び、日本ではペデスタルレベルが輝度信号レベルの基準(0IRE)に設定される。
フロントポーチの後、走査のタイミングを決定する水平同期信号が出力される。水平同期信号レベルは−40IRE=−286mVである。バックポーチの後、色相の基準となるカラーバースト信号が出力され、走査が開始される前に、信号レベルが黒レベルに設定される。黒レベルはセットアップレベルとも呼ばれ、日本では0IREである。
このような輝度信号は、図8に図示する符号化パラメータに従って、量子化される。AD変換の分解能が8ビットの場合、ブランキングレベルの量子化レベルは60(16進数では3Ch)、白レベルの量子化レベルは200(16進数ではC8h)である。
なお、ブランキングレベルは、黒レベル(セットアップレベル)に等しい。図8には、サンプリング周波数や有効サンプル数等も図示されている。
輝度信号Yは、色信号をそのままAD変換した撮像信号S1を基に抽出したものである。したがって、本来の輝度信号レベルの最大値を0から255という値の範囲内に収めるためには、輝度信号レベルが黒レベルの60(0IRE)以上、かつ、白レベルの200(100IRE)以下(60≦輝度信号レベル≦200)となるように調節すればよい。
具体的には、調節部132は、記憶部133に格納されている変換値テーブル1331を参照し、モードに応じて、輝度信号抽出部131から入力された輝度信号Yに変換値Luを画素単位で乗じる。
ここで、変換値テーブル1331の具体例を図9に関連づけて説明する。
図9は、本発明の第1実施形態に係る変換値テーブルの具体例を示す図である。
図9に図示するように、変換値テーブル1331には、モードに変換値が対応づけられている。
具体的には、無効モードでは、変換値LuはLu=1である。
有効モードでは、オーバーフローの抑制レベルが可変であり、抑制レベルごとに変換値が対応づけられている。例えば、抑制レベルL1では、変換値LuはLu=0.703である。抑制レベルL2では、変換値LuはLu=0.625である。抑制レベルL3では、変換値LuはLu=0.546である。
これらの変換値Luは、輝度信号レベルが黒レベルの60(0IRE)以上、かつ、白レベルの200(100IRE)以下(60≦輝度信号レベル≦200)となるように調節可能な値である。
ただし、ペデスタルレベル以下の輝度信号成分を含まないようにすることが望ましい。この場合、輝度信号レベルは、0以上、かつ、140以下である(0≦輝度信号レベル≦140)。
例えば、各変換値Luは、以下のようにして求めることができる。
第3の演算部137では、和C=A+Bの演算が行われる。A/D変換の分解能が8ビット(256階調)であるとすると、演算結果A、Bは、√(A+B)≦255となる値である必要がある。
この場合、演算結果Aは、A≦180であることが望ましく、演算結果Bは、B≦180であることが望ましい。
仮に、演算結果A,Bの値が共に180であれば、√(A+B)の値が255を超えるため、オーバーフローが発生する。仮に、演算値Aまたは演算値Bのいずれかの最大値が140であれば、√(A+B)の値は、179.989程度に収まるため、オーバーフローが発生することはない。
演算値Aまたは演算値Bのいずれかの最大値を180であるとすれば、抑制レベルL1での変換値Luは、Lu=180/256≒0.703として求められる。
同様にして、この最大値が160であるとすれば、抑制レベルL2での変換値Luは、Lu=160/256≒0.625として求められる。
この最大値が140であるとすれば抑制レベルL3での変換値Luは、Lu=140/256≒0.546として求められる。
更に、複数の抑制レベルを設け、抑制レベルが上がるにつれて、変換値Luの値が小さくなるようにすることもできる。
以下、画素Cm,nに対応する輝度信号レベルをYm,nのように適宜表記する。すると、輝度信号Yに変換値Luを画素単位で乗じる演算は、Y m,n=Ym,n×Luのように表記することができる。
調節部132は、このような演算をフレームごとに画素単位で行い、演算値Y m,nを輝度信号S2として、第1演算部134と第2演算部135とに出力する。
無効モードでは、変換値LuがLu=1であるので、演算値Y m,nは、輝度信号レベルYm,nと同じである。即ち、輝度信号レベルの調節を停止したことを意味する。
有効モードでは、変換値Luの値が1よりも小さいため、演算値Y m,nは、元の輝度信号レベルYm,nよりも小さい値となる。更に、抑制レベルが上がるに連れて、演算値Y m,nも小さくなる。
以下、抑制レベルL3での演算値Y m,nの具体例を図10に示す。
図10は、本発明の第1実施形態に係る調節部によって信号レベルが調節された輝度信号の例を示す図である。図10も図6と同様に、縦軸は輝度信号の量子化レベルを示し、横軸はフレームFRMごとに繰り返される、1ライン(1走査線)当たり640個の画素を示す。
例えば、輝度信号レベルYm,nの最大値が255であった場合、抑制レベルL3では変換値LuがLu=0.546であるので、演算値Y m,nは、Y m,n=255×0.546≒139.7となる。
図10に図示するように、抑制レベルL3では、変換値LuがおよそLu=0.5であるため、信号レベル調節後の輝度信号レベルは、元の輝度信号レベルのおよそ半分となる。このため、輝度信号レベルの最大値が140程度に収まっている。ブランキングレベルと白レベルとの幅は140である。ただし、図10において、0IRE以下の値は、無視するものとする。
図示は省略するが、抑制レベルL2の場合、変換値Luの値が抑制レベルL3のものよりも大きいため、演算値Y m,nも抑制レベルL3におけるものよりも大きい値となる。抑制レベルL1の場合、演算値Y m,nは、抑制レベルL2の場合よりも大きい値となる。無論、輝度信号レベルが255を超えることはない。
このように、調節部132が、信号レベルを下げるように輝度信号レベルを調節することで、輝度信号レベルの最大値をAD変換の分解能の範囲内に収めることができる。その結果、第1演算部134、第2演算部135あるいは第3演算部137がオーバーフローを引き起こすことなく、演算を実行することができる。
なお、抑制レベルは、例えば、NTSC方式やPAL方式等の放送方式、MPEG(Moving Picture Experts Group)等の動画フォーマット、撮像部12の走査周波数に基づいて、オーバーフローを引き起こさないレベルを好適に選択すればよい。
変換値Luも、上述した放送形式、動画フォーマット、撮像部12の走査周波数等に応じて決定することができる。無論、抑制レベルが上がるにつれて、変換値Luの値が1に近づくように、複数の抑制レベルを設けることもできる。
モードの種類も無効モード、有効モードに限らず、好適に改変が可能である。例えば、放送形式、動画フォーマット、撮像部12の走査周波数等に対応したモードを設け、モードごとに、変換値Luを設定することもできる。
[第1演算部134および第2演算部135の詳細]
第1演算部134および第2演算部135で行われる演算について説明する。ただし、図4に図示される投影領域REGに光が投影されたものとする。
図11(A)〜(F)は、第1実施形態に係る第1演算部および第2演算部における演算処理を説明するためのタイミングチャートである。
図11(A)に図示するように、nライン分の奇数フィールドOFD(A)が走査された後、nライン分の偶数フィールドEFD(B)が走査される。なお、図11(A)には、例えば、nライン分の奇数フィールドOFD(A)が、単に「A(奇)」のように表記されている。
先に述べたように、1フレームは奇数フィールドと偶数フィールドとで構成されているため、奇数フィールドOFD(A)の走査と偶数フィールドEFD(B)の走査とで1フレームの走査が完了する。
そして、nライン分の奇数フィールドOFD(C)が走査された後、nライン分の偶数フィールドEFD(D)が走査される。上述したように、奇数フィールドOFD(C)の走査と偶数フィールドEFD(D)の走査とで1フレームの走査が完了する。
投影領域REGの各画素は、ほぼ1フィールド期間、光源11が放射する光を受けて電荷を蓄積し、電荷蓄積期間後に電荷が色信号として読み出しされる。
撮像部12は、アナログの色信号にAD変換等を施し、これを撮像信号S1として輝度信号抽出部131に出力する。
その後、輝度信号抽出部131は、撮像部12から撮像信号S1が入力されると、これから輝度信号Yを抽出し、これを調節部132に出力する。その後、調節部132は、輝度信号Yの信号レベルを調節した後、これを輝度信号S2として第1演算部134と第2演算部135とに出力する。
初めに、第1演算部134について説明する。
第1演算部134は、同一の画素領域において、m番目の奇数フィールドOFD(A)における輝度信号レベルと、(m+2)番目の奇数フィールドOFD(C)における輝度信号レベルとの差分の時間平均SACを算出する。
特に、投影領域REGでは、画素C3,5、C3,6、C4,5、C4,6の組み合わせにおける奇数フィールドOFD(A)の輝度信号レベルと、この画素の組み合わせにおける奇数フィールドOFD(C)の輝度信号レベルとの差分から時間平均SACが算出される。なお、これら輝度信号レベルの差分を「輝度レベル差AC」という。
時間平均SACは、輝度レベル差ACを表す関数と、図11(D)に図示する関数W3との乗算結果の時間平均をとったものである。換言すれば、この輝度レベル差ACは、画素C3,5、C3,6、C4,5、C4,6に投影された光の時間変化であるものと捉えることができる。
ここでは、輝度レベル差ACを表す関数、即ち、光の時間変化を表す関数が、図11(F)に図示する最も単純な関数W5であるものとする。
ところで、関数W3は、図11(B)に図示する関数W1と、図11(C)に図示する関数W2との和を2で割ることにより算出される関数である。
先ず、関数W1および関数W2は、フーリエ級数を用いて、(1)、(2)式のように表すことができる。
Figure 0005242470
(1)式に示す関数W1は、時間tおよび角速度ω2を変数とする関数であって、関数W3を導出するために使用される。
(2)式に示す関数W2も、時間tおよび角速度ω2を変数とする関数であって、後述する関数W4を導出するために使用される。
ただし、角速度ω2は、関数W1および関数W2において共通であり、(3)式に示すように、円周率πと周波数f2とによって表される。
関数W3は、関数W1と関数W2との和を2で割ることにより求まる関数であるから、(1)式と(2)式とを用いて、(4)式のように表すことができる。
Figure 0005242470
一方、光の時間変化を表す最も単純な関数W5は、正弦波を用いて(5)式のように表すことができる。
Figure 0005242470
ただし、f1は正弦波の周波数であり、θは正弦波の位相差である。Aは正弦波の振幅、即ち、輝度信号レベルである。角速度ω1は、(6)式に示すように、円周率πと周波数f2とによって表される。
時間平均SACを求めるため、関数W3に関数W5を掛け合わせたものは、(7)式のように表すことができる。
Figure 0005242470
上述したように、時間平均SACは、関数W3と関数W5との乗算結果の時間平均をとったものである。(7)式を用いて、時間0から時間Tまでの時間平均をとると、(7)式の右辺にある時間tを含む項が交流信号であるため、その時間平均は0である。
したがって、(ω1−(2n−1)ω2=0)である場合、定数cosθと定数sinθとが残る。その結果、輝度レベル差ACの時間平均SACは(8)式で表される。
Figure 0005242470
(8)式に示に示すように、時間平均SACは、定数cosθと定数sinθとで表される。
輝度レベル差ACが関数W5で表される場合、第1演算部134は、(8)式で示される演算を行って、輝度レベル差ACの時間平均SACを算出する。
次に、第2演算部135について説明する。
第2演算部135は、投影領域REGにおいて、(m+1)番目の偶数フィールドEFD(B)における輝度信号レベルと、(m+3)番目の偶数フィールドEFD(D)における輝度信号レベルとの差分の時間平均SBDを算出する。なお、この輝度レベルの差分を「輝度レベル差BD」という。
特に、時間平均SBDは、画素C4,5、C4,6、C5,5、C5,6の組み合わせによる偶数フィールドEFD(B)と、偶数フィールドEFD(D)との輝度レベル差BDから算出される。
時間平均SBDは、輝度レベル差BDを表す関数と、図11(E)に図示する関数W4との乗算結果の時間平均をとったものである。この輝度レベル差BDも、画素C4,5、C4,6、C5,5、C5,6に投影された光の時間変化であるものと捉えることができる。
ここでも、輝度レベル差BDを表す関数、即ち、光の時間変化を表す関数が、図11(F)に図示する関数W5であるものとする。
時間平均SBDは、時間平均SACと同様の算出方法によって求まり、(9)式で示される。
Figure 0005242470
なお、関数W4は、関数W2から関数W1を引いて2で割ることにより算出される関数である。
輝度レベル差BDが関数W5で表される場合、第2演算部135は、(9)式で示される演算を行って、輝度レベル差BDの時間平均SBDを算出する。
そして、時間平均SACの2乗と、時間平均SBDの2乗との和SUM(=SAC +SBD )が第3演算部137によって算出される。
この和SUMは、(8)式と(9)式とを用いて(10)式のように表すことができる。
Figure 0005242470
(10)式に示すように、撮像部12が受光した光の周波数f1に、f1=(2n−1)f2となる周波数成分が含まれているとき、検知部139は、波形の成分、即ち輝度を検知する。
なお、(10)式に示す和SUMは、光の時間変化を表す関数が正弦波である場合のものである。次に、光の時間変化を表す関数の具体例を挙げる。
図12は、本発明の第1実施形態に係る光源の輝度の変化の例を示すタイミングチャートである。
図12に図示するように、光源11は、発光周期T3で時間τの間、輝度を変化させる。なお、L1は輝度信号レベルを示す。発光周期T3は、発光周波数f3を用いると、T3=1/f3の関係が成立する。
図12に図示する関数W6は、フーリエ級数の一般式E(t)を用いて、(11)式のように表すことができる。
Figure 0005242470
(11)式に示すように、a、a、bは各々係数である。角速度ω3は、発光周波数f3を用いると、ω3=2πf3の関係が成立する。
関数W6は、発光周期1/f3の周期関数であるから、各係数a、a、bは、(12)式〜(14)式のように表すことができる。
Figure 0005242470
(12)式〜(14)式を用いると、関数W6は、(15)式に示すフーリエ級数で表すことができる。
Figure 0005242470
輝度レベル差ACが関数W6で表される場合、第1演算部134は、(5)式に示す関数W5の代わりに(15)式に示す関数W6を用いて、(8)式で示される演算を行い、輝度レベル差ACの時間平均SACを算出する。
そして、第1演算部134は、この時間平均SACを演算結果AとしてFIFO136aに出力する。FIFO136aに入力された演算結果Aは、順次第3演算部137に出力される。
輝度レベル差BDが関数W6で表される場合、第2演算部135も、(5)式に示す関数W5の代わりに(15)式に示す関数W6を用いて、(9)式で示される演算を行い、輝度レベル差BDの時間平均SBDを算出する。
そして、第2演算部135は、この時間平均SBDを演算結果BとしてFIFO136bに出力する。FIFO136bに入力された演算結果Bも、順次第3演算部137に出力される。
[第3演算部137の詳細]
第3演算部137は、時間平均SACの2乗と、時間平均SBDの2乗との和SUM(=SAC +SBD )を算出する。以下、具体例を挙げて説明する。
(15)式に示すように、光源11の発光周期T3がフィールド周期の4n倍である場合、即ち、発光周波数f3がf3=f2である場合、(7)式と(15)式における奇数項で周波数が一致する。
その結果、時間平均SACの2乗と時間平均SBDの2乗との和SUMは、(16)式のように表すことができる。
Figure 0005242470
光源11の点灯のデューティー比Dは、(17)式のように表すことができる。
Figure 0005242470
したがって、(16)式に示す和SUMは、(17)式を用いて(18)式のように表すことができる。
Figure 0005242470
ところで、(19)式に示される、(18)式の右辺の項は収束する。
Figure 0005242470
この(19)式に示す項は、デューティー比Dに対して、図13に示す値をとる。
図14は、本発明の第1実施形態に係るデューティー比Dと和SUMとの関係を示す図である。
なお、図14は、表1に示す値に基づいて、横軸にデューティー比Dをとり、縦軸に和SUM(=SAC +SBD )とったものである。
図14に図示するように、和SUM(=SAC +SBD )は、デューティー比D=0.5で最大となる。
デューティー比Dが最大となるとき、(18)式に示す和SUMは、(20)式のように表すことができる。
(数15)
SUM==SAC +SBD =0.08333L12 …(20)
(20)式に示すように、光源11の発光周期T3がフィールド周期の4n倍である場合、検知部139は、波形の成分、即ち、光の輝度を最も精度よく検知することができる。
第3演算部137は、(17)式〜(18)式に示す演算を行い、(20)式に示すように、デューティー比Dが最大となる和SUMを画素単位で算出する。
そして、第3演算部137は、この和SUMを演算結果Cとして撮像対象抽出部138にフレーム同期で出力する。
[撮像対象抽出部138の詳細]
以下、撮像対象抽出部138の詳細について説明する。
図15は、本発明の第1実施形態に係る撮像対象抽出部の詳細な構成例を示すブロック図である。
図15に図示するように、撮像対象抽出部138は、第1比較抽出部1381と、第2比較抽出部1382とを有する。
先に述べたように、撮像対象抽出部138は、第3演算部137の演算結果Cから撮像対象の輝度信号成分による演算処理結果を抽出し、それ以外の演算処理結果をノイズとして除去する。
[第1比較抽出部1381の詳細]
先ず、第1比較抽出部1381について説明する。
図16は、本発明の第1実施形態に係る調節部によって調節された輝度信号の例を示す図である。縦軸は輝度信号の量子化レベルを示し、横軸はフレームFRMごとに繰り返される、1ライン当たり640個の画素を示す。
図16には、基本的に、図10に図示する輝度信号と同様のものが図示されているが、ノイズ区間NTが挿入されている点が前者と異なる。
このノイズ区間NTは、不要な動きのある動体物によって生成されたノイズを挿入するための区間であるが、撮像対象抽出部138の説明を明確にするために設けられたものに過ぎない。
ここで、不要な動きのある動体物の具体例を挙げる。
図17(A)〜(C)は、動きのある動体物の具体例を示す模式図である。
図17(A)〜(C)に図示するように、動きのある動体物の具体例として、蛍光灯の下で光源11を撮像するとき、ノイズ区間NTにて、撮像部12から約50cm離れた位置で撮像部12に対して行った手振りを例に挙げる。説明の便宜上、このような手振りは、光源11の点滅周波数に近い周期(例えば15Hz)で行うものとする。
光源11と共にノイズとしての手振りを撮像すると、第3演算部によって、図18および図19に図示するような和SUMを得ることができる。
図18は、本発明の第1実施形態に係る第3演算部の演算結果の例を示す図である。縦軸は和SUMの量子化レベルを示し、横軸はフレームFRMごとに繰り返される、1ライン当たり640個の画素を示す。
図18に図示するように、演算結果Cとしての和SUMにおいて、光源11の輝度信号成分に基づく量子化レベルは、190前後で最大となる。
また、手振りを光源11の点滅周波数に近い周期で行ったため、第3演算部137がノイズ部分の輝度信号成分も演算してしまい、量子化レベル170前後を最大値とするノイズがノイズ区間NTに発生している。
なお、調節部132が事前に輝度信号レベルYの信号レベルを調節したため、オーバーフローが抑制され、和SUMの最大値が量子化レベルの最大値である255以内に収まっている。
図19も、本発明の第1実施形態に係る第3演算部の演算結果の例を示す図である。図19には、ノイズ区間NTにおける、ある1フレームFRMでの和SUMが2次元で図示されている。適宜、画素Cm,nにおける和SUMを和SUMm,nのように表すものとする。
図19に図示するように、ノイズ部分は、黒く表示されており、手の平の形を成している。上述したように、この部分は、量子化レベルが比較的高く、その値は50程度から170程度である。手の平の近傍には、光源11の部分が斜線で表示されている。この部分も量子化レベルが高く、その最大値は190前後である。
この演算結果から、ノイズ成分を除去し、撮像対象としての光源11の輝度信号成分に基づいて演算された和SUMm,nを抽出するためには、量子化レベルが180を超えた画素Cm,nの輝度信号を抽出すればよいことが分かる。
そこで、第1比較抽出部1381は、閾値thをth=180に設定し、第3演算部137からフレームごとに入力される和SUM(=演算結果C)に対して、以下の第1比較抽出処理を行う。
先ず、第1比較抽出部1381は、和SUMm,nを閾値thと画素単位で比較する。
この比較では、和SUMm,nが閾値thを超えたか否かが、0または1の2値で判定される。
具体的には、和SUMm,nが閾値th以上の場合には、第1比較抽出部1381は、和SUMm,nに判定フラグF=1を付加する。
一方、和SUMm,nが閾値th以下の場合には、第1比較抽出部1381は、和SUMm,nに判定フラグF=0を付加する。
なお、閾値thは、ノイズ成分と撮像対象とを分離することが可能な値の範囲内で好適に設定される。
次に、第1比較抽出部1381は、判定フラグF=1が付加された和SUMm,n、即ち、閾値thを超えた画素Cm,nの和SUMm,nを画素単位でフレームごとに抽出する。これにより、図19の斜線部で表示された光源11の部分が抽出される。
一方、判定フラグF=0が付加された和SUMm,nに対しては、第1比較抽出部1381は、抽出を停止する。第1比較抽出部1381が、この和SUMm,nを除去してもよい。
そして、第1比較抽出部1381は、抽出した和SUMm,nを和SUM m,nとして第2比較抽出部1382にフレーム同期で出力する。
この第1比較抽出処理の結果を図20および図21に関連づけて説明する。
図20および図21は、本発明の第1実施形態に係る第1比較抽出部の抽出結果の例を示す図である。
図20において、縦軸は量子化レベルを示し、横軸はフレームFRMごとに繰り返される、1ライン当たり640個の画素を示す。
図21には、ノイズ区間NTにおける、ある1フレームFRMでの抽出された和SUMが2次元で図示されている。
図20および図21に図示するように、第1比較抽出部1381によって、ノイズ区間NTでの手振りによって生じたノイズが除去され、光源11の輝度信号成分に基づいて演算された和SUMが抽出されていることが分かる。
[第2比較抽出部1382の詳細]
次に、第2比較抽出部1382について説明する。
上述したように、第1比較抽出部1381によって、動きのある動体物により生成されたノイズが除去される。
したがって、検知部139が、和SUMを基に撮像対象を検知することが可能となり、この撮像対象が写った撮像画像を生成することができる。
しかしながら、閾値thを超えたときの和SUMを抽出したとしても、図20に図示するように、数レベル程度の低ノイズが若干残る場合がある。この場合、検知部139がこの低ノイズを撮像対象であると誤検知し、撮像画像に低ノイズが混入する恐れがある。
そこで、第2比較抽出部1382は、このような低ノイズも除去し、より鮮明な撮像画像を得るため、第1比較抽出部1381から入力された和SUMに対して、次の第2比較抽出処理を行う。
先ず、第2比較抽出部1382は、n番目のフレームFRMにおける和SUM m,nが入力されたら、これを一旦記憶部133に格納しておく。ソフトウェア的には、第2比較抽出部1382は、この和SUM m,nを変数SUM**に置き換えた後、和SUM m,nを記憶部133に格納する。
その後、第2比較抽出部1382は、(n+1)番目のフレームFRMにおける和SUM m,nが入力されたら、記憶部133に格納しておいたn番目のフレームFRMにおける和SUM m,nを読み出す。
そして、第2比較抽出部1382は、n番目のフレームFRMにおける和SUM m,nと、(n+1)番目のフレームFRMにおける和SUM m,nとを画素単位で比較する。
先の第1比較抽出処理において、和SUM m,nには判定フラグFが付加されている。
そのため、第2比較抽出部1382は、n番目のフレームFRMにおける和SUM m,nに付加されている判定フラグFnと、(n+1)番目のフレームFRMにおける和SUM m,nに付加されている判定フラグFn+1とが一致するか否かを判定する。
換言すれば、判定フラグFnと判定フラグFn+1との論理和ANS(=Fn AND Fn+1)が1であるか否かが判定される。
両者が一致する場合(ANS=1)、第2比較抽出部1382は、判定フラグFn+1が付加された、(n+1)番目のフレームFRMにおける和SUM m,nを抽出する。
両者が不一致の場合(ANS=0)、第2比較抽出部1382は、判定フラグFnが付加されたn番目のフレームFRMにおける和SUM m,nを除去する。
この第2比較抽出処理の結果を図20および図22に関連づけて説明する。
図22は、本発明の第1実施形態に係る第2比較抽出部の抽出結果の例を示す図である。縦軸は量子化レベルを示し、横軸はフレームFRMごとに繰り返される、1ライン当たり640個の画素を示す。
図20の符号「a」および「b」で示す同一画素Cm,nの量子化レベルを例に挙げる。ここでは、説明の簡便化のため、いずれも閾値th=180を超えた共通の量子化レベルを持つものとする。
上述したように、第2比較抽出部1382は、連続する2つのフレームFRMにおける同じ画素同士の量子化レベルが一致したものを抽出する。
したがって、符号「a」で示すフレームFRMにおける画素Cm,nの量子化レベルと、符号「b」で示すフレームFRMにおける画素Cm,nの量子化レベルとが比較される。
この場合、両者が一致するため、図22に図示するように、符号「a」で示す画素Cm,nの量子化レベルが除去され、符号「b」で示す画素Cm,nの量子化レベルが抽出される。
他の画素の量子化レベルに対しても第2比較抽出処理を施すと、図22に図示するように、閾値thを超えた画素の輝度信号が抽出され、低ノイズが除去されていることが分かる。
これは、同一画素であっても、低ノイズが、フレームFRMごとに異なる量子化レベルを有することが多いためである。
一般的な撮像装置や画像処理装置等では、上述したような不要な信号成分を除去するために、フレーム間差分法が広く使用されている。
しかしながら、検知システム10において、第3演算部137の演算結果Cに一般的なフレーム間差分法を適用した場合、次のような不都合が生じる可能性が高い。
図23(A)〜(C)は、本発明の第1実施形態に係る第3演算部の演算結果に、一般的なフレーム間差分を適用した場合の不都合について説明するための図である。
図23(A)には、n番目のフレームFRM(n)における第3演算部137の演算結果が例示されている。図23(B)には、(n+1)番目のフレームFRM(n+1)における第3演算部137の演算結果が例示されている。
なお、図23(A)、(B)に示す各演算結果は、図17(A)〜(C)と同様の条件により得られたものである。
一般的なフレーム間差分法では、例えば、2つのフレームFRM間に差分がない場合、差分のない画素の輝度信号を除去すれば、図23(A)、(B)に図示する不要なノイズ成分を除去することができる。
しかしながら、両フレームの差分が一致する画素では、図23(C)に図示するように、不要なノイズ成分が残ってしまう。
この原因としては、検知システム10では、光源11を点滅させるため、光源11の点滅周波数に近い周期を持つ動体物に対しては、両フレームの差分が一致する画素が多くなる傾向が強くなるためである。
したがって、検知システム10では、一般的なフレーム間差分法ではなく、上述した撮像対象抽出部138を用いたノイズの除去が行われる。
[検知システム10の動作例]
次に、検知システム10の動作例について説明する。
図24は、本発明の第1実施形態に係る検知システムの動作例を示すフローチャートである。
図24に図示するように、光源11の輝度を撮像部12のフィールド周期の4n(n=1,2,…)倍周期で変化させる(ST1)。
そして、撮像部12は、光源11または光源11によって照射された被写体OBJを撮像する(ST2)。
その後、輝度信号抽出部131は、撮像部12から撮像信号S1が入力されると、これから輝度信号を抽出する。そして、輝度信号抽出部131は、この抽出した輝度信号Yを調節部132に出力する(ST3)。
調節部132は、輝度信号抽出部131から入力された輝度信号Yの信号レベルを調節する(ST4)。
このとき、調節部132は、記憶部133に格納されている変換値テーブル1331を参照し、モードに応じて、輝度信号Yに変換値Luを画素単位で乗じる(Y m,n=Ym,n×Lu)。そして、調節部132は、演算値Y m,nを輝度信号S2として第1演算部134と第2演算部135とに出力する。
FIFO136a、136bをクリアした後(ST5)、第1演算部134は、演算値Y m,nを基に、輝度レベル差ACの時間平均SACを画素単位で算出する(ST6)。これと共に、第2演算部135は、演算値Y m,nを基に輝度レベル差BDの時間平均SBDを画素単位で算出する(ST6)。
そして、第1演算部134は、時間平均SACを演算結果AとしてFIFO136aに出力し、第2演算部135は、時間平均SBDを演算結果BとしてFIFO136bに出力する(ST7)。
第3演算部137は、FIFO136aから演算結果Aが入力され、FIFO136bから演算結果Bが入力されると、演算結果Aの2乗と演算結果Bの2乗との和SUM(=A+B)を画素単位で算出する(ST8)。そして、第3演算部137は、この和SUMを演算結果Cとして撮像対象抽出部138の第1比較抽出部1381に出力する。
先ず、第1比較抽出部1381は、閾値thをth=180に設定し、和SUMm,nを閾値thと画素単位で比較する(ST9)。
和SUMm,nが閾値th以上の場合には(ST10のYES)、第1比較抽出部1381は、和SUMm,nに判定フラグF=1を付加する。
一方、和SUMm,nが閾値th以下の場合には(ST10のNO)、第1比較抽出部1381は、和SUMm,nに判定フラグF=0を付加する。
その後、第1比較抽出部1381は、判定フラグF=1が付加された和SUMm,n、即ち、閾値thを超えた画素Cm,nの和SUMm,nを画素単位でフレームごとに抽出する(ST11)。そして、第1比較抽出部1381は、抽出した和SUMm,nを和SUM m,nとして第2比較抽出部1382にフレーム同期で出力する。
一方、判定フラグF=0が付加された和SUMm,nに対しては、第1比較抽出部1381は、抽出を停止する(ST12)。
次に、第2比較抽出部1382は、n番目のフレームFRMにおける和SUM m,nが入力されたら、これを一旦記憶部133に格納しておく(ST13)。
その後、第2比較抽出部1382は、(n+1)番目のフレームFRMにおける和SUM m,nが入力されたら、記憶部133に記憶しておいたn番目のフレームFRMにおける和SUM m,nを読み出す。
そして、第2比較抽出部1382は、n番目のフレームFRMにおける和SUM m,nと、(n+1)番目のフレームFRMにおける和SUM m,nとを画素単位で比較する(ST14)。
両者が一致する場合(ST15のYES、ANS=1)、第2比較抽出部1382は、判定フラグFn+1が付加された、(n+1)番目のフレームFRMにおける和SUM m,nを抽出する(ST16)。
一方、両者が不一致の場合(ST15のNO、ANS=0)、第2比較抽出部1382は、判定フラグFnが付加されたn番目のフレームFRMにおける和SUM m,nを除去する(ST17)。
最後に、検知部139は、撮像対象抽出部138の第2比較抽出部1382から抽出結果S3が入力されると、これに基づき、撮像対象の状態を検知する(ST18)。
検知部139の検知結果は、不図示の画像処理装置等に入力され、検知された撮像対象が写った撮像画像が生成される。
なお、ステップST16において、判定フラグFn+1が付加された(n+1)番目のフレームFRMにおける和SUM m,nを抽出する代わりに、判定フラグFnが付加されたn番目のフレームFRMにおける和SUM m,nを抽出してもよい。
本実施形態では、判定フラグFを使用したため、論理和ANSによる判定が行われるが、ステップST15において、論理和ANSではなく、差分を用いた判定を行うこともできる。
具体的には、第2比較抽出部1382は、n番目のフレームFRMにおける和SUM m,nと、(n+1)番目のフレームFRMにおける和SUM m,nとの差分ΔSUM(={和SUM m,n@nフレーム}−{和SUM m,n@(n+1)フレーム})を算出し、ΔSUM=0のときの和SUM m,nを抽出してもよい。
上述の撮像部12は、フィールド蓄積でインターレース走査を行うが、これの代わりに、フレーム蓄積でインターレース走査、または、フレーム蓄積でノンインターレース走査を行ってもよい。
フレーム蓄積でインターレース走査を行う場合、光源11の輝度をフレーム周期の4n倍で変化させると共に、信号処理部13がフィールド単位で2nフィールドごとに撮像信号S1に上述した信号処理を施す。
フレーム蓄積でノンインターレース走査を行う場合、光源11の輝度をフレーム周期の4n倍で変化させると共に、信号処理部13がフレーム単位でnフィールドごとに撮像信号S1に上述した信号処理を施す。
以上、第1実施形態によれば、不要な動対物によるノイズを除去し、撮像対象を鮮明に撮像することができる。
調節部132を設けたので、オーバーフローを引き起こすことなく、演算を実行することができる。
(第2実施形態)
[検知システム10aの構成例]
第2実施形態について、第1実施形態と異なる点について説明する。
図25は、本発明の第2実施形態に係る検知システムの構成例を示す概略ブロック図である。
図25に図示するように、検知システム10aの信号処理部13aには、撮像対象抽出部138と検知部139との間に、抽出値増幅部140が設けられている。
この抽出値増幅部140は、撮像対象抽出部138から入力された抽出結果S3に、以下の近傍処理を施す。
図26は、本発明の第2実施形態に係る抽出値増幅部の近傍処理を説明するための模式図である。図26において、撮像対象抽出部138によって抽出された光源11に該当する部分が斜線で図示されている。
斜線で示される画素Cm−1,n、Cm,n−1、Cm,n+1は、各々和SUMm,nを持ち、これらの画素に隣接した画素Cm,nは、和SUMm,nを持たないものとする。
この場合、抽出値増幅部140は、この画素Cm,nに対して近傍処理を施す。具体的には、抽出値増幅部140は、(21)式に示すように、画素Cm,nと、その周辺の4つの画素Cm−1,n、Cm、n−1、Cm+1、n,Cm、n+1の各和SUMm,nに重み付け係数Wm,nを各々掛け合わせ、それらの和SUM** m,nを算出する。
(数21)
SUM** m,n=SUMm,n×Wm,n+SUMm−1,n×Wm−1,n+SUMm、n−1×Wm,n−1+SUMm+1、n×Wm+1,n+SUMm、n+1×Wm,n+1 …(21)
この重み付け係数Wm,nは、(21)式の演算を行った結果、画素Cm,nの量子化レベルが閾値th程度となる値である。
そして、抽出値増幅部140は、この和SUM m,nを画素Cm,nに与える。
このような近傍処理を行うことで、画素Cm,nの量子化レベルが、その画素に隣接した画素の量子化レベルに近い値を持つため、光源11の輪郭周辺が強調される。
なお、近傍処理では、光源11の輪郭周辺を強調することができればよい。したがって、画素Cm,nの量子化レベルをその隣接した画素の量子化レベル程度に上げることができれば、他の方法でもよい。
[検知システム10aの動作例]
次に、検知システム10aの動作例について説明する。
図27は、本発明の第2実施形態に係る検知システムの動作例を示すフローチャートである。
図27に図示するように、ステップST16またはST17の後、抽出値増幅部140は、撮像対象抽出部138から入力された抽出結果S3に、近傍処理を施す(ST18a)。そして、抽出値増幅部140は、これを近傍処理結果S4として、検知部139に出力する。
その後、検知部139は、抽出値増幅部140から近傍処理結果S4が入力されると、これに基づき、撮像対象の状態を検知する(ST18)。
第2実施形態によれば、被写体OBJが撮像部12から離れた場所にあっても、より鮮明な撮像画像を得ることができる。
なお、第2実施形態では、近傍処理を実行する近傍処理実行モードと、近傍処理を停止する近傍処理停止モードとを設け、近傍処理実行モードが選択された場合に、近傍処理を実行するようにしてもよい。
(第3実施形態)
[検知システム10bの構成例]
第3実施形態について、第1および第2実施形態と異なる点について説明する。
図28は、本発明の第3実施形態に係る検知システム10bの構成例を示す概略ブロック図である。
図28に図示するように、検知システム10bの信号処理部13bには、撮像対象抽出部138と検知部139との間に、反転部141が設けられている。
この反転部141は、撮像対象抽出部138から入力された抽出結果S3を基に、各画素Cm,nの輝度信号の黒レベルと白レベルとを反転させる(反転処理)。
第3実施形態により、光源11のように明るく撮像されるべき領域が暗く表示された反転画像を得ることができるため、これを基にクロマキー合成を行うことができる。
以上、詳細に説明した第1〜第3実施形態は、例えば、次のように改変することができる。
例えば、第2実施形態で述べた抽出値増幅部140と、第3実施形態で述べた反転部141とを設け、抽出値増幅部140に近傍処理を施した処理結果に、反転部141が反転処理を施してもよい。
10、10a、10b…検知システム、11…光源、12…撮像部、13、13a、13b…信号処理部、121…CCD、131…輝度信号抽出部、132…調節部、133…記憶部、134…第1演算部、135…第2演算部、136a、136b…FIFO、137…第3演算部、138…撮像対象抽出部、139…検知部、140…抽出値増幅部、141…反転部、1211…フォトダイオード、1212…垂直転送CCD、1213…水平転送CCD、1214…増幅器、1331…変換値テーブル、1381…第1比較抽出部、1382…第2比較抽出部

Claims (6)

  1. 光源と、
    上記光源または上記光源によって照射された被写体を撮像する撮像部と、
    上記撮像部の出力信号レベルに応じて、上記光源の状態または上記被写体の状態を検知するための演算を実行する演算部と、
    上記演算部の演算結果から上記光源または上記被写体の出力信号成分に基づく演算値を抽出する抽出部と、
    上記抽出部によって抽出された演算値に応じて、上記光源の状態または上記被写体の状態を検知する検知部と
    を有し、
    上記光源は、
    輝度が上記撮像部の走査面周期の所定倍周期で変化し、
    上記演算部は、
    上記出力信号を所定走査面周期ごとに取得し、複数の異なる走査面間で上記各出力信号レベル差から上記出力信号レベル差の時間平均を各々算出し、上記各時間平均に基づく演算を実行し、
    上記抽出部は、
    上記演算部の演算結果としての演算値を閾値と画素単位でフレームごとに比較して、上記閾値より大きい演算値をフレームごとに抽出する第1比較抽出部と、
    上記第1比較抽出部によって抽出された演算値を画素単位でフレームごとに比較し、第1のフレームと第2のフレームの演算値が一致した場合に、いずれか一方の演算値を上記光源または上記被写体の出力信号成分に基づく演算値であるとして抽出する第2比較抽出部と、からなる
    検知システム。
  2. 上記撮像部の上記出力信号レベルを、上記演算部の上記演算におけるオーバーフローを抑制可能な信号レベルに調節する調節部を有する
    請求項に記載の検知システム。
  3. 上記オーバーフローを抑制するための変換値を含む変換テーブルが格納された記憶部を有し、
    上記調節部は、
    上記記憶部に格納された上記変換テーブルを参照し、上記出力信号レベルに上記変換テーブルの上記変換値を乗じて、上記出力信号レベルを調節する
    請求項記載の検知システム。
  4. 上記調節部は、
    上記出力信号レベルの調節を実行する第1のモードと、
    上記出力信号レベルの調節を停止する第2のモードと
    を有し、
    上記第1のモードでは、上記出力信号レベルに上記変換テーブルの変換値を画素単位で乗じて、上記出力信号レベルを調節し、
    上記第2のモードでは、上記出力信号レベルに値が1の変換値を乗じる
    請求項または記載の検知システム。
  5. 上記第1のモードでは、
    上記オーバーフローの抑制レベルを複数レベルに調節可能であり、
    上記変換テーブルは、
    上記各々の抑制レベルに対応して、上記抑制レベルが高い程、上記出力信号レベルを下げるまたは上げる変換値を各々含み、
    上記調節部は、
    上記第1のモードでは、上記出力信号レベルに上記変換テーブルの上記抑制レベルに対応した変換値を乗じて、上記オーバーフローの抑制レベルを調節する
    請求項に記載の検知システム。
  6. 光源と、上記光源または上記光源によって照射された被写体を撮像する撮像部とを有する検知システムの信号処理方法であって、
    上記光源の輝度を上記撮像部の走査面周期の所定倍周期で変化させる第1のステップと、
    上記撮像部の出力信号レベルに応じて、上記光源の状態または上記被写体の状態を検知するための演算を実行する第2のステップと、
    上記第2のステップでの演算結果から上記光源または上記被写体の出力信号成分に基づく演算値を抽出する第3のステップと、
    上記第3のステップで抽出された演算値に応じて、上記光源の状態または上記被写体の状態を検知する第4のステップと
    を有し、
    上記第2のステップでは、
    上記出力信号を所定走査面周期ごとに取得し、
    複数の異なる走査面間で上記各出力信号レベル差から上記出力信号レベル差の時間平均を各々算出し、
    上記各時間平均に基づく演算を実行し、
    上記第3のステップでは、
    上記第2のステップでの演算値を閾値と画素単位でフレームごとに比較して、上記閾値より大きい演算値をフレームごとに抽出し、
    上記抽出された演算値を画素単位でフレームごとに比較して、第1のフレームと第2のフレームの演算値が一致した場合に、いずれか一方の演算値を上記光源または上記被写体の出力信号成分に基づく演算値であるとして抽出する
    検知システムの信号処理方法。
JP2009069114A 2009-03-19 2009-03-19 検知システムおよびその信号処理方法 Expired - Fee Related JP5242470B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009069114A JP5242470B2 (ja) 2009-03-19 2009-03-19 検知システムおよびその信号処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009069114A JP5242470B2 (ja) 2009-03-19 2009-03-19 検知システムおよびその信号処理方法

Publications (2)

Publication Number Publication Date
JP2010226259A JP2010226259A (ja) 2010-10-07
JP5242470B2 true JP5242470B2 (ja) 2013-07-24

Family

ID=43043001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009069114A Expired - Fee Related JP5242470B2 (ja) 2009-03-19 2009-03-19 検知システムおよびその信号処理方法

Country Status (1)

Country Link
JP (1) JP5242470B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5858831B2 (ja) * 2012-03-14 2016-02-10 リズム時計工業株式会社 検知システムおよびその信号処理方法、プログラム
CN114264661B (zh) * 2021-12-06 2024-05-31 浙江大学台州研究院 一种清晰度自适应的卷材检测方法及装置、系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0783453B2 (ja) * 1986-09-26 1995-09-06 日本電気株式会社 Key信号プロセス回路
JPH07327172A (ja) * 1994-05-31 1995-12-12 Sanyo Electric Co Ltd 固体撮像装置
JPH10289321A (ja) * 1997-04-11 1998-10-27 Hitachi Ltd 画像監視装置
JP2000180264A (ja) * 1998-12-15 2000-06-30 Fujitsu Ltd 赤外線検知素子の感度補正方式及び赤外線映像装置
JP2001309206A (ja) * 2000-04-19 2001-11-02 Nippon Hoso Kyokai <Nhk> 動画像の静止領域判定装置
JP2006148439A (ja) * 2004-11-18 2006-06-08 Konica Minolta Photo Imaging Inc 撮像装置
JP4585966B2 (ja) * 2005-12-27 2010-11-24 ホーチキ株式会社 減光式煙感知器
JP4703547B2 (ja) * 2006-11-29 2011-06-15 リズム時計工業株式会社 検知システム

Also Published As

Publication number Publication date
JP2010226259A (ja) 2010-10-07

Similar Documents

Publication Publication Date Title
JP4994422B2 (ja) 検知システム、検知システムの信号処理方法、および、煙感知器
JP4703547B2 (ja) 検知システム
US7582871B2 (en) Image pickup apparatus and a switching-over method for the same
EP1959678A2 (en) Image pickup apparatus and method for extending dynamic range thereof
EP1139659A3 (en) Method and apparatus for deinterlacing video images
EP1411719A3 (en) Method and system for converting interlaced video signal to progressive video signal using a color edge detection
JP4717004B2 (ja) 映像信号処理装置および画像処理装置
US8860863B2 (en) Image pickup method and image pickup apparatus
JP5242470B2 (ja) 検知システムおよびその信号処理方法
JP5406787B2 (ja) 検知システムおよびその信号処理方法、プログラム
JP6401473B2 (ja) 撮像システムおよび撮像装置
JP5265625B2 (ja) 検知システムおよびその信号処理方法、プログラム
JP5858831B2 (ja) 検知システムおよびその信号処理方法、プログラム
JP5265619B2 (ja) 検知システムおよびその信号処理方法、プログラム
JP5349405B2 (ja) 検知システムおよびその信号処理方法、プログラム
JP3985325B2 (ja) 映像信号処理回路およびその処理方法、並びにこれらを用いたカメラシステム
KR20110138969A (ko) 이미지 센서 노이즈 제거 방법 및 이미지 센서
JP2015169961A (ja) 検知システム、検知システムの信号処理方法、および、煙感知器
JP2003244555A (ja) 撮像装置及びその撮像方法
JP5770123B2 (ja) 検知システムおよびその信号処理方法、プログラム
JP2012065310A5 (ja)
JP4348789B2 (ja) 撮像装置
JP2016158197A (ja) 検知システム、検知システムの信号処理方法、およびプログラム
JP2010273079A (ja) 閃光の影響を補正する撮像装置
JP2000041263A5 (ja) カラー撮像装置及びホワイトバランス調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5242470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees