JP5654775B2

JP5654775B2 - 画像センサ

Info

Publication number: JP5654775B2
Application number: JP2010120928A
Authority: JP
Inventors: 七原　淳郎; 淳郎七原; 松田　真二; 真二松田
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2010-05-26
Filing date: 2010-05-26
Publication date: 2015-01-14
Anticipated expiration: 2030-05-26
Also published as: JP2011250121A

Description

本発明は、撮像した画像データから対象物の存否を検出する画像センサに関する。

従来から、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から成る撮像素子を用いた画像センサが知られている。また、画像センサを用いて対象物、特には人の存否を検出する技術が知られており、当該技術が照明システムに応用されている。以下、このような照明システムの従来例について図面を用いて説明する。

この従来例は、図６（ａ）に示すように、天井Ａに設置されて鉛直下方の空間を照明する照明負荷１００ａを備えた照明器具１００と、照明器具１００と共に天井Ａに設置されて鉛直下方の検知領域アを撮像する画像センサ１０１とから構成される。照明器具１００は、図６（ｂ）に示すように、例えば蛍光灯等から成る照明負荷１００ａと、照明負荷１００ａの点灯制御を行う点灯制御部１００ｂとを備える。画像センサ１０１は、図６（ｂ）に示すように、対象となる検知領域アを撮像するとともに、撮像した画像データを処理する撮像部１０１ａと、撮像部１０１ａで得られた画像データから検知領域アにおける人Ｂの存否を検出する制御部１０１ｂとを備える。また、画像センサ１０１は、画像データを記憶する記憶部１０１ｃを備える。尚、撮像部１０１ａで撮像される画像の一例を図６（ｃ）に示す。

撮像部１０１ａは、ＣＣＤやＣＭＯＳ等から成る撮像素子を有し、撮像素子で得られたアナログデータをディジタルの画像データに変換して後段の制御部１０１ｂに伝送する。制御部１０１ｂは、例えばＤＳＰ（Digital Signal Processor）等の高度な処理を可能とする半導体プロセッサから成る。記憶部１０１ｃは、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性大容量メモリから成る。

以下、この従来例の動作について簡単に説明する。画像センサ１０１の撮像部１０１ａは、毎秒３０枚程度の画像を撮像し、得られた画像データを随時制御部１０１ｂに伝送する。そして、制御部１０１ｂは、記憶部１０１ｃに記憶してある背景データと得られた画像データとを比較し、画素ごとの差分をとった差分画像データを生成する。ここで、差分画像データにおいて、変化の無い画素では輝度信号値が０となるが、人Ｂが検知領域アに侵入する等して変化が有る画素では、一定の輝度信号値を持つ。制御部１０１ｂは、この一定の輝度信号値を有する画素の合計数や、連続又は隣接する画素の集合の面積等を演算する。そして、制御部１０１ｂは、これら演算値が予め設定された閾値を超えると検知領域ア内に人Ｂが存在すると判定し、その旨を知らせる検知信号を点灯制御部１００ｂに送られる。

点灯制御部１００ｂは、検知信号を受けると照明負荷１００ａへの点灯電力の給電及び調光を開始するため、照明負荷１００ａが所定の明るさで点灯する。而して、この従来例では、人Ｂが検知領域アに存在する場合のみ照明負荷１００ａが点灯するように制御することができる。

尚、記憶部１０１ｃに記憶される背景画像データとしては、例えば検知領域ア内に確実に人Ｂが存在しない環境で任意の時点に取得した画像データを採用することができる。また、撮像部１０１ａから得られる画像データを逐一背景画像データとして更新してもよい。

ところで、センサとしての精度を求めるのであれば、撮像部１０１ａから得られる画像データは高精細、即ち解像度が高いものが望ましい。しかしながら、画像データの解像度を高くすると、制御部１０１ｂで扱うデータ量が大きくなることから、処理が複雑化し、リアルタイムで制御を行うためには制御部１０１ｂの処理機能の高速化を図る必要が出てくる。このように制御部１０１ｂの処理機能の高速化を図ろうとすれば、必然的にシステムが大規模になるため、一般家電で取り扱う事が困難となる。

そこで、処理系の負担を軽減すべく、例えばカメラ等から得られる画像データの半分のデータに対してのみ処理を行うことで、画像データ全体のヒストグラムを近似的に算出する技術が知られており、例えば特許文献１に開示されている。

特開昭６２−２５４２７６号公報

しかしながら、上記特許文献１に記載の従来例は、単に画像データの半分のデータに対する処理を行うことで処理系の負担を軽減しようとするものであり、状況に応じて取得する画像データのデータ量を変更することができない。このため、処理系の負担は軽減することができるものの、高精細な画像データを必要とする場合でも、全体の半分のデータを間引いた画像データしか取得することができない。例えば、当該技術を上記従来の照明システムに利用した場合、常に全体の半分のデータを間引いた画像データを用いて検知領域アにおける人Ｂの存否を検出することになるため、人Ｂの僅かな動きを検出するために必要な精度を十分に確保できない虞がある。

本発明は、上記の点に鑑みて為されたもので、状況に応じて取得する画像データのデータ量を変更することのできる画像センサを提供することを目的とする。

本発明の画像センサは、所定の領域を撮像して画像データを取得する撮像部と、前記撮像部から得られた前記画像データを構成する各画素の有するデータに基づいて演算する制御部とを備え、前記撮像部は、前記画像データの各画素のデータと、一定の周波数の矩形波から成るピクセルクロック信号とを前記制御部に送信し、前記制御部は、前記画像データを前記各画素のデータと前記ピクセルクロック信号とを同期させることで取得し、前記撮像部と前記制御部との間には、前記ピクセルクロック信号を分周する分周器が設けられ、前記制御部は、画像データを取得する処理と、その他の処理とを実行するように構成され、前記制御部は、前記他の処理を優先すべき場合は、前記画像データを取得する処理の処理負荷を低減すべく前記分周器の分周比を大きく設定するように指定する制御信号を前記分周器に送信し、前記分周器は、前記制御部からの前記制御信号に基づいて分周比を変化させることを特徴とする。

この画像センサにおいて、前記撮像部は、前記制御部から送信される同期信号に同期させて前記画像データを前記制御部に送信し、前記制御部は、前記同期信号の分周比を任意の分周比に変化させることが好ましい。

本発明は、分周器の分周比を変化させることでピクセルクロック信号の周波数を任意の周波数に変化させることができる。したがって、ピクセルクロック信号の周波数を変化させることで制御部において取得する画像データを構成する画素データを適宜間引くことができるので、状況に応じて取得する画像データのデータ量を変更することができる。

本発明に係る画像センサの実施形態を示す図で、（ａ）は分周比が小さい場合を示す概略図で、（ｂ）は分周比が大きい場合を示す概略図である。概略図である。同上の撮像部を示すブロック図である。（ａ），（ｂ）は同上の撮像部から制御部に送信される各種信号の波形図である。同上のピクセルクロック信号の分周の説明図で、（ａ）は分周比が２の場合の各種信号の波形図で、（ｂ）は分周比が４の場合の各種信号の波形図である。同上の他の構成を示す概略図である。従来の画像センサを用いた照明システムを示す図で、（ａ）は概略図で、（ｂ）はシステムのブロック図で、（ｂ）は撮像部で撮像された画像の一例を示す平面図である。

以下、本発明に係る画像センサの実施形態について図面を用いて説明する。本実施形態は、図１（ａ），（ｂ）に示すように、所定の領域を撮像して画像データ５を取得する撮像部１と、撮像部１から得られた画像データ５を構成する各画素の有するデータに基づいて演算する制御部２とを備える。また、撮像部１と制御部２との間には、分周器３が設けられている。

撮像部１は、図２に示すように、撮像素子１０と、ＡＤＣ（Analog Digital Converter）１１と、ＩＳＰ（Image Signal Processor）１２とを備える。撮像素子１０は、従来例と同様にＣＣＤやＣＭＯＳ等から成り、受光した光信号をアナログ信号に変換して後段のＡＤＣ１１に伝送する。ＡＤＣ１１は、アナログ信号をディジタル信号に変換する回路であって、撮像素子１０から送られるアナログ信号をディジタル信号に変換して後段のＩＳＰ１２に伝送する。ＩＳＰ１２は、ＡＤＣ１１から送られるディジタル信号を画像データ５として既定のデータフォーマットに適用させたデータに成形し、後段の制御部２に伝送する。

ここで、撮像部１から制御部２には、後述する垂直同期信号、水平同期信号、ピクセルクロック信号、画像データ５の４つの信号が並列に伝送される。以下、各信号について図面を用いて説明する。垂直同期信号は、図３（ａ）に示すように、一定の周波数の矩形波であり、当該信号のハイレベルを出力する一定期間が、画像データ５のうち一画像分の画素データの出力のタイミングを表している。

水平同期信号は、図３（ａ）に示すように、一定の周波数の矩形波であり、当該信号のハイレベルを出力する一定期間が、一画像を構成する水平方向一行分の画素データの出力のタイミングを表している。例えば、６４０列×４８０行から成るＶＧＡ（Video Graphics Array）画像であれば、水平同期信号のハイレベルを出力する一定期間が、一画像を構成する水平方向一行分、即ち６４０画素のデータを出力するタイミングを表している。この水平同期信号のハイレベルは、４８０行分連続して出力され、この４８０行分の水平同期信号を出力する期間が垂直同期信号のハイレベルを出力する一定期間に相当する。

ピクセルクロック信号は、図３（ｂ）に示すように、一定の周波数の矩形波であり、当該信号のハイレベルへの立ち上がりが画素データを出力するタイミングを表している。例えば、図３（ｂ）に示すように、ＹＵＶフォーマットで画像データ５を伝送する場合、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとで一画素を構成するため、ピクセルクロック信号の２クロックで一画素のデータを伝送している。即ち、例えば水平同期信号のハイレベルを出力する一定期間内に６４０画素のデータを伝送する場合には、当該期間内にピクセルクロック信号が１２８０クロック出力される。このように、任意の時点での画像データ５は、垂直同期信号、水平同期信号、ピクセルクロック信号の各信号で画像、行、画素ごとのタイミングを取ることで制御部２に伝送される。

制御部２は、従来例と同様に、例えばＤＳＰ等の高度な処理を可能とする半導体プロセッサから成り、撮像部１から伝送される画像データ５を、同じく撮像部１から伝送されるピクセルクロック信号に同期させて取得する。取得した画像データ５は、制御部２に接続される記憶部４に記憶させる（図１（ａ）参照）。記憶部４は、従来例と同様に、例えばＤＲＡＭ等の揮発性大容量メモリから成り、制御部２から送られる画像データ５を記憶する。尚、本実施形態は、従来例と同様に例えば照明システムに用いられるが、照明システムに採用した場合の制御部２及び記憶部４の動作については既に説明をしているため、ここでは説明を省略する。

分周器３は、図１（ａ）に示すように、撮像部１と制御部２との間に設けられた回路であり、撮像部１から伝送されるピクセルクロック信号を分周比２^ｎ（ｎ＝１，２…）で分周し、分周後のピクセルクロック信号を制御部２に伝送する。ここで、分周器３の分周比は、外部からの信号に応じて変更可能となっており、本実施形態では、制御部２から送信される制御信号によって分周比を変更するようになっている。制御部２は、例えば自身の負荷状態や制御内容に応じた複数のフラグを有し、各フラグに応じて分周比の設定を指令する制御信号を分周器３に送信するように構成される。そして、制御信号を受信した分周器３は、制御信号に応じて自身の分周比を設定する。

例えば、図４（ａ）に示すように、分周器３において分周比が２に設定されている場合、分周後のピクセルクロック信号は、その周波数が分周前の信号の半分になる。したがって、制御部２は、撮像部１から伝送される画像データ５のうち各画素データの輝度信号Ｙのみを取得するため、白黒の画像データ５を取得することになる。また、図４（ｂ）に示すように、分周器３において分周比が４に設定されている場合は、分周後のピクセルクロック信号は、その周波数が分周前の信号の１／４になる。したがって、制御部２は、撮像部１から伝送される画像データ５のうち各画素データを一つ飛ばしで、且つ輝度信号Ｙのみを取得するため、白黒で且つ解像度の低い画像データ５を取得することになる。

以下、本実施形態を照明システムに採用した場合の動作について図面を用いて説明する。尚、照明システムについては従来例で既に説明しているため、照明システムに関する説明については以下では省略する。例えば、検知領域ア内に人Ｂが存在し、且つ人Ｂがその領域内において何らかの作業を行っている場合、人Ｂの僅かな動きも検出する必要があるため、制御部２において処理する画像データ５は高精細なものでなければならない。この場合、図１（ａ）に示すように、制御部２からの制御信号によって分周器３における分周比を小さく設定することで、画像データ５のうち取得しない画素データ５１を少なくし、取得する画素データ５０については必要十分なデータ量を確保することができる。したがって、制御部２において画素の間引きの少ない比較的高精細な画像データ５を取得することができるので、制御部２の処理負荷を低減しつつ人Ｂの僅かな動きを検出する処理を行うことができる。

また、例えば、制御部２と点灯制御部１００ｂとの間でデータ処理を頻繁に行っている場合、当該データ処理を優先しつつ人Ｂの検出処理を行う必要があるため、制御部２が画像データ５の処理に費やす処理能力を抑えなければならない。この場合、図１（ｂ）に示すように、制御部２からの制御信号によって分周器３における分周比を大きく設定することで、画像データ５のうち取得しない画素データ５１を多くし、取得する画素データ５０については必要最低限のデータ量を確保することができる。したがって、制御部２において画素の間引きの多い低精細な画像データ５を取得することができるので、制御部２における画像データ５の処理負荷を低減することができる。

上述のように、本実施形態では、撮像部１と制御部２との間に分周器３を設け、制御部２からの制御信号によって分周器３の分周比を変化させることで、ピクセルクロック信号の周波数を任意の周波数に変化させることができる。したがって、ピクセルクロック信号の周波数を変化させることで制御部２において取得する画像データ５を構成する画素データを適宜間引くことができるので、状況に応じて取得する画像データ５のデータ量を変更することができる。このため、制御部２における画像データ５の処理負荷を状況に応じて低減し、他の処理を優先させることができるので、制御部２を構成するプロセッサの処理能力を無駄なく使用することができる。また、制御部２における画像データ５の処理負荷を低減することができるため、制御部２に比較的処理能力の低いプロセッサを使用することも可能となり、コストを削減することもできる。

ところで、本実施形態では、制御部２のシステムクロック信号（同期信号）を撮像部１に送信することで、当該システムクロック信号を撮像部１のシステムクロック信号として兼用させている。そこで、制御部２にシステムクロック信号を分周する分周機能を持たせ、撮像部１に分周後のシステムクロック信号を送信することで、撮像部１の内部処理を遅延させるように構成してもよい。

例えば、制御部２と点灯制御部１００ｂとの間でのデータ処理が非常に重く、制御部２における画像データ５の処理負荷を更に低減したい場合について考える。この場合、分周器３の分周比を更に大きく設定することで、制御部２における画像データ５の処理負荷を更に低減することは可能である。しかしながら、画像データ５から間引かれる画素データの量が大きくなり過ぎるため、画像データ５の解像度が低くなり、人Ｂの検出性能が十分に発揮できない虞がある。

そこで、図５に示すように、撮像部１に与えるシステムクロック信号の分周比を大きく設定し、当該信号の周波数φｍを制御部１のシステムクロック信号の周波数φ０よりも小さくすることで、上記の問題を解決することができる。即ち、撮像部１に与えるシステムクロック信号の周波数φｍを小さくすることで、撮像部１から制御部２に画像データ５を伝送するフレームレートを低下させることができる。したがって、上記構成を採用することで、画像データ５の解像度を下げることなく制御部２における画像データ５の処理負荷を低減することができる。

１撮像部
２制御部
３分周器
５画像データ
５０取得する画素データ
５１取得しない画素データ

Claims

所定の領域を撮像して画像データを取得する撮像部と、前記撮像部から得られた前記画像データを構成する各画素の有するデータに基づいて演算する制御部とを備え、前記撮像部は、前記画像データの各画素のデータと、一定の周波数の矩形波から成るピクセルクロック信号とを前記制御部に送信し、前記制御部は、前記画像データを前記各画素のデータと前記ピクセルクロック信号とを同期させることで取得し、前記撮像部と前記制御部との間には、前記ピクセルクロック信号を分周する分周器が設けられ、
前記制御部は、画像データを取得する処理と、その他の処理とを実行するように構成され、
前記制御部は、前記他の処理を優先すべき場合は、前記画像データを取得する処理の処理負荷を低減すべく前記分周器の分周比を大きく設定するように指定する制御信号を前記分周器に送信し、前記分周器は、前記制御部からの前記制御信号に基づいて分周比を変化させることを特徴とする画像センサ。
前記撮像部は、前記制御部から送信される同期信号に同期させて前記画像データを前記制御部に送信し、前記制御部は、前記同期信号の分周比を任意の分周比に変化させることを特徴とする請求項１記載の画像センサ。