JP6586239B2 - 撮影装置及び撮影方法 - Google Patents
撮影装置及び撮影方法 Download PDFInfo
- Publication number
- JP6586239B2 JP6586239B2 JP2018536369A JP2018536369A JP6586239B2 JP 6586239 B2 JP6586239 B2 JP 6586239B2 JP 2018536369 A JP2018536369 A JP 2018536369A JP 2018536369 A JP2018536369 A JP 2018536369A JP 6586239 B2 JP6586239 B2 JP 6586239B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- unit
- image
- stereo camera
- diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 53
- 238000012545 processing Methods 0.000 claims description 64
- 238000003745 diagnosis Methods 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 46
- 238000005286 illumination Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000001464 adherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B43/00—Testing correct operation of photographic apparatus or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
Description
本発明は、監視用に用いられる撮影装置及び撮影方法に関する。
従来、カメラから取得した映像を画像処理することにより、監視または計測するエリアに現れる人や車両などの物体を認識する機能を有する映像監視システムが提案されている。
この映像監視システムは、カメラの検出結果を利用することにより、例えば、何らかの表示装置への警告表示あるいはアイコンの表示、またはブザー等を鳴らすなどして、監視員の注意を促すことができる。したがって、映像監視システムは、常時確認作業が必要であった従来の監視業務において、その負担低減に役立っていた。
この映像監視システムは、カメラの検出結果を利用することにより、例えば、何らかの表示装置への警告表示あるいはアイコンの表示、またはブザー等を鳴らすなどして、監視員の注意を促すことができる。したがって、映像監視システムは、常時確認作業が必要であった従来の監視業務において、その負担低減に役立っていた。
また、カメラシステムを車やロボットのような移動体に設置し、周辺を認識して安全運転制御に活用したり、人をサポートするようなサービスロボットとして活用したりすることも一般的となっている。
更には、精度の向上等を目指して、ステレオカメラを用いて被写体までの距離を計測することにより、画像のみに比べてより安定な認識機能を実現する映像監視システムも提案されている。
更には、精度の向上等を目指して、ステレオカメラを用いて被写体までの距離を計測することにより、画像のみに比べてより安定な認識機能を実現する映像監視システムも提案されている。
また、車載の撮像装置などにおいて、逆光、暗闇などの明暗の激しい条件や、路面状態などの外部環境に影響されないようにしたステレオカメラも提案されている(特許文献1参照)。この特許文献1に記載の技術は、ステレオカメラからのステレオ画像データから視差画像データを生成し、視差画像データの正常または異常を判別することで、カメラが正常状態であるか、あるいは異常状態にあるかを判断するものである。
しかしながら、従来の映像監視システムにおいては、例えば、カメラに何らかの異常が発生したり、カメラに汚れや付着物などがあったりした場合には、所望の検出精度を確保することができなかった。このため、カメラの異常などにより、映像監視システムの信頼性を損なうという問題があった。
また、窃盗などの不正行為を行う侵入者が、証拠となる映像を取得されないよう、カメラで撮影する角度を変更したり、カメラの前に遮蔽物を置いたり、あるいはカメラレンズに危害を加えるなどの行為を行うことがあり、問題になっていた。
また、窃盗などの不正行為を行う侵入者が、証拠となる映像を取得されないよう、カメラで撮影する角度を変更したり、カメラの前に遮蔽物を置いたり、あるいはカメラレンズに危害を加えるなどの行為を行うことがあり、問題になっていた。
また、特許文献1に記載の技術は、視差画像データの分布に基づいて、カメラの正常と異常を分類するため、この分類は、視差が取得可能な状態になって初めて機能する。このため、撮影が困難な暗所で視差画像データが得られない場合や、撮影した際の輝度分布が平面的に一様であって画像上の変化が見られないような場合には、カメラの正常と異常を明確に分類することが困難であった。
また、このようなカメラ装置をセキュリティ分野で活用する場合には、仮にカメラ装置が正常であっても、侵入者が故意にカメラの向きを変えたり、カメラのレンズを覆い隠したりして映像監視システム自体が正常に動作しない場合が起こり得る。したがって、カメラ装置が単に正常か異常かというだけの分類では、侵入者等による犯行を未然に防ぐことができないという問題があった。
更に、特許文献1に記載のものは、視差情報が正常にとれないものを異常と判断しており、視差情報が正常にとれている場合には、レンズに汚れが付着していても、その汚れが無視されて、汚れを汚れとして判断しなくなる。つまり、本来ならばカメラのレンズに汚れがある場合、異常と判断するべきであるのに、正常と判断してしまうという誤りが起こる可能性がある。したがって、カメラの状態判定が正常に行われないという問題が発生する。
本発明の目的は、画像処理により物体を認識する場合に、セキュリティレベルを下げることなく、カメラ装置を含むシステム全体の信頼性を向上させることにある。
上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。
上記の課題を解決するため、本発明の撮影装置は、2台以上のカメラで構成されるステレオカメラと、このステレオカメラからの画像データに基づいて、視差情報を取得する画像処理部と、ステレオカメラによる撮影状況の異なる複数の画像情報を予め診断パターンとして記憶する診断パターンデータベースと、を備える。
また、診断パターンデータベースに記憶されている撮影状況の異なる複数の画像情報を参照して、画像処理部から得た視差情報からカメラの状態を判別し、カメラの状態診断を行う状態診断部と、状態診断部の診断結果を受けて、ステレオカメラの照明制御、シャッター制御、姿勢制御のうち少なくとも1つを行うカメラ制御部と、を備える。
上記の課題を解決するため、本発明の撮影装置は、2台以上のカメラで構成されるステレオカメラと、このステレオカメラからの画像データに基づいて、視差情報を取得する画像処理部と、ステレオカメラによる撮影状況の異なる複数の画像情報を予め診断パターンとして記憶する診断パターンデータベースと、を備える。
また、診断パターンデータベースに記憶されている撮影状況の異なる複数の画像情報を参照して、画像処理部から得た視差情報からカメラの状態を判別し、カメラの状態診断を行う状態診断部と、状態診断部の診断結果を受けて、ステレオカメラの照明制御、シャッター制御、姿勢制御のうち少なくとも1つを行うカメラ制御部と、を備える。
また、本発明の撮影方法は、ステレオカメラにより監視すべきエリアを撮影して左右の画像データを得る工程と、画像処理部により、ステレオカメラで撮影した左右の画像データに基づいて、撮影した画像に対する視差情報を取得する工程と、ステレオカメラで撮影した、撮影状況の異なる複数の画像情報を、予め診断パターンとして診断パターンデータベースに記憶する工程と、画像処理部で取得した視差情報と、診断パターンデータベースに予め記憶されている撮影状況の異なる複数の画像情報から、状態診断部によりカメラの状態を判別し、カメラの状態診断を行う工程と、を含む。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明によれば、セキュリティレベルを下げることなく、カメラの状態の正常か異常かの判定を安定に行うことができる。またカメラの状態から適切なモードへの切り替えを適切に行うことにより、何らかの要因でカメラの性能が低下した場合でも、アプリケーションを安定に実行可能とすることができる。更にはカメラの状態に応じた処理を実行することで、システム全体の信頼性を高めることができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
<本発明の一実施形態例の全体構成>
以下、本発明の一実施形態である撮影装置の例(以下、「本例」という)について、添付図面を参照して説明する。
なお、本発明は、監視用カメラシステム全般に適用可能な撮影装置であるが、以下、ステレオカメラ装置を例として説明する。
以下、本発明の一実施形態である撮影装置の例(以下、「本例」という)について、添付図面を参照して説明する。
なお、本発明は、監視用カメラシステム全般に適用可能な撮影装置であるが、以下、ステレオカメラ装置を例として説明する。
図1は、本例の撮影装置の一例としてのステレオカメラ装置を用いたシステム全体の構成を示すブロック図である。
本例の撮影装置は、ステレオカメラ10と、画像処理部20と、状態診断部30と、診断パターンが記憶されるデータベースからなる記憶装置40(以下、「診断パターンデータベース40」という)と、カメラ制御部50と、出力部60を備える。
診断パターンデータベース40には、予め撮影された複数の診断パターンが記憶されており、状態診断部30は、ステレオカメラ10から得られる視差情報をトリガーとして、診断パターンを参照してカメラの正常または異常を判定する。なお、この詳細については後述する。
本例の撮影装置は、ステレオカメラ10と、画像処理部20と、状態診断部30と、診断パターンが記憶されるデータベースからなる記憶装置40(以下、「診断パターンデータベース40」という)と、カメラ制御部50と、出力部60を備える。
診断パターンデータベース40には、予め撮影された複数の診断パターンが記憶されており、状態診断部30は、ステレオカメラ10から得られる視差情報をトリガーとして、診断パターンを参照してカメラの正常または異常を判定する。なお、この詳細については後述する。
[ステレオカメラ10の構成]
図2は、本例に用いられるステレオカメラ10の具体的な構成を示す。図2に示すように、ステレオカメラ10は、レンズ部201、撮像部202、画像生成部203、を備える。更に、ステレオカメラ10は、撮像制御部204、調整部205,投光部206,照明制御部207、及び姿勢制御部208を備える。なお、ステレオカメラ10は、左右の画像を得るため、レンズ部201及び撮像部202は2個(一対)必要であるが、図2では簡略化して1個のレンズ部201及び撮像部202として示している。
図2は、本例に用いられるステレオカメラ10の具体的な構成を示す。図2に示すように、ステレオカメラ10は、レンズ部201、撮像部202、画像生成部203、を備える。更に、ステレオカメラ10は、撮像制御部204、調整部205,投光部206,照明制御部207、及び姿勢制御部208を備える。なお、ステレオカメラ10は、左右の画像を得るため、レンズ部201及び撮像部202は2個(一対)必要であるが、図2では簡略化して1個のレンズ部201及び撮像部202として示している。
レンズ部201は、撮影用の光学レンズである。撮像部202は、いわゆる画像センサであり、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子(いずれも図示せず)を含む画像センサが用いられる。
撮像部202は、レンズ部201から取り込んだ映像を電気信号に変換し、画像生成部203に供給する。画像生成部203は、撮像部202から送られた画像に対して、ノイズリダクションや色補正、画像合成などの所定の処理を実施し、処理後の画像データを後段の画像処理部20に供給する。
撮像制御部204は、後述する調整部205からの制御信号に基づいて、撮像部202におけるカメラのシャッターや絞り、ズームなどのパラメータを制御する。
撮像制御部204は、後述する調整部205からの制御信号に基づいて、撮像部202におけるカメラのシャッターや絞り、ズームなどのパラメータを制御する。
また、投光部206は、撮影する被写体に照明用の光を照射する部材であり、通常可視光が用いられるが、可視光以外にも、被写体に応じて近赤外光または遠赤外光を用いてもよい。この投光部206は、特に暗部のエリアにある物体を撮影する上で有効であり、これにより低照度の画像でも安定に取得することが可能になる。
照明制御部207は、後述する調整部205からの制御信号により、投光部206から照射される光の強度レベルを制御する。また、図1の状態診断部30における状態診断の結果に応じて、例えば左右の照明を切り替える等の制御を行う場合もある。
照明制御部207は、後述する調整部205からの制御信号により、投光部206から照射される光の強度レベルを制御する。また、図1の状態診断部30における状態診断の結果に応じて、例えば左右の照明を切り替える等の制御を行う場合もある。
姿勢制御部208は、カメラの姿勢や向きなどを変更する制御を行うものであり、これにより本例のステレオカメラ10は、カメラの向きを動的に変更することが可能な、いわゆるパンチルトカメラの構成とすることができる。つまり、姿勢制御部208によってカメラの姿勢や向きを変更した後に、再度撮影を行うことにより、前とは異なる画像を得ることができるようになる。なお、パンチルトカメラとは、水平方向の角度(パン角度)と、垂直方向の角度(チルト角度)の2つを動的に変更できるものをいうが、水平方向または垂直方向のいずれか一方だけを変更可能にするようにしてもよい。
調整部205は、図1に示すカメラ制御部50からの制御信号に基づいて、画像生成部203、撮像制御部204、照明制御部203、及び姿勢制御部208のそれぞれの機能を制御する。つまり、図1の状態診断部30においてカメラの状態が診断された結果、状態診断部30からのカメラ制御部50に制御信号が供給される。そして、カメラ制御部50は、調整部205を経由してステレオカメラ10の各部分に様々な制御信号を送り、上述したカメラの制御を行う。
図3は、図1及び図2に示すステレオカメラ10の構成を一体化した装置として示したものである。図2のレンズ部201は2個必要であることから、図3ではレンズ301及びレンズ302として示している。また、図2の投光部206は図3では投光部303として示している。投光部303としては、例えばLED(Light Emission Diode)が用いられ、この投光器303からの投光(照射光)が被写体となる物体で反射されて、ステレオカメラ10のレンズ部301、302に入射する。これによりステレオカメラ10から被写体の左右の画像が得られる。
図3に示すように、投光部303は照射される光量を考えて、複数個のLEDが設けられている。そして、投光部303から照射する光の向きや被写体までの距離などに応じて、これら複数のLEDを制御することで、特定の領域に向けて投光部303から調整された光量の光をあてることが可能となる。
図3のステレオカメラ10のステージ304は、図2のカメラ制御部50が配置される部分であり、このステージ304は、例えば、水平方向及び垂直方向の2軸でカメラの姿勢を制御することができるマニピュレーション機能を備えている。したがって、ステージ304に配置されるカメラ制御部50により、カメラの向きを特定の方向に向けることができる。また、後述するように、カメラが異常と判定された場合などには、カメラの方向を自在に変更して再度の撮影を行うようにする。
再び図1に戻り、本例の撮影装置の全体構成について説明を続ける。ステレオカメラ10によって取得した左右の画像データは、画像処理部20に転送される。画像処理部20では、後述する図4に示すような処理が実行され、その処理された結果が状態診断部30に転送される。
図1に示すように、本例の撮影装置は、診断パターンデータベース40を備えている。この診断パターンデータベース40には、ステレオカメラ10による撮影状況の異なる複数の画像情報に基づいて、予めカメラの状態を分類した診断パターンが記憶されている。
この工程は、本例の撮像方法における、ステレオカメラで撮影した、撮影状況の異なる複数の画像情報を予め診断パターンとして診断パターンデータベースに記憶する工程となる。
この工程は、本例の撮像方法における、ステレオカメラで撮影した、撮影状況の異なる複数の画像情報を予め診断パターンとして診断パターンデータベースに記憶する工程となる。
状態診断部30は、図5で後述するように、診断パターンデータベース40に予め記憶されている診断パターンを読み出し、この診断パターンを参照して、画像処理部20からの出力データの診断処理を行う。状態診断部30の処理結果は、出力部60に送られ、通常、液晶表示装置やCRT(Cathode Ray Tube)表示装置等の端末装置を用いて映像として提示することができる。
なお、出力部60に出力される診断結果は、RGB(Red-Green-Blue)のモニタ出力として表示してもよいし、あるいはデータファイル出力として、ネットワーク経由で中央のサーバに送信するようにしてもよい。更に、例えばブザー等の警報機を使って、周囲に注意を促すようにすることも可能である。
また、状態診断部30は、その診断結果をステレオカメラ10に対する制御データとしてカメラ制御部50に送る。カメラ制御部50は、状態診断部30から送られた制御データに基づいて、ステレオカメラ10に対する制御を実行する。すなわち、上述したように、カメラ制御部50からの制御信号により、ステレオカメラ10の調整部205を経由して、撮像制御部204、画像生成部203、照明制御部207及び姿勢制御部208を制御する。
[画像処理部20の構成及び機能]
図4は、図1の画像処理部20の機能をブロックとして表した機能ブロック図である。図4に示すように画像処理部20は、カメラ画像取得部401、歪補正部402、視差計測部403及び物体検出部404を備える。
なお、本例の撮影装置においては、事前の準備としてステレオカメラ10内の左右のレンズ間の距離、レンズの焦点距離、カメラの高さ、及びカメラの向きなどのカメラと実環境の位置関係は、予め取得されているものとする。つまり、カメラが設置されている実環境の中でのカメラ位置を示す座標系は、事前にキャリブレーションによって求めておくことが必要である。
図4は、図1の画像処理部20の機能をブロックとして表した機能ブロック図である。図4に示すように画像処理部20は、カメラ画像取得部401、歪補正部402、視差計測部403及び物体検出部404を備える。
なお、本例の撮影装置においては、事前の準備としてステレオカメラ10内の左右のレンズ間の距離、レンズの焦点距離、カメラの高さ、及びカメラの向きなどのカメラと実環境の位置関係は、予め取得されているものとする。つまり、カメラが設置されている実環境の中でのカメラ位置を示す座標系は、事前にキャリブレーションによって求めておくことが必要である。
ステレオカメラ10の向きや姿勢などの外部パラメータについては、一般に実環境上にチェッカーチャートのようなパターンを投影するか、もしくはカメラのレンズに貼り付けることにより、予め求めることができる。この手法は、例えばZ. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.に示されている。これにより、ステレオカメラ10と撮影する物体との位置関係が分かり、検出された物体についても、実環境での位置を特定することが可能となる。
また、ステレオカメラ10のレンズの歪み、あるいは焦点距離等の内部パラメータについても、外部パラメータと同様に、チェッカーチャートのようなパターンを投影もしくは貼り付けることにより予め求めることができる。
通常、ステレオカメラ10はパッシブ(受動的)なセンサとして用いられるが、このステレオカメラ10の代わりに、3次元情報を取得可能なパターン照射型のアクティブセンサを用いることもできる。また、Time-of-Flight型として知られている、レーザー光等の照射光が被写体から反射して戻ってくるまでの時間を測定することが可能なアクティブセンサを用いることもできる。このように、パターン照射型センサやTime-of-Flight型のアクティブセンサを用いることで、パッシブなセンサに比べて、容易に物体の位置を特定することができるようになる。
図4に示すように、画像処理部20は、カメラ画像取得部401においてステレオカメラ10から左右のカメラ画像を取得する。次に、歪補正部402は、カメラ画像取得部401で取得した左右のカメラ画像を所定のパラメータに基づいて歪補正を行う。この歪補正は、平行ステレオ処理における平行化処理により、事前に取得したカメラの内外パラメータに基づいて実行される。
一般に、ステレオカメラ10の左右のカメラ画像は、左右同時に処理がなされる「平行ステレオ処理」が行われるが、レンズの特性等によって片方または両方のレンズに歪みが生じ、本来平行な直線となるべき格子が歪んで、曲率を持った曲線になることがある。このため、この歪みを持った曲線が平行な直線になるように歪み補正を行った後に、左右の画像を比較する必要がある。このような処理が「平行化処理」であり、これにより左右のカメラ画像の照合が容易になり、視差画像データが求めやすくなる。
歪補正部402で歪補正がなされたステレオカメラ画像は、視差計測部403に入力され、ここで視差計測が行われる。この視差計測部403は、左右のカメラ画像の画素ごとに左右の視差情報(左右の位置のズレ量)を求める。また、画素毎に求めた視差情報から、三角測量の原理によって被写体までの距離を算出することもできる。その意味で視差情報と距離情報は等価な情報であるので、以下では、距離情報も含めて「視差情報」と言う言葉で統一して説明する。
この工程が、本例の撮像方法における監視すべきエリアを撮影して左右の視差データを得る工程になる。
この工程が、本例の撮像方法における監視すべきエリアを撮影して左右の視差データを得る工程になる。
視差計測部403の出力は、物体検出部404に送られ、ここで、例えば侵入者等の人物の位置やカメラ付近に存在している物体などが検出される。具体的には、物体検出部404は、視差計測部403からの画像データと、予め撮影しておいた背景情報との差分をとるなどの手法を用いて容易に物体の検出を行うことができる。
そして、物体検出部404の検出結果が図1に示す状態診断部30に送られる。以上、画像処理部20のカメラ画像取得部401から物体検出部404までの処理工程が、ステレオカメラで撮影した左右の画像データに基づいた視差情報を取得する工程になる。
そして、物体検出部404の検出結果が図1に示す状態診断部30に送られる。以上、画像処理部20のカメラ画像取得部401から物体検出部404までの処理工程が、ステレオカメラで撮影した左右の画像データに基づいた視差情報を取得する工程になる。
以上の処理で、人物や車両などの物体が検出されるが、カメラ側に汚れがあると、それによって、検出されるべき物体が正常に検出されなかったり、検出されてはいけない汚れ等が人物と誤認されて検出されたりすることが起こり得る。あるいは、カメラのレンズの前に、妨害者等が遮蔽物を置くこともあり、そのような場合にも同様に検出されるべき物体が検出されなくなるといった状況が発生する。このような場合、カメラで撮影された物体が、実際の侵入者なのか、ゴミのような汚れなのかを明確に区別できるような対策を講じる必要がある。
[状態診断部30の構成及び機能]
次に、図5を参照して、状態診断部30の構成及びその機能について説明する。
図5に示すように、状態診断部30は、結果取得部501、データ取得部502及び状態判定部503を備える。
結果取得部501は、画像処理部20からその処理結果である視差情報を取得する。
また、データ取得部502は、所定の条件に基づいて予め作成して診断パターンデータベース40に記憶されている診断パターンを取得する。そして、結果取得部501から入力された視差情報とともに、取得した診断パターンを状態判定部503に送る。
次に、図5を参照して、状態診断部30の構成及びその機能について説明する。
図5に示すように、状態診断部30は、結果取得部501、データ取得部502及び状態判定部503を備える。
結果取得部501は、画像処理部20からその処理結果である視差情報を取得する。
また、データ取得部502は、所定の条件に基づいて予め作成して診断パターンデータベース40に記憶されている診断パターンを取得する。そして、結果取得部501から入力された視差情報とともに、取得した診断パターンを状態判定部503に送る。
更に、状態判定部503は、データ取得部502が取得した診断パターンを参照して、結果取得部501からの視差情報に基づいてカメラの状態判定を行う。なお、状態判定部503における判定結果は、図1に示すカメラ制御部50及び出力部60に出力される。
以上、状態診断部30の結果取得部501、データ取得部502及び状態判定部503の処理工程が、カメラの状態を判別し、カメラの状態診断を行う工程になる。
以上、状態診断部30の結果取得部501、データ取得部502及び状態判定部503の処理工程が、カメラの状態を判別し、カメラの状態診断を行う工程になる。
次に、図5に示す状態診断部30の処理の詳細について、図6〜図8を参照して説明する。
図6は、ステレオカメラ10で撮影する典型的な3つの物体の例を示した模式図である。
すなわち、図6では、ステレオカメラ10に対して、カメラ付近の小さな物体A、遠方の大きな物体B、及び遠方にある発光体Cの3つを設けている。物体Aは、ステレオカメラ10から近い場所(近傍1m)にあり、物体Bはステレオカメラ10から遠い場所(遠方10m)にあると仮定する。また、発光体Cは、物体Bよりも更に遠方にある、自ら発光する物体(自発光する物体)であると仮定する。
図6は、ステレオカメラ10で撮影する典型的な3つの物体の例を示した模式図である。
すなわち、図6では、ステレオカメラ10に対して、カメラ付近の小さな物体A、遠方の大きな物体B、及び遠方にある発光体Cの3つを設けている。物体Aは、ステレオカメラ10から近い場所(近傍1m)にあり、物体Bはステレオカメラ10から遠い場所(遠方10m)にあると仮定する。また、発光体Cは、物体Bよりも更に遠方にある、自ら発光する物体(自発光する物体)であると仮定する。
図6に示す、ステレオカメラ10から1mの距離に置かれている小さな物体Aと、ステレオカメラ10から10mの距離に置かれている大きな物体Bでは、ステレオカメラ10で撮影した画像サイズがほぼ同じ大きさの画像になるものとする。また、図6の発光体Cは、自発光してステレオカメラ10に光を入射するため、侵入者などの物体として誤認識される可能性がある。本例では、特に夜間における暗所で、照明なしでは撮影が困難な状況で、侵入者等の人物や危険物等の物体を撮影するケースとして、以下、説明する。
[撮影パターンの分類とその動作シーケンス]
図7は、ステレオカメラ10の撮像制御部204及び照明制御部207の動作シーケンスを示したものである。図7の横軸は時間軸を示すとともに、区間(1)から(5)のそれぞれの区間は、本例の撮影装置における投光及びシャッター制御のパターン(1)〜(5)(以下、「撮影パターン(1)〜(5)」と称する)を示している。
図7は、ステレオカメラ10の撮像制御部204及び照明制御部207の動作シーケンスを示したものである。図7の横軸は時間軸を示すとともに、区間(1)から(5)のそれぞれの区間は、本例の撮影装置における投光及びシャッター制御のパターン(1)〜(5)(以下、「撮影パターン(1)〜(5)」と称する)を示している。
ここでは、照明制御として、図2の投光部206からの投光が、近傍1mの距離を撮像するための「弱い強度」の照明と、遠方10mの距離を撮像する「強い強度」の照明の2つに簡略化して説明する。また、シャッター制御は、シャッターの露光時間が長い場合と、露光時間が短い場合の2つに簡略化している。
撮影パターン(1)は、ステレオカメラ10の投光部206がステレオカメラ10から近くのエリア(1m離れた近傍)を、弱い照明でかつ長い露光時間で撮影するパターンである。
撮影パターン(2)は、ステレオカメラ10の投光器206からの投光なしでかつ長い露光時間で撮影するパターンである。
撮影パターン(2)は、ステレオカメラ10の投光器206からの投光なしでかつ長い露光時間で撮影するパターンである。
撮影パターン(3)は、ステレオカメラ10の投光部206がステレオカメラ10から遠くにあるエリア(10m離れた遠方)を、強い照明でかつ長い露光時間で撮影するパターンである。
撮影パターン(4)は、ステレオカメラ10の投光器206からの投光なしでかつ短い露光時間で撮影するパターンである。
撮影パターン(5)は、ステレオカメラ10の投光部206がステレオカメラ10から1m離れた位置を、弱い照明でかつ短い露光時間で撮影するパターンである。
撮影パターン(4)は、ステレオカメラ10の投光器206からの投光なしでかつ短い露光時間で撮影するパターンである。
撮影パターン(5)は、ステレオカメラ10の投光部206がステレオカメラ10から1m離れた位置を、弱い照明でかつ短い露光時間で撮影するパターンである。
図7に示す「画像処理」は、図4の画像処理部20における画像処理のタイミングが一定の処理周期で実行されていることを示す。そして、この画像処理は、画像データとして生成する時間を考慮して、そのタイミングはシャッター動作の次の周期になること、つまり撮影パターン(1)で撮影した画像の処理が、次の撮影パターン(2)が実施されている期間で処理されることを示している。
図8は、図7のそれぞれの撮影パターン(1)〜(5)を用いて図6の物体A、物体B及び発光体Cを撮影した画像を示したものである。
撮影パターン(1)では、物体Aはカメラから近い物体であり、かつ露光時間が長いため、投光器206からの投光が弱い照明であっても、明確な画像として検出される。図8では明確な画像を黒色の楕円で表している。以下、このような検出を「明確な検出」と定義する。
撮影パターン(1)では、物体Aはカメラから近い物体であり、かつ露光時間が長いため、投光器206からの投光が弱い照明であっても、明確な画像として検出される。図8では明確な画像を黒色の楕円で表している。以下、このような検出を「明確な検出」と定義する。
また、撮影パターン(1)では、物体Bはカメラから10m離れた位置にあるので投光器206の投光が弱い照明では検出されない。更に発光体Cは自ら発光する物体なので、投光器206からの投光が弱い場合でも、淡いぼんやりとした光として検出される。このように、淡いぼんやりとした光の物体として検出されることを、ここでは「淡い検出」と定義する。図8では、「淡い検出」を中間色である灰色の楕円で表している。
撮影パターン(2)は、投光部206からの投光がなく、露光時間が長い場合である。カメラから近い位置にある物体Aは、投光部206からの投光がない場合でも、露光時間が長いため、うっすらと検出される。この検出は、ノイズを含むような、いわば検出される部分と検出されない部分が混じったような検出結果になるので、以下、このような検出のされ方を「微小検出」と定義することにする。図8では、この「微小検出」を点線の白抜きの楕円で表している。
物体Bはカメラから遠方(10m先)にある物体なので、投光がない状態では検出されない。また、発光体Cは、投光部206からの投光がある撮影パターン(1)に比べて、投光がない分、より明確な画像として検出される。これは、発光体Cが自ら光を放つ物体であるため、照明光がない方がよりくっきりとした画像として検出されるからである。
撮影パターン(3)は、投光部206から強い強度の照明光が発せられる状態で、かつシャッターの露光時間が長い場合である。この場合には、近くの物体A、及び遠くの物体Bともに「明確な検出」になる。照明用の投光が強いため、遠くのエリアまで十分に届くからである。ただ、発光体Cの場合は、発光した光が照明用の光で打ち消されるため、ほとんど検出されないか、ぼんやりした薄い画像として検出される。いわゆる「微小検出」に近い画像となる。
撮影パターン(4)は、投光部206からの投光がなく、シャッターの露光時間も短い場合である。この撮影パターン(4)では、投光がなく、露光時間も短いため、近くの物体A及び遠くの物体Bのいずれも検出されない。しかし、発光体Cについては、投光による照明がない分、自発光の光が明確に検出される。
最後に撮影パターン(5)は、投光部206の発光が弱い状態で、かつシャッターの露光時間も短いパターンである。このため、近くに置かれている物体Aは「淡い検出」として検出される。しかし、10m先のような遠くに置かれた物体Bは、検出されない。また、発光体Cは、投光部206による投光がない分、自発光の光が「淡い検出」として検出される。
次に、以上の撮影パターン(1)〜(5)を比較して、近傍の物体A、遠方の物体B及び発光体Cのそれぞれに焦点を当てて、その各撮影パターン(1)〜(5)における撮影の状態を説明する。
カメラ近傍の物体Aについては、撮影パターン(1)の弱い照明、及び撮影パターン(3)の強い照明のいずれでも、露光時間が長いため明確に検出される。しかし、撮影パターン(2)、(4)では投光がないので、露光時間が長い撮影パターン(2)では「微小検出」になるが、露光時間が短い撮影パターン(4)では検出されない。撮影パターン(5)は露光時間が短いため、露光時間が長く「明確な検出」になる撮影パターン(1)と比べて、露光時間が短い分だけ「淡い検出」になる。
カメラ近傍の物体Aについては、撮影パターン(1)の弱い照明、及び撮影パターン(3)の強い照明のいずれでも、露光時間が長いため明確に検出される。しかし、撮影パターン(2)、(4)では投光がないので、露光時間が長い撮影パターン(2)では「微小検出」になるが、露光時間が短い撮影パターン(4)では検出されない。撮影パターン(5)は露光時間が短いため、露光時間が長く「明確な検出」になる撮影パターン(1)と比べて、露光時間が短い分だけ「淡い検出」になる。
次に、カメラから遠方にある物体Bの場合、強い照明でかつ露光時間が長い撮影パターン(3)以外では、検出されない。
また、遠方にある発光体Cの場合は、照明が投光されている撮影パターン(1)、(5)では、「淡い検出」になり、撮影パターン(3)では、照明の強度が強いため、発光体C自体が目立たない、「微小検出」になる。なお、発光体Cは自発光するため、投光が消されている撮影パターン(2)、(4)では「明確な検出」になる。
また、遠方にある発光体Cの場合は、照明が投光されている撮影パターン(1)、(5)では、「淡い検出」になり、撮影パターン(3)では、照明の強度が強いため、発光体C自体が目立たない、「微小検出」になる。なお、発光体Cは自発光するため、投光が消されている撮影パターン(2)、(4)では「明確な検出」になる。
以上、撮影パターン(1)〜(5)に基づいて、物体A、物体B及び発光体Cに代表される3種類の物体を検出する方法を説明した。
本例の撮影装置では、ステレオカメラ10を使用するため、図8の黒い楕円で示すように、物体の「明確な検出」が得られれば、視差計測部403はその視差情報から物体までの距離を正確に測定することができる。
例えば、撮影パターン(1)では、カメラの近傍の物体Aの距離を測定することができ、撮影パターン(3)であれば、カメラの近傍の物体A及び遠方の物体Bの両方の距離を測定することができる。
本例の撮影装置では、ステレオカメラ10を使用するため、図8の黒い楕円で示すように、物体の「明確な検出」が得られれば、視差計測部403はその視差情報から物体までの距離を正確に測定することができる。
例えば、撮影パターン(1)では、カメラの近傍の物体Aの距離を測定することができ、撮影パターン(3)であれば、カメラの近傍の物体A及び遠方の物体Bの両方の距離を測定することができる。
一方、発光体Cの場合は、撮影パターン(2)と撮影パターン(4)で「明確な検出」となるものの、自発光であるが故に、発光体の形状を正確に認識することが難しくなり、その結果、発光体Cまでの距離が誤って検出される可能性がある。
そこで、本例においては、これらの撮影パターン(1)〜(5)を使い分け、状態判定部503で、各撮影パターン(1)〜(5)によって得られた互いに相違する画像データから、発光体Cと物体Aまたは物体Bとを区別する判定を行っている。
このため、ステレオカメラ10に汚れや遮蔽物等の妨害による異常が発生しても、物体や発光体を正確に判別することができ、更にどのような事象であるかも正確に計測することが可能となる。
そこで、本例においては、これらの撮影パターン(1)〜(5)を使い分け、状態判定部503で、各撮影パターン(1)〜(5)によって得られた互いに相違する画像データから、発光体Cと物体Aまたは物体Bとを区別する判定を行っている。
このため、ステレオカメラ10に汚れや遮蔽物等の妨害による異常が発生しても、物体や発光体を正確に判別することができ、更にどのような事象であるかも正確に計測することが可能となる。
[撮影装置の処理モード]
次に、状態診断部30の状態判定部503における状態判定の結果と、その処理モードの設定及びその状態遷移について、図9及び図10を参照して説明する。
図9は、本例の撮影装置の処理モードの状態遷移を示した図であり、図10は、本例の撮影装置の状態診断のための診断パターンと判定結果を示した図である。
図9の待機モードS1、診断モードS2、保守モードS3、警戒モードS4の4つの処理モードは、図10の処理モード97に対応している。
次に、状態診断部30の状態判定部503における状態判定の結果と、その処理モードの設定及びその状態遷移について、図9及び図10を参照して説明する。
図9は、本例の撮影装置の処理モードの状態遷移を示した図であり、図10は、本例の撮影装置の状態診断のための診断パターンと判定結果を示した図である。
図9の待機モードS1、診断モードS2、保守モードS3、警戒モードS4の4つの処理モードは、図10の処理モード97に対応している。
図9の待機モードS1は何もない状態に対応している。その段階で何らかの異常の可能性がある候補が見つかると、待機モードS1から診断モードS2に移る。診断モードS2に入ると、既に説明したような、複数の撮影パターン(1)〜(5)を駆使して、物体A、物体B及び発光体Cなどの撮影とその診断が行われる。この場合、カメラの高さや向きあるいは照明等を変えて、様々なカメラ画像を取得し、その診断を行う。
診断モードS2における診断の結果、例えば侵入者が見つかったというような場合には、警戒モードS4に移行する。警戒モードS4になると、警戒モードになったことを告げる旨の表示または警報が出力される。そして、警報等が報知された後に、再び待機モードS1に戻る。
診断モードS2における診断の結果、例えば侵入者が見つかったというような場合には、警戒モードS4に移行する。警戒モードS4になると、警戒モードになったことを告げる旨の表示または警報が出力される。そして、警報等が報知された後に、再び待機モードS1に戻る。
一方、診断モードS2における診断の結果、異常の候補が、侵入者ではなく、例えばレンズの汚れのようなものと判定された場合は、保守モードS3に移行し、何らかの保守が行われた後に、待機モードS1に復帰する。
また、診断モードS2における診断の結果、単に遠方の発光体Cを撮影しただけであり、特段の異常が認められなければ、再び待機モードS1に戻る。
また、診断モードS2における診断の結果、単に遠方の発光体Cを撮影しただけであり、特段の異常が認められなければ、再び待機モードS1に戻る。
図10は、図7の撮影パターン(1)〜(5)に基づいてあるエリアの撮影を行った場合の診断パターン98a〜98dを示したテーブルの例である。この診断パターン98a〜98dは、予め図1に示す診断パターンデータベース40に保存されるものである。
図10の横軸で示す符号91〜95は、図1及び図4の画像処理部20による画像処理結果に基づいた画像の判定基準を示している。この判定基準91〜95は、撮影パターン(1)〜(5)に対応しているため、図10では、図7で示した撮影パターン(1)〜(5)と判定基準91〜95を対応付けて記載している。
なお、図10における各行は診断パターンを表している。ここで、診断パターン98a〜98dにおいて、用いられている数値は、物体がどれだけ明確に検出されたかを示すものであり、「>100」(100を超える値)は極めてくっきりと明確に撮影された「明確な検出」を示している。また、「>20」(20を超える値)は「微小検出」を示し、「>50」(50を超える値)はその中間の「淡い検出」を示している。これらの数値はあくまでも撮影及び診断の状況に応じて任意に設定することができるものである。
例えば、診断パターン98aの場合であって、ステレオカメラ10の制御モードが撮影パターン(1)の場合には、近傍の物体Aが判定基準91で明確に検出される。すると、判定結果96に示すように「異常候補」として判定される。この判定結果96で「異常候補」と判定された場合には、処理モード97は図9の「待機モードS1」から「診断モードS2」に移行する。
次に、診断パターン98bの場合は、投光がある撮影パターン(1)及び(5)では「明確な検出」になり、投光がない撮影パターン(2)では「微小検出」になっている。投光がなく露光時間の短い撮影パターン(4)では検出されない。また、近傍のエリアへの投光があり、かつ露光時間が短い撮影パターン(5)では、「淡い検出」になる。このような場合には、ステレオカメラ10自体に付着物がついている可能性が高いため、判定結果96は「付着物」となって処理モード97は「保守モードS3」に移行する。
また、診断パターン98cの場合には、撮影パターン(3)だけで「明確な検出」になっており、それ以外の撮影パターン(1)、(2)、(4)、(5)では、何も検出されていない。このように、遠方の物体Bだけが検出された場合は、判定結果96は、「遠方物体」となり、処理モード97は「警戒モードS4」となる。なぜなら、例えば10m先の遠方に何物かが明確に検出されたことは、検出された物が侵入者の可能性があるからである。
診断パターン98dの場合には、投光がある撮影パターン(1)と(5)では、「淡い検出」となり、投光がない撮影パターン(2)と(4)では、「明確な検出」になっている。また、遠方への投光がある撮影パターン(3)では、「微小検出」となっている。この場合、まさに図8の発光体Cの検出結果と同じ傾向になっている。したがって、判定結果96は、検出された物体は発光体Cであると判断される。そして、侵入者の疑いがないと判断されて、処理モード97は「待機モードS1」のままになる。
以上、本例では、ステレオカメラ10による監視エリアの状態を検出する際に、カメラの照明制御と、カメラ制御のうちシャッター制御によって様々な画像を取得して、監視エリアの状態を分類することを説明した。
しかしながら、例えば図3の投光部303をカメラ近傍のエリアに照射させた場合には、初期の段階で物体候補としてその位置や向きが検出された物も、時間の経過とともに検出されなくなる。このようなケースでは、誤報と判定されることもあり得る。それに対して、遠方のエリアにある物体を撮影する場合には、そこにある物体が比較的長時間検出されるため、誤報と判定される可能性は少なくなる。
しかしながら、例えば図3の投光部303をカメラ近傍のエリアに照射させた場合には、初期の段階で物体候補としてその位置や向きが検出された物も、時間の経過とともに検出されなくなる。このようなケースでは、誤報と判定されることもあり得る。それに対して、遠方のエリアにある物体を撮影する場合には、そこにある物体が比較的長時間検出されるため、誤報と判定される可能性は少なくなる。
言い換えると、カメラの向きを移動させることによって、近傍の物体であるか、遠方の物体であるかを判断することができる。なぜなら、近傍の物体の場合は、物体の移動に沿ってカメラが移動する場合の検出位置の移動が大きくなり、遠方の場合は検出位置の移動が小さくなるからである。
また、本例では、ステレオカメラ10として、説明しているが、2台以上のカメラ、例えば3台のカメラを使って、同様な処理を行うことができることはもちろんである。
また、本例では、ステレオカメラ10として、説明しているが、2台以上のカメラ、例えば3台のカメラを使って、同様な処理を行うことができることはもちろんである。
また、処理モードを「保守」とした場合であって、例えばステレオカメラ10の左右いずれかに汚れが検出され、それにより性能低下が懸念される場合がある。そのような場合には、セキュリティを確保するために、汚れが検出されなかった方の正常なカメラを活用して、動作を止めることなく一定以上の処理を実行し続けることが必要である。また同時に、コントロールセンタ等に通知することで、システムを停止することなく、セキュリティレベルを確保することも可能となる。
以上、本発明の撮像装置の一例として、ステレオカメラ10を用いて、その視差情報に基づいて、近傍及び遠方の物体と発光体を検出して、監視エリアの状態診断を行う撮影装置及び撮影方法について説明した。しかしながら、本例で説明した例は、あくまでも一つの実施の形態例であり、本発明は、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の応用例あるいは変形例を含むことは言うまでもない。
例えば、上述した実施の形態例では、撮影モードとして、投光の強度とシャッターの露光時間の2つの組み合わせによる撮影パターン(1)〜(5)を示した。これに対して、投光の強度と方向、露光時間、絞り、カメラの向き(姿勢)、及びレンズの焦点距離を動的に制御し、それらの複数の組合せによって、複数の撮影パターンを設定するようにしてもよい。更には、画像センサをRGBセンサのみならず、RGBに加えて赤外感度のあるセンサを用いることや、ゲイン調整などによってセンサ感度を変更することで、取得する撮影パターンを設定してもよい。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
10・・・ステレオカメラ、20・・・画像処理部、30・・・状態診断部、40・・・診断パターン記憶部、50・・・カメラ制御部、60・・・出力部、201、301、302・・・レンズ部、202・・・撮像部、203・・・画像生成部、204・・・撮像制御部、205・・・調整部、206、303・・・投光部、207・・・照明制御部、208・・・姿勢制御部、304・・・ステージ、401・・・カメラ画像取得部、402・・・歪補正部、403・・・視差計測部、404・・・物体検出部、501・・・結果取得部、502・・・データ取得部、503・・・状態判定部
Claims (7)
- 2台以上のカメラで構成されるステレオカメラと、
前記ステレオカメラからの画像データに基づいて、視差情報を取得する画像処理部と、
前記ステレオカメラによる撮影状況の異なる複数の画像情報が予め診断パターンとして記憶される診断パターンデータベースと、
前記診断パターンデータベースに記憶されている前記撮影状況の異なる複数の画像情報を参照して、前記画像処理部から得た前記視差情報からカメラの状態を判別し、カメラの状態診断を行う状態診断部と、
前記状態診断部の診断結果を受けて、前記ステレオカメラの照明制御、シャッター制御、姿勢制御のうち少なくとも1つを行うカメラ制御部と、
を備える撮影装置。 - 前記状態診断部は、待機、診断、警戒、保守の4つの処理モードを診断し、診断の結果に応じて、前記4つの処理モードのいずれかの処理モードに移行する
ことを特徴とする請求項1に記載の撮影装置。 - 前記状態診断部は、状態診断した結果に応じて前記4つの処理モードのいずれかの処理モードに移行した後に、事前に設定した待機の処理モードへ移行する
ことを特徴とする請求項2に記載の撮影装置。 - 前記カメラ制御部は、照明の強度と方向、露光時間、絞り、カメラの向き、センサ感度及び焦点距離を動的に制御し、その組合せによって、前記ステレオカメラは、前記複数の画像情報を取得する
ことを特徴とする請求項1〜3のいずれか1項に記載の撮影装置。 - 前記画像処理部は、
前記ステレオカメラより、左右のカメラ画像を取得するカメラ画像取得部と、
前記カメラ画像取得部で取得したカメラ画像の歪みを補正する歪補正部と、
前記歪補正部で歪みが補正された前記左右のカメラ画像から前記視差情報を算出する視差計測部と、
前記視差計測部で算出した前記視差情報に基づいて、被写体である物体を検出する物体検出部と、
を備えることを特徴とする請求項1に記載の撮影装置。 - 前記状態診断部は、
前記画像処理部から入力された前記視差情報を取得する結果取得部と、
前記結果取得部で取得した前記視差情報が入力されるとともに、前記診断パターンデータベースより、前記診断パターンデータベースに予め記憶されている前記ステレオカメラによる撮影状況の異なる複数の画像情報を取得することにより、判別すべきパラメータを取得するデータ取得部と、
前記データ取得部で取得した前記判別すべきパラメータに基づいて、ステレオカメラの正常または異常状態を判別する状態判定部と、
を備えることを特徴とする請求項5に記載の撮影装置。 - ステレオカメラにより監視すべきエリアを撮影して左右の画像データを得る工程と、
画像処理部により、前記ステレオカメラで撮影した前記左右の画像データに基づいて、撮影した画像に対する視差情報を取得する工程と、
前記ステレオカメラで撮影した、撮影状況の異なる複数の画像情報を、予め診断パターンとして診断パターンデータベースに記憶する工程と、
前記画像処理部で取得した前記視差情報と、前記診断パターンデータベースに予め記憶されている撮影状況の異なる複数の画像情報から、状態診断部によりカメラの状態を判別し、カメラの状態診断を行う工程と、
を含む撮影方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/075130 WO2018042481A1 (ja) | 2016-08-29 | 2016-08-29 | 撮影装置及び撮影方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018042481A1 JPWO2018042481A1 (ja) | 2019-04-18 |
JP6586239B2 true JP6586239B2 (ja) | 2019-10-02 |
Family
ID=61305155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018536369A Active JP6586239B2 (ja) | 2016-08-29 | 2016-08-29 | 撮影装置及び撮影方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10728537B2 (ja) |
JP (1) | JP6586239B2 (ja) |
CN (1) | CN109564382B (ja) |
WO (1) | WO2018042481A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102238794B1 (ko) * | 2015-03-25 | 2021-04-09 | 한국전자통신연구원 | 영상 촬영 장치의 촬영 속도 증가 방법 |
JP2019056623A (ja) * | 2017-09-21 | 2019-04-11 | 株式会社東芝 | 画像処理装置、及び、画像処理システム |
US10791277B2 (en) * | 2018-09-11 | 2020-09-29 | Cognex Corporation | Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns |
JP7020359B2 (ja) * | 2018-09-28 | 2022-02-16 | 株式会社豊田自動織機 | 警告装置 |
JP7115253B2 (ja) * | 2018-11-28 | 2022-08-09 | トヨタ自動車株式会社 | 車載カメラシステム |
US11727597B2 (en) * | 2018-12-21 | 2023-08-15 | Sony Group Corporation | Calibrating volumetric rig with structured light |
CN110161793A (zh) * | 2019-04-16 | 2019-08-23 | 苏州佳世达光电有限公司 | 一种投影调整系统、投影机及支撑机构 |
JP2020193946A (ja) * | 2019-05-30 | 2020-12-03 | 本田技研工業株式会社 | 光学装置及び把持システム |
EP3883242A1 (en) * | 2020-03-20 | 2021-09-22 | Melexis Technologies NV | Optical sensor diagnostics |
DE102020124785A1 (de) | 2020-09-23 | 2022-03-24 | Connaught Electronics Ltd. | Verfahren zum Überwachen eines Fokus einer an einem Kraftfahrzeug angeordneten Kamera, Computerprogrammprodukt, computerlesbares Speichermedium sowie System |
DE102021000600A1 (de) * | 2021-02-05 | 2022-08-11 | Mercedes-Benz Group AG | Verfahren und Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera |
JP7147906B1 (ja) | 2021-03-25 | 2022-10-05 | 株式会社明電舎 | パンタグラフ周辺支障物検出装置および検出方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3516127B2 (ja) | 1997-12-09 | 2004-04-05 | オムロン株式会社 | 画像処理方法およびその装置 |
JP2001211466A (ja) | 2000-01-27 | 2001-08-03 | Toshiba Corp | 自己診断機能を有する画像処理システム |
KR100768837B1 (ko) * | 2003-04-17 | 2007-10-19 | 샤프 가부시키가이샤 | 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체 |
JP2004363753A (ja) * | 2003-06-03 | 2004-12-24 | Fuji Photo Film Co Ltd | 自動撮影システム |
JP5573683B2 (ja) * | 2009-01-22 | 2014-08-20 | 日本電気株式会社 | 立体映像鑑賞システム、表示システム、光シャッタおよび立体映像鑑賞方法 |
JP5327524B2 (ja) * | 2009-02-27 | 2013-10-30 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2011086630A1 (ja) * | 2010-01-13 | 2011-07-21 | パナソニック株式会社 | 撮像装置、撮像方法、プログラム及び集積回路 |
JP4957850B2 (ja) * | 2010-02-04 | 2012-06-20 | カシオ計算機株式会社 | 撮像装置、警告方法、および、プログラム |
JP5367640B2 (ja) * | 2010-05-31 | 2013-12-11 | パナソニック株式会社 | 撮像装置および撮像方法 |
JP5235976B2 (ja) * | 2010-05-31 | 2013-07-10 | 株式会社ソニー・コンピュータエンタテインメント | 映像再生方法、および映像再生装置 |
DE102010024666A1 (de) | 2010-06-18 | 2011-12-22 | Hella Kgaa Hueck & Co. | Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens |
JP2012133232A (ja) * | 2010-12-22 | 2012-07-12 | Fujitsu Ltd | 撮影装置及び撮影制御方法 |
CN102724521A (zh) * | 2011-03-29 | 2012-10-10 | 青岛海信电器股份有限公司 | 立体显示方法及装置 |
TW201245768A (en) * | 2011-03-29 | 2012-11-16 | Sony Corp | Image pickup apparatus, image pickup device, image processing method, aperture control method, and program |
JP2013034171A (ja) * | 2011-06-30 | 2013-02-14 | Sony Corp | 画像処理装置および方法 |
JP2013073598A (ja) * | 2011-09-29 | 2013-04-22 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
KR101887058B1 (ko) * | 2011-11-11 | 2018-08-09 | 엘지전자 주식회사 | 입체영상 처리 장치 및 입체영상 처리 장치의 전력 제어 방법 |
WO2013145820A1 (ja) * | 2012-03-30 | 2013-10-03 | 富士フイルム株式会社 | 撮影装置、方法、記憶媒体及びプログラム |
JP5380575B2 (ja) * | 2012-05-09 | 2014-01-08 | 富士フイルム株式会社 | 撮像装置、画像補正方法および画像補正プログラム |
JP2014006243A (ja) * | 2012-05-28 | 2014-01-16 | Ricoh Co Ltd | 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体 |
US20150262346A1 (en) * | 2012-10-18 | 2015-09-17 | Konica Minolta, Inc. | Image processing apparatus, image processing method, and image processing program |
CN104869384B (zh) * | 2014-02-25 | 2017-04-12 | 华晶科技股份有限公司 | 电子装置及其校正方法 |
JP5906272B2 (ja) * | 2014-03-28 | 2016-04-20 | 富士重工業株式会社 | 車両用ステレオ画像処理装置 |
JP2016091108A (ja) * | 2014-10-30 | 2016-05-23 | パナソニックIpマネジメント株式会社 | 人体部位検出システムおよび人体部位検出方法 |
JP2016145753A (ja) * | 2015-02-09 | 2016-08-12 | 国立研究開発法人情報通信研究機構 | 奥行推定装置、奥行推定方法及び奥行推定プログラム |
CN105611269B (zh) * | 2015-12-18 | 2017-09-29 | 华中科技大学 | 基于fpga的实时视差计算系统 |
-
2016
- 2016-08-29 WO PCT/JP2016/075130 patent/WO2018042481A1/ja active Application Filing
- 2016-08-29 CN CN201680088432.XA patent/CN109564382B/zh active Active
- 2016-08-29 JP JP2018536369A patent/JP6586239B2/ja active Active
- 2016-08-29 US US16/327,968 patent/US10728537B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018042481A1 (ja) | 2018-03-08 |
US10728537B2 (en) | 2020-07-28 |
CN109564382A (zh) | 2019-04-02 |
US20190230347A1 (en) | 2019-07-25 |
CN109564382B (zh) | 2021-03-23 |
JPWO2018042481A1 (ja) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6586239B2 (ja) | 撮影装置及び撮影方法 | |
US7580545B2 (en) | Method and system for determining gaze direction in a pupil detection system | |
JP3201518U (ja) | イメージセンサ視野内の障害物を検出するためのシステム | |
JP4460782B2 (ja) | 侵入監視装置 | |
JP2019504522A (ja) | ステレオカメラと構造化光とを用いたヘッドマウントディスプレイを伴う奥行きマッピング | |
US10705218B2 (en) | Object position detection apparatus | |
US20120314085A1 (en) | Video image display screen, video image display system, and method for detecting camera used in illegal camcording | |
JP2009005198A (ja) | 映像監視システム | |
JP2019159346A (ja) | 撮像装置 | |
TW201511732A (zh) | 用於以逆反射進行瞳孔追蹤的光學陣列系統及方法 | |
CN108345002A (zh) | 结构光测距装置及方法 | |
US20120154583A1 (en) | Method and system for monitoring the accessibility of an emergency exit | |
JP2012022646A (ja) | 視線方向検出装置、視線方向検出方法及び安全運転評価システム | |
JP2006314061A (ja) | 画像処理装置及びノイズ判定方法 | |
JP2016051317A (ja) | 視線検出装置 | |
JP2016214937A (ja) | 計測システムおよびコンピュータプログラム | |
EP4071443B1 (en) | Camera agnostic core monitor incorporating projected images with high spatial frequency | |
JP6482589B2 (ja) | カメラ校正装置 | |
JP4954459B2 (ja) | 不審人物検出装置 | |
JP2022188982A (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR100844640B1 (ko) | 물체 인식 및 거리 계측 방법 | |
JP2008123057A (ja) | 不審者検知装置 | |
KR20160121958A (ko) | 피사체의 위치추적 기능을 갖는 팬틸트 일체형 감시카메라 시스템 | |
JP6002811B1 (ja) | 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム | |
JP3495146B2 (ja) | 画像解析を利用した監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6586239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |