JP5851261B2 - 画像センサシステム、情報処理装置、情報処理方法及びプログラム - Google Patents

画像センサシステム、情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP5851261B2
JP5851261B2 JP2012017111A JP2012017111A JP5851261B2 JP 5851261 B2 JP5851261 B2 JP 5851261B2 JP 2012017111 A JP2012017111 A JP 2012017111A JP 2012017111 A JP2012017111 A JP 2012017111A JP 5851261 B2 JP5851261 B2 JP 5851261B2
Authority
JP
Japan
Prior art keywords
image
area
image sensor
mask
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012017111A
Other languages
English (en)
Other versions
JP2013157810A (ja
Inventor
和美 長田
和美 長田
榎原　孝明
孝明 榎原
馬場　賢二
賢二 馬場
周平 野田
周平 野田
西村　信孝
信孝 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012017111A priority Critical patent/JP5851261B2/ja
Priority to EP12856582.7A priority patent/EP2811735A4/en
Priority to CN201280004253.5A priority patent/CN103339922B/zh
Priority to US13/820,407 priority patent/US20140340513A1/en
Priority to PCT/JP2012/076639 priority patent/WO2013114684A1/ja
Priority to SG2013048384A priority patent/SG192564A1/en
Publication of JP2013157810A publication Critical patent/JP2013157810A/ja
Application granted granted Critical
Publication of JP5851261B2 publication Critical patent/JP5851261B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明の実施形態は、画像センサシステム、情報処理装置、情報処理方法及びプログラムに関する。
従来、画像センサを用いて人の在／不在や行動をセンシングする技術が、セキュリティ用途等に適用されている。係る技術では、画像センサから得られる情報量が多いため、センシングの非対象とする領域（マスク領域）等を、適用する環境に応じて調整することが一般的である。セキュリティ用途等では、画像センサの設置台数はビルの規模に対して比較的少なく（例えば、各フロアに一つ等）、画像センサの調整は撮像された画像を見ながら一台ずつ手作業で行うことが多い。
また、上記の技術は、セキュリティ用途だけでなく、照明や空調等の自動制御に応用され始めている。この場合、ビルの規模に応じて画像センサの設置台数も増加するため、手作業で一台ずつ調整を行うには多くの時間を必要としていた。そこで、従来、マスク領域設定用の専用モードを設け、当該専用モード時において画像中に変化があった領域をマスク領域として設定する技術が提案されている。
特開２０１１−２８９５６号公報
しかしながら、上記のマスク領域設定に係る従来技術では、マスク領域を自動で設定することが可能であるが、センシングの対象とする領域については考慮されていない。そのため、センシングの対象とする領域を効率的に設定することができず、例えば、通路やデスク等の領域の種別毎にセンシングの対象領域を設定することは困難であった。
実施の形態の画像センサシステムは、撮像手段と、画像取得手段と、マスク領域導出手段と、検知領域導出手段と、保持手段と、センシング手段とを備える。撮像手段は、所定の空間を撮像する。画像取得手段は、撮像手段で撮像された画像を取得する。マスク領域導出手段は、画像取得手段が取得した画像を用いて、当該画像内からセンシングの非対象とするマスク領域を導出する。検知領域導出手段は、画像取得手段が取得した画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する。保持手段は、マスク領域及び検知領域を設定情報として保持する。センシング手段は、保持手段に保持された設定情報に基づいて、取得手段が取得した画像から空間の状態をセンシングする。
図１は、第１の実施形態に係る画像センサシステムの構成例を示す図である。 図２は、第１の実施形態に係る画像センサの設置例を示す図である。 図３は、第１の実施形態に係る画像センサ及び保守端末の構成例を示すブロック図である。 図４は、画像センサで撮像された画像の一例を示す図である。 図５は、マスク領域及び検知領域の一例を示す図である。 図６は、レンズ中心検出部の動作を説明するための図である。 図７は、歪み補正画像の一例を示す図である。 図８は、正像マスク領域の一例を示す図である。 図９は、第１の実施形態の保守端末が行う領域設定処理の一例を示すフローチャートである。 図１０は、第１の実施形態の保守端末が行う領域生成処理の一例を示すフローチャートである。 図１１は、歪み補正画像の表示例を示す図である。 図１２は、第１の実施形態の変形例１に係る画像センサの構成例を示すブロック図である。 図１３は、第１の実施形態の変形例に係る権限設定保持部の一例を示す図である。 図１４は、第１の実施形態の変形例２に係る保守端末の構成例を示すブロック図である。 図１５は、第２の実施形態に係る保守端末の構成例を示すブロック図である。 図１６は、第２の実施形態に係るマーカの例を示す図である。 図１７は、第２の実施形態に係る画像センサが取得した画像の一例を示す図である。 図１８は、第２の実施形態に係るマスク領域設定部の動作を説明するための図である。 図１９は、第２の実施形態に係るマスク領域設定部の動作を説明するための図である。 図２０は、第２の実施形態の保守端末が行う領域設定処理の一例を示すフローチャートである。 図２１は、第３の実施形態に係る画像センサの構成例を示すブロック図である。 図２２は、第３の実施形態に係る画像センサの動作を説明するための図である。 図２３は、第３の実施形態に係る画像センサの動作を説明するための図である。 図２４は、第３の実施形態に係る画像センサの動作を説明するための図である。 図２５は、第３の実施形態の画像センサが行う領域補正処理の一例を示すフローチャートである。 図２６は、第３の実施形態に係る画像センサの外観構成の一例を示す図である。 図２７は、第３の実施形態に係る画像センサの外観構成の他の例を示す図である。
以下に添付図面を参照して、この発明に係る画像センサシステム及び撮像管理方法の実施形態を詳細に説明する。以下の実施形態では、この発明に係る画像センサシステム及び撮像管理方法を、オフィスビル等の建物に適用した例について説明する。
［第１の実施形態］
図１は、本実施形態に係る画像センサシステム１００の構成例を示す図である。同図に示すように、画像センサシステム１００は、画像センサ１０と保守端末２０とを有する。保守端末２０は、画像センサ１０の各々又は画像センサ１０の各々が接続されたネットワークＮと着脱可能に接続されており、各画像センサ１０との間で種々の情報の送受信を行う。なお、画像センサ１０の個数は特に問わないものとする。
画像センサ１０は、魚眼レンズ（円周魚眼レンズ）やＣＣＤ（Charge Coupled Device）等のイメージセンサ等で構成される魚眼カメラを有し（何れも図示せず）、この魚眼カメラを用いて広角の画像を撮像する。また、画像センサ１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のコンピュータ構成と、各種情報を記憶する不揮発性の記憶部と、保守端末２０等の外部装置と通信を行う通信部とを備えるとともに（何れも図示せず）、後述する機能部により撮像された画像をセンシングすることで、画像センサ１０周辺の状態を検知し、その検知結果を蓄積又は外部装置に出力する。ここで、検知結果としては、人の在／不在を示す情報等が挙げられる。
図２は、本実施形態に係る画像センサ１０の設置例を示す図である。同図に示すように、画像センサ１０は、建物の天井部に設置され建物内を撮像する。なお、図２に示す建物内には、照明Ｌ１〜Ｌ６及び空調ＡＣ１、ＡＣ２が天井部に設けられた例を示しており、これら電気機器の電力制御（例えばオン／オフ）を、図示しないデマンド制御装置が画像センサ１０の検知結果に基づいて実行する。なお、建物内に設置される画像センサ１０の位置及び個数は、図２の例に限らないものとする。
図１に戻り、保守端末２０は、ＰＣ（Personal Computer）や携帯通信端末等の情報処理装置であって、主に画像センサ１０の保守を行う。保守端末２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等のコンピュータ構成と、各種情報を記憶する不揮発性の記憶部と、画像センサ１０等の外部装置との通信を行う通信部と、キーボードやポインティングデバイス等の入力部と、表示ディスプレイ等の出力部とを備える（何れも図示せず）。保守端末２０は、画像センサ１０の各々で撮像される画像や当該画像の撮像条件に基づいて、後述するマスク領域及び検知領域を各画像センサ１０に設定する。
図３は、画像センサ１０及び保守端末２０の構成例を示すブロック図である。画像センサ１０は、機能部として、画像取得部１１と、マスク領域設定保持部１２と、検知領域設定保持部１３と、センシング部１４と、出力・蓄積部１５とを備える。画像センサ１０が備える機能部のうち、画像取得部１１、センシング部１４及び出力・蓄積部１５は、画像センサ１０のコンピュータ構成により実現され、マスク領域設定保持部１２及び検知領域設定保持部１３は、画像センサ１０の記憶媒体により実現される。
画像取得部１１は、魚眼カメラで撮像されたフレーム単位の画像を順次取得する。また、画像取得部１１は、取得した画像を、センシング部１４に出力するとともに、図示しない通信部を介して保守端末２０に提供（出力）する。なお、保守端末２０に出力する画像には、自装置を特定可能なＩＰアドレス等の識別子が付されているものとする。
マスク領域設定保持部１２は、画像取得部１１が取得した画像の領域のうち、センシングの対象から除外する領域を定めたデータであるマスク領域を保持する。また、検知領域設定保持部１３は、画像取得部１１が取得した画像の領域のうち、センシングの対象とする領域を定めたデータである検知領域を保持する。
以下、図４及び図５を参照して、マスク領域及び検知領域について説明する。図４は、画像センサ１０で撮像された画像の一例を示す図である。魚眼カメラの光学的作用により、画像センサ１０は、図４に示すような球形の画像を撮像する。そのため、画像センサ１０で撮像された画像には、例えば建物の壁部等のように、センシングの対象から除外すべき領域が含まれる。そこで、図５に示すように、画像センサ１０で撮像される画像のうち、センシングの対象から除外すべき領域をマスク領域Ａ１１として設定しておくことで、この領域がセンシングの対象から除外することができる。
また、検知領域は、画像センサ１０で撮像される画像のうち、センシングの対象となる領域を、その領域の種別毎に設定したものである。ここで、種別分けの指標は、例えば、単位時間あたりに検知される人数や、後述する活動量等、在室者の状態に基づく数値を用いることが好ましい。図５では、人の活動量に基づき画像内から通路及びデスク（作業机）に相当する領域を分別し、通路にあたる領域を検知領域Ａ２１、デスクにあたる領域を検知領域Ａ２２とした例を示している。種別分けされた各検知領域では、センシングに係るパラメータ（例えば、人の存否確認に係る閾値等）が異なる等、その種別に応じたセンシング処理がなされるよう構成されている。なお、マスク領域Ａ１１及び検知領域Ａ２１、Ａ２２の何れにも属さない領域については、マスク領域Ａ１１と同様にセンシングの対象から除外する形態としてもよいし、その他の領域として固有のパラメータを用いてセンシングを行う形態としてもよい。
図３に戻り、センシング部１４は、画像取得部１１が取得した時間的に連続する複数の画像を、マスク領域設定保持部１２及び検知領域設定保持部１３に保持されたマスク領域及び検知領域の設定内容に従いセンシングすることで、自装置が設置された空間内の状態を検知する。具体的に、センシング部１４は、画像取得部１１が取得した画像の全域からマスク領域を除外すると、残り領域のうち検知領域として設定された領域での画像間の変化量を算出し、その領域の種別に応じたパラメータに基づいて、人の在／不在等の検知結果を取得する。ここで、パラメータは、例えば、在／不在の判定に係る閾値等であって、検知領域の種別毎に定められているものとする。なお、人の在／不在の検知方法は、公知の技術を用いるものとする。
出力・蓄積部１５は、センシング部１４で取得された検知結果を、建物内の電気機器の電力制御を行うデマンド制御装置等の外部装置に出力する。また、出力・蓄積部１５は、センシング部１４で取得された検知結果を、自装置又は外部装置が有する図示しない記憶媒体に蓄積する。
一方、保守端末２０は、図３に示すように、レンズ中心検出部２１と、マスク領域設定パラメータ保持部２２と、カメラパラメータ保持部２３と、マスク領域設定部２４と、行動取得部２５と、検知領域設定部２６と、歪み補正部２７と、手動領域設定部２８と、領域変換部２９とを備える。ここで、保守端末２０が備える機能部のうち、レンズ中心検出部２１、マスク領域設定部２４、行動取得部２５、検知領域設定部２６及び歪み補正部２７、領域変換部２９は、保守端末２０のコンピュータ構成により実現され、マスク領域設定パラメータ保持部２２及びカメラパラメータ保持部２３は、保守端末２０の記憶媒体により実現される。また、手動領域設定部２８は、保守端末２０のコンピュータ構成と、重力部と、表示部との協働により実現される。
レンズ中心検出部２１は、各画像センサ１０の画像取得部１１で取得された画像を解析し、当該画像から画像センサ１０の光学中心（レンズ中心）を検出する。具体的に、レンズ中心検出部２１は、公知の画像処理方法であるＨｏｕｇｈ変換を行うことで、図６に示すように、魚眼カメラで撮像された画像の輪郭となる円Ｃｒを検出し、その円Ｃｒの中心座標Ｏをレンズ中心とする。ここで、図６は、レンズ中心検出部２１の動作を説明するための図である。
マスク領域設定パラメータ保持部２２は、マスク領域の設定に係るパラメータ（マスク領域設定パラメータ）が保持されている。ここで、マスク領域設定パラメータとしては、例えば、半径２ｍの円形や１辺３ｍの矩形等、大きさや形状を表す設定値が含まれる。また、これらの設定値を組み合わせることを指示した指示情報をパラメータとして含む形態としてもよい。
カメラパラメータ保持部２３は、各画像センサ１０の識別子（例えばＩＰアドレス等）と、当該画像センサ１０の撮像条件を示すパラメータ（カメラパラメータ）とが関連付けて保持されている。カメラパラメータとしては、例えば、画像センサ１０が設置されている高さや、魚眼カメラの歪み係数（歪曲収差）等が挙げられる。
マスク領域設定部２４は、レンズ中心検出部２１で検出されたレンズ中心を基準とし、マスク領域設定パラメータ及びカメラパラメータを用いて、各画像センサ１０のマスク領域を設定する。
具体的にマスク領域設定部２４は、マスク領域設定パラメータ保持部２２に保持されたマスク領域設定パラメータで定まる領域を、レンズ中心検出部２１で検出されたレンズ中心を基準に配置する。また、マスク領域設定部２４は、各画像センサ１０のカメラパラメータに応じて、配置した領域の大きさや形状を調整し、その結果をマスク領域として導出する。そして、マスク領域設定部２４は、導出したマスク領域を、対応する画像センサ１０に送信し、当該画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０のマスク領域を設定する。
行動取得部２５は、各画像センサ１０で取得された所定期間分（例えば、１０分間、２４時間、１０日間等）の画像を蓄積し解析することで、当該画像から在室者の行動の特徴を数値化した特徴量を取得する。ここで、特徴量とは、例えば活動量等であって、公知の技術を用いて取得する。
例えば、活動量を取得する場合、各画像センサ１０で取得された所定期間分の画像について、画像間の差分（差分画像）を抽出し、その抽出した差分画像を重ね合わせることで累積した累積差分画像を生成する。また、行動取得部２５は、生成した累積差分画像の濃度勾配のある領域の画素又はブロックの周辺領域の輝度変化の特徴を数値化するとともに、この領域の画素又はブロックの当該画像上の位置関係を特定することで、累積差分画像内の特徴量を生成する。また、行動取得部２５は、図示しない記憶部等に予め記憶された識別モデルを用いて、生成した特徴量から在室者の行動内容を識別する。そして、行動取得部２５は、累積差分画像から得られた行動内容の識別結果を統合し、活動量として画像内の領域（各位置）毎に算出する。また、発生時間／総計測時間等の関係式で得られる各行動の発生頻度を、画像内の領域（各位置）毎に算出する。
検知領域設定部２６は、各画像センサ１０についての画像から行動取得部２５が取得した領域毎の活動量に基づき、その領域を通路やデスク等の所定の種別に分別し、これら種別毎の領域を検知領域として導出する。例えば、検知領域設定部２６は、発生頻度が３０％以上の領域を、その活動量の内容に基づき区分けすることで、その領域を通路やデスク等の種別に分別する。そして、検知領域設定部２６は、分別した種別毎の検知領域を対応する画像センサ１０に送信し、当該画像センサ１０の検知領域設定保持部１３に保持させることで、各画像センサ１０に検知領域を設定する。
これにより、画像センサ１０の各々が設置されたオフィス等において、実際の使用状況に合わせた検知領域を、画像センサ１０の各々に自動で設定することができるため、より適切な検知結果を各画像センサ１０で取得することが可能となる。
なお、上述したマスク領域及び検知領域を設定する単位は、画素単位でも任意の大きさのブロック単位でもよい。また、マスク領域及び検知領域は、画像データでなくても座標値でもよい。例えば、座標値を用いる場合、矩形や多角形の各頂点座標を指定することで、領域を表すことができる。
歪み補正部２７は、各画像センサ１０で取得された画像に対し、公知の画像処置方法である歪み補正を施すことで正像化した歪み補正画像を生成し、この歪み補正画像を図示しない表示部に表示させる。
手動領域設定部２８は、保守端末２０を操作するユーザの入力に応じ、歪み補正画像上にマスク領域に相当する領域（以下、正像マスク領域という）や、検知領域に相当する領域（以下、正像検知領域という）を設定する。また、領域変換部２９は、手動領域設定部２８が設定した正像マスク領域に対し、歪み補正部２７が行った歪み補正の逆変換を施すことで、画像センサ１０が取得する画像に対応したマスク領域を生成する。
以下、図４、図５、図７、図８を参照して、歪み補正部２７、手動領域設定部２８及び領域変換部２９の動作について説明する。まず、画像センサ１０で取得された画像が図４に示す状態であったとすると、歪み補正部２７は、この画像に対し歪み補正を行うことで正像化した歪み補正画像を生成する（図７参照）。ここで、図７は、歪み補正画像の一例を示す図である。なお、歪み補正画像は、図示しない表示部に表示される。
手動領域設定部２８は、保守端末２０を操作するユーザの操作入力を図示しない入力装置を介して受け付け、この操作内容に応じて歪み補正画像上に正像マスク領域を設定する（図８参照）。ここで、図８は、正像マスク領域の一例を示す図であって、矩形状の正像マスク領域Ａ１２を例示している。
そして、領域変換部２９は、手動領域設定部２８で設定された正像マスク領域Ａ１２に対し、歪み補正の逆変換を施すことで、図４の画像に対応したマスク領域Ａ１１を生成する（図５参照）。
なお、領域変換部２９が生成したマスク領域を、マスク領域設定パラメータの雛形とし、対応する画像センサ１０の識別子と関連付けてマスク領域設定パラメータ保持部２２に保持させる形態としてもよいし、画像の取得元となった画像センサ１０のマスク領域設定保持部１２に保持させる形態としてもよい。また、本実施形態では、マスク領域の生成について説明したが、検知領域についても同様に生成することができる。
次に、本実施形態の保守端末２０の動作について説明する。まず、図９を参照して、保守端末２０が実行する領域設定処理の動作について説明する。ここで、図９は、領域設定処理の一例を示すフローチャートである。なお、本処理は、画像センサ１０の設置時や保守作業時等、マスク領域及び検知領域の設定（変更）時に行われるものである。
まず、画像センサ１０の各々において画像が取得され、当該画像が保守端末２０に出力されると（ステップＳ１１）、レンズ中心検出部２１は、入力された各画像を解析することで、当該画像からレンズ中心を検出する（ステップＳ１２）。
マスク領域設定部２４は、ステップＳ１２で検出されたレンズ中心を基準に、マスク領域設定パラメータ保持部２２に保持されたマスク領域設定パラメータ及びカメラパラメータ保持部２３に保持されたカメラパラメータを用いることで、画像センサ１０の各々に応じたマスク領域を導出する（ステップＳ１３）。続いて、マスク領域設定部２４は、導出したマスク領域を、対応する画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０にマスク領域を設定する（ステップＳ１４）。
また、行動取得部２５は、各画像センサ１０で取得された所定期間分の画像を解析することで、当該画像から在室者の行動（活動量）を領域毎に取得する（ステップＳ１５）。続いて、検知領域設定部２６は、ステップＳ１５で取得された領域毎の活動量に基づき、通路領域や作業領域等の検知領域をその種別毎に特定する（ステップＳ１６）。そして、検知領域設定部２６は、特定した種別毎の検知領域を、対応する画像センサ１０の検知領域設定保持部１３に保持させることで、各画像センサ１０に検知領域を設定し（ステップＳ１７）、本処理を終了する。
このように、上記領域設定処理によれば、画像センサ１０の各々で撮像された画像や当該画像の撮像条件を用いて、マスク領域及び検知領域を導出し、各画像センサ１０に設定することができる。これにより、画像センサ１０の各々に適したマスク領域及び検知領域を、各画像センサ１０に自動で設定することができるため、マスク領域及び検知領域の設定を効率的に行うことができる。
なお、上記領域設定処理では、マスク領域の設定と検知領域の設定とを連続して行う形態としたが、これに限らず、独立した処理として個別に行う形態としてもよい。
次に、図１０を参照して、保守端末２０が行う領域生成処理の動作について説明する。ここで、図１０は、領域生成処理の一例を示すフローチャートである。
まず、何れか一の画像センサ１０において画像が取得され、当該画像が保守端末２０に出力されると（ステップＳ２１）、歪み補正部２７は、入力された画像に歪み補正を施すことで、正像化した歪み補正画像を生成し（ステップＳ２２）、この歪み補正画像を図示しない表示部に表示させる（ステップＳ２３）。
図１１は、表示部に表示された歪み補正画像の表示例を示す図である。なお、同図では、歪み補正画像を表示領域Ａ３に表示する形態として示している。また、表示領域Ａ３の右方に配置されたボタンＢ１〜Ｂ３は、マスク領域や検知領域（通路領域、作業領域）の入力を指示するものであって、何れかのボタンが押下後、歪み補正画像上に領域に相当する図形（矩形や多角形等）を記述することで、正像マスク領域や正像検知領域を入力することが可能となっている。なお、歪み補正画像の表示形態は図１１の例に限らず、例えば、歪み補正画像と、この歪み補正画像の元画像とを比較可能状態で表示する形態としてもよい。また、この形態の場合、元画像上に逆変換した正像マスク領域や正像検知領域を重畳表示してもよい。
図１０に戻り、手動領域設定部２８は、ユーザの操作内容に応じて、歪み補正画像上に正像マスク領域や正像検知領域を設定する（ステップＳ２４）。続いて、領域変換部２９は、歪み補正画像上に設定された正像マスク領域、正像検知領域に対し、ステップＳ２２で歪み補正部２７が行った歪み補正の逆変換を施すことで、画像センサ１０に対応したマスク領域及び検知領域を生成し（ステップＳ２５）、本処理を終了する。
このように、上記領域生成処理によれば、魚眼カメラの作用で歪んだ画像を歪み補正画像に正像化し、この歪み補正画像上に設定された正像マスク領域及び正像検知領域を逆変換することで、マスク領域及び検知領域を導出する。これにより、マスク領域及び検知領域を手作業で生成（調整）する際に、魚眼カメラによる歪みを考慮する必要がなくなるため、生成に必要な工数を削減することができ、ユーザの利便性を向上させることできる。
なお、上記の処理で生成されたマスク領域及び検知領域を、雛形としてマスク領域設定パラメータ保持部２２やカメラパラメータ保持部２３に保持する形態としてもよいし、画像の取得元となった画像センサ１０のマスク領域設定保持部１２や検知領域設定保持部１３に保持させる形態としてもよい。
以上のように、本実施形態によれば、画像センサ１０の各々に適したマスク領域及び検知領域を、各画像センサ１０に自動で設定することができるため、マスク領域及び検知領域の設定を効率的に行うことができる。
なお、図３の構成では、画像センサ１０が取得した画像を保守端末２０に無条件で提供する形態としたが、セキュリティの向上のため、保守端末２０を操作するユーザの種別に応じて画像の提供を制限する形態としてもよい。以下、この形態を本実施形態の変形例１として説明する。
図１２は、変形例１に係る画像センサ１０ａの構成例を示すブロック図である。同図に示すように、画像センサ１０ａは、上記図３の構成に加え、権限設定保持部１６及びログイン処理部１７を備えている。
権限設定保持部１６は、画像センサ１０ａが有する記憶媒体により実現され、保守端末２０を操作するユーザ、つまり画像センサ１０ａにアクセスするユーザの種別毎に、画像の閲覧に係る権限を規定している。
図１３は、権限設定保持部１６の一例を示す図である。同図に示すように、権限設定保持部１６には、ユーザ種別毎に、画像の閲覧に係る権限を関連付けて保持している。ここでは、ユーザ種別として画像センサ１０ａの設置に係る保守員（設置用）と、画像センサ１０ａの定期点検を行う保守員（定期点検用）と、画像センサシステム１００の管理者とを定義した例を示している。また、これらユーザの権限として、保守員（設置用）及び管理者には画像の閲覧を許可することが定義されており、保守員（定期点検用）には画像の閲覧を不可とすることが定義されている。
図１２に戻り、ログイン処理部１７は、画像センサ１０ａのコンピュータ構成により実現され、自装置にアクセスしたユーザの種別に対応する権限を権限設定保持部１６から読み出し、その内容に応じて画像取得部１１が取得した画像を保守端末２０に出力するか否かを制御する。なお、保守端末２０では、画像センサ１０ａへのアクセス時に、当該保守端末２０を操作するユーザのユーザ種別を通知するものとする。
このように、本変形例１の画像センサ１０ａでは、自装置にアクセスするユーザ種別に応じて画像の出力を制限することで、情報の出力が不用意に行われてしまうことを防止することができるため、機密やプライバシーを保護することができる。なお、権限設定保持部１６の設定内容は上記例に限らないものとする。例えば、保守端末２０としてＰＣを用いる場合には画像を閲覧可能とし、携帯電話を用いる場合には画像を閲覧不可能とする等、保守端末２０の種別毎に権限を設定してもよい。
また、図３の構成では、保守端末２０において、画像センサ１０で撮像された画像からレンズ中心を検出し、マスク領域設定パラメータ保持部２２及びカメラパラメータ保持部２３が保持する各種情報を用いてマスク領域を設定する形態としたが、検知領域と同様に、行動取得部２５が取得する活動量等に基づいてマスク領域を設定する形態としてもよい。以下、この形態を本実施形態の変形例２として説明する。
図１４は、変形例２に係る保守端末２０ａの構成例を示すブロック図である。同図に示すように、保守端末２０ａは、上記図３のレンズ中心検出部２１、マスク領域設定パラメータ保持部２２、カメラパラメータ保持部２３及びマスク領域設定部２４の構成に代えて、マスク領域設定部２４ａを備えている。
ここで、マスク領域設定部２４ａは、各画像センサ１０の画像から行動取得部２５が取得した領域毎の活動量や発生頻度に基づき、マスク領域を導出する。
例えば、マスク領域設定部２４ａは、発生頻度が１０％未満の領域をマスク領域としてもよいし、活動量が所定の行動内容を示す領域をマスク領域としてもよい。そして、マスク領域設定部２４ａは、導出したマスク領域を対応する画像センサ１０に送信し、当該画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０にマスク領域を設定する。
以上のように、本変形例２の保守端末２０ａによれば、画像センサ１０の各々が設置されたオフィス等において、実際の使用状況に合わせたマスク領域を、画像センサ１０の各々に自動で設定することができるため、より適切な検知結果を各画像センサ１０で取得することが可能となる。
［第２の実施形態］
次に、マスク範囲及び検出範囲の他の設定方法を、第２の実施形態として説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与しその説明を省略する。
図１５は、第２の実施形態に係る保守端末２０ｂの構成例を示すブロック図である。同図に示すように、保守端末２０ｂは、マーカ検出部３１と、マスク領域設定部３２と、検知領域設定部３３と、歪み補正部２７と、手動領域設定部２８と、領域変換部２９とを備える。
マーカ検出部３１は、画像センサ１０で取得された画像を解析することで、当該画像中から所定のマーカを検出し、そのマーカの種別と画像内での検出位置（ピクセル単位）を取得する。マーカは、例えば、所定の色や形を有した物体や、図１６に示したように所定の記号（Ａ、Ｂ、Ｃ、Ｄ）や図形（星形、四角形、丸印、三角形）等を記した紙等の小片等であって、その種別毎に、マスク領域設定用や検知領域設定用等の用途が予め定められている。ここで、図１６は、マーカの例を示す図である。
なお、マーカの検出は、公知の画像処理方法である文字認識や画像認識を用いるものとする。また、検出位置は、マーカの中心や左上角等、マーカ上の任意の位置を基準とする形態としてもよく、検出位置をサブピクセルの精度で取得する形態としてもよい。
マスク領域設定部３２は、マーカ検出部３１が検出したマーカの中に、マスク領域設定用のマーカ（以下、マスク領域設定マーカという）が含まれている場合に、当該マスク領域設定マーカを抽出し、これらマスク領域設定マーカにより形成される領域に基づいて、マスク領域を導出する。また、マスク領域設定部３２は、導出したマスク領域を、対応する画像センサ１０に送信し、当該画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０のマスク領域を設定する。
以下、図１７〜図１９を参照して、マスク領域設定部３２の動作例について説明する。ここで、図１７は、画像センサ１０が取得した画像の一例を示す図であって、マスク領域設定マーカＭ１１〜Ｍ１４が含まれている。ここで、マーカ検出部３１は、図１７の画像中からマスク領域設定マーカＭ１１〜Ｍ１４を検出し、マスク領域設定マーカＭ１１〜Ｍ１４の検出位置を、下記に示すようにピクセル単位の座標として取得する。
マスク領域設定マーカＭ１１の検出位置：（ｘA、ｙA）
マスク領域設定マーカＭ１２の検出位置：（ｘB、ｙB）
マスク領域設定マーカＭ１３の検出位置：（ｘC、ｙC）
マスク領域設定マーカＭ１４の検出位置：（ｘD、ｙD）
続くマスク領域設定部３２では、図１８に示すように、マスク領域設定マーカＭ１１〜Ｍ１４の４つの検出位置を、対応する画像センサ１０の歪み係数に応じた曲率を有する線分で結ぶことで、マスク領域設定マーカＭ１１〜Ｍ１４から領域を形成する。このとき、マスク領域設定部３２は、図３に示したカメラパラメータ保持部２３（図示せず）の歪み係数や画像から導出した歪み係数等を用いて、公知の方法により歪みを加える。また、マスク領域設定部３２は、画像を走査し、図１９に示すように結んだ線の外側の領域を全て塗り潰すことで、この塗り潰した領域をマスク領域Ａ１３として生成する。
なお、上記の例では４つのマスク領域設定マーカに囲まれる領域の外側をマスクする形態について述べたが、これに限らず、内側をマスクする形態としてもよい。また、マスク領域設定マーカの内容に応じてマスクする側を切り換えてもよい。例えば、記号Ａ〜Ｄのマスク領域設定マーカでは外側をマスクし、記号１〜４のマーカは内側をマスクする等してもよい。
また、複数のマスク領域設定マーカの組を設置し（例えば、記号Ａ〜Ｄのマスク領域設定マーカと、記号１〜４のマスク領域設定マーカとを同時に設置）、各組のマスク領域設定マーカで導出される領域の論理積や論理和を、マスク領域として生成する形態としてもよい。また、マスク領域設定マーカを設置してマスク領域を生成する回数を複数に分け、それぞれで導出されたマスク領域の論理積や論理和を取ってもよい。
また、マスク領域設定マーカの個数は４つに限らず、例えば、６つ一組のマスク領域設定マーカを用いて多角形のマスク領域を生成してもよい。また、マスク領域のサイズを固定とし、マスク領域設定マーカ一つに対してマスク領域を一つ生成してもよい。また、マスク領域を３分割や４分割等、分割するといった生成方法としてもよい。
検知領域設定部３３は、マーカ検出部３１が検出したマーカの中に、検知領域設定用のマーカ（以下、検知領域設定マーカという）が含まれている場合に、各検知領域設定マーカの検出位置に基づいて検知領域を生成する。また、検知領域設定部３３は、生成した検知領域を、対応する画像センサ１０に送信し、当該画像センサ１０の検知領域設定保持部１３に保持させることで、各画像センサ１０の検知領域を設定する。
なお、検知領域設定部３３の動作は、マスク領域設定部３２と同様であるため詳細な説明を省略する。また、通路領域を示す検知領域設定マーカ、作業領域を示す検知領域設定マーカ等、検知領域の種別毎に検知領域設定マーカを異ならせる形態としてもよい。
次に、図２０を参照し、本実施形態の保守端末２０ｂの動作について説明する。ここで、図２０は、保守端末２０ｂが行う領域設定処理の一例を示すフローチャートである。なお、本処理は、画像センサ１０の設置時や保守作業時等、マスク領域及び検知領域の設定（変更）時に行われるものである。
まず、画像センサ１０の各々において画像が取得され、当該画像が保守端末２０ｂに出力されると（ステップＳ３１）、マーカ検出部３１は、各画像を解析することで、当該画像内から所定のマーカを検出し、そのマーカの種別と画像内での検出位置を取得する（ステップＳ３２）。
続いて、マスク領域設定部３２は、マーカ検出部３１が各画像から検出したマーカの中に、マスク領域設定マーカが含まれているか否かを判定する（ステップＳ３３）。ここで、何れの画像にもマスク領域設定マーカが含まれていないと判定した場合には（ステップＳ３３；Ｎｏ）、ステップＳ３６に移行する。
また、ステップＳ３３において、マスク領域設定マーカが含まれる画像が存在した場合（ステップＳ３３；Ｙｅｓ）、マスク領域設定部３２は、マスク領域設定マーカの検出位置を、対応する画像センサ１０の歪み係数に応じた線で結び、結んだ線の外側（或いは内側）の領域を全て塗り潰すことでマスク領域を生成する（ステップＳ３４）。続いて、マスク領域設定部３２は、生成したマスク領域を、対応する画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０にマスク領域を設定し（ステップＳ３５）、ステップＳ３６に移行する。
ステップＳ３６において、マスク領域設定部３２は、マーカ検出部３１が各画像から検出したマーカの中に、検知領域設定マーカが含まれているか否かを判定する（ステップＳ３６）。ここで、何れの画像にも検知領域設定マーカが含まれていないと判定した場合には（ステップＳ３６；Ｎｏ）、本処理を終了する。
また、ステップＳ３６において、検知領域設定マーカが含まれる画像が存在した場合（ステップＳ３６；Ｙｅｓ）、検知領域設定部３３は、検知領域設定マーカの検出位置を、対応する画像センサ１０の歪み係数に応じた線で結び、結んだ線の内側（或いは外側）の領域を全て塗り潰すことで検知領域を生成する（ステップＳ３７）。続いて、検知領域設定部３３は、生成した検知領域を、対応する画像センサ１０の検知領域設定保持部１３に保持させることで、各画像センサ１０に検知領域を設定し（ステップＳ３８）、本処理を終了する。
以上のように、本実施形態の保守端末２０ｂによれば、画像センサ１０の撮像範囲に配置されたマーカの配置位置に基づいてマスク領域及び検知領域を導出し、対応する画像センサ１０に設定する。これにより、設定を所望する画像センサ１０の撮像範囲内に、設定を所望する領域に応じた各位置にマーカを配置することで、当該画像センサ１０にマスク領域及び検知領域を設定することができるため、マスク領域及び検知領域の設定を効率的に行うことができる。
［第３の実施形態］
次に、第３の実施形態について説明する。天井に設置される画像センサ１０では、物理的な振動や経時変化等により画像センサ１０の撮像方向にずれが生じる可能性がある。このような場合、撮像方向のずれに伴い撮像範囲も変化するため、画像センサ１０が取得する画像とマスク領域及び検知領域との間に齟齬が生じる。そこで、第３の実施形態では、画像センサ１０の各々において、マスク領域及び検知領域を補正することが可能な形態について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与しその説明を省略する。
図２１は、第３の実施形態に係る画像センサ１０ｂの構成例を示すブロック図である。同図に示すように、画像センサ１０ｂは、上述した画像取得部１１、マスク領域設定保持部１２、検知領域設定保持部１３、センシング部１４及び出力・蓄積部１５に加え、誤差角度算出部４１と、マスク領域補正部４２と、検知領域補正部４３とを備えている。なお、保守端末２０との通信経路の図示を省略している。
ここで、誤差角度算出部４１は、自装置が有する魚眼カメラの撮像方向を取得する。なお、撮像方向の取得方法は特に問わず、例えば、公知の画像処理方法であるＨｏｕｇｈ変換を用いて導出する形態や、公知の技術である電子コンパスを用いて計測する形態としてもよい。
Ｈｏｕｇｈ変換を用いる場合、誤差角度算出部４１は、画像取得部１１で取得された画像に対してＨｏｕｇｈ変換を施すことで、画像内に存在する直線成分を検知し、そのうちの最も強い直線成分の傾きを撮像方向とする。例えば、オフィス等においては、壁と床との境界や、机や棚等直線の部分が多く、この直線を検知して撮像方向を取得することで、画像センサ１０ｂの設置された部屋に対する画像センサ１０ｂの相対的な向き（撮像方向）を計測することができる。
また、誤差角度算出部４１は、取得した撮像方向を、基準となる基準方向と比較することで、基準方向との差分となる、ずれ（角度）の大きさ及び方向を表した誤差角度を算出する。ここで、基準方向とは、正規の撮像方向を表すものであって、正規の撮像方向が保持された状態で撮像された画像から上記と同様の方法を用いて導出する形態としてもよいし、正規の撮像方向が保持された状態で計測された電子コンパスの計測値を用いてもよい。なお、誤差角度の算出は、所定の時間毎（例えば、１時間毎や１日毎等）に行うものとする。
マスク領域補正部４２は、誤差角度算出部４１が算出した誤差角度に応じ、マスク領域設定保持部１２に保持されたマスク領域を補正する。具体的に、マスク領域補正部４２は、マスク領域設定保持部１２に保持されたマスク領域を誤差角度回転させることで、自装置で取得される画像とマスク領域との間の齟齬を解消する。また、検知領域補正部４３は、誤差角度算出部４１が算出した誤差角度に応じ、マスク領域補正部４２と同様の手法により、検知領域設定保持部１３に保持された検知領域を補正する。
以下、図４、図５、図２２〜図２４を参照して、誤差角度算出部４１、マスク領域補正部４２及び検知領域補正部４３の動作例について説明する。
画像取得部１１が或る時刻ｔ1に取得した画像が図４であり、この時刻ｔ1以降の或る時刻ｔ2に取得した画像が図２２であったとする。ここで、図４のときの撮像方向（基準方向）が０°、図２２のときの撮像方向が３０°であったとすると、誤差角度算出部４１は、両方向を比較することで、誤差角度θとして＋３０°（但し、右回転が正、左回転を負で表す）を算出する。なお、図２２では、基準方向を破線Ｄ１で示しており、同図から計測された撮像方向を実線Ｄ２で示している。
マスク領域補正部４２では、誤差角度算出部４１で算出された誤差角度に基づき、マスク領域設定保持部１２に保持されたマスク領域を＋３０°回転させることで、マスク領域を補正する。例えば、マスク領域設定保持部１２に保持されているマスク領域が図５に示す状態の場合、マスク領域補正部４２は、このマスク領域Ａ１１を、画像の中心（レンズ中心）を基準に＋３０°回転させることで、図２３に示すマスク領域Ａ１４の状態に補正する。
また、検知領域補正部４３では、誤差角度算出部４１で算出された誤差角度に基づき、検知領域設定保持部１３に保持された検知領域を＋３０°回転させることで、検知領域を補正する。例えば、検知領域設定保持部１３に保持されている検知領域が図５に示す状態の場合、検知領域補正部４３は、この検知領域Ａ２１、Ａ２２を、画像の中心（レンズ中心）を基準に＋３０°回転させることで図２４の検知領域Ａ２３、Ａ２４の状態とする。
次に、図２５を参照して、本実施形態の画像センサ１０ｂが行う領域補正処理の動作について説明する。ここで、図２５は、領域補正処理の一例を示すフローチャートである。なお、本処理は、例えば、１時間毎や１日毎等の所定の時間毎に行われるものとする。
まず、画像取得部１１により魚眼カメラで撮像された画像が取得されると（ステップＳ４１）、誤差角度算出部４１は、取得された画像にＨｏｕｇｈ変換を施すことで、画像内に存在する直線成分を検知し、そのうちの最も強い直線成分の傾きを撮像方向として取得する（ステップＳ４２）。誤差角度算出部４１は、取得した撮像方向を基準方向と比較することで誤差角度を算出する（ステップＳ４３）。
続いて、マスク領域補正部４２は、ステップＳ４３で算出された誤差角度に基づき、マスク領域設定保持部１２に保持されたマスク領域を誤差角度分回転させることで、マスク領域を補正する（ステップＳ４４）。また、検知領域補正部４３は、ステップＳ４３で算出された誤差角度に基づき、検知領域設定保持部１３に保持された検知領域を誤差角度分回転させることで、検知領域を補正し（ステップＳ４５）、本処理を終了する。
以上のように、本実施形態の画像センサ１０ｂによれば、画像センサ１０ｂに撮像方向のずれが生じた場合であっても、画像センサ１０ｂの各々でマスク領域及び検知領域の補正を自動で行うことができるため、画像センサ１０ｂの保守に係る工程を減少させることができる。
なお、本実施形態では、マスク領域設定保持部１２及び検知領域設定保持部１３に保持されたマスク領域及び検知領域を、誤差角度に基づき補正する形態としたが、画像センサ１０ｂが自装置の撮像方向を変更可能な機構を備える場合には、自装置の撮像方向を誤差角度分逆回転させることで、正規の撮像方向に補正（修正）する形態としてもよい。
ところで、画像センサ１０ｂの撮像方向は建物内の所定物（例えば壁と床との境界）を基準に設置することが好ましいが、実際に画像センサ１０ｂで撮像された画像を見ながら撮像方向を調整する作業が発生するため、効率的でないという問題がある。そこで、画像センサ１０ｂの筐体に、当該画像センサ１０ｂの撮像方向を示す所定のマーク（文字や記号）を付加することで、そのマークを指標に画像センサ１０ｂを設置することができる。
図２６や図２７は、画像センサ１０ｂの外観構成の例を示す図である。同図において、画像センサ１０ｂの筐体Ｃは、天井に埋設される第１筐体Ｃ１と、天井面に露出される第２筐体Ｃ２とを有して構成される。また、第２筐体Ｃ２の略中央部には、魚眼カメラ用の孔Ｈが設けられており、筐体Ｃに収納された魚眼カメラは孔Ｈを通じて撮像を行う。
ここで、第２筐体Ｃ２の表面には、魚眼カメラの撮像方向を示す撮像方向マークＭ２１、Ｍ２２が設けられている。この撮像方向マークＭ２１、Ｍ２２は、文字や記号で表され、例えば、内蔵するイメージセンサの天地方向に基づく位置に設けられている。なお、図２６及び図２７では、イメージセンサの天方向を、撮像方向マークＭ２１、Ｍ２２の設置位置（方向）により示している。
このように、画像センサ１０ｂに付された撮像方向マークを指標に、画像センサ１０ｂを天井部に設置することで、各画像センサ１０ｂの基準となる撮像方向を容易に揃えることができる。例えば、マスク領域が矩形の場合、画像センサ１０ｂの撮影画像を確認することなく、画像センサ１０ｂを設置する部屋の壁や机の向きに対して、マスク領域の辺を合わせて設置することができる。
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態では、画像センサ１０（１０ａ、１０ｂ）として魚眼カメラを用いた形態を説明したが、これに限らず、通常のカメラを用いる形態としてもよい。
また、上記実施形態では、マスク領域設定部２４（２４ａ、３２）、検知領域設定部２６（３３）及びこれら両機能部の動作に関連する各種の機能部（レンズ中心検出部２１、マスク領域設定パラメータ保持部２２、カメラパラメータ保持部２３、行動取得部２５、マーカ検出部３１等）を、保守端末２０（２０ａ、２０ｂ）が備える形態としたが、これに限らず、画像センサ１０の各々が備える形態としてもよい。
また、上記実施形態では、誤差角度算出部４１及びマスク領域補正部４２を、画像センサ１０の各々が備える形態としたが、これに限らず、保守端末２０が備えることで、当該保守端末２０が各画像センサ１０の誤差角度を補正する形態としてもよい。
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
１００ 画像センサシステム
１０、１０ａ、１０ｂ 画像センサ
１１ 画像取得部
１２ マスク領域設定保持部
１３ 検知領域設定保持部
１４ センシング部
１５ 出力・蓄積部
１６ 権限設定保持部
１７ ログイン処理部
２０、２０ａ、２０ｂ 保守端末
２１ レンズ中心検出部
２２ マスク領域設定パラメータ保持部
２３ カメラパラメータ保持部
２４、２４ａ マスク領域設定部
２５ 行動取得部
２６ 検知領域設定部
２７ 歪み補正部
２８ 手動領域設定部
２９ 領域変換部
３１ マーカ検出部
３２ マスク領域設定部
３３ 検知領域設定部
４１ 誤差角度算出部
４２ マスク領域補正部
４３ 検知領域補正部
Ｎ ネットワーク

Claims (19)

  1. 所定の空間を撮像する撮像手段と、
    前記撮像手段で撮像された画像を取得する画像取得手段と、
    前記画像取得手段が取得した画像を用いて、当該画像内からセンシングの非対象とするマスク領域を導出するマスク領域導出手段と、
    前記画像取得手段が取得した画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する検知領域導出手段と、
    前記マスク領域及び前記検知領域を設定情報として保持する保持手段と、
    前記保持手段に保持された設定情報に基づいて、前記取得手段が取得した画像から前記空間の状態をセンシングするセンシング手段と、
    を備える画像センサシステム。
  2. 前記撮像手段は魚眼カメラであって、
    前記マスク領域導出手段は、前記画像取得手段が取得した画像から前記魚眼カメラのレンズ中心を検出し、当該レンズ中心を基準に前記撮像手段の撮像条件に応じて調整した所定の形状を表す領域を、前記マスク領域として導出する、
    請求項１に記載の画像センサシステム。
  3. 前記画像取得手段が取得した所定期間分の画像から、前記空間内での人の行動内容を数値化した特徴量を、前記画像の領域毎に取得する行動取得手段を更に備え、
    前記マスク領域導出手段は、前記行動取得手段が取得した領域毎の特徴量に基づいて、前記マスク領域を導出し、
    前記検知領域導出手段は、前記行動取得手段が取得した領域毎の特徴量に基づいて、当該領域を所定の種別毎に分別した前記検知領域を導出する、
    請求項１に記載の画像センサシステム。
  4. 前記画像に含まれた所定のマーカを検出するマーカ検出手段を更に備え、
    前記マスク領域導出手段は、前記マーカ検出手段が検出した複数のマーカのうち、マスク領域設定用のマーカにより形成される領域に基づいて、前記マスク領域を導出し、
    前記検知領域導出手段は、前記マーカ検出手段が検出した複数のマーカのうち、検知領域設定用のマーカにより形成される領域に基づいて、前記検知領域を導出する、
    請求項１に記載の画像センサシステム。
  5. 前記撮像手段は魚眼カメラであって、
    前記マスク領域導出手段及び前記検知領域導出手段は、前記マーカを前記魚眼カメラの歪み係数に応じた線分で結ぶことで領域を形成する、
    請求項４に記載の画像センサシステム。
  6. 前記画像取得手段が取得した画像上に、前記マスク領域及び前記検知領域に相当する領域の入力を受け付ける入力手段を更に備え、
    前記保持手段は、前記画像上に入力されたマスク領域及び前記検知領域に相当する領域を、前記設定情報として保持する、
    請求項１に記載の画像センサシステム。
  7. 前記撮像手段は魚眼カメラであって、
    前記画像センサで撮像された画像を正像化する画像処理を施す正像化手段と、
    前記画像処理の逆変換を施す逆変換手段と、
    を更に備え、
    前記入力手段は、前記正像化された画像上に前記マスク領域及び前記検知領域に相当する領域の入力を受け付け、
    前記保持手段は、前記画像上に入力されたマスク領域及び前記検知領域に相当する領域を前記逆変換手段で逆変換した結果を、前記設定情報として保持する、
    請求項６に記載の画像センサシステム。
  8. 前記画像取得手段が取得した画像の出力を、当該画像を要求するユーザのユーザ種別又は端末の端末種別に応じて制限する、制限手段を更に備える請求項１に記載の画像センサシステム。
  9. 前記撮像手段の撮像方向を取得する撮像方向取得手段と、
    前記撮像方向取得手段が取得した撮像方向と正規の撮像方向とを比較し、両方向の差分を誤差角度として算出する算出手段と、
    前記算出手段が算出した誤差角度に基づいて、前記保持手段に保持された設定情報又は前記撮像手段の撮像方向を補正する補正手段と、
    を更に備える請求項１に記載の画像センサシステム。
  10. 前記撮像手段を収容する筐体を有し、
    前記撮像手段の撮像方向を示す所定のマークが、前記筐体表面に設けられている請求項９に記載の画像センサシステム。
  11. 所定の空間を撮像した画像から当該空間の状態をセンシングする画像センサと、通信可能に接続される情報処理装置であって、
    前記画像を用いて、当該画像内から前記センシングの非対象とするマスク領域を導出するマスク領域導出手段と、
    前記マスク領域導出手段で導出されたマスク領域を、前記画像センサに設定するマスク領域設定手段と、
    前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する検知領域導出手段と、
    前記検知領域導出手段で導出された種別毎の検知領域を、前記画像センサに設定する検知領域設定手段と、
    を備える情報処理装置。
  12. 前記画像センサは魚眼カメラであって、
    前記マスク領域導出手段は、前記画像センサで撮像された画像から前記魚眼カメラのレンズ中心を検出し、当該レンズ中心を基準に前記画像センサの撮像条件に応じて調整した所定の形状を表す領域を、前記マスク領域として導出する、
    請求項１１に記載の情報処理装置。
  13. 前記画像センサで撮像された所定期間分の画像から、前記空間内での人の行動内容を数値化した特徴量を、前記画像の領域毎に取得する行動取得手段を更に備え、
    前記マスク領域導出手段は、前記行動取得手段が取得した領域毎の特徴量に基づき、前記マスク領域を導出し、
    前記検知領域導出手段は、前記行動取得手段が取得した領域毎の特徴量に基づき、前記領域を所定の種別毎に分別した前記検知領域を導出する、
    請求項１１に記載の情報処理装置。
  14. 前記画像に含まれた所定のマーカを検出するマーカ検出手段を更に備え、
    前記マスク領域導出手段は、前記マーカ検出手段が検出した複数のマーカのうち、マスク領域設定用のマーカにより形成される領域に基づいて、前記マスク領域を導出し、
    前記検知領域導出手段は、前記マーカ検出手段が検出した複数のマーカのうち、検知領域設定用のマーカにより形成される領域に基づいて、前記検知領域を導出する、
    請求項１１に記載の情報処理装置。
  15. 前記画像センサは魚眼カメラであって、
    前記マスク領域導出手段及び前記検知領域導出手段は、前記マーカを前記魚眼カメラの歪み係数に応じた線分で結ぶことで領域を形成する、
    請求項１４に記載の情報処理装置。
  16. 前記画像センサで撮像された画像上に、前記マスク領域及び前記検知領域に相当する領域の入力を受け付ける入力手段を更に備え、
    前記マスク領域設定手段は、前記画像上に入力されたマスク領域に相当する領域を、前記マスク領域として、当該画像を撮像した前記画像センサに設定し、
    前記検知領域設定手段は、前記画像上に入力された検知領域に相当する領域を、前記検知領域として、当該画像を撮像した前記画像センサに設定する、
    請求項１１に記載の情報処理装置。
  17. 前記画像センサは魚眼カメラであって、
    前記画像センサで撮像された画像を正像化する画像処理を施す正像化手段と、
    前記画像処理の逆変換を施す逆変換手段と、
    を更に備え、
    前記入力手段は、前記正像化された画像上に前記マスク領域及び前記検知領域に相当する領域の入力を受け付け、
    前記マスク領域設定手段は、前記画像上に入力されたマスク領域に相当する領域に前記逆変換手段により逆変換を施した結果を前記マスク領域として、当該画像を撮像した前記画像センサに設定し、
    前記検知領域設定手段は、前記画像上に入力された検知領域に相当する領域に前記逆変換手段により逆変換を施した結果を前記検知領域として、当該画像を撮像した前記画像センサに設定する、
    請求項１６に記載の情報処理装置。
  18. 所定の空間を撮像した画像から当該空間の状態をセンシングする画像センサと、通信可能に接続される情報処理装置で実行される情報処理方法であって、
    マスク領域導出手段が、前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの非対象とするマスク領域を導出するマスク領域導出工程と、
    マスク領域設定手段が、前記マスク領域導出工程で導出されたマスク領域を、前記画像センサに設定するマスク領域設定工程と、
    検知領域導出手段が、前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する検知領域導出工程と、
    検知領域設定手段が、前記検知領域導出手段で導出された種別毎の検知領域を、前記画像センサに設定する検知領域設定工程と、
    を含む情報処理方法。
  19. 所定の空間を撮像した画像から当該空間の状態をセンシングする画像センサと、通信可能に接続された情報処理装置のコンピュータを、
    前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの非対象とするマスク領域を導出するマスク領域導出手段と、
    前記マスク領域導出手段で導出されたマスク領域を、対応する画像センサに設定するマスク領域設定手段と、
    前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する検知領域導出手段と、
    前記検知領域導出手段で導出された種別毎の検知領域を、対応する画像センサに設定する検知領域設定手段と、
    して機能させるためのプログラム。
JP2012017111A 2012-01-30 2012-01-30 画像センサシステム、情報処理装置、情報処理方法及びプログラム Active JP5851261B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012017111A JP5851261B2 (ja) 2012-01-30 2012-01-30 画像センサシステム、情報処理装置、情報処理方法及びプログラム
EP12856582.7A EP2811735A4 (en) 2012-01-30 2012-10-15 IMAGE SENSOR SYSTEM, DATA PROCESSING DEVICE, DATA PROCESSING METHOD, AND PROGRAM THEREOF
CN201280004253.5A CN103339922B (zh) 2012-01-30 2012-10-15 图像传感器系统、信息处理装置及信息处理方法
US13/820,407 US20140340513A1 (en) 2012-01-30 2012-10-15 Image sensor system, information processing apparatus, information processing method, and computer program product
PCT/JP2012/076639 WO2013114684A1 (ja) 2012-01-30 2012-10-15 画像センサシステム、情報処理装置、情報処理方法及びプログラム
SG2013048384A SG192564A1 (en) 2012-01-30 2012-10-15 Image sensor system, information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012017111A JP5851261B2 (ja) 2012-01-30 2012-01-30 画像センサシステム、情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013157810A JP2013157810A (ja) 2013-08-15
JP5851261B2 true JP5851261B2 (ja) 2016-02-03

Family

ID=48904750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012017111A Active JP5851261B2 (ja) 2012-01-30 2012-01-30 画像センサシステム、情報処理装置、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US20140340513A1 (ja)
EP (1) EP2811735A4 (ja)
JP (1) JP5851261B2 (ja)
CN (1) CN103339922B (ja)
SG (1) SG192564A1 (ja)
WO (1) WO2013114684A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546742A (zh) * 2013-10-31 2014-01-29 华南理工大学 一种光学标记点智能检测相机
JP6251076B2 (ja) * 2014-02-17 2017-12-20 株式会社東芝 調整装置及び調整プログラム
KR102203410B1 (ko) * 2014-10-20 2021-01-18 삼성에스디에스 주식회사 관심 영역 설정 방법 및 장치
JP6552255B2 (ja) * 2015-04-23 2019-07-31 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及び、コンピュータプログラム
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
WO2017163688A1 (en) * 2016-03-24 2017-09-28 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
KR101902999B1 (ko) * 2016-05-17 2018-10-01 (주)유비크마이크로 360도 이미지를 형성할 수 있는 카메라
KR101882977B1 (ko) * 2016-05-17 2018-07-27 (주)유비크마이크로 360도 이미지를 형성할 수 있는 렌즈 모듈 및 360도 이미지 형성 어플리케이션
JP6727998B2 (ja) * 2016-09-08 2020-07-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6484603B2 (ja) * 2016-12-26 2019-03-13 新日鉄住金ソリューションズ株式会社 情報処理装置、システム、情報処理方法、及び、プログラム
TWI664994B (zh) * 2018-01-25 2019-07-11 力山工業股份有限公司 健身器材之阻力感測機構
EP4325425B1 (en) * 2022-08-15 2024-06-12 Axis AB A method and system for defining an outline of a region in an image having distorted lines

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3287117B2 (ja) * 1994-07-05 2002-05-27 株式会社日立製作所 撮像装置を用いた車両用の環境認識装置
JP3996428B2 (ja) * 2001-12-25 2007-10-24 松下電器産業株式会社 異常検知装置及び異常検知システム
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US20050185053A1 (en) * 2004-02-23 2005-08-25 Berkey Thomas F. Motion targeting system and method
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4137078B2 (ja) * 2005-04-01 2008-08-20 キヤノン株式会社 複合現実感情報生成装置および方法
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
JP4566166B2 (ja) * 2006-02-28 2010-10-20 三洋電機株式会社 撮影装置
US8848053B2 (en) * 2006-03-28 2014-09-30 Objectvideo, Inc. Automatic extraction of secondary video streams
JP2008236673A (ja) * 2007-03-23 2008-10-02 Victor Co Of Japan Ltd 監視カメラ制御装置
JP4858846B2 (ja) * 2007-03-23 2012-01-18 サクサ株式会社 検知エリア設定装置及び同設定システム
JP2009122990A (ja) * 2007-11-15 2009-06-04 Mitsubishi Electric Corp 画像処理装置
JP2010193170A (ja) * 2009-02-18 2010-09-02 Mitsubishi Electric Corp カメラキャリブレーション装置及び監視エリア設定装置
US8319666B2 (en) * 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
CN102577347B (zh) * 2009-06-29 2015-09-23 博世安防系统有限公司 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
JP2011195288A (ja) * 2010-03-19 2011-10-06 Toshiba Elevator Co Ltd マンコンベア画像処理装置

Also Published As

Publication number Publication date
SG192564A1 (en) 2013-09-30
EP2811735A4 (en) 2016-07-13
JP2013157810A (ja) 2013-08-15
EP2811735A1 (en) 2014-12-10
WO2013114684A1 (ja) 2013-08-08
US20140340513A1 (en) 2014-11-20
CN103339922A (zh) 2013-10-02
CN103339922B (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
JP5851261B2 (ja) 画像センサシステム、情報処理装置、情報処理方法及びプログラム
US20040228528A1 (en) Image editing apparatus, image editing method and program
JP7255718B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
KR20120019410A (ko) 제스처 기반 바이오메트릭 시스템의 방법 및 장치
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
EP2624537B1 (en) Method and apparatus for controlling a mobile terminal using user interaction
CN111814564B (zh) 基于多光谱图像的活体检测方法、装置、设备和存储介质
US20170069064A1 (en) Image processing device, imaging apparatus, image processing method, and program
JP2014042160A (ja) 表示端末、動体検知の対象領域の設定方法及びプログラム
JP2014115821A (ja) 顔特徴抽出装置および顔認証システム
JP5279653B2 (ja) 画像追尾装置、画像追尾方法、及びコンピュータプログラム
JPWO2012049941A1 (ja) 動画像配信システム、及び動画像配信方法
US9355466B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
US8937676B2 (en) Video processing apparatus, imaging apparatus, video processing method, and storage medium
JP6720966B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2015032883A (ja) 撮像装置及び画像表示方法
JP2010217984A (ja) 像検出装置及び像検出方法
JP2014082678A (ja) マーカー埋め込み装置、マーカー検出装置、マーカー埋め込み方法、マーカー検出方法、及びプログラム
KR100808536B1 (ko) 패턴 영상을 이용한 캘리브레이션 방법
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
JP6696693B2 (ja) 回転ずれ量検出装置、物体検知センサ、回転ずれ量検出システム、回転ずれ量検出方法及び回転ずれ量検出プログラム
JP6521250B2 (ja) 画像形成装置、色変換プログラムおよび色変換方法
JP6306822B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US9049382B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140723

TRDD Decision of grant or rejection written
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151202

R151 Written notification of patent or utility model registration

Ref document number: 5851261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154