JP6115693B1 - 対象物検出装置および対象物検出方法ならびに被監視者監視装置 - Google Patents

対象物検出装置および対象物検出方法ならびに被監視者監視装置 Download PDF

Info

Publication number
JP6115693B1
JP6115693B1 JP2016575259A JP2016575259A JP6115693B1 JP 6115693 B1 JP6115693 B1 JP 6115693B1 JP 2016575259 A JP2016575259 A JP 2016575259A JP 2016575259 A JP2016575259 A JP 2016575259A JP 6115693 B1 JP6115693 B1 JP 6115693B1
Authority
JP
Japan
Prior art keywords
detection
image
unit
target
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016575259A
Other languages
English (en)
Other versions
JPWO2016199506A1 (ja
Inventor
林 修二
修二 林
藤原 浩次
浩次 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Application granted granted Critical
Publication of JP6115693B1 publication Critical patent/JP6115693B1/ja
Publication of JPWO2016199506A1 publication Critical patent/JPWO2016199506A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本発明の対象物検出装置および該方法は、所定範囲の撮像対象の画像から、所定の対象物を検出する。この際に、異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方が検出要領として特定され、この特定された検出要領が用いられる。本発明の被監視者監視装置は、このような対象物検出装置を備える。したがって、本発明にかかる対象物検出装置および該方法は、情報処理量の低減が可能となる。本発明によれば、この対象物検出装置を用いた被監視者監視装置を提供できる。

Description

本発明は、画像から所定の対象物を検出する対象物検出装置および対象物検出方法に関する。そして、本発明は、この対象物検出装置を用いた、前記被監視者を監視する被監視者監視装置に関する。
我が国(日本)は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善および医療水準の向上等によって、高齢化社会、より詳しくは、総人口に対する65歳以上の人口の割合である高齢化率が21%を超える超高齢化社会になっている。また、2005年では、総人口約1億2765万人に対し65歳以上の高齢者人口は、約2556万人であったのに対し、2020年では、総人口約1億2411万人に対し高齢者人口は、約3456万人となる予測もある。このような高齢化社会では、病気や怪我や高齢等による看護や介護を必要とする要看護者や要介護者(要看護者等)は、高齢化社会ではない通常の社会で生じる要看護者等よりもその増加が見込まれる。そして、我が国は、例えば2013年の合計特殊出生率が1.43という少子化社会でもある。そのため、看護や介護の必要な高齢者を高齢の家族(配偶者、子、兄弟)が介護する老老介護も起きて来ている。
要看護者や要介護者は、病院や、老人福祉施設(日本の法令では老人短期入所施設、養護老人ホームおよび特別養護老人ホーム等)等の施設に入所し、その看護や介護を受ける。このような施設では、要看護者等が、例えばベッドからの転落や歩行中の転倒等によって怪我を負ったり、ベッドから抜け出して徘徊したりするなどの事態が生じ得る。このような事態に対し、可及的速やかに対応する必要があり、また、このような事態を放置しておくとさらに重大な事態に発展してしまう可能性もあるため、前記施設では、看護師や介護士等は、定期的に巡視することによってその安否や様子を確認している。
しかしながら、要看護者等の増加数に対し看護師等の増加数が追い付かずに、看護業界や介護業界では、慢性的に人手不足になっている。さらに、日勤の時間帯に較べ、準夜勤や夜勤の時間帯では、看護師や介護士等の人数が減るため、一人当たりの業務負荷が増大するので、前記業務負荷の軽減が要請される。また、前記老老介護の事態は、前記施設でも例外ではなく、高齢の要看護者等を高齢の看護師等がケアすることもしばしば見られる。一般に高齢になると体力が衰えるため、健康であっても若い看護師等に比し看護等の負担が重くなり、また、その動きや判断も遅くなる。
このような人手不足や看護師等の負担を軽減するため、看護業務や介護業務を補完する技術が求められている。このため、近年では、要看護者等の、監視すべき監視対象である被監視者を監視(モニタ)する被監視者監視技術が研究、開発されている。
このような技術の一つとして、例えば特許文献1に開示された情報処理装置がある。この特許文献1に開示された情報処理装置は、人物の頭部を含む画像から、当該頭部の輪郭を近似する頭部楕円を決定する情報処理装置であって、前記画像から前記頭部の輪郭における複数の画素をエッジ画素として検出する検出手段と、前記複数のエッジ画素の各々について、当該エッジ画素を通過する複数の楕円を、楕円を規定するパラメータの予め定められたパラメータ区間から、楕円候補として決定する決定手段と、前記複数のエッジ画素ごとに、当該エッジ画素について決定された前記複数の楕円候補の各々に対して、該エッジ画素の当該楕円候補における位置に基づいて評価値を計算する計算手段と、前記決定手段で決定された前記楕円候補ごとに、前記評価値を累積する累積手段と、前記評価値の累積値が最も大きな楕円候補を前記頭部楕円として選出する選出手段とを備える。
ところで、前記特許文献1に開示された情報処理装置は、まず、画像の全体からエッジ画素を検出し、この検出したエッジ画素それぞれについて楕円候補を決定し、この決定した複数の楕円候補から、評価値の累積値が最も大きな楕円候補を頭部楕円として選出している。このため、前記特許文献1に開示された情報処理装置は、情報処理量が比較的多くなってしまい、情報処理に時間が掛かってしまう。特に、被監視者監視装置に用いる場合、被監視者監視装置では、上述の事態に対し、可及的速やかに対応する必要があるため、情報処理量を低減して情報処理の時間を短縮することが好ましい。
特許第5371685号公報
本発明は、上述の事情に鑑みて為された発明であり、その目的は、情報処理量を低減可能な対象物検出装置および対象物検出方法ならびにこの対象物検出装置を用いた被監視者監視装置を提供することである。
本発明にかかる対象物検出装置および対象物検出方法は、所定範囲の撮像対象の画像から、所定の対象物を検出する。この際に、異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方が検出要領として特定され、この特定された検出要領が用いられる。本発明にかかる被監視者監視装置は、このような対象物検出装置を備える。したがって、本発明にかかる対象物検出装置および対象物検出方法は、情報処理量の低減が可能となる。本発明によれば、この対象物検出装置を用いた被監視者監視装置を提供できる。
上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
第1ないし第3実施形態における被監視者監視システムの構成を示す図である。 第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。 第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の配設態様を説明するための図である。 第1実施形態の被監視者監視システムにおける、分割領域の一例を説明するための図である。 第1実施形態の被監視者監視システムにおける、複数の分割領域と複数の検出要領との対応関係を示す対応関係テーブルを示す図である。 第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の動作を示すフローチャートである。 第1実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。 第1実施形態の被監視者監視システムにおける、分割領域の他の一例を説明するための図である。 第2実施形態の被監視者監視システムにおける、複数の分割領域と複数の検出要領との対応関係を説明するための図である。 第2実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。 第3実施形態の被監視者監視システムにおける、検出要領を説明するための図である。 第3実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
実施形態における被監視者監視装置は、監視対象である被監視者における、予め設定された所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備えるものである。前記行動検知部は、前記被監視者における所定の部位を検出する部位検出部と、前記部位検出部で検出した前記部位に基づいて前記被監視者における所定の行動を判定する判定部とを備え、前記部位検出部は、画像から所定の対象物を検出する対象物検出装置を含む。このような被監視者監視装置は、1個の機器として、一体に構成されて実現されて良く、また、システムとして、複数の機器で実現されて良い。そして、被監視者監視装置が複数の機器で実現される場合に、前記行動検知部は、これら複数の機器のうちのいずれに実装されて良い。一例として、ここでは、前記被監視者監視装置がシステムとして複数の機器で実現されている場合について、前記被監視者監視装置の実施形態を説明する。なお、前記被監視者監視装置が1個の機器として一体に構成されて実現される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。また、一例として、ここでは、前記行動検知部が前記通知部と共に後述のセンサ装置SUに実装される場合について、説明するが、このシステムのうちの他の装置、例えば後述の管理サーバ装置SV、固定端末装置SPあるいは携帯端末装置TAに実装される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。
以下、第1実施形態として、撮像部1および部位検出部21aを含むセンサ装置SUaを備えた被監視者監視システムMSa、第2実施形態として、撮像部1および部位検出部21bを含むセンサ装置SUbを備えた被監視者監視システムMSb、および、第3実施形態として、撮像部1および部位検出部21cを含むセンサ装置SUcを備えた被監視者監視システムMScについて、順に、説明する。なお、以下の説明から分かるように、これら撮像部1および部位検出部21a〜21c等が前記対象物検出装置の一例に相当する。
(第1実施形態)
まず、第1実施形態の構成について説明する。図1は、第1ないし第3実施形態における被監視者監視システムの構成を示す図である。図1において、説明の便宜上、第1実施形態における被監視者監視システムMSaにかかる構成は、添え字aを付して示し、第2実施形態における被監視者監視システムMSbにかかる構成は、添え字bを付して示し、そして、第3実施形態における被監視者監視システムMScにかかる構成は、添え字cを付して示している。図2以下の各図においても同様である。図2は、第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図3は、第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の配設態様を説明するための図である。図4は、第1実施形態の被監視者監視システムにおける、分割領域の一例を説明するための図である。図5は、第1実施形態の被監視者監視システムにおける、複数の分割領域と複数の検出要領との対応関係を示す対応関係テーブルを示す図である。
前記被監視者監視装置をシステムとして実現したその一例の第1実施形態における被監視者監視システムMSaは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Ob(Ob−1〜Ob−4)における、予め設定された所定の行動を検知して前記被監視者Obを監視するものであり、例えば、図1に示すように、1または複数のセンサ装置SUa(SUa−1〜SUa−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備え、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SUa−1〜SUa−4、管理サーバ装置SV、固定端末装置SPおよび複数の携帯端末装置TA−1、TA−2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。
被監視者監視システムMSaは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSaは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSaは、複数の被監視者Obが入居する複数の居室RMや、ナースステーションST等の複数の部屋を備える介護施設の建物に配設されている。
センサ装置SUaは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obを検知してその検知結果を管理サーバ装置SVへ送信する装置である。このセンサ装置SUaは、後にさらに詳述する。
管理サーバ装置SVは、ネットワークNWを介して他の装置SUa、SP、TAと通信する通信機能を備え、センサ装置SUaから被監視者Obに関する検知結果および前記被監視者Obの画像を受信して被監視者Obに対する監視に関する情報(監視情報)を管理する機器である。管理サーバ装置SVは、センサ装置SUaから被監視者Obに関する前記検知結果および前記被監視者Obの画像を受信すると、被監視者Obに対する監視に関する前記監視情報を記憶(記録)し、そして、被監視者Obに対する監視に関する前記監視情報を収容した通信信号(監視情報通信信号)を固定端末装置SPおよび携帯端末装置TAに送信する。また、管理サーバ装置SVは、クライアント(本実施形態では固定端末装置SPおよび携帯端末装置TA等)の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末装置SPは、ネットワークNWを介して他の装置SUa、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUaで得られた検知結果や画像を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUaと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUaに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUaで得られた前記検知結果や画像を表示したり等することによって、被監視者Obに対する監視に関する前記監視情報を受け付けて表示する機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、上述のセンサ装置SUaについてさらに説明する。センサ装置SUaは、例えば、図2に示すように、撮像部1と、制御処理部2aと、通信インターフェース部(通信IF部)3と、記憶部4aとを備える。
撮像部1は、制御処理部2aに接続され、制御処理部2aの制御に従って、画像(画像データ)を生成する装置である。撮像部1は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室RM)を監視可能に前記所在空間の上方(例えば天井面や上方壁面等)に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像を制御処理部2aへ出力する。撮像部1は、本実施形態では、静止画および動画を生成する。このような撮像部1は、隠れが生じないように前記所在空間(撮像対象)全体を撮像できる蓋然性が高いことから、図3に示すように、前記所在空間の一例である居室RMの中央上部の天井に、被監視者Obの身長より十分に高い位置に配設されることが好ましい。撮像部1は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部の一例である。
このような撮像部1は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外光の画像を生成する装置である。このような撮像部1は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系(撮像光学系)、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部1の結像光学系は、本実施形態では、その配設された前記所在空間全体(図1および図3に示す例では居室RM全体)を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。なお、センサ装置SUaは、前記所在空間を赤外線で照明するために、赤外線を放射する赤外照明装置をさらに備えても良い。
通信IF部3は、制御処理部2aに接続され、制御処理部2aの制御に従って通信を行うための通信回路である。通信IF部3は、制御処理部2aから入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSaのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。通信IF部3は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部2aが処理可能な形式のデータに変換して制御処理部2aへ出力する。なお、通信IF部3は、さらに、例えば、Bluetooth(登録商標)規格、IrDA(Infrared Data Asscoiation)規格およびUSB(Universal Serial Bus)規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェース回路を備えても良い。
記憶部4aは、制御処理部2aに接続され、制御処理部2aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。
前記各種の所定のプログラムには、例えば、被監視者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、撮像部1で取得した撮像対象の画像から、予め設定された所定の対象物を検出する対象検出プログラムや、前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定プログラムや、前記対象検出プログラムで検出した検出結果に基づいて、監視対象である被監視者Obにおける所定の行動を検知する行動検知プログラムや、前記行動検知プログラムで検知した前記所定の行動を外部に通知する通知処理プログラムや、撮像部1で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム等が含まれる。そして、前記対象検出プログラムは、前記特定プログラムで特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出する。前記各種の所定のデータには、例えば、検出要領等のこれら上述の各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。このような記憶部4aは、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部4aは、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部2aのワーキングメモリとなるRAM(Random Access Memory)等を含む。
そして、記憶部4aは、対応関係情報記憶部40aを機能的に備える。この対応関係情報記憶部40aは、前記撮像対象の画像における画像領域を分割した複数の分割領域と複数の検出要領との対応関係を予め記憶するものである。
本実施形態では、被監視者Obにおける所定の行動は、後述するように、例えば転倒および転落等であり、頭部の高さで被監視者Obの姿勢(立位、座位および横臥等)が判定され、被監視者Obの姿勢から転倒の有無および転落の有無等が判定されている。ここで、図3を用いて上述したように、センサ装置SUaの撮像部1を天井CEの中央位置に配設した場合、撮像部1の画角が比較的狭く、撮像部1の撮像特性が略一定である場合では、頭部の高さは、画像全体に亘って、画像上での頭部の大きさに略比例するので、画像全体に亘って一律に定義された、画像上で取り得る頭部の大きさの範囲で、画像から頭部を探すことになる。しかしながら、前記撮像部1の画角が比較的広い場合や、撮像部1の撮像特性が一定ではない場合では、頭部の高さと画像上での頭部の大きさとは、必ずしも比例しなくなり、画像上での頭部の大きさの範囲は、画像全体に亘って一律ではない。このため、対象物の一例として人体の一部である頭部を検出する際に、頭部であるか否かの判定条件の1つに、画像上での大きさが用いられる場合、一律に定義された前記範囲で画像から頭部を探すと、一律に定義された前記範囲の中で、取り得ない範囲でも画像から頭部を探すことになり、その取り得ない範囲では無意味に情報処理していることになる。さらに、画像上での或る位置では、頭部に相当する大きさでも、画像上の他の位置では、頭部に相当しない大きさとなる場合が有り得るため、誤判定が生じる虞もある。そこで、本実施形態では、撮像対象(所在領域)の画像における画像領域が複数の分割領域に分割され、各分割領域ごとに、当該分割領域に適した検出要領(この例では検出条件として頭部の大きさの範囲)が割り当てられ、分割領域の画像から頭部を探す場合に、当該分割領域に適した検出要領を用いることで、無意味な情報処理を実施することなく、誤判定を軽減している。このため、対応関係情報記憶部40aには、上述のように、これら複数の分割領域と複数の検出要領との対応関係が予め記憶されている。なお、撮像部1の撮像特性は、被写体の光学像と、撮像部1で生成された画像における被写体の像との差であり、例えば、歪み特性やボケ特性等の、撮像部1の結像光学系(撮像光学系)における光学特性等である。
このような対応関係は、例えば関数式等によって対応関係情報記憶部40aに予め記憶されても良いが、本実施形態では、図5に示すテーブルで対応関係情報記憶部40aに予め記憶されている。より具体的には、本実施形態では、図4に示すように、撮像対象(所在領域)の画像における画像領域は、前記複数の分割領域の一例として、4個の第1ないし第4判定エリアAR10〜AR13に区分けされている。そして、これら第1ないし第4判定エリアAR10〜AR13ごとに、異なる各検出要領として、異なる大きさの各範囲が、それぞれ設定され、図5に示すように、テーブル化されて対応関係情報記憶部40aに予め記憶されている。撮像部1の結像光学系(撮像光学系)における撮像特性は、光軸からずれるに従ってずれて行くことが多いため、これら第1ないし第4判定エリアAR10〜AR13は、前記撮像対象の画像における、前記撮像対象の画像を生成した撮像部1の光軸との交差位置(光軸中心)を基準に同心円状に設定されている。第1判定エリアAR10は、図4に示すように、光軸中心を中心とする所定の第1半径を持つ円形以内の領域であり、この第1判定エリアAR10には、図5に示すように、検出要領(検出条件)として、画像上での頭部の大きさの範囲が、40〜50[pixel]に設定されている。第2判定エリアAR11は、図4に示すように、第1判定エリアAR10と同心で、第1判定エリアAR10を超え、光軸中心を中心とする所定の第2半径(>第1半径)を持つ円形以内の領域であり、この第2判定エリアAR11には、図5に示すように、検出要領(検出条件)として、画像上での頭部の大きさの範囲が、35〜45[pixel]に設定されている。第3判定エリアAR12は、図4に示すように、第2判定エリアAR11を超え、床FLおよび所定の高さまでの壁面を含む領域であり、この第3判定エリアAR12には、図5に示すように、検出要領(検出条件)として、画像上での頭部の大きさの範囲が、30〜40[pixel]に設定されている。そして、第4判定エリアAR13は、図4に示すように、第3判定エリアAR12を超える領域であり、この第4判定エリアAR13は、判定外のエリア(判定不能のエリア)とされ、図5に示すように、検出要領(検出条件)として、画像上での頭部の大きさの範囲は、設定されていない。これら第1ないし第4判定エリアAR10〜AR13における各境界位置は、例えば、基準の大きさを持つ物体(基準物体)を撮像し、画像上での前記物体の大きさを実測することによって、撮像特性のずれを考慮して適宜に設定される。すなわち、撮像特性が許容範囲内で同一とみなせる範囲で、各境界位置が設定される。
図2に戻って、制御処理部2aは、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象(所在空間)をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の部位を検出し、この検出した前記所定の部位に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部2aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部2aは、前記制御処理プログラムが実行されることによって、制御部11、行動検知部12a、通知処理部13およびストリーミング処理部14を機能的に備える。
制御部11は、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUaの全体制御を司るものである。
行動検知部12aは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の行動を検知するものである。前記所定の行動は、本実施形態では、その一例として、転倒および転落であるが、これに代えあるいはこれに加えて起床や離床等であって良い。より具体的には、行動検知部12aは、部位検出部21aおよび判定部22を機能的に備える。
部位検出部21aは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の部位を検出するものである。前記所定の部位は、本実施形態では、その一例として、人体の一部である頭部であるが、前記所定の行動を検知することができる適宜な、人体における全部または一部の部位であって良い。部位検出部21aは、対象検出部31aおよび特定部32aを機能的に備える。
対象検出部31aは、撮像部1で取得した撮像対象の画像から、予め設定された所定の対象物を検出するものである。前記所定の対象物は、対象検出部31aが被監視者監視システムMSaのセンサ装置SUaに用いられる場合(すなわち、前記対象物検出装置が被監視者監視装置に用いられる場合)、前記所定の部位であり、本実施形態では、その一例として頭部である。特定部32aは、撮像部1で取得した前記撮像対象の画像から前記対象物(本実施形態では前記所定の部位の一例である頭部)を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定するものである。そして、対象検出部31aは、特定部32aで特定された検出要領を用いて前記撮像対象の画像から前記対象物(この例では頭部)を検出する。
より具体的には、本実施形態では、対象検出部31aは、領域設定部41および検出部42aを機能的に備える。領域設定部41は、撮像部1で取得した前記撮像対象の画像における画像領域のうち、前記対象物(この例では頭部)を検出するための検出対象領域を設定するものである。検出部42aは、領域設定部41で設定された検出対象領域の画像から、特定部32aで特定された検出要領を用いて前記対象物(この例では頭部)を検出するものである。そして、前記特定部32aは、対応関係情報記憶部40aに記憶されている前記対応関係における前記複数の分割領域(本実施形態ではその一例としての第1ないし第4判定エリアAR10〜AR13)から、領域設定部41で設定された検出対象領域に対応する分割領域(判定エリアAR)を選定し、この選定した分割領域(判定エリアAR)に対応する検出要領(本実施形態ではその一例としての画像上での頭部の大きさの範囲)を前記対応関係から取り出すことで、前記検出部42aで用いる前記検出要領を特定する。
判定部22は、部位検出部21aの対象検出部31aにおける検出部42aで検出した前記所定の部位(この例では頭部)に基づいて、被監視者Obにおける所定の行動(本実施形態では転倒および転落)を判定するものである。
通知処理部13は、行動検知部12aで検知した被監視者Obにおける所定の行動(本実施形態では、転倒および転落)を外部に通知するものである。より具体的には、通知処理部13は、前記検知した前記所定の行動(状態、状況)を表す情報(検知行動情報(本実施形態では転倒および転落のうちの1または複数を表す情報))、前記所定の行動が検知された被監視者Obを特定し識別するための識別子情報(前記被監視者Obを検知しているセンサ装置SUaを特定し識別するための識別子情報)、および、前記所定の行動の検知に用いられた画像等を収容した通信信号(監視情報通信信号)を生成し、通信IF部3で管理サーバ装置SVへ送信する。
ストリーミング処理部14は、ネットワークNWおよび通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部1で生成した動画(例えばライブの動画)をストリーミング再生で通信IF部3およびネットワークNWを介して配信するものである。
図1には、一例として、4個の第1ないし第4センサ装置SUa−1〜SUa−4が示されており、第1センサ装置SUa−1は、被監視者Obの一人であるAさんOb−1の居室RM−1(不図示)に配設され、第2センサ装置SUa−2は、被監視者Obの一人であるBさんOb−2の居室RM−2(不図示)に配設され、第3センサ装置SUa−3は、被監視者Obの一人であるCさんOb−3の居室RM−3(不図示)に配設され、そして、第4センサ装置SUa−4は、被監視者Obの一人であるDさんOb−4の居室RM−4(不図示)に配設されている。
次に、本実施形態の動作について説明する。まず、被監視者監視システムMSaの動作について説明する。このような構成の被監視者監視システムMSaでは、各装置SUa、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。また、センサ装置SUaでは、その制御処理プログラムの実行によって、制御処理部2aには、制御部11、行動検知部12a、通知処理部13およびストリーミング処理部14が機能的に構成され、行動検知部12aには、部位検出部21aおよび判定部22が機能的に構成され、部位検出部21aには、対象検出部31aおよび特定部32aが機能的に構成され、そして、対象検出部31aには、領域設定部41および検出部42aが機能的に構成される。
そして、上記構成の被監視者監視システムMSaは、大略、次の動作によって、各被監視者Obそれぞれを監視している。センサ装置SUaは、制御処理部2aによって、所定のフレームレートに応じた時間間隔で撮像部1によって画像を取得し、制御処理部2aの行動検知部12aによって、この撮像部1で取得した画像に基づいて被監視者Obにおける所定の行動(状態、状況)を判定し、この判定の結果、被監視者Obが予め設定された前記所定の行動(本実施形態では転倒および転落等)であると判定すると、制御処理部2aの通知処理部13によって、被監視者Obの状態として判定された判定結果を表す判定結果情報や被監視者Obの静止画の画像データ等の監視情報を収容した通信信号(監視情報通信信号)をネットワークNWを介して管理サーバ装置SVへ送信する。なお、転倒および転落を検知するためのセンサSUaの動作(行動検知動作)は、後に詳述する。
管理サーバ装置SVは、前記監視情報通信信号をネットワークNWを介してセンサ装置SUaから受信すると、この監視情報通信信号に収容された判定結果情報や静止画の画像データ等の監視情報をその記憶部に記憶(記録)する。そして、管理サーバ装置SVは、これら判定結果情報や静止画の画像データ等の監視情報を収容した監視情報通信信号を端末装置(本実施形態では固定端末装置SPおよび携帯端末装置TA)へ送信する。これによって被監視者Obの状態(状況)が端末装置SP、TAを介して例えば看護師や介護士等の監視者に報知される。
固定端末装置SPおよび携帯端末装置TAは、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この監視情報通信信号に収容された前記監視情報を表示する。このような動作によって、被監視者監視システムMSは、各センサ装置SUa、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obを検知して各被監視者Obを監視している。
次に、被監視者監視システムMSaにおけるセンサ装置SUaの動作(行動検知動作)について、説明する。図6は、第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の動作を示すフローチャートである。
センサ装置SUaは、上述したように、所定のフレームレートに応じた時間間隔で撮像部1によって画像を順次に取得しており、図6を用いて以下に説明する動作は、各フレームの各画像ごとに実施される。
図6において、まず、制御処理部2aは、行動検知部12aの部位検出部21aによって、撮像部1で取得した画像から、被監視者Obの頭部を検出する頭部の検出処理を実行する(S1a)。この第1実施形態における頭部の検出処理S1aは、後に詳述する。
次に、制御処理部2aは、判定部22によって、部位検出部21aで検出した頭部に基づいて、被監視者Obにおける転倒の有無および転落の有無を検知する(S2)。
前記所在空間の上方から、本実施形態では天井CEから鉛直下方に見下ろして前記所在空間を撮像した画像では、画像上での頭部の大きさは、被監視者Obの姿勢等に応じて変化するので、画像上での頭部の大きさに基づいて転倒の有無および転落の有無それぞれが判定できる。前記転倒は、被監視者Obが立位姿勢または座位姿勢から床面FL上等の横臥姿勢への変化である。このため、例えば、立位姿勢および座位姿勢における頭部の大きさ(頭部の高さ)と床面FL上等の横臥姿勢における頭の大きさ(頭部の高さ)とを区別できる所定の閾値(転倒判定閾値)Thrが例えば複数のサンプルを用いることによって予め適宜に設定され、判定部22は、処理S1で検出した頭部における画像上の大きさと前記転倒判定閾値Thrとを比較し、処理S1で検出した頭部における画像上の大きさが前記転倒判定閾値Thr以下である場合には、被監視者Obが床面FL上等の横臥姿勢であり、転倒有りと判定し、判定結果として転倒有りを通知処理部13へ出力し、一方、処理S1で検出した頭部における画像上の大きさが前記転倒判定閾値Thrを越える場合には、被監視者Obが立位姿勢または座位姿勢であり、転倒無しと判定する。また、前記転落は、被監視者Obが鉛直方向に沿った高い位置から低い位置への落下、例えば寝具BTから床面FL上等へ落下である。このため、例えば、前記高い位置(例えば寝具BT上における横臥姿勢や座位姿勢等)における頭部の大きさと前記低い位置(例えば床面FL上等の横臥姿勢)における頭部の大きさとを区別できる所定の閾値(転落判定閾値)Thcが、例えば複数のサンプルを用いることで予め適宜に設定され、判定部22は、処理S1で検出した頭部における画像上の大きさと前記転落判定閾値Thcとを比較し、処理S1で検出した頭部における画像上の大きさが前記転落判定閾値Thc以下である場合には、被監視者Obが床面FL上等の前記低い位置(例えば床面FL上等の横臥姿勢)であり、転落有りと判定し、判定結果として転落有りを通知処理部13へ出力し、一方、処理S1で検出した頭部における画像上の大きさが前記転落判定閾値Thcを越える場合には、被監視者Obが前記高い位置(例えば寝具上における横臥姿勢や座位姿勢等)であり、転落無しと判定する。なお、画像上での寝具BTの領域が予め記憶部4aに記憶され、判定部22は、この転落の有無の検知処理の際に、寝具BTから寝具BTの周辺領域への頭部の移動の有無を考慮しても良い。
なお、これら転倒判定閾値Thrおよび転落判定位置Thcは、検出要領と同様に、第1ないし第4判定エリアAR10〜AR14ごとに、当該判定エリアARに適した値に設定されてもよい。
次に、制御処理部2aは、判定部22によって、前記処理S2において、所定の行動、この例では転倒および転落を検知したか否かを判定する(S3)。この判定の結果、転倒有りおよび転落有りの少なくとも一方が検知された場合(Yes)には、制御処理部2aは、処理S4を実行し、一方、転倒無しおよび転落無しが検知された場合(No)には、制御処理部2aは、このフレームに対する行動検知動作を終了する。
処理S4では、制御処理部2aは、通知処理部13によって、上述したように、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVへ送信する。
次に、第1実施形態の被監視者監視システムMSaのセンサ装置SUaにおける頭部の検出処理S1aについて説明する。図7は、第1実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。
図7において、まず、制御処理部2aは、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S11)。本実施形態では、撮像部1は、被監視者Obの所在空間を撮像対象とし、前記所在空間を天井から鉛直下方に見下ろして俯瞰した、前記結像光学系の画角に応じた前記所在空間の画像を生成し、この生成した前記所在空間の画像を制御処理部2aへ出力する。
次に、制御処理部2aは、部位検出部21aの対象検出部31aによって、処理S11で撮像部1によって取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の対象物、本実施形態では所定の部位(この例では頭部)を検出する。
より具体的には、この頭部の検出に当たって、まず、制御処理部2aは、領域設定部41によって、処理S11で撮像部1によって取得した前記撮像対象の画像における画像領域のうち、前記対象物(この例では頭部)を検出するための検出対象領域を設定する(S12)。この検出対象領域の設定では、制御処理部2aは、領域設定部41によって、上述した第1ないし第4判定エリアAR10〜AR13を順次に検出対象領域に設定し、各検出対象領域に対し順次に以下の各処理を実施することで頭部を検出して良いが、本実施形態では、制御処理部2aは、領域設定部41によって、人体領域を検出し、この検出した人体領域を含む判定エリアARを第1ないし第4判定エリアAR10〜AR13から選定し、この選定した判定エリアARを検出対象領域とする。なお、前記検出した人体領域が複数の判定エリアARに亘る場合には、これら複数の判定エリアARそれぞれが検出対象領域とされ、各検出対象領域に対し順次に以下の各処理を実施することで頭部が検出される。この人体領域は、例えば、動体領域を前記人体領域として検出することで検出される(動体領域=人体領域)。この動体領域の抽出には、例えば背景差分法やフレーム間差分法等の手法が用いられる。前記背景差分法では、予め背景画像が求められて前記各種の所定のデータの1つとして記憶部4aに予め記憶され、撮像部1によって生成された画像と前記背景画像との差分画像から動体領域が抽出される。前記フレーム差分法では、撮像部1によって生成された、現在のフレームの画像と過去のフレーム(例えば1つ前のフレーム)の画像との差分画像から動体領域が抽出される。抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報等が組み合わされて利用されても良い。
次に、制御処理部2aは、特定部32aによって、処理S11で撮像部によって取得した前記撮像対象の画像から、前記対象物(この例では頭部)を検出する際に用いられる検出方法および検出条件のうちの少なくとも一方を検出要領として特定する(S13)。より具体的には、特定部32aは、記憶部4aの対応関係情報記憶部40aに記憶されている前記対応関係における第1ないし第4判定エリアAR10〜AR13から、領域設定部41で設定された検出対象領域に対応する判定エリアARを選定し、この選定した判定エリアARに対応する画像上での頭部の大きさの範囲を前記対応関係から取り出すことで、検出部42aで用いる検出要領を特定する。例えば、処理S12において、人体領域が第1判定エリアAR10で検出された場合には、この処理S13において、特定部32aは、第1判定エリアAR10に対応する画像上での頭部の大きさの範囲;40〜50[pixel]を検出要領(検出条件)として特定する。また例えば、処理S12において、人体領域が第2判定エリアAR11で検出された場合には、この処理S13において、特定部32aは、第2判定エリアAR11に対応する画像上での頭部の大きさの範囲;35〜45[pixel]を検出要領(検出条件)として特定する。
次に、制御処理部2aは、検出部42aによって、領域設定部41で設定された検出対象領域の画像から、特定部32aで特定された検出要領を用いて前記対象物(この例では頭部)を検出する(S14)。より具体的には、検出部42aは、領域設定部41で設定された検出対象領域の画像から、頭部(頭部の画像領域)を公知の画像処理技術を用いることによって抽出する。この際において、検出部42aは、例えば、頭部の検出処理前に、処理S13で特定部32aによって特定された画像上での頭部の大きさの範囲内に含まれる画像領域(前記範囲に属する画像領域)を検出対象とする。また例えば、検出部42aは、頭部の検出処理後に、処理S13で特定部32aによって特定された画像上での頭部の大きさの範囲内に含まれる画像領域(前記範囲に属する画像領域)を頭部の画像領域として検出する。これによって、上述のような無意味な情報処理が実施されることなく、誤判定が軽減できる。
この頭部の検出では、例えば、頭部の形状が楕円形状と仮定され、前記所在空間の画像がいわゆる一般化ハフ変換され、これによって前記所在空間の画像中における楕円形状、すなわち、頭部が抽出される(第1頭部検出方法)。このような画像処理技術は、例えば、文献;“村上真、「人物頭部認識における特徴量表現および領域抽出に関する研究」、2003年3月、早稲田大学“に開示されている。また例えば、頭部の輪郭形状あるいはその概略形状の楕円や円形状等の頭部形状を予め用意されたテンプレートとしたテンプレートマッチング法(パターンマッチング法)によって(第2頭部検出方法)、あるいは、いわゆるSnake等の閉曲線をフィッティングする方法によって(第3頭部検出方法)、前記所在空間の画像から頭部が抽出されても良い。抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報や、動きの有無によって人物か否かを判定する動き情報等が組み合わされて利用されても良い。例えば、画像中における肌色や黒色ではない領域、画像中における動きの全くない領域、および、アスペクト比が比較的短時間の間に頻繁に変化する領域は、頭部ではないと判定される。
なお、頭部の抽出に多重解像度戦略(多重解像度解析、多解像走査)が用いられる場合には、頭部の候補領域は、複数求められる場合が多い。この場合では、テンプレートマッチングで得られるいわゆるスコアが最も高い候補領域が頭部とされても良いが、より正確に頭部を抽出するために、複数の候補領域における大きさ、その位置およびスコア等に基づいて頭部が抽出されても良い。例えば、複数の候補領域における大きさの平均値が求められ、この平均値に最も近い大きさの候補領域が頭部とされる。前記平均値は、単純平均によって求められても良いが、各候補領域のスコアを重みとした重み付け平均によって求められても良い。前記多重解像度戦略は、元画像から、前記元画像より解像度が低く互いに異なる解像度を持つ複数の低解像度画像を生成し、解像度がより低い低解像度画像から抽出対象(本実施形態では頭部)を抽出し、この抽出対象が抽出された領域を次に解像度が高い低解像度画像で前記抽出対象を抽出するための候補領域とし、最も解像度が低い低解像度画像から順次に元画像まで遡って前記抽出対象を抽出して行く手法である。
以上説明したように、対象物検出装置および対象物検出方法を実装した一例の第1実施形態におけるセンサ装置SUaならびに被監視者監視装置の一例である第1実施形態における被監視者監視システムMSaは、特定部32aによって検出要領を特定し、この特定した検出要領の下で対象検出部31aによって撮像対象の画像から所定の対象物(所定の部位(本実施形態では頭部))を検出するので、情報処理量の低減が可能となり、誤判定を低減できる。このため、上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者Obにおける所定の行動を検知した場合により速やかに通知でき、この通知を受けた監視者は、可及的速やかな対応が可能となる。
上記センサ装置SUaおよび被監視者監視システムMSaは、分割領域(本実施形態では判定エリアAR)ごとに検出要領を備え、検出対象領域に対応する分割領域の検出要領で前記検出対象領域から対象物を検出するので、前記検出対象領域に最適な検出要領を用いることができ、情報処理量を低減しつつ、より高精度に対象物(この例では頭部)を検出できる。
カメラの結像光学系(撮像光学系)における撮像特性は、光軸からずれるに従ってずれて行くことが多い。上記センサ装置SUaおよび被監視者監視システムMSaは、複数の分割領域(本実施形態では第1ないし第4判定エリアAR10〜AR13)が交差位置、すなわち、撮像対象の画像上でのカメラの光軸の位置を基準に設定されているので、検出要領も前記交差位置を基準に設定できる。
上記センサ装置SUaおよび被監視者監視システムMSaは、1個の撮像部1で所在空間を方向から見込んで得られた1枚の画像からでも前記所定の行動を検知できるので、低コスト化が可能であり、被監視者Obの隠れが生じ難く、処理能力の比較的低いハードウェアでも構成可能である。
なお、上述の実施形態では、複数の分割領域の一例である第1ないし第4判定エリアAR10〜AR13は、撮像対象の画像を生成したカメラ(上述の例では撮像部1)の撮像特性に基づいて設定されたが、これに加えて、対象物の大きさにも基づいて良く、またこれに加えて、前記カメラと前記撮像対象との位置関係にも基づいて良く、またこれに加えて、対象物の大きさおよび前記カメラと前記撮像対象との位置関係にも基づいて良い。また、撮像特性のずれは、カメラの結像光学系(撮像光学系)における例えば歪み特性やボケ特性等の光学特性によって発生することが多いため、撮像特性は、好ましくは、光学特性であり、好ましくは、歪み特性であり、好ましくは、ボケ特性である。これによれば、複数の分割領域が撮像対象の画像を生成したカメラの撮像特性、対象物の大きさおよびカメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定されているので、検出要領も、撮像対象の画像を生成したカメラの撮像特性、対象物の大きさおよびカメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定できる。
図8は、第1実施形態の被監視者監視システムにおける、分割領域の他の一例を説明するための図である。一例では、撮像部1にあおりがある場合では、第1ないし第4判定エリアAR10〜AR13は、その中心位置や形状が撮像部1の撮像特性、対象物と撮像部1の位置関係に基づいて、図8に示すように、設定される。この図8に示す例では、撮像部1が部屋RMの上方一方隅に斜め下に撮影方向を向けて設置されており、第1判定エリアAR10は、光軸中心真下に対応する床FL上の点を中心とした所定の第3半径を持つ半円形以内の領域とされ、第1判定エリアAR11は、第1判定エリアAR10と同心で、第1判定エリアAR10を超え、光軸中心真下に対応する床FL上の前記点を中心とした所定の第4半径(>第3半径)を持つ半円形以内の領域とされ、第3判定エリアAR12は、第2判定エリアAR11を超え、奥壁面ならびに前記奥壁面に連結する天井面CE、右壁面および左壁面の各位置を含む領域とされ、第4判定エリアAR13は、画像における第3判定エリアAR12を超える領域とされている。これら第1ないし第3判定エリアAR10〜AR12には、撮影条件としてあおり撮影を考慮した、画像上での頭部の大きさの各範囲が適宜に設定され、第4判定エリアAR13は、判定外のエリア(判定不能のエリア)とされ、この第4判定エリアAR13に対する画像上での頭部の大きさの範囲は、設定されていない。
ここで、これら第1ないし第3判定エリアAR10〜AR12における、画像上での頭部の大きさの各範囲は、まず、統計的に標準的な大きさを持つ頭部の模型(頭部模型)が予め用意され、各判定エリアAR10〜AR12それぞれについて、この大きさの既知な頭部模型が、様々な高さで撮像部1によって撮影され、画像上での頭部模型の各大きさ(ピクセル数)が求められ、そして、これらから適宜に設定される。
後述の第2実施形態における第1ないし第5判定エリアAR20〜AR24も同様である。
また、上述の実施形態では、検出要領は、検出条件(この例では画像上での頭部の大きさの範囲)であったが、これに代え、あるいは、これに加えて検出方法であっても良い。例えば、第1ないし第4判定エリアAR10〜AR13それぞれに、上述の第1ないし第3頭部検出方法のうちの少なくともいずれかが予め割り当てられ、これら第1ないし第4判定エリアAR10〜AR13と第1ないし第3頭部検出方法との対応関係が対応関係情報記憶部40aに予め記憶され、上述と同様の動作によって、検出対象領域に基づいて頭部検出方法が特定部32aによって特定され、この特定された頭部検出方法で検出部42aによって頭部が検出される。なお、1つの判定エリアARに複数の頭部検出方法が割り当てられている場合には、例えば、これらのうちのいずれかが用いられる。また例えば、各頭部検出方法で頭部がそれぞれ検出され、一致した結果が頭部とされる。
次に、別の実施形態について説明する。
(第2実施形態)
上述の第1実施形態では、検出すべき対象物(上述の例では頭部)の画像上での大きさの範囲が検出要領として特定されたが、第2実施形態では、テンプレートマッチング法で用いられるパターンモデルが検出要領として特定される。
まず、第2実施形態の構成について説明する。図9は、第2実施形態の被監視者監視システムにおける、複数の分割領域と複数の検出要領との対応関係を説明するための図である。
第2実施形態における被監視者監視システムMSbは、例えば、図1に示すように、1または複数のセンサ装置SUb(SUb−1〜SUb−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備える。これら第2実施形態の被監視者監視システムMSbにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA−1、TA−2)は、それぞれ、第1実施形態の被監視者監視システムMSaにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA−1、TA−2)と同様であるので、その説明を省略する。
第2実施形態におけるセンサ装置SUbは、例えば、図2に示すように、撮像部1と、制御処理部2bと、通信IF部3と、記憶部4bとを備える。これら第2実施形態のセンサ装置SUbにおける撮像部1および通信IF部3は、それぞれ、第1実施形態のセンサ装置SUaにおける撮像部1および通信IF部3と同様であるので、その説明を省略する。
記憶部4bは、対応関係情報記憶部40aに代えて対応関係情報記憶部40bを機能的に備える点を除き、記憶部4aと同様である。この対応関係情報記憶部40bは、下記の点を除き、対応関係情報記憶部40aと同様に、撮像対象の画像における画像領域を分割した複数の分割領域と複数の検出要領との対応関係を予め記憶するものである。第1実施形態では、前記検出要領は、検出条件として、検出すべき頭部の画像上での大きさの範囲であったが、第2実施形態では、前記検出要領は、検出条件としてテンプレートマッチング法で用いられるパターンモデルである。この点で、第2実施形態は、第1実施形態と異なる。
ここで、図3を用いて上述したように、センサ装置SUbの撮像部1を天井CEの中央位置に配設した場合、撮像部1から見た頭部の形状(頭部の輪郭形状)は、所在空間における被監視者Obの位置に応じて異なる。画像を平面視した場合、左右方向に沿って左から右へ向かう方向をX方向(X軸)とし、上下方向に沿って下から上へ向かう方向をY方向(Y軸)とするXY直交座標系を設定した場合、例えば、光軸中心を中心とする所定の第5半径を持つ円形以内の領域(第1判定エリアAR20)内に、被監視者Obが所在している場合、撮像部1における略真下であるので、図9に示すように、撮像部1から見た頭部は、略円形状である。このため、第1判定エリアAR20には、前記パターンモデルとして円形状(第1頭部パターンモデル)が対応付けられる。
また例えば、±Y方向それぞれにおいて、光軸中心を中心とする所定の第1角度を持つ扇形のうちの第1判定エリアAR20の外側の領域(第2判定エリアAR21)内に、被監視者Obが所在している場合、撮像部1の位置から±Y方向にずれているので、図9に示すように、撮像部1から見た頭部は、Y方向に沿って長軸を持つ略楕円形状である。このため、第2判定エリアAR21には、前記パターンモデルとして、Y方向に沿って長軸を持つ略楕円形状(第2頭部パターンモデル)が対応付けられる。
また例えば、±X方向それぞれにおいて、光軸中心を中心とする所定の第3角度を持つ扇形のうちの第1判定エリアAR20の外側の領域(第4判定エリアAR23)内に、被監視者Obが所在している場合、撮像部1の位置から±X方向にずれているので、図9に示すように、撮像部1から見た頭部は、X方向に沿って長軸を持つ略楕円形状である。このため、第4判定エリアAR23には、前記パターンモデルとして、X方向に沿って長軸を持つ略楕円形状(第4頭部パターンモデル)が対応付けられる。
また例えば、−Y方向の第2判定エリアAR21と−X方向の第4判定エリアAR23とに挟まれた、光軸中心を中心とする所定の第2角度を持つ扇形のうちの第1判定エリアAR20の外側の領域も第3判定エリアAR22であり、被監視者Obがここに所在している場合、図9に示すように、撮像部1から見た頭部は、X方向(X軸)から反時計回りに45度の方向に沿って長軸を持つ略楕円形状である。同様に、+Y方向の第2判定エリアAR21と+X方向の第4判定エリアAR23とに挟まれた、光軸中心を中心とする所定の第2角度を持つ扇形のうちの第1判定エリアAR20の外側の領域(第3判定エリアAR22)内に、被監視者Obが所在している場合、撮像部1から見た頭部は、X軸から反時計回りに45度の方向に沿って長軸を持つ略楕円形状(第3頭部パターンモデル)である。このため、第3判定エリアAR22には、前記パターンモデルとして、X方向(X軸)から反時計回りに45度の方向に沿って長軸を持つ略楕円形状X方向に沿って長軸を持つ略楕円形状(第3頭部パターンモデル)が対応付けられる。
また例えば、−Y方向の第2判定エリアAR21と+X方向の第4判定エリアAR23とに挟まれた、光軸中心を中心とする所定の第4角度を持つ扇形のうちの第1判定エリアAR20の外側の領域(第5判定エリアAR24)内に、被監視者Obが所在している場合、図9に示すように、撮像部1から見た頭部は、X方向(X軸)から反時計回りに−45度の方向(時計回りに45度の方向)に沿って長軸を持つ略楕円形状である。同様に、+Y方向の第2判定エリアAR21と−X方向の第4判定エリアAR23とに挟まれた、光軸中心を中心とする所定の第4角度を持つ扇形のうちの第1判定エリアAR20の外側の領域も第5判定エリアAR24であり、被監視者Obがここに所在している場合、撮像部1から見た頭部は、X方向(X軸)から反時計回りに−45度の方向に沿って長軸を持つ略楕円形状である。このため、第5判定エリアAR24には、前記パターンモデルとして、X方向(X軸)から反時計回りに−45度の方向に沿って長軸を持つ略楕円形状(第5頭部パターンモデル)が対応付けられる。
このように撮像部1から見た頭部の形状は、所在空間における被監視者Obの位置に応じて異なるので、テンプレートマッチング法で用いられるパターンモデルを、所在空間における被監視者Obの位置に応じて、それに適したモデルに変えることで、より少ない情報処理量でより精度良く頭部を検出できる。このため、対応関係情報記憶部40bには、上述のように対応付けられた、第1ないし第5判定エリアAR20〜AR24と第1ないし第5頭部パターンモデルとの対応関係がテーブル化されて予め記憶される。なお、これら第1ないし第5判定エリアAR20〜AR24における各境界位置は、例えば、基準の大きさを持つ物体(基準物体)を撮像し、画像上での前記物体の大きさを実測することによって、撮像特性のずれを考慮して適宜に設定される。すなわち、画像上での頭部の形状が許容範囲内で同一とみなせる範囲で、各境界位置が設定される。また、上述では、第1判定エリアAR20の周辺に位置する第2ないし第5判定エリアAR21〜AR24には、略楕円形状の頭部パターンモデルが対応付けられたが、頭部を傾けた場合に撮像部1からその頭部が円形状に見える場合もあるので、略楕円形状の頭部パターンモデルに加えて円形状の頭部パターンモデルも対応付けられても良い。この場合、略楕円形状の頭部パターンモデルおよび円形状の頭部パターンモデルそれぞれを用いて後述のテンプレートマッチング法が実行される。
制御処理部2bは、センサ装置SUbの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象(所在空間)をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の部位を検出し、この検出した所定の部位に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部2bは、前記制御処理プログラムが実行されることによって、制御部11、行動検知部12b、通知処理部13およびストリーミング処理部14を機能的に備える。これら第2実施形態における制御部11、通知処理部13およびストリーミング処理部14は、それぞれ、第1実施形態における制御部11、通知処理部13およびストリーミング処理部14と同様であるので、その説明を省略する。
行動検知部12bは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の行動を検知するものである。前記所定の行動は、本実施形態でも、その一例として、転倒および転落であるが、これに代えあるいはこれに加えて起床や離床等であって良い。より具体的には、行動検知部12bは、部位検出部21bおよび判定部22を機能的に備える。第2実施形態の行動検知部12bにおける判定部22は、第1実施形態の行動検知部12aにおける判定部22と同様であるので、その説明を省略する。
部位検出部21bは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の部位を検出するものである。前記所定の部位は、本実施形態でも、その一例として、人体の一部である頭部である。部位検出部21bは、対象検出部31bおよび特定部32bを機能的に備える。
対象検出部31bは、撮像部1で取得した撮像対象の画像から、予め設定された所定の対象物、すなわち、前記所定の部位(本実施形態ではその一例としての頭部)を特定部32bで特定された検出要領(この例では頭部パターンモデル)を用いて検出するものであり、領域設定部41および検出部42bを機能的に備える。第2実施形態の対象検出部31bにおける領域設定部41は、第1実施形態の対象検出部31aにおける領域設定部41と同様であるので、その説明を省略する。検出部42bは、図4に示す第1ないし第4判定エリアAR10〜AR13に代え図9に示す第1ないし第5判定エリアAR20〜AR24を用いる点を除き、第1実施形態の対象検出部31aにおける検出部42aと同様であり、領域設定部41で設定された検出対象領域の画像から、特定部32bで特定された検出要領を用いて前記対象物(この例では頭部)を検出するものである。
特定部32bは、撮像部1で取得した前記撮像対象の画像から前記対象物(本実施形態では前記所定の部位の一例である頭部)を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定するものである。本実施形態では、特定部32bは、対応関係情報記憶部40bに記憶されている前記対応関係における前記複数の分割領域(本実施形態ではその一例としての第1ないし第5判定エリアAR20〜AR24)から、領域設定部41で設定された検出対象領域に対応する分割領域(判定エリアAR)を選定し、この選定した分割領域(判定エリアAR)に対応する検出要領(本実施形態ではその一例としての頭部パターンモデル)を前記対応関係から取り出すことで、前記検出部42bで用いる前記検出要領を特定する。
次に、本実施形態の動作について説明する。第2実施形態における被監視者監視システムMSbの動作は、第1実施形態における被監視者監視システムMSaの動作と同様であるので、その説明を省略し、そのセンサ装置SUbの行動検知動作について、説明する。この第2実施形態におけるセンサ装置SUbの行動検知動作は、第1実施形態における頭部の検出処理S1aに代え第2実施形態における頭部の検出処理S1bを実行する点を除き、図6を用いて上述した第1実施形態におけるセンサ装置SUaの行動検知動作と同様であるので、その説明を省略する。
次に、この第2実施形態における頭部の検出処理S1bについて説明する。図10は、第2実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。
図10において、まず、制御処理部2bは、処理S11と同様に、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S21)。
次に、制御処理部2bは、部位検出部21bの対象検出部31bによって、処理S21で撮像部1によって取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の対象物、本実施形態では所定の部位(この例では頭部)を検出する。
より具体的には、この頭部の検出に当たって、まず、制御処理部2bは、処理S12と同様に、領域設定部41によって、処理S21で撮像部1によって取得した前記撮像対象の画像における画像領域のうち、前記対象物(この例では頭部)を検出するための検出対象領域を設定する(S22)。
次に、制御処理部2bは、特定部32bによって、処理S21で撮像部1によって取得した前記撮像対象の画像から、前記対象物(この例では頭部)を検出する際に用いられる検出方法および検出条件のうちの少なくとも一方を検出要領として特定する(S23)。
より具体的には、本実施形態では、特定部32bは、記憶部4bの対応関係情報記憶部40bに記憶されている前記対応関係における第1ないし第5判定エリアAR20〜AR24から、領域設定部41で設定された検出対象領域に対応する判定エリアARを選定し、この選定した判定エリアARに対応する頭部パターンモデルを前記対応関係から取り出すことで、検出部42bで用いる検出要領を特定する。例えば、処理S22において、人体領域が第1判定エリアAR20で検出された場合には、この処理S23において、特定部32bは、第1判定エリアAR20に対応する第1頭部パターンモデル;円形状のパターンモデルを検出要領(検出条件)として特定する。また例えば、処理S22において、人体領域が第2判定エリアAR21で検出された場合には、この処理S23において、特定部32bは、第2判定エリアAR21に対応する第2頭部パターンモデル;Y方向に沿って長軸を持つ略楕円形状のパターンモデルを検出要領(検出条件)として特定する。
次に、制御処理部2bは、検出部42bによって、領域設定部41で設定された検出対象領域の画像から、特定部32bで特定された検出要領を用いて前記対象物(この例では頭部)を検出する(S24)。より具体的には、検出部42bは、領域設定部41で設定された検出対象領域の画像から、処理S23で特定部32bによって特定された頭部パターンモデルをテンプレートとしたテンプレートマッチング法で頭部を抽出する。テンプレートマッチング法で用いられるテンプレートが特定されて限定されるので、上述のような無意味な情報処理が実施されることなく、誤判定が軽減できる。第1実施形態と同様に、抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報や、動きの有無によって人物か否かを判定する動き情報等が組み合わされて利用されても良い。なお、前記結像光学系の光学特性により周辺領域がボケた画像になる場合、周辺領域の画像から頭部を検出する場合に、明瞭なエッジを持つ画像が除外されても良い。
以上説明したように、対象物検出装置および対象物検出方法を実装した一例の第2実施形態におけるセンサ装置SUbならびに被監視者監視装置の一例である第2実施形態における被監視者監視システムMSbは、第1実施形態におけるセンサ装置SUaおよび被監視者監視システムMSaと同様な作用効果を奏する。
次に、別の実施形態について説明する。
(第3実施形態)
上述の第2実施形態では、検出要領として、テンプレートマッチング法で用いられるパターンモデルが、人体領域を検出した判定エリアに応じて特定されたが、第3実施形態では、検出要領として、本体部位の方向に応じて頭部パターンモデルの方向が特定される。
まず、第3実施形態の構成について説明する。図11は、第3実施形態の被監視者監視システムにおける、検出要領を説明するための図である。図11Aは、本体部位の方向に対し、より好ましい頭部パターンモデルの方向を示し、図11Bは、本体部位の方向に対し、好ましくない頭部パターンモデルの方向を示す。
第3実施形態における被監視者監視システムMScは、例えば、図1に示すように、1または複数のセンサ装置SUc(SUc−1〜SUc−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備える。これら第3実施形態の被監視者監視システムMScにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA−1、TA−2)は、それぞれ、第1実施形態の被監視者監視システムMSaにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA−1、TA−2)と同様であるので、その説明を省略する。
第3実施形態におけるセンサ装置SUcは、例えば、図2に示すように、撮像部1と、制御処理部2cと、通信IF部3と、記憶部4cとを備える。これら第3実施形態のセンサ装置SUcにおける撮像部1および通信IF部3は、それぞれ、第1実施形態のセンサ装置SUaにおける撮像部1および通信IF部3と同様であるので、その説明を省略する。
記憶部4cは、頭部パターンモデルおよび本体部位パターンモデルを記憶する点を除き、記憶部4aと同様である。頭部パターンモデルは、前記各種の所定のデータの1つであり、頭部を検出するためにテンプレートマッチング法で用いられるテンプレートであり、例えば頭部の輪郭形状を模した楕円形状である。本体部位は、体幹、腕部および脚部のうちの少なくとも体幹を含む人体の一部の部位である。本体部位パターンモデルは、前記各種の所定のデータの1つであり、本体部位を検出するためにテンプレートマッチング法で用いられるテンプレートであり、例えば本体部位の輪郭形状を模した長方形形状である。
制御処理部2cは、センサ装置SUcの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象(所在空間)をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の部位を検出し、この検出した所定の部位に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部2cは、前記制御処理プログラムが実行されることによって、制御部11、行動検知部12c、通知処理部13およびストリーミング処理部14を機能的に備える。これら第3実施形態における制御部11、通知処理部13およびストリーミング処理部14は、それぞれ、第1実施形態における制御部11、通知処理部13およびストリーミング処理部14と同様であるので、その説明を省略する。
行動検知部12cは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の行動を検知するものである。前記所定の行動は、本実施形態でも、その一例として、転倒および転落であるが、これに代えあるいはこれに加えて起床や離床等であって良い。より具体的には、行動検知部12cは、部位検出部21cおよび判定部22を機能的に備える。第3実施形態の行動検知部12cにおける判定部22は、第1実施形態の行動検知部12aにおける判定部22と同様であるので、その説明を省略する。
部位検出部21cは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の部位を検出するものである。前記所定の部位は、本実施形態でも、その一例として、人体の一部である頭部である。部位検出部21cは、対象検出部31cおよび特定部32cを機能的に備える。
対象検出部31cは、撮像部1で取得した撮像対象の画像から、予め設定された所定の対象物、すなわち、前記所定の部位の一例としての頭部を特定部32cで特定された検出要領(この例では方向の特定された頭部パターンモデル)を用いて検出するものであり、領域設定部41および検出部42cを機能的に備える。第3実施形態の対象検出部31cにおける領域設定部41は、第1実施形態の対象検出部31aにおける領域設定部41と同様であるので、その説明を省略する。
特定部32cは、撮像部1で取得した前記撮像対象の画像から前記対象物(本実施形態では前記所定の部位の一例である頭部)を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定するものである。
ここで、通常、図11Bに示すように、頭部Ob1’の長尺方向は、本体部位Ob2’の長尺方向に直交する方向ではなく、図11Aに示すように、頭部Ob1の長尺方向は、本体部位Ob2の長尺方向に略一致する。この考えから、本体部位Ob2を長方形形状の本体部位パターンモデルを用いたテンプレートマッチング法によって抽出する場合、図11に示すように、楕円形状の頭部パターンモデルは、その長軸方向(長尺方向)を本体部位Ob2の長尺方向、すなわち本体部位パターンモデルの長手方向に合わせると、頭部Ob1を検出する際のテンプレートマッチング法に用いるテンプレートとして、より好適となる。なお、上述では、頭部パターンモデルは、その長軸方向が本体部位の長尺方向に一致されたが、例えば腰が曲がっている場合等のように、被監視者Obの身体的な特徴によって頭部の長尺方向が本体部位の長尺方向からずれてシフトしている場合には、そのシフト量が予め記憶部4cに記憶され、頭部パターンモデルの長軸方向は、記憶部4cに記憶された前記シフト量で本体部位の長尺方向からシフトされても良い。
上記によって、本実施形態では、特定部32cは、領域設定部41で設定された検出対象領域から、前記本体部位の長尺方向を検出し、この検出した長尺方向に基づいて頭部パターンモデルの方向を特定することで、前記検出要領を特定する。そして、検出部42cは、領域設定部41で設定された検出対象領域の画像から、特定部32cで特定された検出要領、すなわち、方向の特定された頭部パターンモデルを用いたテンプレートマッチング法によって前記対象物としての頭部を検出する。
次に、本実施形態の動作について説明する。第3実施形態における被監視者監視システムMScの動作は、第1実施形態における被監視者監視システムMSaの動作と同様であるので、その説明を省略し、そのセンサ装置SUcの行動検知動作について、説明する。この第3実施形態におけるセンサ装置SUcの行動検知動作は、第1実施形態における頭部の検出処理S1aに代え第3実施形態における頭部の検出処理S1cを実行する点を除き、図6を用いて上述した第1実施形態におけるセンサ装置SUaの行動検知動作と同様であるので、その説明を省略する。
次に、この第3実施形態における頭部の検出処理S1cについて説明する。図12は、第3実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。
図12において、まず、制御処理部2cは、処理S11と同様に、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S31)。
次に、制御処理部2cは、部位検出部21cの対象検出部31cによって、処理S31で撮像部1によって取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の対象物、本実施形態では所定の部位(この例では頭部)を検出する。
より具体的には、この頭部の検出に当たって、まず、制御処理部2cは、領域設定部41によって、処理S31で撮像部1によって取得した前記撮像対象の画像における画像領域のうち、前記対象物(この例では頭部)を検出するための検出対象領域を設定する(S32)。より詳しくは、領域設定部41は、例えば背景差分法やフレーム間差分法等の手法を用いることによって人体領域(=動体領域)を検出し、この検出した人体領域を検出対象領域とする。
次に、制御処理部2cは、特定部32cによって、処理S31で撮像部1によって取得した前記撮像対象の画像から、前記対象物(この例では頭部)を検出する際に用いられる検出方法および検出条件のうちの少なくとも一方を検出要領として特定する(S33)。
より具体的には、本実施形態では、特定部32cは、記憶部4cに記憶されている長方形形状の本体部位パターンモデルをテンプレートとして用いたテンプレートマッチング法によって検出対象領域から本体部位を抽出し、この抽出した本体部位における長尺方向を検出し、この検出した長尺方向に、記憶部4cに記憶されている楕円形状の頭部パターンモデルにおける長軸方向を一致させ、頭部パターンモデルの方向を特定する。これによって特定部32cは、前記検出要領を特定する。
次に、制御処理部2cは、検出部42cによって、領域設定部41で設定された検出対象領域の画像から、特定部32cで特定された検出要領を用いて前記対象物(この例では頭部)を検出する(S34)。より具体的には、検出部42cは、領域設定部41で設定された検出対象領域の画像から、処理S33で特定部32cによって方向の特定された頭部パターンモデルをテンプレートとして用いたテンプレートマッチング法で頭部を抽出する。テンプレートマッチング法で用いられる頭部パターンモデルの方向が特定されて限定されるので、上述のような無意味な情報処理が実施されることなく、誤判定が軽減できる。第1実施形態と同様に、抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報や、動きの有無によって人物か否かを判定する動き情報等が組み合わされて利用されても良い。
以上説明したように、対象物検出装置および対象物検出方法を実装した一例の第3実施形態におけるセンサ装置SUcならびに被監視者監視装置の一例である第3実施形態における被監視者監視システムMScは、特定部32cによって検出要領を特定し、この特定した検出要領の下で対象検出部31cによって撮像対象の画像から所定の対象物(所定の部位(本実施形態では頭部))を検出するので、情報処理量の低減が可能となり、誤判定を低減できる。
上記センサ装置SUcおよび被監視者監視システムMScは、頭部の検出に最適な方向の頭部パターンモデルを用いることができ、情報処理量を低減しつつ、より高精度に頭部を検出できる。
このため、上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者Obにおける所定の行動を検知した場合により速やかに通知でき、この通知を受けた監視者は、可及的速やかな対応が可能となる。
なお、上述の第1ないし第3実施形態において、センサ装置SUa〜SUcにおける部位検出部21a〜21cは、図2に破線で示すように、特定部32a〜32cで特定した前記検出要領を補正する補正部33をさらに備えても良い。このような補正部33をさらに備えることによって、センサ装置SUa〜SUcにおける部位検出部21a〜21cは、より適した検出要領で対象物を検出でき、より高精度に対象物を検出できる。
例えば、補正部33は、撮像部1の撮像特性、例えば撮像部1の結像光学系における光学特性に基づいて、特定部32a〜32cで特定した前記検出要領を補正する。一例では、前記結像光学系の歪み特性により、周辺領域で画像が歪む場合、この周辺領域では、歪み量に応じて頭部パターンモデルが変形される。
また例えば、補正部33は、被監視者Obにおける身体的な特徴に基づいて、特定部32a〜32cで特定した前記検出要領を補正する。一例では、被監視者Obにおける頭部が測定され、第1実施形態の場合には、画像上での頭部の大きさの範囲がその測定結果に応じてシフト(例えば40〜50が41〜51)へシフト、拡大(例えば40〜50が38〜52)および縮小(例えば40〜50が41〜49)のうちの少なくともいずれかを実施することで補正され、第2および第3実施形態では、頭部パターンモデルがその測定結果に応じて変形、拡大および縮小のうちの少なくともいずれかを実施することでされる。頭部の大きさは、メジャー等によって実測されて良く、また、撮像部1で取得した複数の画像から推定されても良い。
また例えば、補正部33は、撮像部1で取得した複数の画像から検出した被監視者Obの行動パターン等に基づいて、特定部32a〜32cで特定した前記検出要領を補正する。例えば、被監視者Obの動きがない(静止)と判断(検出)された場合は、直前に検出された検出要領が用いられる。また、被監視者Obの動きが大きいと判断(検出)された場合は、検出要領の補正範囲を拡大して、検出が行われる。
なお、上述の実施形態では、撮像対象の画像は、撮像部1で取得されたが、通信IF部3からネットワークNWを介して、前記撮像対象の画像を管理する他の外部機器から取得されて良く、また、前記撮像対象の画像を記録した記録媒体から通信IF部3を介して取得されても良い。このような場合、通信IF部3は、前記撮像対象の画像を取得する画像取得部の他の一例に相当する。
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
一態様にかかる対象物検出装置は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部と、前記画像取得部で取得した前記撮像対象の画像から、所定の対象物を検出する対象検出部と、前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定部とを備え、前記対象検出部は、前記特定部で特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出する。好ましくは、上述の対象物検出装置において、前記特定部は、この検出される前記対象物の画像上での大きさの範囲を前記検出条件として特定する。好ましくは、上述の対象物検出装置において、前記対象検出部は、前記撮像対象の画像から前記対象物を検出する際にテンプレートマッチング法を用い、前記特定部は、前記テンプレートマッチング法で用いられるパターンモデルを前記検出条件として特定する。好ましくは、上述の対象物検出装置において、前記対象物は、人体の一部である。好ましくは、上述の対象物検出装置において、前記人体の一部は、頭部である。好ましくは、上述の対象物検出装置において、前記人体の一部は、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位である。
このような対象物検出装置は、特定部によって検出要領を特定し、この特定した検出要領の下で対象検出部によって撮像対象の画像から対象物を検出するので、情報処理量の低減が可能となる。
他の一態様では、上述の対象物検出装置において、前記撮像対象の画像における画像領域を分割した複数の分割領域と複数の検出要領との対応関係を記憶した記憶部をさらに備え、前記対象検出部は、前記撮像対象の画像における画像領域のうち、前記対象物を検出するための検出対象領域を設定する領域設定部と、前記領域設定部で設定された検出対象領域の画像から、前記特定部で特定された検出要領を用いて前記対象物を検出する検出部とを備え、前記特定部は、前記複数の分割領域から、前記領域設定部で設定された検出対象領域に対応する分割領域を選定し、前記選定した分割領域に対応する検出要領を前記対応関係から取り出すことで、前記検出要領を特定する。好ましくは、上述の対象物検出装置において、前記複数の分割領域は、基準の大きさを持つ物体(基準物体)を撮像し、画像上での前記物体の大きさを実測することによって、撮像特性のずれを考慮して設定される。
このような対象物検出装置は、各分割領域ごとに検出要領を備え、検出対象領域に対応する分割領域の検出要領で前記検出対象領域から対象物を検出するので、前記検出対象領域に最適な検出要領を用いることができ、情報処理量を低減しつつ、より高精度に対象物を検出できる。
他の一態様では、上述の対象物検出装置において、前記複数の分割領域は、前記撮像対象の画像における、前記撮像対象の画像を生成したカメラの光軸との交差位置を基準に設定されている。
カメラの結像光学系(撮像光学系)における撮像特性は、光軸からずれるに従ってずれて行くことが多い。上記対象物検出装置は、複数の分割領域が交差位置、すなわち、撮像対象の画像上でのカメラの光軸の位置を基準に設定されているので、検出要領も前記交差位置を基準に設定できる。
他の一態様では、上述の対象物検出装置において、前記複数の分割領域は、前記撮像対象の画像を生成したカメラの撮像特性、前記対象物の大きさおよび前記カメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定されている。好ましくは、上述の対象物検出装置において、前記撮像特性は、前記カメラの結像光学系(撮像光学系)における光学特性である。好ましくは、上述の対象物検出装置において、前記光学特性は、歪み特性である。好ましくは、上述の対象物検出装置において、前記光学特性は、ボケ特性である。
このような対象物検出装置は、複数の分割領域が撮像対象の画像を生成したカメラの撮像特性、対象物の大きさおよびカメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定されているので、検出要領も、撮像対象の画像を生成したカメラの撮像特性、対象物の大きさおよびカメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定できる。
他の一態様では、上述の対象物検出装置において、頭部を検出するためにテンプレートマッチング法で用いられる頭部パターンモデルを記憶する記憶部をさらに備え、前記対象物検出部は、前記撮像対象の画像における画像領域のうち、前記対象物を検出するための検出対象領域を設定する領域設定部と、前記領域設定部で設定された検出対象領域の画像から、前記特定部で特定された検出要領を用いた前記テンプレートマッチング法によって前記対象物として前記頭部を検出する検出部とを備え、前記特定部は、前記領域設定部で設定された検出対象領域から、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位の長尺方向を検出し、前記検出した長尺方向に基づいて前記頭部パターンモデルの方向を特定することで、前記検出要領を特定する。
通常、頭部の長尺方向は、本体部位の長尺方向に略一致する。上記対象物検出装置は、本体部位の長尺方向を検出し、この検出した長尺方向に基づいて頭部パターンモデルの方向を特定し、この方向の特定された頭部パターンモデルを用いたテンプレートマッチング法によって対象物としての頭部を検出する。このため、上記対象物検出装置は、頭部の検出に最適な方向の頭部パターンモデルを用いることができ、情報処理量を低減しつつ、より高精度に頭部を検出できる。
他の一態様では、上述の対象物検出装置において、前記特定部で特定した検出要領を補正する補正部をさらに備える。
このような対象物検出装置は、補正部をさらに備えるので、より適した検出要領で対象物を検出でき、より高精度に対象物を検出できる。
他の一態様にかかる対象物検出方法は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得工程と、前記画像取得工程で取得した前記撮像対象の画像から、所定の対象物を検出する対象検出工程と、前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定工程とを備え、前記対象検出工程は、前記特定工程で特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出する。
このような対象物検出方法は、特定工程によって検出要領を特定し、この特定した検出要領で対象検出工程によって撮像対象の画像から対象物を検出するので、情報処理量の低減が可能となる。
他の一態様にかかる対被監視者監視装置は、監視対象である被監視者における所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、前記行動検知部は、前記被監視者における所定の部位を検出する部位検出部と、前記部位検出部で検出した前記部位に基づいて前記被監視者における所定の行動を判定する判定部とを備え、前記部位検出部は、前記部位を前記対象物とする、これら上述のいずれかの対象物検出装置を含む。
このような被監視者監視装置は、これら上述のいずれかの対象物検出装置を含むので、行動検知部によって被監視者における所定の行動を検知する際における前記所定の部位の検出に関する情報処理量の低減が可能となる。このため、上記被監視者監視装置は、上述の事態が生じた場合により速やかに通知でき、この通知を受けた監視者は、可及的速やかな対応が可能となる。
この出願は、2015年6月9日に出願された日本国特許出願特願2015−116637を基礎とするものであり、その内容は、本願に含まれるものである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
本発明によれば、対象物検出装置および対象物検出方法ならびに被監視者監視装置が提供できる。

Claims (7)

  1. 所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部と、
    前記画像取得部で取得した前記撮像対象の画像から、所定の対象物を検出する対象検出部と、
    前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定部とを備え、
    前記対象検出部は、前記特定部で特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出し、
    前記撮像対象の画像における画像領域を分割した複数の分割領域と複数の検出要領との対応関係を記憶した記憶部をさらに備え、
    前記対象検出部は、前記撮像対象の画像における画像領域のうち、前記対象物を検出するための検出対象領域を設定する領域設定部と、前記領域設定部で設定された検出対象領域の画像から、前記特定部で特定された検出要領を用いて前記対象物を検出する検出部とを備え、
    前記特定部は、前記複数の分割領域から、前記領域設定部で設定された検出対象領域に対応する分割領域を選定し、前記選定した分割領域に対応する検出要領を前記対応関係から取り出すことで、前記検出要領を特定する、
    対象物検出装置。
  2. 前記複数の分割領域は、前記撮像対象の画像における、前記撮像対象の画像を生成したカメラの光軸との交差位置を基準に設定されている、
    請求項1に記載の対象物検出装置。
  3. 前記複数の分割領域は、前記撮像対象の画像を生成したカメラの撮像特性、前記対象物の大きさおよび前記カメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定されている、
    請求項1または請求項2に記載の対象物検出装置。
  4. 所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部と、
    前記画像取得部で取得した前記撮像対象の画像から、所定の対象物を検出する対象検出部と、
    前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定部とを備え、
    前記対象検出部は、前記特定部で特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出し、
    頭部を検出するためにテンプレートマッチング法で用いられる頭部パターンモデルを記憶する記憶部をさらに備え、
    前記対象検出部は、前記撮像対象の画像における画像領域のうち、前記対象物を検出するための検出対象領域を設定する領域設定部と、前記領域設定部で設定された検出対象領域の画像から、前記特定部で特定された検出要領を用いた前記テンプレートマッチング法によって前記対象物として前記頭部を検出する検出部とを備え、
    前記特定部は、前記領域設定部で設定された検出対象領域から、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位の長尺方向を検出し、前記検出した長尺方向に基づいて前記頭部パターンモデルの方向を特定することで、前記検出要領を特定する、
    対象物検出装置。
  5. 前記特定部で特定した検出要領を補正する補正部をさらに備える、
    請求項1ないし請求項4のいずれか1項に記載の対象物検出装置。
  6. 所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得工程と、
    前記画像取得工程で取得した前記撮像対象の画像から、所定の対象物を検出する対象検出工程と、
    前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定工程とを備え、
    前記対象検出工程は、前記特定工程で特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出し、
    前記対象検出工程は、前記撮像対象の画像における画像領域のうち、前記対象物を検出するための検出対象領域を設定する領域設定工程と、前記領域設定工程で設定された検出対象領域の画像から、前記特定工程で特定された検出要領を用いて前記対象物を検出する検出工程とを備え、
    前記特定工程は、前記撮像対象の画像における画像領域を分割した複数の分割領域と複数の検出要領との対応関係を予め記憶しておき、前記複数の分割領域から、前記領域設定工程で設定された検出対象領域に対応する分割領域を選定し、前記選定した分割領域に対応する検出要領を前記対応関係から取り出すことで、前記検出要領を特定する、
    対象物検出方法。
  7. 監視対象である被監視者における所定の行動を検知する行動検知部と、
    前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、
    前記行動検知部は、前記被監視者における所定の部位を検出する部位検出部と、前記部位検出部で検出した前記部位に基づいて前記被監視者における所定の行動を判定する判定部とを備え、
    前記部位検出部は、前記部位を前記対象物とする請求項1ないし請求項5のいずれか1項に記載の対象物検出装置を含む、
    被監視者監視装置。
JP2016575259A 2015-06-09 2016-04-20 対象物検出装置および対象物検出方法ならびに被監視者監視装置 Active JP6115693B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015116637 2015-06-09
JP2015116637 2015-06-09
PCT/JP2016/062570 WO2016199506A1 (ja) 2015-06-09 2016-04-20 対象物検出装置および対象物検出方法ならびに被監視者監視装置

Publications (2)

Publication Number Publication Date
JP6115693B1 true JP6115693B1 (ja) 2017-04-19
JPWO2016199506A1 JPWO2016199506A1 (ja) 2017-06-22

Family

ID=57503782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016575259A Active JP6115693B1 (ja) 2015-06-09 2016-04-20 対象物検出装置および対象物検出方法ならびに被監視者監視装置

Country Status (2)

Country Link
JP (1) JP6115693B1 (ja)
WO (1) WO2016199506A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI783374B (zh) * 2021-02-09 2022-11-11 國立清華大學 健康照護系統和健康照護方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099863A (ja) * 1998-09-18 2000-04-07 Mitsubishi Electric Corp 異常検出装置
JP2002135760A (ja) * 2000-10-20 2002-05-10 Victor Co Of Japan Ltd 監視用信号の通信方法、及び監視用信号通信装置
JP2008052626A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 浴室異常検知システム
WO2011083733A1 (ja) * 2010-01-07 2011-07-14 株式会社ニコン 画像判定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099863A (ja) * 1998-09-18 2000-04-07 Mitsubishi Electric Corp 異常検出装置
JP2002135760A (ja) * 2000-10-20 2002-05-10 Victor Co Of Japan Ltd 監視用信号の通信方法、及び監視用信号通信装置
JP2008052626A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 浴室異常検知システム
WO2011083733A1 (ja) * 2010-01-07 2011-07-14 株式会社ニコン 画像判定装置

Also Published As

Publication number Publication date
JPWO2016199506A1 (ja) 2017-06-22
WO2016199506A1 (ja) 2016-12-15

Similar Documents

Publication Publication Date Title
KR101999934B1 (ko) 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체
WO2016143641A1 (ja) 姿勢検知装置および姿勢検知方法
CN111507176B (zh) 姿势估计装置、行动估计装置、记录介质、姿势估计方法
JP6292283B2 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
US20160371950A1 (en) Information processing apparatus, information processing method, and program
JP2022165483A (ja) 検出装置、検出システム、検出方法、および検出プログラム
JP6870465B2 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
JP6115693B1 (ja) 対象物検出装置および対象物検出方法ならびに被監視者監視装置
JP7347577B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JPWO2020008726A1 (ja) 対象物体検出プログラム、および対象物体検出装置
US20230412919A1 (en) Device and method for controlling a camera
JP7351339B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP7500929B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2020008995A1 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
US10842414B2 (en) Information processing device, information processing method, program, and watching system
WO2019073735A1 (ja) 被監視者監視支援システムおよび被監視者監視支援方法
KR102628690B1 (ko) 이상행동 탐지 시스템
JP6737355B2 (ja) 頭部検出装置および頭部検出方法ならびに被監視者監視装置
JP2022126070A (ja) 画像処理方法
JP2022126069A (ja) 画像処理方法
JP2023075559A (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
JP2022126071A (ja) 画像処理方法
KR20240045919A (ko) 환자 안전 자동 경고 장치 및 방법

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170306

R150 Certificate of patent or registration of utility model

Ref document number: 6115693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150