JP6668942B2 - 撮影制御装置、プログラム及び方法 - Google Patents

撮影制御装置、プログラム及び方法 Download PDF

Info

Publication number
JP6668942B2
JP6668942B2 JP2016102585A JP2016102585A JP6668942B2 JP 6668942 B2 JP6668942 B2 JP 6668942B2 JP 2016102585 A JP2016102585 A JP 2016102585A JP 2016102585 A JP2016102585 A JP 2016102585A JP 6668942 B2 JP6668942 B2 JP 6668942B2
Authority
JP
Japan
Prior art keywords
subject
unit
image
user
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016102585A
Other languages
English (en)
Other versions
JP2017212495A (ja
Inventor
清水　雅芳
雅芳 清水
琢 福井
琢 福井
宮島　眞一郎
眞一郎 宮島
望夢李 中島
望夢李 中島
友彦 井筒
友彦 井筒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016102585A priority Critical patent/JP6668942B2/ja
Priority to US15/491,195 priority patent/US20170339348A1/en
Publication of JP2017212495A publication Critical patent/JP2017212495A/ja
Priority to US16/374,036 priority patent/US10841501B2/en
Application granted granted Critical
Publication of JP6668942B2 publication Critical patent/JP6668942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は撮影制御装置、撮影制御プログラム及び撮影制御方法に関する。
操作ボタンが押された場合に、カメラで撮影された画像に重畳表示された操作マーカの位置に映っている被写体がカメラ視野の中央に位置するように、カメラの視野方向を自動制御する技術が提案されている。この技術では、操作ボタンが押された時点での操作マーカの位置を中心とする所定領域がテンプレート画像として登録され、撮影された画像のうちテンプレート画像と類似性が最も高い部分が画像中央部に位置する迄、前記部分がカメラによって自動的に追尾される。
特開２００２−３５９７６６号公報
例えば介護や保育などの介助を行う施設では、介助作業者が複数の被介助者の介助を担当することが一般的であり、介助作業者が或る被介助者の介助を行っている間は、残りの被介助者への注意が一時的に手薄になる状況が生じ得る。このため、監視カメラによって撮影された現場の監視画像を別室の表示部に表示し、施設の事務員などの利用者が監視画像を視認することで、介助作業者による注意が一時的に手薄になっている被介助者を見守ることが考えられる。但し、施設の事務員などの利用者は、監視画像を視認する以外の業務も担当しているため、監視画像を視認して被介助者を見守るために必要となる追加作業、例えば、対象者を追尾するために監視カメラを制御する作業は極力排除したいというニーズがある。
ここで、前述した技術を適用した場合、利用者が、見守る対象とする被介助者を監視画像上で一旦指定する作業を行えば、指定した被介助者が監視カメラによって自動的に追尾されることになる。しかし、この場合でも、監視カメラを制御するために、利用者が見守る対象とする被介助者を監視画像上で指定する作業は省略できない。介助の現場では状況が頻繁に変化し、見守る対象とする被介助者を切り替える必要が生じたり、同時に複数の被介助者を見守る必要が生じる可能性があるので、監視画像を視認する利用者の負担を更に削減することが望まれる。
一つの側面では、本発明は、監視対象を撮影領域に含む監視画像を撮像可能なカメラの制御技術を提供することが目的である。
一つの実施態様では、取得部が、監視カメラが撮影した監視画像と、表示部に表示された前記監視画像を視認可能な利用者を利用者カメラが撮影した利用者画像と、を取得する。検出部は、前記取得部によって取得された前記利用者画像に基づいて前記利用者の視線を検出する。特定部は、前記監視画像に含まれ、前記表示部の表示画面上のうち前記検出部によって検出された前記視線の位置に表示された被写体を特定する。そして制御部は、前記特定部によって特定された被写体が前記監視画像として所定時間以上継続して撮影されるように、前記監視カメラの撮影方向及び撮影倍率の少なくとも一方を制御する制御信号を出力する。
一つの側面として、監視対象を撮影領域に含む監視画像を撮像可能なカメラの制御技術を提供できる、という効果を有する。
撮影制御装置の機能ブロック図である。 撮影制御装置として機能するコンピュータの概略ブロック図である。 表示制御部の機能を説明するためのイメージ図である。 表示制御部の機能を説明するためのイメージ図である。 表示制御部の機能を説明するためのイメージ図である。 撮影制御処理の一例を示すフローチャートである。 継続撮影対象特定処理の一例を示すフローチャートである。 対象引継ぎ・異常判定処理の一例を示すフローチャートである。 被写体情報の一例を示す図表である。 内周領域、外周領域及び引継領域を示す概略図である。 継続撮影対象の被写体の位置毎の重みｗの推移を示す線図である。 視線の切替えによる継続撮影対象の追加を説明するためのイメージ図である。 視線の切替えによる継続撮影対象の追加を説明するためのイメージ図である。 視線の切替えによる継続撮影対象の追加を説明するためのイメージ図である。 注視からの経過時間に応じた撮影範囲の変更を説明するためのイメージ図である。 注視からの経過時間に応じた撮影範囲の変更を説明するためのイメージ図である。 継続撮影対象の被写体の移動に伴う撮影範囲の変更を説明するためのイメージ図である。 継続撮影対象の被写体の移動に伴う撮影範囲の変更を説明するためのイメージ図である。 到来した事前登録者の継続撮影対象への追加を説明するためのイメージ図である。 到来した事前登録者の継続撮影対象への追加を説明するためのイメージ図である。 カメラＡの引継領域へ移動した継続撮影対象をカメラＢへ引き継ぐ処理を説明するためのイメージ図である。 カメラＡの引継領域へ移動した継続撮影対象をカメラＢへ引き継ぐ処理を説明するためのイメージ図である。 被写体の異常な動きを報知し、継続撮影対象に追加する処理を説明するためのイメージ図である。 被写体の異常な動きを報知し、継続撮影対象に追加する処理を説明するためのイメージ図である。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。図１には撮影制御装置１０が示されている。撮影制御装置１０は、介護や保育などの介助を行う介助施設の介助現場のうちの互いに異なる場所に設置され、介助現場を撮影して監視画像を出力する複数台の監視カメラ４２が各々接続されている。個々の監視カメラ４２には、モータ等の駆動力により監視カメラ４２の撮影範囲を変更可能な撮影範囲変更部４４が各々取り付けられており、撮影範囲変更部４４も撮影制御装置１０に接続されている。
なお、本実施形態では、撮影範囲変更部４４が、対応する監視カメラ４２の撮影方向を変更することで、監視カメラ４２の撮影範囲を変更する態様を説明する。撮影制御装置１０は、個々の監視カメラ４２の撮影方向を制御する制御信号を対応する撮影範囲変更部４４へ出力することで、個々の監視カメラ４２の撮影範囲を制御する。
また、撮影制御装置１０は、介助施設のうち介助現場とは異なる部屋、例えば介護施設の事務職員等の利用者が業務を行う部屋に設置された主表示部４６、副表示部４８、利用者カメラ５０及び報知部５２が各々接続されている。撮影制御装置１０は、複数台の監視カメラ４２によって撮影された複数の監視画像を、主表示部４６又は副表示部４８に各々表示させる。
個々の監視画像には、通常、１人以上の被介助者が被写体として含まれいる。利用者は、主に担当している業務の合間に、主表示部４６又は副表示部４８に表示された監視画像を視認し、介助作業者の注意が一時的に手薄になっている被介助者が存在していないか否か確認する。そして、利用者は、介助作業者の注意が一時的に手薄になっている被介助者が存在していた場合、当該被介助者を監視画像上で見守り、必要に応じて介助作業者に連絡する、などの介助補助作業を行う。
利用者カメラ５０は、主表示部４６又は副表示部４８に表示された監視画像を視認する利用者を撮影し、利用者画像を出力する。なお、利用者カメラ５０は可視光カメラであってもよいし、赤外光源を備えた赤外カメラであってもよい。報知部５２は、異常の発生を利用者に報知するためのブザー等を含む。
撮影制御装置１０は、取得部１２、表示制御部１４、視線検出部１６、特定部１８、撮影制御部２０、第１記憶部３２及び第２記憶部３８を含んでいる。また、特定部１８は、被写体抽出部２２、継続撮影対象特定部２４、事前登録者特定部２６、異常判定部２８及び報知信号出力部３０を含んでいる。
取得部１２は、複数の監視カメラ４２が撮影した複数の監視画像と、利用者カメラ５０が撮影した利用者画像と、を各々取得する。視線検出部１６は、利用者カメラ５０によって撮影された利用者画像に基づいて、利用者の視線の方向を検出する。表示制御部１４は、複数の監視カメラ４２が撮影した複数の監視画像のうちの何れか１つを主表示部４６の全面に主監視画像として表示させ、残りの監視画像を副表示部４８にサムネイル画像としてマトリクス表示させる(図３Ａも参照)。また、表示制御部１４は、視線検出部１６から利用者の視線の方向を取得し、利用者の視線の方向に応じて、主表示部４６に表示させる監視画像の入れ替えを行う。
特定部１８は、複数の監視カメラ４２が撮影した個々の監視画像に含まれる被写体のうち、所定時間以上継続して撮影する継続撮影対象とする被写体を特定する。すなわち、特定部１８の被写体抽出部２２は、個々の監視画像に含まれる被写体(人物)を全て抽出し、被写体の抽出結果を、被写体情報３４として第１記憶部３２に監視カメラ４２毎に記憶させる。継続撮影対象特定部２４は、被写体抽出部２２によって主監視画像より抽出された被写体から、主表示部４６の表示画面上のうち視線検出部１６によって検出された利用者の視線上の位置に表示された被写体を継続撮影対象として特定する。
事前登録者特定部２６は、被写体抽出部２２によって個々の監視画像より抽出された被写体から、第２記憶部３８に事前登録者情報４０として記憶された特徴を有する被写体を継続撮影対象として特定する。異常判定部２８は、被写体抽出部２２によって個々の監視画像より抽出された被写体に異常な動きが無いか否かを判定し、異常な動きが有った被写体を継続撮影対象として特定する。報知信号出力部３０は、異常判定部２８によって異常な動きが有った被写体が検知された場合に、報知部５２を作動させて利用者に報知するための報知信号を出力する。
撮影制御部２０は、個々の監視画像毎に、特定部１８によって継続撮影対象として特定された被写体が監視画像として所定時間以上継続して撮影されるように、対応する監視カメラ４２の撮影範囲を制御する制御信号を対応する撮影範囲変更部４４へ出力する。また第１記憶部３２は、個々の監視カメラ４２の撮影可能範囲の位置関係(例えば、監視カメラｘの撮影可能範囲の右隣に監視カメラｙの撮影可能範囲が位置している等)を表す監視カメラ情報３６を予め記憶している。
なお、取得部１２は開示の技術における取得部の一例であり、視線検出部１６は開示の技術における検出部の一例であり、継続撮影対象特定部２４を含む特定部１８は開示の技術における特定部の一例である。また、撮影制御部２０は開示の技術における制御部の一例であり、被写体抽出部２２は開示の技術における抽出部の一例であり、事前登録者特定部２６は開示の技術における事前登録者特定部の一例である。また、異常判定部２８は開示の技術における異常判定部の一例であり、報知信号出力部３０は開示の技術における報知信号出力部の一例である。
撮影制御装置１０は、例えば図２に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ６２、一時記憶領域としてのメモリ６４及び不揮発性の記憶部６６を含む。また、コンピュータ６０は、撮影範囲変更部４４を含む複数の監視カメラ４２及び利用者カメラ５０が各々接続されるカメラインターフェース(Ｉ／Ｆ)６８、主表示部４６、副表示部４８及び報知部５２が各々接続される表示部Ｉ／Ｆ７０を含む。また、コンピュータ６０は、入出力装置７２が接続される入出力Ｉ／Ｆ７４、記録媒体７６に対するデータの読み出し及び書き込みを行う読出書込装置(Ｒ／Ｗ)７８を含む。ＣＰＵ６２、メモリ６４、記憶部６６、カメラＩ／Ｆ６８、表示部Ｉ／Ｆ７０、入出力Ｉ／Ｆ７４及びＲ／Ｗ７８は、バス７９を介して互いに接続されている。
記憶部６６はＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)、フラッシュメモリ等によって実現される。記憶部６６には、コンピュータ６０を撮影制御装置１０として機能させるための撮影制御プログラム８０が記憶されている。ＣＰＵ６２は、撮影制御プログラム８０を記憶部６６から読み出してメモリ６４に展開し、撮影制御プログラム８０が有するプロセスを順次実行する。
撮影制御プログラム８０は、取得プロセス８２、表示制御プロセス８４、視線検出プロセス８６、特定プロセス８８及び撮影制御プロセス９０を含む。また、特定プロセス８８は、被写体抽出プロセス９２、継続撮影対象特定プロセス９４、事前登録者特定プロセス９６、異常判定プロセス９８及び報知信号出力プロセス１００を含んでいる。
ＣＰＵ６２は、取得プロセス８２を実行することで、図１に示す取得部１２として動作する。また、ＣＰＵ６２は、表示制御プロセス８４を実行することで、図１に示す表示制御部１４として動作する。また、ＣＰＵ６２は、視線検出プロセス８６を実行することで、図１に示す視線検出部１６として動作する。また、ＣＰＵ６２は、特定プロセス８８を実行することで、図１に示す特定部１８として動作する。また、ＣＰＵ６２は、撮影制御プロセス９０を実行することで、図１に示す撮影制御部２０として動作する。
より詳しくは、ＣＰＵ６２は、被写体抽出プロセス９２を実行することで、図１に示す被写体抽出部２２として動作する。また、ＣＰＵ６２は、継続撮影対象特定プロセス９４を実行することで、図１に示す継続撮影対象特定部２４として動作する。また、ＣＰＵ６２は、事前登録者特定プロセス９６を実行することで、図１に示す事前登録者特定部２６として動作する。また、ＣＰＵ６２は、異常判定プロセス９８を実行することで、図１に示す異常判定部２８として動作する。また、ＣＰＵ６２は、報知信号出力プロセス１００を実行することで、図１に示す報知信号出力部３０として動作する。これにより、撮影制御プログラム８０を実行したコンピュータ６０が、撮影制御装置１０として機能することになる。
また、記憶部６６には被写体情報記憶領域１０２、監視カメラ情報記憶領域１０４及び事前登録者情報記憶領域１０６が設けられている。そして、被写体情報記憶領域１０２には被写体情報３４が記憶され、監視カメラ情報記憶領域１０４には監視カメラ情報３６が記憶され、事前登録者情報記憶領域１０６には事前登録者情報４０が記憶されている。従って、記憶部６６は図１に示す第１記憶部３２及び第２記憶部３８として機能する。
なお、コンピュータ６０は、介助施設に設置されていることに限られるものではなく、介助施設とは別の場所に設置され介助施設に設けられた監視カメラ４２等の各機器とネットワークを経由して通信を行うサーバ・コンピュータであってもよい。また、撮影制御装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
次に本実施形態の作用として、まず表示制御部１４について説明する。撮影制御装置１０の電源が投入され、複数の監視カメラ４２から複数の監視画像が入力されると、表示制御部１４は、一例として図３Ａに示すように、複数の監視画像のうちの何れか１つを主表示部４６の全面に主監視画像として表示させる。主表示部４６に当初表示させる監視画像は、所定の監視カメラ４２から入力された監視画像であってもよいし、撮影制御装置１０の電源が切断される直前に主表示部４６に表示させていた監視画像であってもよい。また表示制御部１４は、一例として図３Ａに示すように、複数の監視画像のうち主表示部４６に表示させていない残りの監視画像を、副表示部４８にサムネイル画像としてマトリクス表示させる。
また、表示制御部１４は、視線検出部１６によって検出された利用者の視線の方向を視線検出部１６から定期的に取得し、利用者の視線が副表示部４８に表示させている特定のサムネイル画像に所定時間以上停留したか否かを監視する。そして、表示制御部１４は、利用者の視線が特定のサムネイル画像に所定時間以上停留したことを検知した場合、主表示部４６に表示させる主監視画像を切り替える。
一例として図３Ｂに示すように、主表示部４６に監視カメラｘの監視画像を表示させている状態で、利用者の視線が監視カメラｙのサムネイル画像に所定時間以上停留したことを検知した場合、一例として図３Ｃに示すように主監視画像を切り替える。すなわち、監視カメラｙの監視画像を主表示部４６の全面に主監視画像として表示させる一方、副表示部４８の表示画面のうち監視カメラｙのサムネイル画像を表示していた位置に、監視カメラｘのサムネイル画像を表示させる。
これにより、撮影画像が副表示部４８にサムネイル画像として表示されている監視カメラ４２の撮影範囲内で、利用者が状況を確認したい事象が発生した場合にも、利用者がサムネイル画像を所定時間以上注視することで、主表示部４６に拡大表示される。従って、介助補助作業以外の業務を行う利用者の負担を軽減することができる。
また、第１記憶部３２に記憶されている被写体情報３４は、一例として図７に示すように、個々の監視カメラ４２が主表示部４６に表示中か否かを表す情報(図７では「表示対象」と表記)を含んでいる。表示制御部１４は、主表示部４６に表示させる主監視画像を切り替える度に、被写体情報３４に含まれる上記情報を更新する。
次に、撮影制御装置１０の電源が投入されるとＣＰＵ６２が撮影制御プログラム８０を実行することで、撮影制御装置１０によって行われる撮影制御処理について、図４〜図６を参照して説明する。
撮影制御処理のステップ１５０において、被写体抽出部２２は、記憶部６６の被写体情報記憶領域１０２をクリアする。ステップ１５２において、取得部１２は、利用者カメラ５０から利用者画像を取得する。そしてステップ１５４において、視線検出部１６は、取得部１２によって取得された利用者画像から利用者の眼部領域を抽出し、抽出した利用者の眼部領域に基づいて利用者の視線の方向を検出する。
視線の方向の検出は、例えば、利用者の眼部領域から利用者の眼球の中心位置を推定すると共に、利用者の瞳孔の中心位置を算出し、眼球の中心位置と瞳孔の中心位置とを通る直線の方向を利用者の視線の方向として検出することができる。また、例えば利用者カメラ５０が可視光カメラであれば、利用者の眼部のうちの目頭を基準点、虹彩を動点とし、基準点(目頭)と動点(虹彩)との位置関係に基づいて利用者の視線の方向を検出することも可能である。また、例えば利用者カメラ５０が赤外光源を備えた赤外カメラであれば、利用者の眼部のうちの赤外光の角膜反射点を基準点、瞳孔を動点とし、基準点(角膜反射点)と動点(瞳孔)との位置関係に基づいて利用者の視線の方向を検出することも可能である。
ステップ１５６において、撮影制御部２０は、個々の監視カメラ４２を識別するための変数ｉに１を設定する。ステップ１５８において、取得部１２は、ｉ番目の監視カメラ４２から監視画像(以下、監視画像ｉという)を取得する。そしてステップ１６０において、被写体抽出部２２は、取得部１２によって取得された監視画像ｉに映っている全ての被写体(人物)の領域を抽出する。
被写体抽出部２２による被写体(人物)の抽出は、公知の様々な手法の何れを適用してもよい。一例を挙げると、まず監視画像ｉと、ｉ番目の監視カメラ４２で予め撮影しておいた背景画像との差分を演算し、差分領域を抽出する。なお、本実施形態では監視カメラ４２の撮影範囲が可変であるが、撮影範囲を相違させて複数の背景画像を撮影しておき、現在のｉ番目の監視カメラ４２の撮影範囲に最も近似する背景画像を差分の演算に用いればよい。
次に、抽出した差分領域を二値化し、ノイズを除去し、ラベリングにより個々の被写体(人物)に対応する可能性の有る複数の領域に分離する。そして、分離した個々の領域毎にサイズや形状などの特徴量を算出し、算出した特徴量に基づいて被写体(人物)に対応する領域の確度を検定し、被写体(人物)以外の物体に対応する領域を除去する。これにより、監視画像ｉに映っている全ての被写体(人物)の領域を抽出できる。なお、上記以外の手法を適用して被写体(人物)を抽出してもよいことは言うまでもない。また、被写体(人物)の領域を一旦抽出した後は、監視画像ｉ上の位置や色(例えば色ヒストグラム)、移動ベクトル等の他の特徴量を用いて被写体(人物)の領域を追跡するようにしてもよい。
ステップ１６２において、被写体抽出部２２は、ｉ番目の監視カメラ４２の監視画像ｉからの被写体の領域の抽出結果に基づいて、第１記憶部３２に記憶されている被写体情報３４を登録又は更新する。図７に示すように、被写体情報３４は、個々の監視カメラ４２毎に、監視画像に含まれる各被写体の属性情報を含んでいる。各被写体の属性情報は、被写体ＩＤ、特徴量情報、位置座標、画像範囲、継続撮影対象フラグ、重みレベル、事前登録者フラグ、継続撮影開始時刻、累積視線停留時間、視線停留中フラグを含んでいる。
被写体抽出部２２は、上記の各種の属性情報のうち、被写体ＩＤ、特徴量情報、位置座標及び画像範囲を登録又は更新する。このうち、被写体ＩＤは個々の被写体を識別するためのＩＤである。以下では、監視画像ｉから抽出されたｊ番目の被写体を被写体Ｓｉｊと表記する。また、特徴量情報は個々の被写体の特徴を表す情報であり、例えば、サイズ(身長などでもよい)、形状、色(例えば色ヒストグラム)、移動ベクトル等の少なくとも１つを含む。位置座標は、監視画像ｉ上での個々の被写体の位置、例えば重心位置である。画像範囲は、監視画像ｉ上での個々の被写体が占める範囲を表す情報である。なお、特徴量情報にサイズが含まれる場合、被写体の範囲は省略してもよい。
被写体抽出部２２は、監視画像ｉから抽出した被写体の情報が被写体情報３４に未登録の場合、個々の被写体毎に、被写体ＩＤ、特徴量情報、位置座標及び画像範囲を被写体情報３４に新規登録する。また、被写体抽出部２２は、監視画像ｉから抽出した被写体の情報が被写体情報３４に既登録の場合、個々の被写体毎に、特徴量情報、位置座標及び画像範囲を既登録の情報と比較し、情報が既登録の被写体か否かを判定する。そして、被写体抽出部２２は、情報が既登録と判定した被写体については、被写体情報３４に既登録の特徴量情報、位置座標及び画像範囲を更新し、情報が未登録と判定した被写体については、被写体ＩＤを含む各情報を被写体情報３４に新規登録する。
なお、被写体抽出部２２は、後述する異常判定部２８による判定のため、個々の被写体毎に、複数回の被写体抽出処理で得られた各々複数の特徴量情報、位置座標及び画像範囲(の推移)を、被写体ＩＤと対応付けてメモリ６４にも記憶させる。
ステップ１６４において、特定部１８は、個々の被写体を識別するための変数ｊに１を設定する。次のステップ１６６において、特定部１８は、監視画像ｉから抽出したｊ番目の被写体Ｓｉｊの情報を被写体情報３４から読み込む。そしてステップ１６８において、特定部１８は、ステップ１６６で読み込んだ被写体Ｓｉｊの情報に基づいて、被写体Ｓｉｊが継続撮影の対象か否かを特定する継続撮影対象特定処理を行う。
以下、図５を参照して継続撮影対象特定処理を説明する。ステップ２００において、特定部１８の事前登録者特定部２６は、先に読み込んだ被写体Ｓｉｊの情報に含まれる事前登録者フラグがオンか否かに基づいて、被写体Ｓｉｊが事前登録者に設定済か否か判定する。事前登録者フラグは、対応する被写体が、第２記憶部３８に事前登録者情報４０として記憶された特徴を有する事前登録者であると判定した場合にオンされるフラグであり、初期値はオフである。
ステップ２００の判定が否定された場合はステップ２０２へ移行し、ステップ２０２において、事前登録者特定部２６は、被写体Ｓｉｊの特徴量情報が、第２記憶部３８に事前登録者情報４０として記憶された特徴と合致するか否か判定する。事前登録者情報４０は、介助施設を利用する被介助者のうち、例えば介助が必要な度合いが高い等のように、重点的に見守ることが望ましい被介助者の特徴を予め登録した情報である。事前登録者情報４０には、例えば、重点的に見守ることが望ましい被介助者の歩き方の特徴などの情報が含まれていてもよい。被写体Ｓｉｊの特徴量情報が事前登録者情報４０が表す事前登録者の特徴と合致しない場合は、ステップ２０２の判定が否定されてステップ２０４へ移行する。
ステップ２０４において、継続撮影対象特定部２４は、被写体Ｓｉｊの情報に含まれる継続撮影対象フラグがオンでかつ重みレベルｗｉｊが下限値以上か否かに基づいて、被写体Ｓｉｊが継続撮影対象に設定済か否か判定する。継続撮影対象フラグは、対応する被写体の画像に利用者の視線が所定時間以上停留した場合にオンされるフラグであり、初期値はオフである。ステップ２０４の判定が否定された場合はステップ２０６へ移行する。
ステップ２０６において、継続撮影対象特定部２４は、監視画像ｉは主表示部４６に主監視画像として表示中か否か判定する。ステップ２０６の判定が否定された場合は継続撮影対象特定処理を終了する。これにより、副表示部４８にサムネイル画像として表示中の監視画像ｉに映っている個々の被写体に対しては、後述する継続撮影対象フラグや重みレベルｗｉｊの更新は行われない。従って、副表示部４８にサムネイル画像として表示中の監視画像ｉについては、個々の被写体の継続撮影対象フラグや重みレベルｗｉｊが、監視画像ｉが主表示部４６に主監視画像として表示されていたときの値のまま維持される。
一方、ステップ２０６の判定が肯定された場合はステップ２０８へ移行し、ステップ２０８において、継続撮影対象特定部２４は、視線検出部１６によって検出された利用者の視線の方向を視線検出部１６から取得する。そして、継続撮影対象特定部２４は、主表示部４６の表示画面のうち利用者の視線上の位置が被写体Ｓｉｊの画像範囲に含まれるか否かに基づいて、被写体Ｓｉｊの画像が利用者の視線上に位置しているか否か判定する。被写体Ｓｉｊの画像が利用者の視線上に位置していない場合、ステップ２０８の判定が否定されてステップ２１０へ移行する。ステップ２１０において、継続撮影対象特定部２４は、被写体Ｓｉｊの停留中フラグ及び累積視線停留時間Ｔに各々０を設定し、継続撮影対象特定処理を終了する。
また、被写体Ｓｉｊの画像が利用者の視線上に位置している場合は、ステップ２０８の判定が肯定されてステップ２１２へ移行し、ステップ２１２において、継続撮影対象特定部２４は、被写体Ｓｉｊの停留中フラグに１が設定されているか否か判定する。ステップ２１２の判定が否定された場合はステップ２１４へ移行し、ステップ２１４において、継続撮影対象特定部２４は、被写体Ｓｉｊの停留中フラグに１を設定し、継続撮影対象特定処理を終了する。
また、ステップ２１２の判定が肯定された場合はステップ２１６へ移行する。ステップ２１６において、継続撮影対象特定部２４は、被写体Ｓｉｊの累積視線停留時間Ｔに所定時間(個々の被写体毎の処理の実行時間間隔に相当する時間)を加算することで、被写体Ｓｉｊの累積視線停留時間Ｔを更新する。次のステップ２１８において、継続撮影対象特定部２４は、ステップ２１６の更新を経た累積視線停留時間Ｔが閾値以上か否か判定する。ステップ２１８の判定が否定された場合は継続撮影対象特定処理を終了する。従って、被写体Ｓｉｊの累積視線停留時間Ｔが閾値に達する前に、利用者の視線が被写体Ｓｉｊの画像から逸れた場合は、被写体Ｓｉｊの停留中フラグ及び累積視線停留時間Ｔが各々０に戻ることになる。
また、被写体Ｓｉｊの画像が利用者の視線上に位置している状態が閾値以上の時間継続した場合は、ステップ２１８の判定が肯定されてステップ２２０へ移行する。ステップ２２０において、継続撮影対象特定部２４は、被写体Ｓｉｊの継続撮影対象フラグに１を設定することで、被写体Ｓｉｊを、ｉ番目の監視カメラ４２によって所定時間以上継続して撮影する継続撮影対象に設定する。また、継続撮影対象特定部２４は、被写体Ｓｉｊの継続撮影開始時刻ｔｉｊに現時刻を設定する。
次のステップ２２２において、継続撮影対象特定部２４は、被写体Ｓｉｊの重みレベルｗｉｊに、監視画像ｉ上での被写体Ｓｉｊの位置に応じた初期値を設定する。本実施形態では、図８Ａに示すように、監視画像上の領域を、監視画像の中心部を含む内周領域と、内周領域の周囲を取り囲む外周領域と、外周領域の周縁部に設けた引継領域と、に区分している。そして図８Ｂに示すように、継続撮影対象の被写体が外周領域に位置している場合、内周領域に位置している場合よりも、重みレベルｗの初期値を大きくし、時間経過に伴う重みレベルｗの減少の傾きが小さくなるように、重みレベルｗを変化させている。なお、重みレベルｗをこのように変化させることで、重みレベルｗが下限値未満になるまでの少なくとも所定時間は、継続撮影対象の被写体が継続的に撮影される。
このため、ステップ２２２では、被写体Ｓｉｊが外周領域に位置しているか内周領域に位置しているかに応じた初期値を重みレベルｗｉｊに設定する。なお、被写体Ｓｉｊが引継領域に位置している場合は、後述する対象引継ぎ・異常判定処理により、ｉ番目の監視カメラ４２による継続撮影対象から被写体Ｓｉｊが除外されるので、ステップ２２２での被写体Ｓｉｊの重みレベルｗｉｊの設定は不要である。次のステップ２２４において、継続撮影対象特定部２４は、被写体Ｓｉｊの累積視線停留時間Ｔを０に戻し、継続撮影対象特定処理を終了する。
また、ステップ２０４において、被写体Ｓｉｊがｉ番目の監視カメラ４２による継続撮影対象に設定済みの場合には、ステップ２０４の判定が肯定されてステップ２２６へ移行する。ステップ２２６において、継続撮影対象特定部２４は、被写体Ｓｉｊの継続撮影開始時刻ｔｉｊからの経過時間を演算する。次のステップ２２８において、継続撮影対象特定部２４は、監視画像ｉは主表示部４６に主監視画像として表示中か否か判定する。ステップ２２８の判定が否定された場合は継続撮影対象特定処理を終了する。
また、ステップ２２８の判定が肯定された場合はステップ２３０へ移行し、ステップ２３０において、継続撮影対象特定部２４は、視線検出部１６によって検出された利用者の視線の方向を視線検出部１６から取得する。そして、継続撮影対象特定部２４は、被写体Ｓｉｊの画像が利用者の視線上に位置しているか否か判定する。被写体Ｓｉｊの画像が利用者の視線上に位置していない場合、ステップ２３０の判定が否定されてステップ２１０へ移行する。ステップ２１０において、継続撮影対象特定部２４は、被写体Ｓｉｊの停留中フラグに０を設定し、継続撮影対象特定処理を終了する。
また、被写体Ｓｉｊの画像が利用者の視線上に位置している場合は、ステップ２３０の判定が肯定されてステップ２３４へ移行し、ステップ２３４において、継続撮影対象特定部２４は、被写体Ｓｉｊの停留中フラグが１か否か判定する。ステップ２３４の判定が否定された場合はステップ２３６へ移行し、ステップ２３６において、継続撮影対象特定部２４は、被写体Ｓｉｊの停留中フラグに１を設定し、継続撮影対象特定処理を終了する。
また、ステップ２３４の判定が肯定された場合はステップ２３８へ移行する。ステップ２３８において、継続撮影対象特定部２４は、被写体Ｓｉｊの累積視線停留時間Ｔに所定時間(個々の被写体毎の処理の実行時間間隔に相当する時間)を加算することで、被写体Ｓｉｊの累積視線停留時間Ｔを更新する。次のステップ２４０において、継続撮影対象特定部２４は、ステップ２３８の更新を経た累積視線停留時間Ｔが閾値以上か否か判定する。
ステップ２４０の判定が否定された場合はステップ２４２へ移行する。この場合、被写体Ｓｉｊは利用者によってさほど注視されていないと判断できる。このため、ステップ２４２において、継続撮影対象特定部２４は、被写体Ｓｉｊの重みレベルｗｉｊから、監視画像ｉ上の被写体Ｓｉｊの位置と、被写体Ｓｉｊの継続撮影開始時刻ｔｉｊからの経過時間に応じた所定値を減算する。具体的には、被写体Ｓｉｊが外周領域に位置しているか内周領域に位置しているかに応じた傾き(図８Ｂ参照)に経過時間を乗じた値を所定値として演算し、演算した所定値を被写体Ｓｉｊの重みレベルｗｉｊから減算する。そして、継続撮影対象特定処理を終了する。
また、ステップ２４０の判定が肯定された場合はステップ２４４へ移行する。この場合、被写体Ｓｉｊは利用者によって注視されている度合いが高いと判断できる。このため、ステップ２４４において、継続撮影対象特定部２４は、被写体Ｓｉｊの重みレベルｗｉｊに所定値を加算し、継続撮影対象特定処理を終了する。ステップ２４４における所定値としては一定値を用いてもよいし、被写体Ｓｉｊが外周領域に位置しているか内周領域に位置しているかに応じて値を切り替えてもよい。
また、ステップ２０２において、被写体Ｓｉｊの特徴量情報が、第２記憶部３８に事前登録者情報４０として記憶された特徴と合致していた場合は、ステップ２０２の判定が肯定されてステップ２４６へ移行する。ステップ２４６において、事前登録者特定部２６は、被写体Ｓｉｊの事前登録者フラグ及び継続撮影対象フラグを各々１に設定することで、被写体Ｓｉｊを事前登録者でかつ継続撮影対象に設定する。また、ステップ２４８において、事前登録者特定部２６は、被写体Ｓｉｊの重みレベルｗｉｊに所定値を設定し、継続撮影対象特定処理を終了する。
事前登録者に一旦設定された被写体Ｓｉｊは、ステップ２００の判定が毎回肯定される。ステップ２００の判定が肯定された場合は継続撮影対象特定処理を終了するので、事前登録者に一旦設定された被写体Ｓｉｊは、事前登録者でかつ継続撮影対象に設定された状態のまま維持される。
上述した継続撮影対象特定処理を終了すると、撮影制御処理(図４)のステップ１７０へ移行し、ステップ１７０において、特定部１８は、対象引継ぎ・異常判定処理を行う。この対象引継ぎ・異常判定処理について、図６を参照して説明する。
対象引継ぎ・異常判定処理のステップ２６０において、特定部１８は、被写体Ｓｉｊの継続撮影対象フラグが１か否かを判定することで、被写体Ｓｉｊが継続撮影対象か否か判定する。ステップ２６０の判定が否定された場合はステップ２７０へ移行する。また、被写体Ｓｉｊが継続撮影対象である場合は、ステップ２６０の判定が肯定されてステップ２６２へ移行する。ステップ２６２において、特定部１８は、被写体Ｓｉｊが監視画像ｉの引継領域に位置しているか否か判定する。判定が否定された場合はステップ２７０へ移行し、ステップ２６２の判定が肯定された場合はステップ２６４へ移行する。
被写体Ｓｉｊが継続撮影対象でかつ監視画像ｉの引継領域に位置している場合、ステップ２６４において、特定部１８は、第１記憶部３２に記憶されている監視カメラ情報３６を参照する。そして特定部１８は、ｉ番目の監視カメラ４２と、被写体Ｓｉｊの位置が偏っている側に撮影可能範囲が隣り合っている監視カメラ４２を認識する。なお、以下ではステップ２６４で認識される監視カメラ４２を、便宜的に「ｋ番目の監視カメラ４２」という。
次のステップ２６６において、特定部１８は、第１記憶部３２に記憶されている被写体情報３４のうち、ｉ番目の監視カメラ４２に対応する被写体情報から、被写体Ｓｉｊの情報を、ｋ番目の監視カメラ４２に対応する被写体情報に複写して追加する。なお、被写体Ｓｉｊの位置座標Ｐｉｊについては、介助施設の介助現場に設定した三次元座標の座標値へ一旦変換した後に、ｋ番目の監視カメラ４２の監視画像上の位置座標Ｐｋｘへ再変換して設定する。これにより、被写体Ｓｉｊがｋ番目の監視カメラ４２による継続撮影対象に追加設定され、被写体Ｓｉｊの継続撮影がｉ番目の監視カメラ４２からｋ番目の監視カメラ４２へ引き継がれる。また、次のステップ２６８において、特定部１８は、ｉ番目の監視カメラ４２に対応する被写体情報に含まれる被写体Ｓｉｊの継続撮影対象フラグに０を設定することで、被写体Ｓｉｊをｉ番目の監視カメラ４２の継続撮影対象から除外する。
また、ステップ２７０において、異常判定部２８は、被写体抽出部２２による複数回の被写体抽出処理でメモリ６４に記憶された被写体Ｓｉｊの特徴量情報、位置座標及び画像範囲の推移に基づいて、被写体Ｓｉｊに異常な動きが有ったか否か判定する。なお、異常な動きの典型例は転倒であり、転倒などの異常な動きは、例えば被写体Ｓｉｊの領域の形状の急激な変化などに基づいて判定できる。ステップ２７０の判定が否定された場合は対象引継ぎ・異常判定処理を終了する。
また、被写体Ｓｉｊに転倒などの異常な動きが有った場合は、ステップ２７０の判定が肯定されてステップ２７２へ移行し、ステップ２７２において、報知信号出力部３０は、報知部５２を作動させて利用者へ報知するための報知信号を出力する。これにより、被写体Ｓｉｊに転倒などの異常な動きが有ったことが利用者へ報知される。また、副表示部４８にサムネイル画像として表示されている監視画像内で被写体Ｓｉｊに異常な動きが有った場合にも利用者へ報知される。
ステップ２７４において、異常判定部２８は、ｉ番目の監視カメラ４２に対応する被写体情報に含まれる被写体Ｓｉｊの継続撮影対象フラグに１を設定することで、ｉ番目の監視カメラ４２による継続撮影対象に被写体Ｓｉｊを追加する。またステップ２７６において、異常判定部２８は、ｉ番目の監視カメラ４２に対応する被写体情報に含まれる被写体Ｓｉｊの重みレベルｗｉｊに所定値を設定し、対象引継ぎ・異常判定処理を終了する。
なお、転倒などの異常な動きが有った被写体Ｓｉｊに対する処理は上記に限られるものではなく、事前登録者フラグを予め設定した時間は１に設定しておくことで、被写体Ｓｉｊをより長い時間、継続撮影対象に設定しておくようにしてもよい。
上述した対象引継ぎ・異常判定処理を終了すると、撮影制御処理(図４)のステップ１７２において、特定部１８は、監視画像ｉに含まれる全ての被写体に対して処理を行ったか否か判定する。ステップ１７２の判定が否定された場合はステップ１７４へ移行し、ステップ１７４において、特定部１８は変数ｊを１だけインクリメントする。ステップ１７４の処理を行うとステップ１６６に戻り、ステップ１７２の判定が肯定される迄、ステップ１６６〜１７４を繰り返す。これにより、監視画像ｉに含まれる全ての被写体に対し、継続撮影対象特定処理及び対象引継ぎ・異常判定処理が各々行われる。
監視画像ｉに含まれる全ての被写体に対して継続撮影対象特定処理及び対象引継ぎ・異常判定処理を完了すると、ステップ１７２の判定が肯定されてステップ１７６へ移行する。ステップ１７６において、撮影制御部２０は、被写体情報３４に含まれるｉ番目の監視カメラ４２に対応する被写体情報を参照し、ｉ番目の監視カメラ４２による継続撮影対象の被写体が存在するか否か判定する。ｉ番目の監視カメラ４２に対応する被写体情報の中に、継続撮影対象フラグが１に設定されている被写体の情報が存在しない場合は、ステップ１７６の判定が否定されてステップ１８６へ移行する。
また、ｉ番目の監視カメラ４２に対応する被写体情報の中に、継続撮影対象フラグが１に設定されている被写体の情報が存在する場合は、ステップ１７６の判定が肯定されてステップ１７８へ移行する。ステップ１７８において、撮影制御部２０は、ｉ番目の監視カメラ４２に対応する被写体情報から、継続撮影対象フラグが１に設定されている各被写体の重みレベルｗを各々読み込む。
そして、ステップ１８０において、撮影制御部２０は、ｉ番目の監視カメラ４２の継続撮影対象に設定されている各被写体の重み付き平均位置を演算する。例えば、ｉ番目の監視カメラ４２の継続撮影対象に設定されている被写体の総数をｎ、ｍ番目の継続撮影対象の被写体の重みレベルをｗｍ、位置座標を(ｘｍ,ｙｍ)とすると、ｍ番目の継続撮影対象の被写体の重み比率Ｗｍは次の(１)式で演算できる。そして、継続撮影対象の各被写体の重み付き平均位置(Ｘ,Ｙ)は次の(２)式で演算できる。
ステップ１８２において、撮影制御部２０は、ステップ１８０で演算した継続撮影対象の各被写体の重み付き平均位置(Ｘ,Ｙ)は、ｉ番目の監視カメラ４２の撮影可能範囲内か否か判定する。ステップ１８２の判定が肯定された場合はステップ１８４へ移行する。
ステップ１８４において、撮影制御部２０は、ｉ番目の監視カメラ４２による撮影範囲の中心が演算した重み付き平均位置(Ｘ,Ｙ)に一致するようにｉ番目の監視カメラ４２の撮影範囲を制御する制御信号を、対応する撮影範囲変更部４４へ出力する。これにより、ｉ番目の監視カメラ４２による撮影範囲の中心が、ｉ番目の監視カメラ４２の継続撮影対象の被写体の重み付き平均位置(Ｘ,Ｙ)に一致される。なお、ステップ１８２の判定が否定された場合はステップ１８４をスキップしてステップ１８６へ移行する。
ステップ１８６において、撮影制御部２０は、上述した処理を全ての監視カメラ４２に対して行ったか否か判定する。ステップ１８６の判定が否定された場合はステップ１８８へ移行し、ステップ１８８において、撮影制御部２０は、変数ｉを１だけインクリメントし、ステップ１５８に戻る。これにより、ステップ１８６の判定が肯定される迄、ステップ１５８〜１８８が繰り返され、上述した処理が全ての監視カメラ４２に対して各々行われる。また、ステップ１８６の肯定された場合はステップ１５２に戻り、利用者の視線検出から全ての処理が繰り返される。
上述した撮影制御処理の作用を、図面を参照して更に説明する。先に説明したように、主表示部４６に表示された主監視画像に映っている被写体のうち、利用者が閾値以上の時間継続して視線を向けた被写体は、継続撮影対象に設定される。
ここで、図９Ａに示すように、利用者１２０は、主監視画像に映っている継続撮影対象でない被写体(被介助者)１２２Ｂが気になった場合、自然な動作として、気になった被写体１２２Ｂに視線を向ける。そして、利用者１２０が気になった被写体１２２Ｂに視線を向けている状態が閾値以上の時間継続すると、図９Ｂに示すように、利用者１２０が視線を向けた被写体１２２Ｂが継続撮影対象に追加設定される。これに伴い、主監視画像を撮影している監視カメラ４２の撮影範囲の中心は、既に継続撮影対象に設定されていた被写体１２２Ａと、継続撮影対象に追加設定された被写体１２２Ｂと、の重み付き平均位置へ移動される。これにより、主監視画像の撮影範囲は、利用者１２０が何ら操作を行うことなく、継続撮影対象の被写体１２２Ａ,１２２Ｂの各々を見守るのに適した範囲に制御される。
更に、図９Ｂに示すように、利用者１２０は、主監視画像に映っている継続撮影対象でない被写体(被介助者)１２２Ｃが気になった場合、自然な動作として、気になった被写体１２２Ｃに視線を向ける。そして、利用者１２０が気になった被写体１２２Ｃに視線を向けている状態が閾値以上の時間継続すると、図９Ｃに示すように、利用者１２０が視線を向けた被写体１２２Ｃも継続撮影対象に追加設定される。これに伴い、主監視画像を撮影している監視カメラ４２の撮影範囲の中心は、継続撮影対象の被写体１２２Ａ,１２２Ｂ,１２２Ｃの重み付き平均位置へ移動される。これにより、主監視画像の撮影範囲は、利用者１２０が何ら操作を行うことなく、継続撮影対象の被写体１２２Ａ〜１２２Ｃの各々を見守るのに適した範囲に制御される。
次に、図１０Ａに示すように、２つの被写体１２２Ａ,１２２Ｂが既に継続撮影対象に設定され、主監視画像を撮影している監視カメラ４２の撮影範囲の中心が、継続撮影対象の被写体１２２Ａ,１２２Ｂの重み付き平均位置に位置している状態を考える。なお、被写体１２２Ａは利用者１２０が注視することで継続撮影対象に設定されてから30秒が経過し、被写体１２２Ｂは利用者１２０が注視することで継続撮影対象に設定されてから100秒が経過しているものとする。この状態で、利用者１２０が、被写体１２２Ｃが気になり、被写体１２２Ｃに閾値以上の時間視線を向けた場合、被写体１２２Ｃが継続撮影対象に追加設定される。
ここで、被写体１２２Ａ,１２２Ｂは利用者１２０が注視してから時間が経過している一方で、被写体１２２Ｃは利用者１２０が注視中であり、現時点で利用者１２０が最も気になっているのは被写体１２２Ｃであると考えられる。これに対し、本実施形態では、個々の被写体の重みレベルｗを、継続撮影対象に設定してからの時間経過に伴って減少させている(図５のステップ２４２を参照)。このため、被写体１２２Ｃは、継続撮影対象に設定してからの経過時間の相違により、被写体１２２Ａ,１２２Ｂよりも相対的な重みレベルｗ(重み比率Ｗ)が大きくなる。これに伴い、図１０Ｂに示すように、主監視画像を撮影している監視カメラ４２の撮影範囲の中心は被写体１２２Ｃに接近する側へ移動し、利用者１２０が何ら操作を行うことなく、被写体１２２Ｃを見守るのにより適した範囲に制御される。
なお、継続撮影対象に設定してからの経過時間が長い被写体であっても、その後の利用者１２０による累積視線停留時間が閾値以上になれば重みレベルｗは増加される(図５のステップ２４０,２４４を参照)。このため、継続撮影対象に設定した後も利用者１２０が気になっている(利用者１２０が視線を向けている)被写体は、継続撮影対象のまま維持され、主監視画像を撮影している監視カメラ４２によって継続して撮影される。
続いて、図１１Ａに示すように、４つの被写体１２２Ａ〜１２２Ｄが既に継続撮影対象に設定され、主監視画像を撮影している監視カメラ４２の撮影範囲の中心が、継続撮影対象の被写体１２２Ａ〜１２２Ｄの重み付き平均位置に位置している状態を考える。この状態で、被写体(被介助者)１２２Ｃが主監視画像の内周領域から外周領域へ移動したとすると、被写体１２２Ｃは主監視画像の撮影範囲から逸脱する可能性が高くなる。
しかし、本実施形態では、先に説明したように、継続撮影対象の被写体が外周領域に位置している場合、内周領域に位置している場合よりも、時間経過に伴う重みレベルｗの減少の傾きが小さくなるように重みレベルｗを変化させている。このため、主監視画像の外周領域へ移動した被写体１２２Ｃは、主監視画像の内周領域に位置している被写体１２２Ａ,１２２Ｂ,１２２Ｄよりも重みレベルｗの減少の傾きが小さくなることで、時間経過に伴って相対的な重みレベルｗ(重み比率Ｗ)が大きくなる。これに伴い、図１１Ｂに示すように、主監視画像を撮影している監視カメラ４２の撮影範囲の中心は、被写体１２２Ｃに接近する側へ移動し、利用者１２０が何ら操作を行うことなく、被写体１２２Ｃが主監視画像の撮影範囲から逸脱することが未然に防止される。
次に、図１２Ａに示すように、４つの被写体１２２Ａ〜１２２Ｄが継続撮影対象に設定されている状態で、主監視画像を撮影している監視カメラ４２の撮影範囲内に、事前登録者である被写体(被介助者)１２２Ｅが到来した場合を考える。本実施形態では、特徴量情報が事前登録者情報４０が表す事前登録者の特徴と合致する被写体を検出した場合、当該被写体を事前登録者でかつ継続撮影対象に設定する。このため、図１２Ｂに示すように、撮影範囲内に到来した被写体１２２Ｅについても、継続撮影対象に追加設定され、主監視画像を撮影している監視カメラ４２の撮影範囲の中心は、被写体１２２Ｅも撮影範囲に含む位置へ移動される。
これにより、例えば介助が必要な度合いが高い等のように、重点的に見守ることが望ましい被介助者の特徴を事前登録者情報４０として予め登録しておくことで、利用者１２０が何ら操作を行うことなく、上記の被介助者が自動的に継続撮影対象に追加される。また、本実施形態では、副表示部４８にサムネイル画像として表示している監視画像についても、個々の被写体が事前登録者か否か判定し、事前登録者に設定した被写体は重みレベルｗを変更しない。このため、事前登録者は継続撮影対象のまま維持され、複数の監視カメラ４２の少なくとも１つによって継続して撮影される。
次に、図１３Ａに示すように、５つの被写体１２２Ａ〜１２２Ｅが継続撮影対象に設定されている状態で、被写体１２２Ｅが主監視画像を撮影している監視カメラ４２の撮影範囲外へ移動した場合を考える。本実施形態では、継続撮影対象の被写体が監視画像ｉの引継領域に位置している場合に、引継領域に位置している被写体の継続撮影を、監視画像ｉを撮影するｉ番目の監視カメラ４２から、撮影範囲が隣り合っているｋ番目の監視カメラ４２に引き継ぐ。
このため、被写体１２２Ｅが図１３Ａに示す監視画像の引継領域まで移動した段階で、被写体１２２Ｅの継続撮影は、図１３Ｂに示す監視画像を撮影する監視カメラ４２(被写体１２２Ｅの移動先を撮影範囲とする監視カメラ４２)に引き継がれる。従って、継続撮影対象に設定された被写体は、或る監視カメラ４２の撮影範囲外へ移動した場合にも、利用者１２０が何ら操作を行うことなく、撮影範囲が隣り合う別の監視カメラ４２によって継続撮影が引き継がれる。そして、継続撮影が引き継がれた別の監視カメラ４２の撮影範囲の中心は、移動した被写体１２２Ｅも撮影範囲に含む位置へ移動される。
続いて、図１４Ａに示すように、３つの被写体１２２Ａ〜１２２Ｃが継続撮影対象に設定されている状態で、継続撮影対象に設定されていない被写体１２２Ｄが転倒した場合を考える。本実施形態では、転倒などの被写体の異常な動きを検出した場合、異常な動きを検出した被写体が継続撮影対象であるか否かに拘わらず利用者へ報知し、異常な動きを検出した被写体を継続撮影対象に追加設定する。
このため、図１４Ｂに示すように、被写体１２２Ｄの異常な動き(転倒)を検出すると利用者１２０へ報知され、被写体１２２Ｄが継続撮影対象に追加設定されることで、監視カメラ４２の撮影範囲の中心も被写体１２２Ｄに接近する位置へ移動される。これにより、利用者１２０が、異常な動きが検出された被介助者の状態を直ちに確認し、必要に応じて介助作業者へ通知したり、利用者１２０自身が現場へ出向くなどの対処を直ちにとることができる。なお、被写体１２２Ｄが映っている監視画像が副表示部４８にサムネイル画像として表示されている場合には、利用者が上記のサムネイル画像を注視することで、被写体１２２Ｄが映っている監視画像が主表示部４６に表示されることになる。
このように、本実施形態では、取得部１２が、監視カメラ４２が撮影した監視画像と、主表示部４６に表示された監視画像を視認可能な利用者を利用者カメラ５０が撮影した利用者画像と、を取得する。また視線検出部１６は、取得部１２によって取得された利用者画像に基づいて利用者の視線を検出する。また特定部１８は、監視画像に含まれ、主表示部４６の表示画面上のうち視線検出部１６によって検出された利用者の視線の位置に表示された被写体を特定する。そして撮影制御部２０は、特定部１８によって特定された被写体が監視画像として所定時間以上継続して撮影されるように、監視カメラ４２の撮影方向を制御する制御信号を出力する。これにより、監視対象を撮影領域に含む監視画像を撮像可能なカメラの制御技術を提供できる。また、監視画像を視認する利用者の負担を軽減することができ、利用者が、主に担当している業務の合間に、介助作業者の注意が一時的に手薄になっている被介助者を監視画像上で見守ることが可能になる。
また、本実施形態では、特定部１８が、主表示部４６の表示画面上のうち視線が所定時間以上停留した領域に表示された被写体を特定する。これにより、利用者が視線を移動させている間に画像が視線と交差した被写体を除外し、利用者が画像を注視した被写体のみを継続撮影の対象として特定することができる。
また、本実施形態では、撮影制御部２０が、特定部１８によって特定された被写体が複数の場合には、複数の被写体全員が監視画像として同時に撮影されるように制御信号を出力する。これにより、監視画像を視認する利用者が、１つの監視画像を視認することで、継続撮影対象の複数の被写体を同時に見守ることができる。
更に、本実施形態では、撮影制御部２０が、監視カメラ４２の撮影範囲の中心が、複数の被写体全員を含む範囲の基準位置に対して所定距離以内になるように、監視カメラ４２の撮影方向を制御する制御信号を出力する。これにより、監視カメラ４２の撮影範囲を、継続撮影対象の複数の被写体を同時に見守るのに適した範囲に制御することができる。
また、本実施形態では、特定部１８が、前記複数の被写体の各々を、継続撮影対象に設定してからの経過時間が長くなるに従って重みが小さくなるように重み付けする。そして、撮影制御部２０は、複数の被写体の重み付き平均位置を、複数の被写体全員を含む範囲の基準位置に設定する。これにより、監視カメラ４２の撮影範囲の中心を、利用者が画像を注視してからの経過時間がより短い被写体に近づけることができ、監視カメラ４２の撮影範囲を利用者の意図により近い撮影範囲に制御することができる。
また、本実施形態では、特定部１８が、継続撮影対象に設定した被写体毎に利用者の累積視線停留時間を計測し、複数の被写体の各々を累積視線停留時間が長くなるに従って重みが大きくなるように重み付けする。そして、撮影制御部２０は、複数の被写体の重み付き平均位置を、複数の被写体全員を含む範囲の基準位置に設定する。これにより、監視カメラ４２の撮影範囲の中心を、利用者の累積視線停留時間がより長い被写体に近づけることができ、監視カメラ４２の撮影範囲を利用者の意図により近い撮影範囲に制御することができる。
更に、本実施形態では、特定部１８は、互いに撮影可能範囲が異なる複数の監視カメラ４２が存在している場合に、複数の監視カメラ４２毎に、特定した被写体の情報を継続撮影対象の情報として第１記憶部３２に記憶させる。また特定部１８は、第１の監視カメラ４２が撮影した監視画像中の所定領域内へ表示位置が移動した被写体の情報を、第１の監視カメラ４２に対応する前記継続撮影対象の情報から除外する。また特定部１８は、撮影範囲が第１の監視カメラ４２と隣り合う第２の監視カメラ４２に対応する継続撮影対象の情報に追加する。そして、撮影制御部２０は、複数の監視カメラ４２の各々に対応する継続撮影対象の情報に基づいて、複数の監視カメラ４２の各々の撮影方向を制御する制御信号を出力する。これにより、継続撮影対象に設定した被写体が第１の監視カメラ４２の撮影範囲外へ移動した場合にも、撮影範囲が隣り合う第２の監視カメラ４２によって継続撮影が引き継がれ、継続撮影対象に設定した被写体の撮影が途切れることを防止できる。
また、本実施形態では、被写体抽出部２２が、監視画像に含まれる１人以上の被写体を抽出し、異常判定部２８が、被写体抽出部２２によって抽出された被写体が異常な動きをしていないか否か判定する。そして、報知信号出力部３０は、異常判定部２８によって被写体が異常な動きをしていると判定された場合に利用者に報知する報知信号を出力する。これにより、異常な動きをしていると判定された被写体を監視画像上で直ちに確認し、必要に応じて対処するなどの行動を利用者に促すことができる。
また、本実施形態では、被写体抽出部２２が、監視画像に含まれる１人以上の被写体を抽出する。そして、事前登録者特定部２６は、被写体抽出部２２によって抽出された被写体が、第２記憶部３８に予め記憶された特定被写体の特徴を有しているか否かを判定し、特定被写体の特徴を有していると判定した被写体を特定する。これにより、特定被写体の特徴を有している被写体(事前登録者)を自動的に継続撮影対象に設定することができる。
なお、上記では撮影範囲変更部４４が監視カメラ４２の撮影方向を変更することで、監視カメラ４２の撮影範囲を変更する態様を説明した。しかし、これに限られるものではなく、撮影範囲変更部４４は、監視カメラ４２の撮影倍率を変更することで、監視カメラ４２の撮影範囲を変更する構成であってもよいし、監視カメラ４２の撮影方向及び撮影倍率を各々変更可能な構成であってもよい。
また、上記では継続撮影対象の複数の被写体全員を含む範囲の基準位置として、継続撮影対象の複数の被写体の現在位置の重み付き平均を用いた態様を説明した。しかし、上記の基準位置は複数の被写体の現在位置の重み付き平均に限るものではなく、例えば複数の被写体の移動平均位置の重み付き平均であってもよいし、複数の被写体の現在位置の単純平均であってもよい。
また、上記では監視カメラ４２の撮影範囲の中心が、継続撮影対象に設定した複数の被写体全員を含む範囲の基準位置と一致するように制御する態様を説明したが、これに限定されるものではない。例えば、複数の被写体全員を含む範囲の基準位置の移動ベクトルに基づいて前記基準位置の今後の推移を予測し、監視カメラ４２の撮影範囲の中心を、前記基準位置の今後の推移を先回りするように制御してもよい。
また、上記では開示の技術に係る撮影制御プログラムの一例である撮影制御プログラム８０が記憶部６６に予め記憶（インストール）されている態様を説明した。しかし、撮影制御プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、メモリカード等の記録媒体に記録されている形態で提供することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
監視カメラが撮影した監視画像と、表示部に表示された前記監視画像を視認可能な利用者を利用者カメラが撮影した利用者画像と、を取得する取得部と、
前記取得部によって取得された前記利用者画像に基づいて前記利用者の視線を検出する検出部と、
前記監視画像に含まれ、前記表示部の表示画面上のうち前記検出部によって検出された前記視線の位置に表示された被写体を特定する特定部と、
前記特定部によって特定された被写体が前記監視画像として所定時間以上継続して撮影されるように、前記監視カメラの撮影方向及び撮影倍率の少なくとも一方を制御する制御信号を出力する制御部と、
を含む撮影制御装置。
（付記２）
前記特定部は、前記表示部の表示画面上のうち前記視線が所定時間以上停留した領域に表示された被写体を特定する付記１記載の撮影制御装置。
（付記３）
前記制御部は、前記特定部によって特定された被写体が複数の場合には、複数の被写体全員が前記監視画像として同時に撮影されるように前記制御信号を出力する付記１又は付記２記載の撮影制御装置。
（付記４）
前記制御部は、前記監視カメラの撮影範囲の中心が、前記複数の被写体全員を含む範囲の基準位置に対して所定距離以内になるように、前記監視カメラの少なくとも撮影方向を制御する制御信号を出力する付記３記載の撮影制御装置。
（付記５）
前記特定部は、前記複数の被写体の各々を、特定してからの経過時間が長くなるに従って重みが小さくなるように重み付けし、
前記制御部は、複数の被写体の重み付き平均位置を前記基準位置に設定する付記４記載の撮影制御装置。
（付記６）
前記特定部は、特定した被写体毎に前記視線の累積停留時間を計測し、複数の被写体の各々を前記累積停留時間が長くなるに従って重みが大きくなるように重み付けし、
前記制御部は、複数の被写体の重み付き平均位置を前記基準位置に設定する付記４又は付記５記載の撮影制御装置。
（付記７）
前記特定部は、互いに撮影可能範囲が異なる複数の前記監視カメラが存在している場合に、複数の前記監視カメラ毎に、特定した被写体の情報を継続撮影対象の情報として第１記憶部に記憶させ、第１の前記監視カメラが撮影した前記監視画像中の所定領域内へ表示位置が移動した被写体の情報を、第１の前記監視カメラに対応する前記継続撮影対象の情報から除外し、撮影範囲が第１の前記監視カメラと隣り合う第２の前記監視カメラに対応する前記継続撮影対象の情報に追加し、
前記制御部は、複数の前記監視カメラの各々に対応する前記継続撮影対象の情報に基づいて、複数の前記監視カメラの各々の撮影方向及び撮影倍率の少なくとも一方を制御する前記制御信号を出力する付記３記載の撮影制御装置。
（付記８）
前記特定部は、
前記監視画像に含まれる１人以上の被写体を抽出する抽出部と、
前記抽出部によって抽出された被写体が異常な動きをしていないか否か判定する異常判定部と
前記異常判定部によって被写体が異常な動きをしていると判定された場合に、前記利用者に報知する報知信号を出力する報知信号出力部と、
を更に含む付記１〜付記７の何れか１項記載の撮影制御装置。
（付記９）
前記特定部は、
前記監視画像に含まれる１人以上の被写体を抽出する抽出部と、
前記抽出部によって抽出された被写体が、第２記憶部に予め記憶された特定被写体の特徴を有しているか否かを判定し、前記特定被写体の特徴を有していると判定した被写体を特定する事前登録者特定部と、
を更に含む付記１〜付記８の何れか１項記載の撮影制御装置。
（付記１０）
コンピュータに、
監視カメラが撮影した監視画像と、表示部に表示された前記監視画像を視認可能な利用者を利用者カメラが撮影した利用者画像と、を取得し、
取得した前記利用者画像に基づいて前記利用者の視線を検出し、
前記監視画像に含まれ、前記表示部の表示画面上のうち検出した前記視線の位置に表示された被写体を特定し、
特定した被写体が前記監視画像として所定時間以上継続して撮影されるように、前記監視カメラの撮影方向及び撮影倍率の少なくとも一方を制御する制御信号を出力する
処理を実行させるための撮影制御プログラム。
（付記１１）
コンピュータが、
監視カメラが撮影した監視画像と、表示部に表示された前記監視画像を視認可能な利用者を利用者カメラが撮影した利用者画像と、を取得し、
取得した前記利用者画像に基づいて前記利用者の視線を検出し、
前記監視画像に含まれ、前記表示部の表示画面上のうち検出した前記視線の位置に表示された被写体を特定し、
特定した被写体が前記監視画像として所定時間以上継続して撮影されるように、前記監視カメラの撮影方向及び撮影倍率の少なくとも一方を制御する制御信号を出力する
処理を実行する撮影制御方法。
（付記１２）
前記表示部の表示画面上のうち前記視線が所定時間以上停留した領域に表示された被写体を特定する付記１０記載の撮影制御プログラム、又は、付記１１記載の撮影制御方法。
（付記１３）
特定した被写体が複数の場合には、複数の被写体全員が前記監視画像として同時に撮影されるように前記制御信号を出力する付記１０又は付記１２記載の撮影制御プログラム、又は、付記１１又は付記１２記載の撮影制御方法。
（付記１４）
前記監視カメラの撮影範囲の中心が、前記複数の被写体全員を含む範囲の基準位置に対して所定距離以内になるように、前記監視カメラの少なくとも撮影方向を制御する制御信号を出力する付記１３記載の撮影制御プログラム、又は、付記１３記載の撮影制御方法。
（付記１５）
前記複数の被写体の各々を、特定してからの経過時間が長くなるに従って重みが小さくなるように重み付けし、複数の被写体の重み付き平均位置を前記基準位置に設定する付記１４記載の撮影制御プログラム、又は、付記１４記載の撮影制御方法。
（付記１６）
特定した被写体毎に前記視線の累積停留時間を計測し、複数の被写体の各々を前記視線の累積停留時間が長くなるに従って重みが大きくなるように重み付けし、
複数の被写体の重み付き平均位置を前記基準位置に設定する付記１４又は付記１５記載の撮影制御プログラム、又は、付記１４又は付記１５記載の撮影制御方法。
（付記１７）
互いに撮影可能範囲が異なる複数の前記監視カメラが存在している場合に、複数の前記監視カメラ毎に、特定した被写体の情報を継続撮影対象の情報として第１記憶部に記憶させ、第１の前記監視カメラが撮影した前記監視画像中の所定領域内へ表示位置が移動した被写体の情報を、第１の前記監視カメラに対応する前記継続撮影対象の情報から除外し、撮影範囲が第１の前記監視カメラと隣り合う第２の前記監視カメラに対応する前記継続撮影対象の情報に追加し、
複数の前記監視カメラの各々に対応する前記継続撮影対象の情報に基づいて、複数の前記監視カメラの各々の撮影方向及び撮影倍率の少なくとも一方を制御する前記制御信号を出力する付記１３記載の撮影制御プログラム、又は、付記１３記載の撮影制御方法。
（付記１８）
前記監視画像に含まれる１人以上の被写体を抽出し、
抽出した被写体が異常な動きをしていないか否か判定し、
被写体が異常な動きをしていると判定した場合に、前記利用者に報知する報知信号を出力する付記１０、付記１２〜付記１７の何れか１項記載の撮影制御プログラム、又は、付記１１〜付記１７の何れか１項記載の撮影制御方法。
（付記１９）
前記監視画像に含まれる１人以上の被写体を抽出し、
抽出した被写体が、第２記憶部に予め記憶された特定被写体の特徴を有しているか否かを判定し、前記特定被写体の特徴を有していると判定した被写体を特定する付記１０、付記１２〜付記１８の何れか１項記載の撮影制御プログラム、又は、付記１１〜付記１８の何れか１項記載の撮影制御方法。
１０…撮影制御装置、１２…取得部、１６…視線検出部、１８…特定部、２０…撮影制御部、２２…被写体抽出部、２４…継続撮影対象特定部、２６…事前登録者特定部、２８…異常判定部、３０…報知信号出力部、３２…第１記憶部、３４…被写体情報、３８…第２記憶部、４０…事前登録者情報、４２…監視カメラ、４４…撮影範囲変更部、４６…主表示部、５０…利用者カメラ、５２…報知部、６０…コンピュータ、６２…ＣＰＵ、６４…メモリ、６６…記憶部、８０…撮影制御プログラム、１２０…利用者、１２２Ａ,１２２Ｂ,１２２Ｃ,１２２Ｄ,１２２Ｅ…被写体

Claims (8)

  1. 監視カメラが撮影した監視画像と、表示部に表示された前記監視画像を視認可能な利用者を利用者カメラが撮影した利用者画像と、を取得する取得部と、
    前記取得部によって取得された前記利用者画像に基づいて前記利用者の視線を検出する検出部と、
    前記監視画像に含まれ、前記表示部の表示画面上のうち前記検出部によって検出された前記視線の位置に表示された被写体を特定する特定部と、
    前記特定部によって特定された被写体が前記監視画像として所定時間以上継続して撮影されるように、前記監視カメラの撮影方向及び撮影倍率の少なくとも一方を制御する制御信号を出力する制御部と、
    を含み、
    前記制御部は、
    前記特定部によって特定された被写体が複数の場合には、複数の被写体全員が前記監視画像として同時に撮影されるように前記制御信号を出力し、
    前記監視カメラの撮影範囲の中心が、前記複数の被写体全員を含む範囲の基準位置に対して所定距離以内になるように、前記監視カメラの少なくとも撮影方向を制御する制御信号を出力し、
    前記特定部は、前記複数の被写体の各々を、特定してからの経過時間が長くなるに従って重みが小さくなるように重み付けし、
    前記制御部は、複数の被写体の重み付き平均位置を前記基準位置に設定する、
    撮影制御装置。
  2. 前記特定部は、前記表示部の表示画面上のうち前記視線が所定時間以上停留した領域に表示された被写体を特定する請求項１記載の撮影制御装置。
  3. 前記特定部は、特定した被写体毎に前記視線の累積停留時間を計測し、複数の被写体の各々を前記累積停留時間が長くなるに従って重みが大きくなるように重み付けし、
    前記制御部は、複数の被写体の重み付き平均位置を前記基準位置に設定する請求項１又は請求項２記載の撮影制御装置。
  4. 前記特定部は、互いに撮影可能範囲が異なる複数の前記監視カメラが存在している場合に、複数の前記監視カメラ毎に、特定した被写体の情報を継続撮影対象の情報として第１記憶部に記憶させ、第１の前記監視カメラが撮影した前記監視画像中の所定領域内へ表示位置が移動した被写体の情報を、第１の前記監視カメラに対応する前記継続撮影対象の情報から除外し、撮影範囲が第１の前記監視カメラと隣り合う第２の前記監視カメラに対応する前記継続撮影対象の情報に追加し、
    前記制御部は、複数の前記監視カメラの各々に対応する前記継続撮影対象の情報に基づいて、複数の前記監視カメラの各々の撮影方向及び撮影倍率の少なくとも一方を制御する前記制御信号を出力する請求項１又は請求項２記載の撮影制御装置。
  5. 前記特定部は、
    前記監視画像に含まれる１人以上の被写体を抽出する抽出部と、
    前記抽出部によって抽出された被写体が異常な動きをしていないか否か判定する異常判定部と、
    前記異常判定部によって被写体が異常な動きをしていると判定された場合に、前記利用者に報知する報知信号を出力する報知信号出力部と、
    を更に含む請求項１〜請求項４の何れか１項記載の撮影制御装置。
  6. 前記特定部は、
    前記監視画像に含まれる１人以上の被写体を抽出する抽出部と、
    前記抽出部によって抽出された被写体が、第２記憶部に予め記憶された特定被写体の特徴を有しているか否かを判定し、前記特定被写体の特徴を有していると判定した被写体を特定する事前登録者特定部と、
    を更に含む請求項１〜請求項５の何れか１項記載の撮影制御装置。
  7. コンピュータに、
    監視カメラが撮影した監視画像と、表示部に表示された前記監視画像を視認可能な利用者を利用者カメラが撮影した利用者画像と、を取得し、
    取得した前記利用者画像に基づいて前記利用者の視線を検出し、
    前記監視画像に含まれ、前記表示部の表示画面上のうち検出した前記視線の位置に表示された被写体を特定し、
    特定した被写体が前記監視画像として所定時間以上継続して撮影されるように、前記監視カメラの撮影方向及び撮影倍率の少なくとも一方を制御する制御信号を出力する、
    処理であって、
    特定された前記被写体が複数の場合には、複数の被写体全員が前記監視画像として同時に撮影されるように前記制御信号を出力し、
    前記監視カメラの撮影範囲の中心が、前記複数の被写体全員を含む範囲の基準位置に対して所定距離以内になるように、前記監視カメラの少なくとも撮影方向を制御する制御信号を出力し、
    前記複数の被写体の各々を、特定してからの経過時間が長くなるに従って重みが小さくなるように重み付けし、
    前記複数の被写体の重み付き平均位置を前記基準位置に設定する、
    処理を実行させるための撮影制御プログラム。
  8. コンピュータが、
    監視カメラが撮影した監視画像と、表示部に表示された前記監視画像を視認可能な利用者を利用者カメラが撮影した利用者画像と、を取得し、
    取得した前記利用者画像に基づいて前記利用者の視線を検出し、
    前記監視画像に含まれ、前記表示部の表示画面上のうち検出した前記視線の位置に表示された被写体を特定し、
    特定した被写体が前記監視画像として所定時間以上継続して撮影されるように、前記監視カメラの撮影方向及び撮影倍率の少なくとも一方を制御する制御信号を出力する、
    処理であって、
    特定された前記被写体が複数の場合には、複数の被写体全員が前記監視画像として同時に撮影されるように前記制御信号を出力し、
    前記監視カメラの撮影範囲の中心が、前記複数の被写体全員を含む範囲の基準位置に対して所定距離以内になるように、前記監視カメラの少なくとも撮影方向を制御する制御信号を出力し、
    前記複数の被写体の各々を、特定してからの経過時間が長くなるに従って重みが小さくなるように重み付けし、
    前記複数の被写体の重み付き平均位置を前記基準位置に設定する、
    処理を実行する撮影制御方法。
JP2016102585A 2016-05-23 2016-05-23 撮影制御装置、プログラム及び方法 Active JP6668942B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016102585A JP6668942B2 (ja) 2016-05-23 2016-05-23 撮影制御装置、プログラム及び方法
US15/491,195 US20170339348A1 (en) 2016-05-23 2017-04-19 Photographing control apparatus and photographing control method
US16/374,036 US10841501B2 (en) 2016-05-23 2019-04-03 Photographing control apparatus and photographing control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016102585A JP6668942B2 (ja) 2016-05-23 2016-05-23 撮影制御装置、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP2017212495A JP2017212495A (ja) 2017-11-30
JP6668942B2 true JP6668942B2 (ja) 2020-03-18

Family

ID=60330644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016102585A Active JP6668942B2 (ja) 2016-05-23 2016-05-23 撮影制御装置、プログラム及び方法

Country Status (2)

Country Link
US (2) US20170339348A1 (ja)
JP (1) JP6668942B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7169752B2 (ja) * 2018-03-22 2022-11-11 キヤノン株式会社 監視装置、監視システム、制御方法、及びプログラム
CN108494665B (zh) * 2018-03-27 2021-03-23 维沃移动通信有限公司 一种群消息显示方法及移动终端
JP7253440B2 (ja) * 2019-05-09 2023-04-06 東芝テック株式会社 追跡装置及び情報処理プログラム
JP7253441B2 (ja) 2019-05-09 2023-04-06 東芝テック株式会社 追跡装置及び情報処理プログラム
JP7346135B2 (ja) * 2019-07-30 2023-09-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP2021167994A (ja) * 2020-04-09 2021-10-21 株式会社ピースリー 視聴効果計測装置、視聴効果計測方法及びコンピュータプログラム
JP7541850B2 (ja) * 2020-05-15 2024-08-29 キヤノン株式会社 電子機器、制御方法、プログラム
JP7415912B2 (ja) * 2020-12-23 2024-01-17 横河電機株式会社 装置、システム、方法およびプログラム
CN113014799B (zh) * 2021-01-28 2023-01-31 维沃移动通信有限公司 图像显示方法、装置和电子设备
CN112911151B (zh) * 2021-01-29 2023-04-07 京东科技信息技术有限公司 目标跟随方法、装置、设备、系统及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359766A (ja) 2001-03-30 2002-12-13 Hitachi Kokusai Electric Inc 撮像装置の視野制御法及び視野制御装置並びにプログラム
JP4265919B2 (ja) * 2003-02-28 2009-05-20 株式会社日立製作所 追尾型協調監視システムおよび撮像装置
JP2008085874A (ja) 2006-09-28 2008-04-10 Toshiba Corp 人物監視システムおよび人物監視方法
JP2008219452A (ja) 2007-03-05 2008-09-18 Mitsubishi Electric Corp カメラ監視装置
JP2009147607A (ja) 2007-12-13 2009-07-02 Victor Co Of Japan Ltd 人物追尾装置
JP5127531B2 (ja) * 2008-03-27 2013-01-23 セコム株式会社 画像監視装置
JP5514506B2 (ja) * 2009-10-21 2014-06-04 株式会社日立国際電気 侵入物監視システムおよび侵入物監視方法
TW201201584A (en) * 2010-06-30 2012-01-01 Hon Hai Prec Ind Co Ltd PTZ camera control system, PTZ camera control method, and PTZ camera adjust apparatus including the same
JP5813309B2 (ja) * 2010-11-30 2015-11-17 株式会社ディテクト 撮影システム
KR101922589B1 (ko) * 2012-02-15 2018-11-27 삼성전자주식회사 디스플레이장치 및 그 시선추적방법
JP2014095953A (ja) 2012-11-07 2014-05-22 Tokyo Institute Of Technology 操作対象装置の操作システム、操作入力装置
JP6150583B2 (ja) * 2013-03-27 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
WO2014186213A2 (en) * 2013-05-14 2014-11-20 Google Inc. Providing visual effects for images
WO2016068057A1 (ja) * 2014-10-31 2016-05-06 富士フイルム株式会社 撮像装置及び対象物認識方法
US10365728B2 (en) * 2015-06-11 2019-07-30 Intel Corporation Adaptive provision of content based on user response
US10063560B2 (en) * 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication

Also Published As

Publication number Publication date
US10841501B2 (en) 2020-11-17
US20170339348A1 (en) 2017-11-23
US20190230292A1 (en) 2019-07-25
JP2017212495A (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6668942B2 (ja) 撮影制御装置、プログラム及び方法
JP7396436B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6245398B2 (ja) 状態推定装置、状態推定方法、及び状態推定プログラム
JP5841538B2 (ja) 関心度推定装置および関心度推定方法
JP5227911B2 (ja) 監視映像検索装置及び監視システム
US20150063640A1 (en) Image processing apparatus and image processing method
JP6199791B2 (ja) ペット健康診断装置、ペット健康診断方法及びプログラム
US10441198B2 (en) Face detection device, face detection system, and face detection method
JP2010244089A (ja) 人物検出装置、人物検出方法、及び人物検出プログラム
JP5001930B2 (ja) 動作認識装置及び方法
JP6277736B2 (ja) 状態認識方法及び状態認識装置
JP7448043B2 (ja) 撮影制御システム
WO2017209225A1 (ja) 状態推定装置、状態推定方法、及び状態推定プログラム
JP6922821B2 (ja) 画像解析装置、方法およびプログラム
KR102166359B1 (ko) 스마트 글래스 및 이의 선별적 시각 인지대상 트래킹 방법
JP2017017488A (ja) 監視システム、撮影制御方法及びプログラム
KR20150108575A (ko) 주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체
JP7566586B2 (ja) 推定装置、推定システム、推定方法及びプログラム
JP2022048077A (ja) 画像処理装置およびその制御方法
CN116457882A (zh) 用于控制相机的设备和方法
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备
JP2020092370A (ja) 撮影制御装置、撮影システム及び撮影制御方法
JP2011023821A (ja) 撮像装置及び表示制御方法
US11451705B2 (en) Imaging control apparatus, imaging control method, and storage medium
US20230276117A1 (en) Main object determination apparatus, imaging apparatus, and control method for controlling main object determination apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R150 Certificate of patent or registration of utility model

Ref document number: 6668942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150