JP6777470B2 - Action recording system, terminal device and action recording method - Google Patents

Action recording system, terminal device and action recording method Download PDF

Info

Publication number
JP6777470B2
JP6777470B2 JP2016171151A JP2016171151A JP6777470B2 JP 6777470 B2 JP6777470 B2 JP 6777470B2 JP 2016171151 A JP2016171151 A JP 2016171151A JP 2016171151 A JP2016171151 A JP 2016171151A JP 6777470 B2 JP6777470 B2 JP 6777470B2
Authority
JP
Japan
Prior art keywords
unit
shooting
communication
terminal device
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016171151A
Other languages
Japanese (ja)
Other versions
JP2018037951A5 (en
JP2018037951A (en
Inventor
将幸 迫田
将幸 迫田
辰徳 佐々木
辰徳 佐々木
雅弘 工藤
雅弘 工藤
祐一 長野
祐一 長野
沙魚川 久史
久史 沙魚川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2016171151A priority Critical patent/JP6777470B2/en
Publication of JP2018037951A publication Critical patent/JP2018037951A/en
Publication of JP2018037951A5 publication Critical patent/JP2018037951A5/ja
Application granted granted Critical
Publication of JP6777470B2 publication Critical patent/JP6777470B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Description

本発明は、行動記録システム、端末装置及び行動記録方法に関する。 The present invention relates to an action recording system, a terminal device, and an action recording method.

所定の室内にいる人物の状態を監視する技術として、特許文献1に記載の介護システム、及び特許文献2に記載の監視装置が知られている。これらの特許文献1及び2は、監視対象者のプライバシーに配慮した監視技術を提案している。
特許文献1に記載の介護システムは、介護室内に設置されるカメラ装置と、被介護者の状態を表示可能なモニターを有する。カメラ装置で撮影した映像から被介護者の身体の特徴部が解析され、解析した特徴部と予め登録された特徴部との比較結果を、撮影した映像の代わりにモニターに表示する。
特許文献2に記載の監視装置は、病室に設置されたサーモグラフィーカメラにより撮影された画像から所定の温度以上の部分を抽出した人物画像と、無人の病室内を通常のカメラにて撮影した背景画像とを合成して監視画像を生成する。
As a technique for monitoring the state of a person in a predetermined room, the nursing care system described in Patent Document 1 and the monitoring device described in Patent Document 2 are known. These Patent Documents 1 and 2 propose a monitoring technique that considers the privacy of the person to be monitored.
The nursing care system described in Patent Document 1 includes a camera device installed in the nursing care room and a monitor capable of displaying the state of the care recipient. The feature part of the body of the care recipient is analyzed from the image taken by the camera device, and the comparison result between the analyzed feature part and the pre-registered feature part is displayed on the monitor instead of the captured image.
The monitoring device described in Patent Document 2 includes a person image obtained by extracting a portion above a predetermined temperature from an image taken by a thermography camera installed in a hospital room, and a background image obtained by taking an unmanned hospital room with a normal camera. And are combined to generate a surveillance image.

特開2014−007685号公報Japanese Unexamined Patent Publication No. 2014-007685 特開2007−089727号公報JP-A-2007-089727

近年、介護施設等において職員による被介護者への暴行行為が社会問題化している。このような暴力行為は、施設内に設けられた監視カメラの映像から確認されることもある。
しかしながら、例えば、上記のようにプライバシーに配慮した監視を行っていたり、暴行行為が監視カメラの死角で行われた場合には、暴行行為を確認できない虞がある。
本発明は、施設の利用者に対する施設職員の暴行行為を防止するとともに、万が一の事故発生時に職員の潔白の証明を可能とすることを目的とする。
In recent years, assaults by staff on care recipients have become a social problem in nursing care facilities and the like. Such violent acts may be confirmed from the images of surveillance cameras installed in the facility.
However, for example, if privacy-conscious monitoring is performed as described above, or if the assault is performed in the blind spot of the surveillance camera, the assault may not be confirmed.
An object of the present invention is to prevent assault of facility staff against facility users and to enable proof of staff innocence in the event of an accident.

本発明の一形態によれば、所定エリアに設置された通信装置と、人に装着可能な端末装置と、を備える行動記録システムが与えられる。端末装置は、端末装置の周囲を撮影する撮影部と、通信装置と通信する通信部と、通信部と通信装置との間の通信に基づいて撮影部による撮影の停止を禁止する撮影制御部と、を備える。 According to one embodiment of the present invention, an action recording system including a communication device installed in a predetermined area and a terminal device that can be worn by a person is provided. The terminal device includes a photographing unit that photographs the surroundings of the terminal device, a communication unit that communicates with the communication device, and a photographing control unit that prohibits the photographing unit from stopping photography based on communication between the communication unit and the communication device. , Equipped with.

撮影制御部は、通信部が通信装置と通信可能となると撮影部による撮影を開始し、通信部が通信装置と通信できなくなると撮影部による撮影を停止してよい。
行動記録システムは、通信部が通信装置と通信できなくなってから所定時間が経過しても撮影部による撮影が継続している場合に、警報を生成する警報制御部を備えてもよい。
The shooting control unit may start shooting by the shooting unit when the communication unit can communicate with the communication device, and may stop shooting by the shooting unit when the communication unit cannot communicate with the communication device.
The action recording system may include an alarm control unit that generates an alarm when shooting by the photographing unit continues even after a predetermined time has elapsed since the communication unit cannot communicate with the communication device.

行動記録システムは、所定エリアにおける作業予定期間を記憶する記憶装置を備えてもよい。撮影制御部は、現在時刻が所定エリアにおける作業予定期間である場合に撮影部による撮影の停止を禁止し、現在時刻が所定エリアにおける作業期間外である場合に撮影部による撮影の停止を許可してもよい。 The action recording system may include a storage device that stores a scheduled work period in a predetermined area. The shooting control unit prohibits the shooting unit from stopping shooting when the current time is the scheduled work period in the predetermined area, and permits the shooting unit to stop shooting when the current time is outside the work period in the predetermined area. You may.

本発明の他の形態によれば、人に装着可能な端末装置が与えられる。端末装置は、端末装置の周囲を撮影する撮影部と、所定エリアに設置された通信装置と通信する通信部と、撮影部による撮影の停止を、通信部と通信装置との間の通信に基づき禁止する撮影制御部と、を備える。 According to another embodiment of the present invention, a human wearable terminal device is provided. The terminal device has a photographing unit that photographs the surroundings of the terminal device, a communication unit that communicates with a communication device installed in a predetermined area, and a stop of photography by the photographing unit based on communication between the communication unit and the communication device. It is provided with a shooting control unit forbidden.

本発明の他の形態によれば、作業員の行動記録方法が与えられる。行動記録方法において、作業者が装着した端末装置と、所定エリアに設置された通信装置と、の間で通信し、端末装置が有する撮影部により作業者の周囲を撮影し、端末装置と通信装置との間の通信に基づき、撮影部による撮影の停止を禁止する。 According to another embodiment of the present invention, a method of recording worker behavior is provided. In the action recording method, communication is performed between the terminal device worn by the worker and the communication device installed in a predetermined area, the surroundings of the worker are photographed by the photographing unit of the terminal device, and the terminal device and the communication device are used. It is prohibited to stop shooting by the shooting unit based on the communication with.

本発明によれば、施設の利用者に対する施設職員の暴行行為を防止するとともに、万が一の事故発生時に職員の潔白を証明できる。 According to the present invention, it is possible to prevent the assault of the facility staff against the user of the facility and prove the innocence of the staff in the event of an accident.

実施形態の行動記録システムの全体を示す概略構成図である。It is a schematic block diagram which shows the whole of the action recording system of an embodiment. (a)〜(c)は、それぞれ携帯端末装置の装着方法の例の説明図である。(A) to (c) are explanatory views of an example of how to attach a mobile terminal device, respectively. 実施形態の携帯端末装置の構成例を示す図である。It is a figure which shows the configuration example of the mobile terminal apparatus of embodiment. (a)は携帯端末装置のカメラで撮影した撮影画像の例を示す図であり、(b)は撮影画像に施すモザイク処理の例を示す図である。(A) is a diagram showing an example of a photographed image taken by a camera of a mobile terminal device, and (b) is a diagram showing an example of mosaic processing applied to the photographed image. 実施形態のサーバ装置の構成例を示す図である。It is a figure which shows the configuration example of the server apparatus of embodiment. 実施形態の行動記録方法の一例を示すフローチャートである。It is a flowchart which shows an example of the action recording method of embodiment. 装着状態判定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the wearing state determination processing. 音響検出状態判定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the acoustic detection state determination processing.

以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiments of the present invention shown below exemplify devices and methods for embodying the technical idea of the present invention, and the technical idea of the present invention describes the materials, shapes, and shapes of the components. The structure, arrangement, etc. are not specified as follows. The technical idea of the present invention may be modified in various ways within the technical scope specified by the claims stated in the claims.

(行動記録システムの全体構成)
図1を参照する。本明細書では、行動記録として介護施設にて介護サービスに従事する職員の行動を記録する場合について説明する。ただし、本発明の行動記録システムは、介護施設の職員の行動を記録するシステムに限定されるものではなく、所定エリアにて作業に携わる作業員の行動を記録するシステムに広く適用可能である。
(Overall configuration of action recording system)
See FIG. In this specification, the case of recording the behavior of the staff engaged in the nursing care service at the nursing care facility as the behavior record will be described. However, the behavior recording system of the present invention is not limited to the system for recording the behavior of the staff of the nursing facility, and can be widely applied to the system for recording the behavior of the workers engaged in the work in the predetermined area.

行動記録システムは、所定エリアである介護施設の居室1に設置された通信装置2と、居室1にて介護サービスを受ける被介護者である入居者3を介護する介護施設の職員4に装着される携帯端末装置5を備える。また行動記録システムは、監視センタに設置され通信回線6を通じて携帯端末装置5に接続されるサーバ装置7を備える。
携帯端末装置5は、携帯端末装置5の周囲(例えば職員4の前方)を撮影するカメラと音響信号を検出する音響検出部を備える。行動記録システムは、職員4が居室1に入室している間の入居者3の映像及び会話を録画、録音することで職員4の行動を記録する。
The action recording system is attached to the communication device 2 installed in the living room 1 of the long-term care facility, which is a predetermined area, and the staff 4 of the long-term care facility who cares for the resident 3 who is the care recipient who receives the long-term care service in the living room 1. The mobile terminal device 5 is provided. Further, the action recording system includes a server device 7 installed in the monitoring center and connected to the mobile terminal device 5 through the communication line 6.
The mobile terminal device 5 includes a camera that photographs the surroundings of the mobile terminal device 5 (for example, in front of the staff 4) and an acoustic detection unit that detects an acoustic signal. The action recording system records the actions of the staff 4 by recording the video and conversation of the resident 3 while the staff 4 is in the room 1.

このように、職員4が居室1に入室している期間に限定して監視することにより入居者3のプライバシーを保護するとともに、職員4の行動を記録することで入居者3に対する職員4の暴行行為を防止することができる。さらに、万が一の事故発生時に職員4の潔白を証明することができる。
また、職員4に装着される携帯端末装置5で入居者3の映像を撮影しているので、固定された監視カメラと違って、職員4が対応している入居者3がカメラの死角に入りにくい。このためカメラの死角で暴力行為が行われるのを防止することができる。
In this way, the privacy of the resident 3 is protected by monitoring only the period during which the staff 4 is in the room 1, and the assault of the staff 4 against the resident 3 by recording the actions of the staff 4. The act can be prevented. Furthermore, in the unlikely event of an accident, the innocence of the staff 4 can be proved.
Further, since the image of the resident 3 is taken by the mobile terminal device 5 attached to the staff 4, the resident 3 supported by the staff 4 enters the blind spot of the camera unlike the fixed surveillance camera. Hateful. Therefore, it is possible to prevent violent acts in the blind spot of the camera.

続いて、行動記録システムの構成要素の各々について説明する。
(通信装置)
通信装置2は、入居者3の居室1やその他共用ルーム等の所定エリア毎に、壁面や天井などに設置される。通信装置2は、BLE(Bluetooth Low Energy)などの近距離無線通信規格に従って、通信装置2に固有の識別信号(ID信号)、例えばビーコン信号を、所定周期で通信装置2の周囲に送信する。通信装置2は、電源を有して定期的にビーコン信号を送信するアクティブ型のRFID(Radio Frequency IDentification)タグであってよい。このようなアクティブ型のRFIDタグには、Bluetooth(登録商標)LEに準拠するiBeacon(商標)が含まれるが、これに限定されるものではない。また、居室等は通信装置2を設置したエリア外ではビーコン信号を受信できないよう電磁的に隔離されることが望ましい。以下、本明細書では、通信装置2がビーコン信号を送信する場合について説明する。
Next, each of the components of the action recording system will be described.
(Communication device)
The communication device 2 is installed on a wall surface, a ceiling, or the like in each predetermined area such as the living room 1 of the resident 3 or other common rooms. The communication device 2 transmits an identification signal (ID signal) peculiar to the communication device 2, for example, a beacon signal to the surroundings of the communication device 2 in a predetermined cycle according to a short-range wireless communication standard such as BLE (Bluetooth Low Energy). The communication device 2 may be an active RFID (Radio Frequency IDentification) tag that has a power source and periodically transmits a beacon signal. Such active RFID tags include, but are not limited to, iBeacon ™ compliant with Bluetooth® LE. Further, it is desirable that the living room or the like is electromagnetically isolated so that the beacon signal cannot be received outside the area where the communication device 2 is installed. Hereinafter, a case where the communication device 2 transmits a beacon signal will be described.

(携帯端末装置)
携帯端末装置5は、使用時に職員4の身体に装着され、携帯端末装置5が有するカメラで携帯端末装置5の周囲を撮影することにより、職員4の位置から見た入居者3を撮影するために使用される。例えば、携帯端末装置5は、カメラが職員4の前方を撮影するように(すなわち、カメラの視界が職員4の前方を含むように)職員4に装着される。これにより、職員4が対応している入居者3をカメラで撮影することができる。
図2の(a)に示すように、職員4は、その首から下げた紐に携帯端末装置5を装着してもよい。携帯端末装置5は、職員4に装着されるための装着器具を備えるか、またはそのような装着器具を有する専用ケースに収容可能であってよい。
(Mobile terminal device)
The mobile terminal device 5 is attached to the body of the employee 4 at the time of use, and the camera of the mobile terminal device 5 photographs the surroundings of the mobile terminal device 5 to photograph the resident 3 as seen from the position of the employee 4. Used for. For example, the mobile terminal device 5 is attached to the employee 4 so that the camera captures the front of the employee 4 (that is, the field of view of the camera includes the front of the employee 4). As a result, the resident 3 supported by the staff 4 can be photographed with the camera.
As shown in FIG. 2A, the employee 4 may attach the mobile terminal device 5 to the string hung from the neck. The mobile terminal device 5 may be provided with a mounting device to be mounted on the employee 4, or may be accommodated in a dedicated case having such a mounting device.

または、職員4は、別の部位に携帯端末装置5を装着し、携帯端末装置5へ映像を送信するカメラユニットを首から下げた紐に装着してもよい。図2の(b)に示すように、ヘッドセットカメラのような外付けのカメラ12を頭部に装着してもよい。
または、図2の(c)に示すように、職員4の制服等に、携帯端末装置5又は外付けのカメラを収容する装着スペースを設けてもよい。
Alternatively, the employee 4 may attach the mobile terminal device 5 to another portion and attach the camera unit for transmitting an image to the mobile terminal device 5 to a string hung from the neck. As shown in FIG. 2B, an external camera 12 such as a headset camera may be attached to the head.
Alternatively, as shown in FIG. 2C, a mounting space for accommodating the mobile terminal device 5 or an external camera may be provided in the uniform or the like of the staff 4.

図3を参照する。携帯端末装置5は、操作部10と、表示部11と、カメラ12と、第1通信部13と、第2通信部14と、警報出力部15と、音響検出部16と、制御部17と、記憶装置18を備える。
操作部10は、情報入力手段として機能し、入力ボタンや表示部11の表示画面に設けられたタッチパネルなどを備えていてよい。操作部10は、職員4による携帯端末装置5への情報入力及び操作入力を受け付けるために使用される。例えば、操作部10は、カメラ12による撮影を停止させる職員4の操作の入力を受け付ける。
See FIG. The mobile terminal device 5 includes an operation unit 10, a display unit 11, a camera 12, a first communication unit 13, a second communication unit 14, an alarm output unit 15, an acoustic detection unit 16, and a control unit 17. , The storage device 18.
The operation unit 10 functions as an information input means, and may include an input button, a touch panel provided on the display screen of the display unit 11, and the like. The operation unit 10 is used to receive information input and operation input to the mobile terminal device 5 by the staff 4. For example, the operation unit 10 receives an input of an operation of the staff 4 who stops the shooting by the camera 12.

表示部11は、表示手段として機能し、制御部17の制御によって各種の操作画面や情報の表示を行う。表示部11には、例えばカメラ12の操作画面が表示される。カメラ12の操作画面には、例えばカメラ12による撮影を開始させる撮影開始ボタンや、カメラ12による撮影を停止させる撮影停止ボタン等が表示されてよい。
カメラ12は、CCD素子またはC−MOS素子などの撮像素子、光学系部品、A/D変換器、エンコーダなどを含んで形成される公知の内蔵カメラ又は外部カメラであってよい。カメラ12は、撮影画像を制御部17へ出力する。
The display unit 11 functions as a display means, and displays various operation screens and information under the control of the control unit 17. For example, the operation screen of the camera 12 is displayed on the display unit 11. On the operation screen of the camera 12, for example, a shooting start button for starting shooting by the camera 12, a shooting stop button for stopping shooting by the camera 12, and the like may be displayed.
The camera 12 may be a known built-in camera or an external camera formed by including an image sensor such as a CCD element or a C-MOS element, an optical system component, an A / D converter, an encoder, and the like. The camera 12 outputs the captured image to the control unit 17.

第1通信部13は、例えばBLE(Bluetooth Low Energy)などの近距離無線通信規格に従った無線通信を行うためのインタフェース回路を備える。近距離無線の通信範囲は数m〜数十m程度であってよい。これにより、第1通信部13は、通信装置2から送信されるビーコン信号を受信する。
第2通信部14は、有線又は無線の通信インタフェースを備え、通信回線6を介してサーバ装置7との有線通信又は無線通信を行うための回路である。
The first communication unit 13 includes an interface circuit for performing wireless communication in accordance with a short-range wireless communication standard such as BLE (Bluetooth Low Energy). The communication range of short-range radio may be about several meters to several tens of meters. As a result, the first communication unit 13 receives the beacon signal transmitted from the communication device 2.
The second communication unit 14 is provided with a wired or wireless communication interface, and is a circuit for performing wired communication or wireless communication with the server device 7 via the communication line 6.

警報出力部15は、制御部17の制御に従って視覚信号や音響信号による警報を出力する。警報出力部15は、例えば音響信号を出力するブザーやスピーカであってよく、又は視覚信号を出力する表示装置やランプであってよい。
音響検出部16は、携帯端末装置5の周辺の音響信号を検出する。音響検出部16は、内蔵マイクや外付けマイクなどであってよい。音響検出部16は、検出した音響信号を制御部17へ出力する。
The alarm output unit 15 outputs an alarm by a visual signal or an acoustic signal according to the control of the control unit 17. The alarm output unit 15 may be, for example, a buzzer or a speaker that outputs an acoustic signal, or a display device or a lamp that outputs a visual signal.
The acoustic detection unit 16 detects an acoustic signal around the mobile terminal device 5. The sound detection unit 16 may be a built-in microphone, an external microphone, or the like. The acoustic detection unit 16 outputs the detected acoustic signal to the control unit 17.

制御部17は、携帯端末装置5の動作を制御するためのCPU(Central Processing Unit)やMPU(Micro-Processing Unit)等のプロセッサを含んでよい。汎用の半導体集積回路中に設定される機能的な論理回路で制御部17を実現してもよい。例えば、制御部17はフィールド・プログラマブル・ゲート・アレイ(FPGA:Field-Programmable Gate Array)等のプログラマブル・ロジック・デバイス(PLD:Programmable Logic Device)等を有していてもよい。 The control unit 17 may include a processor such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit) for controlling the operation of the mobile terminal device 5. The control unit 17 may be realized by a functional logic circuit set in a general-purpose semiconductor integrated circuit. For example, the control unit 17 may have a programmable logic device (PLD: Programmable Logic Device) such as a field-programmable gate array (FPGA).

制御部17は、通信処理部20と、入室判定部21と、撮影制御部22と、警報制御部23と、人体検出部24と、異常判定部25と、を備える。制御部17は、記憶装置18に記憶されたコンピュータプログラムを実行することにより、以下に説明する通信処理部20、入室判定部21、撮影制御部22、警報制御部23、人体検出部24、異常判定部25の処理を実施する。すなわちコンピュータプログラムは、通信処理部20、入室判定部21、撮影制御部22、警報制御部23、人体検出部24、異常判定部25の処理を制御部17に実施させる命令を含む。 The control unit 17 includes a communication processing unit 20, an entry determination unit 21, a photographing control unit 22, an alarm control unit 23, a human body detection unit 24, and an abnormality determination unit 25. By executing the computer program stored in the storage device 18, the control unit 17 executes the communication processing unit 20, the room entry determination unit 21, the photographing control unit 22, the alarm control unit 23, the human body detection unit 24, and the abnormality described below. The process of the determination unit 25 is performed. That is, the computer program includes an instruction to cause the control unit 17 to perform processing of the communication processing unit 20, the room entry determination unit 21, the photographing control unit 22, the alarm control unit 23, the human body detection unit 24, and the abnormality determination unit 25.

なお、制御部17は、これら通信処理部20、入室判定部21、撮影制御部22、警報制御部23、人体検出部24、異常判定部25の機能の全てを備える必要はなく、サーバ装置7がこれらの機能の一部を備えてもよい。
記憶装置18は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置18は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。
The control unit 17 does not need to have all the functions of the communication processing unit 20, the room entry determination unit 21, the imaging control unit 22, the alarm control unit 23, the human body detection unit 24, and the abnormality determination unit 25, and the server device 7 May include some of these features.
The storage device 18 may include any of a semiconductor storage device, a magnetic storage device, and an optical storage device. The storage device 18 may include a memory such as a register, a cache memory, a ROM (Read Only Memory) and a RAM (Random Access Memory) used as the main storage device.

通信処理部20は、第2通信部14を介してサーバ装置7との間の通信処理を行う。カメラ12による撮影画像及び音響検出部16により検出された音響信号が制御部17に入力されると、これらの撮影画像及び音響信号は、携帯端末装置5に記憶されることなく通信処理部20によりサーバ装置7へ送信される。
図4(a)に示すようにカメラ12による撮影画像30には、入居者3の映像31が含まれることがある。同様に、音響検出部16により検出された音響信号には入居者3の発言が含まれることがある。
The communication processing unit 20 performs communication processing with the server device 7 via the second communication unit 14. When the captured image by the camera 12 and the acoustic signal detected by the acoustic detection unit 16 are input to the control unit 17, the captured image and the acoustic signal are not stored in the portable terminal device 5 and are not stored in the mobile terminal device 5 by the communication processing unit 20. It is transmitted to the server device 7.
As shown in FIG. 4A, the image 30 captured by the camera 12 may include the image 31 of the resident 3. Similarly, the acoustic signal detected by the acoustic detection unit 16 may include the remarks of the resident 3.

撮影画像及び音響信号を携帯端末装置5に記憶させないことにより、これらの情報が携帯端末装置5から不正に取り出されて漏洩するのを防ぐことができる。これにより、入居者3のプライバシーが保護される。
なお、通信処理部20は、プライバシー保護のため図4(b)に示すように撮影画像30の入居者3の映像31の部分にモザイク処理を施してからサーバ装置7へ送信してもよい。音響検出部16により検出された音響信号にも発声者が特定できないような処理を施してもよい。
By not storing the captured image and the acoustic signal in the mobile terminal device 5, it is possible to prevent such information from being illegally taken out from the mobile terminal device 5 and leaked. As a result, the privacy of the resident 3 is protected.
As shown in FIG. 4B, the communication processing unit 20 may perform mosaic processing on the portion of the image 31 of the resident 3 of the captured image 30 and then transmit the image to the server device 7 for privacy protection. The acoustic signal detected by the acoustic detection unit 16 may also be subjected to processing so that the speaker cannot be identified.

図3を参照する。第1通信部13が通信装置2から定期的に送信されるビーコン信号を受信すると、通信処理部20は、ビーコン信号に含まれる通信装置2に固有の識別情報(ID情報)をサーバ装置7へ送信する。このとき、入室判定部21は、第1通信部13が通信装置2から定期的に送信されるビーコン信号を受信したか否かに応じて、携帯端末装置5を装着した職員4が居室1に入室したか否かを判断してよい。すなわち入室判定部21は、第1通信部13が通信装置2と通信可能となると職員4が居室1に入室したと判断してよい。通信処理部20は、職員4が居室1に入室したと入室判定部21が判断した場合に、通信装置2のID情報をサーバ装置7へ送信する。
通信処理部20は、ID情報に応答してサーバ装置7から送信される撮影許可信号及び撮影停止禁止信号を受信する。
See FIG. When the first communication unit 13 receives the beacon signal periodically transmitted from the communication device 2, the communication processing unit 20 transfers the identification information (ID information) unique to the communication device 2 included in the beacon signal to the server device 7. Send. At this time, in the room entry determination unit 21, the staff 4 wearing the mobile terminal device 5 is placed in the room 1 depending on whether or not the first communication unit 13 has received the beacon signal periodically transmitted from the communication device 2. You may decide whether or not you have entered the room. That is, the room entry determination unit 21 may determine that the staff 4 has entered the living room 1 when the first communication unit 13 can communicate with the communication device 2. When the entry determination unit 21 determines that the staff 4 has entered the living room 1, the communication processing unit 20 transmits the ID information of the communication device 2 to the server device 7.
The communication processing unit 20 receives the shooting permission signal and the shooting stop prohibition signal transmitted from the server device 7 in response to the ID information.

撮影制御部22は、カメラ12による撮影の開始及び停止を制御する。ビーコン信号の受信に基づき職員4が居室1に入室したと判断され、通信処理部20がサーバ装置7から撮影許可信号を受信すると、撮影制御部22は、カメラ12による撮影と音響検出部16による音響検出を開始する。すなわち撮影制御部22は、第1通信部13が通信装置2と通信可能になると、カメラ12による撮影と音響検出部16による音響検出を開始する。いいかえれば、撮影制御部22は、第1通信部13と通信装置2との間の通信に基づいて、カメラ12による撮影と音響検出部16による音響信号の検出を制御する。 The shooting control unit 22 controls the start and stop of shooting by the camera 12. When it is determined that the staff member 4 has entered the living room 1 based on the reception of the beacon signal and the communication processing unit 20 receives the photographing permission signal from the server device 7, the photographing control unit 22 uses the camera 12 for photographing and the sound detecting unit 16. Start acoustic detection. That is, when the first communication unit 13 can communicate with the communication device 2, the photographing control unit 22 starts photographing by the camera 12 and sound detection by the sound detecting unit 16. In other words, the photographing control unit 22 controls the photographing by the camera 12 and the detection of the acoustic signal by the acoustic detection unit 16 based on the communication between the first communication unit 13 and the communication device 2.

また、ビーコン信号の受信に基づき職員4が居室1に入室したと判断され、通信処理部20がサーバ装置7から撮影停止禁止信号を受信すると、撮影制御部22はカメラ12による撮影の停止を禁止する。すなわち撮影制御部22は、第1通信部13が通信装置2と通信可能になると、カメラ12による撮影の停止を禁止する。いいかえれば、撮影制御部22は、第1通信部13と通信装置2との間の通信に基づいて、カメラ12による撮影の停止を禁止する。 Further, when it is determined that the employee 4 has entered the living room 1 based on the reception of the beacon signal and the communication processing unit 20 receives the shooting stop prohibition signal from the server device 7, the shooting control unit 22 prohibits the shooting from being stopped by the camera 12. To do. That is, the photographing control unit 22 prohibits the camera 12 from stopping the photographing when the first communication unit 13 can communicate with the communication device 2. In other words, the photographing control unit 22 prohibits the camera 12 from stopping the photographing based on the communication between the first communication unit 13 and the communication device 2.

例えば、撮影制御部22は、表示部11に表示したカメラ12の操作画面における撮影停止ボタンの操作を無効にしてよい。また例えば撮影制御部22は、撮影停止ボタンの表示自体を禁止してよい。
居室1内で職員4が撮影を停止するのを禁止することにより、職員4の行動記録が不正に中断され、その間に職員4が入居者3に対して暴行行為に及ぶのを防ぐことができる。
For example, the shooting control unit 22 may invalidate the operation of the shooting stop button on the operation screen of the camera 12 displayed on the display unit 11. Further, for example, the shooting control unit 22 may prohibit the display of the shooting stop button itself.
By prohibiting the staff 4 from stopping the shooting in the living room 1, it is possible to prevent the staff 4 from unfairly interrupting the action record of the staff 4 and assaulting the resident 3 during that time. ..

職員4が居室1から退出し、第1通信部13が通信装置2のビーコン信号を受信しなくなると、入室判定部21は、職員4が居室1から退出したと判断する。すなわち入室判定部21は、第1通信部13が通信装置2と通信できなくなると職員4が居室1に退出したと判断する。
撮影制御部22は、ビーコン信号の受信に基づき職員4が居室1から退出したと判断されると、カメラ12による撮影を停止する。すなわち撮影制御部22は、第1通信部13が通信装置2と通信できなくなるとカメラ12による撮影を停止する。撮影制御部22は、第1通信部13が通信装置2と通信できなくなるとカメラ12による撮影を停止してよい。例えば、撮影制御部22は、第1通信部13が通信装置2と通信できなくなってから所定時間が経過した時点でカメラ12による撮影を停止してよい。
When the employee 4 leaves the room 1 and the first communication unit 13 stops receiving the beacon signal of the communication device 2, the room entry determination unit 21 determines that the employee 4 has left the room 1. That is, the room entry determination unit 21 determines that the staff 4 has left the living room 1 when the first communication unit 13 cannot communicate with the communication device 2.
When it is determined that the staff 4 has left the living room 1 based on the reception of the beacon signal, the shooting control unit 22 stops shooting by the camera 12. That is, the shooting control unit 22 stops shooting by the camera 12 when the first communication unit 13 cannot communicate with the communication device 2. The photographing control unit 22 may stop photographing by the camera 12 when the first communication unit 13 cannot communicate with the communication device 2. For example, the photographing control unit 22 may stop photographing by the camera 12 when a predetermined time has elapsed after the first communication unit 13 cannot communicate with the communication device 2.

また、撮影制御部22は、ビーコン信号の受信に基づき職員4が居室1から退出したと判断されると、カメラ12による撮影の停止禁止を解除する。
また、職員4が居室1外にいて、通信装置2からのビーコン信号を受信していない間、撮影制御部22は、表示部11に表示したカメラ12の操作画面にて行われる操作に従ってカメラ12による撮影を開始及び停止する。これにより、職員4が居室1外にいる間、職員4は手動でカメラ12を操作することができる。
Further, when it is determined that the employee 4 has left the living room 1 based on the reception of the beacon signal, the photographing control unit 22 releases the prohibition of stopping the photographing by the camera 12.
Further, while the staff 4 is outside the living room 1 and is not receiving the beacon signal from the communication device 2, the photographing control unit 22 follows the operation performed on the operation screen of the camera 12 displayed on the display unit 11 to the camera 12. Starts and stops shooting by. As a result, the staff 4 can manually operate the camera 12 while the staff 4 is outside the living room 1.

撮影制御部22やカメラ12の故障により、職員4の作業期間が終わって職員4が居室1から退出してもカメラ12による撮影が自動的に停止しなくなる虞がある。職員4の作業期間が終わってもカメラ12による撮影が停止しないと、職員4のプライバシーが侵害される虞がある。
このため警報制御部23は、第1通信部13が通信装置2と通信できなくなってから所定時間が経過してもカメラ12による撮影が継続している場合に、所定の警報を生成する。例えば、警報制御部23は、ブザーやスピーカである警報出力部15から警報音や警報メッセージを出力してよい。警報制御部23は、表示装置やランプである警報出力部15により視覚的な警報表示を出力してよい。
Due to a failure of the shooting control unit 22 or the camera 12, there is a risk that the shooting by the camera 12 will not be automatically stopped even if the staff 4 leaves the living room 1 after the work period of the staff 4 is completed. If the shooting by the camera 12 is not stopped even after the work period of the staff 4, the privacy of the staff 4 may be infringed.
Therefore, the alarm control unit 23 generates a predetermined alarm when the camera 12 continues to take a picture even after a predetermined time has elapsed since the first communication unit 13 cannot communicate with the communication device 2. For example, the alarm control unit 23 may output an alarm sound or an alarm message from the alarm output unit 15 which is a buzzer or a speaker. The alarm control unit 23 may output a visual alarm display by the alarm output unit 15 which is a display device or a lamp.

携帯端末装置5が正常に装着されていないと、職員4が対応している入居者3を撮影できないため職員4の行動を記録することができなくなる。このため、異常判定部25は、携帯端末装置5の装着状態の異常を判定する。携帯端末装置5の装着状態の異常には、携帯端末装置5自体の装着状態の異常のほか、カメラ12として外付けカメラが使用される場合にはカメラ12の装着状態の異常も含む。 If the mobile terminal device 5 is not normally attached, the employee 4 cannot take a picture of the corresponding resident 3, and thus the action of the employee 4 cannot be recorded. Therefore, the abnormality determination unit 25 determines the abnormality of the wearing state of the mobile terminal device 5. The abnormality of the mounting state of the mobile terminal device 5 includes the abnormality of the mounting state of the mobile terminal device 5 itself and the abnormality of the mounting state of the camera 12 when the external camera is used as the camera 12.

このため、人体検出部24はカメラ12による撮影画像に写った人体を検出する。異常判定部25は、職員4が居室1に入室したと入室判定部21が判定しカメラ12が撮影している間に、人体検出部24が人体を検出したか否かに応じて、携帯端末装置5の装着状態の異常を判定する。
これは、職員4が居室1に入室しているにもかかわらず、職員4が入居者3を全く見ずにいる(すなわち職員4が入居者3の方を全く向かずにいる)ことは不自然であるという知見に基づく。
Therefore, the human body detection unit 24 detects the human body captured in the image captured by the camera 12. The abnormality determination unit 25 is a mobile terminal depending on whether or not the human body detection unit 24 has detected a human body while the entry determination unit 21 determines that the employee 4 has entered the living room 1 and the camera 12 is taking a picture. Determine the abnormality of the mounting state of the device 5.
This is because even though the staff 4 is in the room 1, the staff 4 does not see the resident 3 at all (that is, the staff 4 does not face the resident 3 at all). Based on the finding that it is natural.

異常判定部25は、職員4が居室1に入室したと入室判定部21が判定しカメラ12が撮影している状態において、連続して人体検出部24が人体を検出しない期間の長さに応じて携帯端末装置5の装着状態の異常を判定してよい。例えば、異常判定部25は、職員4が居室1に入室したと入室判定部21が判定しカメラ12が撮影している状態で、所定期間以上連続して人体検出部24が人体を検出しない場合に、装着状態が異常であると判定してよい。
異常判定部25は、通信処理部20を介して携帯端末装置5の装着状態の異常をサーバ装置7へ通報する。
The abnormality determination unit 25 responds to the length of the period during which the human body detection unit 24 does not continuously detect the human body in a state where the entry determination unit 21 determines that the employee 4 has entered the living room 1 and the camera 12 is taking a picture. The abnormality in the mounting state of the mobile terminal device 5 may be determined. For example, in the case where the abnormality determination unit 25 determines that the employee 4 has entered the living room 1 and the camera 12 is taking a picture, the human body detection unit 24 does not detect the human body continuously for a predetermined period or longer. In addition, it may be determined that the mounting state is abnormal.
The abnormality determination unit 25 notifies the server device 7 of an abnormality in the mounting state of the mobile terminal device 5 via the communication processing unit 20.

また、異常判定部25は、職員4が居室1に入室したと入室判定部21が判定しカメラ12が撮影している状態において、人体検出部24が人体を検出する頻度に応じて携帯端末装置5の装着状態の異常を判定してよい。例えば、異常判定部25は、職員4が居室1に入室したと入室判定部21が判定しカメラ12が撮影している状態において、人体検出部24による所定期間内の人体検出回数が閾値以下の場合に、装着状態が異常であると判定してよい。 Further, the abnormality determination unit 25 is a mobile terminal device according to the frequency with which the human body detection unit 24 detects the human body in a state where the entry determination unit 21 determines that the employee 4 has entered the living room 1 and the camera 12 is taking a picture. The abnormality of the mounting state of 5 may be determined. For example, in the abnormality determination unit 25, the number of times the human body is detected within a predetermined period by the human body detection unit 24 is equal to or less than the threshold value in a state where the entry determination unit 21 determines that the employee 4 has entered the living room 1 and the camera 12 is taking a picture. In this case, it may be determined that the mounting state is abnormal.

人体検出部24は、カメラ12による撮影画像に写った人の顔の検出結果に基づき人体を検出してよい。
例えば人体検出部24は、人の頭部形状に類似した楕円形状の参照パターンを用いて撮影画像のエッジ画像を走査することにより、人の頭部を顔として検出してよい。また、人体検出部24は、人の顔が存在する画像と人の顔が存在しない画像とを用いて事前学習させた識別器に画像を入力し、その識別器により撮影画像に写った人の顔を検出してもよい。
The human body detection unit 24 may detect the human body based on the detection result of the human face captured in the image captured by the camera 12.
For example, the human body detection unit 24 may detect the human head as a face by scanning the edge image of the captured image using an elliptical reference pattern similar to the human head shape. Further, the human body detection unit 24 inputs an image into a discriminator trained in advance using an image in which the human face exists and an image in which the human face does not exist, and the discriminator captures the photographed image of the person. The face may be detected.

また、人体検出部24は、撮影画像の肌色領域を検出することにより人の顔を検出してよい。なお、図4の(b)に示すように撮影画像にモザイク処理を施す際に、色情報が残るようにモザイク処理を行うことで、撮影画像に写った人の顔を肌色情報に基づいて検知することができる。
また、入居者3の服に所定形状や反射素材を備えたマーカを取り付けてもよい、人体検出部24は、カメラ12による撮影画像に写った所定のマーカの検出結果に基づき人体を検出してもよい。
In addition, the human body detection unit 24 may detect a human face by detecting a skin color region of a captured image. As shown in FIG. 4B, when the photographed image is subjected to the mosaic process, the face of the person in the photographed image is detected based on the skin color information by performing the mosaic process so that the color information remains. can do.
Further, a marker having a predetermined shape or a reflective material may be attached to the clothes of the resident 3, and the human body detection unit 24 detects the human body based on the detection result of the predetermined marker captured in the image captured by the camera 12. May be good.

なお、人体の検出による携帯端末装置5の装着判定ロジックを知っている職員4が、入居者3の顔が写る位置に携帯端末装置5を置き、職員4に携帯端末装置5が装着されていなくても異常を検出できないように画策することも考えられる。
そこで異常判定部25は、人体検出部24が人体を検出した場合であっても、時間的に連続する画像間で変化がない状態が所定期間以上継続する場合には、携帯端末装置5の装着状態が異常であると判定する。
The employee 4 who knows the attachment determination logic of the mobile terminal device 5 by detecting the human body places the mobile terminal device 5 at a position where the face of the resident 3 can be seen, and the employee 4 is not equipped with the mobile terminal device 5. However, it is conceivable to take measures so that the abnormality cannot be detected.
Therefore, even if the human body detection unit 24 detects the human body, the abnormality determination unit 25 attaches the mobile terminal device 5 when the state in which there is no change between images that are continuous in time continues for a predetermined period or longer. Judge that the state is abnormal.

例えば異常判定部25は、異なる時刻にカメラ12が撮影した撮像画像(すなわち「フレーム」)間の変化が所定量以下の場合に携帯端末装置5の装着状態が異常であると判定する。
この場合、カメラ12の被写体の人物が多少動く場合にもフレーム間で変化が生じるが、携帯端末装置5が正常に装着されている場合には職員4が作業を行う過程で画像全体に変化が発生するので変化量がより大きい。このため、フレーム間で変化量に基づいて携帯端末装置5の装着状態が異常であるか否かを識別できる。
For example, the abnormality determination unit 25 determines that the wearing state of the mobile terminal device 5 is abnormal when the change between the captured images (that is, “frames”) taken by the camera 12 at different times is equal to or less than a predetermined amount.
In this case, even if the person who is the subject of the camera 12 moves a little, the change occurs between the frames, but when the mobile terminal device 5 is normally attached, the entire image changes in the process of the staff 4 performing the work. Since it occurs, the amount of change is large. Therefore, it is possible to identify whether or not the wearing state of the mobile terminal device 5 is abnormal based on the amount of change between the frames.

さらに、異常判定部25は、音響検出部16の故障や音響検出部16に対する職員4の画策行為等の異常を判定する。
異常判定部25は、カメラ12による撮影中に人体検出部24が人体を検出しているにも関わらず音響検出部16が音響信号を検出しない場合に、音響検出部16の異常、すなわち音響検出部16の故障や、音響検出部16に対する何らかの不正行為を判定する。例えば、異常判定部25は、カメラ12による撮影中に人体検出部24が人体を検出しているにも関わらず音響検出部16が所定レベルTh1以上の音響信号を検出しない場合に、音響検出部16の異常と判定してよい。
異常判定部25は、通信処理部20を介して音響検出部16の異常をサーバ装置7へ通報する。
Further, the abnormality determination unit 25 determines an abnormality such as a failure of the sound detection unit 16 or a planning action of the staff 4 with respect to the sound detection unit 16.
The abnormality determination unit 25 detects an abnormality in the acoustic detection unit 16, that is, acoustic detection when the acoustic detection unit 16 does not detect an acoustic signal even though the human body detection unit 24 detects the human body during shooting by the camera 12. It is determined that the unit 16 has failed or that some kind of fraudulent activity has been performed on the acoustic detection unit 16. For example, the abnormality determination unit 25 is a sound detection unit when the sound detection unit 16 does not detect an acoustic signal of a predetermined level Th1 or higher even though the human body detection unit 24 detects the human body during shooting by the camera 12. It may be determined that the abnormality is 16.
The abnormality determination unit 25 notifies the server device 7 of the abnormality of the sound detection unit 16 via the communication processing unit 20.

ここで「不正行為」には、例えばカメラ12による映像には正常な介護行為が記録されているが、職員4が入居者3を罵倒する発言などを行い、その際の音響信号の記録を職員4が妨害する行為を含む。
例えば、音響検出部16が音響信号を検出しない場合として、職員4が音響検出部16を何らかの素材で覆い、音響検出部16に音が全く入力されない場合が想定される。この場合、異常判定部25は、人体検出部24が人体を検出した前後において音響検出部16が所定レベルTh1以上の音響信号を検出しない場合に、音響検出部16の異常と判定してよい。
Here, in the "fraudulent act", for example, a normal care act is recorded in the image taken by the camera 12, but the staff member 4 makes a statement that abuses the resident 3 and records the acoustic signal at that time. Including acts that 4 interferes.
For example, assuming that the acoustic detection unit 16 does not detect an acoustic signal, it is assumed that the staff 4 covers the acoustic detection unit 16 with some material and no sound is input to the acoustic detection unit 16. In this case, the abnormality determination unit 25 may determine that the sound detection unit 16 is abnormal when the sound detection unit 16 does not detect an acoustic signal of a predetermined level Th1 or higher before and after the human body detection unit 24 detects the human body.

なお、人体検出部24による人体検出の時期と、音響信号の検出時期とのタイミングは一致していなくてもよい。すなわち、人体検出部24による人体検出時期を含む前後の所定期間内において、所定レベルTh1以上の音響信号を検出しない場合に、音響検出部16の異常と判定してよい。 The timing of the human body detection by the human body detection unit 24 and the timing of the acoustic signal detection may not be the same. That is, if an acoustic signal of a predetermined level Th1 or higher is not detected within a predetermined period before and after including the human body detection time by the human body detection unit 24, it may be determined that the acoustic detection unit 16 is abnormal.

また不正行為は、音響検出部16に雑音を入力することにより、職員4の音声が識別できないようにする行為を含んでよい。例えば、音響検出部16を連続的に叩いて雑音を入力することが考えられる。
この場合、異常判定部25は、カメラ12による撮影中に人体検出部24が人体を検出しているに期間に、所定レベルより大きい第2の所定レベルTh2以上の音響信号を音響検出部16が検出した場合に、音響検出部16の異常と判定する。
人体検出部24による人体検出の時期と、音響信号の検出時期とのタイミングは一致していなくてもよい。すなわち、人体検出部24による人体検出時期を含む前後の所定期間内において、第2の所定レベルTh2以上の音響信号を検出した場合に、音響検出部16の異常と判定してよい。
Further, the fraudulent act may include an act of making the voice of the staff 4 indistinguishable by inputting noise to the sound detection unit 16. For example, it is conceivable to continuously hit the sound detection unit 16 to input noise.
In this case, the abnormality determination unit 25 transmits an acoustic signal of a second predetermined level Th2 or higher, which is larger than a predetermined level, while the human body detection unit 24 is detecting the human body during shooting by the camera 12. When it is detected, it is determined that the sound detection unit 16 is abnormal.
The timing of detecting the human body by the human body detecting unit 24 and the timing of detecting the acoustic signal may not be the same. That is, when an acoustic signal of a second predetermined level Th2 or higher is detected within a predetermined period before and after the human body detection time by the human body detection unit 24, it may be determined that the acoustic detection unit 16 is abnormal.

さらに、異常判定部25は、カメラ12による撮影中に人体検出部24が人体を検出した期間に、音響検出部16が所定レベルTh1以上の音響信号を検出しても、検出した音響信号が母音成分を含まない場合には、音響検出部16の異常と判定してよい。すなわち、検出した音響信号に母音が含まれるか否かを判定することで、人の音声が検出できているか否かを判定してもよい。
例えば、所定周期ごとに検出した音響信号の周波数特徴量を算出し、予め多数の話者から採取した音声データを元に学習した母音特徴量と、算出した周波数特徴量と、を比較することによって音響信号に母音が含まれるか否かを判定してよい。
なお、人体検出部24による人体検出の時期と、母音成分を含む音響信号の検出時期とのタイミングは一致していなくてもよい。すなわち、人体検出部24による人体検出時期を含む前後の所定期間内において、音響検出部16が所定レベルTh1以上の音響信号を検出しても、音響信号が母音成分を含まない場合には、音響検出部16の異常と判定してよい。
Further, in the abnormality determination unit 25, even if the acoustic detection unit 16 detects an acoustic signal of a predetermined level Th1 or higher during the period when the human body detection unit 24 detects the human body during shooting by the camera 12, the detected acoustic signal is a vowel. If the component is not included, it may be determined that the acoustic detection unit 16 is abnormal. That is, it may be determined whether or not the human voice can be detected by determining whether or not the detected acoustic signal includes a vowel.
For example, by calculating the frequency features of the acoustic signal detected at each predetermined cycle and comparing the vowel features learned based on the voice data collected from a large number of speakers in advance with the calculated frequency features. It may be determined whether or not the acoustic signal contains vowels.
The timing of the human body detection by the human body detection unit 24 and the timing of the detection of the acoustic signal including the vowel component may not be the same. That is, even if the acoustic detection unit 16 detects an acoustic signal of a predetermined level Th1 or higher within a predetermined period before and after including the human body detection time by the human body detection unit 24, if the acoustic signal does not contain a vowel component, the sound is acoustic. It may be determined that the detection unit 16 is abnormal.

(サーバ装置)
図5を参照する。サーバ装置7は、携帯端末装置5から通信装置2のID情報を受信すると、通信装置2が設置された居室1における携帯端末装置5の撮影可否を判断する。
居室1における携帯端末装置5による撮影を許可する場合、サーバ装置7は撮影許可信号を携帯端末装置5へ送信する。
サーバ装置7は、携帯端末装置5から受信したカメラ12の撮影画像と音響検出部16による音響信号を、職員4の行動記録情報として所定の記憶装置42にセキュアに記憶する。
(Server device)
See FIG. When the server device 7 receives the ID information of the communication device 2 from the mobile terminal device 5, it determines whether or not the mobile terminal device 5 can take a picture in the living room 1 in which the communication device 2 is installed.
When permitting photography by the mobile terminal device 5 in the living room 1, the server device 7 transmits a photographing permission signal to the mobile terminal device 5.
The server device 7 securely stores the captured image of the camera 12 received from the mobile terminal device 5 and the acoustic signal by the acoustic detection unit 16 in the predetermined storage device 42 as the action record information of the staff 4.

またサーバ装置7は、現在時刻が居室1における職員4の作業予定期間(例えば介護スケジュール期間)内であるか否かを判定する。現在時刻が居室1における職員4の作業予定期間内である場合、サーバ装置7は、撮影停止禁止信号を携帯端末装置5へ送信する。現在時刻が居室1における職員4の作業予定期間外である場合に、撮影停止禁止信号を携帯端末装置5へ送信しない。この結果、携帯端末装置5の撮影制御部22は、現在時刻が作業予定期間である場合にカメラ12による撮影の停止を禁止し、現在時刻が作業予定期間外である場合にカメラ12による撮影の停止を許可する。 Further, the server device 7 determines whether or not the current time is within the scheduled work period (for example, the long-term care schedule period) of the staff 4 in the living room 1. When the current time is within the scheduled work period of the staff 4 in the living room 1, the server device 7 transmits a shooting stop prohibition signal to the mobile terminal device 5. When the current time is outside the scheduled work period of the staff 4 in the living room 1, the shooting stop prohibition signal is not transmitted to the mobile terminal device 5. As a result, the shooting control unit 22 of the mobile terminal device 5 prohibits the camera 12 from stopping the shooting when the current time is the scheduled work period, and the shooting by the camera 12 when the current time is outside the scheduled work period. Allow suspension.

このように、緊急対処等の作業予定期間外の作業においては、撮影を開始しても職員4が自ら撮影を停止できるようにしてよい。すなわち、このような緊急事態では、職員4が自らの行為を記録するか否かの判断が可能になる。これにより、例えば、緊急事態において撮影されていることで思い切った行動を躊躇したりすることを防ぎ、また逆に自らの行為を記録したい場合には撮影停止にしないという判断を行うことも可能になる。 In this way, in the work outside the scheduled work period such as emergency response, the staff 4 may be able to stop the shooting by himself / herself even if the shooting is started. That is, in such an emergency situation, the employee 4 can determine whether or not to record his / her actions. This makes it possible to prevent people from hesitating to take drastic actions due to being photographed in an emergency, and conversely, if they want to record their own actions, they can decide not to stop shooting. Become.

サーバ装置7は、通信部40と、制御部41と、記憶装置42を備える。
通信部40は、有線又は無線の通信インタフェースを備え、通信回線6を介して携帯端末装置5との有線通信又は無線通信を行うための回路である。
制御部41は、サーバ装置7の動作を制御するためのCPUやMPU等のプロセッサを含んでよい。
The server device 7 includes a communication unit 40, a control unit 41, and a storage device 42.
The communication unit 40 is provided with a wired or wireless communication interface, and is a circuit for performing wired communication or wireless communication with the mobile terminal device 5 via the communication line 6.
The control unit 41 may include a processor such as a CPU or MPU for controlling the operation of the server device 7.

制御部41は、通信処理部50と、撮影可否判定部51と、作業期間照合部52と、制御信号生成部53と、行動記録部54とを備える。制御部41は、記憶装置42に記憶されたコンピュータプログラムを実行することにより、以下に説明する通信処理部50、撮影可否判定部51、作業期間照合部52、制御信号生成部53、及び行動記録部54の処理を実施する。すなわちコンピュータプログラムは、通信処理部50、撮影可否判定部51、作業期間照合部52、制御信号生成部53、及び行動記録部54の処理を制御部41に実施させる命令を含む。 The control unit 41 includes a communication processing unit 50, a shooting possibility determination unit 51, a work period collation unit 52, a control signal generation unit 53, and an action recording unit 54. By executing the computer program stored in the storage device 42, the control unit 41 executes the communication processing unit 50, the shooting possibility determination unit 51, the work period collation unit 52, the control signal generation unit 53, and the action recording unit described below. The processing of the part 54 is carried out. That is, the computer program includes an instruction to cause the control unit 41 to perform the processing of the communication processing unit 50, the shooting possibility determination unit 51, the work period collation unit 52, the control signal generation unit 53, and the action recording unit 54.

記憶装置42は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置42は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等のメモリを含んでよい。記憶装置42には、入居者情報60と、スケジュール情報61と、記録可否情報62と、行動記録情報63が記憶される。
入居者情報60は、居室1の入居者3に関する情報であり、居室1に設置された通信装置2のID情報に関連付けて記憶される。
スケジュール情報61は、居室1における職員4の作業予定期間すなわち介護スケジュール期間に関する情報であり、居室1に設置された通信装置2のID情報に関連付けて記憶される。
The storage device 42 may include any of a semiconductor storage device, a magnetic storage device, and an optical storage device. The storage device 42 may include a memory such as a register, a cache memory, a ROM and a RAM used as a main storage device. Resident information 60, schedule information 61, recordability information 62, and action record information 63 are stored in the storage device 42.
The resident information 60 is information about the resident 3 of the living room 1, and is stored in association with the ID information of the communication device 2 installed in the living room 1.
The schedule information 61 is information regarding the scheduled work period of the staff 4 in the living room 1, that is, the nursing care schedule period, and is stored in association with the ID information of the communication device 2 installed in the living room 1.

記録可否情報62は、居室1における携帯端末装置5による撮影及び録音の可否に関する情報であり、居室1に設置された通信装置2のID情報に関連付けて記憶される。居室1の入居者3が撮影及び録音に同意している場合には、撮影及び録音を許可する旨の情報が記録可否情報62として記憶される。居室1の入居者3が撮影及び録音に同意していない場合には、撮影及び録音を禁止する旨の情報が記録可否情報62として記憶される。
行動記録情報63は、携帯端末装置5から受信したカメラ12の撮影画像と音響検出部16による音響信号であり、居室1に設置された通信装置2のID情報と、入居者3の入居者情報60に関連付けてセキュアに記憶される。
The recordability information 62 is information regarding whether or not the mobile terminal device 5 can shoot and record in the living room 1, and is stored in association with the ID information of the communication device 2 installed in the living room 1. When the resident 3 of the living room 1 consents to the shooting and recording, the information to the effect that the shooting and recording are permitted is stored as the recordability information 62. If the resident 3 of the living room 1 does not agree to the shooting and recording, the information to the effect that the shooting and recording are prohibited is stored as the recordability information 62.
The action record information 63 is a photographed image of the camera 12 received from the mobile terminal device 5 and an acoustic signal by the acoustic detection unit 16, and is ID information of the communication device 2 installed in the living room 1 and resident information of the resident 3. It is securely stored in association with 60.

通信処理部50は、通信部40を介して携帯端末装置5との間の通信処理を行う。通信処理部50は、携帯端末装置5から送信された通信装置2のID情報を受信する。
通信装置2のID情報が受信されると、撮影可否判定部51は、通信装置2が設置された居室1における携帯端末装置5による撮影及び録音を許可するか否かを判定する。撮影可否判定部51は、通信装置2のID情報と、このID情報に関連付けられた記録可否情報62に基づいて撮影及び録音を許可するか否かを判定する。
居室1における撮影及び録音を許可する場合、制御信号生成部53は、撮影許可信号を生成する。通信処理部50は、通信部40を介して撮影許可信号を携帯端末装置5へ送信する。
The communication processing unit 50 performs communication processing with the mobile terminal device 5 via the communication unit 40. The communication processing unit 50 receives the ID information of the communication device 2 transmitted from the mobile terminal device 5.
When the ID information of the communication device 2 is received, the shooting possibility determination unit 51 determines whether or not to permit shooting and recording by the mobile terminal device 5 in the living room 1 in which the communication device 2 is installed. The shooting possibility determination unit 51 determines whether or not to permit shooting and recording based on the ID information of the communication device 2 and the recording possibility information 62 associated with the ID information.
When permitting photography and recording in the living room 1, the control signal generation unit 53 generates a photography permission signal. The communication processing unit 50 transmits a shooting permission signal to the mobile terminal device 5 via the communication unit 40.

通信装置2のID情報が受信されると、作業期間照合部52は、現在時刻が居室1における職員4の作業予定期間内であるか否かを判定する。
現在時刻が居室1における職員4の作業予定期間内である場合、制御信号生成部53は、撮影停止禁止信号を生成する。通信処理部50は、通信部40を介して撮影停止禁止信号を携帯端末装置5へ送信する。
現在時刻が居室1における職員4の作業予定期間外である場合、制御信号生成部53は、撮影停止禁止信号を生成しない。
行動記録部54は、携帯端末装置5から受信したカメラ12の撮影画像と音響検出部16による音響信号を、職員4の行動記録情報63として記憶装置42に記憶する。
When the ID information of the communication device 2 is received, the work period collation unit 52 determines whether or not the current time is within the scheduled work period of the staff 4 in the living room 1.
When the current time is within the scheduled work period of the staff 4 in the living room 1, the control signal generation unit 53 generates a shooting stop prohibition signal. The communication processing unit 50 transmits a shooting stop prohibition signal to the mobile terminal device 5 via the communication unit 40.
When the current time is outside the scheduled work period of the staff 4 in the living room 1, the control signal generation unit 53 does not generate the shooting stop prohibition signal.
The action recording unit 54 stores the captured image of the camera 12 received from the mobile terminal device 5 and the acoustic signal by the sound detection unit 16 in the storage device 42 as the action recording information 63 of the staff 4.

(動作)
続いて、行動記録システムの動作を説明する。図6を参照する。図6に示す動作は、所定周期(例えば0.1秒)で反復して実行される。
ステップS1において携帯端末装置5の入室判定部21は、通信装置2からビーコン信号を受信したか否かを判定する。ビーコン信号を受信した場合(ステップS1:Y)に、通信処理部20は、ビーコン信号に含まれる通信装置2のID情報をサーバ装置7へ送信する。その後に処理はステップS2に進む。ビーコン信号を受信しない場合(ステップS1:N)に処理はステップS11に進む。
(motion)
Next, the operation of the action recording system will be described. See FIG. The operation shown in FIG. 6 is repeatedly executed at a predetermined cycle (for example, 0.1 second).
In step S1, the room entry determination unit 21 of the mobile terminal device 5 determines whether or not a beacon signal has been received from the communication device 2. When the beacon signal is received (step S1: Y), the communication processing unit 20 transmits the ID information of the communication device 2 included in the beacon signal to the server device 7. After that, the process proceeds to step S2. When the beacon signal is not received (step S1: N), the process proceeds to step S11.

ID情報に応答してサーバ装置7から送信される撮影許可信号を受信すると、ステップS2において撮影制御部22は、カメラ12による撮影中であるか否かを判定する。撮影中である場合(ステップS2:Y)に処理はステップS6に進む。撮影中でない場合(ステップS2:N)に処理はステップS3に進む。
ステップS3においては、撮影制御部22はカメラ12による撮影を開始する。その後、処理はステップS4へ進む。
Upon receiving the shooting permission signal transmitted from the server device 7 in response to the ID information, the shooting control unit 22 determines in step S2 whether or not shooting is being performed by the camera 12. When shooting is in progress (step S2: Y), the process proceeds to step S6. If shooting is not in progress (step S2: N), the process proceeds to step S3.
In step S3, the shooting control unit 22 starts shooting with the camera 12. After that, the process proceeds to step S4.

ステップS4においてサーバ装置7の作業期間照合部52は、現在時刻が居室1における職員4の介護スケジュール期間内であるか否かを判定する。現在時刻が介護スケジュール期間内である場合(ステップS4:Y)に制御信号生成部53は撮影停止禁止信号を生成する。携帯端末装置5は撮影停止禁止信号を受信する。その後に処理はステップS5に進む。現在時刻が介護スケジュール期間外である場合(ステップS4:N)に処理はステップS6に進む。
撮影停止禁止信号を受信すると、ステップS5において撮影制御部22は、カメラ12による撮影の停止禁止を設定する。その後、処理はステップS6へ進む。
In step S4, the work period collation unit 52 of the server device 7 determines whether or not the current time is within the care schedule period of the staff 4 in the living room 1. When the current time is within the care schedule period (step S4: Y), the control signal generation unit 53 generates a shooting stop prohibition signal. The mobile terminal device 5 receives the shooting stop prohibition signal. After that, the process proceeds to step S5. If the current time is outside the care schedule period (step S4: N), the process proceeds to step S6.
Upon receiving the shooting stop prohibition signal, the shooting control unit 22 sets the shooting stop prohibition by the camera 12 in step S5. After that, the process proceeds to step S6.

ステップS6において異常判定部25は、装着状態判定処理を実行する。装着状態判定処理において異常判定部25は、職員4への携帯端末装置5の装着状態を判定する。
装着状態が正常である場合(ステップS7:Y)に処理はステップS8に進む。装着状態が異常でない場合(ステップS7:N)に処理はステップS10に進む。
In step S6, the abnormality determination unit 25 executes the mounting state determination process. In the mounting state determination process, the abnormality determination unit 25 determines the mounting state of the mobile terminal device 5 on the staff 4.
When the mounting state is normal (step S7: Y), the process proceeds to step S8. If the mounting state is not abnormal (step S7: N), the process proceeds to step S10.

ステップS8において異常判定部25は、音響検出状態判定処理を実行する。音響検出状態判定処理において異常判定部25は、音響検出部16が異常か否かを判定する。
音響検出部16が異常である場合(ステップS9:Y)に処理はステップS10に進む。音響検出部16が異常でない場合(ステップS9:N)に処理は終了する。
ステップS10において異常判定部25は、携帯端末装置5の装着状態又は音響検出部16の異常をサーバ装置7へ送信する。その後に処理は終了する。
In step S8, the abnormality determination unit 25 executes the sound detection state determination process. In the sound detection state determination process, the abnormality determination unit 25 determines whether or not the sound detection unit 16 is abnormal.
When the sound detection unit 16 is abnormal (step S9: Y), the process proceeds to step S10. The process ends when the sound detection unit 16 is not abnormal (step S9: N).
In step S10, the abnormality determination unit 25 transmits the wearing state of the mobile terminal device 5 or the abnormality of the sound detection unit 16 to the server device 7. After that, the process ends.

ステップS11において撮影制御部22は、カメラ12による撮影中であるか否かを判定する。撮影中の場合(ステップS11:Y)に処理はステップS12に進む。撮影中でない場合(ステップS11:N)に処理は終了する。
ステップS12において撮影制御部22は、カメラ12による撮影を停止する。
ステップS13において撮影制御部22は、カメラ12による撮影の停止禁止を解除する。その後に処理は終了する。
In step S11, the shooting control unit 22 determines whether or not shooting is being performed by the camera 12. When shooting is in progress (step S11: Y), the process proceeds to step S12. The process ends when shooting is not in progress (step S11: N).
In step S12, the photographing control unit 22 stops photographing by the camera 12.
In step S13, the shooting control unit 22 releases the prohibition of stopping shooting by the camera 12. After that, the process ends.

図7を参照して、装着状態判定処理を説明する。
ステップS20において異常判定部25は、撮影画像に写った人体を人体検出部24が検出したか否かを判定する。人体が検出された場合(ステップS20:Y)に処理はステップS23に進む。人体が検出されない場合(ステップS20:N)に処理はステップS21に進む。
The mounting state determination process will be described with reference to FIG. 7.
In step S20, the abnormality determination unit 25 determines whether or not the human body detection unit 24 has detected the human body captured in the captured image. When the human body is detected (step S20: Y), the process proceeds to step S23. If the human body is not detected (step S20: N), the process proceeds to step S21.

ステップS21において異常判定部25は、人体を検出しない期間を計時するカウンタの値が所定値を超えたか否か、すなわち人体を検出しない状態で所定期間が経過したか否かを判定する。所定期間が経過した場合(ステップS21:Y)に処理はステップS22に進む。所定期間が経過しない場合(ステップS21:N)に処理はステップS24に進む。 In step S21, the abnormality determination unit 25 determines whether or not the value of the counter that measures the period during which the human body is not detected exceeds a predetermined value, that is, whether or not the predetermined period has elapsed without detecting the human body. When the predetermined period has elapsed (step S21: Y), the process proceeds to step S22. If the predetermined period does not elapse (step S21: N), the process proceeds to step S24.

ステップS22において異常判定部25は、携帯端末装置5の装着状態が異常であると判定する。その後、装着状態判定処理が終了する。
ステップS23において異常判定部25は、人体を検出しない期間を計時するカウンタをリセットする。その後に処理はステップS24へ進む。
ステップS24において異常判定部25は、携帯端末装置5の装着状態が正常であると判定する。その後、装着状態判定処理が終了する。
In step S22, the abnormality determination unit 25 determines that the wearing state of the mobile terminal device 5 is abnormal. After that, the mounting state determination process ends.
In step S23, the abnormality determination unit 25 resets the counter that measures the period during which the human body is not detected. After that, the process proceeds to step S24.
In step S24, the abnormality determination unit 25 determines that the wearing state of the mobile terminal device 5 is normal. After that, the mounting state determination process ends.

図8を参照して、音響検出状態判定処理を説明する。
ステップS30において異常判定部25は、現在時刻の前後を含む所定期間内に撮影画像に写った人体を人体検出部24が検出したか否かを判定する。人体が検出された場合(ステップS30:Y)に処理はステップS31に進む。人体が検出されない場合(ステップS30:N)に音響検出状態判定処理は終了する。
The sound detection state determination process will be described with reference to FIG.
In step S30, the abnormality determination unit 25 determines whether or not the human body detection unit 24 has detected the human body captured in the captured image within a predetermined period including before and after the current time. When the human body is detected (step S30: Y), the process proceeds to step S31. When the human body is not detected (step S30: N), the acoustic detection state determination process ends.

ステップS31において異常判定部25は、人体検出部24による人体検出時期の前後を含む期間に検出した音響信号の音響レベルが、所定レベルTh1未満であるか否かを判定する。すなわち、所定レベルTh1以上の音響信号が検出されたか否かを判定する。音響レベルがTh1未満である場合(ステップS31:Y)に処理はステップS35に進む。音響レベルがTh1未満でない場合(ステップS31:N)に処理はステップS32に進む。 In step S31, the abnormality determination unit 25 determines whether or not the acoustic level of the acoustic signal detected during the period including before and after the human body detection time by the human body detection unit 24 is less than the predetermined level Th1. That is, it is determined whether or not an acoustic signal of a predetermined level Th1 or higher is detected. When the sound level is less than Th1 (step S31: Y), the process proceeds to step S35. If the acoustic level is not less than Th1 (step S31: N), the process proceeds to step S32.

ステップS32において異常判定部25は、人体検出部24による人体検出時期の前後を含む期間に検出した音響信号の音響レベルが、第2の所定レベルTh2以上である否かを判定する。音響レベルが第2の所定レベルTh2以上である場合(ステップS32:Y)に処理はステップS35に進む。音響レベルが第2の所定レベルTh2以上でない場合(ステップS32:N)に処理はステップS33に進む。 In step S32, the abnormality determination unit 25 determines whether or not the acoustic level of the acoustic signal detected during the period including before and after the human body detection time by the human body detection unit 24 is the second predetermined level Th2 or higher. When the sound level is equal to or higher than the second predetermined level Th2 (step S32: Y), the process proceeds to step S35. When the sound level is not equal to or higher than the second predetermined level Th2 (step S32: N), the process proceeds to step S33.

ステップS33において異常判定部25は、検出した音響信号に母音成分が含まれる否かを判定する。音響信号が母音成分を含む場合(ステップS33:Y)に処理はステップS34に進む。音響信号が母音成分を含まない場合(ステップS33:N)に処理はステップS35に進む。
ステップS34において異常判定部25は、音響検出部16が異常でないと判断する。その後、音響検出状態判定処理が終了する。
ステップS35において異常判定部25は、音響検出部16が異常であると判断する。その後、音響検出状態判定処理が終了する。
In step S33, the abnormality determination unit 25 determines whether or not the detected acoustic signal contains a vowel component. When the acoustic signal contains a vowel component (step S33: Y), the process proceeds to step S34. When the acoustic signal does not contain a vowel component (step S33: N), the process proceeds to step S35.
In step S34, the abnormality determination unit 25 determines that the sound detection unit 16 is not abnormal. After that, the sound detection state determination process ends.
In step S35, the abnormality determination unit 25 determines that the sound detection unit 16 is abnormal. After that, the sound detection state determination process ends.

(実施形態の効果)
(1)行動記録システムは、所定エリアである居室1に設置された通信装置2と、職員4に装着可能な携帯端末装置5を備える。
携帯端末装置5は、携帯端末装置5の周囲を撮影するカメラ12と、通信装置2と通信する第1通信部13と、第1通信部13と通信装置2との間の通信に基づいて、カメラ12による撮影の停止を禁止する撮影制御部22と、を備える。
(Effect of embodiment)
(1) The action recording system includes a communication device 2 installed in a living room 1 which is a predetermined area, and a mobile terminal device 5 which can be attached to a staff member 4.
The mobile terminal device 5 is based on communication between a camera 12 that photographs the surroundings of the mobile terminal device 5, a first communication unit 13 that communicates with the communication device 2, and communication between the first communication unit 13 and the communication device 2. A shooting control unit 22 for prohibiting stopping of shooting by the camera 12 is provided.

これにより、職員4が居室1に入室している期間に限定して監視することで入居者3のプライバシーを保護するとともに、職員4の行動を記録することで入居者3に対する職員4の暴行行為を防止することができる。さらに、万が一の事故発生時に職員4の潔白を証明することができる。
また、職員4に装着される携帯端末装置5で入居者3の映像を撮影しているので、固定された監視カメラと違って、職員4が対応している入居者3がカメラの死角に入りにくい。このためカメラの死角で暴力行為が行われるのを防止することができる。
さらに、居室1内で職員4が撮影を停止するのを禁止することにより、職員4の行動記録が不正に中断され、その間に職員4が入居者3に対して暴行行為に及ぶのを防ぐことができる。
As a result, the privacy of the resident 3 is protected by monitoring only the period during which the staff 4 is in the room 1, and the assault of the staff 4 against the resident 3 by recording the actions of the staff 4. Can be prevented. Furthermore, in the unlikely event of an accident, the innocence of the staff 4 can be proved.
Further, since the image of the resident 3 is taken by the mobile terminal device 5 attached to the staff 4, the resident 3 supported by the staff 4 enters the blind spot of the camera unlike the fixed surveillance camera. Hateful. Therefore, it is possible to prevent violent acts in the blind spot of the camera.
Furthermore, by prohibiting the staff 4 from stopping the shooting in the living room 1, the action record of the staff 4 is illegally interrupted, and the staff 4 is prevented from assaulting the resident 3 during that time. Can be done.

(2)撮影制御部22は、第1通信部13が通信装置2と通信可能となるとカメラ12による撮影を開始し、第1通信部13が通信装置2と通信できなくなるとカメラ12による撮影を停止してよい。
これにより、職員4が居室1に入室した際に自動的に撮影を開始することができるので、撮影のし忘れにより職員4の行動記録に漏れが生じるのを防止できる。また職員4が居室1から退室した際に自動的に撮影が停止するので、作業時間外の職員4の行動が記録されることによる職員4のプライバシー侵害を回避できる。
(2) The shooting control unit 22 starts shooting with the camera 12 when the first communication unit 13 can communicate with the communication device 2, and shoots with the camera 12 when the first communication unit 13 cannot communicate with the communication device 2. You may stop.
As a result, since the shooting can be automatically started when the staff 4 enters the living room 1, it is possible to prevent the behavior record of the staff 4 from being leaked due to forgetting to shoot. Further, since the shooting is automatically stopped when the staff 4 leaves the room 1, it is possible to avoid the privacy invasion of the staff 4 due to the recording of the behavior of the staff 4 outside the working hours.

(3)行動記録システムは、第1通信部13が通信装置2と通信できなくなってから所定時間が経過しても、カメラ12による撮影が継続している場合に、警報を生成する警報制御部23を備えてよい。
これにより、撮影制御部22やカメラ12の故障により作業期間外の職員4の行動が記録されることによる職員4のプライバシー侵害を回避できる。
(3) The action recording system is an alarm control unit that generates an alarm when shooting by the camera 12 continues even after a predetermined time has elapsed since the first communication unit 13 cannot communicate with the communication device 2. 23 may be provided.
As a result, it is possible to avoid invasion of the privacy of the staff 4 due to the behavior of the staff 4 outside the work period being recorded due to a failure of the photographing control unit 22 or the camera 12.

(4)行動記録システムは、居室1における作業予定期間を記憶する記憶装置42を備えてよい。撮影制御部22は、現在時刻が居室1における作業予定期間である場合にカメラ12による撮影の停止を禁止し、現在時刻が居室1における作業予定期間外である場合にカメラ12による撮影の停止を許可してよい。
これにより、緊急対処等の作業予定期間外の作業においては、撮影を開始しても職員4が自ら撮影を停止できるようになる。このため、例えば、緊急事態において撮影されていることで思い切った行動を躊躇したりすることを防ぎ、また逆に自らの行為を記録したい場合には撮影停止にしないという判断を行うことも可能になる。
(4) The action recording system may include a storage device 42 that stores a scheduled work period in the living room 1. The shooting control unit 22 prohibits the stop of shooting by the camera 12 when the current time is the scheduled work period in the living room 1, and stops the shooting by the camera 12 when the current time is outside the scheduled work period in the living room 1. You may allow it.
As a result, in the work outside the scheduled work period such as emergency response, the staff 4 can stop the shooting by himself / herself even if the shooting is started. For this reason, for example, it is possible to prevent hesitation in taking drastic actions due to being photographed in an emergency situation, and conversely, if you want to record your own actions, you can decide not to stop shooting. Become.

(5)行動記録システムは、所定エリアである居室1に設置された通信装置2と、職員4に装着可能な携帯端末装置5を備える。
携帯端末装置5は、携帯端末装置5の周囲を撮影するカメラ12と、通信装置2と通信する第1通信部13と、第1通信部13と通信装置2との間の通信に基づいて、カメラ12による撮影を制御する撮影制御部22と、カメラ12による撮影画像に写った人体を検出する人体検出部24と、カメラ12による撮影中における人体検出部24による検出結果に基づいて携帯端末装置5の装着状態の異常を判定する異常判定部25と、を備える。
(5) The action recording system includes a communication device 2 installed in a living room 1 which is a predetermined area, and a mobile terminal device 5 which can be attached to a staff member 4.
The mobile terminal device 5 is based on communication between a camera 12 that photographs the surroundings of the mobile terminal device 5, a first communication unit 13 that communicates with the communication device 2, and communication between the first communication unit 13 and the communication device 2. A mobile terminal device based on a shooting control unit 22 that controls shooting by the camera 12, a human body detection unit 24 that detects a human body captured in an image shot by the camera 12, and a detection result by the human body detection unit 24 during shooting by the camera 12. An abnormality determination unit 25 for determining an abnormality in the wearing state of 5 is provided.

これにより、職員4が居室1に入室しているにもかかわらず、職員4が入居者3を全く見ずにいる(すなわち職員4が入居者3の方を全く向かずにいる)ような不自然な状態を検出して、携帯端末装置5の装着状態を判定できる。このため、職員4が携帯端末装置5を正常に装着せず、職員4の行動記録を妨害するのを回避できる。 As a result, even though the staff 4 is in the room 1, the staff 4 does not see the resident 3 at all (that is, the staff 4 does not face the resident 3 at all). The natural state can be detected to determine the wearing state of the mobile terminal device 5. Therefore, it is possible to prevent the staff 4 from not wearing the mobile terminal device 5 normally and interfering with the action record of the staff 4.

(6)異常判定部25は、カメラ12による撮影中に連続して人体検出部24が人体を検出しない期間の長さに応じて携帯端末装置5の装着状態の異常を判定してよい。このように検出期間に応じて判定することにより、一時的に撮影画像に人体が写らないことにより誤って装着状態の異常を検出するのを防止できる。
(7)異常判定部25は、カメラ12による撮影中における人体検出部24による人体の検出頻度に応じて携帯端末装置5の装着状態の異常を判定してもよい。このように検出頻度に応じて判定することにより、一時的に撮影画像に人体が写らないことにより誤って装着状態の異常を検出するのを防止できる。
(6) The abnormality determination unit 25 may determine an abnormality in the wearing state of the mobile terminal device 5 according to the length of the period during which the human body detection unit 24 does not continuously detect the human body during shooting by the camera 12. By making a determination according to the detection period in this way, it is possible to prevent erroneous detection of an abnormality in the wearing state due to the temporary absence of the human body in the captured image.
(7) The abnormality determination unit 25 may determine an abnormality in the wearing state of the portable terminal device 5 according to the frequency of detection of the human body by the human body detection unit 24 during shooting by the camera 12. By making a determination according to the detection frequency in this way, it is possible to prevent erroneous detection of an abnormality in the wearing state due to the temporary absence of the human body in the captured image.

(8)人体検出部24は、カメラ12による撮影画像に写った人の顔の検出結果に基づき人体を検出してもよい。人体の特徴的部位である顔を検出することにより、精度良く人体を検出できる。
(9)人体検出部24は、カメラ12による撮影画像に写った所定のマーカの検出結果に基づき人体を検出してもよい。人の顔以外の物体を検出することにより、例えばプライバシー保護のため人の顔部分の画像にモザイク処理を施しても、精度良く人体を検出できる。
(8) The human body detection unit 24 may detect the human body based on the detection result of the human face captured in the image captured by the camera 12. By detecting the face, which is a characteristic part of the human body, the human body can be detected with high accuracy.
(9) The human body detection unit 24 may detect the human body based on the detection result of a predetermined marker captured in the image captured by the camera 12. By detecting an object other than the human face, for example, even if the image of the human face portion is subjected to mosaic processing for privacy protection, the human body can be detected with high accuracy.

(10)異常判定部25は、人体検出部24が人体を検出しても、異なる時刻にカメラ12が撮影した撮像画像間の変化が所定量以下の場合に携帯端末装置5の装着状態が異常であると判定してよい。
これにより、人体の検出による携帯端末装置5が装着判定ロジックを知っている職員4が、入居者3の顔が写る位置に携帯端末装置5を置き、職員4に携帯端末装置5が装着されていなくても異常を検出できないように画策するのを防止できる。
(10) Even if the human body detection unit 24 detects the human body, the abnormality determination unit 25 abnormally attaches the mobile terminal device 5 when the change between the captured images taken by the camera 12 at different times is less than or equal to a predetermined amount. It may be determined that.
As a result, the employee 4 who knows the attachment determination logic of the mobile terminal device 5 by detecting the human body places the mobile terminal device 5 at a position where the face of the resident 3 can be seen, and the mobile terminal device 5 is attached to the employee 4. It is possible to prevent a plan so that an abnormality cannot be detected without it.

(11)行動記録システムは、所定エリアである居室1に設置された通信装置2と、職員4に装着可能な携帯端末装置5を備える。
携帯端末装置5は、携帯端末装置5の周囲を撮影するカメラ12と、音響信号を検出する音響検出部16と、通信装置2と通信する第1通信部13と、第1通信部13と通信装置2との間の通信に基づいて、カメラ12による撮影と音響検出部16による音響検出とを制御する撮影制御部22と、カメラ12による撮影画像に写った人体を検出する人体検出部24と、カメラ12による撮影中に人体検出部24が人体を検出した前後を含む所定期間に、音響検出部16が所定レベルTh1以上の音響信号を検出しない場合に、音響検出部16の異常と判定する異常判定部25を備える。
(11) The action recording system includes a communication device 2 installed in a living room 1 which is a predetermined area, and a mobile terminal device 5 which can be attached to a staff member 4.
The mobile terminal device 5 communicates with a camera 12 that photographs the surroundings of the mobile terminal device 5, an acoustic detection unit 16 that detects an acoustic signal, a first communication unit 13 that communicates with the communication device 2, and a first communication unit 13. A shooting control unit 22 that controls shooting by the camera 12 and sound detection by the sound detection unit 16 based on communication with the device 2, and a human body detection unit 24 that detects the human body captured in the image shot by the camera 12. If the sound detection unit 16 does not detect an acoustic signal of a predetermined level Th1 or higher during a predetermined period including before and after the human body detection unit 24 detects the human body during shooting by the camera 12, it is determined that the sound detection unit 16 is abnormal. The abnormality determination unit 25 is provided.

これにより、カメラ12による映像には正常な介護行為の記録を残しつつ、職員4が入居者3を罵倒する発言などを行い、その際の音響信号の記録を職員4が妨害する行為を防止することができる。 As a result, while leaving a record of normal nursing care in the image taken by the camera 12, the staff 4 makes a statement that abuses the resident 3 and prevents the staff 4 from interfering with the recording of the acoustic signal at that time. be able to.

(12)異常判定部25は、カメラ12による撮影中に人体検出部24が人体を検出した前後を含む所定期間に、所定レベルTh1より大きい第2の所定レベルTh2以上の音響信号を音響検出部16が検出した場合に、音響検出部16の異常と判定してよい。
これにより、音響検出部16に雑音を入力することにより、職員4の音声が識別できないようにする行為を防止することができる。
(12) The abnormality determination unit 25 detects an acoustic signal of a second predetermined level Th2 or higher, which is larger than the predetermined level Th1, during a predetermined period including before and after the human body detection unit 24 detects the human body during shooting by the camera 12. When 16 is detected, it may be determined that the acoustic detection unit 16 is abnormal.
As a result, it is possible to prevent the act of making the voice of the staff 4 indistinguishable by inputting noise into the sound detection unit 16.

(13)異常判定部25は、カメラ12による撮影中に人体検出部24が人体を検出した前後を含む所定期間に、音響検出部16が所定レベルTh1以上の音響信号を検出しても、音響信号が母音成分を含まない場合に音響検出部16の異常と判定してよい。
これにより、精度良く音響検出部16の異常を検出できる。
(13) Even if the acoustic detection unit 16 detects an acoustic signal of a predetermined level Th1 or higher during a predetermined period including before and after the human body detection unit 24 detects the human body during shooting by the camera 12, the abnormality determination unit 25 still produces sound. When the signal does not contain a vowel component, it may be determined that the sound detection unit 16 is abnormal.
As a result, the abnormality of the acoustic detection unit 16 can be detected with high accuracy.

(変形例)
(1)通信装置2は、ICタグでもよい。ICタグを携帯端末装置5に設けてもよい。例えば、行動記録システムは、携帯端末装置5を居室1内外の壁面等に設置したICタグやリーダにかざすことで入室時の認証と退室管理を行う入出管理システムと連動してよい。例えば、認証に成功することによって入室を許可するとともに、カメラ12による撮影を許可し、撮影停止を禁止してもよい。また、退室時に携帯端末装置5をICタグやリーダにかざすことで、カメラ12による撮影を停止してもよい。
(Modification example)
(1) The communication device 2 may be an IC tag. The IC tag may be provided in the mobile terminal device 5. For example, the action recording system may be linked with an entry / exit management system that performs authentication at the time of entry and exit management by holding the mobile terminal device 5 over an IC tag or reader installed on a wall surface inside or outside the living room 1. For example, if the authentication is successful, entry may be permitted, shooting by the camera 12 may be permitted, and suspension of shooting may be prohibited. Alternatively, the camera 12 may stop shooting by holding the mobile terminal device 5 over the IC tag or reader when leaving the room.

(2)通信装置2のID情報、入居者情報60、スケジュール情報61、記録可否情報62を、携帯端末装置5の記憶装置18にダウンロードし、携帯端末装置5の撮影制御部22は、サーバ装置7からの許可又は禁止信号によらず、記憶装置18に格納された記録可否情報62を参照して、入室判定部21が居室1におけるカメラ12の撮影を許可又は禁止し、退室により撮影停止を解除するようにしてもよい。
また撮影制御部22は、記憶装置18に格納されたスケジュール情報61を参照して、現在時刻が、居室1における職員4の作業予定期間内であるか否かを判定してよい。撮影制御部22は、現在時刻が居室1における作業予定期間である場合にカメラ12による撮影の停止を禁止し、現在時刻が居室1における作業予定期間外である場合にカメラ12による撮影の停止を許可してよい。
(2) The ID information of the communication device 2, the resident information 60, the schedule information 61, and the recordability information 62 are downloaded to the storage device 18 of the mobile terminal device 5, and the photographing control unit 22 of the mobile terminal device 5 is a server device. Regardless of the permission or prohibition signal from 7, the entry determination unit 21 permits or prohibits photography of the camera 12 in the living room 1 with reference to the recordability information 62 stored in the storage device 18, and stops photography when leaving the room. You may cancel it.
Further, the photographing control unit 22 may determine whether or not the current time is within the scheduled work period of the staff 4 in the living room 1 by referring to the schedule information 61 stored in the storage device 18. The shooting control unit 22 prohibits the stop of shooting by the camera 12 when the current time is the scheduled work period in the living room 1, and stops the shooting by the camera 12 when the current time is outside the scheduled work period in the living room 1. You may allow it.

1…居室,2…通信装置,3…入居者,4…職員,5…携帯端末装置,6…通信回線,7…サーバ装置,10…操作部,11…表示部,12…カメラ,13…第1通信部,14…第2通信部,15…警報出力部,16…音響検出部,17…制御部,18…記憶装置,20…通信処理部,21…入室判定部,22…撮影制御部,23…警報制御部,24…人体検出部,25…異常判定部,40…通信部,41…制御部,42…記憶装置,50…通信処理部,51…撮影可否判定部,52…作業期間照合部,53…制御信号生成部,54…行動記録部,60…入居者情報,61…スケジュール情報,62…記録可否情報,63…行動記録情報 1 ... living room, 2 ... communication device, 3 ... resident, 4 ... staff, 5 ... mobile terminal device, 6 ... communication line, 7 ... server device, 10 ... operation unit, 11 ... display unit, 12 ... camera, 13 ... 1st communication unit, 14 ... 2nd communication unit, 15 ... alarm output unit, 16 ... sound detection unit, 17 ... control unit, 18 ... storage device, 20 ... communication processing unit, 21 ... room entry determination unit, 22 ... shooting control Unit, 23 ... Alarm control unit, 24 ... Human body detection unit, 25 ... Abnormality determination unit, 40 ... Communication unit, 41 ... Control unit, 42 ... Storage device, 50 ... Communication processing unit, 51 ... Shooting availability determination unit, 52 ... Work period collation unit, 53 ... control signal generation unit, 54 ... action recording unit, 60 ... resident information, 61 ... schedule information, 62 ... recordability information, 63 ... action record information

Claims (6)

所定エリアに設置された通信装置と、人に装着可能な端末装置と、を備える行動記録システムであって、
前記端末装置は、
当該端末装置の周囲を撮影する撮影部と、
前記通信装置と通信する通信部と、
前記通信部と前記通信装置との間の通信に基づいて、前記撮影部による撮影の停止を禁止する撮影制御部と、
を備えることを特徴とする行動記録システム。
An action recording system including a communication device installed in a predetermined area and a terminal device that can be worn by a person.
The terminal device is
An imaging unit that photographs the surroundings of the terminal device,
A communication unit that communicates with the communication device,
A shooting control unit that prohibits the shooting from being stopped by the shooting unit based on the communication between the communication unit and the communication device.
An action recording system characterized by being equipped with.
前記撮影制御部は、前記通信部が前記通信装置と通信可能となると前記撮影部による撮影を開始し、前記通信部が前記通信装置と通信できなくなると前記撮影部による撮影を停止する、ことを特徴とする請求項1に記載の行動記録システム。 The shooting control unit starts shooting by the shooting unit when the communication unit can communicate with the communication device, and stops shooting by the shooting unit when the communication unit cannot communicate with the communication device. The action recording system according to claim 1. 前記通信部が前記通信装置と通信できなくなってから所定時間が経過しても、前記撮影部による撮影が継続している場合に、警報を生成する警報制御部を備えることを特徴とする請求項2に記載の行動記録システム。 The even communication unit has passed the said communication device whether it can no longer communicate et plants constant time, when the imaging by the imaging section is continued, characterized in that it comprises an alarm control unit for generating an alarm The action recording system according to claim 2. 前記所定エリアにおける作業予定期間を記憶する記憶装置を備え、
前記撮影制御部は、現在時刻が前記所定エリアにおける作業予定期間である場合に前記撮影部による撮影の停止を禁止し、現在時刻が前記所定エリアにおける作業予定期間外である場合に前記撮影部による撮影の停止を許可する、ことを特徴とする請求項1〜3のいずれか一項に記載の行動記録システム。
A storage device for storing the scheduled work period in the predetermined area is provided.
The shooting control unit prohibits the shooting from being stopped by the shooting unit when the current time is the scheduled work period in the predetermined area, and is performed by the shooting unit when the current time is outside the scheduled work period in the predetermined area. The action recording system according to any one of claims 1 to 3, wherein the stop of shooting is permitted.
人に装着可能な端末装置であって、
前記端末装置の周囲を撮影する撮影部と、
所定エリアに設置された通信装置と通信する通信部と、
前記撮影部による撮影の停止を、前記通信部と前記通信装置との間の通信に基づき禁止する撮影制御部と、
を備えることを特徴とする端末装置。
A terminal device that can be worn by people
An imaging unit that photographs the surroundings of the terminal device,
A communication unit that communicates with a communication device installed in a predetermined area,
A shooting control unit that prohibits the stop of shooting by the shooting unit based on communication between the communication unit and the communication device.
A terminal device characterized by comprising.
作業者が装着した端末装置と、所定エリアに設置された通信装置と、の間で通信し、
前記端末装置が有する撮影部により前記作業者の周囲を撮影し、
前記端末装置と前記通信装置との間の通信に基づき、前記撮影部による撮影の停止を禁止する、ことを特徴とする行動記録方法。
Communicate between the terminal device worn by the worker and the communication device installed in the predetermined area,
The surroundings of the worker are photographed by the photographing unit included in the terminal device.
An action recording method characterized in that the stop of shooting by the shooting unit is prohibited based on the communication between the terminal device and the communication device.
JP2016171151A 2016-09-01 2016-09-01 Action recording system, terminal device and action recording method Active JP6777470B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016171151A JP6777470B2 (en) 2016-09-01 2016-09-01 Action recording system, terminal device and action recording method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016171151A JP6777470B2 (en) 2016-09-01 2016-09-01 Action recording system, terminal device and action recording method

Publications (3)

Publication Number Publication Date
JP2018037951A JP2018037951A (en) 2018-03-08
JP2018037951A5 JP2018037951A5 (en) 2019-09-12
JP6777470B2 true JP6777470B2 (en) 2020-10-28

Family

ID=61567789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016171151A Active JP6777470B2 (en) 2016-09-01 2016-09-01 Action recording system, terminal device and action recording method

Country Status (1)

Country Link
JP (1) JP6777470B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113227940A (en) 2018-11-09 2021-08-06 贝克曼库尔特有限公司 Service glasses with selective data provision
SE1951220A1 (en) * 2019-10-25 2021-04-26 Assa Abloy Ab Controlling camera-based supervision of a physical space
JP7562966B2 (en) 2020-03-11 2024-10-08 日本電気株式会社 Behavior management system, behavior management device, behavior management method, and computer program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247223A (en) * 2001-02-20 2002-08-30 Fujitsu General Ltd System and method for monitoring by utilizing cellular phone
JP2008083813A (en) * 2006-09-26 2008-04-10 Sogo Keibi Hosho Co Ltd Image monitoring device and image monitoring method
JP2011205570A (en) * 2010-03-26 2011-10-13 Aiphone Co Ltd Condominium intercom system
JP2014239389A (en) * 2013-06-10 2014-12-18 正之 常盤 Photography control apparatus, remote supervisory system and photography control program

Also Published As

Publication number Publication date
JP2018037951A (en) 2018-03-08

Similar Documents

Publication Publication Date Title
ES2361249T3 (en) PORTABLE SECURITY SYSTEM.
JP6529491B2 (en) Operating method of wearable life log device
KR101990803B1 (en) PROTECTION SYSTEM FOR VULNERABLE CLASSES USING Internet Of Things AND METHOD THEREFOR
JP5054349B2 (en) Admission control device, admission control method and admission control program
JP6777470B2 (en) Action recording system, terminal device and action recording method
JP6624340B2 (en) Entrance management system and entrance management method
US11769392B2 (en) Method of and device for converting landline signals to Wi-Fi signals and user verified emergency assistant dispatch
JP6721463B2 (en) Action recording system, terminal device and action recording method
JP2016110615A (en) Electronic tag security device
JP2011145839A (en) Monitoring system, device, method and program
JP3908707B2 (en) Security monitoring system, security monitoring method, and security monitoring program
JP2017010379A (en) Entrance/exit management device and entrance/exit management method
KR101675529B1 (en) system for monitoring abnormal situation using biometric data and
JP2020174849A (en) Safety monitoring system on operator
KR20170143224A (en) system for deciding and watching abnormal situation using biometric data and image data
JP2004328333A (en) Portable communication terminal and irregular situation broadcast system
CN107730810A (en) Monitoring method, system in a kind of family room based on image
JP2017008638A (en) Entering and leaving management device and entering and leaving management method
JP2007213369A (en) Apparatus and method for biometric authentication
JP5669302B2 (en) Behavior information collection system
JP6726067B2 (en) Action recording system, terminal device and action recording method
JP6810429B2 (en) Monitoring system and monitoring method
US20180025562A1 (en) Smart door
KR102262325B1 (en) System of safety control service using wearable communication device
JP2011222001A (en) Entrance and exit monitoring device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201008

R150 Certificate of patent or registration of utility model

Ref document number: 6777470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250