WO2018038087A2 - 個室見守り装置 - Google Patents

個室見守り装置 Download PDF

Info

Publication number
WO2018038087A2
WO2018038087A2 PCT/JP2017/029889 JP2017029889W WO2018038087A2 WO 2018038087 A2 WO2018038087 A2 WO 2018038087A2 JP 2017029889 W JP2017029889 W JP 2017029889W WO 2018038087 A2 WO2018038087 A2 WO 2018038087A2
Authority
WO
WIPO (PCT)
Prior art keywords
room
private room
image
floor
monitoring device
Prior art date
Application number
PCT/JP2017/029889
Other languages
English (en)
French (fr)
Other versions
WO2018038087A3 (ja
Inventor
眞人 中島
広文 西田
滋実 山田
賢司 清田
公尚 川口
Original Assignee
株式会社イデアクエスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社イデアクエスト filed Critical 株式会社イデアクエスト
Priority to JP2018535687A priority Critical patent/JP6978080B2/ja
Publication of WO2018038087A2 publication Critical patent/WO2018038087A2/ja
Publication of WO2018038087A3 publication Critical patent/WO2018038087A3/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an alarm technology for confirming human safety.
  • the present invention relates to a device for watching a cared person at night in the field of welfare watching.
  • the space to be watched is a private room for care recipients of about 6 tatami mats, and a bed, chest (sofa), sofa, table, wheelchair, TV, etc. are placed in the room.
  • Prime room monitoring device for the elderly
  • This “Private room monitoring device”) watches such a “blank time zone” on behalf of the caregiver, and is in a different place without delay in the event of an abnormal situation. It has a function to notify the caregiver in charge.
  • this device can also be used in a general home environment.
  • the background of this technique lies in the three-dimensional object shape measurement by the pattern projection method disclosed in Patent Documents 1 and 2 shown below.
  • the infrared light spot array irradiation to the target space and the triangulation method are used.
  • a method of acquiring the position and shape of an object in the target space by measuring the amount of movement of each bright spot forms its basic principle.
  • sensors have been developed that determine whether a cared person is getting up in the bed, a sensor that detects that the cared person has moved from the bed to the floor, or a sensor that detects the fall of the cared person.
  • the room is divided into a bed area, a bedside area, and a floor area, and the reference height set corresponding to each area and the three-dimensional distance detection means are used.
  • a bed and indoor monitoring system characterized by comparing the care receiver's height direction information to determine the status of the care recipient in each area and reporting to the outside according to the situation. Proposed.
  • Patent Document 4 the height, width, depth information of a region, and a feature of a combination thereof using three-dimensional human region information extracted from a photographed image of a cared person acquired by a stereo camera or the like.
  • An apparatus for calculating the amount and determining the posture of the care recipient has been proposed.
  • Patent Document 5 care is taken based on an optical flow calculated with respect to a moving image that is installed below the height of a human knee and is captured by a camera that is installed so that the floor surface is reflected in the image.
  • An apparatus for detecting a person's fall has been proposed.
  • Patent Document 3 it is determined whether the cared person gets up on the bed, leaves the bed, falls from the bed, falls on the bedside, falls on the floor, and if necessary, externally It is possible to report the situation.
  • Patent Document 3 in each watching area (bed area, bedside area, floor area), three-dimensional distance data in a state where no care recipient is present in the target area is measured in advance. It is necessary to register height direction data in each area. Therefore, there are problems that it takes time for initial setting and that it is not possible to easily cope with room layout changes (such as bed movement).
  • Patent Document 4 it is possible to detect the occurrence of a behavior such as a fall of the care recipient.
  • a behavior such as lying on the bed may be determined as “falling”.
  • the determination is made by combining not only the posture of the cared person but also the shape of the room and the position of furniture such as a bed, it cannot be determined whether or not the observer is in a truly dangerous situation.
  • any of the methods disclosed in Patent Documents 3, 4, and 5 are limited to accidents that can be detected in a room such as a fall or getting out of bed.
  • the present invention solves the above-mentioned problems of the conventional technology, and only installs a single compact device near the center of the ceiling of the room to be watched. It is to realize a device capable of detecting the above situation without omission and notifying the caregiver without delay.
  • the present invention has been made with the following three conditions in mind.
  • the operations required of the caregiver should be simple so that no erroneous operation occurs.
  • the device should be easily and quickly installed and moved to the care recipient's room, and no special skills or knowledge should be sought from the installer.
  • the structure should be less likely to be distorted after installation, and regular maintenance should be as simple as cleaning the surface of the optical lens.
  • This device cannot be used in rooms with direct sunlight or indirect light incidents, or rooms with incandescent light bulbs. However, even during the daytime, sunlight can be completely blocked by a light-shielding curtain or the like, and it can be used without incandescent bulb illumination.
  • the private room monitoring device acquires a sensor unit that acquires and processes information in the private room, and a caregiver or family member (hereinafter referred to as “caregiver”) who reports from the sensor unit. And an information transmission / reception unit (tablet or smartphone) that transmits a command to the sensor unit.
  • the sensor unit is composed of a two-layer structure of an electric / electronic block including a control / power supply unit, an arithmetic processing unit, an information transmission / reception unit, and an optical block constituting a data acquisition unit.
  • the optical block is an infrared bright spot array projector. 2 units, 1 imaging device, LED diffused light illuminator, level, and illuminometer. [Claim 1]
  • a marker in which a ring shape having a known radius is drawn is scattered on the floor of the room.
  • Means for detecting a ring shape by applying a Hough transform to the image; a known radius of the ring shape drawn on the marker scattered on the floor of the room; and a radius of the ring shape detected from the image in the room For each of the markers scattered on the living room floor, a means for detecting the distance from the center to the sensor unit, and from the centers detected for the three or more markers scattered on the living room floor
  • a private room watching device comprising: means for detecting an inclination angle between the floor surface and the main surface of the imaging lens based on a distance to the sensor unit.
  • the above-mentioned private room monitoring device which changes the angle of the height distribution image (hereinafter referred to as “height map”) of the bright spot group projected by the infrared bright spot array projector in each angle direction.
  • Means for acquiring a projection hereinafter referred to as “projection”
  • a means for correcting rotation in the horizontal direction of the room when calculating the wall position so as to be minimized [Claim 3]
  • a private room monitoring device as described above, a means for calculating the optical flow of a moving object with respect to a room image captured under LED diffused light illumination, and the position of the moving object is determined from the calculated flow vector from the flow vector Means for obtaining an ellipse having a moment of inertia equivalent to that of a moving object, and for each bright spot existing in a region surrounded by the ellipse in an image captured by projecting an infrared bright spot array And a means for obtaining a three-dimensional coordinate of the moving object. [Claim 4]
  • a private room watching device as described above, having means for assuming that a person has fallen when the height value of the moving object (such as the center of gravity of the bright spot group associated with the moving object) becomes a specific value. It is a private room watching device.
  • the entropy is calculated from the means for obtaining the movement vector of the moving object, the means for recording the time series of the movement vector, and the frequency distribution regarding the quantized declination of the recorded movement vector. It is a private room watching device characterized by having a means and a means to determine a heel state by the calculated value of entropy.
  • a specific symbol is displayed on the floor immediately before the door (hereinafter referred to as “the door to the room”) for exiting the room from the room image captured under LED diffused light illumination. And a means for detecting the marker from an image in the room where the drawn marker is placed, and a means for detecting the care recipient's exit (hereinafter referred to as “outing”). It is a private room watching device.
  • a private room watching device comprising means for detecting a marker and means for detecting a long-term toilet entry state of a care recipient.
  • the private room monitoring device as described above, which is related to the height map, and is based on the xyz coordinates of each of the obtained projected bright spots, and presents an article within a specific height range that is separately determined and having a specific area or more. It is a private room watching device characterized by comprising means for detecting and means for detecting that the flow line of the moving object has stopped at that position. [Claim 9]
  • An individual room monitoring device as described above which is related to a height map, and is present in a certain height range that is determined separately from the xyz coordinates of each projected bright spot and is within a certain area range. And a means for detecting that the flow line of the moving object has stopped at that position.
  • the effect of the present invention is that only one device is installed near the center of the ceiling of the room to be watched, and the unexpected situation related to the life and health of the cared person that occurred in the room can be infringed on the privacy of the cared person. Will be able to detect and report to caregivers without delay.
  • FIG. 16 is an explanatory diagram illustrating an inertial equivalent ellipse and a circumscribed rectangle for the binary image of FIG. 15. It is explanatory drawing which added the detection result of the door position and the toilet door position with respect to the LED illumination image of FIG.
  • FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention.
  • This private room watching system includes a sensor unit 115 including a control / power supply unit 111, an arithmetic processing unit 112, an information transmission / reception unit 113, and a data acquisition unit 114, and a caregiver or family member who reports from the sensor unit 115 (hereinafter, “caregiver”).
  • the information transmission / reception unit 116 (tablet or smartphone) that transmits a command to the sensor unit.
  • the sensor unit 115 includes a control / power supply unit 111 (may be divided into a control unit and a power supply unit), an arithmetic processing unit 112, and an electric / electronic block 117 including an information transmitting / receiving unit 113 and a data acquisition unit 114.
  • the optical block 118 has a two-layer structure.
  • the sensor unit has a bottom surface of 200 mm ⁇ 200 mm and a height of 180 mm, and has a cubic or cylindrical shape.
  • a cover 127 made of an infrared transmission filter is attached to the sensor unit 115.
  • the optical block 118 includes projectors 125 and 126, an LED (light emitting diode) diffused light illuminator 121, an imaging device 122, a level 123, and an illuminometer 124 described below. (FIG. 2)
  • LED light emitting diode
  • FIG. 2 In this embodiment, an example in which two projectors are used will be described below. However, as another embodiment, three or more projectors may be used.
  • the living room should be in the vicinity of the center of the ceiling of the room and be installed horizontally with respect to the floor.
  • “luminous spot array projectors” (hereinafter referred to as “projectors”) 2 units 125 and 126 that project about 2,000 infrared laser beams in a square lattice pattern in the living room are installed in the sensor unit 115.
  • projectors luminous spot array projectors 2 units 125 and 126 that project about 2,000 infrared laser beams in a square lattice pattern in the living room are installed in the sensor unit 115.
  • FIGS. 3a and 3b by switching one device at a time (from 3 to 10 times per second), by projecting half of the light into the living room, a total of about 4,000 infrared bright spot groups can be seen throughout the room. Can be projected.
  • LED (light-emitting diode) diffused light illuminator 121 in the vicinity of the imaging device 122 in the sensor unit, for (a) obtaining an optical flow vector of an object moving in the room, and (b) applying a clothing fabric invariant algorithm for a care recipient.
  • the LED illuminator 121 that emits near-infrared light having the same wavelength as the LD (laser diode) used for the projectors 125 and 126 is arranged so that the entire room is illuminated.
  • one imaging device (CCD camera or the like) 122 is arranged at the center of the sensor unit. .
  • a shutter 141 (not shown) in the imaging apparatus operates in synchronization with the two projectors 125 and 126 and the LED diffused light illuminator 121 as shown in the timing chart of FIG.
  • the frame data acquired by the imaging device 122 includes two indoor images acquired in a state in which the infrared bright spot array is projected from each of the two projectors 125 and 126, and the LED diffused light illuminator 121. A total of three images of one room image acquired in a state where the infrared light is illuminated are processed as a set.
  • the level 123 is attached to a position with good visibility in the sensor unit as shown in FIG. 2 in order to facilitate the installation work of the sensor unit (work to install horizontally on the floor of the room).
  • the illuminance meter 124 accurately notifies the user of the apparatus of the brightness state in which the normal operation of the sensor cannot be guaranteed due to the influence of ambient light. Therefore, as shown in FIG. 124 is arranged.
  • the sensor unit When the amount of light received by the illuminance meter 124 exceeds a fixed value determined separately, the sensor unit notifies the user via the notification unit that “Currently, it cannot be properly protected”, and “ A request for "reduction of brightness (strictly speaking, the amount of light emitted from the projector wavelength incident on the living room)" is issued.
  • Information transmission / reception unit 116 A commercially available tablet or smartphone is used to receive a report from the sensor unit 115. As a function of these, the information transmission / reception unit 119 receives various reports (safety, falls, indoors, going out, toilet for a long time, stunning / sleeping, abnormal behavior, etc.) from the sensor unit 115 and commands to the sensor unit 115. The display / operation unit 120 displays various information received by the information transmission / reception unit 119 and sets a command transmitted from the information transmission / reception unit 119.
  • FIG. 5 shows a flow of the entire arithmetic processing that operates in the arithmetic processing unit 112.
  • This device has (1) detection of floor, door and toilet door, (2) acquisition of living room shape and large furniture position, (3) detection of human body, (4) detection of fall, (5) Detecting indoor traps, (6) Detecting going out and long-time toilets, (7) Detecting beds, (8) Detecting stunning and falling asleep on the bed and in places other than the floor, (9) Handling multiple people , Including functions.
  • a “door position detection marker” 181 in which an isosceles triangle mark is drawn in the ring
  • a “toilet door position detection marker” 191 in which a letter “T” is drawn in the ring as shown in FIG. 9 is placed on the floor just before the toilet door (door).
  • floor height detection marker” 171, “door position detection marker” 181, and “toilet door position detection marker” 191 are collectively referred to as “floor surface marker” 172.
  • the ring-shaped radius R [mm] is fixed to a separately determined value (for example, 15 cm). The “floor marker” 172 is removed after the system installation work is completed.
  • LED illumination image A digital image signal (hereinafter, “LED illumination image”) as shown in FIG. 10 captured by the imaging device 122 in a state in which near infrared light is emitted from the LED (light emitting diode) diffused light illuminator 121. 192) is acquired.
  • LED illumination image A digital image signal (hereinafter, “LED illumination image”) as shown in FIG. 10 captured by the imaging device 122 in a state in which near infrared light is emitted from the LED (light emitting diode) diffused light illuminator 121. 192) is acquired.
  • FIG. 11 is an edge image 193 showing the edges detected from the LED illumination image 192 in FIG.
  • the circle image included in the edge image 193 is extracted by subjecting this edge image 193 to a circle detection calculation by Hough transform. (Step 605 in FIG. 6)
  • the hatched portion shown in FIG. 12 (floor surface marker 201, floor surface marker 202, floor surface marker 203, generically, floor surface marker 172) is converted from the edge image shown in FIG. Is the ring shape detected by.
  • Edge pixels (xi [pixel], yi [pixel], i 1, 2,..., Existing around the circumference having a radius ⁇ ′ [pixel] and a center ( ⁇ ′ [pixel], ⁇ ′ [pixel]) .., M, that is, ⁇ as a separately determined threshold value,
  • the distance H [mm] from the center of the ring to the principal surface is calculated by the following equation using the obtained ring-shaped radius ⁇ [pixel] (step 607 in FIG. 6).
  • the camera coordinates (x ′ [mm], y ′ [mm], z ′ [mm]) of the center of the on-floor marker 172 are obtained by the following formula:
  • an arbitrary position (camera coordinates) on the main surface of the imaging lens (X ′ [mm], Y ′ [mm], 0 [mm] ])
  • the distance H (X ′, Y ′) [mm] is a linear expression It is represented by
  • the “tilt angle” ⁇ [radian] between the floor surface and the principal surface is calculated by the following equation: (Vii) Using the result of (vi), the height (hereinafter referred to as “floor height”) of the person in the room or the article (furniture, etc.) in the room from the room floor is obtained.
  • FIGS. 14 and 15 are binary images inside the ring of the floor marker 201 and the floor marker 202 in FIG. 12, respectively. If the number of black pixels after binarization is less than a separately determined threshold value (step 1305 in FIG. 13) (jumped to step 1310 in FIG. 13), the inside of the ring is blank, that is, the ring is “floor height”. It is determined that the detection marker 171 ". In the on-floor surface marker 203 of FIG. 12, the inside of the ring is blank, and thus becomes a “floor height detection marker” 171.
  • inertia equivalent ellipse and circumscribed rectangle are calculated for the binary image inside the ring.
  • the “inertia equivalent ellipse” is an ellipse (around and inside) having a moment equivalent to that of the binary image.
  • FIGS. 16 and 17 show an inertia equivalent ellipse 251 and a circumscribed rectangle 252 calculated from the binary images of FIGS. 14 and 15, respectively.
  • the “inertia equivalent ellipse” 251 is obtained as follows. First, if f (x, y) is a value of a pixel (x [pixel], y [pixel] (white: 0 or black: 1) of a binary image f, a (p, q) -order moment Mpq Is Is defined.
  • a [pixel] and b [pixel] are the major and minor axis lengths (where a ⁇ b> 0), and ⁇ is the major and minor axes of the ellipse.
  • X 0 [pixel], y 0 [pixel] is the center of the ellipse, and is described in the quadratic form of the matrix as follows (t is the transpose of the matrix, ⁇ 1 Represents an inverse matrix)
  • the vertical and horizontal directions can be determined. For example, in FIG. 16, since the center of the inertia equivalent ellipse 251 is located to the left of the center of the circumscribed rectangle, if the inside of the ring is “T” representing the “toilet door position detection marker” 191, it will face left If it is an isosceles triangle representing the “door position detection marker” 181, it faces right.
  • Step 1308 in FIG. 13 For example, as shown in FIG. 18, “the toilet door is to the left of the“ toilet door position detection marker ”191” and the door is under “the door position detection marker” 181 ”. Most of the positions are detected. The above is the processing of step 609 in FIGS.
  • the “floor height” is calculated as follows using the result of (vi) above.
  • the bright spot projection image obtained by projecting the infrared bright spot array in the room which is acquired in parallel with the LED illumination image, is used on an object in the room or on a person. Calculate the three-dimensional coordinates of each bright spot projected onto. According to a known method as disclosed in Patent Document 1 or Japanese Patent Application Laid-Open No.
  • a bright spot image obtained by projecting an infrared bright spot array onto a plane parallel to the main surface of the imaging lens and having a known distance from the main surface is acquired in advance, and position information of each bright spot is stored.
  • FIG. 19 shows an example of an acquired image
  • FIG. 20 shows an example of a reference image.
  • the bright spot ⁇ (xi [pixel], yi [pixel]): i 1, 2,...,
  • camera coordinates (X′i [mm], Y′i [mm], Z′i [mm]) are calculated.
  • the Z ′ coordinate represents the distance between the main surface and the bright spot.
  • the height of each bright spot from the floor is calculated as follows.
  • the average distance H [mm] between the main surface and the floor surface which is obtained by the installation of the above-mentioned “floor surface marker” 172, and Z′i [ mm] (H ⁇ Z′i) is the floor height Zi [mm].
  • the distance between an arbitrary position (camera coordinates) (X ′ [mm], Y ′ [mm], 0 [mm]) on the main surface and the floor surface is obtained as a linear equation (8). Therefore, depending on the location, the floor height Zi [mm] is calculated by the following formula:
  • the entropy H ( ⁇ ) is calculated by changing ⁇ from ⁇ 10 ° to 10 in increments of 1 °.
  • the three-dimensional coordinates of each bright spot
  • y ′ ( ⁇ 0 ), z ′ ( ⁇ 0 ) the angle ⁇ 0 at which the entropy is minimized
  • the position where the probability is from the first place to the fifth place is the position of the large furniture placed in the room wall or the room.
  • the “position from the first place to the fifth place” is used, but another order may be used instead of the “fifth place”.
  • FIG. 21 shows a human body detection process flow.
  • the optical flow is a time t [second] and a time t + ⁇ , where f (x, y, t) is the luminance at the pixel (x [pixel], y [pixel]) of the image f at the time t [second].
  • f (x, y, t) is the luminance at the pixel (x [pixel], y [pixel]) of the image f at the time t [second].
  • a known method such as the Lucas-Kanade method or the Gunnar-Farnback method is used.
  • a motion vector field (v (x, y) [pixel]) is obtained for each pixel (x [pixel], y [pixel]) of the LED illumination image of the (J-1) th frame.
  • W (x, y) [pixel]) is output. 22 shows the LED illumination image of the (J-1) th frame
  • FIG. 23 shows the LED illumination image of the Jth frame
  • FIG. 24 shows the calculated optical flow.
  • FIG. 25 shows a binary image corresponding to a moving object and a corresponding inertial equivalent ellipse 251.
  • FIG 26 is an example of a bright spot projection image and an inertial equivalent ellipse 251 in the Jth frame.
  • FIG. 27 shows an example of “human flow line” 253, in which the inertia equivalent ellipses 251 calculated in the most recent frame are displayed in an overlapping manner.
  • the interval [0 °, 360 °] is quantized with the interval ⁇ °, and the frequency distribution of the declination (Where ⁇ i is the frequency of the movement vector whose declination is not less than i ⁇ ° and less than (i + 1) ⁇ °).
  • the entropy H (p) described by Equation 27 below is calculated: This entropy measures the randomness of the change in the angle of human movement. When the calculated value of entropy exceeds a separately determined value, it is assumed that “a person is ashamed of the room” at that timing.
  • the entropy H (p) may not show a sufficiently high value because the frequency concentrates only on angles that are 180 ° symmetrical to each other.
  • a scale that measures the 180 ° symmetry of the probability distribution p is used.
  • Bed detection (I) A bed area is detected using a bright spot projection image obtained by projecting an infrared bright spot array into a living room. XYZ world coordinates are calculated for each projected bright spot in the same manner as the above “acquisition of room shape”. (Ii) Next, assuming that the height of the bed is 400 mm to 600 mm from the floor surface, a two-dimensional calculation using an XY coordinate for a bright spot whose height from the floor surface is 400 mm to 600 mm Bright spot pairs whose Euclidean distance is 200 mm or less are grouped.
  • the two-dimensional Euclidean distance between the two bright spots A and B is 200 mm or less
  • the bright spots are grouped by recursively performing the operation of classifying the three bright spots A, B, and C into the same group.
  • Classify For this, an algorithm (for example, a depth-first search algorithm) for obtaining a connected component of graph theory can be used.
  • a bed area is detected using a bright spot projection image obtained by projecting an infrared bright spot array into a living room.
  • XYZ world coordinates are calculated for each projected bright spot in the same manner as the above “acquisition of room shape”.
  • the two-dimensional Euclidean distance between the two bright spots A and B is 200 mm or less
  • the bright spots are classified into groups by recursively performing the operation of classifying the three bright spots A, B, and C into the same group.
  • an algorithm for example, a depth-first search algorithm for obtaining a connected component of graph theory can be used.
  • Multi-person support (I) Since this device automatically monitors by “detecting the human body”, it does not require the “start watching” operation, but if multiple human bodies are detected and one of them is stationary, the moving one is automatically detected. To watch over.
  • FIG. 28 shows the processing flow described above.
  • only one device is installed near the center of the ceiling of a room to be watched, and an unexpected situation relating to the life and health of the cared person occurring in the room can be confirmed. Can be detected without infringing and can be reported to caregivers without delay.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

見守る部屋の天井中央付近にコンパクトな装置1台を取付けるだけで、その部屋で発生した被介護者の生命や健康に関わる不測の事態を漏れなく検出し、遅滞なく介護者に通報できる装置を実現する。個室見守り装置は、被介護者が使用する個室内の各種情報を取得・処理するセンサユニットとセンサユニットが発する通報の介護者への伝達と、センサユニットへのコマンド送信を行う情報送受信ユニット(タブレットまたはスマートフォン)により実現する。

Description

個室見守り装置
 本発明は,人の安全確認のための警報技術に関する。本発明は、福祉見守り分野において、原則として夜間、被介護者を見守る装置に関するものである。また、見守る空間は6畳間程度の被介護者用個室で、室内には、ベッド、チェスト(整理箪笥)、ソファー、テーブル、車椅子、テレビ等が置かれていることを想定している。
 夜間の高齢者介護施設では、多くの個室(被介護者用居室)を受持つ介護士の負担が大きく、それが不慮の事故発生の要因ともなっている。一人の介護士が、移動時間も入れて1室3分で各室を巡回するとするものとする。仮にその介護士の担当が15室あるとすると、全室を見回るのに最低45分を要し、1部屋については42分間が「空白の時間帯」ということになってしまう。
 不幸な事故というのは得てしてそのような時間帯に起きるものである。本「高齢者個室見守り装置」(以下、「個室見守り装置」という。)は、そのような「空白の時間帯」を介護者に代わって見守り、異常事態発生の際には遅滞なく他所に居る担当の介護士にその旨通報する機能を有するものである。勿論この装置は、一般の家庭環境においても使用可能である。
 本技術の背景は、以下に示す特許文献1、2に開示されているパターン投影法による3次元物体形状計測にあり、本発明の装置では対象空間への赤外線輝点アレイ照射と三角測量法による各輝点の移動量計測により、対象空間内の物体の位置と形状を取得する手法がその基本原理を形成している。
 従来から、被介護者のベッドでの起床を判断するセンサや、被介護者がベッドから床へ移動したことを検知するセンサ、あるいは、被介護者の転倒を検知するセンサが開発されている。
 特許文献3には、室内を、ベッド領域、ベッドサイド領域、それに、床領域に区画して、それぞれの領域に対応して設定された基準高さと、3次元距離検知手段を用いて獲得された被介護者の高さ方向情報とを比較することにより、各領域内での被介護者の状態を判断し、状況に応じて、外部に通報することを特徴とするベッド及び室内の見守りシステムが提案されている。
 特許文献4には、ステレオカメラ等で取得された、被介護者の撮影画像から抽出された3次元人物領域情報を用いて、領域の高さ、幅、奥行き情報、および、それらの組み合わせによる特徴量を算出し、被介護者の姿勢を判断する装置が提案されている。
 特許文献5には、人の膝の高さより下に設置され、画像内に床面が写るように設置されたカメラで撮像された動画像に対して計算されたオプティカルフローに基づいて、被介護者の転倒を検知する装置が提案されている。
 特許文献3の発明では、被介護者のベッドでの起床、ベッドからの離床、ベッドからの転落、ベッドサイドでの転倒、床面上での転倒を判断し、必要に応じて、外部にその状況通報を行うことが可能である。
 しかしながら、特許文献3においては、前もって、各見守り領域(ベッド領域、ベッドサイド領域、床領域)において、別個に、対象とする領域に被介護者がいない状態での3次元距離データを計測し、各領域での高さ方向データを登録する必要がある。したがって、初期設定の手間がかかること、また、室内のレイアウト変更(ベッドの移動など)に簡単に対応できないという問題がある。
 特許文献4の発明では、被介護者の転倒等の挙動の発生を検知することが可能である。しかしながら、室内の領域情報が獲得できないため、ベッドの上で横たわるというような挙動も「転倒」として判定される可能性がある。被介護者の姿勢だけなく、室内の形状、ベッドなどの家具の位置をも組み合わせた判定をしない限り、被観測者が真に危険な状況にあるか否かを判断することはできない。
 特許文献5の発明では、カメラの設置について、「人の膝の高さより下に設置され、画像内に床面が写る」という場所に制限されるため、部屋全体を見渡すことができない。カメラの死角領域内で発生した、被介護者の転倒が検知できないという問題があるため、一つの部屋に複数台のカメラを設置することが必要である。
 また、特許文献3、4、5のいずれの方法でも、検出できる危険状態が、転倒や離床などの室内で発生する事故に限られている。
特許第4738888号公報 特許第4668684号公報 特許第5648840号公報 特開2008-146583号公報 特許第4415870号公報
 本発明は、上述した従来の技術が有する問題点を解決し、見守る部屋の天井中央付近にコンパクトな装置1台を設置するだけで、その部屋で発生した被介護者の生命や健康に関わる不測の事態を漏れなく検出し、遅滞なく介護者に通報できる装置を実現することにある。
 加えて、夜間の個室からの外出の自動検知、あるいは、個室に設置されたトイレ内での異常発生の自動検知も望まれており、そのためには、個室内の床面やベッドの領域情報だけでなく、個室外に出るためのドアや、個室に設置されたトイレのドアの位置情報も獲得する必要がある。
 さらに、これらの領域情報と位置情報は、初期設定を効率的に行ったり、個室内のレイアウト変更にも簡単に対応したりできるように、自動的に検出できることが望ましい。
 また本発明は、以下の三条件の充足を念頭に創案されたものとなっている。
本装置の使用開始及び使用中、介護者に求める操作は単純なものにし、誤操作が生じないようなものにすること。
本装置の被介護者用居室への取付けや移動が簡単かつ短時間で済むようなものとし、取付け者に特別な技能や知識を求めないこと。
取付け後に狂いが生じにくい構造とし、定期的なメンテナンスも光学レンズ表面のクリーニング程度の極簡単な作業で済むようにすること。
 猶、本装置は、太陽の直接光及び間接光入射がある部屋、白熱電球が点灯している部屋での使用は不可である。ただし、日中であっても、遮光カーテンなどで太陽光を完全に遮断することができ、白熱電球照明がなければ使用できることがある。
 上記の課題を解決するため、本発明では、個室見守り装置は、個室内の情報を取得・処理するセンサユニットとセンサユニットが発する通報の介護者や家族(以下、「介護者」という。)への伝達と、センサユニットへのコマンド送信を行う情報送受信ユニット(タブレットまたはスマートフォン)によって構成される。猶、センサユニットは、制御/電源部、演算処理部、情報送受信部を内包する電気・電子ブロックと,データ取得部を構成する光学ブロックの二層構造から成り、光学ブロックは赤外線輝点アレイ投光器2器、撮像装置1器、LED拡散光照明器、水準器、照度計を具備する。〔請求項1〕
 上記の個室見守り装置であって、LED拡散光照明下で撮像された居室内画像に対して、既知の半径のリング形状が描かれたマーカーが居室床上に3枚以上散撒かれた居室内の画像にハフ変換を施すことによりリング形状を検出する手段と、該居室床上に散撒かれたマーカーに描かれたリング形状の既知の半径と、該居室内の画像から検出されたリング形状の半径とに基づいて、該居室床上に散撒かれたマーカーのそれぞれについて、中心からセンサユニットまでの距離を検出する手段と、該居室床上に散撒かれた3枚以上のマーカーについて検出された中心からセンサユニットまでの距離に基づいて、床面と撮像レンズの主面との傾き角を検出する手段、とを有することを特徴とする個室見守り装置である。〔請求項2〕
 上記の個室見守り装置であって、赤外線輝点アレイ投光器により投光された輝点群の高さ分布画像(以下、「高さマップ」という。)の角度を少しずつ変えながら各角度方向への投影(以下、「プロジェクション」という。)を取得する手段と、そのプロジェクションのエントロピーが最小となる角度を定めることによって、「高さマップ」の水平方向の傾きを正規化する手段と、エントロピー値が最小となるように壁位置算出時の居室水平方向の回転を補正する手段、とを有することを特徴とする個室見守り装置である。〔請求項3〕
 上記の個室見守り装置であって、LED拡散光照明下で撮像された居室内画像に対して移動物体のオプティカルフローを計算する手段と、計算されたフローベクトルをフローベクトルから移動物体の位置を特定する手段と、移動物体と等価の慣性モーメントを有する楕円を求める手段と、赤外線輝点アレイを投光して撮像された画像において、その楕円によって囲まれる領域内に存在する各輝点に対して、移動物体の3次元座標を求める手段、とを有することを特徴とする個室見守り装置である。〔請求項4〕
 上記の個室見守り装置であって、移動物体の高さ値(移動物体に関連する輝点群の高さ重心など)が特定の値となった時、人が転倒したものとする手段、を有する個室見守り装置である。〔請求項5〕
 上記の個室見守り装置であって、移動物体の移動ベクトルを求める手段と、移動ベクトルの時系列を記録する手段と、記録された移動ベクトルの量子化された偏角に関する度数分布からエントロピーを計算する手段と、エントロピーの計算値により徘徊状態を判定する手段、とを有することを特徴とする個室見守り装置である。〔請求項6〕
 上記の個室見守り装置であって、LED拡散光照明下で撮像された居室内画像に対して、居室外に出るためのドア(以下、「居室ドア」という。)直前居室床上に特定のシンボルが描かれたマーカーが置かれた居室内の画像から該マーカーを検出する手段と、被介護者の居室外退出(以下、「外出」という。)を検出する手段、とを有することを特徴とする個室見守り装置である。〔請求項7〕
 上記の個室見守り装置であって、LED拡散光照明下で撮像された居室内画像に対して、トイレドアの直前居室床上に特定のシンボルが描かれたマーカーが置かれた居室内の画像から該マーカーを検出する手段と、被介護者の長時間トイレ入室状態を検出する手段、とを有することを特徴とする個室見守り装置である。〔請求項8〕
 上記の個室見守り装置であって、高さマップに関連し、求められた各投影輝点のxyz座標から、居室内に存在し別に定められる特定高さ範囲内にあり特定の面積以上の物品を検出する手段と移動物体の動線が、その位置で停止したことを検知する手段、とを有することを特徴とする個室見守り装置である。〔請求項9〕
 上記の個室見守り装置であって、高さマップに関連し、求められた各投影輝点のxyz座標から、居室内に存在し別に定められる一定高さ範囲内にあり一定面積範囲内にある物品を検出する手段と移動物体の動線が、その位置で停止したことを検知する手段、とを有することを特徴とする個室見守り装置である。〔請求項10〕
 上記の個室見守り装置であって、被介護者とともに居室に入った介護者が被介護者を残して単独退出した時、センサが「通常の見守りモード」となるよう再設定する手動及び自動の手段、を有することを特徴とする個室見守り装置である。〔請求項11〕
 本発明の効果は、見守る部屋の天井中央近くに本装置1台を取付けるだけで、その部屋で発生した被介護者の生命や健康に関わる不測の事態を被介護者のプライバシーを侵害することもなく検出し、遅滞なく介護者に通報できるようになる。
本発明の本発明の個室見守り装置の一実施例の構成を示すブロック図である。 本発明の個室見守り装置を構成するセンサユニットの構造を示す斜視図である。 センサユニットを構成する投光器の照射範囲を示す説明図である。 本発明の個室見守り装置を構成する撮像装置のシャッターと、2器の投光器、および、LED拡散光照明器との同期を示す信号図、タイミングチャートである。 本発明の個室見守り装置の演算処理全体のフローを示すフロー図である。 床高検知用マーカー、ドア位置検知用マーカー、トイレドア位置検知用マーカーの動作概要を示すフロー図である。 床高検知用マーカーパターンの例を示す平面図である。 ドア位置検知用マーカーパターンの例を示す平面図である。 トイレドア位置検知用マーカーパターンの例を示す平面図である。 居室内で撮像されたLED照明画像の例を示す説明図である。 図10に示したLED照明画像からの検出されたエッジを示す説明図である。 図11に示したエッジ画像に対して、ハフ変換を施すことによって検出されたリング形状を示す説明図である。 床面上マーカー上のリング内部の判定処理の動作概要を示すフロー図である。 図12で示した床面上マーカー1のリング内部パターンを示す平面図である。 図12で示した床面上マーカー2のリング内部パターンを示す平面図である。 図14の二値画像に対する慣性等価楕円と外接矩形を示す説明図である。 図15の二値画像に対する慣性等価楕円と外接矩形を示す説明図である。 図10のLED照明画像に対して、ドア位置とトイレドア位置の検知結果を追加した説明図である。 居室内で取得された輝点投影画像の例を示す説明図である。 センサからの距離が既知の平面に赤外線輝点アレイを投影した基準輝点画像の例を示す説明図である。 人体検出の処理の動作概要を示すフロー図である。 (J-1)番目フレームのLED照明画像の例を示す説明図である。 J番目フレームのLED照明画像の例を示す説明図である。 図22と図23に示したLED照明画像から計算されたオプティカルフローを示す説明図である。 図24に示したオプティカルフローから検出された移動物体を表す二値画像と、慣性等価楕円を示す説明図である。 J番目フレームの輝点投影画像と慣性等価楕円の例を示す説明図である。 被介護者の動線と、現在の位置を表す慣性等価楕円の例を示す説明図である。 複数人対応の処理の動作概要を示すフロー図である。
 以下、本発明を実施するための形態を本発明に係る一実施例の実施形態に沿って、図面を参照しながら説明する。
 図1は本発明の一実施例の構成を示すブロック図である。本個室見守りシステムは、制御/電源部111、演算処理部112、情報送受信部113、データ取得部114からなるセンサユニット115とセンサユニット115からの通報の介護者や家族(以下、「介護者」という。)への伝達と、センサユニットへのコマンド送信を行う情報送受信ユニット116(タブレットまたはスマートフォン)によって構成される。(図1)
 また、センサユニット115は、制御/電源部111(制御部と電源部に分けてもよい。)、演算処理部112、情報送受信部113を内包する電気・電子ブロック117とデータ取得部114を構成する光学ブロック118の二層構造から成る。センサユニットの大きさは、底面が200mm×200mm、高さが180mmであり、形状は立方体形状または円筒形状である。センサユニット115には、赤外線透過フィルタから成るカバー127が取り付けられる。また、光学ブロック118は、以下に説明する投光器125、126、LED(発光ダイオード)拡散光照明器121、撮像装置122、水準器123、照度計124によって構成される。(図2)なお、本実施例では、以下、投光器が2器の例を用いた例を説明するが、別の実施例として、3器以上の投光器を用いてもよい。
 猶、被介護者が使用する部屋(以下、「居室」という。)への設置は、同室天井中央付近とし、床面に対して水平に取り付ける必要がある。
 投光器として、居室内に、約2,000本の赤外線レーザービームを正方格子状に投光する「輝点アレイ投光器」(以下、「投光器」という。)2器125、126をセンサユニット115内に配し、1器ずつ切替えて(毎秒3回から10回)図3a、bに示すごとく、居室に半分ずつ投光することにより、部屋全体に隈無く計約4,000点の赤外線輝点群を投影できるようにする。
 LED(発光ダイオード)拡散光照明器121として、センサユニット内撮像装置122近傍に、(a)居室内で動く物体のオプティカルフローベクトル取得、及び(b)被介護者の着衣生地不変アルゴリズム適用のため、投光器125、126に使用するLD(レーザーダイオード)と同波長の近赤外光を発するLED照明器121を配置し、居室全体が照明されるように配置する。
 撮像装置122は2器の投光器125、126によって室内に投影された輝点群を撮像するため、図2に示すごとく、センサユニット中央部に1器の撮像装置(CCDカメラ等)122を配す。撮像装置内のシャッター141(図示せず)は、図4のタイミング図に示すように、2器の投光器125、126、および、LED拡散光照明器121と同期して動作する。
 撮像装置122により取得されるフレームデータは、2器の投光器125、126のそれぞれから赤外線輝点アレイを投光した状態で取得された居室内画像2枚、および、LED拡散光照明器121から近赤外光が照明された状態で取得された居室内画像1枚の計3枚が一組となって処理される。
 水準器123はセンサユニットの設置作業(居室床面に水平に取付ける作業)を容易にするため、センサユニット内の視認性の良い位置に図2に示すごとく水準器123を取付ける。
 照度計124は本装置使用者に、外乱光の影響で本センサの正常な動作が保証できなくなる明るさ状態を正確に通知するため、センサユニット内撮像装置近傍に、図2に示すごとく照度計124を配置する。照度計124の受光量が別途定めた一定の値を越えた場合、センサユニットは通報ユニットを介し、使用者に「現状では、正常に守りを行うことが出来ない」という通知、また「居室の明るさ(厳密には、居室に入射する投光器波長光量)の低減」を求める要求を発するようにする。
 情報送受信ユニット116:センサユニット115からの通報の受取りには、市販のタブレットやスマートフォンを用いる。これらが有する機能として、情報送受信部119では、センサユニット115からの各種通報(安全、転倒、室内徘徊、外出、長時間トイレ、気絶/転寝、異常行動など)の受信とセンサユニット115へのコマンド送信(見守りセットアップ等)を行い、表示・操作部120では、情報送受信部119で受信した各種情報の表示及び、情報送受信部119から発信するコマンドの設定を行う。
 装置が具備する機能(ソフトウェア):図5に演算処理部112において動作する演算処理全体のフローを示す。本装置は、(1)床面、ドア、および、トイレドアの検出、(2)居室形状、および、大型家具位置の取得、(3)人体の検出、(4)転倒の検知、(5)室内徘徊の検知、(6)外出、および、長時間トイレの検知、(7)ベッドの検出、(8)ベッド上及び床以外の場所での気絶及び転寝検知、(9)複数人への対応、の機能を含む。
 (1) 床面検出及びドア、トイレドア位置検出:
本個室見守りシステムを居室内に設置する際に、床面とセンサとの距離を自動計測する。また、居室外に出るためのドア、トイレのドアの位置を検出する。図6に処理フローを示す。なお、本実施例では、以下、トイレのドアを用いる例について説明するが、別の実施例として、トイレ以外の別室のドアを用いてもよい。
 (i)居室床面上障害物が無い場所に、図7に示すような「リング形状」が描かれた「床高検知用マーカー」171を適宜3枚以上散撒く。(図6ステップ602)なお、床高検知用マーカー171においては、リングの内部は空白である。
 また、居室外に出るためのドア(扉)直前の床面上には、図8に示すようにリング内に二等辺三角形の印が描かれた「ドア位置検知用マーカー」181を、また、トイレのドア(扉)直前の床面上には、図9のようにリング内に「T」の字が描かれた「トイレドア位置検知用マーカー」191を置く。
 以下では、「床高検知用マーカー」171、「ドア位置検知用マーカー」181、「トイレドア位置検知用マーカー」191を総称して、「床面上マーカー」172という。床面上マーカー172においては、リング形状の半径R[mm]は、別途決められた値(たとえば、15cm)に固定されている。「床面上マーカー」172は、システムの設置作業終了後に撤去する。
 (ii)LED(発光ダイオード)拡散光照明器121から近赤外光が発せられた状態で、撮像装置122により撮像された、図10に示すようなデジタル画像信号(以下、「LED照明画像」と呼ぶ)192を取得する。(図6ステップ603)
 (iii)LED照明画像192からエッジを検出する。(図6ステップ604)図11は、図10のLED照明画像192から検出されたエッジを示したエッジ画像193である。
 このエッジ画像193にハフ変換による円の検出演算を施し、エッジ画像193に含まれるリング形状を抽出する。(図6ステップ605)
 別途定められている、センサを設置する天井の高さの最大値と最小値を、それぞれ、HmaxとHmin(たとえば、Hmax=2500mm、Hmin=1900mm)、また、マーカーに描かれたリング形状の半径をR[mm]、光学系の焦点距離をF[mm]、受光素子のサイズをS[mm]とすると、エッジ画像193上で検出する円の半径の範囲を、最小R・F/(Hmax・S)[pixel]、最大R・F/(Hmin・S)のように制限できる。
 たとえば、図12に示した斜線部分(床面上マーカー201、床面上マーカー202、床面上マーカー203、総称する場合は床面上マーカー172)が、図11に示したエッジ画像からハフ変換によって検出されたリング形状である。ハフ変換による円の検出演算の結果として、散撒かれた各々の床面上マーカーについて、その中に描かれたリング形状の半径ρ’[pixel] と中心位置の画像座標(α’[pixel],β’[pixel])が求められる。(図6ステップ606)
 (iv)次に、各々の床面上マーカー172について、ハフ変換によって求められた半径と中心位置を高い精度で計算する。半径ρ’[pixel]と中心(α’ [pixel],β’[pixel])を持つ円周付近に存在するエッジ画素(xi[pixel],yi[pixel]、i=1,2,・・・・,M,すなわち、εを別途決めた閾値として、
Figure JPOXMLDOC01-appb-M000001

を満たすエッジ画素(xi[pixel],yi[pixel])に対して、円の方程式
Figure JPOXMLDOC01-appb-M000002

を最小二乗法によりフィッティングすることにより、リング形状の半径ρ [picxel]と中心の画像座標(α[picxel], β[picxel])をサブピクセルの精度で計算する。
 すなわち、評価関数 J(a,b,c)
Figure JPOXMLDOC01-appb-M000003

を最小化するa,b,cの値を最小二乗法により計算し、リング形状の半径ρ[pixel]と中心の画像座標(α[pixel],β[pixel])を、次式により求める:
Figure JPOXMLDOC01-appb-M000004
 X’Y’平面(Z’=0)が撮像レンズの主面に一致し、Z’軸が主点を通る光軸に一致するようなX’Y’Z’座標系を「カメラ座標系」として定める。各床面上マーカーに対して、求められたリング形状の半径ρ[pixel]を用いて、リングの中心から主面までの距離 H[mm]を次式で計算する:(図6ステップ607)
Figure JPOXMLDOC01-appb-M000005

床面上マーカー172の中心のカメラ座標(x’[mm],y’[mm],z’[mm])は、次式により求められる:
Figure JPOXMLDOC01-appb-M000006
 (vi)床面上マーカー172は、最低3枚散撒くので、各床面上マーカー172から計算されたH[mm]を使って、センサユニットの取り付け傾き角(以下、「傾き角」という。)を算出できる。(図6ステップ608)
 床面上マーカー172の個数をN、上記のように計算されたi番目(i=1,2,・・・,N)床面上マーカーの中心のカメラ座標を (Ai[mm」,Bi[mm],Hi[mm」)とする。最小二乗法によって
Figure JPOXMLDOC01-appb-M000007

を最小にするような3つのパラメータa,b,cの値を計算すると、撮像レンズの主面上の任意の位置(カメラ座標)(X’[mm],Y’[mm],0[mm])と床面との距離 H(X’,Y’)[mm]が一次式
Figure JPOXMLDOC01-appb-M000008

で表される。
 床面と主面とが平行であれば、a=b=0,c=Hi(i=1,2,・・・,N) となる。一般に、床面と主面との間の「傾き角」ψ[radian]は、次式で算出される:
Figure JPOXMLDOC01-appb-M000009

(vii)上記(vi)の結果を用い、室内に居る人や室内にある物品(家具など)の居室床面からの高さ(以下、「床上高」という。)を求める。
 傾き角ψ[radian]が別途定める閾値未満であるときには、Hi[mm](i=1,2,・・・,N)の平均値H[mm]を取って、主面と床面との距離とする。しかし、数式9の「傾き角」ψ[radian]が別途定める閾値を超えた場合、床面上に存在する人物や物品の床上高をその位置により補正する。この方法については、以下の(xiii)で述べる。
 (viii)次に、床面上マーカー172のリング内部の画像処理を行うことによって、床面上マーカー172の種類、すなわち、「床高検知用マーカー171」、「ドア位置検知用マーカー181」、「トイレドア位置検知用マーカー191」を判別する。(図6ステップ609)
 この処理フローを図13のフロー図に示す。N個の床面上マーカー172が検出されたとき、i番目(i=1,2,・・・・,N)の床面上マーカー172のそれぞれについて、以下の処理を行う。たとえば、図12の例では、N=3である。
 (ix)i番目の床面上マーカー172について、リングの内部にある画素を輝度により二値化する。(図13ステップ1304)
 図14と図15は、それぞれ、図12の床面上マーカー201と床面上マーカー202のリング内部の二値化画像である。二値化された後の黒画素の個数が別途定める閾値未満であれば(図13ステップ1305)、(図13ステップ1310へ飛び終了、)リングの内部が空白、すなわち、そのリングは「床高検知用マーカー171」と判定する。
 図12の床面上マーカー203において、リングの内部は空白であるので、「床高検知用マーカー」171となる。
 閾値以上であれば、リング内部の二値画像について、「慣性等価楕円」と外接矩形を計算する。「慣性等価楕円」とは、該二値画像と等価のモーメントを持つ楕円(周囲と内部)である。図16と図17に、それぞれ、図14と図15の二値画像から計算した慣性等価楕円251、および、外接矩形252を示す。
 (x)「慣性等価楕円」251は次のようにして求める。まず、f(x,y)を二値画像fの画素(x[pixel],y[pixel]の値(白:0、または、黒:1)とすると、(p,q)次のモーメントMpqは、
Figure JPOXMLDOC01-appb-M000010

と定義される。
 一般に、楕円の周囲と内部を表す方程式は、a[pixel]とb[pixel]をそれぞれ長軸と短軸の長さ(ただし、a≧b>0)、θを楕円の長軸とx軸の正の向きがなす角度、(x[pixel],y[pixel])を楕円の中心として、次のように、行列の2次形式で記述される(tは行列の転置、-1は逆行列を表す)
Figure JPOXMLDOC01-appb-M000011
 「慣性等価楕円」251においては、(x[pixel],y[pixel])は、正規化された1次モーメント(重心)
Figure JPOXMLDOC01-appb-M000012

であり、また、正規化された重心の周りの2次モーメント
Figure JPOXMLDOC01-appb-M000013

を要素とする正定値対称行列(固有値が必ず正の値になる)
Figure JPOXMLDOC01-appb-M000014

の固有値をλとλ(λ≧λ>0)としたとき、長軸と短軸の長さaとbは、
Figure JPOXMLDOC01-appb-M000015

であり、長軸の角度θは、固有値λに対応する固有ベクトルとx軸の正の向きがなす角度
Figure JPOXMLDOC01-appb-M000016

である。
 (xi)慣性等価楕円251の2次モーメントから求められた、楕円の長軸方向θによって、リング内部のシンボルの方向が、縦向きであるか、あるいは、横向きであるか、が判定される。たとえば、図16では横向き、図17では縦向きとなる。(図13ステップ1306)
 さらに、慣性等価楕円251の中心位置と、外接矩形252の中心位置を比較することにより、上下左右の向きが判定できる。たとえば、図16については、慣性等価楕円251の中心が外接矩形の中心より左に位置しているので、もし、リング内部が「トイレドア位置検知用マーカー」191を表す「T」であれば左向き、「ドア位置検知用マーカー」181を表す二等辺三角形であれば右向きとなる。
 図17については、慣性等価楕円251の中心が外接矩形252の中心より上に位置しているので、もし、リング内部が「T」であれば上向き、三角形であれば下向きとなる。
 そして、判定された向きに応じて、リング内部(図14と図15)が、三角印なのか、「T」なのかを、パターン識別の手法を用いて識別する。これには、テンプレートマッチングなどの公知の方法を用いる。(図13ステップ1307)
 (xii)このようにして、床面上マーカー172が「ドア位置検知用マーカー」181なのか、あるいは、「トイレドア位置検知用マーカー」191なのかを判定し、さらに、マーカーの向きを判定する。リング内部のシンボルの向きにより、大方の「ドア位置」195、あるいは、「トイレドア位置」196を検出する。(図13ステップ1308)たとえば、図18のように、「トイレドアが「トイレドア位置検知用マーカー」191の左にある」、ドアが「ドア位置検知用マーカー」181の下にある」というように、大方の位置が検出される。以上が図13および図6のステップ609の処理である。
 (xiii)上記(vi)の結果を用いた「床上高」の算出は、次のように行う。撮像装置122について説明したように、LED照明画像と並行して取得している、赤外線輝点アレイを居室内に投光した輝点投影画像を用いて、居室内の物体上、あるいは、人物上に投影された各輝点の3次元座標を計算する。特許文献1、あるいは、特開2005-5912号公報に開示されているような公知の方法によると、居室内で取得された輝点投影画像(以下、「取得像」という)の他に、各輝点の3次元座標が既知であるような「基準輝点画像」(以下、「基準像」という)を用意し、取得像上の輝点と、基準像上の輝点との対応を取り、互いに対応する輝点の位置ずれから三角測量の原理によって、取得像上の輝点の3次元座標が計算できる。
 本発明では、前もって、撮像レンズの主面と平行で、主面との距離が既知の平面に赤外線輝点アレイを投影した輝点画像を取得し、各輝点の位置情報を記憶しておく。図19は取得像の例、図20は基準像の例である。
 特許文献1、あるいは、特開2005-5912号公報に開示されている方法によって、輝点投影画像において、輝点{(xi[pixel],yi[pixel]):i=1,2,・・・,M}に対して、カメラ座標(X’i[mm],Y’i[mm],Z’i[mm])を計算する。Z’座標は、主面と輝点との距離を表す。
 各輝点の床面からの高さは次のように算出される。傾き角 ψ[radian]が別途定める閾値未満であるときには、前述の「床面上マーカー」172の設置により求められている、主面と床面との平均距離 H[mm]とZ’i[mm]との差(H-Z’i)が、床上高 Zi[mm]となる。閾値以上であるときには、主面上の任意の位置(カメラ座標)(X’[mm],Y’[mm],0[mm])と床面との距離が一次式 数式8として求められているので、場所に応じて、床上高 Zi[mm]は、次式で計算される:
Figure JPOXMLDOC01-appb-M000017
 ここで、XY平面(Z=0)が床面に一致し、X=X’,Y=Y’,Z=H(X’,Y’)-Z’であるようなXYZ座標系を「ワールド座標系」と定める。
上記の計算手順に従って、各輝点の画像座標{(xi[pixel],yi[pixel]):i=1,2,・・・,M}に対応する3次元空間での点のワールド座標{(Xi[mm],Yi[mm],Zi[mm]:i=1,2,・・・,M}が求められる。
  居室形状、および、大型家具位置の取得: 
本個室見守りシステムを居室内に設置する際に、居室の形状、および、大型家具の位置を自動検出する。
 (i)各投影輝点のXYZワールド座標から、居室の壁の位置、および、大型家具の位置を検出する。前提条件として、居室の壁、あるいは、大型家具の側面は、互いに直交する方向に配置されているとする。理想的には、3次元空間において、壁面、あるいは、大型家具の側面は、「X=一定」、あるいは、「Y=一定」、で表される平面として検出される。しかし、実際には、センサ取り付けの際の誤差により、未知の角度θをパラメータとして、「X=Y・tanθ+定数」、あるいは、「Y=X・tanθ+定数」、で表される平面として検出される。そこで、居室水平方向の回転を補正する必要がある。
 (ii)XYZワールド座標で、Z軸の周りにθだけ時計回りに回転したX’Y’Z’座標 
Figure JPOXMLDOC01-appb-M000018

における、各投影輝点の3次元座標(x’(θ),y’(θ),z’(θ))について、x’(θ)とy’(θ)の周辺分布(プロジェクション)を求める。実際には、x’(θ)とy’(θ)の値を量子化し、ヒストグラムを算出する。求めたヒストグラムから計算される、i番目の量子化値の出現確率pi(x’(θ))とqi(y’(θ))とからエントロピーH(θ)を求める:
Figure JPOXMLDOC01-appb-M000019
 θを、たとえば、-10°から10まで1°刻みで変化させて、上記エントロピーH(θ)を計算する。エントロピーが最小になるときの角度θを用いて、各輝点の3次元座標を(x’(θ),y’(θ),z’(θ))に変換することによって、居室水平方向の回転を補正する。この結果、壁面、あるいは、大型家具の側面は、「X’(θ)=一定」、あるいは、「Y’(θ)=一定」、で表される平面として検出される。
 (iii)θ=θの場合のx’(θ)、および、y’(θ)の周辺分布pi(x’(θ))およびqi(y’(θ))、それぞれにおいて、出現確率が、たとえば、第1位から第5位となる位置をもって居室壁または居室内に置かれた大型家具の位置とする。なお、上記の実施例では、「第1位から第5位となる位置」を用いたが、「第5位」の代わりに別の順位を用いてもよい。
 人体の検出:図21に人体検出の処理のフローを示す。
(i)まず、J番目(J>1)のフレームのLED照明画像と輝点投影画像を取得する。(図21ステップ212)
 保持しておいた一つ前の(J-1)番目フレームのLED照明画像と、J番目フレームのLED照明画像を用いて、オプティカルフローを計算する。(図21ステップ214)
 オプティカルフローとは、時間t[秒]における、画像fの画素(x[pixel],y[pixel])における輝度をf(x,y,t)としたとき、時間t[秒]と時間t+Δ[秒]の間に物体が (x,y)→(x+v,y+w)のように移動すると、2つのフレームの間では、対応する画素の輝度が等しいという関係、すなわち、f(x,y,t)=f(x+v,y+w,t+Δ)の関係があることを利用して、フレーム間の動きベクトル(v[pixel],w[pixel])を検出する方法である。
 オプティカルフローを求める手段としては、Lucas-Kanadeの方法、Gunnar-Farnebackの方法など既知のものを用いる。オプティカルフローの計算結果として、(J-1)番目フレームのLED照明画像の各画素(x[pixel],y[pixel])に対して、動きベクトルの場(v(x,y)[pixel],w(x、y)[pixel])が出力される。図22は(J-1)番目フレームのLED照明画像、図23はJ番目フレームのLED照明画像、図24は計算されたオプティカルフローである。
 (ii)次に、移動物体に対応する画素集合から構成される二値画像を構築する。(J-1)番目フレームの画素(x[pixel],y[pixel])に対して、移動ベクトル(v(x,y)[pixel],w(x,y)[pixel])の大きさが別途決められた範囲内である場合に、対応するJ番目フレームの画素(x+v(x,y)[pixel],y+w(x,y)[pixel])が値1(黒画素)であるような二値画像を構築する。また、この二値画像において、孤立した黒画素を除去する。これには、周囲δ画素(δは別途定めたパラメータ)以内に存在する黒画素の個数が、別途定めた閾値未満のものを値0(白画素)に変えればよい。
 このようにして求められた二値画像に対して、上述したような方法で「慣性等価楕円」を計算する。(図21ステップ215)図25は、移動物体に対応する二値画像と、対応する慣性等価楕円251である。
 (iii)赤外線輝点アレイを居室内に投光して得られる、J番目フレームの輝点投影画像を用いて「慣性等価楕円」251の内部に存在する輝点の画像座標{(xi[pixel],yi[pixel]):i=1,2,・・・,M}に対して、対応する3次元空間での点のワールド座標{(Xi[mm],Yi[mm],Zi[mm]:i=1,2,・・・,M}が求まる。(図21ステップ216)図26はJ番目フレームの輝点投影画像と慣性等価楕円251の例である。
 (iv)次に、慣性等価楕円251内の輝点群の高さ「高さ重心」または「高さ分布の重心よりk・σ位置(k>0)」または「高さの累積分布のα%(たとえば、α=90)位置」を求めることにより「人の高さ」を計算する。具体的には、3次元空間での点のワールド座標{(Xi[mm],Yi[mm],Zi[mm]:i=1,2,・・・,M}に対して、高さ重心μ[mm]
Figure JPOXMLDOC01-appb-M000020

または、高さ分布の重心よりk・σ(k>0)位置μ+k・σ[mm]
Figure JPOXMLDOC01-appb-M000021

または、高さの累積分布のα%に対応するZi[mm]を「人の高さ」と設定する。
 (v)上記の{(Xi[mm],Yi[mm],Zi[mm]:
i=1,2,・・・,M}の重心を、J番目のフレームから計算された「人の位置」Pjに設定する:(図21ステップ217)
Figure JPOXMLDOC01-appb-M000022
 (vi)P,P,…,P,…を順次連結することによって、「人の動線」を検出することができる。なお、J番目のフレームにおいて、移動物体が検出されない場合には、人の位置Pを前のフレームの位置を引き継ぐ(P=PJ-1)ように設定する。図27は「人の動線」253の例であり、直近のフレームで計算された慣性等価楕円251を重ねて表示している。
 転倒検知:上記「人の高さ」が100mm以上400mm以下となったとき、対象人物が転倒したものとし、介護者に警告を発する。
 室内徘徊検知:上記(v)で求めた「人の位置」(数式22)の履歴=人の動線を、過去Lフレーム分だけ保持する。J番目フレーム(J>L)を処理しているとき、過去Lフレームの人の位置の履歴
Figure JPOXMLDOC01-appb-M000023

から、移動ベクトルの偏角を計算する(Δ≧1は別途定めた値):
Figure JPOXMLDOC01-appb-M000024
 そして、区間[0°,360°]を間隔δ°で量子化し、偏角の度数分布 
Figure JPOXMLDOC01-appb-M000025

(ただし、Πiは、偏角がiδ°以上、(i+1)δ°未満であるような移動ベクトルの度数)を計算する。そして、度数分布Πから計算される、確率分布p={p:i=0,1,・・・,2M-1}
Figure JPOXMLDOC01-appb-M000026

に対して、下記数式27で記述されるエントロピー H(p)を計算する:
Figure JPOXMLDOC01-appb-M000027

このエントロピーは、人の動きの角度変化のランダムネスを測るものである。エントロピーの計算値が別途定める値を越した場合、そのタイミングをもって、「人が室内を徘徊している」とする。
 また、居室が狭い場合には、特定方向を行き来するような「徘徊」をすることもあり得る。そのような場合には、互いに180°対称な角度のみに頻度が集中するため、エントロピーH(p)は十分に高い値を示さないことがあり得る。もう一つの基準として、確率分布pの180°対称性を測る尺度を用いる。180°対称な方向の度数を平均化した確率分布q={qi:i=0,1,・・・,2M-1}を計算する:
Figure JPOXMLDOC01-appb-M000028

そして、確率分布 p の180°対称性を測る尺度として、確率分布pのqに対する「相対エントロピー」(「カルバック・ライブラー情報量」ともいう)を計算する:
Figure JPOXMLDOC01-appb-M000029

このカルバック・ライブラー情報量は、偏角の度数分布が180°対称の場合、値ゼロを取る。通常のエントロピーによる基準に加えて、相対エントロピー(カルバック・ライブラー情報量)の計算値が別途定める値以下の場合にも、そのタイミングをもって、「人が室内を徘徊している」とする。
 外出及び長時間トイレの検知:上記「人体の検出」(vi)で言う「動線」が、この「ドア位置」で途切れた(扉位置での動線消失)場合、「被介護者が居室外に出た」ものとし、その状態が長時間に及んだ場合、介護者に警告を発する。あるいは、「動線」が、この「トイレドア位置」で途切れた場合、「人がトイレに入った」ものとし、その状態が長時間に及んだ場合、介護者に警告を発する。
 ベッドの検出:
(i)赤外線輝点アレイを居室内に投光して得られる輝点投影画像を用いて、ベッドの領域を検出する。上記の「居室形状取得」と同様に、各投影輝点に対して、XYZワールド座標を計算する。
(ii)次に、ベッドの高さが床面から400mmから600mmであることを想定して、床面からの高さが400mmから600mmであるような輝点について、XY座標で計算した2次元ユークリッド距離が200mm以下であるような輝点のペアをグループ化する。すなわち、すなわち、床面からの高さが400mmから600mmであるような3個の輝点A、B、Cついて、2つの輝点AとBの2次元ユークリッド距離が200mm以下であり、かつ、2つの輝点BとCの2次元ユークリッド距離が200mm以下である場合、3つの輝点A、B、Cを同じグループに分類する、という操作を再帰的に施すことにより、輝点をグループに分類する。これには、グラフ理論の連結成分を求めるアルゴリズム(たとえば、深さ優先探索アルゴリズム)を使うことができる。
 (iii)各グループについて、xy平面上で、そのグループに属するすべての輝点を内包する、最小の矩形を算出する。なお、矩形の辺は、x軸、または、y軸に平行とする。
 (iv)グループが2個以上見つかった場合には、矩形の面積が最大のものを一つ選び、また、グループが見つからなかった場合には、矩形の面積を0に設定する。その矩形の面積が1.5m2以上であれば、その矩形領域をベッドとして検出する。
 (v)上記「動線」が、その位置で停止し、それが長時間に継続した場合、「人がベッドの上に寝ている」ものとする。
 ベッド上及び床以外の場所での気絶及び転寝の検知: 
(i)赤外線輝点アレイを居室内に投光して得られる輝点投影画像を用いて、ベッドの領域を検出する。上記の「居室形状取得」と同様に、各投影輝点に対して、XYZワールド座標を計算する。
 (ii)次に、ソファーやテーブルの高さが床面から400mmから800mmであることを想定して、床面からの高さが400mmから800mmであるような輝点について、XY座標で計算した2次元ユークリッド距離が200mm以下であるような輝点のペアをグループ化する。すなわち、床面からの高さが400mmから800mmであるような3個の輝点A、B、Cについて、2つの輝点AとBの2次元ユークリッド距離が200mm以下であり、かつ、2つの輝点BとCの2次元ユークリッド距離が200mm以下である場合、3つの輝点A、B、Cを同じグループに分類する、という操作を再帰的に施すことにより、輝点をグループに分類する。これには、グラフ理論の連結成分を求めるアルゴリズム(たとえば、深さ優先探索アルゴリズム)を使うことができる。
 (iii)各グループについて、そのグループに属する輝点が構成するXY平面の領域が、上記で求めたベッド領域と重ならない場合、xy平面上で、そのグループに属するすべての輝点を内包する、最小の凸図形を算出する。その図形の面積が0.6m2以上1.0m2以下であれば、そのグループの輝点群に、「家具(ソファーやテーブル)」のラベルを付ける。
 (iv)上記でいう「動線」が、これらの家具の位置で停止した場合、「被介護者がその家具の上にいる」と認識し、その状態が長時間に及んだ場合、介護者に警告を発する。
 複数人対応:
(i)本装置では「人体の検出」によって自動的に見守りを行うため、「見守り開始」操作を必用としないが、複数の人体を検出し、片方が静止した場合は動いている方を自動的に見守るようになる。
 (ii)例えば、被介護者とともに入室した介護者が被介護者を残して単独退出する場合、介護者は退出直後に図1情報送受信ユニット116の表示・操作部120に含まれる「安全確認」ボタンを押して、センサが「通常の見守りモード」となるよう再設定する必要がある。
 (iii)この手順を怠ったまま一定の時間(t1時間)が経過し、その間に被介護者が部屋の中で(ベッド上で)眠ってしまっている等、動かないと、センサは「被介護者が外出したまま長時間戻らない」と判断して介護者に警報を発する。(この間に、被介護者が動くなどして「人体の検出」が成されると、センサは自動的に通常の見守りモードに移行する。)
 (iv)警報が鳴ってしまい、それを介護者が気付いた場合、非介護者が実際は外出していないことを確認した介護者は上記「安全確認」ボタンを押すことによって、通常の見守りモードに戻すことが出来る。
 (v)また、同様に介護者が非介護者を伴って外出した場合や、長時間のトイレ介護をする場合も、非介護者の安全を確認している介護者は「安全確認」ボタンを押すことにより、通常の見守りモードに戻すことができる。
 警報が鳴って「安全確認」ボタンを押さない場合は、更に一定の時間(t2時間)が経過した後に、別の形式の警報をならしてもよい。
 (vi)以上説明した処理フローを図28に示す。
 以上説明したとおり、本発明によれば、見守る部屋の天井中央近くに本装置1台を取付けるだけで、その部屋で発生した被介護者の生命や健康に関わる不測の事態を被介護者のプライバシーを侵害することもなく検出し、遅滞なく介護者に通報できるようになる。
 国民の高齢化と介護者確保の難しさは、我が国はもとより先進国において共通の課題となりつつある。これからの社会において、人に代わって被介護者を見守る装置の需要が増大することに、議論の余地はない。したがって、本装置のような見守り装置の社会的必要性は必然であり、産業としての進展は大いに期待されるところである。
 111 制御/電源部
 112 演算処理部
 113 情報送受信部
 114 データ取得部
 115 センサユニット
 116 情報送受信ユニット
 118 光学ブロック
 119 情報送受信部
 120 表示・操作部
 121 拡散光照明器
 122 撮像装置
 123 水準器
 124 照度計
 125、126 投光器
 127 カバー
 171 床高検知用マーカー
 172 床面上マーカー
 181 ドア位置検知用マーカー
 191 トイレドア位置検知用マーカー
 192 LED照明画像
 193 エッジ画像
 251 慣性等価楕円
 252 外接矩形
 253 人の動線

Claims (11)

  1.  居室内の情報を取得・処理するセンサユニットとセンサユニットが発する通報の介護者や家族への伝達と、センサユニットへのコマンド送信とを行う情報送受信ユニットを有する個室見守り装置であって、
     センサユニットは、制御部、演算処理部、情報送受信部を内包する電気・電子ブロックと、データ取得部を構成する光学ブロックとを有し、
     光学ブロックは、複数の赤外線輝点アレイ投光器、撮像装置、LED拡散光照明器、水準器、照度計を有する個室見守り装置。
  2.  請求項1に記載の個室見守り装置であって、更に、
     LED拡散光照明下で撮像された居室内画像に対して、既知の半径のリング形状が描かれたマーカーが居室床上に3枚以上散撒かれた居室内の画像にハフ変換を施すことによりリング形状を検出する手段と、
     該居室床上に散撒かれたマーカーに描かれたリング形状の既知の半径と、該居室内の画像から検出されたリング形状の半径とに基づいて、該居室床上に散撒かれたマーカーのそれぞれについて、中心からセンサユニットまでの距離を検出する手段と、
     該居室床上に散撒かれた3枚以上のマーカーについて検出された中心からセンサユニットまでの距離に基づいて、床面と撮像レンズの主面との傾き角を検出する手段と、
    を有することを特徴とする個室見守り装置。
  3.  請求項1に記載の個室見守り装置であって、更に、
     赤外線輝点アレイ投光器により投光された輝点群の高さ分布画像である高さマップの角度を少しずつ変えながら各角度方向への投影であるプロジェクションを取得する手段と、
     そのプロジェクションのエントロピーが最小となる角度を定めることによって、高さマップの水平方向の傾きを正規化する手段と、
     エントロピー値が最小となるように壁位置算出時の居室水平方向の回転を補正する手段と、
    を有することを特徴とする個室見守り装置。
  4.  請求項1に記載の個室見守り装置であって、更に、
     LED拡散光照明下で撮像された居室内画像に対して移動物体のオプティカルフローを計算する手段と、
     計算されたフローベクトルをフローベクトルから移動物体の位置を特定する手段と、
     移動物体と等価の慣性モーメントを有する楕円を求める手段と、
     赤外線輝点アレイを投光して撮像された画像において、その楕円によって囲まれる領域内に存在する各輝点に対して、移動物体の3次元座標を求める手段と、
    を有することを特徴とする個室見守り装置。
  5.  請求項1または4に記載の個室見守り装置であって、更に、移動物体の高さ値が特定の値となった時、人が転倒したものとする手段を有する個室見守り装置。
  6.  請求項1または4に記載の個室見守り装置であって、更に、
     移動物体の移動ベクトルを求める手段と、
     移動ベクトルの時系列を記録する手段と、
     記録された移動ベクトルの量子化された偏角に関する度数分布からエントロピーを計算する手段と、エントロピーの計算値により徘徊状態を判定する手段と、
    を有することを特徴とする個室見守り装置。
  7.  請求項1または4に記載の個室見守り装置であって、更に、
     LED拡散光照明下で撮像された居室内画像に対して、居室外に出るためのドア直前居室床上に特定のシンボルが描かれたマーカーが置かれた居室内の画像から該マーカーを検出する手段と、
     被介護者の居室外退出を検出する手段と、
    を有することを特徴とする個室見守り装置。
  8.  請求項1または4に記載の個室見守り装置であって、更に、
     LED拡散光照明下で撮像された居室内画像に対して、別室ドアの直前居室床上に特定のシンボルが描かれたマーカーが置かれた居室内の画像から該マーカーを検出する手段と、
     被介護者の長時間別室入室状態を検出する手段と、
    を有することを特徴とする個室見守り装置。
  9.  請求項1、2、3または4に記載の個室見守り装置であって、更に、
     高さマップに関連し、求められた各投影輝点のxyz座標から、居室内に存在し別に定められる特定高さ範囲内にあり特定の面積以上の物品を検出する手段と、
     移動物体の動線が、その位置で停止したことを検知する手段と、
    を有することを特徴とする個室見守り装置。
  10.  請求項1、2、3または4に記載の個室見守り装置であって、更に、
     高さマップに関連し、求められた各投影輝点のxyz座標から、居室内に存在し別に定められる一定高さ範囲内にあり一定面積範囲内にある物品を検出する手段と、
     移動物体の動線が、その位置で停止したことを検知する手段を有することを特徴とする個室見守り装置。
  11.  請求項1に記載の個室見守り装置であって、更に、被介護者とともに居室に入った介護者が被介護者を残して単独退出した時、センサが「通常の見守りモード」となるよう再設定する手動及び自動の手段を有することを特徴とする個室見守り装置。
PCT/JP2017/029889 2016-08-22 2017-08-22 個室見守り装置 WO2018038087A2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018535687A JP6978080B2 (ja) 2016-08-22 2017-08-22 個室見守り装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016175037 2016-08-22
JP2016-175037 2016-08-22

Publications (2)

Publication Number Publication Date
WO2018038087A2 true WO2018038087A2 (ja) 2018-03-01
WO2018038087A3 WO2018038087A3 (ja) 2018-04-19

Family

ID=61246178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029889 WO2018038087A2 (ja) 2016-08-22 2017-08-22 個室見守り装置

Country Status (2)

Country Link
JP (1) JP6978080B2 (ja)
WO (1) WO2018038087A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020068495A (ja) * 2018-10-26 2020-04-30 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN114842397A (zh) * 2022-05-19 2022-08-02 华南农业大学 一种基于异常检测的实时老人跌倒检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2752335B2 (ja) * 1994-09-27 1998-05-18 鐘紡株式会社 病室内患者監視装置
JP5760905B2 (ja) * 2011-09-28 2015-08-12 株式会社Jvcケンウッド 危険検知装置及び危険検知方法
CN105940434A (zh) * 2014-03-06 2016-09-14 诺日士精密株式会社 信息处理装置、信息处理方法及程序

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020068495A (ja) * 2018-10-26 2020-04-30 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7237520B2 (ja) 2018-10-26 2023-03-13 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN114842397A (zh) * 2022-05-19 2022-08-02 华南农业大学 一种基于异常检测的实时老人跌倒检测方法
CN114842397B (zh) * 2022-05-19 2023-04-07 华南农业大学 一种基于异常检测的实时老人跌倒检测方法

Also Published As

Publication number Publication date
JP6978080B2 (ja) 2021-12-08
JPWO2018038087A1 (ja) 2019-07-11
WO2018038087A3 (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
US7106885B2 (en) Method and apparatus for subject physical position and security determination
JP6150207B2 (ja) 監視システム
TWI425431B (zh) 監視裝置與程式
WO2018042481A1 (ja) 撮影装置及び撮影方法
US20190034713A1 (en) Method and apparatus for health and safety momitoring of a subject in a room
EP3468180A1 (en) Display control device, display control system, display control method, display control program, and recording medium
JP5924820B2 (ja) トイレ見守り方法およびこれに用いるトイレ見守り装置
JP2014035302A (ja) 対象物検出装置、対象物検出方法、プログラム
JP7430270B2 (ja) 天井及びダウンライトキャビティと接続した配置のために構成された撮像装置及び筐体
US20230084786A1 (en) Cost effective, mass producible system for rapid detection of fever conditions based on thermal imaging
WO2018038087A2 (ja) 個室見守り装置
JP2012146132A (ja) 3次元データと2次元データの統合方法及びこれを用いた見守りシステム、監視システム
JP2015120584A (ja) 画像監視装置およびエレベーター監視装置
Inoue et al. Vision-based bed detection for hospital patient monitoring system
KR102282459B1 (ko) 사람 계수 시스템 및 방법
JP2018533240A (ja) 占有検出
US10121344B2 (en) Smoke detection device, method for detecting at least one smoke detection feature, and computer program
US20230172489A1 (en) Method And A System For Monitoring A Subject
JP2001243472A (ja) 画像処理装置
US10817715B2 (en) Number-of-people detection system and number-of-people detection method thereof
WO2012002904A1 (en) Device and method for detection of abnormal spatial states of a human body
WO2021075563A1 (ja) モニタリングシステム、及びプログラム
JP2018117331A (ja) ベッド見守り装置
US11256925B2 (en) Monitoring system and monitoring method thereof
KR101243848B1 (ko) 무인 크레인 후크의 각도 산출 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843567

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2018535687

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17843567

Country of ref document: EP

Kind code of ref document: A2