WO2013069565A1 - 撮影記録装置 - Google Patents

撮影記録装置 Download PDF

Info

Publication number
WO2013069565A1
WO2013069565A1 PCT/JP2012/078465 JP2012078465W WO2013069565A1 WO 2013069565 A1 WO2013069565 A1 WO 2013069565A1 JP 2012078465 W JP2012078465 W JP 2012078465W WO 2013069565 A1 WO2013069565 A1 WO 2013069565A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
person
unit
recording
determination
Prior art date
Application number
PCT/JP2012/078465
Other languages
English (en)
French (fr)
Inventor
多久島　朗
学 高多
Original Assignee
ステラグリーン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ステラグリーン株式会社 filed Critical ステラグリーン株式会社
Publication of WO2013069565A1 publication Critical patent/WO2013069565A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to a photographing and recording apparatus.
  • the present invention relates to a photographing and recording apparatus used for recognizing a person living in a distant place and for watching over a network.
  • Patent Document 1 a technique related to a monitoring system and a care system for monitoring an elderly person using a network camera or the like is known.
  • an image is captured as an information storage unit that stores a person's image as a registered person's image and stores information on the average speed of movement of the person.
  • An image photographing unit, an extracting unit for extracting a human image from the image photographed by the image photographing unit, a movement detecting unit for detecting a movement of a person from the image photographed by the image photographing unit, and the extracting unit The extracted person image and the person image stored in the information storage unit are compared, the amount of movement by the movement detection unit and the information on the speed of movement are compared, and the extraction unit
  • a determination unit that determines whether the extracted person image is an image of a registered person, a recording unit that records the determination result in association with a result of the determination by the determination unit, and the recording
  • the contents recorded by the department can be viewed Providing an imaging recording device having a viewable section.
  • the determination unit estimates that the image of the person extracted by the extraction unit is a registered person image
  • the determination unit predicts the position of the person after a predetermined time, and the person moves to the position at the position. If the image is taken by the photographing unit, it may be determined that the image is a registered person.
  • the determination unit may determine that the person is a suspicious person if it cannot be determined that the image is a person registered within a predetermined time after the person was first photographed by the image photographing unit.
  • the present invention it is not possible to browse a photographed person's image as it is, but a result determined by comparing with information such as a registered person's image can be browsed. be able to. As a result, for example, the possibility of encountering communication restrictions in an emergency or the like is reduced, and prompt contact is possible.
  • Configuration diagram of a system according to an embodiment of the present invention Functional block diagram of a photographing and recording apparatus according to an embodiment of the present invention
  • An example figure of the information recorded on the video recording device concerning one embodiment of the present invention, and made browsing possible The flowchart of the process of the video recording device concerning one embodiment of the present invention.
  • Functional block diagram of a photographing and recording apparatus The figure explaining the process which detects a person's movement from the image image
  • FIG. 1 shows an outline of a watching system using a photographing and recording apparatus according to an embodiment of the present invention.
  • the watching system 100 includes a photographing / recording device 102 installed in a facility 101 such as a house, and a terminal device 104 connected via a communication network 103 such as the Internet.
  • the photographing and recording apparatus 102 captures an image of the person 105 in the facility 101 and provides the terminal device 104 with the result of the determination so that the terminal apparatus 104 can view it. Further, it is also possible to browse an image taken by the shooting / recording apparatus 102 from the terminal device 104.
  • the image to be browsed may be an image captured and accumulated by the imaging / recording apparatus 102 or a current image.
  • the image may be a still image or a moving image.
  • audio may be accompanied.
  • the photographing / recording apparatus 102 is connected to the communication network 103 by wire or wirelessly.
  • the photographing and recording apparatus 102 is connected to the network 103 using an optical fiber line drawn into the facility 101 or a wireless LAN access point that is arranged in the facility 101 and directly or indirectly connected to the communication network 103. Is done.
  • the photographing / recording apparatus 102 may be connected to the communication network 103 via a data communication network for mobile phones.
  • the communication network may be abbreviated as a network.
  • the terminal device 104 is a personal computer, a portable information device such as a mobile phone equipped with a PDA (Personal Digital Assistance), a browser, or the like.
  • the terminal device 104 is also connected to the network 103 by wire or wireless.
  • the terminal device 104 is a personal computer or PDA, it is connected to the network 103 via an optical fiber line or a wireless LAN access point.
  • the terminal device 104 is a mobile phone or the like, the terminal device 104 may be connected to the network 103 via a data communication network for mobile phones. Note that the terminal device 104 may be directly connected to the photographing / recording device 102 without using a network or the like.
  • information about a person who is in the facility 101 and may be photographed, for example, a person's image, is stored in the photographing / recording apparatus 102. Then, the shooting / recording device 102 takes an image. For example, shooting is performed at regular intervals, or shooting is performed when it is detected using a human sensor such as an infrared sensor, a weight sensor, or an RFID tag that a person has entered the shooting area. Moreover, when the start of use of the electrical appliance in the room is detected, photographing may be performed.
  • the photographing and recording device 102 extracts a human image from the photographed image. For example, an image of a part of a person's face is taken out, or an image of a part of clothes worn by a person is taken out. Then, the photographing and recording apparatus 102 compares whether or not the extracted person image is a registered person with information such as the registered person image, and determines whether or not the extracted person image is a registered person image. to decide. For example, it is determined whether it is Mr. A who lives in the facility 101, whether it is a care helper who regularly visits the facility 101, or whether he is an unregistered person.
  • the photographing recording apparatus 102 When the photographing recording apparatus 102 makes a determination, it records the determination result in association with the time. Thereafter, when the terminal device 104 accesses the photographing recording device 102 using HTTP (Hyper Text Transfer Protocol) or the like, the photographing recording device 102 provides the recorded information to the terminal device 104. Thereby, the terminal device 104 can browse a part or all of the information recorded in the photographing recording device 102. In order to permit access from a specific terminal device 104, the photographing and recording device 102 may authenticate the terminal device 104 that has made access. As an authentication method, an arbitrary method such as a method of combining an ID and a password or a method of using an electronic certificate can be used.
  • HTTP Hyper Text Transfer Protocol
  • the photographing / recording apparatus 102 is not registered by predicting the motion of the photographed person. Although it is determined that the person is the same person, tracking is performed, and if it is found that the person is a registered person, the person who has been registered is traced back to the time when shooting was started. It may be recorded. Note that ⁇ While it is determined that the person is not registered but recognizes that it is the same person '', the person moves, the shooting is interrupted by obstructions such as pillars, and then the shooting resumes This means that even when it comes to being performed, it is not recognized as another person, and processing is performed that is the same person as the person who has been determined not to be registered first.
  • the photographing / recording apparatus 102 may record the photographed image and provide it to the terminal device 104.
  • the storage area of the photographing / recording apparatus 102 may be compressed. Therefore, if the storage area is compressed, the image that has been captured in the past is deleted. It may be configured.
  • the degree of movement of a person may be measured, and the degree of movement may be statistically processed to detect a decline in the person's motor function. Moreover, it may be detected that the behavior pattern has changed by performing statistical processing or the like on the ratio of the time in the imaging region to the time in which it is not present.
  • information such as the average speed of movement of a person may be accumulated, and a movement distance per hour may be calculated from a plurality of captured images to determine or estimate who the person is.
  • FIG. 2 is a functional block diagram of the photographing / recording apparatus according to the first embodiment of the present invention.
  • the photographing and recording apparatus 200 includes a registered image storage unit 201, an image photographing unit 202, an extracting unit 203, a determining unit 204, a recording unit 205, and a browsing enabling unit 206.
  • the registered image storage unit 201 stores a person image as a registered person image. For example, an image in which a person is photographed is stored by storing it in a nonvolatile memory or the like.
  • the registered image storage unit 201 may extract and store feature amounts from the stored human images. For example, information for recognizing a person's face may be extracted from the person's image. For example, the positional relationship between the senses of both eyes and the most prominent part of the nose may be extracted. Moreover, you may extract the color of the clothes which the person is wearing.
  • FIG. 3 shows an example of information stored in the registered image storage unit 201.
  • the information stored in the file jpeg is associated with the person identifier 001. Also, 9976.
  • the information stored in the file jpeg is associated with the person identifier 002. 5678.
  • the information stored in the file jpeg is associated with the person identifier 001. As described above, a plurality of pieces of image information associated with one person identifier may exist.
  • the image capturing unit 202 captures an image. As described above, when it is detected that a person has entered the imaging region using an infrared sensor or the like, the image capturing unit 202 may capture an image, or may capture an image at a certain time. Good. In the present invention, the image capturing unit 202 is not limited to capturing a single image, and is configured using a plurality of imaging elements such as CCDs, and is configured to capture a plurality of images at once. Also good. In addition, the plurality of image sensors may face different directions, or may face the same direction.
  • each image sensor or the like may have different shooting characteristics. For example, the wavelength at which shooting is performed may be different.
  • One imaging element or the like may perform imaging with infrared rays, and another imaging element or the like may perform imaging with normal visible light. This makes it possible to always shoot even during the daytime or during nights when the lights are turned off.
  • shooting in color or black and white may be performed. Further, shooting may be performed using a still image or a moving image.
  • the extraction unit 203 extracts a human image from the image captured by the image capturing unit 202. That is, a human image is extracted using an image recognition technique.
  • the extracted image may be a part of a human image.
  • a human skin region may be detected by extracting a skin color portion, and the presence or absence of eyes, nose, or mouth in the region may be detected, and a human face image may be extracted.
  • a change in the image may be detected, and extraction may be performed assuming that the changed portion is a human motion.
  • FIG. 4 is a diagram for explaining the processing of the extraction unit 203.
  • the extraction unit 203 extracts a skin color portion of the image 401 and extracts a region including the skin color portion. Since the skin color part corresponds to the face, hand, and foot of the person 402 who has been photographed, the extraction unit 203 may extract the minimum rectangular area 403 including the skin color part.
  • the determination unit 204 compares the person image extracted by the extraction unit 203 with the person image stored in the registered image storage unit 201, and the person image extracted by the extraction unit 203 is registered as a registered person. It is judged whether it is an image. For example, the determination unit 204 sequentially reads out the person images extracted by the person extraction unit 203 stored in the registered image storage unit 201, and compares the similarity with the person image extracted by the extraction unit 203. . As an example of the degree of similarity, it is possible to use how similar the color distribution of the pixels of the image is. As a result of the comparison, a person identifier associated with the image of the person who is determined to be most similar is obtained. Further, if the degree of similarity between any of the sequentially read person images and the extracted person image is less than a certain threshold value, it may be determined that the person is not registered.
  • the recording unit 205 records the determination result by the determination unit 204 in association with the time when the determination is made. For example, it records in a non-volatile memory in a tabular format.
  • the recording unit 205 may further record the image captured by the image capturing unit 202 and the person image extracted by the extraction unit 203 in association with the result of determination by the determination unit 204.
  • FIG. 5 shows an example of information recorded by the recording unit 205. For example, it is indicated that the time when the determination unit 204 determines that the image of the person having the person identifier 002 is extracted by the extraction unit 203 is 10:05 on July 3, 2011. Further, FIG. 5 shows that the existence of a person who was judged not registered was recorded at 10:34 on July 3, 2011.
  • the browsing enabling unit 206 enables browsing of the content recorded by the recording unit 205 via the network 103. For example, the browsing request from the terminal device 104 is received, and the information recorded in the recording unit 205 is transmitted.
  • the recording unit 205 records the image captured by the image capturing unit 202 and the image of the person extracted by the extraction unit 203 in association with the result of determination by the determination unit 204.
  • the image capturing unit 202 is used. It may be possible to view an image taken by the user or a human image extracted by the extraction unit 203.
  • the image captured by the current image capturing unit 202 may be browseable. As a result, it becomes possible to know the situation at the time of shooting and the current situation.
  • FIG. 6A is a flowchart for explaining processing of the photographing and recording apparatus according to the present embodiment.
  • step S601 it is determined whether the image capturing unit 202 has performed capturing. For example, it is determined whether an image signal is received from an image sensor or the like that constitutes the image capturing unit 202. If an image is captured, the process proceeds to step S602, and a human image is extracted by the extraction unit 203 from the captured image. Next, the extracted image is transferred to the determination unit 204, and compared with the human image stored in the registered image storage unit 201 in step S603, and the person identifier is determined in step S604. In step S605, the time is associated and recorded in the recording unit 205. Thereafter, if there is a browsing request from the terminal device 104, the information recorded in the recording unit 205 is transmitted to enable browsing.
  • FIG. 6B is a flowchart for explaining in more detail the process of determining the person identifier in step S604.
  • the similarity is calculated for each identifier.
  • the similarity is an index indicating how similar the extracted image and the person image stored in the registered image storage unit 201 are. In the following, it is assumed that if the extracted image is similar to the human image stored in the registered image storage unit 201, the value is large.
  • the extracted image is compared with each of the plurality of images stored in the registered image storage unit 201, and similar The maximum value of the degree is obtained, or the average value is obtained.
  • a person identifier whose similarity exceeds the first threshold is specified. That is, when there are a plurality of person identifiers, the extracted image and the images of the respective person identifiers stored in the registered image storage unit 201 are compared to determine the similarity for each person identifier. A person identifier whose degree exceeds the first threshold is specified.
  • the person identifier specified in step S6041 is represented as A below. If there are a plurality of person identifiers whose similarity exceeds the first threshold, the person identifier having the highest similarity is specified.
  • the person identifiers may be specified from the positional relationship at the time of shooting in step S601 when the flowchart of FIG. 6A was executed last time. If there are a plurality of person identifiers whose degree of similarity exceeds the first threshold, it may be determined that identification is impossible. In addition, in order to show the case where it cannot specify, the person identifier called unknown is used below.
  • step S6042 it is determined whether there is a person identifier whose similarity exceeds the second threshold among the person identifiers other than A.
  • the second threshold value is preferably smaller than the first threshold value.
  • the person identifier having the largest similarity is specified.
  • the person identifier specified in step S6042 is represented as B below. If the degree of similarity is the same for a plurality of person identifiers, one of the person identifiers is selected. For example, one is selected at random.
  • step S6042 If it is determined in step S6042 that there is no person identifier whose similarity exceeds the second threshold among the person identifiers other than A, the process proceeds to step S6043, and the person identifier determined in step S604 is set to A. decide.
  • step S6042 If it is determined in step S6042 that there is a person identifier B whose similarity exceeds the second threshold among the person identifiers other than A, the process proceeds to step S6044, where the similarity of A and the similarity of B It is determined whether the difference between and exceeds the third threshold. If the difference does not exceed the third threshold value, the person identifier determined in step S604 is determined as unknown.
  • step S6046 the person identifier determined in step S604 is determined to be A.
  • step S605 may be executed, and the time may be associated with unknown and recorded in the recording unit 205.
  • step S604 For example, if the person identifier is determined to be unknown as a result of the process in step S604, the processes from step S601 to step S604 are repeated 10 times at 1 second intervals, and the person identifier is unknown in all 10 times. If it is determined, step S605 is executed. This is because even if the person identifier cannot be immediately specified, the person identifier may be specified by the person moving or changing his / her direction. Thereby, recording of useless information can be suppressed.
  • step S604 If the person identifier is determined to be unknown as a result of the process in step S604 and the person is not photographed before the processes from step S601 to step S604 in the flowchart of FIG. 6A have been executed a predetermined number of times. , It is preferable to record in the recording unit 205 in association with the time. This is because it is highly possible that someone who has illegally invaded has noticed that they have been filmed and has been blinded. In such a case, it is highly possible that there has been an illegal intrusion, so it is preferable to record.
  • the similarity between the image extracted by the process of step S602 and the person identifier ⁇ and the image stored in the registered image storage unit 201 (abbreviated as “similarity of ⁇ ”.
  • similarity of ⁇ is 70
  • the similarity of ⁇ is 50
  • the first threshold is 75
  • the second threshold is 65
  • the third threshold is 20.
  • A is specified as ⁇ in step S6041
  • B is specified as ⁇ in step S6042.
  • the difference between the similarity degree of ⁇ and the similarity degree of ⁇ is 20 and does not exceed the third threshold value, so it is determined as unknown.
  • the imaging / recording apparatus 200 can be configured by a computer using a CPU (Central Processing Unit) or the like.
  • the registered image storage unit 201 and the recording unit 205 can be configured using a nonvolatile memory (SSD (Solid State Drive) or HDD (Hard Disk Drive)) of a computer.
  • the image capturing unit 202 can be configured using an image sensor connected to a CPU via a bus.
  • the extraction unit 203 and the determination unit 204 can be realized by causing the CPU to execute a program that realizes the flowchart of FIG. 6A.
  • the browsing enabling unit 206 can be realized by causing the CPU to execute a program that realizes a web server that performs transmission and reception with a network interface connected to the CPU via a bus.
  • the photographing / recording apparatus 200 can be realized not only by using a computer and a program but also as hardware only by combining a dedicated LSI or the like.
  • the present embodiment it is not possible to browse the image of the photographed person as it is, but the result determined by comparing with the information of the registered person can be browsed. Is possible.
  • the time is associated with the determination result of the determination unit 204 and recorded, it is possible to skip browsing of information when the same state continues.
  • FIG. 7 is a functional block diagram of the photographing and recording apparatus according to the present embodiment.
  • the imaging and recording apparatus 700 can be browsed with the registered image accumulation unit 201, the image imaging unit 202, the extraction unit 203, the determination unit 204, and the recording unit 205. And a conversion unit 206.
  • the extraction unit 203 includes a movement detection unit 701.
  • the movement detection unit 701 detects the movement of the person from the image of the person photographed by the image photographing unit 202. For example, the movement detection unit 701 detects a portion that has changed between images captured by the image capturing unit 202 at different times, and detects the movement of a person based on the change. Alternatively, the movement of a person may be detected based on a change in position in the image when the extraction unit 203 extracts a person image.
  • FIG. 8 is a diagram for explaining the detection of a person's movement by the movement detection unit 701.
  • the image 801 and the image 804 are images captured at different times by the image capturing unit 202. If the image capturing unit 202 captures a moving image, it is assumed that the image 801 and the image 804 are images in different frames.
  • the extraction unit 203 extracts the image 803 of the person 802 from the image 801. Further, the extraction unit 203 extracts an image 806 of the person 805 from the image 804. Then, the relative position of the image 803 with respect to the image 801 is compared with the relative position of the image 806 with respect to the image 804 to detect the movement of the persons 802 and 805.
  • the determination unit 204 may determine whether the person 802 and the person 805 are the same person. Alternatively, if the change in the relative position between the image 803 and the image 806 is equal to or less than a predetermined threshold, it may be determined that the person 802 and the person 805 are the same person.
  • the recording unit 205 records the movement detection result detected by the movement detection unit in association with the determination result of the determination unit 204.
  • the detection result of the movement detected by the movement detection unit is recorded in a table in which a column indicating the presence or absence of movement is added to the table shown in FIG.
  • the recording unit 205 adds to the table shown in FIG. 5 a column that stores a time at which the start of movement is detected and a time at which the end of movement is detected. Recording may be performed.
  • FIG. 9 it is recorded in the first row that a person having 002 as a person identifier starts moving from 10: 3 on July 3, 2011 and ends moving at 10:15 on the same day.
  • the movement of a person can be predicted by extrapolating the amount and direction of movement detected by the movement detector 701. As a result, even if a person moves and temporarily hides in the shadow and then comes out of the shadow, it is possible to detect the same person without making a determination in the determination unit 204.
  • the person identifier of the person who moved from 10:34 to 10:50 on July 3, 2011 was subsequently determined to be unknown, the person identifier in the third row of Table 9 was determined from unknown. It may be changed to a person identifier. This is described in the outline of the invention “Even if it is determined that the person of the image extracted from the photographed image is not registered, the motion of the photographed person is predicted and registered. If it is determined that the person is not registered, tracking is performed while recognizing that the person is the same person. To record that the person is a person.
  • the coordinates of the area to be imaged are calculated in advance from the position in the image to be captured, and the amount of movement is calculated from the change in the relative position in the image. Good.
  • the speed of movement obtained by calculating the time difference between the time when the image 801 was captured and the time when the image 804 was captured and dividing the amount of movement may be recorded.
  • the speed of movement may be used. For example, if the registered person is an infant or an elderly person, the speed of movement is predicted to be small. Therefore, if the speed of movement is less than a predetermined value, the registered person is an infant or an elderly person. It may be determined that the person is a person.
  • the recording unit 205 records the movement detection result detected by the movement detection unit 701 in association with the determination result by the determination unit of the determination unit 204. May be. For example, if the amount of movement when a person suddenly falls is set as a predetermined amount in the recording unit 205 or the like, it is possible to record who has fallen and when. As a result, for example, it is possible to obtain information for performing treatment when a person falls due to a stroke or the like.
  • FIG. 10 is a functional block diagram of the photographing and recording apparatus according to the present embodiment.
  • the imaging and recording apparatus 1000 includes a registered image accumulation unit 201, an image imaging unit 202, an extraction unit 203, a determination unit 204, a recording unit 205, And a browsing enabling unit 206.
  • the browsing enabling unit 206 includes a transmission unit 1001.
  • the transmission unit 1001 periodically transmits the content recorded by the recording unit 205.
  • the transmission may be performed by e-mail using, for example, SMTP (Simple Mail Transfer Protocol).
  • SMTP Simple Mail Transfer Protocol
  • any protocol may be used as long as it is a so-called Push transmission form.
  • the transmission destination of the transmission unit 1001 is a transmission destination set in advance in the transmission unit 1001, for example, an e-mail address of a user of the terminal device 104.
  • the content to be transmitted may be, for example, a difference from the content transmitted last time. For example, it may be information recorded by the recording unit 205 after the previous transmission, or a person identifier of a newly photographed person and a time determined by the determination unit 204 may be transmitted.
  • the transmission unit 1001 may perform transmission if the amount of movement detected by the movement detection unit 701 is greater than or equal to a predetermined amount. Thereby, when a large movement is detected, an abnormal situation often occurs, so that the occurrence of the abnormality can be quickly transmitted.
  • the recorded content since the recorded content is transmitted by the transmission unit, the recorded content can be obtained even if the user of the terminal device does not transmit a transmission request to the imaging / recording device. .
  • FIG. 11 is a functional block diagram of the photographing and recording apparatus according to the present embodiment.
  • the imaging / recording apparatus 1100 is similar to the configuration of the imaging / recording apparatus according to any one of the first to third embodiments, and includes a registered image storage unit 201, an image capturing unit 202, an extraction unit 203, a determination unit 204, and a recording unit. 205 and a browsing enabling unit 206.
  • the browsing enabling unit 206 includes a statistical processing unit 1101.
  • the statistical processing unit 1101 performs statistical processing on the content recorded by the recording unit 205. For example, the number of times of recording in the recording unit 205 is calculated for each person identifier.
  • the extraction unit 203 includes the movement detection unit 701
  • a daily moving average of the amount and speed of movement is calculated. In particular, when calculating the moving average of the moving speed, it is possible to easily detect a decrease in physical strength of the elderly.
  • a numerical value that can be obtained by the statistical processing of the statistical processing unit 1101 there is a ratio of time during which movement is performed for each person identifier. For example, it is possible to obtain a numerical value such as 15 minutes when a person is moving while walking for an hour, etc., and 45 minutes when the person is staying at the same place. As a result, a value of 0.25 can be obtained. Moreover, the maximum value of the speed in a predetermined period can be obtained by recording the speed of movement. Further, the number of specific actions (for example, moving the hand back and forth) can be detected in a predetermined time.
  • the recording unit 205 may record an image captured by the image capturing unit 202 as a result of determination by the determination unit 204.
  • the image photographed by the image photographing unit 202 is recorded on an external server or the like of the photographing and recording device, and an identifier such as a URL (Uniform Resource Locator) of the image recorded on the external server or the like is determined by the determining unit 204. It may be recorded in association with the result of the determination by
  • the recording unit 205 records the determination result of the determination unit 204 in association with the determination time. Therefore, if an image is recorded and the usage amount of the storage area exceeds a predetermined amount, the time recorded in the recording unit 205 can be used to delete the image recorded in the past. . As a result, the storage area can be used efficiently.
  • the person image is recorded in the recording unit 205 by comparing the person image with the image recorded in the recording unit 205. If so, the person identifier recorded in the recording unit 205 may be updated. That is, it is determined that the result of the determination by the determination unit 204 is not the registered person image, and the person image recorded in the recording unit 205 is the image of the person for which the determination result by the determination unit 204 is registered. If it is determined that there is, the recording unit 205 may update the determination result by the determination unit 204 recorded in association with the person's image.
  • the recording unit 205 does not need to record the image captured by the image capturing unit 202 every time recording is performed, and may be able to set whether to record.
  • FIG. 12 is a functional block diagram of the photographing / recording apparatus in this case.
  • the imaging / recording apparatus 1200 has a registered image storage unit 201, an image capturing unit 202, an extraction unit 203, a determination unit 204, a recording unit 205, and browsing capability, as in the configuration of the imaging / recording apparatus described above. And a recording setting unit 1201.
  • the browsing enabling unit 206 can also browse images recorded in the recording unit 205. For example, when the user of the terminal device 104 clicks a predetermined position on the screen displayed by the browsing enabling unit 206, the image is displayed and can be browsed.
  • the recording setting unit 1201 sets whether the recording unit 205 records the image captured by the image capturing unit 202 in association with the result of determination by the determination unit 204. For example, the recording setting unit 1201 sets whether to record, and only when “record” is set, the recording unit 205 determines that the image captured by the image capturing unit 202 is determined by the determining unit 204. Record in relation to the results. Whether to record can be changed with time, for example. Thereby, it is possible to designate a time zone in which it is desirable not to record an image for reasons such as the privacy of a person photographed by the image photographing unit 202.
  • the recording unit 205 records the image captured by the image capturing unit 202 in association with the determination result by the determining unit 204. Good.
  • the extraction unit 203 includes the movement detection unit 701, whether to record may be set according to the detected amount and speed of movement.
  • the photographed image is recorded, it is possible to view the image from a remote place.
  • the recorded image can be stored in the registered image storage unit 201 by an operation from the terminal device 104 or the like.
  • FIG. 13 is a functional block diagram of the photographing and recording apparatus according to the present embodiment.
  • the photographing and recording apparatus 1300 includes an information storage unit 1301, an image photographing unit 202, an extracting unit 203, a determining unit 204, a recording unit 205, a browsing enabling unit 206, and a movement detecting unit 701. Yes. Therefore, the imaging / recording apparatus according to the present embodiment can be considered to have a configuration in which the registered image storage unit 201 of the imaging / recording apparatus according to Embodiment 2 is replaced with the information storage unit 1301. Further, as in other embodiments, the image browsing enabling unit 206 may include the transmission unit 1001 or the statistical processing unit 1101. In addition, the imaging / recording apparatus 1300 may include a recording setting unit 1201.
  • the information accumulating unit 1301 accumulates information related to the person to be recognized.
  • a person image is stored as a registered person image, and information related to the movement of the person is stored.
  • the information related to the movement of the person is information representing the agility of the movement of the person. For example, it is the average speed of movement when a person moves. Usually, it is considered difficult to recognize a person only by the average speed of movement when the person moves.
  • the photographing and recording apparatus according to the present embodiment is mainly installed in a facility such as a home, the number of people living in the facility is small (for example, about 1 to 5 people), and the age varies. Therefore, a certain degree of recognition is possible using the average speed of movement when a person moves.
  • FIG. 14 shows an example of table data that is stored in the column “movement information” in relation to the movement of the person and is stored in association with the person identifier.
  • the average moving speed of a person with a person identifier 001 is stored as 50 m / sec
  • the average moving speed of a person with a person identifier 002 is stored as 30 m / sec.
  • FIG. 15 shows an example of table data used in the determination unit 204 to determine whether or not a person is photographed and registered.
  • the determination unit 204 performs the same processing as in the other embodiments, and tries to determine the person identifier of the registered person. At that time, since it may be difficult to determine the person identifier deterministically only by the image, the person to be photographed is given a recognized person ID, and the person identifier and the time when the person identifier is determined or estimated are determined. Stored in the table of FIG. Further, referring to the table data of FIG. 14 using the determined or estimated person identifier, the average movement speed of the person is obtained, the position after a certain time is predicted, and the position information is used as the predicted movement position. Store in the column.
  • FIG. 16 is a diagram for explaining calculation of position information stored in the column of predicted movement positions. Assuming that the current position of the photographed person is a position 1601, a circle that radiates a distance 1602 obtained by multiplying the average speed of movement by an elapsed time after a certain time is obtained around this position 1601. Thus, the position where the person is expected to be after a certain time can be obtained. However, in reality, since the speed of human movement is not necessarily the average speed of movement, an area 1603 having a certain width can be obtained. The region 1603 has a shape obtained by removing a sector having a small radius from a certain sector.
  • the movement direction is estimated by estimating the direction of the person by photographing the person, and thus the shape of the predicted movement position is a shape based on a sector.
  • the central angle of the fan shape can be changed according to the probability of the person's orientation determined from the image captured by the image capturing unit 202.
  • the image shooting unit 202 When shooting is performed by the image shooting unit 202 after a certain time, it is detected whether or not there is a person at the expected movement position. If a person is detected at that position, the person identifier is estimated again, and the same person identifier is obtained. If so, it is possible to increase the degree of certainty of estimating the person identifier. If no person is detected at the predicted movement position, it is possible to reduce the likelihood of estimating the person identifier or to determine that the estimation of the person identifier was an error. As a result, the presence of a suspicious person can be estimated.
  • the movement direction is estimated and the predicted movement position after a certain time is obtained, if it is determined that an obstacle exists between the predicted movement position and the image capturing unit 202, the person is obstructed. You may estimate the time when it can pass through and can image again. Then, photographing may be performed at the predicted time, and it may be detected whether or not the person has passed the obstacle to supplement the estimation of the person identifier from the image.
  • FIG. 17 and FIG. 18 show a flowchart of processing of the photographing and recording apparatus according to the present embodiment.
  • FIG. 17 is a flowchart of processing when a new person is photographed by the image photographing unit 202.
  • the ID of the person who has been newly photographed is assigned as the ID of the person to be recognized.
  • the determination unit 204 estimates a person identifier.
  • the movement information is obtained by referring to the table data of FIG. 14 using the estimated person identifier, and the movement expected position is obtained. If the person identifier cannot be estimated, the person identifier may be unknown and the predicted movement position may be indefinite.
  • the recognized person ID, the person identifier, and the predicted movement position assigned by the above processing are stored in the table data of FIG. 15, and the current time is stored in the column of “estimated time”.
  • FIG. 18 is a flowchart when processing is performed in the order of the person to be recognized stored in the table data of FIG.
  • step S1801 it is determined whether there is a next recognized person ID. If there is no next person ID to be recognized, the process has been performed for all the persons to be recognized, and the process of the flowchart is terminated. If there is a next person ID to be recognized, the process proceeds to step S1802, and it is determined whether or not there is a person within the range of the predicted movement position. If there is no person, it is determined that the estimation of the person identifier is not correct, the process proceeds to step S1803 to delete the recognized person ID, and the process returns to step S1801. If the predicted movement position is indefinite, the process may proceed from step S1801 to step S1804 without performing the process of step S1802.
  • step S1802 if there is a person in the predicted movement position, the process proceeds to step S1804, and it is determined whether or not a person with the same person identifier is longer than a certain time from the time of the value in the column of “estimated”. If the fixed time has passed, the person identifier is determined and recorded in the recording unit 205. If the predetermined time has not elapsed, the process returns to step S1801. If the predicted movement position is indefinite, the movement speed can be obtained from the previously captured image and the current image.
  • the recognized person ID is deleted if there is no person in the predicted movement position. For example, the probability of the person identifier is lowered and deleted when it falls below a certain value. You may make it do. If a person does not move in step S1802 and more than a certain time has passed, it is recorded as an abnormal situation in the recording unit 205, or an e-mail is sent to a predetermined e-mail address. You may do it. Further, depending on the time, recording that fact in the recording unit 205 or sending an e-mail to a predetermined e-mail address may be omitted. For example, since it is often determined that the person is sleeping at night, it is not necessary to determine that the situation is abnormal.
  • FIG. 19 shows a functional block diagram of a system including an image capturing device 1901 and a server 1903 that receives an image from the image device 1901.
  • the image capturing device 1901 and the server 1903 are connected via a network 1904.
  • the image capturing apparatus 1901 can be installed in a facility 101 such as a house, and the server 1903 can be installed in a place away from the facility 101 such as a data center.
  • the image capturing apparatus 1901 captures an image in the facility 101
  • the image is transmitted to the server 1903 via the network 1904.
  • the server 1903 operates the extraction unit 203, the registered image storage unit 201, the determination unit 204, the recording unit 205, and the browsing enabling unit 206 on the received image as described in Embodiment 1-6, I do.
  • the photographing unit of the photographing and recording apparatus is installed in the facility 101 as the image photographing apparatus 1901, and the other part of the photographing and recording apparatus is installed in a place away from the facility 101. It can also be said.
  • the extraction unit 203, the registered image storage unit 201, the determination unit 204, the recording unit 205, and the viewable lower part 206 are provided in the server 1903, but these can be distributed and provided in a plurality of servers. is there.
  • Embodiment 8 The present invention can also be carried out using an image other than the photographed image.
  • the information related to life is information related to indoor temperature, humidity, illuminance, and electric power.
  • Such life-related information can be collected by a sensor installed in the facility 101 together with the image capturing / recording apparatus and the image capturing apparatus. The collected information is processed in the image capturing and recording apparatus, or transmitted to the server and processed in the server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本発明の一実施形態として、人の画像を、登録された人の画像として、蓄積するとともにその人の平均的な移動の速さの情報を蓄積する情報蓄積部と、画像を撮影する画像撮影部と、撮影された画像より人の画像を抽出する抽出部と、撮影された画像より人の移動を検出する移動検出部と、抽出された人の画像と前記情報蓄積部に蓄積されている人の画像とを比較し、また、前記移動検出部による移動の量と移動の速さの情報とを比較し、前記抽出部により抽出された人の画像が、登録された人の画像であるかどうかを判断する判断部と、前記判断部による判断の結果に前記判断がされた時刻を関連付けて記録する記録部と、前記記録部が記録した内容を、通信網を介して、閲覧可能とする閲覧可能化部とを有する撮影記録装置を提供する。

Description

撮影記録装置
　本発明は、撮影記録装置に関する。特に、離れた場所に居住する人を認識し、また、ネットワークを介して、見守るためなどのために用いる撮影記録装置に関する。
　核家族化、ライフスタイルの違い等を背景として、子供や親族と同居せずに高齢者のみで構成される世帯が増えている。このため、同居していない子供や親族は、手紙や電話などの通信手段を用いて、高齢者の安否を確認している。また、特許文献１などに示されるように、ネットワークカメラなどを用いて高齢者を監視するための監視システムや介護システムに係る技術が知られている。
特開２０１０－４００１７号公報 特開２０１０－１９８５０４号公報
　しかしながら、手紙や電話などの通信手段を用いる場合には、高齢者の現在の状況を知ることが困難である。例えば、高齢者が電話などに応答しない状況が続くと、高齢者の状況が不明となってしまう。また、特許文献１、２のようにネットワークカメラを用いると、確かに、リアルタイムに高齢者の状況を知ることが可能となるが、画像データの送受信量が膨大なものとなってしまう。
　また、人の顔を認識する技術は十分に実用化されたとは言えず、認識のためにはカメラに対して正対する必要があるなど、一般の家庭では利用が困難である。
　そこで、本発明の一実施形態として、人の画像を、登録された人の画像として、蓄積するとともにその人の平均的な移動の速さの情報を蓄積する情報蓄積部と、画像を撮影する画像撮影部と、前記画像撮影部により撮影された画像より人の画像を抽出する抽出部と、前記画像撮影部により撮影された画像より人の移動を検出する移動検出部と、前記抽出部により抽出された人の画像と前記情報蓄積部に蓄積されている人の画像とを比較し、また、前記移動検出部による移動の量と移動の速さの情報とを比較し、前記抽出部により抽出された人の画像が、登録された人の画像であるかどうかを判断する判断部と、前記判断部による判断の結果に前記判断がされた時刻を関連付けて記録する記録部と、前記記録部が記録した内容を閲覧可能とする閲覧可能化部とを有する撮影記録装置を提供する。
　また、判断部は、前記抽出部により抽出された人の画像が、登録された人の画像であると推定すると、前記人の一定時間後の位置を予測し、その位置に前記人が前記画像撮影部に撮影されていれば、登録された人の画像であると判断してもよい。
　また、判断部は、最初に前記画像撮影部により人が撮影されてから所定の時間内に登録された人の画像であると判断できなければ、その人を不審者と判断してもよい。
　本発明によれば、撮影された人の画像をそのまま閲覧可能とするのではなく、登録された人の画像などの情報と比較して判断した結果が閲覧可能となるので、通信量を削減することができる。これにより、例えば、緊急時などに通信の規制に遭う可能性を低くし、迅速な連絡が可能となる。
本発明の一実施形態に係るシステムの構成図 本発明の一実施形態に係る撮影記録装置の機能ブロック図 本発明の一実施形態に係る撮影記録装置の登録画像蓄積部に蓄積される情報の一例図 本発の一実施形態に係る映像記録装置により撮影された画像から人の画像を抽出する処理を説明する図 本発明の一実施形態に係る映像記録装置に記録され、閲覧可能とされる情報の一例図 本発明の一実施形態に係る映像記録装置の処理のフローチャート 本発明の一実施形態に係る映像記録装置の処理のフローチャート 本発明の一実施形態に係る撮影記録装置の機能ブロック図 本発の一実施形態に係る映像記録装置により撮影された画像から人の移動を検出する処理を説明する図 本発明の一実施形態に係る映像記録装置に記録され、閲覧可能とされる情報の一例図 本発明の一実施形態に係る撮影記録装置の機能ブロック図 本発明の一実施形態に係る撮影記録装置の機能ブロック図 本発明の一実施形態に係る撮影記録装置の機能ブロック図 本発明の一実施形態に係る撮影記録装置の機能ブロック図 本発明の一実施形態に係る情報蓄積部の蓄積する表データの一例図 本発明の一実施形態に係る情報蓄積部の蓄積する表データの一例図 本発明の一実施形態に係る撮影記録装置による移動予想位置の算出を説明する図 本発明の一実施形態に係る撮影記録装置の処理のフローチャート 本発明の一実施形態に係る撮影記録装置の処理のフローチャート 本発明の一実施形態に係るシステムの構成図
　以下、本発明を実施するための形態を、発明の概略およびいくつかの実施形態として説明する。なお、本発明は以下に説明する発明の概略および実施形態に限定して解釈されるべきではない。また、本発明は以下に説明する発明の概略および実施形態を種々に変形させて実施することが可能である。なお、図面において、同じまたは同様の機能を有する部分には同じ符号を割り当て、説明を省略する場合がある。
　（発明の概略）
　図１は、本発明の一実施形態に係る撮影記録装置を用いた見守りシステムの概略を示す。見守りシステム１００は、家屋などの施設１０１に設置された撮影記録装置１０２と、インターネットなどの通信ネットワーク１０３を介して接続される端末装置１０４とを有する。そして、撮影記録装置１０２は、施設１０１内に居る人１０５の画像を撮影し、その判断の結果などを端末装置１０４に閲覧可能に提供する。また、端末装置１０４より、撮影記録装置１０２が撮影した画像を閲覧することも可能である。閲覧される画像は、撮影記録装置１０２が撮影して蓄積した画像であってもよいし、現在の画像であってもよい。また、画像は静止画像であってもよいし、動画像であってもよい。また、音声が付随していてもよい。
　撮影記録装置１０２は、通信ネットワーク１０３に有線あるいは無線により接続される。例えば、施設１０１に引き込まれた光ファイバ回線や、施設１０１に配置され、通信ネットワーク１０３に直接または間接に接続されている無線ＬＡＮのアクセスポイントなどを用いて、撮影記録装置１０２がネットワーク１０３に接続される。あるいは、携帯電話用のデータ通信網を介して、撮影記録装置１０２が通信ネットワーク１０３に接続されていてもよい。なお、通信ネットワークを以下ではネットワークと略記する場合がある。
　端末装置１０４は、パーソナルコンピュータや、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｃｅ）やブラウザなどを備えた携帯電話などの携帯情報機器などである。端末装置１０４も、ネットワーク１０３に有線あるいは無線により接続される。例えば、端末装置１０４がパーソナルコンピュータやＰＤＡなどであれば、光ファイバ回線や無線ＬＡＮのアクセスポイントなどを介してネットワーク１０３に接続される。また、端末装置１０４が携帯電話などであれば、携帯電話用のデータ通信網を介して、端末装置１０４がネットワーク１０３に接続されてもよい。なお、端末装置１０４は、ネットワークなどを介さずに直接、撮影記録装置１０２に接続されていてもよい。
　本実施形態においては、撮影記録装置１０２には、施設１０１に居り撮影される可能性がある人の情報、例えば、人の画像、が蓄積される。そして、撮影記録装置１０２が画像を撮影する。例えば、一定の時間毎に撮影を行なったり、人が撮影領域に入ったことが赤外線センサ、重量センサ、ＲＦＩＤタグなどの人感センサを用いて検出されたときに撮影を行なったりする。また、部屋の中の電化製品の使用の開始が検出されると撮影が行なわれてもよい。
　撮影が行なわれると、撮影記録装置１０２は、撮影された画像から人の画像を抽出する。例えば、人の顔の部分の画像を取り出したり、人の着用している衣服の部分の画像を取り出したりする。そして、撮影記録装置１０２は、抽出された人の画像が、登録された人であるかどうかを、登録された人の画像などの情報と比較し、登録された人の画像であるかどうかを判断する。例えば、施設１０１に居住しているＡさんであるかどうかや、施設１０１を定期的に訪問する介護ヘルパーであるかどうかや、あるいは登録されていない人であるかどうかなどが判断される。
　撮影記録装置１０２は、判断を行なうと、判断の結果に時刻を関連付けて記録する。その後、端末装置１０４よりＨＴＴＰ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）などを用いて撮影記録装置１０２にアクセスが行なわれると、撮影記録装置１０２は、記録されている情報を端末装置１０４に提供する。これにより、端末装置１０４は、撮影記録装置１０２に記録されている一部または全ての情報を閲覧することができる。なお、特定の端末装置１０４からのアクセスを許可するために、撮影記録装置１０２は、アクセスを行なった端末装置１０４を認証するようになっていてもよい。認証の方法としては、ＩＤとパスワードとを組み合わせる方法や、電子証明書を用いる方法など任意の方法を用いることができる。
　なお、撮影記録装置１０２は、撮影された画像から抽出された画像の人が登録されていないと判断した場合であっても、撮影がされた人の動きを予測などして、登録されていないと判断されたが同じ人であることを認識しつつ追尾などを行ない、その後、登録された人であることが判明すると、撮影が開始された時刻に遡って、登録された人であることを記録するようになっていてもよい。なお、「登録されていないと判断されたが同じ人であることを認識しつつ」とは、その人が移動を行ない、柱などの障害物に隠れて撮影が中断し、その後に撮影が再開されるようになったときでも、別の人とは認識せずに、先に登録されていないと判断された人と同じ人であるとの処理を行なうことを意味する。
　また、撮影記録装置１０２は、撮影した画像を記録し、端末装置１０４に提供してもよい。一般に画像の情報は情報量が大きいので、撮影記録装置１０２の記憶領域を圧迫する場合があるので、もし記憶領域が圧迫された場合などには、最も過去に撮影した画像から削除を行なうように構成されていてもよい。
　また、人の移動の程度を計測し、移動の程度を統計処理などして、その人の運動機能の低下などが検出されるようになっていてもよい。また、撮影領域に居る時間、居ない時間との割合を統計処理などして、行動パターンが変化したことが検出されるようになっていてもよい。
　また、人の移動の平均の速さなどの情報を蓄積しておき、撮影された複数の画像から時間あたりの移動距離などを算出して誰であるかを判断あるいは推定を行ってもよい。
　（実施形態１）
　図２は、本発明の実施形態１に係る撮影記録装置の機能ブロック図を示す。撮影記録装置２００は、登録画像蓄積部２０１と、画像撮影部２０２と、抽出部２０３と、判断部２０４と、記録部２０５と、閲覧可能化部２０６とを有する。
　登録画像蓄積部２０１は、人の画像を、登録された人の画像として、蓄積する。例えば、人が撮影された画像を、不揮発性メモリなどに記憶することにより、蓄積する。また、登録画像蓄積部２０１は、蓄積された人の画像より、特徴量を抽出して記憶することを行なってもよい。例えば、人の画像より、その人の顔を認識するための情報を抽出してもよい。例えば、両目の感覚と鼻の最も盛り上がっている部分との位置関係を抽出してもよい。また、その人が着用している衣服の色を抽出してもよい。
　図３は、登録画像蓄積部２０１に蓄積される情報の一例を示す。例えば、人が撮影された画像情報として１２３４．ｊｐｅｇというファイルに格納された情報が、人物識別子００１と関連付けられる。また、９８７６．ｊｐｅｇというファイルに格納された情報が、人物識別子００２と関連付けられる。また、５６７８．ｊｐｅｇというファイルに格納された情報が、人物識別子００１と関連付けられる。このように、一つの人物識別子と関連付けられる画像情報は複数存在していてもよい。
　画像撮影部２０２は、画像を撮影する。上述したように、赤外線センサなどを用いて人が撮影領域に入ったことが検出されると画像撮影部２０２は、画像を撮影してもよいし、一定の時間になると画像を撮影してもよい。本発明において、画像撮影部２０２は、一つの画像を撮影することに限定されず、複数のＣＣＤ等の撮像素子などを用いて構成され、一度に複数の画像が撮影されるようになっていてもよい。また、複数の撮像素子などは異なる方向を向いていてもよいし、同じ方向を向いていてもよい。
　複数の撮像素子などが同じ方向を向いている場合、それぞれの撮像素子などは、撮影の特性が異なっていてもよい。例えば、撮影を行なう波長が異なっていてもよい。一つの撮像素子などは、赤外線で撮影を行ない、別の撮像素子などは、通常の可視光線で撮影を行なってもよい。これにより、昼のときでも、照明が消された夜などの間であっても常時撮影を行なうことが可能となる。
　また、通常の可視光線で撮影を行なう場合には、カラーで撮影を行なってもよいし、白黒で撮影を行なってもよい。また、撮影は静止画像で行なってもよいし、動画像で行なってもよい。
　抽出部２０３は、画像撮影部２０２により撮影された画像より人の画像を抽出する。すなわち、画像認識の技術を用いて、人の画像を抽出する。抽出される画像は、人の画像の一部であってもよい。例えば、肌色の部分を抽出することにより、人の肌の領域を検出し、その領域内の目や鼻、口の有無を検出し、人の顔の画像を抽出してもよい。また、動画像の撮影や複数回の静止画像の撮影を行なう場合には、画像の変化を検出し、変化した部分が人の動きであることを想定して抽出を行なってもよい。
　図４は、抽出部２０３の処理を説明するための図である。画像４０１が画像撮影部２０２により撮影されると、抽出部２０３は、例えば、画像４０１の肌色の部分を抽出し、その肌色の部分を含む領域を抽出する。肌色の部分は、撮影された人４０２の顔、手や足に対応するので、抽出部２０３は、肌色の部分を含む最小の矩形領域４０３を抽出してもよい。
　判断部２０４は、抽出部２０３により抽出された人の画像と登録画像蓄積部２０１に蓄積されている人の画像とを比較し、抽出部２０３により抽出された人の画像が、登録された人の画像であるかどうかを判断する。例えば、判断部２０４は、登録画像蓄積部２０１に蓄積されている人の抽出部２０３により抽出された人の画像を順次読み出し、抽出部２０３により抽出された人の画像と類似度の比較を行なう。類似度の一例としては、画像のピクセルの色の分布がどの程度似ているかを用いることができる。比較の結果、最も類似すると判断された人の画像に関連付けられている人物識別子を求める。また、順次読み出された人の画像のいずれとも抽出された人の画像との類似度が一定の閾値未満であれば、登録されていない人であると判断してもよい。
　記録部２０５は、判断部２０４による判断の結果に、その判断がされた時刻を関連付けて記録する。例えば、不揮発性メモリに、表形式で記録する。また、記録部２０５は、画像撮影部２０２により撮影された画像、抽出部２０３により抽出された人の画像を、判断部２０４による判断の結果にさらに関連付けて記録してもよい。
　図５は、記録部２０５が記録する情報の一例を示す。例えば、人物識別子００２を有する人の画像が、抽出部２０３により抽出されたと判断部２０４に判断された時刻が２０１１年７月３日１０時５分であることが示されている。また、２０１１年７月３日１０時３４分に、登録されていないと判断された人の存在が記録されたことが図５に示されている。
　閲覧可能化部２０６は、記録部２０５が記録した内容を、ネットワーク１０３を介して、閲覧可能とする。例えば、端末装置１０４からの閲覧要求を受信し、記録部２０５に記録された情報を送信する。
　また、記録部２０５が、画像撮影部２０２により撮影された画像、抽出部２０３により抽出された人の画像を、判断部２０４による判断の結果にさらに関連付けて記録する場合には、画像撮影部２０２により撮影された画像や抽出部２０３により抽出された人の画像を閲覧可能としてもよい。また、現在の画像撮影部２０２により撮影されている画像を閲覧可能としてもよい。これにより、撮影が行なわれた時の状況や現在の状況を知ることが可能となる。
　図６Ａは、本実施形態に係る撮影記録装置の処理を説明するフローチャートである。ステップＳ６０１において、画像撮影部２０２により撮影が行なわれたかどうかを判断する。例えば、画像撮影部２０２を構成する撮像素子などから画像信号が受信されたかどうかを判断する。もし、画像が撮影されれば、ステップＳ６０２に処理を移行させ、撮影された画像より、抽出部２０３により人の画像を抽出する。次に、抽出された画像を判断部２０４に転送し、ステップＳ６０３において、登録画像蓄積部２０１に蓄積されている人の画像と比較を行ない、ステップＳ６０４において、人物識別子を決定する。そして、ステップＳ６０５において、時刻を関連付けて記録部２０５に記録する。その後、端末装置１０４より、閲覧の要求があれば、記録部２０５に記録された情報を送信し、閲覧可能とする。
　図６Ｂは、ステップＳ６０４において人物識別子を決定する処理をより詳細に説明するフローチャートである。図６Ｂのフローチャートの処理を実行する前提として、図６ＡのステップＳ６０３において、ステップＳ６０２の処理により抽出された画像と登録画像蓄積部２０１に蓄積されている人の画像とを比較した結果として、人物識別子毎に類似度が算出されるとする。類似度は、抽出された画像と登録画像蓄積部２０１に蓄積されている人の画像とがどの程度似ているかを示す指標である。以下では、抽出された画像と登録画像蓄積部２０１に蓄積されている人の画像と類似していれば大きな値となるとする。また、人物識別子に対して複数の画像が登録画像蓄積部２０１に蓄積されている場合には、抽出された画像と登録画像蓄積部２０１に蓄積されている複数の画像それぞれとを比較し、類似度の最大値を求めたり、あるいは、平均値を求めたりする。
　ステップＳ６０４１において、類似度が第１の閾値を越える人物識別子を特定する。すなわち、複数の人物識別子が存在する場合には、抽出された画像と登録画像蓄積部２０１に蓄積されているそれぞれの人物識別子の画像とを比較して、人物識別子別の類似度を求め、類似度が第１の閾値を越える人物識別子を特定する。ステップＳ６０４１で特定された人物識別子を、以下ではＡとして表す。もし、類似度が第１の閾値を越える人物識別子が複数存在する場合には、最も大きな類似度の人物識別子を特定する。もし、複数の人物識別子に対して類似度が同じであれば、図６Ａのフローチャートを前回実行した際のステップＳ６０１で撮影されたときの位置関係から人物識別子を特定してもよい。類似度が第１の閾値を越える人物識別子が複数存在する場合には、特定不可能であるとして判断してもよい。なお、特定不可能である場合を示すために、ｕｎｋｎｏｗｎという人物識別子を以下用いる。
　ステップＳ６０４２の処理として、Ａ以外の人物識別子の中に類似度が第２の閾値を越える人物識別子があるかどうかを判断する。第２の閾値は、第１の閾値よりも小さい値であることが好ましい。また、もしＡ以外の人物識別子の中に類似度が第２の閾値を越える人物識別子が複数ある場合には、最も大きな類似度の人物識別子を特定する。ステップＳ６０４２で特定された人物識別子を、以下ではＢとして表す。なお、複数の人物識別子に対して類似度が同じで有れば、それらの人物識別子からいずれか一つを選択する。例えば、ランダムに一つ選択する。
　もし、ステップＳ６０４２の処理の結果、Ａ以外の人物識別子の中に類似度が第２の閾値を越える人物識別子が無ければ、ステップＳ６０４３へ処理を移行させ、ステップＳ６０４において決定する人物識別子をＡに決定する。
　もし、ステップＳ６０４２の処理の結果、Ａ以外の人物識別子の中に類似度が第２の閾値を越える人物識別子Ｂがあれば、ステップＳ６０４４へ処理を移行させ、Ａの類似度とＢの類似度との差が第３の閾値を越えるかどうかを判断する。もし、差が第３の閾値を越えなければ、ステップＳ６０４において決定する人物識別子をｕｎｋｎｏｗｎに決定する。
　Ａの類似度とＢの類似度との差が第３の閾値を越える場合には、ステップＳ６０４６へ処理を移行させ、ステップＳ６０４において決定する人物識別子をＡに決定する。
　なお、ステップＳ６０４の処理の結果、人物識別子がｕｎｋｎｏｗｎに決定された場合には、ステップＳ６０５の実行を直ちに行なわなくてもよい。すなわち、ステップＳ６０４の処理の結果、人物識別子がｕｎｋｎｏｗｎに決定された場合には、図６ＡのフローチャートのステップＳ６０１からステップＳ６０４までの処理を所定の回数実行し、各回において人物識別子がｕｎｋｎｏｗｎに決定された場合に、ステップＳ６０５を実行して、ｕｎｋｎｏｗｎに時刻を関連付けて記録部２０５に記録してもよい。例えば、ステップＳ６０４の処理の結果、人物識別子がｕｎｋｎｏｗｎに決定された場合には、ステップＳ６０１からステップＳ６０４までの処理を1秒間隔で１０回繰り返して実行し、１０回全てにおいて、人物識別子がｕｎｋｎｏｗｎに決定された場合に、ステップＳ６０５を実行する。これは、直ちに人物識別子が特定できなくても、人が移動や向きを変えることにより、人物識別子が特定できる場合があるので、それを待って記録を行なうためである。これにより、無駄な情報の記録を抑制することができる。
　なお、ステップＳ６０４の処理の結果、人物識別子がｕｎｋｎｏｗｎに決定され、図６ＡのフローチャートのステップＳ６０１からステップＳ６０４までの処理を所定の回数実行し終えないうちに、人が撮影されなくなった場合には、ｕｎｋｎｏｗｎに時刻を関連付けて記録部２０５に記録するのが好ましい。これは、撮影されなくなったということは、不法に侵入した者が、撮影されたことに気付いて姿をくらませた可能性が高いからである。このような場合には、不法侵入があった可能性が高いので、記録を行なうのが好ましい。
　例えば、ステップＳ６０２の処理により抽出された画像と人物識別子αについて登録画像蓄積部２０１に蓄積されている画像との類似度（「αの類似度」と略記する。β、γについても同様である。）が８０、βの類似度が７０、γの類似度が５０であったとする。また、第１の閾値が７５、第２の閾値が６５、第３の閾値が２０であるとする。この場合、図６Ｂのフローチャートを実行すれば、ステップＳ６０４１により、Ａがαに特定され、ステップＳ６０４２により、Ｂがβに特定される。ステップＳ６０４４により、αの類似度とβの類似度との差が２０であり、第３の閾値を越えないので、ｕｎｋｎｏｗｎに決定される。
　このように、３つの閾値を用いて人物識別子を決定することにより、似た人が検出された場合でも、確実な人物識別子に決定を行なうことができる。これは、一つの家庭内に親子や兄弟が一緒に住む場合には、親子や兄弟は互いに似ているので、誤った決定を防止することができる。
　本実施形態に係る撮影記録装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などを用いた計算機によって構成することができる。例えば、登録画像蓄積部２０１および記録部２０５は、計算機の不揮発性メモリ（ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）やＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ））を用いて構成することができる。画像撮影部２０２は、ＣＰＵにバスを介して接続された撮像素子を用いて構成することができる。抽出部２０３や判断部２０４は、図６Ａのフローチャートを実現するプログラムをＣＰＵに実行させることにより実現できる。また、閲覧可能化部２０６は、ＣＰＵにバスを介して接続されたネットワークインターフェースと送受信を行なうウェブサーバを実現するプログラムをＣＰＵに実行させることにより実現できる。
　なお、本実施形態に係る撮影記録装置２００は、計算機とプログラムとを用いて実現するほかに、専用のＬＳＩなどを組み合わせてハードウェアのみとして実現することもできる。
　本実施形態によれば、撮影された人の画像をそのまま閲覧可能とするのではなく、登録された人の情報と比較して判断した結果が閲覧可能となるので、通信量を削減することなどが可能となる。また、判断部２０４の判断の結果に時刻を関連付けて記録されるので、同じ状態が続く場合の情報の閲覧をスキップすることが可能となる。
　（実施形態２）
　本発明の実施形態２として、撮影された人の画像により、人の移動を検出する撮影記録装置について説明する。
　図７は、本実施形態に係る撮影記録装置の機能ブロック図を示す。撮影記録装置７００は、実施形態１に係る撮影記録装置の構成と同様に、登録画像蓄積部２０１と、画像撮影部２０２と、抽出部２０３と、判断部２０４と、記録部２０５と、閲覧可能化部２０６とを有する。本実施形態においては、抽出部２０３は、移動検出部７０１を有する。
　移動検出部７０１は、画像撮影部２０２により撮影された人の画像より、その人の移動を検出する。例えば、移動検出部７０１は、画像撮影部２０２が異なる時間に撮影した画像間で変化した部分を検出し、その変化から人の移動を検出する。あるいは、抽出部２０３が人の画像を抽出したときの画像内の位置の変化に基づいて、人の移動を検出してもよい。
　図８は、移動検出部７０１による人の移動の検出を説明する図である。画像８０１と画像８０４とが、画像撮影部２０２により異なる時間に撮影された画像であるとする。もし、画像撮影部２０２が動画像を撮影している場合には、画像８０１と画像８０４とは、異なるフレームにおける画像であるとする。この場合、抽出部２０３は、画像８０１より人８０２の画像８０３を抽出する。また、抽出部２０３は、画像８０４より人８０５の画像８０６を抽出する。そして、画像８０３の画像８０１に対する相対的位置と画像８０６の画像８０４に対する相対的位置とを比較して、人８０２、８０５の移動を検出する。なお、人８０２と人８０５とが同じ人であるかどうかを判断部２０４に判断させてもよい。あるいは、画像８０３と画像８０６との相対的位置の変化が所定の閾値以下であれば、人８０２と人８０５とが同じ人であると判断してもよい。
　記録部２０５は、移動検出部により検出された移動の検出結果を判断部２０４の判断の結果に関連付けて記録する。例えば、図５に示す表に、移動の有無を示す列を付加した表に、移動検出部により検出された移動の検出結果を記録する。例えば、図９として示す表のように、記録部２０５は、図５に示す表に、移動の開始が検出された時刻と移動の終了が検出された時刻とを格納する列を追加した表に記録を行なってもよい。図９において、第１行に、人物識別子として００２を持つ人が、２０１１年７月３日１０時３分から移動を開始し、同日１０時１５分に移動を終了したことが記録され、第２行に、人物識別子として００１を持つ人が２０１１年７月３日１０時９分から移動を開始し、移動を継続していることが記録され、第３行に、人物識別子を判断することができなかった人が２０１１年７月３日１０時３４分から１０時５０分まで移動していたことが記録される。
　また、移動検出部７０１の検出した移動の量、方向を外挿などすることにより、人の移動を予測することができる。これにより、人が移動して物陰などに一時的に隠れてその後に物陰から出てきたとしても、判断部２０４における判断を行うことなく、同一人物であることを検出することが可能となる。
　なお、２０１１年７月３日１０時３４分から１０時５０分まで移動していた人の人物識別子がその後にｕｎｋｎｏｗｎ意外に決定すれば、表９の第３行の人物識別子をｕｎｋｎｏｗｎから、決定した人物識別子に変更してもよい。このことは、発明の概略として述べた「撮影された画像から抽出された画像の人が登録されていないと判断した場合であっても、撮影がされた人の動きを予測などして、登録されていないと判断されたが同じ人であることを認識しつつ追尾などを行ない、その後、登録された人であることが判明すると、その人の撮影が開始された時刻に遡って、登録された人であることを記録する」に対応する。
　移動の検出結果としては、撮影される画像内の位置から、撮影される領域の座標をあらかじめ算出しておき、画像内での相対的位置の変化から移動の量の大きさを算出してもよい。また、画像８０１が撮影された時間と画像８０４が撮影された時間との時間差を算出し移動の量を除すことにより得られる移動の速さを記録してもよい。
　判断部２０４が、登録された人であるかどうかを判断する場合には、移動の速さを用いてもよい。例えば、登録された人が乳児や高齢者であれば、移動の速さが小さいと予測されるので、移動の速さが所定の値未満であれば、登録された人のうち、乳児または高齢者であると判断してもよい。
　また、本実施形態において、記録部２０５が、移動の量が所定以上であれば、移動検出部７０１により検出された移動の検出結果を判断部２０４の判断部による判断の結果に関連付けて記録してもよい。例えば、人が突然倒れるなどした場合の移動の量を所定量として記録部２０５などに設定しておけば、誰がいつ倒れたかを記録することができる。これにより、例えば脳卒中などで人が倒れた場合の処置を行うための情報を得ることが可能となる。
　本実施形態により、移動の検出結果が記録されるので、大きな移動が発生したことを遠隔地より知ることができる。
　（実施形態３）
　本発明の実施形態３として、記録部２０５が記録した情報を定期的に送信する撮影記録装置について説明する。
　図１０は、本実施形態に係る撮影記録装置の機能ブロック図を示す。撮影記録装置１０００は、実施形態１または２に係る撮影記録装置の構成と同様に、登録画像蓄積部２０１と、画像撮影部２０２と、抽出部２０３と、判断部２０４と、記録部２０５と、閲覧可能化部２０６とを有する。本実施形態においては、閲覧可能化部２０６は、送信部１００１を有する。
　送信部１００１は、記録部２０５が記録した内容を定期的に送信する。送信は、例えば、ＳＭＴＰ（Ｓｉｍｐｌｅ　Ｍａｉｌ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）を用いて、電子メールによって行ってもよい。また、電子メールに限らず、所謂Ｐｕｓｈ送信の形態であればどのようなプロトコルが用いられてもよい。また、送信部１００１の送信先は、送信部１００１にあらかじめ設定された送信先、例えば端末装置１０４の使用者の電子メールアドレス、である。
　送信される内容は、例えば、前回に送信された内容との差分であってもよい。例えば、前回の送信時以降に、記録部２０５が記録した情報となっていてもよく、新たに撮影された人の人物識別子と判断部２０４により判断された時間とが送信されてもよい。
　また、抽出部２０３が移動検出部７０１を有する場合には、送信部１００１は、移動検出部７０１により検出された移動の量が所定の以上であれば、送信を行ってもよい。これにより、大きな動きが検出された場合には、異常な事態が発生した場合が多いので、異常の発生を迅速に伝達することができる。
　本実施形態によれば、送信部により、記録された内容が送信されるので、端末装置の使用者が、撮影記録装置に送信要求を送信しなくても、記録された内容を得ることができる。
　（実施形態４）
　本発明の実施形態４として、統計処理を行う撮影記録装置について説明する。
　図１１は、本実施形態に係る撮影記録装置の機能ブロック図を示す。撮影記録装置１１００は、実施形態１から３のいずれかに係る撮影記録装置の構成と同様に、登録画像蓄積部２０１と、画像撮影部２０２と、抽出部２０３と、判断部２０４と、記録部２０５と、閲覧可能化部２０６とを有する。本実施形態においては、閲覧可能化部２０６は、統計処理部１１０１を有する。
　統計処理部１１０１は、記録部２０５が記録した内容の統計処理を行う。例えば、人物識別子ごとに、記録部２０５に記録した回数を算出する。あるいは、抽出部２０３が移動検出部７０１を有する場合には、移動の量や速さの毎日の移動平均を算出する。特に移動の速さの移動平均を算出する場合には、高齢者の体力の低下などを容易に検出することが可能となる。
　統計処理部１１０１の統計処理により得ることができる数値としては、人物識別子ごとに、移動を行なっている時間の割合がある。例えば、ある人が撮影されている一時間に歩くなどして移動を行なっている時間が１５分、同じ場所に留まっている時間が４５分などの数値を得ることができ、また、移動の割合として０．２５という値を得ることができる。また、移動の速さを記録することにより、所定の期間における速さの最大値を求得ることができる。また、所定の時間において、特定の動作（例えば、手を前後させるなど）の回数を検出することができる。
　以上のような数値を得ることにより、例えば、移動の割合、移動の速さの最大値、特定の動作を行なった回数などを記録することができ、これらの数値の一日ごとのの変化を検出することができる。また、一週間ごと、一月ごと、季節ごとの変化も検出することができる。例えば、これらの期間における平均、標準偏差、中間値、最多出現値を求め、異常を検出することができる。例えば、平均からの差の絶対値が、標準偏差の３倍を超えることで異常と判断することができる。
　（実施形態５）
　本発明の実施形態５として、撮影された画像を記録する撮影記録装置について説明する。
　以上において説明した実施形態において、記録部２０５は、判断部２０４による判断の結果に、画像撮影部２０２により撮影された画像を記録してもよい。この場合、画像撮影部２０２により撮影された画像を、撮影記録装置の外部のサーバなどに記録し、外部のサーバなどに記録された画像のＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）などの識別子を、判断部２０４による判断の結果に関連づけて記録してもよい。
　本実施形態においては、記録部２０５には、判断部２０４の判断の結果にその判断がされた時刻を関連付けて記録されている。したがって、もし、画像が記録され記憶領域の使用量が所定の量を越えた場合には、記録部２０５に記録されている時刻を用いて、過去に記録された画像から削除をすることもできる。これにより、記憶領域を効率的に使用することができる。
　また、登録画像蓄積部２０１に新たな人の画像が蓄積された場合、その人の画像と記録部２０５に記録された画像とを比較することにより、その人の画像が記録部２０５に記録されていれば、記録部２０５に記録されている人物識別子を更新するようになっていてもよい。すなわち、判断部２０４による判断の結果が登録された人の画像でないと判断されて記録部２０５に記録された人の画像が、その後、判断部２０４による判断の結果が登録された人の画像であると判断されると、記録部２０５は、その人の画像に関連付けて記録されている判断部２０４による判断の結果を更新するようになっていてもよい。
　また、記録部２０５は、記録を行なう都度、画像撮影部２０２により撮影された画像を記録する必要はなく、記録するかどうかを設定可能となっていてもよい。図１２は、この場合の撮影記録装置の機能ブロック図を示す。撮影記録装置１２００は、以上において説明した撮影記録装置の構成と同様に、登録画像蓄積部２０１と、画像撮影部２０２と、抽出部２０３と、判断部２０４と、記録部２０５と、閲覧可能化部２０６とを有し、さらに、記録設定部１２０１を有する。本実施形態では、閲覧可能化部２０６は、記録部２０５に記録された画像も閲覧可能とする。例えば、端末装置１０４の利用者が閲覧可能化部２０６により表示された画面の所定の位置をクリックすることにより、画像が表示され閲覧できるようになる。
　記録設定部１２０１は、記録部２０５が、画像撮影部２０２により撮影された画像を、判断部２０４による判断の結果に関連付けて記録するかどうかを設定する。例えば、記録設定部１２０１は、記録するかどうかを設定し、「記録する」が設定されている間のみ、記録部２０５は、画像撮影部２０２により撮影された画像を、判断部２０４による判断の結果に関連付けて記録する。記録するかどうかは、例えば、時間により変化させることができる。これにより、画像撮影部２０２により撮影される人のプライバシーなどの理由で画像を記録しないことが望ましい時間帯を指定することができる。また、判断部２０４が特定の人を判断した場合にのみ、記録部２０５が、画像撮影部２０２により撮影された画像を、判断部２０４による判断の結果に関連付けて記録するようになっていてもよい。また、抽出部２０３が移動検出部７０１を有する場合には、検出される移動の量、速さなどに応じて、記録するかどうかの設定を行なうようになっていてもよい。
　本実施形態においては、撮影された画像が記録されるので、遠隔地より画像を閲覧することが可能となる。また、登録画像蓄積部２０１に画像が蓄積されていない人が撮影された場合に、端末装置１０４などからの操作により、記録された画像を、登録画像蓄積部２０１に蓄積することができる。
　（実施形態６）
　本発明の実施形態６として、人の画像に加えて人の移動に関する情報を用いて人を認識する形態について説明する。
　図１３は、本実施形態に係る撮影記録装置の機能ブロック図を示す。撮影記録装置１３００は、情報蓄積部１３０１と、画像撮影部２０２と、抽出部２０３と、判断部２０４と、記録部２０５と、閲覧可能化部２０６と、移動検出部７０１と、を有している。したがって、本実施形態に係る撮影記録装置は、実施形態２に係る撮影記録装置の登録画像蓄積部２０１が情報蓄積部１３０１に置換された構成となっていると考えることもできる。また、他の実施形態のように画像閲覧可能化部２０６が送信部１００１を有していたり、統計処理部１１０１を有していたりしてもよい。また、撮影記録装置１３００は記録設定部１２０１を有していてもよい。
　情報蓄積部１３０１は、認識する人に関する情報を蓄積する。本実施形態では、他の実施形態における登録画像蓄積部２０１と同様に人の画像を登録された人の画像として蓄積するとともに、人の移動に関する情報を蓄積する。人の移動に関する情報とは、人の移動の俊敏さを表す情報である。例えば、人が移動する際の平均的な移動の速さである。通常、人が移動する際の平均的な移動の速さのみによって人を認識することには困難性があると考えられる。しかし、本実施形態に係る撮影記録装置は、主に家庭などの施設内に設置され、施設内に居住する人の数は少なく（例えば１人から５人程度）、また、年齢にばらつきがあるので、人が移動する際の平均的な移動の速さを用いてある程度の認識が可能である。
　図１４は、人の移動に関する情報を「移動情報」という列に格納して、人物識別子と関連付けて格納する表データの一例を示す。例えば、人物識別子が００１の人の平均的な移動の速さは５０ｍ／秒として蓄積され、人物識別子が００２の人の平均的な移動の速さは３０ｍ／秒として蓄積されている。
　図１５は、判断部２０４において、人の撮影が行われ登録された人であるかどうかを判断するために、用いられる表データの一例を示す。判断部２０４は、他の実施形態におけるのと同様の処理を行い、登録された人の人物識別子を決定しようとする。その際、画像のみにより人物識別子を確定的に決定するには困難な場合があるので、撮影された人に被認識者ＩＤを付与し、人物識別子とその人物識別子が決定あるいは推定された時刻を図１５の表に格納する。また、決定あるいは推定された人物識別子を用いて図１４の表データを参照し、その人の平均的な移動の速さを求め、一定時間後の位置を予想し、その位置情報を移動予想位置という列に格納する。
　図１６は、移動予想位置の列に格納される位置情報の算出について説明する図である。撮影された人の現在位置が位置１６０１であるとすると、この位置１６０１を中心にして、平均的な移動の速さに一定時間後の経過時間を乗じて得られる距離１６０２を半径する円を求めることにより、その人が一定時間後に居ると予想される位置を求めることができる。ただし、現実には、人の動きの速さは必ずしも平均的な移動の速さとは限らないので、一定の幅を持った領域１６０３が得られる。領域１６０３は、ある扇形から半径の小さな扇形を除いた形状となっている。これは、人の撮影により、人の向きを推測することにより、移動方向が推測されるので、移動予想位置の形状が扇形に基づく形状となるからである。扇形の中心角は、画像撮影部２０２により撮影された画像から判断される人の向きの確からしさに応じて変更することができる。
　一定時間後に画像撮影部２０２による撮影が行われると、移動予想位置に人がいるかどうかを検出し、その位置に人が検出されれば、人物識別子を再度推定するようにし、同じ人物識別子が得られれば、人物識別子の推定の確からしさの程度を上げることができる。また、移動予想位置に人が検出されなければ、人物識別子の推定の確からしさの程度を下げたり、人物識別子の推定は誤りであったと判断したりすることができる。この結果、不審人物の存在を推定することができる。
　また、移動方向を推測し、一定時間後の移動予想位置を求めた場合、その移動予想位置と画像撮影部２０２との間に障害物が存在すると判断される場合には、その人が障害物を通過して再度撮影ができるようになる時間を予測してもよい。そして、予測された時間に撮影を行い、その人が障害物を通過したかどうかを検出して、画像からの人物識別子の推定を補完してもよい。
　図１７と図１８は、本実施形態に係る撮影記録装置の処理のフローチャートを示す。図１７は、新たに人が画像撮影部２０２により撮影された場合の処理のフローチャートである。ステップＳ１７０１の処理として、被認識者ＩＤを、新たに撮影された人のＩＤを割り当てる。ステップＳ１７０２の処理として、判断部２０４により、人物識別子を推定する。ステップＳ１７０３の処理として、推定された人物識別子を用いて図１４の表データなどを参照して移動情報を求め、移動予想位置を求める。なお、人物識別子が推定できなければ、人物識別子をｕｎｋｎｏｗｎとし、移動予想位置は不定としてもよい。以上の処理により割り当てられた被認識者ＩＤ、人物識別子および移動予想位置を図１５の表データに格納し、現在の時刻を「推定時」の列に格納する。
　図１８は、図１５の表データに格納されている被認識者についての順に処理を行う際のフローチャートである。ステップＳ１８０１の処理として、次の被認識者ＩＤがあるかどうかを判断する。次の被認識者ＩＤがなければ全ての被認識者について処理を行ったので、フローチャートの処理を終了する。次の被認識者ＩＤがあれば、ステップＳ１８０２に処理を移行させ、移動予想位置の範囲内に人がいるかどうかを判断する。もし、人がいなければ人物識別子の推定が正しくなかったとして、ステップＳ１８０３に処理を移行させて被認識者ＩＤを削除し、ステップＳ１８０１に戻る。なお、移動予想位置が不定であれば、ステップＳ１８０２の処理を行わずにステップＳ１８０１からステップＳ１８０４に移行してもよい。
　ステップＳ１８０２の処理において、移動予想位置内に人がいれば、ステップＳ１８０４へ処理を移行させ、同じ人物識別子の人が「推定時」の列の値の時刻から一定時間以上いるかどうかを判断し、一定時間以上経過していれば、人物識別子を確定し、記録部２０５に記録する。一定時間以上経過していなければ、ステップＳ１８０１へ戻る。なお、移動予想位置が不定であれば、前に撮影された画像と現在の画像とから移動速度を求めることもできる。
　図１８のフローチャートの処理が一回終われば、各被認識者ＩＤの移動予想位置を更新する。
　図１７と図１８のフローチャートに対しては、種々の変形を行うことができる。例えば、ステップＳ１８０２とＳ１８０３との処理において、移動予想位置内に人がいなければ被認識者ＩＤを削除するが、例えば、人物識別子の確からしさを下げるようにし、一定の値を下回った際に削除するようにしてもよい。また、ステップＳ１８０２において人が移動せず、しかも一定以上の時間が経過していれば、異常事態が発生したとして記録部２０５にその旨を記録したり、所定の電子メールアドレスに電子メールを送信したりしてもよい。また、時間に応じて、記録部２０５にその旨を記録したり、所定の電子メールアドレスに電子メールを送信したりすることを省略してもよい。例えば、夜間であれば、睡眠を取っていると判断されることが多いので、異常事態であると判断する必要はない。
　（実施形態７）
　「抽出部」、「登録画像蓄積部（情報蓄積部）」、「判断部」、「記録部」及び「閲覧可能部」の全て又は一部をインターネットと接続されたサーバに備える形態も可能である。すなわち、いわゆるクラウド化が可能である。
　図１９は、画像撮影装置１９０１と、画像装置１９０１から画像を受信するサーバ１９０３と、を備えるシステムの機能ブロック図を示す。画像撮影装置１９０１とサーバ１９０３とは、ネットワーク１９０４を介して接続される。画像撮影装置１９０１は、家屋などの施設１０１に設置され、サーバ１９０３は、データセンターなど、施設１０１から離れた場所に設置することができる。画像撮影装置１９０１が例えば施設１０１内の画像を撮影すると、ネットワーク１９０４を介して画像がサーバ１９０３に送信される。サーバ１９０３は、受信した画像に対して、実施形態１－６により説明したように抽出部２０３、登録画像蓄積部２０１、判断部２０４、記録部２０５及び閲覧可能化部２０６を動作させて、処理を行う。
　すなわち、本実施形態は、実施形態１－６において、撮影記録装置の撮影部を画像撮影装置１９０１として施設１０１に設置し、撮影記録装置の他の部を施設１０１から離れた場所に設置した形態ということもできる。
　図１９では、抽出部２０３、登録画像蓄積部２０１、判断部２０４、記録部２０５及び閲覧可能下部２０６がサーバ１９０３に備えられているが、これらを複数のサーバに分散させて備えることも可能である。
　このような構成により、「画像撮影部」を有する端末装置（ネットワークカメラ等）の機能を絞りこむことができ、小型化・軽量化・低コスト化が期待できる。また、機能が端末装置側に分散させることなく、サーバ側に集約できるので、「閲覧可能化部」の機能拡張も容易になることが期待できる。これにより、撮像記録装置の設置場所と管理者とが異なった場所に居ることができる。例えば、詳細な知識を有しない老人などの家に撮像記録装置を設置しても、外部から管理することができる。したがって、ユーザビリティの向上が期待できる。
　（実施形態８）
　本発明は、撮影された画像以外を利用して実施することも可能である。実施形態１－７において、さらに、生活にかかわる情報をセンシングして、それにより行動を予測することが可能である。ここに、生活にかかわる情報とは、屋内の温度や湿度、照度、電力に関する情報である。このような生活にかかわる情報は、画像撮影記録装置や画像撮影装置とともに施設１０１に設置されたセンサによって収集することができる。収集された情報は、画像撮影記録装置内で処理がされたり、サーバに送信されてサーバ内で処理がされたりする。
　このような処理により、異常事態が発生したことを検出したり、異常事態が発生することを予測したりすることができる。例えば、夜間に照度が継続的に高い場合には、照明を消し忘れたことあるいは異常事態が発生したことが推測できる。テレビの消費電力が放送時間外でも大きい場合にも同様である。夏季において温度や湿度が高い状態が係属している場合にも異常事態が発生したこと、あるいは、異常事態が発生することが推測させる。このように、生活にかかわる情報と連携することにより、さらに精度の高い推測が可能である。
　２００　撮影記録装置、２０１　登録画像蓄積部、２０２　画像撮影部、２０３　抽出部、２０４　判断部、２０５　記録部、２０６　閲覧部

Claims (13)

  1. 　人の画像を、登録された人の画像として、蓄積するとともにその人の平均的な移動の速さの情報を蓄積する情報蓄積部と、
    　画像を撮影する画像撮影部と、
    　前記画像撮影部により撮影された画像より人の画像を抽出する抽出部と、
    　前記画像撮影部により撮影された画像より人の移動を検出する移動検出部と、
    　前記抽出部により抽出された人の画像と前記情報蓄積部に蓄積されている人の画像とを比較し、また、前記移動検出部による移動の量と移動の速さの情報とを比較し、前記抽出部により抽出された人の画像が、登録された人の画像であるかどうかを判断する判断部と、
    　前記判断部による判断の結果に前記判断がされた時刻を関連付けて記録する記録部と、
    　前記記録部が記録した内容を閲覧可能とする閲覧可能化部と
    を有する撮影記録装置。
  2. 　前記判断部は、前記抽出部により抽出された人の画像が、登録された人の画像であると推定すると、前記人の一定時間後の位置を予測し、その位置に前記人が前記画像撮影部に撮影されていれば、登録された人の画像であると判断することを特徴とする請求項１に記載の撮影記録装置。
  3. 　前記判断部は、最初に前記画像撮影部により人が撮影されてから所定の時間内に登録された人の画像であると判断できなければ、その人を不審者と判断することを特徴とする請求項１または２に記載の撮影記録装置。
  4. 　前記閲覧可能化部は、前記記録部が記録した内容を定期的に電子メールとして送信する送信部を有する請求項１から３のいずれかに記載の撮影記録装置。
  5. 　前記閲覧可能化部は、前記記録部が記録した内容の統計処理を行なう統計処理部を有し、前記統計処理部の統計処理の結果を閲覧可能とする請求項１から４のいずれかに記載の撮影記録装置。
  6. 　前記記録部は、前記画像撮影部により撮影された画像を前記判断部による判断の結果に関連付けて記録する請求項１から５のいずれかに記載の撮影記録装置。
  7. 　前記判断部による判断の結果が登録された人の画像でないと判断された前記記録部に記録された人の画像が、その後、前記判断部による判断の結果が登録された人の画像であると判断されると、前記記録部は、前記人の画像に関連付けて記録されている前記判断部による判断の結果を更新する請求項６に記載の撮影記録装置。
  8. 　前記記録部が前記画像撮影部により撮影された画像を前記判断部による判断の結果に関連付けて記録するかどうかを設定する記録設定部を有する請求項６に記載の撮影記録装置。
  9. 　前記記録部は、記録容量が不足した場合、最も過去に記録した内容を削除する請求項１から８のいずれかに記載の撮影記録装置。
  10. 　前記画像撮影部は、赤外線画像、白黒画像およびカラー画像のいずれか一以上を撮影する請求項１から９のいずれかに記載の撮影記録装置。
  11. 　人の画像を、登録された人の画像として、蓄積するとともにその人の平均的な移動の速さの情報を蓄積する情報蓄積部と、
    　ネットワークを介して画像撮影装置により受信された画像より人の画像を抽出する抽出部と、
    　前記ネットワークを介して前記画像撮影装置により受信された画像より人の移動を検出する移動検出部と、
    　前記抽出部により抽出された人の画像と前記情報蓄積部に蓄積されている人の画像とを比較し、また、前記移動検出部による移動の量と移動の速さの情報とを比較し、前記抽出部により抽出された人の画像が、登録された人の画像であるかどうかを判断する判断部と、
    　前記判断部による判断の結果に前記判断がされた時刻を関連付けて記録する記録部と、
    　前記記録部が記録した内容を閲覧可能とする閲覧可能化部と
    を有するサーバ。
  12. 　人の画像を、登録された人の画像として、蓄積するとともにその人の平均的な移動の速さの情報を蓄積し、
    　ネットワークを介して画像撮影装置により受信された画像より人の画像を抽出し、
    　前記ネットワークを介して前記画像撮影装置により受信された画像より人の移動を検出し、
    　前記抽出された人の画像と、人の画像を、登録された人の画像として、蓄積するとともにその人の平均的な移動の速さの情報を前記蓄積されている人の画像とを比較し、また、前記検出された移動の量と移動の速さの情報とを比較し、前記抽出された人の画像が、登録された人の画像であるかどうかを判断し、
    　前記判断の結果に前記判断がされた時刻を関連付けて記録し、
    　前記記録内容を閲覧可能とする画像撮影方法。
  13. 　前記画像撮影装置が設置されたセンサより情報を受信し、前記判断の結果とともに前記判断がされた時刻を関連付けて記録する請求項１２に記載の画像撮影方法。
PCT/JP2012/078465 2011-11-09 2012-11-02 撮影記録装置 WO2013069565A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-245501 2011-11-09
JP2011245501 2011-11-09

Publications (1)

Publication Number Publication Date
WO2013069565A1 true WO2013069565A1 (ja) 2013-05-16

Family

ID=48289941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/078465 WO2013069565A1 (ja) 2011-11-09 2012-11-02 撮影記録装置

Country Status (2)

Country Link
JP (1) JPWO2013069565A1 (ja)
WO (1) WO2013069565A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151676A (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 被監視者監視装置、該方法および該システム
JP2017148504A (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 被監視者監視装置、該方法および該システム
JP2018502488A (ja) * 2014-11-18 2018-01-25 ジェイ． ブラフ，アーレン 視覚的画像アレイに関する、装置、方法およびシステム
US10491796B2 (en) 2014-11-18 2019-11-26 The Invention Science Fund Ii, Llc Devices, methods and systems for visual imaging arrays
WO2020220951A1 (zh) * 2019-04-29 2020-11-05 杭州海康威视数字技术股份有限公司 一种录像数据存储方法及装置
US11163853B2 (en) 2017-01-04 2021-11-02 Kabushiki Kaisha Toshiba Sensor design support apparatus, sensor design support method and non-transitory computer readable medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907867B (zh) * 2021-01-22 2022-10-25 深圳英飞拓科技股份有限公司 一种基于图像识别的预警方法、装置及服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158800A (ja) * 2000-09-08 2002-05-31 Sekisui House Ltd 移動体通信端末を利用した建物内外監理支援システムおよび建物内外監理支援方法
JP2004158950A (ja) * 2002-11-05 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> 記録映像自動生成システム，記録映像自動生成方法，記録映像自動生成プログラムおよび記録映像自動生成プログラムの記録媒体
JP2009159221A (ja) * 2007-12-26 2009-07-16 Mitsuba Corp 画像配信システム
JP2010239992A (ja) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物同定装置、人物同定方法、及び人物同定プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158800A (ja) * 2000-09-08 2002-05-31 Sekisui House Ltd 移動体通信端末を利用した建物内外監理支援システムおよび建物内外監理支援方法
JP2004158950A (ja) * 2002-11-05 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> 記録映像自動生成システム，記録映像自動生成方法，記録映像自動生成プログラムおよび記録映像自動生成プログラムの記録媒体
JP2009159221A (ja) * 2007-12-26 2009-07-16 Mitsuba Corp 画像配信システム
JP2010239992A (ja) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物同定装置、人物同定方法、及び人物同定プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018502488A (ja) * 2014-11-18 2018-01-25 ジェイ． ブラフ，アーレン 視覚的画像アレイに関する、装置、方法およびシステム
US10491796B2 (en) 2014-11-18 2019-11-26 The Invention Science Fund Ii, Llc Devices, methods and systems for visual imaging arrays
US10609270B2 (en) 2014-11-18 2020-03-31 The Invention Science Fund Ii, Llc Devices, methods and systems for visual imaging arrays
JP2017151676A (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 被監視者監視装置、該方法および該システム
JP2017148504A (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 被監視者監視装置、該方法および該システム
US11163853B2 (en) 2017-01-04 2021-11-02 Kabushiki Kaisha Toshiba Sensor design support apparatus, sensor design support method and non-transitory computer readable medium
WO2020220951A1 (zh) * 2019-04-29 2020-11-05 杭州海康威视数字技术股份有限公司 一种录像数据存储方法及装置

Also Published As

Publication number Publication date
JPWO2013069565A1 (ja) 2015-04-02

Similar Documents

Publication Publication Date Title
WO2013069565A1 (ja) 撮影記録装置
US11354993B2 (en) Image surveillance and reporting technology
US11721107B2 (en) Systems and methods for locating image data for selected regions of interest
JP6411373B2 (ja) 認識データ伝送装置、認識データ記録装置及び認識データ記録方法
CN110089104B (zh) 事件存储装置、事件搜索装置和事件警报装置
US20180330169A1 (en) Methods and Systems for Presenting Image Data for Detected Regions of Interest
JP4380252B2 (ja) 撮像装置および撮像方法
US20120207356A1 (en) Targeted content acquisition using image analysis
EP4006860A1 (en) Security and/or monitoring devices and systems
US20170053504A1 (en) Motion detection system based on user feedback
JP6028457B2 (ja) 端末装置、サーバ及びプログラム
US20140280538A1 (en) Method and apparatus for filtering devices within a security social network
US20190147251A1 (en) Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium
US20140280933A1 (en) Method and apparatus for filtering devices within a security social network
JP6663703B2 (ja) 見守りシステム
JP6809114B2 (ja) 情報処理装置、画像処理システム、プログラム
JP5693147B2 (ja) 撮影妨害検知方法、妨害検知装置及び監視カメラシステム
KR20190085376A (ko) 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법
KR101420006B1 (ko) 분산처리 기반 카메라 영상 서비스 시스템 및 방법
US20140273989A1 (en) Method and apparatus for filtering devices within a security social network
JP6375213B2 (ja) 画像管理システムおよび監視カメラ
CN111950374A (zh) 图像传输方法及系统
JP2002135760A (ja) 監視用信号の通信方法、及び監視用信号通信装置
KR101741240B1 (ko) 통합 네트워크 카메라 장치
JP2003046990A (ja) ネットカメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12847863

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013542956

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12847863

Country of ref document: EP

Kind code of ref document: A1