WO2013114684A1 - 画像センサシステム、情報処理装置、情報処理方法及びプログラム - Google Patents

画像センサシステム、情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2013114684A1
WO2013114684A1 PCT/JP2012/076639 JP2012076639W WO2013114684A1 WO 2013114684 A1 WO2013114684 A1 WO 2013114684A1 JP 2012076639 W JP2012076639 W JP 2012076639W WO 2013114684 A1 WO2013114684 A1 WO 2013114684A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
image sensor
mask
detection
Prior art date
Application number
PCT/JP2012/076639
Other languages
English (en)
French (fr)
Inventor
和美 長田
榎原　孝明
馬場　賢二
周平 野田
西村　信孝
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to SG2013048384A priority Critical patent/SG192564A1/en
Priority to CN201280004253.5A priority patent/CN103339922B/zh
Priority to US13/820,407 priority patent/US20140340513A1/en
Priority to EP12856582.7A priority patent/EP2811735A4/en
Publication of WO2013114684A1 publication Critical patent/WO2013114684A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe

Definitions

  • Embodiments described herein relate generally to an image sensor system, an information processing apparatus, an information processing method, and a program.
  • the above technology is beginning to be applied not only for security purposes but also for automatic control of lighting and air conditioning.
  • the number of installed image sensors increases according to the size of the building, it takes a lot of time to perform manual adjustment one by one. Therefore, conventionally, a technique has been proposed in which a dedicated mode for setting a mask area is provided, and an area that has changed in the image in the dedicated mode is set as a mask area.
  • the mask area can be automatically set, but the area to be sensed is not taken into consideration. For this reason, it is not possible to efficiently set the sensing target area, and for example, it is difficult to set the sensing target area for each type of area such as a passage or a desk.
  • the image sensor system includes an imaging unit, an image acquisition unit, a mask region deriving unit, a detection region deriving unit, a holding unit, and a sensing unit.
  • the imaging means images a predetermined space.
  • the image acquisition unit acquires an image captured by the imaging unit.
  • the mask area deriving unit derives a mask area which is not targeted for sensing from the image using the image acquired by the image acquiring unit.
  • the detection area deriving unit derives, for each predetermined type, a detection area to be sensed from the image using the image acquired by the image acquisition unit.
  • the holding unit holds the mask area and the detection area as setting information.
  • the sensing means senses the state of the space from the image acquired by the acquisition means based on the setting information held in the holding means.
  • FIG. 1 is a diagram illustrating a configuration example of an image sensor system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an installation example of the image sensor according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration example of the image sensor and the maintenance terminal according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of an image captured by the image sensor.
  • FIG. 5 is a diagram illustrating an example of the mask area and the detection area.
  • FIG. 6 is a diagram for explaining the operation of the lens center detection unit.
  • FIG. 7 is a diagram illustrating an example of a distortion correction image.
  • FIG. 8 is a diagram illustrating an example of the normal image mask region.
  • FIG. 1 is a diagram illustrating a configuration example of an image sensor system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an installation example of the image sensor according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration example of the image sensor and the
  • FIG. 9 is a flowchart illustrating an example of area setting processing performed by the maintenance terminal according to the first embodiment.
  • FIG. 10 is a flowchart illustrating an example of area generation processing performed by the maintenance terminal according to the first embodiment.
  • FIG. 11 is a diagram illustrating a display example of a distortion correction image.
  • FIG. 12 is a block diagram illustrating a configuration example of the image sensor according to the first modification of the first embodiment.
  • FIG. 13 is a diagram illustrating an example of an authority setting holding unit according to a modification of the first embodiment.
  • FIG. 14 is a block diagram illustrating a configuration example of the maintenance terminal according to the second modification of the first embodiment.
  • FIG. 15 is a block diagram illustrating a configuration example of the maintenance terminal according to the second embodiment.
  • FIG. 16 is a diagram illustrating an example of a marker according to the second embodiment.
  • FIG. 17 is a diagram illustrating an example of an image acquired by the image sensor according to the second embodiment.
  • FIG. 18 is a diagram for explaining the operation of the mask region setting unit according to the second embodiment.
  • FIG. 19 is a diagram for explaining the operation of the mask region setting unit according to the second embodiment.
  • FIG. 20 is a flowchart illustrating an example of area setting processing performed by the maintenance terminal according to the second embodiment.
  • FIG. 21 is a block diagram illustrating a configuration example of an image sensor according to the third embodiment.
  • FIG. 22 is a diagram for explaining the operation of the image sensor according to the third embodiment.
  • FIG. 23 is a diagram for explaining the operation of the image sensor according to the third embodiment.
  • FIG. 21 is a block diagram illustrating a configuration example of an image sensor according to the third embodiment.
  • FIG. 22 is a diagram for explaining the operation of the image sensor according to the third embodiment.
  • FIG. 23
  • FIG. 24 is a diagram for explaining the operation of the image sensor according to the third embodiment.
  • FIG. 25 is a flowchart illustrating an example of area correction processing performed by the image sensor according to the third embodiment.
  • FIG. 26 is a diagram illustrating an example of an external configuration of an image sensor according to the third embodiment.
  • FIG. 27 is a diagram illustrating another example of the external configuration of the image sensor according to the third embodiment.
  • FIG. 1 is a diagram illustrating a configuration example of an image sensor system 100 according to the present embodiment.
  • the image sensor system 100 includes an image sensor 10 and a maintenance terminal 20.
  • the maintenance terminal 20 is detachably connected to each of the image sensors 10 or the network N to which each of the image sensors 10 is connected, and transmits and receives various information to and from each image sensor 10.
  • the number of image sensors 10 is not particularly limited.
  • the image sensor 10 includes a fish-eye camera (not shown) including an image sensor such as a fish-eye lens (circumferential fish-eye lens) and a CCD (Charge Coupled Device) (both not shown). Take an image.
  • the image sensor 10 includes a computer configuration such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), a non-volatile storage unit that stores various information, a maintenance terminal 20 and the like.
  • a communication unit that communicates with an external device (none of which is shown), senses an image captured by a function unit described later, detects a state around the image sensor 10, and accumulates the detection result Or output to an external device.
  • examples of the detection result include information indicating the presence / absence of a person.
  • FIG. 2 is a diagram illustrating an installation example of the image sensor 10 according to the present embodiment.
  • the image sensor 10 is installed on the ceiling of the building and images the inside of the building. 2 shows an example in which the lights L1 to L6 and the air conditioners AC1 and AC2 are provided on the ceiling in the building shown in FIG. 2, and power control (for example, on / off) of these electric devices is not shown.
  • the control device executes based on the detection result of the image sensor 10. Note that the position and number of the image sensors 10 installed in the building are not limited to the example of FIG.
  • the maintenance terminal 20 is an information processing apparatus such as a PC (Personal Computer) or a mobile communication terminal, and mainly performs maintenance of the image sensor 10.
  • the maintenance terminal 20 includes a computer configuration such as a CPU, a ROM, and a RAM, a non-volatile storage unit that stores various information, a communication unit that communicates with an external device such as the image sensor 10, and a keyboard and a pointing device.
  • An input unit and an output unit such as a display (not shown) are provided.
  • the maintenance terminal 20 sets a mask area and a detection area, which will be described later, in each image sensor 10 based on an image captured by each of the image sensors 10 and imaging conditions of the image.
  • FIG. 3 is a block diagram illustrating a configuration example of the image sensor 10 and the maintenance terminal 20.
  • the image sensor 10 includes an image acquisition unit 11, a mask area setting holding unit 12, a detection area setting holding unit 13, a sensing unit 14, and an output / accumulation unit 15 as functional units.
  • the image acquisition unit 11, the sensing unit 14, and the output / storage unit 15 are realized by the computer configuration of the image sensor 10, and the mask region setting holding unit 12 and the detection region setting holding unit 13 are This is realized by the storage medium of the image sensor 10.
  • the image acquisition unit 11 sequentially acquires images in frame units captured by the fisheye camera. Further, the image acquisition unit 11 outputs the acquired image to the sensing unit 14 and provides (outputs) it to the maintenance terminal 20 via a communication unit (not shown). It is assumed that the image output to the maintenance terminal 20 is assigned an identifier such as an IP address that can identify the device itself.
  • the mask area setting holding unit 12 holds a mask area that is data that defines an area to be excluded from the sensing target among the image areas acquired by the image acquisition unit 11.
  • the detection area setting holding unit 13 holds a detection area that is data that defines a sensing target area among the image areas acquired by the image acquisition unit 11.
  • FIG. 4 is a diagram illustrating an example of an image captured by the image sensor 10.
  • the image sensor 10 captures a spherical image as shown in FIG. 4 by the optical action of the fisheye camera. For this reason, the image captured by the image sensor 10 includes a region to be excluded from the sensing target, such as a wall of a building. Therefore, as shown in FIG. 5, by setting a region to be excluded from the sensing target in the image captured by the image sensor 10 as a mask region A11, this region is excluded from the sensing target. Can do.
  • the detection region is a region in which an area to be sensed is set for each type of the image captured by the image sensor 10.
  • the classification index for example, it is preferable to use a numerical value based on the occupant's state, such as the number of people detected per unit time and the amount of activity described later.
  • FIG. 5 shows an example in which areas corresponding to passages and desks (work desks) are separated from the image based on the amount of human activity, and the area corresponding to the passage is set as the detection area A21 and the area corresponding to the desk is set as the detection area A22. .
  • Each of the classified detection areas is configured such that sensing processing corresponding to the type is performed, for example, a parameter related to sensing (for example, a threshold value related to confirmation of the existence of a person) is different.
  • a parameter related to sensing for example, a threshold value related to confirmation of the existence of a person
  • a parameter related to sensing for example, a threshold value related to confirmation of the existence of a person
  • the sensing unit 14 displays a plurality of temporally continuous images acquired by the image acquisition unit 11 in the mask region and the detection region held in the mask region setting holding unit 12 and the detection region setting holding unit 13. By sensing according to the setting contents, the state in the space where the device is installed is detected. Specifically, when the sensing unit 14 excludes the mask area from the entire area of the image acquired by the image acquisition unit 11, the amount of change between the images in the area set as the detection area among the remaining areas is calculated. Based on the parameter corresponding to the type of the person, a detection result such as the presence / absence of a person is acquired.
  • the parameter is, for example, a threshold value related to the presence / absence determination, and is set for each type of detection area. Note that a known technique is used as a method for detecting the presence / absence of a person.
  • the output / accumulation unit 15 outputs the detection result acquired by the sensing unit 14 to an external device such as a demand control device that performs power control of the electrical equipment in the building.
  • the output / accumulation unit 15 accumulates the detection results acquired by the sensing unit 14 in a storage medium (not shown) included in the own device or an external device.
  • the maintenance terminal 20 includes a lens center detection unit 21, a mask region setting parameter holding unit 22, a camera parameter holding unit 23, a mask region setting unit 24, an action acquisition unit 25, A detection area setting unit 26, a distortion correction unit 27, a manual area setting unit 28, and an area conversion unit 29 are provided.
  • the lens center detection unit 21, the mask region setting unit 24, the action acquisition unit 25, the detection region setting unit 26, the distortion correction unit 27, and the region conversion unit 29 are included in the maintenance terminal 20.
  • the mask area setting parameter holding unit 22 and the camera parameter holding unit 23 are realized by a storage medium of the maintenance terminal 20.
  • the manual area setting unit 28 is realized by the cooperation of the computer configuration of the maintenance terminal 20, the gravity unit, and the display unit.
  • the lens center detection unit 21 analyzes the image acquired by the image acquisition unit 11 of each image sensor 10 and detects the optical center (lens center) of the image sensor 10 from the image. Specifically, the lens center detection unit 21 performs Hough conversion, which is a known image processing method, to detect a circle Cr as an outline of an image captured by a fisheye camera, as shown in FIG. The center coordinate O of the circle Cr is the lens center.
  • FIG. 6 is a diagram for explaining the operation of the lens center detection unit 21.
  • the mask area setting parameter holding unit 22 holds a parameter (mask area setting parameter) related to the setting of the mask area.
  • the mask area setting parameters include setting values representing the size and shape such as a circle with a radius of 2 m and a rectangle with a side of 3 m. Moreover, it is good also as a form which contains the instruction information which instruct
  • the camera parameter holding unit 23 holds an identifier (for example, an IP address) of each image sensor 10 and a parameter (camera parameter) indicating an imaging condition of the image sensor 10 in association with each other.
  • the camera parameter include a height at which the image sensor 10 is installed, a distortion coefficient (distortion aberration) of a fisheye camera, and the like.
  • the mask area setting unit 24 sets the mask area of each image sensor 10 using the mask area setting parameter and the camera parameter on the basis of the lens center detected by the lens center detection unit 21.
  • the mask area setting unit 24 arranges an area determined by the mask area setting parameter held in the mask area setting parameter holding unit 22 with the lens center detected by the lens center detection unit 21 as a reference.
  • the mask area setting unit 24 adjusts the size and shape of the arranged area according to the camera parameters of each image sensor 10, and derives the result as a mask area.
  • the mask area setting unit 24 sets the mask area of each image sensor 10 by transmitting the derived mask area to the corresponding image sensor 10 and holding it in the mask area setting holding unit 12 of the image sensor 10. To do.
  • the behavior acquisition unit 25 accumulates and analyzes images for a predetermined period (for example, 10 minutes, 24 hours, 10 days, etc.) acquired by each image sensor 10, so that the characteristics of the occupant's behavior from the images are analyzed.
  • the feature value obtained by quantifying is acquired.
  • the feature amount is, for example, an activity amount or the like, and is acquired using a known technique.
  • a difference between images is extracted from images for a predetermined period acquired by each image sensor 10, and the accumulated difference is accumulated by superimposing the extracted difference images. Generate an image.
  • the behavior acquisition unit 25 quantifies the luminance change characteristics of the peripheral region of the pixel or block in the region having the density gradient of the generated cumulative difference image, and the positional relationship of the pixel or block in this region on the image. By specifying, a feature amount in the cumulative difference image is generated.
  • the action acquisition part 25 identifies the action content of a resident from the produced
  • the action acquisition part 25 integrates the identification result of the action content obtained from the accumulation difference image, and calculates for each area
  • the occurrence frequency of each action obtained by a relational expression such as occurrence time / total measurement time is calculated for each region (each position) in the image.
  • the detection area setting unit 26 classifies the area into a predetermined type such as a passage or a desk based on the activity amount for each area acquired by the action acquisition unit 25 from the image of each image sensor 10, and the area for each type. Is derived as a detection region. For example, the detection area setting unit 26 classifies an area having an occurrence frequency of 30% or more based on the content of the activity amount, thereby classifying the area into a type such as a passage or a desk. Then, the detection area setting unit 26 transmits the classified detection area for each type to the corresponding image sensor 10 and causes the detection area setting holding unit 13 of the image sensor 10 to hold the detection area, thereby causing each image sensor 10 to detect the detection area. Set.
  • a detection area that matches the actual usage situation can be automatically set in each of the image sensors 10, so that more appropriate detection results can be obtained for each image. It can be acquired by the sensor 10.
  • the unit for setting the above-described mask area and detection area may be a pixel unit or a block unit having an arbitrary size.
  • the mask area and the detection area may not be image data but may be coordinate values.
  • a region can be represented by designating each vertex coordinate of a rectangle or polygon.
  • the distortion correction unit 27 generates a distortion-corrected image that is normalized by applying distortion correction, which is a known image processing method, to the image acquired by each image sensor 10, and displays the distortion-corrected image (not shown). Display on the screen.
  • distortion correction which is a known image processing method
  • the manual area setting unit 28 corresponds to an input corresponding to a mask area (hereinafter referred to as a normal image mask area) or an area corresponding to a detection area (hereinafter referred to as a normal image mask area) on the distortion-corrected image in response to an input from a user who operates the maintenance terminal 20. Normal image detection area).
  • the region conversion unit 29 performs an inverse conversion of the distortion correction performed by the distortion correction unit 27 on the normal image mask region set by the manual region setting unit 28, thereby corresponding to the image acquired by the image sensor 10. Generate a mask area.
  • FIG. 7 is a diagram illustrating an example of the distortion corrected image.
  • the distortion corrected image is displayed on a display unit (not shown).
  • the manual area setting unit 28 receives an operation input of a user who operates the maintenance terminal 20 via an input device (not shown), and sets a normal image mask area on the distortion corrected image according to the operation content (see FIG. 8).
  • FIG. 8 is a diagram illustrating an example of a normal image mask area, and illustrates a rectangular normal image mask area A12.
  • the region conversion unit 29 generates a mask region A11 corresponding to the image of FIG. 4 by performing reverse distortion correction on the normal image mask region A12 set by the manual region setting unit 28 (FIG. 4). 5).
  • the mask region generated by the region conversion unit 29 may be used as a mask region setting parameter template and stored in the mask region setting parameter holding unit 22 in association with the identifier of the corresponding image sensor 10 or image acquisition.
  • the mask area setting holding unit 12 of the original image sensor 10 may be held.
  • the generation of the mask area has been described.
  • the detection area can be generated in the same manner.
  • FIG. 9 is a flowchart illustrating an example of the area setting process. This process is performed when the mask area and the detection area are set (changed) such as when the image sensor 10 is installed or when maintenance work is performed.
  • the lens center detection unit 21 analyzes each input image, thereby analyzing the image.
  • the lens center is detected (step S12).
  • the mask region setting unit 24 uses the mask region setting parameter held in the mask region setting parameter holding unit 22 and the camera parameter held in the camera parameter holding unit 23 based on the lens center detected in step S12. Then, a mask area corresponding to each of the image sensors 10 is derived (step S13). Subsequently, the mask area setting unit 24 sets the mask area in each image sensor 10 by holding the derived mask area in the mask area setting holding unit 12 of the corresponding image sensor 10 (step S14).
  • the behavior acquisition unit 25 analyzes the images for a predetermined period acquired by each image sensor 10, and acquires the resident's behavior (activity) for each region from the images (step S15). Subsequently, the detection area setting unit 26 specifies a detection area such as a passage area or a work area for each type based on the activity amount for each area acquired in step S15 (step S16). Then, the detection area setting unit 26 sets the detection area for each image sensor 10 by holding the detection area for each specified type in the detection area setting holding unit 13 of the corresponding image sensor 10 (step S17). This process is terminated.
  • the mask region and the detection region can be derived and set in each image sensor 10 using the image captured by each of the image sensors 10 and the image capturing conditions of the image. it can.
  • region suitable for each of the image sensor 10 can be automatically set to each image sensor 10, the setting of a mask area
  • the present invention is not limited to this, and may be individually performed as an independent process.
  • FIG. 10 is a flowchart illustrating an example of the region generation processing.
  • the distortion correction unit 27 corrects the input image by performing distortion correction.
  • An imaged distortion correction image is generated (step S22), and the distortion correction image is displayed on a display unit (not shown) (step S23).
  • FIG. 11 is a diagram illustrating a display example of the distortion correction image displayed on the display unit.
  • the distortion corrected image is shown as being displayed in the display area A3.
  • the buttons B1 to B3 arranged on the right side of the display area A3 are for instructing input of a mask area and a detection area (passage area and work area). After any button is pressed, distortion correction is performed.
  • a figure rectangle, polygon, etc.
  • the display form of the distortion correction image is not limited to the example of FIG. 11.
  • the distortion correction image and the original image of the distortion correction image may be displayed in a comparable state.
  • a normal image mask area and a normal image detection area that are inversely converted may be superimposed on the original image.
  • the manual area setting unit 28 sets a normal image mask area and a normal image detection area on the distortion corrected image in accordance with the user's operation content (step S24). Subsequently, the area conversion unit 29 performs reverse conversion of the distortion correction performed by the distortion correction unit 27 in step S22 on the normal image mask area and the normal image detection area set on the distortion correction image, thereby obtaining an image. A mask area and a detection area corresponding to the sensor 10 are generated (step S25), and this process is terminated.
  • an image distorted by the action of the fisheye camera is converted into a distortion corrected image, and the normal image mask area and the normal image detection area set on the distortion corrected image are reversed.
  • the mask area and the detection area are derived. This eliminates the need to consider the distortion caused by the fisheye camera when manually generating (adjusting) the mask area and the detection area, thereby reducing the number of man-hours required for generation and improving user convenience. Can be improved.
  • the mask region and the detection region generated by the above processing may be stored in the mask region setting parameter storage unit 22 or the camera parameter storage unit 23 as a template, or the image sensor 10 from which the image is acquired.
  • the mask area setting holding unit 12 and the detection area setting holding unit 13 may be held.
  • the mask area and the detection area suitable for each of the image sensors 10 can be automatically set in each image sensor 10, so that the setting of the mask area and the detection area is efficient. Can be done automatically.
  • the image acquired by the image sensor 10 is provided to the maintenance terminal 20 unconditionally. However, in order to improve the security, the image is changed according to the type of the user who operates the maintenance terminal 20. It is good also as a form which restricts provision.
  • this embodiment will be described as a first modification of the present embodiment.
  • FIG. 12 is a block diagram illustrating a configuration example of the image sensor 10a according to the first modification.
  • the image sensor 10a includes an authority setting holding unit 16 and a login processing unit 17 in addition to the configuration of FIG.
  • the authority setting holding unit 16 is realized by a storage medium included in the image sensor 10a, and regulates authority related to image browsing for each type of user who operates the maintenance terminal 20, that is, a user who accesses the image sensor 10a. .
  • FIG. 13 is a diagram illustrating an example of the authority setting holding unit 16.
  • the authority setting holding unit 16 holds an authority related to image browsing in association with each user type.
  • a maintenance person (for installation) related to installation of the image sensor 10a a maintenance person who performs periodic inspection of the image sensor 10a (for periodic inspection), and an administrator of the image sensor system 100 are defined as user types. Is shown.
  • the authority of these users it is defined that maintenance personnel (for installation) and administrators are allowed to view images, and maintenance personnel (for periodic inspection) may not be allowed to view images. Is defined.
  • the login processing unit 17 is realized by the computer configuration of the image sensor 10 a, reads the authority corresponding to the type of the user who has accessed the apparatus from the authority setting holding unit 16, and the image acquisition unit according to the content 11 controls whether the acquired image is output to the maintenance terminal 20 or not.
  • the maintenance terminal 20 notifies the user type of the user who operates the maintenance terminal 20 when accessing the image sensor 10a.
  • the image sensor 10a As described above, in the image sensor 10a according to the first modification, it is possible to prevent inadvertent output of information by restricting image output according to the type of user accessing the device. It can protect confidentiality and privacy.
  • the setting contents of the authority setting holding unit 16 are not limited to the above example.
  • the authority may be set for each type of the maintenance terminal 20 such that an image can be viewed when a PC is used as the maintenance terminal 20 and an image cannot be viewed when a mobile phone is used.
  • the maintenance terminal 20 detects the center of the lens from the image captured by the image sensor 10, and masks using various information held by the mask area setting parameter holding unit 22 and the camera parameter holding unit 23.
  • the region is set, the mask region may be set based on the amount of activity acquired by the action acquisition unit 25 as in the detection region.
  • this embodiment will be described as a second modification of the present embodiment.
  • FIG. 14 is a block diagram illustrating a configuration example of the maintenance terminal 20a according to the second modification. As shown in the figure, the maintenance terminal 20a replaces the configuration of the lens center detection unit 21, mask region setting parameter holding unit 22, camera parameter holding unit 23, and mask region setting unit 24 shown in FIG. A portion 24a is provided.
  • the mask area setting unit 24a derives a mask area based on the activity amount and occurrence frequency for each area acquired by the action acquisition unit 25 from the image of each image sensor 10.
  • the mask area setting unit 24a may set an area having an occurrence frequency of less than 10% as a mask area, or may set an area where an activity amount indicates a predetermined action content as a mask area. Then, the mask area setting unit 24a transmits the derived mask area to the corresponding image sensor 10 and causes the mask area setting holding unit 12 of the image sensor 10 to hold the mask area, thereby setting the mask area in each image sensor 10. .
  • FIG. 15 is a block diagram illustrating a configuration example of the maintenance terminal 20b according to the second embodiment.
  • the maintenance terminal 20b includes a marker detection unit 31, a mask region setting unit 32, a detection region setting unit 33, a distortion correction unit 27, a manual region setting unit 28, and a region conversion unit 29. Is provided.
  • the marker detection unit 31 analyzes the image acquired by the image sensor 10 to detect a predetermined marker from the image, and acquires the type of the marker and the detection position (pixel unit) in the image.
  • the marker is, for example, an object having a predetermined color or shape, or a predetermined symbol (A, B, C, D) or figure (star shape, square, circle, triangle) as shown in FIG.
  • A, B, C, D predetermined symbol
  • FIG. 16 is a diagram illustrating an example of a marker.
  • the marker detection uses character recognition and image recognition, which are known image processing methods.
  • the detection position may be based on an arbitrary position on the marker such as the center of the marker or the upper left corner, or the detection position may be acquired with sub-pixel accuracy.
  • the mask area setting unit 32 extracts the mask area setting marker when the marker detected by the marker detection unit 31 includes a mask area setting marker (hereinafter referred to as a mask area setting marker).
  • the mask area is derived based on the area formed by the mask area setting markers.
  • the mask area setting unit 32 sets the mask area of each image sensor 10 by transmitting the derived mask area to the corresponding image sensor 10 and holding it in the mask area setting holding unit 12 of the image sensor 10. To do.
  • FIG. 17 is a diagram illustrating an example of an image acquired by the image sensor 10, and includes mask region setting markers M11 to M14.
  • the marker detection unit 31 detects the mask area setting markers M11 to M14 from the image of FIG. 17, and acquires the detection positions of the mask area setting markers M11 to M14 as coordinates in pixel units as shown below. .
  • Detection position of the mask area setting marker M11 (x A , y A )
  • Detection position of mask area setting marker M12 (x B , y B )
  • Detection position of mask area setting marker M13 (x C , y C )
  • Detection position of mask area setting marker M14 (x D , y D )
  • the four detection positions of the mask area setting markers M11 to M14 are connected by line segments having a curvature corresponding to the distortion coefficient of the corresponding image sensor 10.
  • An area is formed from the mask area setting markers M11 to M14.
  • the mask area setting unit 32 adds distortion by a known method using the distortion coefficient of the camera parameter holding unit 23 (not shown) shown in FIG. 3, the distortion coefficient derived from the image, or the like. Further, the mask area setting unit 32 scans the image and fills all areas outside the connected lines as shown in FIG. 19, thereby generating the filled area as the mask area A13.
  • the present invention is not limited to this, and the form of masking the inside may be used.
  • the masking side may be switched according to the contents of the mask area setting marker.
  • the mask area setting markers of symbols A to D may mask the outside, and the markers of symbols 1 to 4 may mask the inside.
  • a plurality of mask area setting markers are set (for example, a mask area setting marker of symbols A to D and a mask area setting marker of symbols 1 to 4 are set at the same time).
  • a logical product or logical sum of the derived regions may be generated as a mask region.
  • the mask area setting marker may be installed to generate a mask area, and the number of mask areas may be divided into a plurality of times, and the logical product or logical sum of the mask areas derived from each may be calculated.
  • the number of mask area setting markers is not limited to four.
  • a polygonal mask area may be generated using a set of six mask area setting markers.
  • the mask area size may be fixed, and one mask area may be generated for one mask area setting marker.
  • a generation method may be used in which the mask area is divided into three or four.
  • the detection region setting unit 33 detects the detection position of each detection region setting marker when the marker detected by the marker detection unit 31 includes a detection region setting marker (hereinafter referred to as a detection region setting marker). A detection area is generated based on the above. Also, the detection area setting unit 33 sets the detection area of each image sensor 10 by transmitting the generated detection area to the corresponding image sensor 10 and holding it in the detection area setting holding unit 13 of the image sensor 10. To do.
  • the operation of the detection area setting unit 33 is the same as that of the mask area setting unit 32, detailed description thereof is omitted. Moreover, it is good also as a form which makes a detection area setting marker differ for every classification of detection areas, such as a detection area setting marker which shows a passage area, and a detection area setting marker which shows a work area.
  • FIG. 20 is a flowchart illustrating an example of the area setting process performed by the maintenance terminal 20b. This process is performed when the mask area and the detection area are set (changed) such as when the image sensor 10 is installed or when maintenance work is performed.
  • the marker detection unit 31 analyzes each image, thereby obtaining a predetermined marker from the image. Is detected, and the type of the marker and the detection position in the image are acquired (step S32).
  • the mask area setting unit 32 determines whether or not the mask area setting marker is included in the markers detected by the marker detection unit 31 from each image (step S33).
  • the process proceeds to step S36.
  • step S33 when there is an image including the mask area setting marker (step S33; Yes), the mask area setting unit 32 sets the detection position of the mask area setting marker as the distortion coefficient of the corresponding image sensor 10.
  • a mask area is generated by connecting the corresponding lines and painting all the areas outside (or inside) the connected lines (step S34). Subsequently, the mask area setting unit 32 sets the mask area in each image sensor 10 by holding the generated mask area in the mask area setting holding unit 12 of the corresponding image sensor 10 (step S35). The process proceeds to S36.
  • step S36 the mask region setting unit 32 determines whether or not the detection region setting marker is included in the markers detected by the marker detection unit 31 from each image (step S36). Here, when it is determined that no detection area setting marker is included in any of the images (step S36; No), this process ends.
  • Step S36 when there is an image including the detection region setting marker (Step S36; Yes), the detection region setting unit 33 sets the detection position of the detection region setting marker to the distortion coefficient of the corresponding image sensor 10.
  • the detection area is generated by connecting all the areas inside (or outside) the connected lines with the corresponding lines (step S37). Subsequently, the detection area setting unit 33 sets the detection area in each image sensor 10 by holding the generated detection area in the detection area setting holding unit 13 of the corresponding image sensor 10 (step S38). The process ends.
  • the mask area and the detection area are derived based on the arrangement position of the marker arranged in the imaging range of the image sensor 10 and set to the corresponding image sensor 10. .
  • region can be set to the said image sensor 10 by arrange
  • FIG. 21 is a block diagram illustrating a configuration example of the image sensor 10b according to the third embodiment.
  • the image sensor 10b includes an error angle calculation unit 41 in addition to the image acquisition unit 11, the mask region setting holding unit 12, the detection region setting holding unit 13, the sensing unit 14, and the output / accumulation unit 15 described above. And a mask region correction unit 42 and a detection region correction unit 43.
  • the communication path with the maintenance terminal 20 is not shown.
  • the error angle calculation unit 41 acquires the imaging direction of the fisheye camera that the device itself has.
  • the acquisition method of the imaging direction is not particularly limited, and for example, a form derived using Hough transform, which is a known image processing method, or a form measured using an electronic compass, which is a known technique.
  • the error angle calculation unit 41 performs a Hough transform on the image acquired by the image acquisition unit 11 to detect a straight line component existing in the image, and the strongest straight line component is detected.
  • the inclination is taken as the imaging direction.
  • the image sensor for the room in which the image sensor 10b is installed is obtained by detecting these straight lines and acquiring the imaging direction.
  • the relative direction (imaging direction) of 10b can be measured.
  • the error angle calculation unit 41 compares the acquired imaging direction with a reference direction serving as a reference, thereby calculating an error angle that represents the magnitude and direction of a deviation (angle) that is a difference from the reference direction.
  • the reference direction represents a normal imaging direction, and may be derived from an image captured in a state where the normal imaging direction is maintained, using the same method as described above. You may use the measured value of the electronic compass measured in the state where the regular imaging direction was held.
  • the error angle is calculated every predetermined time (for example, every hour or every day).
  • the mask area correction unit 42 corrects the mask area held in the mask area setting holding unit 12 according to the error angle calculated by the error angle calculation unit 41. Specifically, the mask area correction unit 42 eliminates the gap between the image acquired by the own apparatus and the mask area by rotating the mask area held in the mask area setting holding unit 12 by an error angle. Further, the detection area correction unit 43 corrects the detection area held in the detection area setting holding unit 13 by the same method as the mask area correction unit 42 according to the error angle calculated by the error angle calculation unit 41.
  • the image acquired by the image acquisition unit 11 at a certain time t 1 is FIG. 4, and the image acquired at a certain time t 2 after this time t 1 is FIG.
  • the error angle calculation unit 41 compares the two directions to obtain the error angle ⁇ . + 30 ° (where right rotation is positive and left rotation is negative).
  • the reference direction is indicated by a broken line D1
  • the imaging direction measured from the drawing is indicated by a solid line D2.
  • the mask region correction unit 42 corrects the mask region by rotating the mask region held in the mask region setting holding unit 12 by + 30 ° based on the error angle calculated by the error angle calculation unit 41. For example, when the mask area held in the mask area setting holding unit 12 is in the state shown in FIG. 5, the mask area correction unit 42 rotates the mask area A11 by + 30 ° with respect to the center of the image (lens center). By doing so, the state of the mask area A14 shown in FIG. 23 is corrected.
  • the detection area correction unit 43 corrects the detection area by rotating the detection area held in the detection area setting holding unit 13 by + 30 ° based on the error angle calculated by the error angle calculation unit 41. For example, when the detection area held in the detection area setting holding unit 13 is in the state shown in FIG. 5, the detection area correction unit 43 sets the detection areas A21 and A22 to +30 based on the center of the image (lens center). By rotating it, the detection regions A23 and A24 in FIG. 24 are brought into a state.
  • FIG. 25 is a flowchart showing an example of the area correction processing.
  • this process shall be performed for every predetermined time, such as every hour or every day.
  • the error angle calculation unit 41 performs a Hough transform on the acquired image, thereby generating a straight line existing in the image.
  • the component is detected, and the inclination of the strongest linear component is acquired as the imaging direction (step S42).
  • the error angle calculation unit 41 calculates the error angle by comparing the acquired imaging direction with the reference direction (step S43).
  • the mask area correction unit 42 corrects the mask area by rotating the mask area held in the mask area setting holding unit 12 by the error angle based on the error angle calculated in step S43 (step S44). ).
  • the detection area correction unit 43 corrects the detection area by rotating the detection area held in the detection area setting holding unit 13 by the error angle based on the error angle calculated in step S43 (step S45). This process is terminated.
  • the mask area and the detection area are automatically corrected in each of the image sensors 10b even when the image sensor 10b is displaced in the imaging direction. Therefore, it is possible to reduce processes related to maintenance of the image sensor 10b.
  • the mask area and the detection area held in the mask area setting holding unit 12 and the detection area setting holding unit 13 are corrected based on the error angle.
  • the imaging direction of the apparatus itself may be reversed (rotated by an error angle) so as to be corrected (corrected) to the normal imaging direction.
  • the imaging direction of the image sensor 10b is adjusted while viewing the image actually captured by the image sensor 10b.
  • a predetermined object in the building for example, the boundary between the wall and the floor
  • the imaging direction is adjusted while viewing the image actually captured by the image sensor 10b.
  • the image sensor 10b can be installed using the mark as an index.
  • FIG. 26 and FIG. 27 are diagrams showing an example of the external configuration of the image sensor 10b.
  • the casing C of the image sensor 10b includes a first casing C1 embedded in the ceiling and a second casing C2 exposed on the ceiling surface.
  • a fisheye camera hole H is provided in a substantially central portion of the second housing C2, and the fisheye camera housed in the housing C performs imaging through the hole H.
  • imaging direction marks M21 and M22 indicating the imaging direction of the fisheye camera are provided on the surface of the second casing C2.
  • the imaging direction marks M21 and M22 are represented by characters and symbols, and are provided at positions based on the vertical direction of the built-in image sensor, for example. 26 and 27, the top direction of the image sensor is indicated by the installation positions (directions) of the imaging direction marks M21 and M22.
  • the image sensor 10b by setting the image sensor 10b on the ceiling using the imaging direction mark attached to the image sensor 10b as an index, it is possible to easily align the imaging direction serving as a reference for each image sensor 10b.
  • the imaging direction serving as a reference for each image sensor 10b.
  • the mask area is rectangular, it is possible to install the mask area by aligning the side of the mask area with the direction of the wall or desk of the room where the image sensor 10b is installed without confirming the captured image of the image sensor 10b.
  • the form using the fisheye camera as the image sensor 10 (10a, 10b) has been described.
  • the present invention is not limited to this, and a form using a normal camera may be used.
  • the mask area setting unit 24 (24a, 32), the detection area setting unit 26 (33), and various functional units related to the operation of these both functional units (lens center detection unit 21, mask area setting).
  • the parameter holding unit 22, the camera parameter holding unit 23, the action acquisition unit 25, the marker detection unit 31, and the like) are provided in the maintenance terminal 20 (20 a, 20 b). It is good also as a form provided.
  • amendment part 42 were set as the form with which each of the image sensors 10 was provided, not only this but the maintenance terminal 20 is provided, and the said maintenance terminal 20 is provided.
  • the error angle of each image sensor 10 may be corrected.
  • the program executed by each device of the above embodiment is provided by being incorporated in advance in a storage medium (ROM or storage unit) included in each device, but is not limited thereto, and can be installed in a form or executable.
  • a storage medium such as a CD-ROM, flexible disk (FD), CD-R, or DVD (Digital Versatile Disk).
  • the storage medium is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted via a LAN, the Internet, or the like is downloaded and stored or temporarily stored.
  • each device of the above embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network, or via a network such as the Internet. It may be configured to be provided or distributed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　所定の空間を撮像する撮像手段（１０）と、前記撮像手段（１０）で撮像された画像を取得する画像取得手段（１１）と、前記画像取得手段（１１）が取得した画像を用いて、当該画像内からセンシングの非対象とするマスク領域を導出するマスク領域導出手段（２４）と、前記画像取得手段（１１）が取得した画像を用いて、当該画像内から前記センシングの対象とする検知領域を、　所定の種別毎に導出する検知領域導出手段（２６）と、前記マスク領域及び前記検知領域を設定情報として保持する保持手段（１２、１３）と、前記保持手段（１２、１３）に保持された設定情報に基づいて、前記取得手段が取得した画像から前記空間の状態をセンシングするセンシング手段（１４）と、を備える。

Description

画像センサシステム、情報処理装置、情報処理方法及びプログラム
　本発明の実施形態は、画像センサシステム、情報処理装置、情報処理方法及びプログラムに関する。
　従来、画像センサを用いて人の在／不在や行動をセンシングする技術が、セキュリティ用途等に適用されている。係る技術では、画像センサから得られる情報量が多いため、センシングの非対象とする領域（マスク領域）等を、適用する環境に応じて調整することが一般的である。セキュリティ用途等では、画像センサの設置台数はビルの規模に対して比較的少なく（例えば、各フロアに一つ等）、画像センサの調整は撮像された画像を見ながら一台ずつ手作業で行うことが多い。
　また、上記の技術は、セキュリティ用途だけでなく、照明や空調等の自動制御に応用され始めている。この場合、ビルの規模に応じて画像センサの設置台数も増加するため、手作業で一台ずつ調整を行うには多くの時間を必要としていた。そこで、従来、マスク領域設定用の専用モードを設け、当該専用モード時において画像中に変化があった領域をマスク領域として設定する技術が提案されている。
特開２０１１－２８９５６号公報
　しかしながら、上記のマスク領域設定に係る従来技術では、マスク領域を自動で設定することが可能であるが、センシングの対象とする領域については考慮されていない。そのため、センシングの対象とする領域を効率的に設定することができず、例えば、通路やデスク等の領域の種別毎にセンシングの対象領域を設定することは困難であった。
　実施の形態の画像センサシステムは、撮像手段と、画像取得手段と、マスク領域導出手段と、検知領域導出手段と、保持手段と、センシング手段とを備える。撮像手段は、所定の空間を撮像する。画像取得手段は、撮像手段で撮像された画像を取得する。マスク領域導出手段は、画像取得手段が取得した画像を用いて、当該画像内からセンシングの非対象とするマスク領域を導出する。検知領域導出手段は、画像取得手段が取得した画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する。保持手段は、マスク領域及び検知領域を設定情報として保持する。センシング手段は、保持手段に保持された設定情報に基づいて、取得手段が取得した画像から空間の状態をセンシングする。
図１は、第１の実施形態に係る画像センサシステムの構成例を示す図である。 図２は、第１の実施形態に係る画像センサの設置例を示す図である。 図３は、第１の実施形態に係る画像センサ及び保守端末の構成例を示すブロック図である。 図４は、画像センサで撮像された画像の一例を示す図である。 図５は、マスク領域及び検知領域の一例を示す図である。 図６は、レンズ中心検出部の動作を説明するための図である。 図７は、歪み補正画像の一例を示す図である。 図８は、正像マスク領域の一例を示す図である。 図９は、第１の実施形態の保守端末が行う領域設定処理の一例を示すフローチャートである。 図１０は、第１の実施形態の保守端末が行う領域生成処理の一例を示すフローチャートである。 図１１は、歪み補正画像の表示例を示す図である。 図１２は、第１の実施形態の変形例１に係る画像センサの構成例を示すブロック図である。 図１３は、第１の実施形態の変形例に係る権限設定保持部の一例を示す図である。 図１４は、第１の実施形態の変形例２に係る保守端末の構成例を示すブロック図である。 図１５は、第２の実施形態に係る保守端末の構成例を示すブロック図である。 図１６は、第２の実施形態に係るマーカの例を示す図である。 図１７は、第２の実施形態に係る画像センサが取得した画像の一例を示す図である。 図１８は、第２の実施形態に係るマスク領域設定部の動作を説明するための図である。 図１９は、第２の実施形態に係るマスク領域設定部の動作を説明するための図である。 図２０は、第２の実施形態の保守端末が行う領域設定処理の一例を示すフローチャートである。 図２１は、第３の実施形態に係る画像センサの構成例を示すブロック図である。 図２２は、第３の実施形態に係る画像センサの動作を説明するための図である。 図２３は、第３の実施形態に係る画像センサの動作を説明するための図である。 図２４は、第３の実施形態に係る画像センサの動作を説明するための図である。 図２５は、第３の実施形態の画像センサが行う領域補正処理の一例を示すフローチャートである。 図２６は、第３の実施形態に係る画像センサの外観構成の一例を示す図である。 図２７は、第３の実施形態に係る画像センサの外観構成の他の例を示す図である。
　以下に添付図面を参照して、この発明に係る画像センサシステム及び撮像管理方法の実施形態を詳細に説明する。以下の実施形態では、この発明に係る画像センサシステム及び撮像管理方法を、オフィスビル等の建物に適用した例について説明する。
［第１の実施形態］
　図１は、本実施形態に係る画像センサシステム１００の構成例を示す図である。同図に示すように、画像センサシステム１００は、画像センサ１０と保守端末２０とを有する。保守端末２０は、画像センサ１０の各々又は画像センサ１０の各々が接続されたネットワークＮと着脱可能に接続されており、各画像センサ１０との間で種々の情報の送受信を行う。なお、画像センサ１０の個数は特に問わないものとする。
　画像センサ１０は、魚眼レンズ（円周魚眼レンズ）やＣＣＤ（Charge　Coupled　Device）等のイメージセンサ等で構成される魚眼カメラを有し（何れも図示せず）、この魚眼カメラを用いて広角の画像を撮像する。また、画像センサ１０は、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）等のコンピュータ構成と、各種情報を記憶する不揮発性の記憶部と、保守端末２０等の外部装置と通信を行う通信部とを備えるとともに（何れも図示せず）、後述する機能部により撮像された画像をセンシングすることで、画像センサ１０周辺の状態を検知し、その検知結果を蓄積又は外部装置に出力する。ここで、検知結果としては、人の在／不在を示す情報等が挙げられる。
　図２は、本実施形態に係る画像センサ１０の設置例を示す図である。同図に示すように、画像センサ１０は、建物の天井部に設置され建物内を撮像する。なお、図２に示す建物内には、照明Ｌ１～Ｌ６及び空調ＡＣ１、ＡＣ２が天井部に設けられた例を示しており、これら電気機器の電力制御（例えばオン／オフ）を、図示しないデマンド制御装置が画像センサ１０の検知結果に基づいて実行する。なお、建物内に設置される画像センサ１０の位置及び個数は、図２の例に限らないものとする。
　図１に戻り、保守端末２０は、ＰＣ（Personal　Computer）や携帯通信端末等の情報処理装置であって、主に画像センサ１０の保守を行う。保守端末２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等のコンピュータ構成と、各種情報を記憶する不揮発性の記憶部と、画像センサ１０等の外部装置との通信を行う通信部と、キーボードやポインティングデバイス等の入力部と、表示ディスプレイ等の出力部とを備える（何れも図示せず）。保守端末２０は、画像センサ１０の各々で撮像される画像や当該画像の撮像条件に基づいて、後述するマスク領域及び検知領域を各画像センサ１０に設定する。
　図３は、画像センサ１０及び保守端末２０の構成例を示すブロック図である。画像センサ１０は、機能部として、画像取得部１１と、マスク領域設定保持部１２と、検知領域設定保持部１３と、センシング部１４と、出力・蓄積部１５とを備える。画像センサ１０が備える機能部のうち、画像取得部１１、センシング部１４及び出力・蓄積部１５は、画像センサ１０のコンピュータ構成により実現され、マスク領域設定保持部１２及び検知領域設定保持部１３は、画像センサ１０の記憶媒体により実現される。
　画像取得部１１は、魚眼カメラで撮像されたフレーム単位の画像を順次取得する。また、画像取得部１１は、取得した画像を、センシング部１４に出力するとともに、図示しない通信部を介して保守端末２０に提供（出力）する。なお、保守端末２０に出力する画像には、自装置を特定可能なＩＰアドレス等の識別子が付されているものとする。
　マスク領域設定保持部１２は、画像取得部１１が取得した画像の領域のうち、センシングの対象から除外する領域を定めたデータであるマスク領域を保持する。また、検知領域設定保持部１３は、画像取得部１１が取得した画像の領域のうち、センシングの対象とする領域を定めたデータである検知領域を保持する。
　以下、図４及び図５を参照して、マスク領域及び検知領域について説明する。図４は、画像センサ１０で撮像された画像の一例を示す図である。魚眼カメラの光学的作用により、画像センサ１０は、図４に示すような球形の画像を撮像する。そのため、画像センサ１０で撮像された画像には、例えば建物の壁部等のように、センシングの対象から除外すべき領域が含まれる。そこで、図５に示すように、画像センサ１０で撮像される画像のうち、センシングの対象から除外すべき領域をマスク領域Ａ１１として設定しておくことで、この領域がセンシングの対象から除外することができる。
　また、検知領域は、画像センサ１０で撮像される画像のうち、センシングの対象となる領域を、その領域の種別毎に設定したものである。ここで、種別分けの指標は、例えば、単位時間あたりに検知される人数や、後述する活動量等、在室者の状態に基づく数値を用いることが好ましい。図５では、人の活動量に基づき画像内から通路及びデスク（作業机）に相当する領域を分別し、通路にあたる領域を検知領域Ａ２１、デスクにあたる領域を検知領域Ａ２２とした例を示している。種別分けされた各検知領域では、センシングに係るパラメータ（例えば、人の存否確認に係る閾値等）が異なる等、その種別に応じたセンシング処理がなされるよう構成されている。なお、マスク領域Ａ１１及び検知領域Ａ２１、Ａ２２の何れにも属さない領域については、マスク領域Ａ１１と同様にセンシングの対象から除外する形態としてもよいし、その他の領域として固有のパラメータを用いてセンシングを行う形態としてもよい。
　図３に戻り、センシング部１４は、画像取得部１１が取得した時間的に連続する複数の画像を、マスク領域設定保持部１２及び検知領域設定保持部１３に保持されたマスク領域及び検知領域の設定内容に従いセンシングすることで、自装置が設置された空間内の状態を検知する。具体的に、センシング部１４は、画像取得部１１が取得した画像の全域からマスク領域を除外すると、残り領域のうち検知領域として設定された領域での画像間の変化量を算出し、その領域の種別に応じたパラメータに基づいて、人の在／不在等の検知結果を取得する。ここで、パラメータは、例えば、在／不在の判定に係る閾値等であって、検知領域の種別毎に定められているものとする。なお、人の在／不在の検知方法は、公知の技術を用いるものとする。
　出力・蓄積部１５は、センシング部１４で取得された検知結果を、建物内の電気機器の電力制御を行うデマンド制御装置等の外部装置に出力する。また、出力・蓄積部１５は、センシング部１４で取得された検知結果を、自装置又は外部装置が有する図示しない記憶媒体に蓄積する。
　一方、保守端末２０は、図３に示すように、レンズ中心検出部２１と、マスク領域設定パラメータ保持部２２と、カメラパラメータ保持部２３と、マスク領域設定部２４と、行動取得部２５と、検知領域設定部２６と、歪み補正部２７と、手動領域設定部２８と、領域変換部２９とを備える。ここで、保守端末２０が備える機能部のうち、レンズ中心検出部２１、マスク領域設定部２４、行動取得部２５、検知領域設定部２６及び歪み補正部２７、領域変換部２９は、保守端末２０のコンピュータ構成により実現され、マスク領域設定パラメータ保持部２２及びカメラパラメータ保持部２３は、保守端末２０の記憶媒体により実現される。また、手動領域設定部２８は、保守端末２０のコンピュータ構成と、重力部と、表示部との協働により実現される。
　レンズ中心検出部２１は、各画像センサ１０の画像取得部１１で取得された画像を解析し、当該画像から画像センサ１０の光学中心（レンズ中心）を検出する。具体的に、レンズ中心検出部２１は、公知の画像処理方法であるＨｏｕｇｈ変換を行うことで、図６に示すように、魚眼カメラで撮像された画像の輪郭となる円Ｃｒを検出し、その円Ｃｒの中心座標Ｏをレンズ中心とする。ここで、図６は、レンズ中心検出部２１の動作を説明するための図である。
　マスク領域設定パラメータ保持部２２は、マスク領域の設定に係るパラメータ（マスク領域設定パラメータ）が保持されている。ここで、マスク領域設定パラメータとしては、例えば、半径２ｍの円形や１辺３ｍの矩形等、大きさや形状を表す設定値が含まれる。また、これらの設定値を組み合わせることを指示した指示情報をパラメータとして含む形態としてもよい。
　カメラパラメータ保持部２３は、各画像センサ１０の識別子（例えばＩＰアドレス等）と、当該画像センサ１０の撮像条件を示すパラメータ（カメラパラメータ）とが関連付けて保持されている。カメラパラメータとしては、例えば、画像センサ１０が設置されている高さや、魚眼カメラの歪み係数（歪曲収差）等が挙げられる。
　マスク領域設定部２４は、レンズ中心検出部２１で検出されたレンズ中心を基準とし、マスク領域設定パラメータ及びカメラパラメータを用いて、各画像センサ１０のマスク領域を設定する。
　具体的にマスク領域設定部２４は、マスク領域設定パラメータ保持部２２に保持されたマスク領域設定パラメータで定まる領域を、レンズ中心検出部２１で検出されたレンズ中心を基準に配置する。また、マスク領域設定部２４は、各画像センサ１０のカメラパラメータに応じて、配置した領域の大きさや形状を調整し、その結果をマスク領域として導出する。そして、マスク領域設定部２４は、導出したマスク領域を、対応する画像センサ１０に送信し、当該画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０のマスク領域を設定する。
　行動取得部２５は、各画像センサ１０で取得された所定期間分（例えば、１０分間、２４時間、１０日間等）の画像を蓄積し解析することで、当該画像から在室者の行動の特徴を数値化した特徴量を取得する。ここで、特徴量とは、例えば活動量等であって、公知の技術を用いて取得する。
　例えば、活動量を取得する場合、各画像センサ１０で取得された所定期間分の画像について、画像間の差分（差分画像）を抽出し、その抽出した差分画像を重ね合わせることで累積した累積差分画像を生成する。また、行動取得部２５は、生成した累積差分画像の濃度勾配のある領域の画素又はブロックの周辺領域の輝度変化の特徴を数値化するとともに、この領域の画素又はブロックの当該画像上の位置関係を特定することで、累積差分画像内の特徴量を生成する。また、行動取得部２５は、図示しない記憶部等に予め記憶された識別モデルを用いて、生成した特徴量から在室者の行動内容を識別する。そして、行動取得部２５は、累積差分画像から得られた行動内容の識別結果を統合し、活動量として画像内の領域（各位置）毎に算出する。また、発生時間／総計測時間等の関係式で得られる各行動の発生頻度を、画像内の領域（各位置）毎に算出する。
　検知領域設定部２６は、各画像センサ１０についての画像から行動取得部２５が取得した領域毎の活動量に基づき、その領域を通路やデスク等の所定の種別に分別し、これら種別毎の領域を検知領域として導出する。例えば、検知領域設定部２６は、発生頻度が３０％以上の領域を、その活動量の内容に基づき区分けすることで、その領域を通路やデスク等の種別に分別する。そして、検知領域設定部２６は、分別した種別毎の検知領域を対応する画像センサ１０に送信し、当該画像センサ１０の検知領域設定保持部１３に保持させることで、各画像センサ１０に検知領域を設定する。
　これにより、画像センサ１０の各々が設置されたオフィス等において、実際の使用状況に合わせた検知領域を、画像センサ１０の各々に自動で設定することができるため、より適切な検知結果を各画像センサ１０で取得することが可能となる。
　なお、上述したマスク領域及び検知領域を設定する単位は、画素単位でも任意の大きさのブロック単位でもよい。また、マスク領域及び検知領域は、画像データでなくても座標値でもよい。例えば、座標値を用いる場合、矩形や多角形の各頂点座標を指定することで、領域を表すことができる。
　歪み補正部２７は、各画像センサ１０で取得された画像に対し、公知の画像処置方法である歪み補正を施すことで正像化した歪み補正画像を生成し、この歪み補正画像を図示しない表示部に表示させる。
　手動領域設定部２８は、保守端末２０を操作するユーザの入力に応じ、歪み補正画像上にマスク領域に相当する領域（以下、正像マスク領域という）や、検知領域に相当する領域（以下、正像検知領域という）を設定する。また、領域変換部２９は、手動領域設定部２８が設定した正像マスク領域に対し、歪み補正部２７が行った歪み補正の逆変換を施すことで、画像センサ１０が取得する画像に対応したマスク領域を生成する。
　以下、図４、図５、図７、図８を参照して、歪み補正部２７、手動領域設定部２８及び領域変換部２９の動作について説明する。まず、画像センサ１０で取得された画像が図４に示す状態であったとすると、歪み補正部２７は、この画像に対し歪み補正を行うことで正像化した歪み補正画像を生成する（図７参照）。ここで、図７は、歪み補正画像の一例を示す図である。なお、歪み補正画像は、図示しない表示部に表示される。
　手動領域設定部２８は、保守端末２０を操作するユーザの操作入力を図示しない入力装置を介して受け付け、この操作内容に応じて歪み補正画像上に正像マスク領域を設定する（図８参照）。ここで、図８は、正像マスク領域の一例を示す図であって、矩形状の正像マスク領域Ａ１２を例示している。
　そして、領域変換部２９は、手動領域設定部２８で設定された正像マスク領域Ａ１２に対し、歪み補正の逆変換を施すことで、図４の画像に対応したマスク領域Ａ１１を生成する（図５参照）。
　なお、領域変換部２９が生成したマスク領域を、マスク領域設定パラメータの雛形とし、対応する画像センサ１０の識別子と関連付けてマスク領域設定パラメータ保持部２２に保持させる形態としてもよいし、画像の取得元となった画像センサ１０のマスク領域設定保持部１２に保持させる形態としてもよい。また、本実施形態では、マスク領域の生成について説明したが、検知領域についても同様に生成することができる。
　次に、本実施形態の保守端末２０の動作について説明する。まず、図９を参照して、保守端末２０が実行する領域設定処理の動作について説明する。ここで、図９は、領域設定処理の一例を示すフローチャートである。なお、本処理は、画像センサ１０の設置時や保守作業時等、マスク領域及び検知領域の設定（変更）時に行われるものである。
　まず、画像センサ１０の各々において画像が取得され、当該画像が保守端末２０に出力されると（ステップＳ１１）、レンズ中心検出部２１は、入力された各画像を解析することで、当該画像からレンズ中心を検出する（ステップＳ１２）。
　マスク領域設定部２４は、ステップＳ１２で検出されたレンズ中心を基準に、マスク領域設定パラメータ保持部２２に保持されたマスク領域設定パラメータ及びカメラパラメータ保持部２３に保持されたカメラパラメータを用いることで、画像センサ１０の各々に応じたマスク領域を導出する（ステップＳ１３）。続いて、マスク領域設定部２４は、導出したマスク領域を、対応する画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０にマスク領域を設定する（ステップＳ１４）。
　また、行動取得部２５は、各画像センサ１０で取得された所定期間分の画像を解析することで、当該画像から在室者の行動（活動量）を領域毎に取得する（ステップＳ１５）。続いて、検知領域設定部２６は、ステップＳ１５で取得された領域毎の活動量に基づき、通路領域や作業領域等の検知領域をその種別毎に特定する（ステップＳ１６）。そして、検知領域設定部２６は、特定した種別毎の検知領域を、対応する画像センサ１０の検知領域設定保持部１３に保持させることで、各画像センサ１０に検知領域を設定し（ステップＳ１７）、本処理を終了する。
　このように、上記領域設定処理によれば、画像センサ１０の各々で撮像された画像や当該画像の撮像条件を用いて、マスク領域及び検知領域を導出し、各画像センサ１０に設定することができる。これにより、画像センサ１０の各々に適したマスク領域及び検知領域を、各画像センサ１０に自動で設定することができるため、マスク領域及び検知領域の設定を効率的に行うことができる。
　なお、上記領域設定処理では、マスク領域の設定と検知領域の設定とを連続して行う形態としたが、これに限らず、独立した処理として個別に行う形態としてもよい。
　次に、図１０を参照して、保守端末２０が行う領域生成処理の動作について説明する。ここで、図１０は、領域生成処理の一例を示すフローチャートである。
　まず、何れか一の画像センサ１０において画像が取得され、当該画像が保守端末２０に出力されると（ステップＳ２１）、歪み補正部２７は、入力された画像に歪み補正を施すことで、正像化した歪み補正画像を生成し（ステップＳ２２）、この歪み補正画像を図示しない表示部に表示させる（ステップＳ２３）。
　図１１は、表示部に表示された歪み補正画像の表示例を示す図である。なお、同図では、歪み補正画像を表示領域Ａ３に表示する形態として示している。また、表示領域Ａ３の右方に配置されたボタンＢ１～Ｂ３は、マスク領域や検知領域（通路領域、作業領域）の入力を指示するものであって、何れかのボタンが押下後、歪み補正画像上に領域に相当する図形（矩形や多角形等）を記述することで、正像マスク領域や正像検知領域を入力することが可能となっている。なお、歪み補正画像の表示形態は図１１の例に限らず、例えば、歪み補正画像と、この歪み補正画像の元画像とを比較可能状態で表示する形態としてもよい。また、この形態の場合、元画像上に逆変換した正像マスク領域や正像検知領域を重畳表示してもよい。
　図１０に戻り、手動領域設定部２８は、ユーザの操作内容に応じて、歪み補正画像上に正像マスク領域や正像検知領域を設定する（ステップＳ２４）。続いて、領域変換部２９は、歪み補正画像上に設定された正像マスク領域、正像検知領域に対し、ステップＳ２２で歪み補正部２７が行った歪み補正の逆変換を施すことで、画像センサ１０に対応したマスク領域及び検知領域を生成し（ステップＳ２５）、本処理を終了する。
　このように、上記領域生成処理によれば、魚眼カメラの作用で歪んだ画像を歪み補正画像に正像化し、この歪み補正画像上に設定された正像マスク領域及び正像検知領域を逆変換することで、マスク領域及び検知領域を導出する。これにより、マスク領域及び検知領域を手作業で生成（調整）する際に、魚眼カメラによる歪みを考慮する必要がなくなるため、生成に必要な工数を削減することができ、ユーザの利便性を向上させることできる。
　なお、上記の処理で生成されたマスク領域及び検知領域を、雛形としてマスク領域設定パラメータ保持部２２やカメラパラメータ保持部２３に保持する形態としてもよいし、画像の取得元となった画像センサ１０のマスク領域設定保持部１２や検知領域設定保持部１３に保持させる形態としてもよい。
　以上のように、本実施形態によれば、画像センサ１０の各々に適したマスク領域及び検知領域を、各画像センサ１０に自動で設定することができるため、マスク領域及び検知領域の設定を効率的に行うことができる。
　なお、図３の構成では、画像センサ１０が取得した画像を保守端末２０に無条件で提供する形態としたが、セキュリティの向上のため、保守端末２０を操作するユーザの種別に応じて画像の提供を制限する形態としてもよい。以下、この形態を本実施形態の変形例１として説明する。
　図１２は、変形例１に係る画像センサ１０ａの構成例を示すブロック図である。同図に示すように、画像センサ１０ａは、上記図３の構成に加え、権限設定保持部１６及びログイン処理部１７を備えている。
　権限設定保持部１６は、画像センサ１０ａが有する記憶媒体により実現され、保守端末２０を操作するユーザ、つまり画像センサ１０ａにアクセスするユーザの種別毎に、画像の閲覧に係る権限を規定している。
　図１３は、権限設定保持部１６の一例を示す図である。同図に示すように、権限設定保持部１６には、ユーザ種別毎に、画像の閲覧に係る権限を関連付けて保持している。ここでは、ユーザ種別として画像センサ１０ａの設置に係る保守員（設置用）と、画像センサ１０ａの定期点検を行う保守員（定期点検用）と、画像センサシステム１００の管理者とを定義した例を示している。また、これらユーザの権限として、保守員（設置用）及び管理者には画像の閲覧を許可することが定義されており、保守員（定期点検用）には画像の閲覧を不可とすることが定義されている。
　図１２に戻り、ログイン処理部１７は、画像センサ１０ａのコンピュータ構成により実現され、自装置にアクセスしたユーザの種別に対応する権限を権限設定保持部１６から読み出し、その内容に応じて画像取得部１１が取得した画像を保守端末２０に出力するか否かを制御する。なお、保守端末２０では、画像センサ１０ａへのアクセス時に、当該保守端末２０を操作するユーザのユーザ種別を通知するものとする。
　このように、本変形例１の画像センサ１０ａでは、自装置にアクセスするユーザ種別に応じて画像の出力を制限することで、情報の出力が不用意に行われてしまうことを防止することができるため、機密やプライバシーを保護することができる。なお、権限設定保持部１６の設定内容は上記例に限らないものとする。例えば、保守端末２０としてＰＣを用いる場合には画像を閲覧可能とし、携帯電話を用いる場合には画像を閲覧不可能とする等、保守端末２０の種別毎に権限を設定してもよい。
　また、図３の構成では、保守端末２０において、画像センサ１０で撮像された画像からレンズ中心を検出し、マスク領域設定パラメータ保持部２２及びカメラパラメータ保持部２３が保持する各種情報を用いてマスク領域を設定する形態としたが、検知領域と同様に、行動取得部２５が取得する活動量等に基づいてマスク領域を設定する形態としてもよい。以下、この形態を本実施形態の変形例２として説明する。
　図１４は、変形例２に係る保守端末２０ａの構成例を示すブロック図である。同図に示すように、保守端末２０ａは、上記図３のレンズ中心検出部２１、マスク領域設定パラメータ保持部２２、カメラパラメータ保持部２３及びマスク領域設定部２４の構成に代えて、マスク領域設定部２４ａを備えている。
　ここで、マスク領域設定部２４ａは、各画像センサ１０の画像から行動取得部２５が取得した領域毎の活動量や発生頻度に基づき、マスク領域を導出する。
　例えば、マスク領域設定部２４ａは、発生頻度が１０％未満の領域をマスク領域としてもよいし、活動量が所定の行動内容を示す領域をマスク領域としてもよい。そして、マスク領域設定部２４ａは、導出したマスク領域を対応する画像センサ１０に送信し、当該画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０にマスク領域を設定する。
　以上のように、本変形例２の保守端末２０ａによれば、画像センサ１０の各々が設置されたオフィス等において、実際の使用状況に合わせたマスク領域を、画像センサ１０の各々に自動で設定することができるため、より適切な検知結果を各画像センサ１０で取得することが可能となる。
［第２の実施形態］
　次に、マスク範囲及び検出範囲の他の設定方法を、第２の実施形態として説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与しその説明を省略する。
　図１５は、第２の実施形態に係る保守端末２０ｂの構成例を示すブロック図である。同図に示すように、保守端末２０ｂは、マーカ検出部３１と、マスク領域設定部３２と、検知領域設定部３３と、歪み補正部２７と、手動領域設定部２８と、領域変換部２９とを備える。
　マーカ検出部３１は、画像センサ１０で取得された画像を解析することで、当該画像中から所定のマーカを検出し、そのマーカの種別と画像内での検出位置（ピクセル単位）を取得する。マーカは、例えば、所定の色や形を有した物体や、図１６に示したように所定の記号（Ａ、Ｂ、Ｃ、Ｄ）や図形（星形、四角形、丸印、三角形）等を記した紙等の小片等であって、その種別毎に、マスク領域設定用や検知領域設定用等の用途が予め定められている。ここで、図１６は、マーカの例を示す図である。
　なお、マーカの検出は、公知の画像処理方法である文字認識や画像認識を用いるものとする。また、検出位置は、マーカの中心や左上角等、マーカ上の任意の位置を基準とする形態としてもよく、検出位置をサブピクセルの精度で取得する形態としてもよい。
　マスク領域設定部３２は、マーカ検出部３１が検出したマーカの中に、マスク領域設定用のマーカ（以下、マスク領域設定マーカという）が含まれている場合に、当該マスク領域設定マーカを抽出し、これらマスク領域設定マーカにより形成される領域に基づいて、マスク領域を導出する。また、マスク領域設定部３２は、導出したマスク領域を、対応する画像センサ１０に送信し、当該画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０のマスク領域を設定する。
　以下、図１７～図１９を参照して、マスク領域設定部３２の動作例について説明する。ここで、図１７は、画像センサ１０が取得した画像の一例を示す図であって、マスク領域設定マーカＭ１１～Ｍ１４が含まれている。ここで、マーカ検出部３１は、図１７の画像中からマスク領域設定マーカＭ１１～Ｍ１４を検出し、マスク領域設定マーカＭ１１～Ｍ１４の検出位置を、下記に示すようにピクセル単位の座標として取得する。
　マスク領域設定マーカＭ１１の検出位置：（ｘA、ｙA）
　マスク領域設定マーカＭ１２の検出位置：（ｘB、ｙB）
　マスク領域設定マーカＭ１３の検出位置：（ｘC、ｙC）
　マスク領域設定マーカＭ１４の検出位置：（ｘD、ｙD）
　続くマスク領域設定部３２では、図１８に示すように、マスク領域設定マーカＭ１１～Ｍ１４の４つの検出位置を、対応する画像センサ１０の歪み係数に応じた曲率を有する線分で結ぶことで、マスク領域設定マーカＭ１１～Ｍ１４から領域を形成する。このとき、マスク領域設定部３２は、図３に示したカメラパラメータ保持部２３（図示せず）の歪み係数や画像から導出した歪み係数等を用いて、公知の方法により歪みを加える。また、マスク領域設定部３２は、画像を走査し、図１９に示すように結んだ線の外側の領域を全て塗り潰すことで、この塗り潰した領域をマスク領域Ａ１３として生成する。
　なお、上記の例では４つのマスク領域設定マーカに囲まれる領域の外側をマスクする形態について述べたが、これに限らず、内側をマスクする形態としてもよい。また、マスク領域設定マーカの内容に応じてマスクする側を切り換えてもよい。例えば、記号Ａ～Ｄのマスク領域設定マーカでは外側をマスクし、記号１～４のマーカは内側をマスクする等してもよい。
　また、複数のマスク領域設定マーカの組を設置し（例えば、記号Ａ～Ｄのマスク領域設定マーカと、記号１～４のマスク領域設定マーカとを同時に設置）、各組のマスク領域設定マーカで導出される領域の論理積や論理和を、マスク領域として生成する形態としてもよい。また、マスク領域設定マーカを設置してマスク領域を生成する回数を複数に分け、それぞれで導出されたマスク領域の論理積や論理和を取ってもよい。
　また、マスク領域設定マーカの個数は４つに限らず、例えば、６つ一組のマスク領域設定マーカを用いて多角形のマスク領域を生成してもよい。また、マスク領域のサイズを固定とし、マスク領域設定マーカ一つに対してマスク領域を一つ生成してもよい。また、マスク領域を３分割や４分割等、分割するといった生成方法としてもよい。
　検知領域設定部３３は、マーカ検出部３１が検出したマーカの中に、検知領域設定用のマーカ（以下、検知領域設定マーカという）が含まれている場合に、各検知領域設定マーカの検出位置に基づいて検知領域を生成する。また、検知領域設定部３３は、生成した検知領域を、対応する画像センサ１０に送信し、当該画像センサ１０の検知領域設定保持部１３に保持させることで、各画像センサ１０の検知領域を設定する。
　なお、検知領域設定部３３の動作は、マスク領域設定部３２と同様であるため詳細な説明を省略する。また、通路領域を示す検知領域設定マーカ、作業領域を示す検知領域設定マーカ等、検知領域の種別毎に検知領域設定マーカを異ならせる形態としてもよい。
　次に、図２０を参照し、本実施形態の保守端末２０ｂの動作について説明する。ここで、図２０は、保守端末２０ｂが行う領域設定処理の一例を示すフローチャートである。なお、本処理は、画像センサ１０の設置時や保守作業時等、マスク領域及び検知領域の設定（変更）時に行われるものである。
　まず、画像センサ１０の各々において画像が取得され、当該画像が保守端末２０ｂに出力されると（ステップＳ３１）、マーカ検出部３１は、各画像を解析することで、当該画像内から所定のマーカを検出し、そのマーカの種別と画像内での検出位置を取得する（ステップＳ３２）。
　続いて、マスク領域設定部３２は、マーカ検出部３１が各画像から検出したマーカの中に、マスク領域設定マーカが含まれているか否かを判定する（ステップＳ３３）。ここで、何れの画像にもマスク領域設定マーカが含まれていないと判定した場合には（ステップＳ３３；Ｎｏ）、ステップＳ３６に移行する。
　また、ステップＳ３３において、マスク領域設定マーカが含まれる画像が存在した場合（ステップＳ３３；Ｙｅｓ）、マスク領域設定部３２は、マスク領域設定マーカの検出位置を、対応する画像センサ１０の歪み係数に応じた線で結び、結んだ線の外側（或いは内側）の領域を全て塗り潰すことでマスク領域を生成する（ステップＳ３４）。続いて、マスク領域設定部３２は、生成したマスク領域を、対応する画像センサ１０のマスク領域設定保持部１２に保持させることで、各画像センサ１０にマスク領域を設定し（ステップＳ３５）、ステップＳ３６に移行する。
　ステップＳ３６において、マスク領域設定部３２は、マーカ検出部３１が各画像から検出したマーカの中に、検知領域設定マーカが含まれているか否かを判定する（ステップＳ３６）。ここで、何れの画像にも検知領域設定マーカが含まれていないと判定した場合には（ステップＳ３６；Ｎｏ）、本処理を終了する。
　また、ステップＳ３６において、検知領域設定マーカが含まれる画像が存在した場合（ステップＳ３６；Ｙｅｓ）、検知領域設定部３３は、検知領域設定マーカの検出位置を、対応する画像センサ１０の歪み係数に応じた線で結び、結んだ線の内側（或いは外側）の領域を全て塗り潰すことで検知領域を生成する（ステップＳ３７）。続いて、検知領域設定部３３は、生成した検知領域を、対応する画像センサ１０の検知領域設定保持部１３に保持させることで、各画像センサ１０に検知領域を設定し（ステップＳ３８）、本処理を終了する。
　以上のように、本実施形態の保守端末２０ｂによれば、画像センサ１０の撮像範囲に配置されたマーカの配置位置に基づいてマスク領域及び検知領域を導出し、対応する画像センサ１０に設定する。これにより、設定を所望する画像センサ１０の撮像範囲内に、設定を所望する領域に応じた各位置にマーカを配置することで、当該画像センサ１０にマスク領域及び検知領域を設定することができるため、マスク領域及び検知領域の設定を効率的に行うことができる。
［第３の実施形態］
　次に、第３の実施形態について説明する。天井に設置される画像センサ１０では、物理的な振動や経時変化等により画像センサ１０の撮像方向にずれが生じる可能性がある。このような場合、撮像方向のずれに伴い撮像範囲も変化するため、画像センサ１０が取得する画像とマスク領域及び検知領域との間に齟齬が生じる。そこで、第３の実施形態では、画像センサ１０の各々において、マスク領域及び検知領域を補正することが可能な形態について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与しその説明を省略する。
　図２１は、第３の実施形態に係る画像センサ１０ｂの構成例を示すブロック図である。同図に示すように、画像センサ１０ｂは、上述した画像取得部１１、マスク領域設定保持部１２、検知領域設定保持部１３、センシング部１４及び出力・蓄積部１５に加え、誤差角度算出部４１と、マスク領域補正部４２と、検知領域補正部４３とを備えている。なお、保守端末２０との通信経路の図示を省略している。
　ここで、誤差角度算出部４１は、自装置が有する魚眼カメラの撮像方向を取得する。なお、撮像方向の取得方法は特に問わず、例えば、公知の画像処理方法であるＨｏｕｇｈ変換を用いて導出する形態や、公知の技術である電子コンパスを用いて計測する形態としてもよい。
　Ｈｏｕｇｈ変換を用いる場合、誤差角度算出部４１は、画像取得部１１で取得された画像に対してＨｏｕｇｈ変換を施すことで、画像内に存在する直線成分を検知し、そのうちの最も強い直線成分の傾きを撮像方向とする。例えば、オフィス等においては、壁と床との境界や、机や棚等直線の部分が多く、この直線を検知して撮像方向を取得することで、画像センサ１０ｂの設置された部屋に対する画像センサ１０ｂの相対的な向き（撮像方向）を計測することができる。
　また、誤差角度算出部４１は、取得した撮像方向を、基準となる基準方向と比較することで、基準方向との差分となる、ずれ（角度）の大きさ及び方向を表した誤差角度を算出する。ここで、基準方向とは、正規の撮像方向を表すものであって、正規の撮像方向が保持された状態で撮像された画像から上記と同様の方法を用いて導出する形態としてもよいし、正規の撮像方向が保持された状態で計測された電子コンパスの計測値を用いてもよい。なお、誤差角度の算出は、所定の時間毎（例えば、１時間毎や１日毎等）に行うものとする。
　マスク領域補正部４２は、誤差角度算出部４１が算出した誤差角度に応じ、マスク領域設定保持部１２に保持されたマスク領域を補正する。具体的に、マスク領域補正部４２は、マスク領域設定保持部１２に保持されたマスク領域を誤差角度回転させることで、自装置で取得される画像とマスク領域との間の齟齬を解消する。また、検知領域補正部４３は、誤差角度算出部４１が算出した誤差角度に応じ、マスク領域補正部４２と同様の手法により、検知領域設定保持部１３に保持された検知領域を補正する。
　以下、図４、図５、図２２～図２４を参照して、誤差角度算出部４１、マスク領域補正部４２及び検知領域補正部４３の動作例について説明する。
　画像取得部１１が或る時刻ｔ1に取得した画像が図４であり、この時刻ｔ1以降の或る時刻ｔ2に取得した画像が図２２であったとする。ここで、図４のときの撮像方向（基準方向）が０°、図２２のときの撮像方向が３０°であったとすると、誤差角度算出部４１は、両方向を比較することで、誤差角度θとして＋３０°（但し、右回転が正、左回転を負で表す）を算出する。なお、図２２では、基準方向を破線Ｄ１で示しており、同図から計測された撮像方向を実線Ｄ２で示している。
　マスク領域補正部４２では、誤差角度算出部４１で算出された誤差角度に基づき、マスク領域設定保持部１２に保持されたマスク領域を＋３０°回転させることで、マスク領域を補正する。例えば、マスク領域設定保持部１２に保持されているマスク領域が図５に示す状態の場合、マスク領域補正部４２は、このマスク領域Ａ１１を、画像の中心（レンズ中心）を基準に＋３０°回転させることで、図２３に示すマスク領域Ａ１４の状態に補正する。
　また、検知領域補正部４３では、誤差角度算出部４１で算出された誤差角度に基づき、検知領域設定保持部１３に保持された検知領域を＋３０°回転させることで、検知領域を補正する。例えば、検知領域設定保持部１３に保持されている検知領域が図５に示す状態の場合、検知領域補正部４３は、この検知領域Ａ２１、Ａ２２を、画像の中心（レンズ中心）を基準に＋３０°回転させることで図２４の検知領域Ａ２３、Ａ２４の状態とする。
　次に、図２５を参照して、本実施形態の画像センサ１０ｂが行う領域補正処理の動作について説明する。ここで、図２５は、領域補正処理の一例を示すフローチャートである。なお、本処理は、例えば、１時間毎や１日毎等の所定の時間毎に行われるものとする。
　まず、画像取得部１１により魚眼カメラで撮像された画像が取得されると（ステップＳ４１）、誤差角度算出部４１は、取得された画像にＨｏｕｇｈ変換を施すことで、画像内に存在する直線成分を検知し、そのうちの最も強い直線成分の傾きを撮像方向として取得する（ステップＳ４２）。誤差角度算出部４１は、取得した撮像方向を基準方向と比較することで誤差角度を算出する（ステップＳ４３）。
　続いて、マスク領域補正部４２は、ステップＳ４３で算出された誤差角度に基づき、マスク領域設定保持部１２に保持されたマスク領域を誤差角度分回転させることで、マスク領域を補正する（ステップＳ４４）。また、検知領域補正部４３は、ステップＳ４３で算出された誤差角度に基づき、検知領域設定保持部１３に保持された検知領域を誤差角度分回転させることで、検知領域を補正し（ステップＳ４５）、本処理を終了する。
　以上のように、本実施形態の画像センサ１０ｂによれば、画像センサ１０ｂに撮像方向のずれが生じた場合であっても、画像センサ１０ｂの各々でマスク領域及び検知領域の補正を自動で行うことができるため、画像センサ１０ｂの保守に係る工程を減少させることができる。
　なお、本実施形態では、マスク領域設定保持部１２及び検知領域設定保持部１３に保持されたマスク領域及び検知領域を、誤差角度に基づき補正する形態としたが、画像センサ１０ｂが自装置の撮像方向を変更可能な機構を備える場合には、自装置の撮像方向を誤差角度分逆回転させることで、正規の撮像方向に補正（修正）する形態としてもよい。
　ところで、画像センサ１０ｂの撮像方向は建物内の所定物（例えば壁と床との境界）を基準に設置することが好ましいが、実際に画像センサ１０ｂで撮像された画像を見ながら撮像方向を調整する作業が発生するため、効率的でないという問題がある。そこで、画像センサ１０ｂの筐体に、当該画像センサ１０ｂの撮像方向を示す所定のマーク（文字や記号）を付加することで、そのマークを指標に画像センサ１０ｂを設置することができる。
　図２６や図２７は、画像センサ１０ｂの外観構成の例を示す図である。同図において、画像センサ１０ｂの筐体Ｃは、天井に埋設される第１筐体Ｃ１と、天井面に露出される第２筐体Ｃ２とを有して構成される。また、第２筐体Ｃ２の略中央部には、魚眼カメラ用の孔Ｈが設けられており、筐体Ｃに収納された魚眼カメラは孔Ｈを通じて撮像を行う。
　ここで、第２筐体Ｃ２の表面には、魚眼カメラの撮像方向を示す撮像方向マークＭ２１、Ｍ２２が設けられている。この撮像方向マークＭ２１、Ｍ２２は、文字や記号で表され、例えば、内蔵するイメージセンサの天地方向に基づく位置に設けられている。なお、図２６及び図２７では、イメージセンサの天方向を、撮像方向マークＭ２１、Ｍ２２の設置位置（方向）により示している。
　このように、画像センサ１０ｂに付された撮像方向マークを指標に、画像センサ１０ｂを天井部に設置することで、各画像センサ１０ｂの基準となる撮像方向を容易に揃えることができる。例えば、マスク領域が矩形の場合、画像センサ１０ｂの撮影画像を確認することなく、画像センサ１０ｂを設置する部屋の壁や机の向きに対して、マスク領域の辺を合わせて設置することができる。
　以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
　例えば、上記実施形態では、画像センサ１０（１０ａ、１０ｂ）として魚眼カメラを用いた形態を説明したが、これに限らず、通常のカメラを用いる形態としてもよい。
　また、上記実施形態では、マスク領域設定部２４（２４ａ、３２）、検知領域設定部２６（３３）及びこれら両機能部の動作に関連する各種の機能部（レンズ中心検出部２１、マスク領域設定パラメータ保持部２２、カメラパラメータ保持部２３、行動取得部２５、マーカ検出部３１等）を、保守端末２０（２０ａ、２０ｂ）が備える形態としたが、これに限らず、画像センサ１０の各々が備える形態としてもよい。
　また、上記実施形態では、誤差角度算出部４１及びマスク領域補正部４２を、画像センサ１０の各々が備える形態としたが、これに限らず、保守端末２０が備えることで、当該保守端末２０が各画像センサ１０の誤差角度を補正する形態としてもよい。
　また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
　また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
　１００　画像センサシステム
　１０、１０ａ、１０ｂ　画像センサ
　１１　画像取得部
　１２　マスク領域設定保持部
　１３　検知領域設定保持部
　１４　センシング部
　１５　出力・蓄積部
　１６　権限設定保持部
　１７　ログイン処理部
　２０、２０ａ、２０ｂ　保守端末
　２１　レンズ中心検出部
　２２　マスク領域設定パラメータ保持部
　２３　カメラパラメータ保持部
　２４、２４ａ　マスク領域設定部
　２５　行動取得部
　２６　検知領域設定部
　２７　歪み補正部
　２８　手動領域設定部
　２９　領域変換部
　３１　マーカ検出部
　３２　マスク領域設定部
　３３　検知領域設定部
　４１　誤差角度算出部
　４２　マスク領域補正部
　４３　検知領域補正部
　Ｎ　ネットワーク

Claims (19)

  1. 　所定の空間を撮像する撮像手段と、
    　前記撮像手段で撮像された画像を取得する画像取得手段と、
    　前記画像取得手段が取得した画像を用いて、当該画像内からセンシングの非対象とするマスク領域を導出するマスク領域導出手段と、
    　前記画像取得手段が取得した画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する検知領域導出手段と、
    　前記マスク領域及び前記検知領域を設定情報として保持する保持手段と、
    　前記保持手段に保持された設定情報に基づいて、前記取得手段が取得した画像から前記空間の状態をセンシングするセンシング手段と、
    　を備える画像センサシステム。
  2. 　前記撮像手段は魚眼カメラであって、
    　前記マスク領域導出手段は、前記画像取得手段が取得した画像から前記魚眼カメラのレンズ中心を検出し、当該レンズ中心を基準に前記撮像手段の撮像条件に応じて調整した所定の形状を表す領域を、前記マスク領域として導出する、
    　請求項１に記載の画像センサシステム。
  3. 　前記画像取得手段が取得した所定期間分の画像から、前記空間内での人の行動内容を数値化した特徴量を、前記画像の領域毎に取得する行動取得手段を更に備え、
    　前記マスク領域導出手段は、前記行動取得手段が取得した領域毎の特徴量に基づいて、前記マスク領域を導出し、
    　前記検知領域導出手段は、前記行動取得手段が取得した領域毎の特徴量に基づいて、当該領域を所定の種別毎に分別した前記検知領域を導出する、
    　請求項１に記載の画像センサシステム。
  4. 　前記画像に含まれた所定のマーカを検出するマーカ検出手段を更に備え、
    　前記マスク領域導出手段は、前記マーカ検出手段が検出した複数のマーカのうち、マスク領域設定用のマーカにより形成される領域に基づいて、前記マスク領域を導出し、
    　前記検知領域導出手段は、前記マーカ検出手段が検出した複数のマーカのうち、検知領域設定用のマーカにより形成される領域に基づいて、前記検知領域を導出する、
    　請求項１に記載の画像センサシステム。
  5. 　前記撮像手段は魚眼カメラであって、
    　前記マスク領域導出手段及び前記検知領域導出手段は、前記マーカを前記魚眼カメラの歪み係数に応じた線分で結ぶことで領域を形成する、
    　請求項４に記載の画像センサシステム。
  6. 　前記画像取得手段が取得した画像上に、前記マスク領域及び前記検知領域に相当する領域の入力を受け付ける入力手段を更に備え、
    　前記保持手段は、前記画像上に入力されたマスク領域及び前記検知領域に相当する領域を、前記設定情報として保持する、
    　請求項１に記載の画像センサシステム。
  7. 　前記撮像手段は魚眼カメラであって、
    　前記画像センサで撮像された画像を正像化する画像処理を施す正像化手段と、
    　前記画像処理の逆変換を施す逆変換手段と、
    　を更に備え、
    　前記入力手段は、前記正像化された画像上に前記マスク領域及び前記検知領域に相当する領域の入力を受け付け、
    　前記保持手段は、前記画像上に入力されたマスク領域及び前記検知領域に相当する領域を前記逆変換手段で逆変換した結果を、前記設定情報として保持する、
    　請求項６に記載の画像センサシステム。
  8. 　前記画像取得手段が取得した画像の出力を、当該画像を要求するユーザのユーザ種別又は端末の端末種別に応じて制限する、制限手段を更に備える請求項１に記載の画像センサシステム。
  9. 　前記撮像手段の撮像方向を取得する撮像方向取得手段と、
    　前記撮像方向取得手段が取得した撮像方向と正規の撮像方向とを比較し、両方向の差分を誤差角度として算出する算出手段と、
    　前記算出手段が算出した誤差角度に基づいて、前記保持手段に保持された設定情報又は前記撮像手段の撮像方向を補正する補正手段と、
    　を更に備える請求項１に記載の画像センサシステム。
  10. 　前記撮像手段を収容する筐体を有し、
    　前記撮像手段の撮像方向を示す所定のマークが、前記筐体表面に設けられている請求項９に記載の画像センサシステム。
  11. 　所定の空間を撮像した画像から当該空間の状態をセンシングする画像センサと、通信可能に接続される情報処理装置であって、
    　前記画像を用いて、当該画像内から前記センシングの非対象とするマスク領域を導出するマスク領域導出手段と、
    　前記マスク領域導出手段で導出されたマスク領域を、前記画像センサに設定するマスク領域設定手段と、
    　前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する検知領域導出手段と、
    　前記検知領域導出手段で導出された種別毎の検知領域を、前記画像センサに設定する検知領域設定手段と、
    　を備える情報処理装置。
  12. 　前記画像センサは魚眼カメラであって、
    　前記マスク領域導出手段は、前記画像センサで撮像された画像から前記魚眼カメラのレンズ中心を検出し、当該レンズ中心を基準に前記画像センサの撮像条件に応じて調整した所定の形状を表す領域を、前記マスク領域として導出する、
    　請求項１１に記載の情報処理装置。
  13. 　前記画像センサで撮像された所定期間分の画像から、前記空間内での人の行動内容を数値化した特徴量を、前記画像の領域毎に取得する行動取得手段を更に備え、
    　前記マスク領域導出手段は、前記行動取得手段が取得した領域毎の特徴量に基づき、前記マスク領域を導出し、
    　前記検知領域導出手段は、前記行動取得手段が取得した領域毎の特徴量に基づき、前記領域を所定の種別毎に分別した前記検知領域を導出する、
    　請求項１１に記載の情報処理装置。
  14. 　前記画像に含まれた所定のマーカを検出するマーカ検出手段を更に備え、
    　前記マスク領域導出手段は、前記マーカ検出手段が検出した複数のマーカのうち、マスク領域設定用のマーカにより形成される領域に基づいて、前記マスク領域を導出し、
    　前記検知領域導出手段は、前記マーカ検出手段が検出した複数のマーカのうち、検知領域設定用のマーカにより形成される領域に基づいて、前記検知領域を導出する、
    　請求項１１に記載の情報処理装置。
  15. 　前記画像センサは魚眼カメラであって、
    　前記マスク領域導出手段及び前記検知領域導出手段は、前記マーカを前記魚眼カメラの歪み係数に応じた線分で結ぶことで領域を形成する、
    　請求項１４に記載の情報処理装置。
  16. 　前記画像センサで撮像された画像上に、前記マスク領域及び前記検知領域に相当する領域の入力を受け付ける入力手段を更に備え、
    　前記マスク領域設定手段は、前記画像上に入力されたマスク領域に相当する領域を、前記マスク領域として、当該画像を撮像した前記画像センサに設定し、
    　前記検知領域設定手段は、前記画像上に入力された検知領域に相当する領域を、前記検知領域として、当該画像を撮像した前記画像センサに設定する、
    　請求項１１に記載の情報処理装置。
  17. 　前記画像センサは魚眼カメラであって、
    　前記画像センサで撮像された画像を正像化する画像処理を施す正像化手段と、
    　前記画像処理の逆変換を施す逆変換手段と、
    　を更に備え、
    　前記入力手段は、前記正像化された画像上に前記マスク領域及び前記検知領域に相当する領域の入力を受け付け、
    　前記マスク領域設定手段は、前記画像上に入力されたマスク領域に相当する領域に前記逆変換手段により逆変換を施した結果を前記マスク領域として、当該画像を撮像した前記画像センサに設定し、
    　前記検知領域設定手段は、前記画像上に入力された検知領域に相当する領域に前記逆変換手段により逆変換を施した結果を前記検知領域として、当該画像を撮像した前記画像センサに設定する、
    　請求項１６に記載の情報処理装置。
  18. 　所定の空間を撮像した画像から当該空間の状態をセンシングする画像センサと、通信可能に接続される情報処理装置で実行される情報処理方法であって、
    　マスク領域導出手段が、前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの非対象とするマスク領域を導出するマスク領域導出工程と、
    　マスク領域設定手段が、前記マスク領域導出工程で導出されたマスク領域を、前記画像センサに設定するマスク領域設定工程と、
    　検知領域導出手段が、前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する検知領域導出工程と、
    　検知領域設定手段が、前記検知領域導出手段で導出された種別毎の検知領域を、前記画像センサに設定する検知領域設定工程と、
    　を含む情報処理方法。
  19. 　所定の空間を撮像した画像から当該空間の状態をセンシングする画像センサと、通信可能に接続された情報処理装置のコンピュータを、
    前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの非対象とするマスク領域を導出するマスク領域導出手段と、
    　前記マスク領域導出手段で導出されたマスク領域を、対応する画像センサに設定するマスク領域設定手段と、
    　前記画像センサで撮像された画像を用いて、当該画像内から前記センシングの対象とする検知領域を、所定の種別毎に導出する検知領域導出手段と、
    　前記検知領域導出手段で導出された種別毎の検知領域を、対応する画像センサに設定する検知領域設定手段と、
    　して機能させるためのプログラム。
PCT/JP2012/076639 2012-01-30 2012-10-15 画像センサシステム、情報処理装置、情報処理方法及びプログラム WO2013114684A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
SG2013048384A SG192564A1 (en) 2012-01-30 2012-10-15 Image sensor system, information processing apparatus, information processing method, and program
CN201280004253.5A CN103339922B (zh) 2012-01-30 2012-10-15 图像传感器系统、信息处理装置及信息处理方法
US13/820,407 US20140340513A1 (en) 2012-01-30 2012-10-15 Image sensor system, information processing apparatus, information processing method, and computer program product
EP12856582.7A EP2811735A4 (en) 2012-01-30 2012-10-15 IMAGE SENSOR SYSTEM, DATA PROCESSING DEVICE, DATA PROCESSING METHOD, AND PROGRAM THEREOF

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-017111 2012-01-30
JP2012017111A JP5851261B2 (ja) 2012-01-30 2012-01-30 画像センサシステム、情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2013114684A1 true WO2013114684A1 (ja) 2013-08-08

Family

ID=48904750

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076639 WO2013114684A1 (ja) 2012-01-30 2012-10-15 画像センサシステム、情報処理装置、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US20140340513A1 (ja)
EP (1) EP2811735A4 (ja)
JP (1) JP5851261B2 (ja)
CN (1) CN103339922B (ja)
SG (1) SG192564A1 (ja)
WO (1) WO2013114684A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022051222A (ja) * 2020-09-18 2022-03-31 極東開発工業株式会社 作業車両

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546742A (zh) * 2013-10-31 2014-01-29 华南理工大学 一种光学标记点智能检测相机
JP6251076B2 (ja) * 2014-02-17 2017-12-20 株式会社東芝 調整装置及び調整プログラム
KR102203410B1 (ko) * 2014-10-20 2021-01-18 삼성에스디에스 주식회사 관심 영역 설정 방법 및 장치
JP6552255B2 (ja) * 2015-04-23 2019-07-31 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及び、コンピュータプログラム
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
WO2017163688A1 (en) * 2016-03-24 2017-09-28 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
KR101902999B1 (ko) * 2016-05-17 2018-10-01 (주)유비크마이크로 360도 이미지를 형성할 수 있는 카메라
KR101882977B1 (ko) * 2016-05-17 2018-07-27 (주)유비크마이크로 360도 이미지를 형성할 수 있는 렌즈 모듈 및 360도 이미지 형성 어플리케이션
JP6727998B2 (ja) * 2016-09-08 2020-07-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6484603B2 (ja) * 2016-12-26 2019-03-13 新日鉄住金ソリューションズ株式会社 情報処理装置、システム、情報処理方法、及び、プログラム
TWI664994B (zh) * 2018-01-25 2019-07-11 力山工業股份有限公司 健身器材之阻力感測機構
EP4325425B1 (en) * 2022-08-15 2024-06-12 Axis AB A method and system for defining an outline of a region in an image having distorted lines

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236673A (ja) * 2007-03-23 2008-10-02 Victor Co Of Japan Ltd 監視カメラ制御装置
JP2008242512A (ja) * 2007-03-23 2008-10-09 Saxa Inc 検知エリアの設定装置及び同設定方法
JP2009122990A (ja) * 2007-11-15 2009-06-04 Mitsubishi Electric Corp 画像処理装置
JP2010193170A (ja) * 2009-02-18 2010-09-02 Mitsubishi Electric Corp カメラキャリブレーション装置及び監視エリア設定装置
JP2011195288A (ja) * 2010-03-19 2011-10-06 Toshiba Elevator Co Ltd マンコンベア画像処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3287117B2 (ja) * 1994-07-05 2002-05-27 株式会社日立製作所 撮像装置を用いた車両用の環境認識装置
JP3996428B2 (ja) * 2001-12-25 2007-10-24 松下電器産業株式会社 異常検知装置及び異常検知システム
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US20050185053A1 (en) * 2004-02-23 2005-08-25 Berkey Thomas F. Motion targeting system and method
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4137078B2 (ja) * 2005-04-01 2008-08-20 キヤノン株式会社 複合現実感情報生成装置および方法
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
JP4566166B2 (ja) * 2006-02-28 2010-10-20 三洋電機株式会社 撮影装置
US8848053B2 (en) * 2006-03-28 2014-09-30 Objectvideo, Inc. Automatic extraction of secondary video streams
US8319666B2 (en) * 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
US9215358B2 (en) * 2009-06-29 2015-12-15 Robert Bosch Gmbh Omni-directional intelligent autotour and situational aware dome surveillance camera system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236673A (ja) * 2007-03-23 2008-10-02 Victor Co Of Japan Ltd 監視カメラ制御装置
JP2008242512A (ja) * 2007-03-23 2008-10-09 Saxa Inc 検知エリアの設定装置及び同設定方法
JP2009122990A (ja) * 2007-11-15 2009-06-04 Mitsubishi Electric Corp 画像処理装置
JP2010193170A (ja) * 2009-02-18 2010-09-02 Mitsubishi Electric Corp カメラキャリブレーション装置及び監視エリア設定装置
JP2011195288A (ja) * 2010-03-19 2011-10-06 Toshiba Elevator Co Ltd マンコンベア画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2811735A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022051222A (ja) * 2020-09-18 2022-03-31 極東開発工業株式会社 作業車両
JP7551418B2 (ja) 2020-09-18 2024-09-17 極東開発工業株式会社 作業車両

Also Published As

Publication number Publication date
JP5851261B2 (ja) 2016-02-03
CN103339922B (zh) 2016-11-09
EP2811735A4 (en) 2016-07-13
JP2013157810A (ja) 2013-08-15
US20140340513A1 (en) 2014-11-20
EP2811735A1 (en) 2014-12-10
CN103339922A (zh) 2013-10-02
SG192564A1 (en) 2013-09-30

Similar Documents

Publication Publication Date Title
JP5851261B2 (ja) 画像センサシステム、情報処理装置、情報処理方法及びプログラム
US20040228528A1 (en) Image editing apparatus, image editing method and program
JP7255718B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
JP5279654B2 (ja) 画像追尾装置、画像追尾方法、及びコンピュータプログラム
JP2008152622A (ja) ポインティング装置
KR20120019410A (ko) 제스처 기반 바이오메트릭 시스템의 방법 및 장치
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
CN111814564B (zh) 基于多光谱图像的活体检测方法、装置、设备和存储介质
US20170041538A1 (en) Method for correcting image from wide-angle lens and device therefor
US9355466B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
JP5279653B2 (ja) 画像追尾装置、画像追尾方法、及びコンピュータプログラム
CN112686820A (zh) 虚拟美妆方法、装置和电子设备
CN110363036B (zh) 基于线控器的扫码方法及装置、扫码系统
JP2010217984A (ja) 像検出装置及び像検出方法
JPWO2016174942A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018127996A1 (ja) 位置検出装置、物体検知センサ、位置検出システム、位置検出方法及び位置検出プログラム
KR100808536B1 (ko) 패턴 영상을 이용한 캘리브레이션 방법
JP6696693B2 (ja) 回転ずれ量検出装置、物体検知センサ、回転ずれ量検出システム、回転ずれ量検出方法及び回転ずれ量検出プログラム
JP6521250B2 (ja) 画像形成装置、色変換プログラムおよび色変換方法
CN110675615B (zh) 远程通信实现方法、智能投影仪及相关产品
CN112051920B (zh) 视线落点确定方法和装置
CN114037758A (zh) 基于图像的摄像机姿态感知系统
CN106846302A (zh) 一种工具正确取件的检测方法及基于此方法的考核台
KR101444207B1 (ko) 요철형 패턴 영상 획득 장치 및 방법
KR101427820B1 (ko) 드로잉 방식 이미지 기반 ｃａｐｔｃｈａ 제공 시스템 및 ｃａｐｔｃｈａ 제공 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13820407

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012856582

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12856582

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE