WO2016125420A1 - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2016125420A1
WO2016125420A1 PCT/JP2015/086394 JP2015086394W WO2016125420A1 WO 2016125420 A1 WO2016125420 A1 WO 2016125420A1 JP 2015086394 W JP2015086394 W JP 2015086394W WO 2016125420 A1 WO2016125420 A1 WO 2016125420A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
display
detection
area
determination
Prior art date
Application number
PCT/JP2015/086394
Other languages
English (en)
French (fr)
Inventor
慶二 大村
長谷川 健
Original Assignee
株式会社リコー
慶二 大村
長谷川 健
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 慶二 大村, 長谷川 健 filed Critical 株式会社リコー
Priority to EP15881237.0A priority Critical patent/EP3255884A4/en
Priority to JP2016573210A priority patent/JP6597643B2/ja
Priority to CN201580075316.XA priority patent/CN107211112B/zh
Publication of WO2016125420A1 publication Critical patent/WO2016125420A1/ja
Priority to US15/665,459 priority patent/US10873719B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • the present invention relates to an image processing apparatus, an image processing system, an image processing method, and a program.
  • Patent Document 1 As such an image monitoring system that detects an abnormality of a product based on an image, a system that determines whether there is an abnormality at a predetermined timing and displays OK determination or NG determination has been proposed ( Patent Document 1).
  • Patent Document 1 only displays a result of determining whether or not there is an abnormality at a predetermined timing, and has various determination functions (for example, a function that constantly detects not a predetermined timing). Or a function for detecting only an image change, not an abnormality detection), it is impossible to simultaneously indicate how these functions are operating. Therefore, in the case of a system having a plurality of determination functions, there is a problem that the operation states of these determination functions cannot be grasped simultaneously.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus, an image processing system, an image processing method, and a program capable of simultaneously grasping the states of a plurality of types of determination operations. To do.
  • the present invention includes a display unit and a video display control unit that displays video data captured by the imaging unit in a predetermined display area displayed by the display unit. And a display control means for displaying a plurality of display elements indicating determination areas based on a plurality of types of determination functions for the video data on the display area in a different manner from each other. It is characterized by that.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an image processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a functional block configuration of the information processing apparatus according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a directory structure of information stored in the storage device in the information processing apparatus according to the embodiment.
  • FIG. 5 is a diagram illustrating an example in which a plurality of real-time videos are displayed on the watcher screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an image processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a functional block configuration of the information processing apparatus according to the embodiment.
  • FIG. 4 is
  • FIG. 6 is a diagram illustrating an example of a state in which video data is displayed on a setting screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 7 is a diagram illustrating an example in which a constant detection area is designated in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 8 is a diagram illustrating an example in which a trigger region is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of a mark display when a change point in the trigger region is found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 10 is a diagram for explaining an operation of detecting a change point in the trigger region.
  • FIG. 11 is a diagram illustrating an example of a dialog displayed when two change points in the trigger area are found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of a dialog displayed when a change point in the trigger region is not found on the setting screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 13 is a diagram illustrating an example in which a detection area is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of a dialog displayed when two change points in the trigger area are found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of a dialog displayed when a change point in the trigger region is not found on the setting screen displayed on the display device of the information
  • FIG. 14 is a diagram illustrating an example in which the second detection area is designated in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 15 is a diagram illustrating an example of setting the attribute information of the detection area specified by the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 16 is a diagram illustrating an example of a state in which a monitoring operation is performed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 17 is a diagram illustrating an example of a state before a trigger is generated in the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 18 is a diagram illustrating an example of a state in which a trigger is generated in the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 19 is a diagram illustrating an example of a state in which image determination is performed in the detection area by the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 20 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing device according to the embodiment.
  • FIG. 21 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing device according to the embodiment.
  • FIG. 22 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 23 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 22 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 23 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of
  • FIG. 24 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing device according to the embodiment.
  • FIG. 25 is a diagram illustrating an example of a state in which a video recorded on the viewer screen displayed in the display area of the information processing apparatus according to the embodiment is reproduced and displayed.
  • FIG. 26 is a diagram illustrating an example of a state in which the image determination state is reproduced with respect to the video reproduced and displayed on the viewer screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 27 is a diagram illustrating an example of a state in which the marker list screen is displayed on the viewer screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 28 is a flowchart illustrating an example of a monitoring operation on a watcher screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 29 is a flowchart illustrating an example of an operation in which an image determination state is reproduced for a video reproduced and displayed on a viewer screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 30 is a diagram illustrating an example of a state before a trigger is generated in the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 31 is a diagram illustrating an example of a state in which a trigger is generated in the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 29 is a flowchart illustrating an example of a monitoring operation on a watcher screen displayed on the display device of the information processing device according to the embodiment.
  • FIG. 29 is a flowchart illustrating an example of
  • FIG. 32 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 33 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 34 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 33 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 34 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation
  • FIG. 35 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 36 is a diagram illustrating an example of a state in which image determination is performed in the detection area by a monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 37 is a diagram illustrating an example of a state in which image determination is performed in the detection area by the monitoring operation performed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an image processing system according to an embodiment. The overall configuration of the image processing system 1 of the present embodiment will be described with reference to FIG.
  • an image processing system 1 includes imaging devices 2a to 2f (imaging means), an information processing device 3, and a network 4.
  • the imaging devices 2a to 2f capture (capture) a subject by converting light from the subject into an electrical signal, and video data that is a moving image (for example, 10 [FPS]) composed of a plurality of frames (image data).
  • video data that is a moving image (for example, 10 [FPS]) composed of a plurality of frames (image data).
  • a video camera that generates
  • the imaging devices 2a to 2f image production facilities or production lines that produce products, and generate video data for detecting an abnormality in a workpiece that is a product.
  • imaging devices 2a to 2f are simply referred to as “imaging device 2” when referred to collectively or collectively.
  • the image processing system 1 is configured to include six imaging devices 2, but is not limited thereto, and may be configured to include other numbers of imaging devices 2. Good.
  • the information processing apparatus 3 is a PC (Personal Computer) or a workstation that functions as an image processing apparatus that performs image determination based on video data captured by the imaging apparatus 2. Further, the information processing apparatus 3 is connected to an external device 10 such as a production facility so as to enable communication according to, for example, a fieldbus standard.
  • an external device 10 such as a production facility so as to enable communication according to, for example, a fieldbus standard.
  • the network 4 is, for example, an Ethernet (registered trademark) standard network for connecting the imaging devices 2a to 2f and the information processing device 3.
  • the network 4 performs data communication using a protocol such as TCP (Transmission Control Protocol) / IP (Internet Protocol).
  • TCP Transmission Control Protocol
  • IP Internet Protocol
  • the imaging devices 2a to 2f and the information processing device 3 have a MAC (Media Access Control) address for communication using the TCP / IP protocol and are assigned an IP address such as a private IP address.
  • the specific configuration of the network 4 is, for example, a star wiring format in which each of the imaging devices 2a to 2f and the information processing device 3 is connected to a switching hub having a plurality of ports by a LAN (Local Area Network) cable. Can be mentioned.
  • the network 4 shown in FIG. 1 shows an example in which communication is performed using TCP / IP.
  • a VGA Video Graphics Array
  • a USB USB
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus according to the embodiment.
  • a hardware configuration of the information processing apparatus 3 according to the present embodiment will be described with reference to FIG.
  • the information processing apparatus 3 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an external storage device 104, a display 105, A network I / F 106, a keyboard 107, a mouse 108, a DVD (Digital Versatile Disc) drive 109, an external device I / F 111, and a speaker 112 are provided.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 101 is a device that controls the operation of the entire information processing apparatus 3.
  • the ROM 102 is a nonvolatile storage device that stores a program for the information processing device 3.
  • the RAM 103 is a volatile storage device used as a work area for the CPU 101.
  • the external storage device 104 is a storage device such as HDD (Hard Disk Drive) or SSD (Solid State Drive) that stores video data captured by the imaging device 2 and various data such as setting information.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the display 105 is a display device that displays various information such as a cursor, a menu, a window, a character or an image, or a screen of an application that executes an image determination operation by the information processing device 3.
  • the display 105 is, for example, a CRT (Cathode Ray Tube) display, a liquid crystal display, a plasma display, an organic EL (Electroluminescence) display, or the like.
  • the display 105 is connected to the main body of the information processing apparatus 3 by, for example, a VGA cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, or the like, or is connected by an Ethernet cable.
  • the network I / F 106 is an interface for connecting to the network 4 and performing data communication.
  • the network I / F 106 is, for example, a NIC (Network Interface Card) that enables communication using a TCP / IP protocol.
  • the information processing device 3 acquires video data from the imaging device 2 via the network 4 and the network I / F 106.
  • the keyboard 107 is an input device for inputting characters, numbers, various instructions, moving the cursor, setting setting information, and the like. Note that the setup number is not limited to being composed only of numerals, and may be a combination of letters and symbols.
  • the mouse 108 is an input device for selecting and executing various instructions, selecting a processing target, moving a cursor, setting setting information, and the like.
  • the DVD drive 109 is a device that controls reading, writing, and deletion of data with respect to the DVD 110 as an example of a removable storage medium.
  • the external device I / F 111 is an interface for connecting to the external device 10 for data communication.
  • the external device I / F 111 is an interface card that enables communication according to the fieldbus standard, for example. Specifically, the information processing apparatus 3 performs data communication with the external device 10 via the external device I / F 111.
  • the speaker 112 is a device that outputs sound according to the operation of the application.
  • the above-described CPU 101, ROM 102, RAM 103, external storage device 104, display 105, network I / F 106, keyboard 107, mouse 108, DVD drive 109, external device I / F 111, and speaker 112 are a bus 113 such as an address bus and a data bus. So that they can communicate with each other.
  • the display 105 is connected by an Ethernet cable, it is connected to the network I / F 106. In this case, data communication is performed using a protocol such as TCP / IP.
  • FIG. 3 is a diagram illustrating an example of a functional block configuration of the information processing apparatus according to the embodiment. The block configuration of the information processing apparatus 3 will be described with reference to FIG.
  • the information processing device 3 includes a video reception unit 301, a storage unit 302 (storage unit), an input unit 303, a first reproduction unit 304, a trigger region designation unit 305, and a change point detection.
  • the network 4 is not shown for the sake of simplicity.
  • the control unit 316 corresponds to an example of “time information management unit” of the present invention.
  • the video receiving unit 301 is a functional unit that performs data communication with the imaging device 2 via the network 4 and receives video data from the imaging device 2.
  • the video receiving unit 301 stores the received video data in the storage unit 302.
  • the video receiving unit 301 is realized by the network I / F 106 shown in FIG.
  • the storage unit 302 is a storage device that stores the video data received by the video receiving unit 301, various setting information, time information to be described later, and the like.
  • the storage unit 302 identifies and stores which imaging device 2 the video data received by the video reception unit 301 is.
  • the storage unit 302 is realized by, for example, the RAM 103 or the external storage device 104 illustrated in FIG.
  • the input unit 303 is a device that performs an operation input for an image determination operation or the like executed by the information processing device 3.
  • the input unit 303 is realized by the keyboard 107 and the mouse 108 shown in FIG.
  • the first playback unit 304 sends the video data acquired from the storage unit 302 to the display control unit 331 according to an operation signal from the input unit 303 operated by the user, and displays the video data to the display control unit 331.
  • This is a functional unit that plays back and displays.
  • the first reproduction unit 304 reproduces and displays the video data on the setting video display unit 502 of the setting screen 500 displayed on the display unit 333 described later with reference to FIG.
  • the first reproduction unit 304 is realized by a program executed by the CPU 101 shown in FIG.
  • the trigger area designating unit 305 determines the trigger timing in the display area of the video data on the display unit 333 (setting video display unit 502 to be described later with reference to FIG. 6) in accordance with an operation signal from the input unit 303 operated by the user. It is a functional part that designates the trigger area to be performed.
  • the trigger area designating unit 305 causes the storage unit 302 to store the information on the designated trigger area in association with each imaging device 2.
  • the trigger area information is information such as coordinates indicating the position of the trigger area in the display area of the video data and the shape of the trigger area, for example.
  • the trigger area specified by the trigger area specifying unit 305 is used in an instantaneous detection function described later.
  • the trigger area specifying unit 305 is realized by a program executed by the CPU 101 shown in FIG.
  • the change point detecting unit 306 is for a predetermined time before and after the time of the frame of the video data reproduced and displayed by the first reproducing unit 304 at the specified time. It is a functional unit that acquires a frame, calculates a difference in pixel value from the previous frame for each acquired frame, and detects a change point for an image in the trigger region based on the calculated difference. .
  • the change point will be described later.
  • a difference calculation method for example, pixel values in the trigger areas of two frames are compared, and the total number of pixels having pixel values different from each other by a predetermined sensitivity or more is calculated as a difference.
  • the pixel value matches the luminance value, so the luminance values in the trigger areas of the two frames are compared, and the difference in the total number of pixels whose luminance values differ by more than a predetermined sensitivity May be calculated as
  • the frame is an image composed of RGB pixel values
  • the pixel values of R (red), G (green), and B (blue) are compared, and the pixel value is the same as described above.
  • the sum of the number of pixels that differ by more than a predetermined sensitivity may be calculated as a difference.
  • edge detection processing may be performed on the frame image, and the sum of the edge portions may be calculated as a difference.
  • the change point detection unit 306 is realized by a program executed by the CPU 101 shown in FIG.
  • the detection area designating unit 307 is a target of an image determination operation for detecting an abnormality in the video data display area (setting video display unit 502) on the display unit 333 in accordance with an operation signal from the input unit 303 operated by the user. It is a functional unit that designates a detection area.
  • the detection area designating unit 307 stores information on the designated detection area in the storage unit 302 in association with each imaging device 2.
  • the information on the detection area is information such as coordinates indicating the position of the detection area in the display area of the video data, the shape of the detection area, and the like.
  • the detection area designating unit 307 can designate a plurality of detection areas in the video data display area, as will be described later.
  • the detection area designated by the detection area designation unit 307 is used in an instantaneous detection function described later.
  • the detection area designating unit 307 is realized by a program executed by the CPU 101 shown in FIG.
  • the setting unit 308 is a functional unit that sets various setting information according to an operation signal from the input unit 303 operated by the user and stores the setting information in the storage unit 302. Also, the setting unit 308 sends information that needs to be displayed among the set setting information from the storage unit 302 to the display control unit 331, and causes the display control unit 331 to display the setting information on the display unit 333.
  • the setting unit 308 is realized by a program executed by the CPU 101 shown in FIG.
  • the constantly detecting area designating unit 309 is an image determining operation that always detects an abnormality in the display area of the video data (setting video display section 502) on the display unit 333 in accordance with an operation signal from the input unit 303 operated by the user. It is a functional part that designates a constant detection area that is the target of the.
  • the constant detection area designating unit 309 causes the storage unit 302 to store the designated constant detection area information in association with each imaging device 2. Further, the information on the constantly detecting area is information such as coordinates indicating the position of the constantly detecting area in the display area of the video data, the shape of the always detecting area, and the like.
  • the always-on detection area designated by the always-on sensing area designating unit 309 is used by the always-on sensing function described later.
  • the constant detection area designating unit 309 is realized by a program executed by the CPU 101 shown in FIG.
  • the video distribution unit 312 sends real-time video data acquired from the video receiving unit 301 to the display control unit 331 according to an operation signal from the input unit 303 operated by the user, and sends the video data to the display control unit 331.
  • This is a functional unit to be displayed on the display unit 333.
  • the video distribution unit 312 distributes and displays the corresponding video data on the video display units 401a to 401f of the watcher screen 400 displayed on the display unit 333 described later with reference to FIG.
  • the video distribution unit 312 stores (records) each video data to be displayed on the video display unit 401 in the storage unit 302.
  • the video distribution unit 312 is realized by a program executed by the CPU 101 shown in FIG.
  • the trigger generation unit 313 compares the difference image with the image of the trigger region of the video data frame in the trigger region in the video display units 401a to 401f of the watcher screen 400 shown in FIG.
  • the functional unit generates a trigger signal at the trigger timing.
  • the trigger generation unit 313 is realized by a program executed by the CPU 101 shown in FIG.
  • the detection area determination unit 314 receives the detection reference image and the video data in the detection areas in the video display units 401a to 401f before or after the set time when the trigger signal generated by the trigger generation unit 313 is received. It is a functional unit that determines whether or not there is an abnormality by comparing the image in the detection area of the frame.
  • the detection area determination unit 314 is realized by a program executed by the CPU 101 illustrated in FIG.
  • the constant detection area determination unit 315 After the monitoring operation is started, the constant detection area determination unit 315 always detects the constant detection reference image and the frame of the video data in the constant detection area in the video display units 401a to 401f of the watcher screen 400 shown in FIG. It is a functional unit that always executes a determination as to whether or not there is an abnormality by comparing with an image in a region.
  • the constant detection area determination unit 315 is realized by a program executed by the CPU 101 shown in FIG.
  • the first control unit 316 controls the overall operation of the watcher screen 400 in addition to starting and stopping the monitoring operation on the watcher screen 400 of FIG. 16 to be described later in accordance with an operation signal from the input unit 303 operated by the user. It is a functional part to do.
  • the first control unit 316 is realized by a program executed by the CPU 101 shown in FIG.
  • the notification control unit 317 is a functional unit that causes the notification unit 334 to output sound based on the detection region determination result by the detection region determination unit 314.
  • the notification control unit 317 is realized by a program executed by the CPU 101 shown in FIG.
  • the second playback unit 318 sends the video data acquired from the storage unit 302 to the display control unit 331 according to the operation signal from the input unit 303 operated by the user, and displays the video data to the display control unit 331.
  • This is a functional unit that plays back and displays.
  • the second playback unit 318 distributes and plays back the corresponding video data on the video display units 701a to 701f of the viewer screen 700 displayed on the display unit 333 described later with reference to FIG.
  • the second playback unit 318 is realized by a program executed by the CPU 101 shown in FIG.
  • the area display control unit 319 is based on the detection time information (time information) of each determination area (trigger area, detection area, and constant detection area) stored in the input unit 303. This is a functional unit that displays the state of each determination area superimposed on the frame of the video data reproduced and displayed at 701f.
  • the area display control unit 319 is realized by a program executed by the CPU 101 shown in FIG.
  • the list control unit 320 is a functional unit that reads a marker file stored in the storage unit 302 on the viewer screen 700 and displays a marker list screen 800 described later in FIG. 27 for displaying the contents of the marker file.
  • the marker file is a time series of the time when an abnormality is detected by the constant detection function, the time when the trigger is generated (trigger signal is generated) by the instantaneous detection function, and the time when the abnormality is detected. It is a recorded file.
  • the list control unit 320 is realized by a program executed by the CPU 101 shown in FIG.
  • the second control unit 321 is a functional unit that controls the entire operation of the viewer screen 700.
  • the second control unit 321 is realized by a program executed by the CPU 101 shown in FIG.
  • the display control unit 331 is a functional unit that controls the display operation of the display unit 333. Specifically, the display control unit 331 displays the video data acquired by the first playback unit 304, the setting information set by the setting unit 308, the trigger region specified by the trigger region specifying unit 305, and the detection region specification. The detection area designated by the unit 307 is displayed on the display unit 333.
  • the display control unit 331 is realized by a program (driver) executed by the CPU 101 shown in FIG.
  • the external output unit 332 is a functional unit that outputs an abnormal signal to the external device 10 when an abnormality is determined by the detection region determination unit 314 or the constant detection region determination unit 315.
  • the external output unit 332 is realized by the external device I / F 111 illustrated in FIG. Note that the external output unit 332 outputs an abnormal signal, but the present invention is not limited to this, and a batch file for notifying abnormality by e-mail is transmitted to the external device 10 or the watcher screen 400 It is also possible to take measures such as notifying abnormality (for example, blinking with a lamp icon).
  • the display unit 333 is a device that displays various data according to the control of the display control unit 331.
  • the display unit 333 displays a watcher screen 400, a setting screen 500, a viewer screen 700, and the like, which will be described later, by a program (application) executed by the CPU 101 shown in FIG.
  • the display unit 333 is realized by the display 105 shown in FIG.
  • the notification unit 334 is a device that outputs sound in accordance with the control of the notification control unit 317.
  • the notification unit 334 is realized by the speaker 112 illustrated in FIG.
  • regeneration part 304 shown in FIG. 3 the trigger area
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • each functional unit shown in FIG. 3 conceptually shows a function, and is not limited to such a configuration.
  • a plurality of functional units illustrated as independent functional units in FIG. 3 may be configured as one functional unit.
  • the function of one functional unit in FIG. 3 may be divided into a plurality of units and configured as a plurality of functional units.
  • the expression that the display control unit 331 displays the received data on the display unit 333 is simply expressed by a function unit that has sent the data to the display control unit 331. It is expressed that it is displayed on (or the screen displayed by the display unit 333).
  • the first reproduction unit 304 sends the video data to the display control unit 331 and causes the display control unit 331 to reproduce and display the video data on the display unit 333
  • the first reproduction unit 304 simply displays the video data. It is expressed that playback is displayed on the display unit 333.
  • FIG. 4 is a diagram illustrating an example of a directory structure of information stored in the storage device in the information processing apparatus according to the embodiment. A directory structure for managing information in the storage unit 302 will be described with reference to FIG.
  • the storage unit 302 forms a “Setting” folder and a “Common” folder as root folders.
  • “CAM1” to “CAM6” folders (hereinafter simply referred to as “camera folder”) for storing information on each imaging apparatus 2 are formed.
  • the “CAM1” to “CAM6” folders correspond to folders related to the imaging devices 2a to 2f, respectively.
  • the area information file is a file including position information (information such as coordinates indicating the position and area shape) of each determination area set for the corresponding imaging device 2 and attribute information described later.
  • the time information file includes a time at which the monitoring operation starts and ends for the corresponding imaging device 2, a time at which each determination area is designated (set), and a time at which each determination area is detected during the monitoring operation. It is.
  • the image data is data such as a trigger reference image and a difference image, a detection reference image, and a constant detection reference image, which will be described later.
  • the directory structure for managing the information shown in FIG. 4 is an example, and the present invention is not limited to this. Information may be managed by other data structures. Further, the names of folders shown in FIG. 4 are merely examples, and the present invention is not limited to these.
  • FIG. 5 is a diagram illustrating an example in which a plurality of real-time videos are displayed on the watcher screen displayed on the display device of the information processing apparatus according to the embodiment.
  • the configuration of the watcher screen 400 and the operation for displaying a plurality of real-time videos will be described with reference to FIG.
  • the watcher screen 400 shown in FIG. 5 is displayed on the display unit 333 by a program (application) executed by the CPU 101.
  • the watcher screen 400 displays video data received from a plurality of imaging devices 2 in real time, and when an image determination operation (monitoring operation) is performed, image determination is performed in each specified determination area. It is a screen.
  • a trigger signal is generated at the trigger timing by the trigger generation unit 313 in the trigger region designated by the trigger region designation unit 305. Generated.
  • the presence or absence of an abnormality is determined in the detection area designated by the detection area designation unit 307 before or after the set time when the trigger signal is received by the detection area judgment unit 314.
  • the always-detection area determination unit 315 always determines whether there is an abnormality in the always-detection area specified by the always-detection area specifying unit 309. Is done.
  • the watcher screen 400 includes video display units 401a to 401f, a monitoring start button 411, a monitoring stop button 412, a monitoring setting button 413, and status display units 421a to 421f.
  • the video display units 401a to 401f receive real-time video data acquired from the imaging devices 2a to 2f via the video reception unit 301 by the video distribution unit 312 according to an operation signal from the input unit 303 operated by the user. It is a display part displayed respectively.
  • the video display units 401a to 401f can be selected when pressed by the user through the input unit 303 (for example, the click operation of the mouse 108, etc.). Note that the video display units 401a to 401f are simply referred to as “video display unit 401” when they are referred to without distinction or collectively.
  • the video display unit 401 in a selected state in which real-time video data is displayed is displayed in the trigger region specified by the trigger region specifying unit 305.
  • the trigger generation unit 313 generates a trigger signal at the trigger timing, and the detection region determination unit 314 starts determining whether there is an abnormality in the detection region before or after the set time when the trigger signal is received. Further, in the video display unit 401 in a selected state where real-time video data is displayed, determination of the presence / absence of an abnormality in the constant detection area designated by the constant detection area designation unit 309 is started.
  • the trigger is generated by the trigger generation unit 313 and the detection region determination unit 314 generates the trigger signal at the trigger display unit 313. It is a button for stopping the determination operation for the presence or absence of abnormality in the detection region and the determination operation for the presence or absence of abnormality in the constant detection region by the constant detection region determination unit 315.
  • the first control unit 316 displays a setting screen 500 shown in FIG. 6 described later on the display unit 333 in order to set each determination area. It is a button to be displayed.
  • the status display units 421a to 421f are display units that indicate the status of the imaging device 2 corresponding to each video display unit 401.
  • the status display units 421a to 421f display contents indicating the status of the imaging apparatus 2, such as “not connected”, “not set”, “setting completed”, and “monitoring”.
  • “Not connected” indicates a state in which the imaging device 2 corresponding to the video display unit 401 is not connected to the image processing system 1, and a state in which video data is not displayed on the video display unit 401.
  • “Not set” indicates a state in which the trigger area, the detection area, the constant detection area, and the like are not set for the video data displayed on the video display unit 401.
  • “Setting completed” indicates a state in which settings of the trigger area, the detection area, the constant detection area, and the like have been completed for the video data displayed on the video display unit 401. “Monitoring” indicates a state in which an image determination operation (monitoring operation) is being executed based on the set information of each determination region.
  • the status display units 421a to 421f are referred to without distinction or collectively, they are simply referred to as “status display unit 421”.
  • FIG. 6 is a diagram illustrating an example of a state in which video data is displayed on a setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • the configuration of the setting screen 500 will be described with reference to FIG. 6 and FIG.
  • the setting screen 500 is a screen for setting a trigger region, a detection region and a constant detection region, and setting a sensitivity and a threshold for image determination in the detection region and the constant detection region.
  • a setting screen 500 shown in FIG. 6 is a screen for setting the constant detection function.
  • a selection tab 551, a constant detection area information section 561, and a constant detection area button group 562 are included.
  • the camera selection tab 501 selects which video data is to be displayed on the setting video display unit 502 from the video data of the imaging devices 2a to 2f that the user desires to specify the trigger area, the detection area, and the constant detection area. It is an operation unit.
  • the video data captured by the imaging devices 2a to 2f are associated with “1” to “6”, respectively.
  • “6” that is, the video data of the imaging device 2f is selected. An example is shown.
  • the setting video display unit 502 is a display unit that reproduces and displays video data acquired from the storage unit 302 in accordance with an operation signal from the input unit 303 operated by the user by the first playback unit 304.
  • the first playback unit 304 sets the video data captured by the imaging device 2 f to the setting video.
  • the display unit 502 reproduces and displays.
  • the playback button 503a is a button by which the first playback unit 304 starts playback of the video data displayed on the setting video display unit 502 when pressed by the operation of the input unit 303 by the user.
  • the pause button 503b is a button for temporarily stopping the video data reproduced and displayed on the setting video display unit 502 by the first reproduction unit 304 when pressed by the user operating the input unit 303.
  • the fast-forward button 503c is a button for fast-forwarding and displaying the video data reproduced and displayed on the setting video display unit 502 by the first reproduction unit 304 when pressed by an operation of the input unit 303 by the user.
  • the fast-reverse button 503d is a button that, when pressed by the user's operation of the input unit 303, causes the first playback unit 304 to quickly display the video data that has been reproduced and displayed on the setting video display unit 502.
  • the stop button 503e is a button for stopping the video data reproduced and displayed on the setting video display unit 502 by the first reproduction unit 304 when pressed by an operation of the input unit 303 by the user.
  • the seek bar 504 is a bar-shaped body that indicates which time the video data reproduced and displayed on the setting video display unit 502 is based on the position of the slider 505 disposed thereon.
  • the slider 505 is a shape body that slides to a position on the seek bar 504 corresponding to the imaging time of the video data reproduced and displayed on the setting video display unit 502 (the time when the displayed frame is captured), and is an operation unit. is there.
  • the first playback unit 304 sets the frame of the video data at the imaging time corresponding to the position on the seek bar 504 where the slider 505 exists. It is displayed on the video display unit 502.
  • the time display unit 506 is a display unit that displays the imaging date and imaging time of the video data reproduced and displayed on the setting video display unit 502 by the first reproduction unit 304.
  • the button is a button that is used to read out information on the constant detection area and the like and display it on each display unit of the setting screen 500.
  • the setting write button 512 is pressed by an operation of the input unit 303 by the user, information on a trigger area, a detection area, a constant detection area, and the like set on the setting screen 500 by the setting unit 308 are displayed on the camera selection tab.
  • the setting reflection button 513 When the setting reflection button 513 is pressed by an operation of the input unit 303 by the user, information on the trigger area, the detection area, the constant detection area, and the like set on the setting screen 500 by the setting unit 308 is displayed on the watcher screen 400 and The button is valid until an application such as the setting screen 500 is closed (for example, temporarily stored in the RAM 103).
  • the close button 514 is a button for causing the setting unit 308 to close the setting screen 500 and causing the display unit 333 to display the watcher screen 400 when pressed by the operation of the input unit 303 by the user.
  • the area selection tab 551 includes a tab for designating a constant detection area used for the constant detection function, and a tab for designating a trigger area and a detection area used for the instantaneous detection function.
  • the setting screen 500 shown in FIG. 6 shows a state in which a tab for designating a constant detection area is selected by the user operating the input unit 303.
  • a setting screen 500 shown in FIG. 8 described later shows a state where a tab for designating a trigger area and a detection area is selected by an operation of the input unit 303 by the user.
  • the constant detection area information unit 561 includes the name, sensitivity, threshold, monitoring method (indicated as “monitoring” in FIG. 6) of the constant detection area designated by the constant detection area specifying unit 309, and presence / absence of an action (in FIG. 6, “ It is a display unit and a selection operation unit that display (hereinafter, referred to as “action”) (hereinafter, these pieces of information about the constant detection area are referred to as attribute information).
  • the always-detection area button group 562 is a button group that is designated by the always-detection area specifying unit 309 and edits attribute information about the always-detection area displayed in the always-detection area information unit 561.
  • the constantly detecting area button group 562 includes an action button 562a, a delete button 562c, a sensitivity increase button 562e, a sensitivity decrease button 562f, a threshold increase button 562g, and a threshold decrease button 562h. The function of each button of the constantly detecting area button group 562 will be described later.
  • a setting screen 500 shown in FIG. 8 to be described later shows a state where a tab for designating a trigger region and a detection region is selected on the region selection tab 551 as described above, and a trigger region information section 507 and a reference image display are displayed.
  • the trigger region information unit 507 is a display unit that displays the name of the trigger region specified by the trigger region specifying unit 305, and the sensitivity and threshold value for the change point detection unit 306 to detect the above-described change point.
  • the reference image display unit 508 a is a display unit that displays the trigger reference image extracted by the change point detection unit 306.
  • the difference image display unit 508 b is a display unit that displays a difference image (described later) extracted by the change point detection unit 306.
  • the detection area information unit 509 includes the name, sensitivity, threshold value, detection delay time (indicated as “delay time” in FIG. 8) of the detection area specified by the detection area specifying unit 307, and a monitoring method (“monitoring” in FIG. 8). (Notation), presence / absence of action (indicated as “action” in FIG. 8), and image determination method (indicated as “image determination” in FIG. 8) (hereinafter, these pieces of information about the detection area are referred to as attribute information). And a selection operation unit.
  • the detection area button group 510 is a button group that is designated by the detection area designation unit 307 and edits attribute information about the detection area displayed in the detection area information unit 509.
  • the detection area button group 510 includes an action button 510a, an image determination selection button 510b, a delete button 510c, a sensitivity increase button 510e, a sensitivity decrease button 510f, a threshold increase button 510g, and a threshold decrease button 510h. .
  • the function of each button of the detection area button group 510 will be described later.
  • FIG. 7 is a diagram illustrating an example in which a constant detection area is designated in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment. The designation of the constant detection area will be described with reference to FIG.
  • the setting screen 500 shown in FIG. 7 shows a state in which the detection area 570 is always designated in the setting video display unit 502 in which video data is reproduced and displayed by the first reproduction unit 304.
  • the user operates the input unit 303.
  • the pause button 503b is pressed, the first playback unit 304 pauses the video data that is played back and displayed on the setting video display unit 502, and the imaging date and time of the current frame are displayed in the time display unit. 506 is displayed.
  • the “always” tab of the area selection tab 551 is selected and operated by the user operating the input unit 303, the setting unit 308 displays information about the always-detected area.
  • the always-detection area designating unit 309 designates and displays the always-detection area 570 (determination area) on the setting video display unit 502. .
  • the setting unit 308 uses, as attribute information of the always-detection area 570, a name given to the always-detection area 570 designated by the always-detection area designating unit 309, and a predetermined value used in image determination described later as a default value. Sensitivity (for example, “50”), a predetermined threshold (for example, “20%”), a monitoring method (for example, “grayscale”), and the presence / absence of an action (for example, “none”) are always detected area information section. 561 is displayed. As shown in FIG.
  • the setting unit 308 assumes that the name of the always-detection area 570 is the always-detection area designated for the video data of the imaging device “6” (imaging device 2 f), for example, It is named “A61”.
  • the always-detection area designating unit 309 is a video display unit for setting the time at which the always-sensing area 570 is designated in association with the imaging device 2 selected in the camera selection tab 501 (the imaging device 2f in the example of FIG. 7).
  • An image in the constantly detecting area 570 in the frame (image) displayed in 502 is extracted as a constantly detecting reference image and stored in the storage unit 302, and information (position information such as position and shape) of the designated always detecting area 570 is stored.
  • the always-detection area designating unit 309 causes the storage unit 302 to store time information (time information) designating the always-detection area 570 in association with the imaging device 2 selected on the camera selection tab 501. Note that a plurality of always-on detection areas can be specified by the always-on detection area specifying unit 309 in the same manner as described above.
  • the attribute information of the constantly detecting area (always detecting area 570 in FIG. 7) designated on the setting screen 500 shown in FIG. 7 can be edited.
  • the unit 308 reversely displays the display portion of the attribute information of the always-on detection area of the selected always-on detection area information unit 561.
  • the constant detection area 570 (always detection area name “A61”) shown in FIG. 7 is selected.
  • the setting unit 308 switches the set value of the presence / absence of the action in the selected constant detection area 570. For example, when the presence / absence of an action in the constant detection area 570 is “none”, when the action button 562a is pressed, the setting unit 308 sets the presence / absence of an action in the constant detection area 570 to “present”. On the other hand, when the presence / absence of an action in the constant detection area 570 is “Yes”, when the action button 562a is pressed, the setting unit 308 sets the presence / absence of an action in the constant detection area 570 to “None”. As will be described later, when the presence / absence of an action is “Yes”, the external output unit 332 outputs an abnormal signal when the always-detection area determination unit 315 determines that the image is abnormal in the always-detection area. .
  • the setting unit 308 deletes the attribute information of the always-on detection area 570 displayed on the always-on detection area information unit 561 and stores it in the storage unit 302.
  • the stored information of the constant detection area 570 is deleted.
  • the constant detection area designating unit 309 deletes the constant detection area 570 displayed on the setting video display unit 502 and deletes the constant detection reference image stored in the storage unit 302.
  • the setting unit 308 increases the sensitivity value used for image determination of the selected always-on detection area 570 by a predetermined value.
  • the setting unit 308 decreases the sensitivity value used for image determination of the selected always-on detection area 570 by a predetermined value.
  • the setting unit 308 increases the threshold value used for image determination of the selected always-on detection area 570 by a predetermined value.
  • the threshold reduction button 562h is pressed by the user operating the input unit 303, the setting unit 308 decreases the threshold value used for image determination of the selected always-on detection area 570 by a predetermined value.
  • FIG. 8 is a diagram illustrating an example in which a trigger region is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of a mark display when a change point in the trigger region is found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 10 is a diagram for explaining an operation of detecting a change point in the trigger region.
  • FIG. 11 is a diagram illustrating an example of a dialog displayed when two change points in the trigger area are found on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of a dialog displayed when a change point in the trigger region is not found on the setting screen displayed on the display device of the information processing device according to the embodiment.
  • the trigger area designation and change point detection will be described with reference to FIGS.
  • the setting screen 500 shown in FIG. 8 shows a state in which the trigger area 530 is designated in the setting video display unit 502 in which video data is reproduced and displayed by the first reproduction unit 304.
  • the user operates the input unit 303 at the timing when the desired image portion that is the basis of generation of the trigger is displayed.
  • the pause button 503b is pressed
  • the first playback unit 304 pauses the video data that is played back and displayed on the setting video display unit 502, and the imaging date and time of the current frame are displayed in the time display unit. 506 is displayed.
  • the setting unit 308 displays information on the trigger area and the detection area.
  • the trigger region specifying unit 305 specifies and displays the trigger region 530 (determination region) on the setting video display unit 502.
  • the setting screen 500 shown in FIG. 9 shows a state when a change point is detected in the trigger region 530 specified by the trigger region specifying unit 305 by the change point detecting unit 306. Specifically, when the trigger region 530 is designated by the trigger region designation unit 305, the change point detection unit 306 first determines the frame of the video data being reproduced and displayed by the first reproduction unit 304 at the designated time point. Frames for a predetermined time (for example, two minutes before and after the imaging time) are acquired, and an image in the trigger region 530 at the time when the trigger region 530 is designated is extracted as a trigger reference image (first reference image).
  • a predetermined time for example, two minutes before and after the imaging time
  • the change point refers to a point in time when a predetermined change in the image in the trigger region 530 is taken as a reference for the timing at which the trigger generation unit 313 generates the trigger signal.
  • a specific method for detecting change points by the change point detection unit 306 will be described.
  • the change point detection unit 306 acquires 13 frames (frame (0) to frame (12)) as frames for a predetermined time. In this case, the change point detection unit 306 acquires frames for a predetermined time before and after the frame (6) as the middle. For the sake of simplicity, the image of the portion corresponding to the trigger area 530 in each frame is also referred to as frame (0) to frame (12), respectively. Then, the change point detection unit 306 calculates a difference in pixel values from the immediately preceding frame for each acquired frame. The difference calculation method is as described above.
  • the graph shown in FIG. 10B is a graph in which the change point detection unit 306 extracts the frames exemplified in FIG.
  • the difference between the frame (1) indicates the difference between the frame (1) and the frame (0) which is the immediately preceding frame.
  • the IN point and OUT point as change points are defined as follows. That is, the IN point is the time when the image in the trigger area 530 starts to change in successive frames. The OUT point is a point in time when a change in the image in the trigger area 530 starts to subside in successive frames.
  • the change point detection unit 306 calculates the difference between the acquired frame and the immediately preceding frame for each frame. However, the change point detecting unit 306 is not limited to the immediately preceding frame. The difference from the previous frame may be calculated.
  • the change point detection unit 306 finds an IN point candidate and an OUT point candidate based on the difference calculated for each frame. Specifically, when the calculated difference becomes equal to or greater than a predetermined threshold continuously for two frames or more, the change point detection unit 306 first determines a frame whose difference is equal to or greater than the predetermined threshold as an IN point candidate. Frame.
  • the difference of frame (1) is less than the threshold
  • the difference of frame (2) is greater than or equal to the threshold
  • the difference of frame (3) is also greater than or equal to the threshold
  • frames (2) and (3 ) Of two frames is equal to or greater than the threshold, so the frame (2) where the difference first exceeds the threshold is the IN point candidate frame.
  • the frame (7) is a candidate frame for the IN point.
  • the difference for only one frame is not less than the threshold and not more than two frames, there is a possibility of noise, so that frame is not a candidate frame for the IN point.
  • the change point detection unit 306 first sets the frame whose difference is less than the predetermined threshold as the OUT point candidate frame.
  • the difference of the frame (4) is equal to or greater than the threshold
  • the difference of the frame (5) is less than the threshold
  • the difference of the frame (6) is also less than the threshold
  • the frames (5) and (6) Since the difference between the two frames is less than the threshold value, the frame (5) in which the difference is initially less than the threshold value is the OUT point candidate frame.
  • the difference of the frame (12) is less than the predetermined threshold value, but the subsequent frame (13) is a frame other than the frame extracted by the change point detection unit 306, and therefore the OUT point candidate Do not frame. Also, if the difference for only one frame is less than the threshold value and not continuous for two frames or more, there is a possibility of noise, so that frame is not a candidate frame for the OUT point.
  • the change point detection unit 306 specifies the frames (2) and (7) as the IN point candidate frames and the frame (5) as the OUT point candidate frames in the example of FIG. To do.
  • the change point detection unit 306 sets the frame closest to the middle frame (6) of the acquired frames, that is, the frame (7) as the IN point frame. decide.
  • only one frame (frame (5)) is specified as the OUT point candidate frame.
  • a plurality of frames are OUT point candidate frames. It may be specified as.
  • the change point detection unit 306 determines the frame closest to the middle frame (6) of the acquired frames as the OUT point candidate, similarly to the IN point candidate. Decide on a frame. In the example of FIG. 10, since the OUT point candidate frame is only the frame (5), the change point detection unit 306 determines the frame (5) as the OUT point frame. As described above, the change point detection unit 306 detects the change points (IN point and OUT point) by determining the IN point frame and the OUT point frame from the acquired frames for a predetermined time.
  • the change point detection unit 306 detects a moving object in the trigger region 530 using a frame before the change point frame, a frame after the change point frame, or a frame before and after the change point frame.
  • Vector information indicating whether a moving object has entered from the storage unit 302 may be stored in the storage unit 302.
  • the trigger generation unit 313 uses the vector information stored in the storage unit 302 to check whether the moving object has moved from the same direction as the vector information, and triggers based on the check result.
  • a signal may be generated.
  • the method for detecting the change point in the trigger region 530 by the change point detection unit 306 is not limited to the above-described method, and if the change point defines the timing for generating the trigger, how the change point is determined. It may be detected.
  • the change point detection unit 306 when the difference is equal to or greater than the predetermined threshold continuously for two frames or more, first determines the frame whose difference is equal to or greater than the predetermined threshold as the IN point candidate.
  • the difference may not be continuous for two frames or more, but may be a case where another number of frames or more are continuously equal to or greater than a predetermined threshold. The same applies to the case of finding a candidate frame for the OUT point.
  • FIG. 10 shows an example in which both the IN point and OUT point frames are found.
  • the change point detection unit 306 may find only the IN point frame or only the OUT point frame. In this case, these IN point or OUT point is detected as a change point.
  • the change point detection unit 306 extracts an image in the trigger region 530 of the detected change point frame as a difference image.
  • the change point detection unit 306 stores the extracted trigger reference image and the difference image in the frame of the change point in association with the imaging device 2 selected in the camera selection tab 501 (the imaging device 2f in the example of FIG. 10). 302, the trigger reference image is displayed on the reference image display unit 508a, and the difference image is displayed on the difference image display unit 508b.
  • the change point detection unit 306 displays a trigger mark 540 on the seek bar 504 at a portion corresponding to the time of the detected change point frame.
  • the trigger area specifying unit 305 specifies the image in association with the imaging device 2 selected in the camera selection tab 501 (the imaging device 2f in the example of FIG. 10).
  • the information on the trigger area 530 (position information such as position and shape, and attribute information) is stored in the storage unit 302.
  • the setting unit 308 uses, as attribute information of the trigger region 530, a name that is named for the trigger region 530 specified by the trigger region specifying unit 305, and a predetermined point that is used for detection of a change point by the change point detection unit 306.
  • the sensitivity for example, “50” and a predetermined threshold value (for example, “20%”) (default value) are displayed on the trigger region information unit 507.
  • the setting unit 308 assumes that the trigger region is the trigger region designated for the video data of the imaging device “6” (imaging device 2 f), as shown in FIG. ".
  • the trigger area specifying unit 305 causes the storage unit 302 to store time information (time information) specifying the trigger area 530 in association with the imaging device 2 selected on the camera selection tab 501.
  • the setting screen 500 shown in FIG. 11 is displayed when the change point detection unit 306 detects two change points (IN point and OUT point) in the trigger region 530 specified by the trigger region specifying unit 305 as described above.
  • the change point selection dialog 600 is displayed. As described above, when two or more change points are detected, the change point detection unit 306 generates one of the two change points (IN point and OUT point) closest to the time when the trigger reference image is extracted. For this purpose, a change point selection dialog 600 for selecting whether or not to use is displayed on the display unit 333.
  • the change point selection dialog 600 includes a yes button 601, a no button 602, and a close button 603.
  • a close button 603 is a button for closing the change point selection dialog 600.
  • the change point detection unit 306 detects the IN point as a change point and extracts an image in the trigger region 530 of the frame at the IN point as a difference image. . Then, the change point detection unit 306 stores the extracted trigger reference image and the difference image in the frame at the IN point in the storage unit 302 in association with the imaging device 2 selected on the camera selection tab 501, and the trigger reference image is stored.
  • the reference image display unit 508a displays the difference image
  • the difference image display unit 508b displays the difference image. Furthermore, the change point detection unit 306 displays a trigger mark 540 on the seek bar 504 at a portion corresponding to the time of the detected frame at the IN point.
  • the change point detection unit 306 detects the OUT point as a change point, and uses the image in the trigger region 530 of the frame at the OUT point as a difference image. Extract. Then, the change point detection unit 306 stores the extracted trigger reference image and the difference image in the frame at the OUT point in the storage unit 302 in association with the imaging device 2 selected on the camera selection tab 501, and the trigger reference image is stored.
  • the reference image display unit 508a displays the difference image
  • the difference image display unit 508b displays the difference image.
  • the change point detection unit 306 displays a trigger mark 540 on the seek bar 504 at a portion corresponding to the time of the frame of the detected OUT point. Other operations are the same as those described above with reference to FIG.
  • the change point detection unit 306 detects the IN point and the OUT point as change points, and allows the user to select one of the two change points, so that the user can truly specify the change point. Can be selected.
  • the setting screen 500 shown in FIG. 12 shows a state where the change point detection unit 306 displays a no change point notification dialog 610 when no change point is found in the trigger region 530 specified by the trigger region specification unit 305. Show.
  • the change point detection unit 306 may not be able to detect a change point because the calculated difference does not exceed a predetermined threshold value. In this case, the change point detection unit 306 causes the display unit 333 to display a no change point notification dialog 610 indicating that no change point has been found.
  • the no change point notification dialog 610 includes an OK button 611 and a close button 612.
  • the close button 612 is a button for closing the no change point notification dialog 610.
  • the change point detection unit 306 does not store any information in the storage unit 302, and the image is also displayed in the reference image display unit 508a and the difference image display unit 508b. Is not displayed, and the no change point notification dialog 610 is closed.
  • FIG. 13 is a diagram illustrating an example in which a detection area is specified in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 14 is a diagram illustrating an example in which the second detection area is designated in the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment.
  • FIG. 15 is a diagram illustrating an example of setting the attribute information of the detection area specified by the setting video display unit on the setting screen displayed on the display device of the information processing apparatus according to the embodiment. The detection area designation and the setting of the detection area attribute information and the like will be described with reference to FIGS.
  • the setting screen 500 shown in FIG. Specifically, first, during the reproduction and display of the video data on the setting video display unit 502, the user operates the input unit 303 at the timing when the part of the image for which the image determination of the instantaneous detection function is desired is displayed.
  • the pause button 503b is pressed, the first playback unit 304 pauses the video data that is played back and displayed on the setting video display unit 502, and the imaging date and time of the current frame are displayed in the time display unit. 506 is displayed.
  • the detection area designating unit 307 designates and displays the detection area 535 (determination area) on the setting video display unit 502 by the operation of the input unit 303 (for example, the drag operation of the mouse 108) by the user.
  • the detection region designation unit 307 can designate the detection region 535 because the trigger region designated by the trigger region designation unit 305 is selected in the trigger region information unit 507 (“TR6” in the example of FIG. 13). Need to be. That is, the detection area 535 designated by the detection area designation unit 307 is associated with the trigger area selected in the trigger area information unit 507.
  • the setting unit 308 uses, as attribute information of the detection region 535, a name that is named for the detection region 535 designated by the detection region designation unit 307, and a predetermined sensitivity (for example, used in image determination described later) as a default value. , “50”), a predetermined threshold (for example, “20%”), a monitoring method (for example, “grayscale”), presence / absence of an action (for example, “none”), and a method for image determination (for example, “match”) ) Is displayed on the detection area information unit 509.
  • the setting unit 308 names “K61” as the name of the detection region 535, as shown in FIG. 13, for example, as the first region associated with the trigger region “TR6”.
  • the setting unit 308 also delays the time of the frame at the time when the detection region 535 is specified by the detection region specifying unit 307 with respect to the time of the change point detected by the change point detection unit 306 (example in FIG. 13). Then, “2.14”) is calculated as attribute information and displayed on the detection area information unit 509. That is, in this case, the detection region 535 named “K61” is set to perform image determination “2.14” seconds after the trigger timing.
  • the detection area designation unit 307 associates the image in the detection area 535 at the time when the detection area 535 is designated with the imaging apparatus 2 selected in the camera selection tab 501 (the imaging apparatus 2f in the example of FIG. 13). It is extracted as a detection reference image (second reference image) and stored in the storage unit 302, and information (position information such as position and shape, and attribute information) of the designated detection area 535 is stored in the storage unit 302. Further, the detection area designating unit 307 causes the storage unit 302 to store time information (time information) designating the detection area 535 in association with the imaging device 2 selected on the camera selection tab 501.
  • a setting screen 500 shown in FIG. 14 shows a state in which a detection area 536, which is the second detection area, is specified in the setting video display section 502 in which video data is reproduced and displayed by the first reproduction section 304. .
  • the slider 505 of the seek bar 504 is slid by the operation of the input unit 303 by the user, and the image determination of the instantaneous detection function is performed. Is adjusted to the timing at which the desired image portion is displayed.
  • the first playback unit 304 causes the time display unit 506 to display the imaging date and the imaging time of the frame of the video data temporarily stopped on the setting video display unit 502.
  • the detection region designation unit 307 causes the detection region 536 (determination region) which is the second detection region in the setting video display unit 502. Specify and display.
  • the detection area designation unit 307 can designate the detection area 536, as in the case of designation of the detection area 535, in the trigger area information part 507, the trigger area designated by the trigger area designation unit 305 is selected ( In the example of FIG. 14, it is necessary to be “TR6”). That is, the detection area 536 designated by the detection area designation unit 307 is associated with the trigger area selected in the trigger area information unit 507.
  • the setting unit 308 uses, as attribute information of the detection region 536, a name given to the detection region 536 designated by the detection region designation unit 307, and a predetermined sensitivity (for example, used in image determination described later) as a default value. , “50”), a predetermined threshold (for example, “20%”), a monitoring method (for example, “grayscale”), presence / absence of an action (for example, “none”), and a method for image determination (for example, “match”) ) Is displayed on the detection area information unit 509. As illustrated in FIG. 14, the setting unit 308 names “K62” as the name of the detection region 536, for example, as the second region associated with the trigger region “TR6”.
  • the setting unit 308 also delays the time of the frame at the time when the detection region 536 is specified by the detection region specifying unit 307 with respect to the time of the change point detected by the change point detection unit 306 (example in FIG. 14). Then, “ ⁇ 1.86”) is calculated as the attribute information and displayed on the detection area information unit 509. That is, in this case, the detection region 536 named “K62” is set to perform image determination “1.86” seconds before the trigger timing.
  • the detection area designating unit 307 associates the image in the detection area 536 at the time when the detection area 536 is designated with the imaging device 2 selected in the camera selection tab 501 (the imaging device 2f in the example of FIG. 14). It is extracted as a detection reference image and stored in the storage unit 302, and information (position information such as position and shape and attribute information) of the designated detection region 536 is stored in the storage unit 302. Further, the detection area designating unit 307 causes the storage unit 302 to store time information (time information) designating the detection area 536 in association with the imaging device 2 selected on the camera selection tab 501. Note that another detection region can be specified by the detection region specifying unit 307 in the same manner as described above.
  • the setting unit 308 displays the selected detection area information.
  • the display part of the attribute information of the detection area of the part 509 is highlighted.
  • the detection area 536 detection area name “K62”
  • the setting unit 308 switches the set value of presence / absence of an action in the selected detection area 536. For example, when the presence / absence of an action in the detection area 536 is “none”, when the action button 510a is pressed, the setting unit 308 sets the presence / absence of an action in the detection area 536 to “present”. On the other hand, when the presence / absence of the action in the detection area 536 is “Yes”, when the action button 510a is pressed, the setting unit 308 sets the presence / absence of the action in the detection area 536 to “No”. As will be described later, when the presence / absence of an action is “Yes”, the external output unit 332 outputs an abnormality signal when the detection region determination unit 314 determines that the image determination in the detection region is abnormal.
  • the setting unit 308 switches the setting value of the image determination method of the selected detection area 536. For example, when the image determination method of the detection area 536 is “match”, when the image determination selection button 510b is pressed, the setting unit 308 sets the image determination method of the detection area 536 to “mismatch”. To do. On the other hand, when the image determination method of the detection area 536 is “mismatch”, when the image determination selection button 510b is pressed, the setting unit 308 sets the image determination method of the detection area 536 to “match”. To do.
  • the detection region determination unit 314 determines that the difference between the extracted image and the detection reference image is equal to or greater than the threshold value of the attribute information, that is abnormal. .
  • the image determination method in a facility for inserting a part into a work, the state where the part is inserted into the work is used as a detection reference image, and the part is inserted into the work. There is a case where an image is determined at the timing when the operation is completed.
  • the difference from the detection reference image is equal to or greater than the threshold value of the attribute information. Thus, it is determined that there is an abnormality.
  • the detection area determination unit 314 determines that the difference between the extracted image and the detection reference image is less than the threshold value of the attribute information as abnormal.
  • the image determination method is “mismatch”
  • a state in which the component is not inserted into the workpiece is used as a detection reference image, and the component is inserted into the workpiece.
  • an image is determined at the timing when the operation is completed.
  • the detection region determination unit 314 performs image determination in a state where the component is not normally inserted, the difference from the detection reference image is less than the threshold value of the attribute information. Thus, it is determined that there is an abnormality.
  • a situation in which a state in which no part is inserted into the workpiece is used as the detection reference image includes a case where it is difficult to prepare a workpiece into which a component as a finished product is inserted.
  • the setting unit 308 deletes the attribute information of the detection area 536 displayed in the detection area information unit 509 and stores the attribute information in the storage unit 302.
  • the information of the detected area 536 is deleted.
  • the detection area designating unit 307 deletes the detection area 536 displayed on the setting video display unit 502 and deletes the detection reference image stored in the storage unit 302.
  • the setting unit 308 increases the sensitivity value used for image determination of the selected detection region 536 by a predetermined value.
  • the setting unit 308 decreases the sensitivity value used for image determination of the selected detection region 536 by a predetermined value.
  • the setting unit 308 increases the threshold value used for image determination of the selected detection region 536 by a predetermined value.
  • the threshold reduction button 510h is pressed by the user operating the input unit 303, the setting unit 308 decreases the threshold value used for image determination of the selected detection area 536 by a predetermined value.
  • FIG. 16 is a diagram illustrating an example of a state in which a monitoring operation is performed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 17 is a diagram illustrating an example of a state before a trigger is generated in the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • FIG. 18 is a diagram illustrating an example of a state in which a trigger is generated in the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • 19 to 24 are diagrams illustrating an example of a state in which image determination is performed in the detection area by the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the embodiment.
  • a watcher screen 400 shown in FIG. 16 displays video data received from a plurality of imaging devices 2 in real time, and the video display unit 401f displays a constant detection area “A61”, a trigger area “TR6”, and a detection area “K61”. , “K62”, “K63”, and “K64” are designated.
  • a plurality of functions in the case of the present embodiment, a constant detection function and an instantaneous detection function are executed, so that the video display unit 401 is avoided in order to avoid complicated appearance.
  • the display of the name of each determination area displayed on the screen is omitted.
  • the constant detection function is a function that always performs image determination as to whether or not an image in the constant detection region is abnormal during the monitoring operation.
  • the instantaneous detection function is a function that performs image determination as to whether or not an image in the detection region is abnormal at a timing before or after the set time from the trigger timing detected in the trigger region. .
  • the first control unit 316 causes the status display unit 421f to display “setting completed” because the setting of each determination region for the video display unit 401f has been completed.
  • the user depresses the video display unit 401 corresponding to the imaging device 2 for which the image determination operation (monitoring operation) is to be started by operating the input unit 303 to select the image display unit 401.
  • the video display unit 401 f is pressed to be in a selected state is illustrated.
  • the monitoring start button 411 is pressed by the operation of the input unit 303 by the user
  • the first control unit 316 starts an image determination operation for real-time video data of the imaging device 2f displayed on the video display unit 401f. To do.
  • the first control unit 316 causes the status display unit 421f to display “monitoring” in order to indicate that the image determination operation is being executed for the imaging device 2f.
  • the first control unit 316 associates with the imaging device 2 corresponding to the video display unit 401 in the selected state, and stores information (time information) of the time when the image determination operation (monitoring operation) is started.
  • the monitoring stop button 412 is pressed by the user operating the input unit 303
  • the first control unit 316 stops the image determination operation for the selected video display unit 401, and the video display unit 401 In association with the corresponding imaging device 2, information (time information) of the time when the image determination operation (monitoring operation) is stopped is stored in the storage unit 302.
  • the video distribution unit 312 distributes and displays the real-time video data acquired from the video reception unit 301 on the video display units 401a to 401f.
  • the trigger generation unit 313 acquires a difference image in the frame of the change point detected by the change point detection unit 306 from the storage unit 302. Then, the trigger generation unit 313 compares the difference image with the image of the trigger region of the frame of the video data in the trigger region “TR6” designated by the video display unit 401f.
  • the trigger generation unit 313 compares the difference between the image of the trigger region of the video data frame and the difference image in the frame at the change point with a pixel value that differs by a predetermined sensitivity or more, and the difference is less than a predetermined threshold. A trigger signal is generated at this timing (hereinafter sometimes referred to as “detecting a trigger”). Then, the trigger generation unit 313 stores the information (time information) of the time when the trigger signal is generated by the image determination operation in the storage unit 302 in association with the imaging device 2 that is executing the image determination operation. In addition, the trigger generation unit 313 writes the time information (time information) at which the trigger signal is generated in the image determination operation in association with the imaging device 2 that is executing the image determination operation, and writes the information in the marker file in the storage unit 302.
  • the detection area determination unit 314 acquires attribute information of the designated detection area from the storage unit 302.
  • the detection area determination unit 314 detects the detection reference image and the detection area of the frame of the video data in the designated detection area before or after the set time when the trigger signal generated by the trigger generation unit 313 is received. The image is compared with the image to determine whether it is abnormal.
  • the detection region determination unit 314 receives the trigger signal corresponding to the trigger region “TR6” from the trigger generation unit 313 and detects the detection delay time “1.0” seconds corresponding to the detection region “K61”.
  • the image of the detection area of the frame of the subsequent video data is compared with the detection reference image to determine whether or not there is an abnormality.
  • the detection area determination unit 314 is the total of the number of pixels whose pixel values differ by more than the sensitivity of the attribute information of the detection area “K61” in the comparison between the detection reference image and the detection area image. When the difference is equal to or greater than the threshold value of the attribute information, the image determination of the detection area “K61” is determined to be abnormal.
  • the detection area determination unit 314 stores information (time information) of detection time at which normal detection or abnormality detection was performed in the image determination operation in association with the imaging device 2 that is executing the image determination operation in the storage unit 302. Let In addition, the detection area determination unit 314 writes detection time information (time information) when abnormality is detected in the image determination operation in association with the imaging device 2 that is executing the image determination operation in the marker file of the storage unit 302. .
  • the timing after the press-fitting operation is used as a trigger.
  • the trigger generation unit 313 generates a trigger signal with a timing at which the press-fitting machine starts an operation of press-fitting the press-fitting part into the work as a trigger. Thereafter, the press-fitting machine press-fits the press-fitting parts into the work, and after the press-fitting operation, each actuator of the press-fitting machine returns to the origin position.
  • the detection area determination unit 314 performs image determination on the press-fitted state of the work after press-fitting.
  • the timing of the image determination by the detection region determination unit 314 is the timing after the time set by the detection delay time after receiving the trigger signal from the trigger generation unit 313.
  • the time from the start of the press-fitting operation that generates the trigger signal to the execution of press-fitting image judgment after press-fitting is a fixed time because it is an automatic operation by the press-fitting machine, and detection from the trigger timing to image judgment
  • the delay time can be set as a fixed time.
  • the detection area determination unit 314 also detects the image of each detection area of the frame of the video data after the detection delay time corresponding to the detection areas “K62”, “K63”, and “K64”, and the detection criterion for each detection area. Each image is compared with each other to determine whether the image is abnormal.
  • the image determination method is the same as that in the detection region “K61” described above.
  • the external output unit 332 outputs an abnormal signal to the external device 10 when the detection region determination unit 314 determines abnormality.
  • the constant detection area determination unit 315 acquires attribute information of the designated constant detection area (the constant detection area 570 in FIG. 7) from the storage unit 302. While the monitoring operation is being executed, the always-detection area determination unit 315 compares the always-detection reference image with the image in the always-detection area of the video data frame in the designated always-detection area. Whether or not an image is determined is always executed.
  • the always-detection area determination unit 315 compares the image of the detection area of the frame of the video data corresponding to the always-detection area “A61” with the reference always-detection area to determine whether or not there is an abnormality. Make a decision. At this time, as the image determination, the always-detection area determination unit 315 compares the always-detection reference image with the image of the always-detection area, and the number of pixels whose pixel values are different from the sensitivity of the attribute information of the always-detection area “A61”. Is equal to or greater than the threshold value of the attribute information, the image determination of the always-detected area “A61” is determined to be abnormal.
  • the constant detection area determination unit 315 stores the information (time information) of the detection time when abnormality is detected in the image determination operation in the storage unit 302 in association with the imaging device 2 that is executing the image determination operation. Further, the constant detection area determination unit 315 associates the information (time information) of the detection time when abnormality is detected in the image determination operation with the imaging device 2 that is executing the image determination operation in the marker file of the storage unit 302. Write.
  • the external output unit 332 outputs an abnormality signal to the external device 10 when the abnormality detection unit 315 determines that an abnormality has occurred.
  • the first control unit 316 displays a frame indicating each determination area specified on the setting screen 500 by superimposing the frame on the video data of the video display unit 401f.
  • a trigger area 530, detection areas 535 to 538, and a constant detection area 570 are displayed on the video display unit 401f.
  • the first control unit 316 displays a frame (an example of a display element) indicating each determination region in a normal state (a state where detection is not performed in each determination region) in different colors. For example, the first control unit 316 displays a frame indicating the trigger region 530 in “white”, a frame indicating the detection regions 535 to 538 in “yellow”, and a frame indicating the constant detection region 570 in “green”.
  • the first control unit 316 sets the frame indicating the trigger region 530 in a color different from the color in the normal state and in the normal state. Is displayed thicker than the frame (hereinafter simply referred to as “thick display”). For example, the first control unit 316 displays the frame indicating the trigger region 530 as “blue” and thick, and continues this display state for one second. Then, after 1 second, the first control unit 316 returns the display of the frame indicating the trigger area 530 to the display of the frame in the normal state.
  • the detection region determination unit 314 performs image determination in the detection region 535 after “1.0” seconds that is the detection delay time set for the detection region 535. . If the result of this determination is normal detection, as shown in FIG. 19, the first control unit 316 uses a frame that indicates the detection area 535 in a color that is different from the normal state color and that is in the normal state frame. Display thicker. For example, the first control unit 316 displays the frame indicating the detection region 535 “blue” and thickly to indicate normal detection, and continues this display state for one second. Then, after 1 second, the first control unit 316 returns the display of the frame indicating the detection area 535 to the display of the frame in the normal state.
  • the detection region determination unit 314 performs image determination in the detection region 536 after “2.2” seconds that is the detection delay time set for the detection region 536. . Furthermore, the detection area determination unit 314 performs image determination in the detection area 537 after “2.5” seconds that is the detection delay time set for the detection area 537 after receiving the trigger signal from the trigger generation unit 313. As a result of this determination, if each is normal detection, as shown in FIG. 20, the first control unit 316 sets the frames indicating the detection areas 536 and 537 in colors different from the colors in the normal state, and , Display thicker than the normal frame.
  • the first control unit 316 displays the frames indicating the detection areas 536 and 537 in “blue” and thick, and continues this display state for one second. Then, after 1 second, the first control unit 316 returns the display of the frames indicating the detection areas 536 and 537 to the display of the frames in the normal state.
  • the detection area determination unit 314 performs image determination in the detection area 538 after “4.0” seconds which is the detection delay time set for the detection area 538 after receiving the trigger signal from the trigger generation unit 313. If the result of this determination is normal detection, as shown in FIG. 21, the first control unit 316 uses a frame that indicates the detection area 538 in a color that is different from the color in the normal state and that is in the normal state. Display thicker. For example, the first control unit 316 displays the frame indicating the detection region 538 “blue” and thickly to indicate normal detection, and continues this display state for one second. Then, after 1 second, the first control unit 316 returns the display of the frame indicating the detection area 538 to the display of the frame in the normal state.
  • the notification control unit 317 then notifies the notification unit at the timing when the detection region determination unit 314 completes the image determination of the detection region accompanying the trigger of the trigger generation unit 313 (that is, when the image determination of the detection region 538 ends).
  • a determination end sound (indicated as “beep” in FIG. 21) indicating the end of the image determination of the detection area is output for a predetermined time (for example, 0.2 seconds).
  • the detection region determination unit 314 performs image determination in the detection region 535 after “1.0” seconds that is the detection delay time set for the detection region 535 after receiving the trigger signal from the trigger generation unit 313. If the result of this determination is normal detection, as shown in FIG. 22, the first control unit 316 uses a frame different from the normal state color for the frame indicating the detection area 535 and the normal state frame. Display thicker. For example, the first control unit 316 displays the frame indicating the detection region 535 “blue” and thickly to indicate normal detection, and continues this display state for one second. Then, after 1 second, the first control unit 316 returns the display of the frame indicating the detection area 535 to the display of the frame in the normal state.
  • the detection region determination unit 314 performs image determination in the detection region 536 after “2.2” seconds that is the detection delay time set for the detection region 536. . Furthermore, the detection area determination unit 314 performs image determination in the detection area 537 after “2.5” seconds that is the detection delay time set for the detection area 537 after receiving the trigger signal from the trigger generation unit 313. As a result of this determination, when normal detection is detected in the detection area 536, as shown in FIG. 23, the first control unit 316 sets the frame indicating the detection area 536 in a color different from the color in the normal state, and Display thicker than the normal frame.
  • the first control unit 316 displays a frame indicating the detection area 536 “blue” and thickly, and continues this display state for one second. Then, after 1 second, the first control unit 316 returns the display of the frame indicating the detection area 536 to the display of the frame in the normal state.
  • the first control unit 316 sets the frame indicating the detection area 537 in a color different from the color in the normal state. And it is displayed thicker than the frame in the normal state.
  • the first control unit 316 displays a frame indicating the detection region 537 as “red” and thick, and continues this display state for one second.
  • the notification control unit 317 notifies the notification unit 334 of the abnormality detection at the timing when the detection region determination unit 314 detects the abnormality in the detection region 537 (indicated as “boo” in FIG. 23). Is output for a predetermined time (for example, 1 second). Then, after 1 second, the first control unit 316 returns the display of the frame indicating the detection area 537 to the display of the frame in the normal state.
  • the detection area determination unit 314 performs image determination in the detection area 538 after “4.0” seconds which is the detection delay time set for the detection area 538 after receiving the trigger signal from the trigger generation unit 313. If the result of this determination is that an abnormality has been detected, as shown in FIG. 24, the first control unit 316 uses a frame that indicates the detection area 538 in a color different from the color in the normal state and the frame in the normal state. Display thicker. For example, in order to indicate abnormality detection, the first control unit 316 displays a frame indicating the detection region 538 “red” and thickly, and continues this display state for one second.
  • the notification control unit 317 notifies the notification unit 334 of the abnormality detection at the timing when the detection region determination unit 314 detects the abnormality in the detection region 538 (indicated as “boo” in FIG. 24). Is output for a predetermined time (for example, 1 second). Then, after 1 second, the first control unit 316 returns the display of the frame indicating the detection area 538 to the display of the frame in the normal state. The notification control unit 317 then notifies the notification unit at the timing when the detection region determination unit 314 completes the image determination of the detection region accompanying the trigger of the trigger generation unit 313 (that is, when the image determination of the detection region 538 ends). In 334, a determination end sound (indicated as “beep” in FIG.
  • the abnormality detection sound and the determination end sound are superimposed and output by the notification unit 334 according to the image determination of the detection region 538, but because they are different sounds (for example, different scales, waveforms, or melody sounds) The user can distinguish and listen to any sound.
  • a predetermined time for example, 0.2 seconds.
  • each determination area (trigger area 530 and detection areas 535 to 538) in the image determination operation for video data based on the instantaneous detection function has been described.
  • the operation of displaying the frame of the constantly detecting area 570 in the operation is the same.
  • the first control unit 316 displays a frame indicating the constant detection region 570 in the color in the normal state. It is displayed in a different color and thicker than the normal frame.
  • the first control unit 316 displays a frame indicating the constant detection region 570 “red” and thickly, and continues this display state while detecting the abnormality. Then, when the image of the constant detection area 570 returns to the normal state, the first control unit 316 returns the display of the frame indicating the constant detection area 570 to the display of the frame in the normal state.
  • the notification control unit 317 may cause the notification unit 334 to output an abnormality detection sound for notifying abnormality detection when abnormality detection is performed in the constant detection region 570 by the constant detection region determination unit 315.
  • the first control unit 316 displays the frames indicating the respective determination areas in different colors, and each detection (trigger detection, normal detection or abnormality detection) is performed in the determination area. Different colors and frame thicknesses are displayed so that they can be distinguished. Accordingly, the user can visually grasp which function of the image determination operation (monitoring operation) is performed and the timing of each detection. Furthermore, a sound is output when an abnormality is detected in the detection area and when image determination for all detection areas associated with the same trigger is completed. Thereby, the user can grasp the timing of the abnormality detection and the end of the image determination audibly.
  • the notification control unit 317 assigns “Doremifasola”, which is a scale, as the determination end sound in each video display unit 401, and causes the notification unit 334 to output it. Thereby, it is possible to distinguish which video display unit 401 is the monitoring operation determination end sound. In this case, the sound “ra” is assigned as the determination end sound in the image determination operation in the video display unit 401f.
  • the display mode such as the color of the frame indicating each determination area, the type of determination end sound and abnormality detection sound, melody, scale, etc. may be changed by setting.
  • FIG. 25 is a diagram illustrating an example of a state in which a video recorded on the viewer screen displayed in the display area of the information processing apparatus according to the embodiment is reproduced and displayed.
  • FIG. 26 is a diagram illustrating an example of a state in which the image determination state is reproduced with respect to the video reproduced and displayed on the viewer screen displayed in the display area of the information processing apparatus according to the embodiment.
  • the configuration of the viewer screen 700 and the operation for displaying a plurality of recorded videos will be described with reference to FIGS.
  • the viewer screen 700 shown in FIG. 25 is displayed on the display unit 333 by a program (application) executed by the CPU 101.
  • the viewer screen 700 is video data received from the plurality of imaging devices 2 by the second playback unit 318, and past video data stored in the storage unit 302 by the video distribution unit 312 is displayed and designated. It is a screen which reproduces the state of image judgment in each judgment field.
  • the viewer screen 700 includes video display portions 701a to 701f, a play button 703a, a pause button 703b, a fast forward button 703c, a fast reverse button 703d, a stop button 703e, a seek bar 704, , A slider 705, a time display unit 706, and a marker list button 707.
  • the video display units 701a to 701f are display units for displaying past video data of each imaging device 2 stored in the video distribution unit 312 according to an operation signal from the input unit 303 operated by the user.
  • the video display units 701a to 701f display video data of the same date and time.
  • the video display units 701a to 701f can be selected when pressed by the user through the input unit 303 (for example, the click operation of the mouse 108, etc.).
  • the video display units 701a to 701f are simply referred to as the “video display unit 701” when referred to without distinction or collectively.
  • the playback button 703a is a button for starting playback of the video data displayed on the video display unit 701 by the second playback unit 318 when pressed by an operation of the input unit 303 by the user.
  • the pause button 703b is a button for temporarily stopping the video data reproduced and displayed on the video display unit 701 by the second reproduction unit 318 when pressed by the operation of the input unit 303 by the user.
  • the fast-forward button 703c is a button for fast-forwarding and displaying the video data reproduced and displayed on the video display unit 701 by the second reproduction unit 318 when pressed by an operation of the input unit 303 by the user.
  • the fast reverse button 703d is a button for fast rewinding display of the video data reproduced and displayed on the video display unit 701 by the second playback unit 318 when pressed by the operation of the input unit 303 by the user.
  • the stop button 703e is a button for stopping the video data reproduced and displayed on the video display unit 701 by the second reproduction unit 318 when pressed by the operation of the input unit 303 by the user.
  • the seek bar 704 is a bar-shaped body that indicates how long the video data reproduced and displayed on the video display unit 701 is based on the position of the slider 705 disposed thereon.
  • the slider 705 is a shape body and operation unit that slides to a position on the seek bar 704 corresponding to the imaging time of the video data reproduced and displayed on the video display unit 701 (the time at which the displayed frame is captured).
  • the second playback unit 318 displays a video data frame at the imaging time corresponding to the position on the seek bar 704 where the slider 705 exists. Displayed on the part 701.
  • the time display unit 706 is a display unit that displays the imaging date and imaging time of video data reproduced and displayed on the video display unit 701 by the second reproduction unit 318.
  • the marker list button 707 When the marker list button 707 is pressed by the operation of the input unit 303 by the user, the marker file stored in the storage unit 302 is read by the list control unit 320 and the contents of the marker file are displayed.
  • the area display control unit 319 displays the image determination stored in the storage unit 302. Information on the time at which the operation (monitoring operation) is started and ended, information on the time at which each determination area is designated, and information on the time detected in each determination area are read. As shown in FIG. 25, the area display control unit 319 superimposes a frame indicating each determination area on the past video data reproduced and displayed on the video display unit 701 based on the time information. .
  • the region display control unit 319 determines each specified from the start time of the image determination operation. A frame indicating the determination area is displayed. Further, the area display control unit 319 displays a frame indicating each determination area displayed when the time of the video data reproduced and displayed on the video display unit 701 becomes the end time of the image determination operation in the time information. Erase.
  • the area display control unit 319 causes the time of the video data reproduced and displayed on the video display unit 701 to be the detection time or the normal detection time of the trigger of a specific determination area in the time information.
  • the frame indicating the determination area is displayed in a color different from the color in the normal state and thicker than the frame in the normal state.
  • the area display control unit 319 displays “blue” and thick, for example, in the same manner as the frame indicating each determination area displayed on the watcher screen 400.
  • the area display control unit 319 displays the time when the time of the video data reproduced and displayed on the video display unit 701 becomes the abnormality detection time of the specific determination area in the time information.
  • a frame indicating the determination area is displayed in a color different from the color in the normal state and thicker than the frame in the normal state.
  • the area display control unit 319 displays “red” and thick, for example, in the same manner as the frame indicating each determination area displayed on the watcher screen 400.
  • the viewer screen 700 shown in FIG. 26 it is indicated by a frame display that an abnormality is detected in one continuous detection area of the video display unit 701a. Further, in the video display unit 701f, it is indicated by a frame display that normal detection and abnormal detection are detected in the detection areas corresponding to the detection areas 536 and 537, respectively.
  • the image display operation (monitoring) on the watcher screen 400 is controlled by the region display control unit 319 by controlling the display state of the frame of each determination region based on each time information stored in the storage unit 302.
  • the state of (operation) can be reproduced with past video data. Accordingly, the user can confirm what image determination operation has been performed on the past video, not the real-time video.
  • the video display units 701a to 701f display video data of the same date and time.
  • the video display units 701a to 701f are not limited to this.
  • each of the video display units 701 has a seek bar and operation buttons.
  • Each video display unit 701 may be able to display video data with different dates and times.
  • the timing at which an abnormality is detected in the determination region and the specific detection based on the instantaneous detection function may be output at the timing when the determination is completed in all the detection areas corresponding to the trigger area.
  • FIG. 27 is a diagram illustrating an example of a state in which the marker list screen is displayed on the viewer screen displayed in the display area of the information processing apparatus according to the embodiment.
  • the list control unit 320 reads the marker file stored in the storage unit 302 and displays the marker file contents.
  • a list screen 800 is displayed.
  • the marker list screen 800 includes a detection selection unit 801 and a detection history display unit 802.
  • the detection selection unit 801 detects the trigger in the trigger detection area based on the list of dates and times in which the abnormality is detected in the image determination in the constant detection area based on the constant detection function, and detects in the detection area. It is a selection operation part for selecting any display of the list
  • the detection history display unit 802 is a display unit for a list of detection dates / times based on the constant detection function selected by the detection selection unit 801 or a list of detection dates / times based on the instantaneous detection function.
  • a detection history display unit 802 shown in FIG. 27 shows a state in which the instantaneous detection function is selected by the detection selection unit 801, and displays a list of detection dates and times based on the instantaneous detection function. Specifically, the detection history display unit 802 displays the trigger region based on the instantaneous detection function and the region name of the detection region, the detected date / time, and the name for identifying the corresponding imaging device 2.
  • the list control unit 320 causes the second playback unit 318 to display a video of the date / time indicated by the record. Data is displayed on the video display unit 701.
  • FIG. 28 is a flowchart illustrating an example of a monitoring operation on a watcher screen displayed on the display device of the information processing device according to the embodiment.
  • a general flow of an image determination operation (monitoring operation) on the watcher screen 400 will be described.
  • an image determination operation based on the instantaneous detection function will be described as an example.
  • the video distribution unit 312 displays the real-time video data acquired from the video reception unit 301 in accordance with an operation signal from the input unit 303 operated by the user, and the video display units 401a to 401a of the watcher screen 400 displayed on the display unit 333. 401f is distributed and displayed.
  • the video distribution unit 312 stores (records) each video data to be displayed on the video display unit 401 in the storage unit 302. Then, the process proceeds to step S12.
  • Step S12> The user presses the video display unit 401 corresponding to the imaging device 2 to start the image determination operation (monitoring operation) by operating the input unit 303 to select the image display unit 401. Then, when the monitoring start button 411 is pressed by the operation of the input unit 303 by the user, the first control unit 316 performs image determination on the real-time video data of the imaging device 2 displayed on the video display unit 401 in the selected state. Start operation. When the image determination operation is started for the video display unit 401, the first control unit 316 displays a frame indicating each determination area specified on the setting screen 500 so as to be superimposed on the video data of the video display unit 401.
  • the first control unit 316 displays a frame indicating each determination area in a normal state (a state in which detection is not performed in each determination area) in different colors. For example, the first control unit 316 displays a frame indicating the trigger area in “white”, a frame indicating the detection area in “yellow”, and a frame indicating the constant detection area in “green”.
  • the first control unit 316 associates with the imaging device 2 corresponding to the video display unit 401 in a selected state (hereinafter simply referred to as “video display unit 401”), and performs an image determination operation (monitoring operation).
  • the storage unit 302 stores information (time information) of the time at which the start of the operation is started. Then, the process proceeds to step S13.
  • the trigger generation unit 313 acquires a difference image in the frame of the change point detected by the change point detection unit 306 from the storage unit 302. Then, the trigger generation unit 313 compares the difference image with the image of the trigger region of the frame of the video data in the trigger region specified by the video display unit 401. The trigger generation unit 313 compares the difference between the image of the trigger region of the video data frame and the difference image in the frame at the change point with a pixel value that differs by a predetermined sensitivity or more, and the difference is less than a predetermined threshold. When it becomes, a trigger signal is generated (output) (a trigger is detected) (step S13: Yes). Then, the trigger generation unit 313 stores the information (time information) of the time when the trigger signal is generated by the image determination operation in the storage unit 302 in association with the imaging device 2 that is executing the image determination operation. Then, the process proceeds to step S14.
  • step S13: No the trigger generation unit 313 continues to determine the difference.
  • Step S14 When the trigger generation unit 313 detects a trigger, the first control unit 316 displays a frame indicating the trigger region in a color different from the color in the normal state and thicker than the frame in the normal state. For example, the first control unit 316 displays a frame indicating the trigger area “blue” and thick, and continues this display state for 1 second. Then, after 1 second, the first control unit 316 returns the display of the frame indicating the trigger area to the display of the frame in the normal state. Then, the process proceeds to step S15.
  • Step S15 If there is a detection area after the detection delay time set for the detection area after receiving the trigger signal from the trigger generation unit 313 (step S15: Yes), the process proceeds to step S16, otherwise (step S15: No), the process proceeds to step S21.
  • the detection area determination unit 314 receives the trigger signal from the trigger generation unit 313 and then detects the detection reference image and the detection area of the frame of the video data in the specified detection area after the detection delay time set for the detection area. The image is compared with the image to determine whether it is abnormal. Specifically, the detection area determination unit 314 receives an image of the detection area of the frame of the video data after the detection delay time corresponding to the detection area from the time when the trigger generation unit 313 receives the trigger signal corresponding to the trigger area. Then, the image is determined whether it is abnormal by comparing with the detection reference image.
  • the detection area determination unit 314 compares the detection reference image and the detection area image with a difference that is the sum of the numbers of pixels whose pixel values are different from the sensitivity of the attribute information of the detection area. When the threshold value of the attribute information is exceeded, the image determination of the detection area is determined to be abnormal. Then, the detection area determination unit 314 stores information (time information) of detection time at which normal detection or abnormality detection was performed in the image determination operation in association with the imaging device 2 that is executing the image determination operation in the storage unit 302. Let Then, the process proceeds to step S17.
  • Step S17> As a result of the image determination by the detection area determination unit 314, when abnormality is detected (step S17: Yes), the process proceeds to step S18, and when normal detection is performed (step S17: No), the process proceeds to step S20.
  • the detection area determination unit 314 stores information on the abnormality detection time (time information) in the storage unit 302 in association with the imaging device 2 that is executing the image determination operation. Further, when an abnormality is detected in the detection area, the first control unit 316 displays the frame indicating the detection area in a color different from the color in the normal state and thicker than the frame in the normal state. For example, in order to indicate abnormality detection, the first control unit 316 displays a frame indicating the detection area “red” and thickly, and continues this display state for one second.
  • the notification control unit 317 causes the notification unit 334 to output an abnormality detection sound for notifying abnormality detection for a predetermined time (for example, 1 second) at the timing when the detection region determination unit 314 detects abnormality in the detection region. . Then, after 1 second, the first control unit 316 returns the display of the frame indicating the detection area to the display of the frame in the normal state. Then, the process proceeds to step S19.
  • Step S19> The external output unit 332 outputs an abnormal signal to the external device 10 when the detection region determination unit 314 determines abnormality. Then, the process returns to step S15.
  • the detection area determination unit 314 stores information on the normal detection time (time information) in the storage unit 302 in association with the imaging device 2 that is executing the image determination operation.
  • the first control unit 316 displays the frame indicating the detection area in a color different from the color in the normal state and thicker than the frame in the normal state. For example, in order to indicate normal detection, the first control unit 316 displays a frame indicating the detection area “blue” and thick, and continues this display state for one second. Then, after 1 second, the first control unit 316 returns the display of the frame indicating the detection area to the display of the frame in the normal state. Then, the process returns to step S15.
  • Step S21 When the detection area accompanying the trigger of the trigger generation part 313 remains (step S21: Yes), it returns to step S15, and when that is not right (step S21: No), it transfers to step S22.
  • the notification control unit 317 sends a determination end sound indicating the end of the image determination of the detection region to the notification unit 334 at the timing when the detection region determination unit 314 completes the image determination of the detection region accompanying the trigger of the trigger generation unit 313. Output for a predetermined time (for example, 0.2 seconds).
  • the image determination operation based on the instantaneous detection function is executed by repeating the above steps S13 to S22.
  • FIG. 29 is a flowchart illustrating an example of an operation in which an image determination state is reproduced for a video reproduced and displayed on a viewer screen displayed on the display device of the information processing apparatus according to the embodiment. With reference to FIG. 29, the overall flow of operations for reproducing the image determination state on the viewer screen 700 will be described.
  • Step S31> The user sets a desired reproduction time (time) by operating the input unit 303. Then, the process proceeds to step S32.
  • Step S32> The second playback unit 318 acquires past video data from the set playback time (time) from the storage unit 302 in accordance with an operation signal from the input unit 303 operated by the user.
  • the process proceeds to step S33, and when the video data cannot be acquired (that is, next to the video data to be reproduced).
  • Step S32: No the operation for reproducing the image determination state is terminated.
  • the second playback unit 318 distributes and plays back the corresponding video data on the video display units 701a to 701f of the viewer screen 700 on which the past video data acquired from the storage unit 302 is displayed on the display unit 333.
  • the second reproduction unit 318 reproduces and displays video data from a frame having a reproduction time (time) desired by the user in accordance with an operation signal from the input unit 303 operated by the user. Then, control goes to a step S34.
  • Step S34> When the past video data stored in the storage unit 302 by the second playback unit 318 is displayed on the video display unit 701, the area display control unit 319 displays the image determination operation (monitoring operation) stored in the storage unit 302. ) Is started and ended, information on the time at which each determination area is designated, and information on the time detected in each determination area. Based on these pieces of time information, the area display control unit 319 causes a frame indicating each determination area to be superimposed on the past video data reproduced and displayed on the video display unit 701 and displayed. For example, if the time at which each determination region is specified is earlier than the time at which the image determination operation is started from the time information, the region display control unit 319 determines each specified from the start time of the image determination operation. A frame indicating the determination area is displayed. Then, the process proceeds to step S35.
  • Step S35 When the time of the video data reproduced and displayed on the video display unit 701 is the detection time of the specific determination area in the time information (step S35: Yes), the process proceeds to step S36, and is not the detection time (Step S35: No), it is confirmed whether the detection time has been reached.
  • Step S36> When the time of the video data reproduced and displayed on the video display unit 701 reaches the detection time of a specific determination area in the time information, the area display control unit 319 displays a frame indicating the determination area in the normal state color. It is displayed in a color different from the above and thicker than the normal frame. Then, the process returns to step S32.
  • the operation of reproducing the image determination state is executed by repeating the above-described steps S32 to S36.
  • a plurality of types of determination areas are included in the display area of the display unit 333 (the video display unit 401 and the video display unit 701).
  • the frame shown is superimposed and displayed on the video data.
  • the user can grasp the timing of detection (trigger detection, normal detection, abnormality detection, etc.) in each determination area and the contents of the detection. I can grasp it.
  • At least one of the plurality of types of determination areas displayed in the display area of the display unit 333 is displayed with a different color frame. This makes it possible to visually grasp which determination area is based on which determination function (instantaneous detection function and constant detection function).
  • the frames indicating the plurality of types of determination areas displayed in the display area of the display unit 333 are displayed in a manner different from the display form in the normal state at the detected timing. As a result, it is possible to visually grasp what detection is performed in which determination region.
  • the marker file based on the above time information is displayed, and the detection time in each determination area is displayed in time series.
  • the date and time of detection in each determination area can be confirmed in chronological order, and it is possible to easily identify the timing of occurrence of a defect, the tendency, the cause of occurrence of an abnormality, and the like.
  • the state of image determination for real-time video data or past video data of a plurality of imaging devices 2 is displayed in a plurality of display areas, respectively. As a result, it is possible to simultaneously confirm the state of image determination for the video data captured by each imaging device 2.
  • an abnormality detection sound and a determination end sound are output at the timing when an abnormality is detected in the determination area and the determination is completed in all detection areas corresponding to a specific trigger area based on the instantaneous detection function, respectively. It is said. This makes it possible to audibly recognize the timing at which an abnormality has occurred and the timing at which detection has ended.
  • the trigger region and detection region based on the instantaneous detection function and the constant detection region based on the constant detection function have been described as examples of the determination region.
  • the determination region is not limited thereto. is not.
  • a judgment area based on a function for detecting whether a series of operations in a production process is performed in order, or an OCR (Optical Character Recognition) function for detecting characters written on a product or a barcode The image determination operation based on the determination region based on the image may be executed.
  • the watcher screen 400 displays the real-time video data
  • the viewer screen 700 displays the past video data.
  • the present invention is not limited to this. is not. That is, the functions of the watcher screen 400 and the viewer screen 700 may be realized on a common screen.
  • each display area (video display units 401 and 701), a frame is used as a display element indicating each determination area.
  • a display element that can indicate each determination area. Any display may be used.
  • the trigger signal generated by the trigger generation unit 313 is used as a reference for the timing of image determination by the detection region determination unit 314 in the above-described embodiment, but is not limited thereto.
  • the trigger signal may be used as a reference for timing at which the production facility performs predetermined processing.
  • the trigger signal is transmitted to the production facility when the trigger signal is generated. It may be.
  • FIG. 30 is a diagram illustrating an example of a state before a trigger is generated in the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • FIG. 31 is a diagram illustrating an example of a state in which a trigger is generated in the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment.
  • 32 to 37 are diagrams illustrating an example of a state in which image determination is performed in the detection area by the monitoring operation executed on the watcher screen displayed in the display area of the information processing apparatus according to the modification of the embodiment. .
  • the details of the image determination operation (monitoring operation) on the video data based on the instantaneous detection function in this modification will be described with reference to FIGS. 30 to 37, taking the video display unit 401f on the watcher screen 400 as an example.
  • this modification for one or more detection regions associated with the trigger region, when the trigger generation unit 313 detects a trigger, all the image determinations in all the detection regions associated with the trigger region are all completed.
  • the operation of continuing the frame indicating the detection area to the display state indicating the result of the image determination will be described.
  • the detection delay times are set to “1.0” seconds, “2.2” seconds, “2.5” seconds, and “4.0” seconds, respectively. It will be explained as a thing.
  • the first control unit 316 displays a frame indicating each determination area specified on the setting screen 500 by superimposing the frame on the video data of the video display unit 401f.
  • a trigger area 530, detection areas 535 to 538, and a constant detection area 570 are displayed on the video display unit 401f.
  • the first control unit 316 displays a frame (an example of a display element) indicating each determination region in a normal state (a state where detection is not performed in each determination region) in different colors.
  • the first control unit 316 displays a frame indicating the trigger region 530 in “white”, a frame indicating the detection regions 535 to 538 in “yellow”, and a frame indicating the constant detection region 570 in “green”.
  • the first control unit 316 sets the frame indicating the trigger region 530 in a color different from the color in the normal state and in the normal state. Display thicker than the frame. For example, the first control unit 316 displays the frame indicating the trigger region 530 as “blue” and thick, and continues this display state for one second. Then, after 1 second, the first control unit 316 returns the display of the frame indicating the trigger area 530 to the display of the frame in the normal state.
  • the detection region determination unit 314 performs image determination in the detection region 535 after “1.0” seconds that is the detection delay time set for the detection region 535. . If the result of this determination is normal detection, as shown in FIG. 32, the first control unit 316 uses a frame that indicates the detection area 535 in a color that is different from the color in the normal state and that is in the frame in the normal state. Display thicker. For example, the first control unit 316 displays the frame indicating the detection area 535 “blue” and thickly to indicate normal detection, and continues this display state.
  • the detection region determination unit 314 performs image determination in the detection region 536 after “2.2” seconds that is the detection delay time set for the detection region 536. . Furthermore, the detection area determination unit 314 performs image determination in the detection area 537 after “2.5” seconds that is the detection delay time set for the detection area 537 after receiving the trigger signal from the trigger generation unit 313. As a result of this determination, if each is normal detection, as shown in FIG. 33, the first control unit 316 sets the frames indicating the detection areas 536 and 537 in colors different from the colors in the normal state, and , Display thicker than the normal frame.
  • the first control unit 316 displays the frames indicating the detection regions 536 and 537 in “blue” and thick, and continues this display state.
  • the detection areas 535 to 537 are all in a normal detection display state (a state of “blue” and thick display).
  • the detection area determination unit 314 performs image determination in the detection area 538 after “4.0” seconds which is the detection delay time set for the detection area 538 after receiving the trigger signal from the trigger generation unit 313. If the result of this determination is normal detection, as shown in FIG. 34, the first control unit 316 uses a frame that indicates the detection area 538 in a color that is different from the color in the normal state and in the frame in the normal state. Display thicker. For example, the first control unit 316 displays a frame indicating the detection area 538 in “blue” and thick to indicate normal detection. At this point, as shown in FIG. 34, the detection areas 535 to 538 are all in a normal detection display state (a state of “blue” and thick display).
  • the first control unit 316 ends the detection of the detection areas 535 to 538 after the image determination in the detection area 538 in which the image is determined at the last timing among the detection areas 535 to 538 associated with the trigger area 530.
  • the display state of normal detection is continued for a predetermined time (for example, 1 second).
  • the first control unit 316 returns the display of the frames indicating the detection areas 535 to 538 to the display of the frames in the normal state.
  • the notification control unit 317 is configured to notify the notification unit at the timing when the detection region determination unit 314 completes the image determination of the detection region accompanying the trigger of the trigger generation unit 313 (that is, the timing at which the image determination of the detection region 538 ends).
  • a determination end sound (indicated as “beep” in FIG. 34) indicating the end of the image determination of the detection area is output for a predetermined time (for example, 0.2 seconds).
  • the detection region determination unit 314 performs image determination in the detection region 535 after “1.0” seconds that is the detection delay time set for the detection region 535 after receiving the trigger signal from the trigger generation unit 313. If the result of this determination is normal detection, as shown in FIG. 35, the first control unit 316 uses a frame that indicates the detection area 535 in a color that is different from the normal state color and that is in the normal state frame. Display thicker. For example, the first control unit 316 displays the frame indicating the detection area 535 “blue” and thickly to indicate normal detection, and continues this display state.
  • the detection region determination unit 314 performs image determination in the detection region 536 after “2.2” seconds that is the detection delay time set for the detection region 536. . Furthermore, the detection area determination unit 314 performs image determination in the detection area 537 after “2.5” seconds that is the detection delay time set for the detection area 537 after receiving the trigger signal from the trigger generation unit 313.
  • the first control unit 316 sets the frame indicating the detection region 536 in a color different from the color in the normal state, and Display thicker than the normal frame.
  • the first control unit 316 displays a frame indicating the detection region 536 in “blue” and thick, and continues this display state.
  • the first control unit 316 sets the frame indicating the detection area 537 in a color different from the color in the normal state. And it is displayed thicker than the frame in the normal state.
  • the first control unit 316 displays a frame indicating the detection region 537 as “red” and thick, and continues this display state.
  • the notification control unit 317 detects the abnormality detection sound to the notification unit 334 at the timing when the detection region determination unit 314 detects the abnormality in the detection region 537 (indicated as “boo” in FIG. 36). Is output for a predetermined time (for example, 1 second).
  • the detection areas 535 and 536 are all in a normal detection display state (a state of being displayed in “blue” and thick), and the detection area 537 is a display of abnormality detection. It is in a state (“red” and thickly displayed).
  • the detection area determination unit 314 performs image determination in the detection area 538 after “4.0” seconds which is the detection delay time set for the detection area 538 after receiving the trigger signal from the trigger generation unit 313. If the result of this determination is that an abnormality has been detected, as shown in FIG. 37, the first control unit 316 uses a frame that indicates the detection area 538 in a color different from the color in the normal state and the frame in the normal state. Display thicker. For example, the first control unit 316 displays a frame indicating the detection region 538 as “red” and thick to indicate abnormality detection.
  • the notification control unit 317 detects an abnormality in the detection unit 334 at the timing when the detection of the abnormality is detected in the detection region 538 by the detection region determination unit 314 (indicated as “boo” in FIG. 37). Is output for a predetermined time (for example, 1 second). At this time, as shown in FIG. 37, the detection areas 535 and 536 are all in a normal detection display state (a state of “blue” and thickly displayed), and the detection areas 537 and 538 are both It is in the abnormal detection display state (a state of “red” and thick display).
  • the first control unit 316 then ends the detection areas 535 and 536 after the image determination in the detection area 538 in which the image determination is performed at the last timing among the detection areas 535 to 538 associated with the trigger area 530 is completed.
  • the display state of normal detection is continued for a predetermined time (for example, 1 second), and the display state of abnormality detection in the detection areas 537 and 538 is continued for a predetermined time (for example, 1 second).
  • the first control unit 316 returns the display of the frames indicating the detection areas 535 to 538 to the display of the frames in the normal state.
  • the notification control unit 317 is configured to notify the notification unit at the timing when the detection region determination unit 314 completes the image determination of the detection region accompanying the trigger of the trigger generation unit 313 (that is, the timing at which the image determination of the detection region 538 ends).
  • a determination end sound (indicated as “beep” in FIG. 37) indicating the end of the image determination of the detection region is output for a predetermined time (for example, 0.2 seconds).
  • the abnormality detection sound and the determination end sound are superimposed and output by the notification unit 334 according to the image determination of the detection region 538, but because they are different sounds (for example, different scales, waveforms, or melody sounds) The user can distinguish and listen to any sound.
  • FIGS. 35 to 37 the case where abnormality detection is performed in any of the image determinations of the detection areas 535 to 538 has been described.
  • the first control unit 316 determines the detection result of each detection region until the image determination of the detection region associated with the trigger of the trigger generation unit 313 is completed in the image determination operation based on the instantaneous detection function.
  • the display state indicating is continued. Accordingly, the user can grasp at a glance the results of the image determination in all detection areas associated with the trigger of the trigger generation unit 313, so that convenience can be improved.
  • the program is provided by being incorporated in advance in a ROM or the like.
  • the program executed by the information processing apparatus 3 according to the present embodiment is a file in an installable or executable format and is read by a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD. You may comprise so that it may record on a possible recording medium and provide.
  • the program executed by the information processing apparatus 3 according to the present embodiment may be configured to be stored by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the program executed by the information processing apparatus 3 of the present embodiment may be configured to be provided or distributed via a network such as the Internet.
  • the program executed by the information processing apparatus 3 according to the present embodiment has a module configuration including at least one of the above-described functional units. As actual hardware, the CPU reads the program from the above-described ROM. By executing, the above-described units are loaded and generated on the main storage device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

 表示手段と、表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示制御手段と、映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で映像データに重畳させて表示領域に表示させる領域表示制御手段と、を備える。

Description

画像処理装置、画像処理システム、画像処理方法およびプログラム
 本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。
 近年、ビデオカメラ等の撮像装置により録画して得られた映像データを分析して、目的物の検出、または、映像上の物体の動きもしくは異常の検知等を行う画像監視システムの発展が著しい。このような画像監視システムは、例えば、製品の生産ライン等において適用される。
 このような、画像に基づいて製品の異常を検知する画像監視システムとして、所定のタイミングで異常であるか否かを判定して、OK判定かNG判定かを表示するシステムが提案されている(特許文献1)。
 しかしながら、特許文献1に記載された技術は、所定のタイミングで異常であるか否かを判定した結果を表示するのみであり、様々な判定機能(例えば、所定のタイミングではなく常時検知を行う機能、または、異常の検知ではなく、画像の変化のみを検知する機能等)がある場合に、それらの機能がどのように動作しているかを同時に示すことはできない。したがって、複数の判定機能が有するシステムの場合、それらの判定機能の動作状態を同時に把握することができないという問題点がある。
 本発明は、上記に鑑みてなされたものであって、複数の種類の判定動作の状態を同時に把握することができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明は、表示手段と、前記表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示制御手段と、前記映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で前記映像データに重畳させて前記表示領域に表示させる領域表示制御手段と、を備えたことを特徴とする。
 本発明によれば、複数の種類の判定動作の状態を同時に把握することができる。
図1は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。 図2は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図3は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。 図4は、実施の形態に係る情報処理装置において記憶装置に記憶される情報のディレクトリ構造の一例を示す図である。 図5は、実施の形態に係る情報処理装置の表示装置に表示されるウォッチャ画面において複数のリアルタイムの映像が表示される例を示す図である。 図6は、実施の形態に係る情報処理装置の表示装置に表示される設定画面で映像データが表示される状態の一例を示す図である。 図7は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に常時検知領域を指定する例を示す図である。 図8は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部にトリガ領域を指定する例を示す図である。 図9は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つかった場合のマーク表示の一例を示す図である。 図10は、トリガ領域における変化点を検出する動作を説明する図である。 図11は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が2点見つかった場合に表示されるダイアログの一例を示す図である。 図12は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つからなかった場合に表示されるダイアログの一例を示す図である。 図13は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に検知領域を指定する例を示す図である。 図14は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に2つ目の検知領域を指定する例を示す図である。 図15は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部で指定した検知領域の属性情報を設定する例を示す図である。 図16は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で監視動作が実行される状態の一例を示す図である。 図17は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生する前の状態の一例を示す図である。 図18は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生した状態の一例を示す図である。 図19は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図20は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図21は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図22は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図23は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図24は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図25は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面で録画された映像が再生表示される状態の一例を示す図である。 図26は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面で再生表示される映像に対して画像判定の状態が再現される状態の一例を示す図である。 図27は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面でマーカリスト画面が表示された状態の一例を示す図である。 図28は、実施の形態に係る情報処理装置の表示装置に表示されるウォッチャ画面での監視動作の例を示すフローチャートである。 図29は、実施の形態に係る情報処理装置の表示装置に表示されるビューワ画面で再生表示される映像に対して画像判定の状態が再現される動作の例を示すフローチャートである。 図30は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生する前の状態の一例を示す図である。 図31は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生した状態の一例を示す図である。 図32は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図33は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図34は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図35は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図36は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図37は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。
 以下に、図面を参照しながら、本発明に係る画像処理装置、画像処理システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
(画像処理システムの全体構成)
 図1は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図1を参照しながら、本実施の形態の画像処理システム1の全体構成について説明する。
 図1に示すように、本実施の形態の画像処理システム1は、撮像装置2a~2f(撮像手段)と、情報処理装置3と、ネットワーク4と、を含む。
 撮像装置2a~2fは、被写体から光を電気信号に変換することによって被写体を撮像(撮影)し、複数のフレーム(画像データ)で構成された動画(例えば、10[FPS])である映像データを生成するビデオカメラである。例えば、撮像装置2a~2fは、製品を生産する生産設備または生産ライン等を撮像し、製造物であるワークに対する異常を検知するための映像データを生成する。
 なお、撮像装置2a~2fを区別なく呼称する場合、または総称する場合、単に「撮像装置2」というものとする。また、図1では、画像処理システム1は、6台の撮像装置2を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置2を含む構成であってもよい。
 情報処理装置3は、撮像装置2によって撮像された映像データに基づいて画像判定を実行する画像処理装置として機能するPC(Personal Computer)またはワークステーション等である。また、情報処理装置3は、生産設備等の外部機器10と、例えば、フィールドバス規格による通信が可能となるように接続している。
 ネットワーク4は、撮像装置2a~2fと、情報処理装置3とを接続するための、例えば、Ethernet(登録商標)規格のネットワークである。この場合、ネットワーク4では、TCP(Transmission Control Protocol)/IP(Internet Protocol)等のプロトコルによりデータ通信が行われる。また、この場合、撮像装置2a~2fおよび情報処理装置3は、TCP/IPのプロトコルにより通信するためのMAC(Media Access Control)アドレスを有し、かつプライベートIPアドレス等のIPアドレスが割り当てられている。また、ネットワーク4の具体的な構成は、例えば、複数のポートを有するスイッチングハブに撮像装置2a~2fおよび情報処理装置3それぞれがLAN(Local Area Network)ケーブルによって接続されたスター配線形式が一例として挙げられる。
 なお、図1に示すネットワーク4は、TCP/IPにより通信される例を示したが、これに限定されるものではなく、例えば、情報処理装置3側にVGA(Video Graphics Array)端子またはUSB(Universal Serial Bus)ポートを複数有し、複数の撮像装置2がVGAケーブルまたはUSBケーブルで情報処理装置3に接続された形態等であってもよい。
(情報処理装置のハードウェア構成)
 図2は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図2を参照しながら、本実施の形態の情報処理装置3のハードウェア構成について説明する。
 図2に示すように、情報処理装置3は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、外部記憶装置104と、ディスプレイ105と、ネットワークI/F106と、キーボード107と、マウス108と、DVD(Digital Versatile Disc)ドライブ109と、外部機器I/F111と、スピーカ112と、を備えている。
 CPU101は、情報処理装置3全体の動作を制御する装置である。ROM102は、情報処理装置3用のプログラムを記憶している不揮発性記憶装置である。RAM103は、CPU101のワークエリアとして使用される揮発性記憶装置である。
 外部記憶装置104は、撮像装置2により撮像された映像データ、および設定情報等の各種データを記憶するHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の記憶装置である。
 ディスプレイ105は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置3による画像判定動作を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ105は、例えば、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electroluminescence)ディスプレイ等である。なお、ディスプレイ105は、例えば、情報処理装置3の本体に対して、VGAケーブルまたはHDMI(登録商標)(High-Definition Multimedia Interface)ケーブル等によって接続されたり、または、Ethernetケーブルによって接続される。
 ネットワークI/F106は、ネットワーク4に接続してデータ通信するためのインターフェースである。ネットワークI/F106は、例えば、TCP/IPのプロトコルで通信可能にするNIC(Network Interface Card)である。具体的には、情報処理装置3は、撮像装置2から、ネットワーク4およびネットワークI/F106を介して、映像データを取得する。
 キーボード107は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の設定等の入力を行う入力装置である。なお、段取り番号は、数字のみによって構成されることに限定されるものではなく、さらに、英字および記号等を組み合わせたものであってもよい。マウス108は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の設定等を行うための入力装置である。
 DVDドライブ109は、着脱自在な記憶媒体の一例としてのDVD110に対するデータの読み出し、書き込みおよび削除を制御する装置である。
 外部機器I/F111は、外部機器10と接続してデータ通信をするためのインターフェースである。外部機器I/F111は、例えば、フィールドバス規格により通信可能にするインターフェースカードである。具体的には、情報処理装置3は、外部機器10と、外部機器I/F111を介してデータ通信を行う。
 スピーカ112は、アプリケーションの動作に従って音声を出力する装置である。
 上述のCPU101、ROM102、RAM103、外部記憶装置104、ディスプレイ105、ネットワークI/F106、キーボード107、マウス108、DVDドライブ109、外部機器I/F111およびスピーカ112は、アドレスバスおよびデータバス等のバス113によって互いに通信可能に接続されている。なお、ディスプレイ105が、Ethernetケーブルによって接続される場合には、ネットワークI/F106に接続されることになり、この場合、TCP/IP等のプロトコルによりデータ通信が行われる。
(情報処理装置のブロック構成)
 図3は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図3を参照しながら、情報処理装置3のブロック構成について説明する。
 図3に示すように、情報処理装置3は、映像受信部301と、記憶部302(記憶手段)と、入力部303と、第1再生部304と、トリガ領域指定部305と、変化点検出部306と、検知領域指定部307と、設定部308と、常時検知領域指定部309と、映像振分部312(映像表示制御手段の一例)と、トリガ生成部313と、検知領域判定部314と、常時検知領域判定部315と、第1制御部316(領域表示制御手段の一例)と、報知制御部317と、第2再生部318(映像表示制御手段の一例)と、領域表示制御部319(領域表示制御手段の一例)と、リスト制御部320(リスト制御手段)、第2制御部321と、表示制御部331と、外部出力部332と、表示部333(表示手段)と、報知部334(報知手段)と、を備えている。なお、図3においては、説明を簡略化するため、ネットワーク4の図示を省略して説明する。また、上述の各機能部のうち、トリガ領域指定部305、検知領域指定部307、常時検知領域指定部309、トリガ生成部313、検知領域判定部314、常時検知領域判定部315、および第1制御部316は、本発明の「時刻情報管理手段」の一例に相当するものである。
 映像受信部301は、ネットワーク4を介して、撮像装置2とデータ通信を行い、撮像装置2から映像データを受信する機能部である。映像受信部301は、受信した映像データを記憶部302に記憶させる。映像受信部301は、図2に示すネットワークI/F106によって実現される。
 記憶部302は、映像受信部301により受信された映像データ、各種設定情報、および後述する時刻情報等を記憶する記憶装置である。記憶部302は、映像受信部301により受信された映像データが、どの撮像装置2により生成された映像データであるかを識別して記憶する。記憶部302は、例えば、図2に示すRAM103または外部記憶装置104によって実現される。
 入力部303は、情報処理装置3が実行する画像判定動作等のための操作入力を行う装置である。入力部303は、図2に示すキーボード107およびマウス108によって実現される。
 第1再生部304は、ユーザにより操作される入力部303からの操作信号に従って、記憶部302から取得した映像データを表示制御部331に送り、表示制御部331に対して映像データを表示部333に再生表示させる機能部である。具体的には、第1再生部304は、図6等で後述する表示部333に表示される設定画面500の設定用映像表示部502に映像データを再生表示させる。第1再生部304は、図2に示すCPU101により実行されるプログラムによって実現される。
 トリガ領域指定部305は、ユーザにより操作される入力部303からの操作信号に従って、表示部333における映像データの表示領域(図6等で後述する設定用映像表示部502)においてトリガのタイミングを決定するトリガ領域を指定する機能部である。トリガ領域指定部305は、指定したトリガ領域の情報を、撮像装置2ごとに関連付けて記憶部302に記憶させる。また、トリガ領域の情報とは、例えば、映像データの表示領域におけるトリガ領域の位置を示す座標、およびトリガ領域の形状等の情報である。トリガ領域指定部305により指定されたトリガ領域は、後述する瞬間検知機能で使用される。トリガ領域指定部305は、図2に示すCPU101により実行されるプログラムによって実現される。
 変化点検出部306は、トリガ領域指定部305によりトリガ領域が指定された場合、指定された時点で第1再生部304が再生表示している映像データのフレームの時刻の前後の所定時間分のフレームを取得し、取得したフレームにおいて、フレームごとに直前のフレームとの画素値についての差分を演算し、演算した差分に基づいて、トリガ領域内の画像についての変化点を検出する機能部である。変化点については、後述する。差分の演算方法としては、例えば、2つのフレームのトリガ領域における画素値を比較し、画素値が所定の感度以上異なる画素の数の合計を差分として算出する。なお、フレームがグレースケールの画像である場合、画素値は輝度値と一致するので、2つのフレームのトリガ領域における輝度値を比較し、輝度値が所定の感度以上異なる画素の数の合計を差分として算出してもよい。また、フレームがRGBの画素値で構成された画像である場合、R(赤)、G(緑)またはB(青)のいずれかの画素値を比較して、上述と同様に、画素値が所定の感度以上異なる画素の数の合計を差分として算出してもよい。また、フレームの画像におけるエッジ検出処理を行い、エッジ部分の合計を差分として算出してもよい。変化点検出部306は、図2に示すCPU101により実行されるプログラムによって実現される。
 検知領域指定部307は、ユーザにより操作される入力部303からの操作信号に従って、表示部333における映像データの表示領域(設定用映像表示部502)において異常を検知する画像判定動作の対象となる検知領域を指定する機能部である。検知領域指定部307は、指定した検知領域の情報を、撮像装置2ごとに関連付けて記憶部302に記憶させる。また、検知領域の情報とは、例えば、映像データの表示領域における検知領域の位置を示す座標、および検知領域の形状等の情報である。また、検知領域指定部307は、後述するように、映像データの表示領域において複数の検知領域を指定することができる。検知領域指定部307により指定された検知領域は、後述する瞬間検知機能で使用される。検知領域指定部307は、図2に示すCPU101により実行されるプログラムによって実現される。
 設定部308は、ユーザにより操作される入力部303からの操作信号に従って、各種設定情報を設定して記憶部302に記憶させる機能部である。また、設定部308は、設定した設定情報のうち、表示する必要がある情報を、記憶部302から表示制御部331に送り、表示制御部331に対して設定情報を表示部333に表示させる。設定部308は、図2に示すCPU101により実行されるプログラムによって実現される。
 常時検知領域指定部309は、ユーザにより操作される入力部303からの操作信号に従って、表示部333における映像データの表示領域(設定用映像表示部502)において、常時、異常を検知する画像判定動作の対象となる常時検知領域を指定する機能部である。常時検知領域指定部309は、指定した常時検知領域の情報を、撮像装置2ごとに関連付けて記憶部302に記憶させる。また、常時検知領域の情報とは、例えば、映像データの表示領域における常時検知領域の位置を示す座標、および常時検知領域の形状等の情報である。常時検知領域指定部309により指定された常時検知領域は、後述する常時検知機能で使用される。常時検知領域指定部309は、図2に示すCPU101により実行されるプログラムによって実現される。
 映像振分部312は、ユーザにより操作される入力部303からの操作信号に従って、映像受信部301から取得したリアルタイムの映像データを表示制御部331に送り、表示制御部331に対して映像データを表示部333に表示させる機能部である。具体的には、映像振分部312は、図5等で後述する表示部333に表示されるウォッチャ画面400の映像表示部401a~401fに、対応する映像データを振り分けて表示させる。また、映像振分部312は、映像表示部401に表示させる各映像データを、記憶部302に記憶(録画)させる。映像振分部312は、図2に示すCPU101により実行されるプログラムによって実現される。
 トリガ生成部313は、監視動作が開始された後、後述する図16のウォッチャ画面400の映像表示部401a~401fにおけるトリガ領域において、差分画像と、映像データのフレームのトリガ領域の画像とを比較して、トリガのタイミングでトリガ信号を生成する機能部である。トリガ生成部313は、図2に示すCPU101により実行されるプログラムによって実現される。
 検知領域判定部314は、トリガ生成部313により生成されたトリガ信号を受け取ったときの設定時間前または設定時間後に、上述の映像表示部401a~401fにおける検知領域において、検知基準画像と、映像データのフレームの検知領域の画像とを比較して異常であるか否かの判定をする機能部である。検知領域判定部314は、図2に示すCPU101により実行されるプログラムによって実現される。
 常時検知領域判定部315は、監視動作が開始された後、後述する図16のウォッチャ画面400の映像表示部401a~401fにおける常時検知領域において、常時検知基準画像と、映像データのフレームの常時検知領域の画像とを比較して異常であるか否かの判定を常時実行する機能部である。常時検知領域判定部315は、図2に示すCPU101により実行されるプログラムによって実現される。
 第1制御部316は、ユーザにより操作される入力部303からの操作信号に従って、後述する図16のウォッチャ画面400において監視動作の開始および停止を行うことの他、ウォッチャ画面400の動作全体を制御する機能部である。第1制御部316は、図2に示すCPU101により実行されるプログラムによって実現される。
 報知制御部317は、検知領域判定部314による検知領域の判定の結果に基づいて、報知部334に音声を出力させる機能部である。報知制御部317は、図2に示すCPU101により実行されるプログラムによって実現される。
 第2再生部318は、ユーザにより操作される入力部303からの操作信号に従って、記憶部302から取得した映像データを表示制御部331に送り、表示制御部331に対して映像データを表示部333に再生表示させる機能部である。具体的には、第2再生部318は、図25等で後述する表示部333に表示されるビューワ画面700の映像表示部701a~701fに、対応する映像データを振り分けて再生表示させる。第2再生部318は、図2に示すCPU101により実行されるプログラムによって実現される。
 領域表示制御部319は、入力部303に記憶された各判定領域(トリガ領域、検知領域および常時検知領域)の検知時刻の情報(時刻情報)に基づいて、ビューワ画面700の映像表示部701a~701fに再生表示されている映像データのフレームに重畳して各判定領域の状態を表示する機能部である。領域表示制御部319は、図2に示すCPU101により実行されるプログラムによって実現される。
 リスト制御部320は、ビューワ画面700で、記憶部302に記憶されたマーカファイルを読み出し、マーカファイルの内容を表示させる図27で後述するマーカリスト画面800を表示する機能部である。ここで、マーカファイルとは、常時検知機能により異常が検知された時刻、ならびに、瞬間検知機能によりトリガが発生した(トリガ信号が生成された)時刻、および異常が検知された時刻が時系列に記録されたファイルである。リスト制御部320は、図2に示すCPU101により実行されるプログラムによって実現される。
 第2制御部321は、ビューワ画面700の動作全体を制御する機能部である。第2制御部321は、図2に示すCPU101により実行されるプログラムによって実現される。
 表示制御部331は、表示部333の表示動作を制御する機能部である。具体的には、表示制御部331は、第1再生部304により取得された映像データ、設定部308により設定された設定情報、トリガ領域指定部305により指定されたトリガ領域、および、検知領域指定部307により指定された検知領域等を、表示部333に表示させる。表示制御部331は、図2に示すCPU101により実行されるプログラム(ドライバ)によって実現される。
 外部出力部332は、検知領域判定部314または常時検知領域判定部315により異常の判定がされた場合、異常信号を外部機器10に出力する機能部である。外部出力部332は、図2に示す外部機器I/F111によって実現される。なお、外部出力部332は異常信号を出力するものとしているが、これに限定されるものではなく、メールで異常を通知するためのバッチファイルを外部機器10に送信したり、または、ウォッチャ画面400上に異常を報知(例えば、ランプアイコンで点滅表示)する等の処置を行うものとしてもよい。
 表示部333は、表示制御部331の制御に従って各種データを表示する装置である。表示部333は、本実施の形態では特に、図2に示すCPU101により実行されるプログラム(アプリケーション)により、後述するウォッチャ画面400、設定画面500、およびビューワ画面700等を表示する。表示部333は、図2に示すディスプレイ105によって実現される。
 報知部334は、報知制御部317の制御に従って音声を出力する装置である。報知部334は、図2に示すスピーカ112によって実現される。
 なお、図3に示した第1再生部304、トリガ領域指定部305、変化点検出部306、検知領域指定部307、設定部308、常時検知領域指定部309、映像振分部312、トリガ生成部313、検知領域判定部314、常時検知領域判定部315、第1制御部316、報知制御部317、第2再生部318、領域表示制御部319、リスト制御部320、第2制御部321および表示制御部331の一部または全部は、ソフトウェアであるプログラムではなく、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)等のハードウェア回路によって実現されてもよい。
 また、図3に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図3で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図3の1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
 また、以降の説明の簡略化のため、表示制御部331が、受け取ったデータを表示部333に表示させるという表現を、単に、そのデータを表示制御部331に送った機能部が、表示部333(または、表示部333が表示する画面)に表示させると表現するものとする。例えば、第1再生部304が、映像データを表示制御部331に送り、表示制御部331に対して映像データを表示部333に再生表示させる場合、単に、第1再生部304が、映像データを表示部333に再生表示させると表現するものとする。
(記憶部に記憶される情報のディレクトリ構造)
 図4は、実施の形態に係る情報処理装置において記憶装置に記憶される情報のディレクトリ構造の一例を示す図である。図4を参照しながら、記憶部302で情報を管理するためのディレクトリ構造について説明する。
 まず、図4に示すように、記憶部302は、ルートフォルダとして、「Setting」フォルダと、「Common」フォルダと、を形成している。「Setting」フォルダの中には、各撮像装置2に関する情報を保存するための「CAM1」~「CAM6」フォルダ(以下、単に「カメラフォルダ」と総称する)が形成されている。「CAM1」~「CAM6」フォルダは、それぞれ撮像装置2a~2fに関するフォルダに相当する。
 各カメラフォルダには、図4に示すように、領域情報ファイル、時刻情報ファイル、および画像データが保存される。ここで、領域情報ファイルは、対応する撮像装置2について設定された各判定領域の位置情報(位置を示す座標および領域の形状等の情報)および後述する属性情報を含むファイルである。また、時刻情報ファイルは、対応する撮像装置2について監視動作が開始および終了した時刻、各判定領域が指定(設定)された時刻、および、監視動作中に各判定領域が検知した時刻を含むファイルである。また、画像データは、後述するトリガ基準画像および差分画像、検知基準画像、ならびに、常時検知基準画像等のデータである。
 また、「Common」フォルダには、上述のマーカファイルが保存される。
 なお、図4に示した情報を管理するためのディレクトリ構造は一例であり、これに限定されるものではなく、その他のデータ構造によって情報が管理されるものとしてもよい。また、図4に示したフォルダの名称も一例であり、これらに限定されるものではない。
(ウォッチャ画面の構成)
 図5は、実施の形態に係る情報処理装置の表示装置に表示されるウォッチャ画面において複数のリアルタイムの映像が表示される例を示す図である。図5を参照しながら、ウォッチャ画面400の構成、および複数のリアルタイムの映像が表示される動作について説明する。
 CPU101により実行されるプログラム(アプリケーション)により、図5に示すウォッチャ画面400が表示部333に表示される。ウォッチャ画面400は、複数の撮像装置2から受信した映像データをリアルタイムに表示し、画像判定動作(監視動作)が実行されている場合には、指定された各判定領域において画像判定が実行される画面である。具体的には、ウォッチャ画面400では、画像判定動作(監視動作)が実行されている場合、トリガ領域指定部305により指定されたトリガ領域において、トリガ生成部313により、トリガのタイミングでトリガ信号が生成される。また、ウォッチャ画面400では、検知領域判定部314によりトリガ信号を受け取ったときの設定時間前または設定時間後に、検知領域指定部307により指定された検知領域において異常の有無が判定される。また、ウォッチャ画面400では、画像判定動作(監視動作)が実行されている場合、常時検知領域判定部315によって、常時検知領域指定部309により指定された常時検知領域において異常の有無が常時、判定される。
 ウォッチャ画面400は、図5に示すように、映像表示部401a~401fと、監視開始ボタン411と、監視停止ボタン412と、監視設定ボタン413と、状態表示部421a~421fと、を含む。
 映像表示部401a~401fは、ユーザにより操作される入力部303からの操作信号に従って、映像振分部312によって、撮像装置2a~2fから映像受信部301を介して取得されたリアルタイムの映像データがそれぞれ表示される表示部である。また、映像表示部401a~401fは、ユーザによる入力部303の操作によって押下(例えば、マウス108のクリック操作等、以下同様)されると、選択状態にすることができる。なお、映像表示部401a~401fを区別なく呼称する場合、または総称する場合、単に「映像表示部401」というものとする。
 監視開始ボタン411は、ユーザによる入力部303の操作によって押下されると、リアルタイムの映像データが表示されている選択状態の映像表示部401で、トリガ領域指定部305により指定されたトリガ領域において、トリガ生成部313によりトリガのタイミングでトリガ信号が生成され、検知領域判定部314によりトリガ信号を受け取ったときの設定時間前または設定時間後に検知領域における異常の有無の判定が開始される。さらに、リアルタイムの映像データが表示されている選択状態の映像表示部401で、常時検知領域指定部309により指定された常時検知領域における異常の有無の判定が開始される。
 監視停止ボタン412は、ユーザによる入力部303の操作によって押下されると、選択状態の映像表示部401で、トリガ生成部313によるトリガのタイミングでのトリガ信号の生成動作、検知領域判定部314による検知領域における異常の有無の判定動作、および、常時検知領域判定部315による常時検知領域における異常の有無の判定動作を停止させるボタンである。
 監視設定ボタン413は、ユーザによる入力部303の操作によって押下されると、各判定領域を設定するために、第1制御部316によって、後述の図6等に示す設定画面500を表示部333に表示させるボタンである。
 状態表示部421a~421fは、各映像表示部401に対応する撮像装置2についての状態を示す表示部である。例えば、状態表示部421a~421fには、「未接続」、「未設定」、「設定完了」、「監視中」等の撮像装置2についての状態を示す内容が表示される。「未接続」とは、映像表示部401に対応する撮像装置2が画像処理システム1に接続されていない状態を示し、映像表示部401には映像データが表示されていない状態を示す。「未設定」とは、映像表示部401に表示されている映像データについてトリガ領域、検知領域、および常時検知領域等の設定がなされていない状態を示す。「設定完了」とは、映像表示部401に表示されている映像データについてトリガ領域、検知領域、および常時検知領域等の設定が完了している状態を示す。「監視中」とは、設定された各判定領域の情報に基づいて、画像判定動作(監視動作)が実行中である状態を示す。なお、状態表示部421a~421fを区別なく呼称する場合、または総称する場合、単に「状態表示部421」というものとする。
(設定画面の構成)
 図6は、実施の形態に係る情報処理装置の表示装置に表示される設定画面で映像データが表示される状態の一例を示す図である。図6および後述する図8を参照しながら、設定画面500の構成について説明する。
 設定画面500は、トリガ領域、検知領域および常時検知領域の指定、ならびに、検知領域および常時検知領域における画像判定の感度および閾値等を設定する画面である。図6に示す設定画面500は、常時検知機能について設定するための画面であり、カメラ選択タブ501、設定用映像表示部502と、再生ボタン503aと、一時停止ボタン503bと、早送りボタン503cと、早戻しボタン503dと、停止ボタン503eと、シークバー504と、スライダー505と、時刻表示部506と、設定読出ボタン511と、設定書込ボタン512と、設定反映ボタン513と、閉じるボタン514と、領域選択タブ551と、常時検知領域情報部561と、常時検知領域ボタン群562と、を含む。
 カメラ選択タブ501は、ユーザがトリガ領域、検知領域および常時検知領域の指定を所望する撮像装置2a~2fの映像データのうちいずれの映像データを設定用映像表示部502に表示させるのかを選択する操作部である。例えば、撮像装置2a~2fによって撮像された映像データは、それぞれ「1」~「6」に対応付けられており、図6の例では、「6」すなわち撮像装置2fの映像データが選択された例を示している。
 設定用映像表示部502は、第1再生部304によって、ユーザにより操作される入力部303からの操作信号に従って記憶部302から取得された映像データが再生表示される表示部である。図6の例では、第1再生部304は、ユーザによる入力部303の操作により、「6」のカメラ選択タブ501が選択操作されると、撮像装置2fにより撮像された映像データを設定用映像表示部502に再生表示させる。
 再生ボタン503aは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に表示された映像データが再生開始されるボタンである。一時停止ボタン503bは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが一時停止されるボタンである。早送りボタン503cは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが早送り表示されるボタンである。早戻しボタン503dは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが早戻し表示されるボタンである。停止ボタン503eは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが停止されるボタンである。
 シークバー504は、その上に配置されるスライダー505の位置により、設定用映像表示部502に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダー505は、設定用映像表示部502に再生表示されている映像データの撮像時刻(表示されているフレームが撮像された時刻)に対応したシークバー504上の位置にスライドする形状体かつ操作部である。逆に、スライダー505は、ユーザによる入力部303の操作によってスライドされると、第1再生部304によって、スライダー505が存在するシークバー504上の位置に対応した撮像時刻の映像データのフレームが設定用映像表示部502に表示される。
 時刻表示部506は、第1再生部304によって、設定用映像表示部502に再生表示されている映像データの撮像日付および撮像時刻を表示する表示部である。
 設定読出ボタン511は、ユーザによる入力部303の操作によって押下されると、設定部308によって、記憶部302に記憶された、カメラ選択タブ501で選択された撮像装置2についてのトリガ領域、検知領域および常時検知領域の情報等が読み出され、設定画面500の各表示部に表示されるボタンである。設定書込ボタン512は、ユーザによる入力部303の操作によって押下されると、設定部308によって、設定画面500上で設定されたトリガ領域、検知領域および常時検知領域の情報等が、カメラ選択タブ501で選択された撮像装置2に関連付けられて記憶部302に記憶されるボタンである。設定反映ボタン513は、ユーザによる入力部303の操作によって押下されると、設定部308によって、設定画面500上で設定されたトリガ領域、検知領域および常時検知領域の情報等が、ウォッチャ画面400および設定画面500等のアプリケーションが閉じられるまで有効とされる(例えば、RAM103に一時記憶される)ボタンである。
 閉じるボタン514は、ユーザによる入力部303の操作によって押下されると、設定部308によって、設定画面500が閉じられ、ウォッチャ画面400を表示部333に表示させるボタンである。
 領域選択タブ551は、常時検知機能に用いる常時検知領域を指定するためのタブと、瞬間検知機能に用いるトリガ領域および検知領域を指定するためのタブとによって構成されている。例えば、図6に示す設定画面500は、ユーザによる入力部303の操作によって、常時検知領域を指定するためのタブが選択された状態を示す。一方、後述する図8に示す設定画面500は、ユーザによる入力部303の操作によってトリガ領域および検知領域を指定するためのタブが選択された状態を示す。
 常時検知領域情報部561は、常時検知領域指定部309により指定された常時検知領域の名称、感度、閾値、監視方法(図6では「監視」と表記)、およびアクションの有無(図6では「アクション」と表記)(以下、常時検知領域についてのこれらの情報を属性情報という)を表示する表示部かつ選択操作部である。
 常時検知領域ボタン群562は、常時検知領域指定部309により指定され、常時検知領域情報部561に表示された常時検知領域についての属性情報を編集するボタン群である。常時検知領域ボタン群562は、アクションボタン562aと、削除ボタン562cと、感度増加ボタン562eと、感度減少ボタン562fと、閾値増加ボタン562gと、閾値減少ボタン562hと、を含む。常時検知領域ボタン群562の各ボタンの機能は、後述する。
 後述する図8に示す設定画面500は、上述のように、領域選択タブ551でトリガ領域および検知領域を指定するためのタブが選択された状態を示し、トリガ領域情報部507と、基準画像表示部508aと、差分画像表示部508bと、検知領域情報部509と、検知領域ボタン群510と、を有する。
 トリガ領域情報部507は、トリガ領域指定部305により指定されたトリガ領域の名称、ならびに、変化点検出部306が上述の変化点を検出するための感度および閾値を表示する表示部である。基準画像表示部508aは、変化点検出部306により抽出されたトリガ基準画像を表示する表示部である。差分画像表示部508bは、変化点検出部306により抽出された差分画像(後述)を表示する表示部である。
 検知領域情報部509は、検知領域指定部307により指定された検知領域の名称、感度、閾値、検知遅延時間(図8では「遅延時間」と表記)、監視方法(図8では「監視」と表記)、アクションの有無(図8では「アクション」と表記)、および画像判定の方法(図8では「画像判定」と表記)(以下、検知領域についてのこれらの情報を属性情報という)を表示する表示部かつ選択操作部である。
 検知領域ボタン群510は、検知領域指定部307により指定され、検知領域情報部509に表示された検知領域についての属性情報を編集するボタン群である。検知領域ボタン群510は、アクションボタン510aと、画像判定選択ボタン510bと、削除ボタン510cと、感度増加ボタン510eと、感度減少ボタン510fと、閾値増加ボタン510gと、閾値減少ボタン510hと、を含む。検知領域ボタン群510の各ボタンの機能は、後述する。
(常時検知領域の指定)
 図7は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に常時検知領域を指定する例を示す図である。図7を参照しながら、常時検知領域の指定について説明する。
 図7に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502において常時検知領域570が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示中に、常時検知機能の画像判定を所望する画像の部分が表示されているタイミングで、ユーザによる入力部303の操作によって一時停止ボタン503bが押下されると、第1再生部304は、設定用映像表示部502に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。そして、ユーザによる入力部303の操作によって領域選択タブ551の「常時」タブを選択操作されると、設定部308は、常時検知領域についての情報を表示させる。
 次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、常時検知領域指定部309は、設定用映像表示部502において常時検知領域570(判定領域)を指定して表示させる。
 また、設定部308は、常時検知領域570の属性情報として、常時検知領域指定部309により指定された常時検知領域570に命名した名前、ならびに、デフォルト値として、後述する画像判定で使用する所定の感度(例えば、「50」)、所定の閾値(例えば、「20%」)、監視方法(例えば、「グレースケール」)、およびアクションの有無(例えば、「なし」)を、常時検知領域情報部561に表示させる。設定部308は、常時検知領域570の名前として、図7に示すように、例えば、「6」の撮像装置(撮像装置2f)の映像データに対して指定された常時検知領域であるものとして、「A61」と命名する。また、常時検知領域指定部309は、カメラ選択タブ501で選択された撮像装置2(図7の例では、撮像装置2f)に関連付けて、常時検知領域570を指定した時刻の設定用映像表示部502に表示されているフレーム(画像)における常時検知領域570内の画像を常時検知基準画像として抽出して記憶部302に記憶させ、指定した常時検知領域570の情報(位置および形状等の位置情報、および属性情報等)を記憶部302に記憶させる。さらに、常時検知領域指定部309は、カメラ選択タブ501で選択された撮像装置2に関連付けて、常時検知領域570を指定した時刻の情報(時刻情報)を記憶部302に記憶させる。なお、上述と同様の方法で、常時検知領域指定部309により複数の常時検知領域を指定することができる。
 図7に示す設定画面500で指定された常時検知領域(図7では常時検知領域570)の属性情報は、編集することができる。まず、ユーザによる入力部303の操作によって、常時検知領域情報部561に属性情報が表示された常時検知領域のいずれか(図7では常時検知領域570の属性情報のみを表示)を選択すると、設定部308は、選択された常時検知領域情報部561の常時検知領域の属性情報の表示部分を反転表示させる。以下、図7に示した常時検知領域570(常時検知領域名「A61」)が選択されたものとして説明する。
 次に、例えば、ユーザによる入力部303の操作によって、アクションボタン562aを押下すると、設定部308は、選択された常時検知領域570のアクションの有無の設定値を切り替える。例えば、常時検知領域570のアクションの有無が「なし」となっている場合、アクションボタン562aが押下されると、設定部308は、常時検知領域570のアクションの有無を「あり」に設定する。一方、常時検知領域570のアクションの有無が「あり」となっている場合、アクションボタン562aが押下されると、設定部308は、常時検知領域570のアクションの有無を「なし」に設定する。後述するように、アクションの有無が「あり」となっている場合、常時検知領域判定部315によってその常時検知領域における画像判定で異常と判定された場合、外部出力部332が異常信号を出力する。
 また、例えば、ユーザによる入力部303の操作によって、削除ボタン562cを押下すると、設定部308は、常時検知領域情報部561に表示された常時検知領域570の属性情報を消去し、記憶部302に記憶された常時検知領域570の情報を削除する。また、常時検知領域指定部309は、設定用映像表示部502に表示された常時検知領域570を消去し、記憶部302に記憶された常時検知基準画像を削除する。
 また、例えば、ユーザによる入力部303の操作によって、感度増加ボタン562eを押下すると、設定部308は、選択された常時検知領域570の画像判定に用いられる感度の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、感度減少ボタン562fを押下すると、設定部308は、選択された常時検知領域570の画像判定に用いられる感度の値を所定値だけ減少させる。
 また、例えば、ユーザによる入力部303の操作によって、閾値増加ボタン562gを押下すると、設定部308は、選択された常時検知領域570の画像判定に用いられる閾値の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、閾値減少ボタン562hを押下すると、設定部308は、選択された常時検知領域570の画像判定に用いられる閾値の値を所定値だけ減少させる。
(トリガ領域の指定および変化点の検出)
 図8は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部にトリガ領域を指定する例を示す図である。図9は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つかった場合のマーク表示の一例を示す図である。図10は、トリガ領域における変化点を検出する動作を説明する図である。図11は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が2点見つかった場合に表示されるダイアログの一例を示す図である。図12は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つからなかった場合に表示されるダイアログの一例を示す図である。図8~12を参照しながら、トリガ領域の指定および変化点の検出について説明する。
 図8に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502においてトリガ領域530が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示中に、トリガの発生の基となる所望する画像の部分が表示されているタイミングで、ユーザによる入力部303の操作によって一時停止ボタン503bが押下されると、第1再生部304は、設定用映像表示部502に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。次に、ユーザによる入力部303の操作によって領域選択タブ551の「瞬間」タブを選択操作されると、設定部308は、トリガ領域および検知領域についての情報を表示させる。
 次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、トリガ領域指定部305は、設定用映像表示部502においてトリガ領域530(判定領域)を指定して表示させる。
 図9に示す設定画面500は、変化点検出部306によって、トリガ領域指定部305により指定されたトリガ領域530において変化点が検出された場合の状態を示している。具体的には、変化点検出部306は、まず、トリガ領域指定部305によりトリガ領域530が指定された場合、指定された時点で第1再生部304が再生表示している映像データのフレームの撮像時刻の前後の所定時間(例えば前後2分間)分のフレームを取得し、トリガ領域530が指定された時刻のトリガ領域530内の画像をトリガ基準画像(第1基準画像)として抽出する。ここで、変化点とは、トリガ生成部313がトリガ信号を生成するタイミングの基準とするための、トリガ領域530内の画像の所定の変化を帯びた時点をいう。以下、変化点検出部306による具体的な変化点の検出方法について説明する。
 変化点検出部306は、図10(a)に示すように、所定時間分のフレームとして13個のフレーム(フレーム(0)~フレーム(12))を取得したものとする。この場合、変化点検出部306によって、フレーム(6)を真中として、その前後の所定時間分のフレームが取得されたことになる。また、説明を簡略にするため、各フレームにおけるトリガ領域530に対応する部分の画像についても、それぞれフレーム(0)~フレーム(12)と称するものとする。そして、変化点検出部306は、取得したフレームにおいて、フレームごとに直前のフレームとの画素値についての差分を演算する。差分の演算方法については、上述した通りである。変化点検出部306が図10(a)に例示したフレームを抽出し、フレームごとに演算した差分を時系列に表したグラフが、図10(b)に示すグラフである。図10(b)において、例えば、フレーム(1)の差分は、フレーム(1)と、その直前のフレームであるフレーム(0)との差分を示す。ここで、変化点としてのIN点およびOUT点を次のように定義する。すなわち、IN点とは、連続するフレームにおいて、トリガ領域530内の画像が変化し始めた時点とする。また、OUT点とは、連続するフレームにおいて、トリガ領域530内の画像の変化がおさまり始めた時点とする。なお、変化点検出部306は、取得したフレームにおいて、フレームごとに直前のフレームとの差分を演算するものとしたが、直前のフレームに限定されるものではなく、例えば、フレームごとに、数フレーム前のフレームとの差分を演算するものとしてもよい。
 変化点検出部306は、フレームごとに演算した差分に基づいて、IN点の候補、およびOUT点の候補を見つける。具体的には、変化点検出部306は、演算した差分が2フレーム分以上連続して所定の閾値以上となった場合、最初に差分が所定の閾値以上となったフレームをIN点の候補のフレームとする。図10(b)の例では、フレーム(1)の差分は閾値未満、フレーム(2)の差分は閾値以上となり、そして、フレーム(3)の差分も閾値以上となり、フレーム(2)および(3)の2フレーム分の差分が閾値以上となるので、最初に差分が閾値以上となったフレーム(2)がIN点の候補のフレームとなる。同様に、フレーム(7)もIN点の候補のフレームとなる。また、2フレーム分以上連続ではなく、1フレーム分のみの差分が閾値以上となった場合は、ノイズの可能性があるので、そのフレームはIN点の候補のフレームとしない。
 一方、変化点検出部306は、演算した差分が2フレーム分以上連続して所定の閾値未満となった場合、最初に差分が所定の閾値未満となったフレームをOUT点の候補のフレームとする。図10(b)の例では、フレーム(4)の差分は閾値以上、フレーム(5)の差分は閾値未満、そして、フレーム(6)の差分も閾値未満となり、フレーム(5)および(6)の2フレーム分の差分が閾値未満となるので、最初に差分が閾値未満となったフレーム(5)がOUT点の候補のフレームとなる。ここで、フレーム(12)は、差分が所定の閾値未満となっているが、後に続くフレーム(13)は、変化点検出部306が抽出したフレーム以外のフレームであるので、OUT点の候補のフレームとしない。また、2フレーム分以上連続ではなく、1フレーム分のみの差分が閾値未満となった場合は、ノイズの可能性があるので、そのフレームはOUT点の候補のフレームとしない。
 以上のように、変化点検出部306は、図10の例では、IN点の候補のフレームとしてフレーム(2)および(7)を特定し、OUT点の候補のフレームとしてフレーム(5)を特定する。このように、変化点検出部306は、IN点の候補のフレームが複数特定された場合、取得したフレームの真中のフレーム(6)に最も近いフレーム、すなわちフレーム(7)をIN点のフレームに決定する。なお、図10の例では、OUT点の候補のフレームとして、1つのフレーム(フレーム(5))のみ特定されているが、IN点の候補と同様に、複数のフレームがOUT点の候補のフレームとして特定される場合もある。このように、OUT点の候補のフレームが複数特定された場合、変化点検出部306は、IN点の候補と同様に、取得したフレームの真中のフレーム(6)に最も近いフレームをOUT点のフレームに決定する。図10の例では、OUT点の候補のフレームはフレーム(5)のみなので、変化点検出部306は、フレーム(5)をOUT点のフレームに決定する。以上のように、変化点検出部306は、取得した所定時間分のフレームから、IN点のフレームおよびOUT点のフレームを決定することにより、変化点(IN点およびOUT点)を検出する。
 なお、変化点検出部306は、変化点を検出した場合、変化点のフレームの前のフレーム、もしくは後のフレーム、または前後のフレームを用いて、トリガ領域530内の動体検知を行い、どの方向から動体が入ってきたのかを示すベクトル情報を記憶部302に記憶させるものとしてもよい。この場合、トリガ生成部313は、記憶部302に記憶されたベクトル情報を用いて、動体がベクトル情報の示す方向と同一の方向から動いてきたか否かを確認し、その確認結果に基づいてトリガ信号を生成するものとしてもよい。
 また、変化点検出部306によるトリガ領域530における変化点の検出方法は、上述の方法に限定されるものではなく、トリガを発生させるタイミングを規定する変化点であれば、どのように変化点を検出してもよい。
 また、上述のように、変化点検出部306は、差分が2フレーム分以上連続して所定の閾値以上となった場合、最初に差分が所定の閾値以上となったフレームをIN点の候補のフレームとするものとしているが、これに限定されるものではない。すなわち、差分が2フレーム分以上連続ではなく、その他の数以上のフレームが連続して所定の閾値以上となった場合としてもよい。これは、OUT点の候補のフレームを見つける場合についても同様である。
 また、図10では、IN点およびOUT点の双方のフレームが見つかる例を示したが、変化点検出部306は、IN点のフレームのみ、または、OUT点のフレームのみを見つける場合もあり、この場合は、これらのIN点またはOUT点を変化点として検出する。この場合、変化点検出部306は、検出した変化点のフレームのトリガ領域530内の画像を差分画像として抽出する。変化点検出部306は、カメラ選択タブ501で選択された撮像装置2(図10の例では、撮像装置2f)に関連付けて、抽出したトリガ基準画像、および変化点のフレームにおける差分画像を記憶部302に記憶させ、トリガ基準画像を基準画像表示部508aに表示させ、差分画像を差分画像表示部508bに表示させる。さらに、変化点検出部306は、シークバー504において、検出した変化点のフレームの時刻に対応する部分にトリガマーク540を表示する。また、変化点検出部306により変化点が検出された場合、トリガ領域指定部305は、カメラ選択タブ501で選択された撮像装置2(図10の例では、撮像装置2f)に関連付けて、指定したトリガ領域530の情報(位置および形状等の位置情報、および属性情報等)を記憶部302に記憶させる。また、設定部308は、トリガ領域530の属性情報として、トリガ領域指定部305により指定されたトリガ領域530に命名した名前、ならびに、変化点検出部306の変化点の検出に利用された所定の感度(例えば、「50」)および所定の閾値(例えば、「20%」)(デフォルト値)を、トリガ領域情報部507に表示させる。設定部308は、トリガ領域530の名前として、図8に示すように、例えば、「6」の撮像装置(撮像装置2f)の映像データに対して指定されたトリガ領域であるものとして、「TR6」と命名する。さらに、トリガ領域指定部305は、カメラ選択タブ501で選択された撮像装置2に関連付けて、トリガ領域530を指定した時刻の情報(時刻情報)を記憶部302に記憶させる。
 図11に示す設定画面500は、変化点検出部306によって、トリガ領域指定部305により指定されたトリガ領域530において変化点が上述のように2つ(IN点およびOUT点)検出された場合に、変化点選択ダイアログ600が表示された状態を示している。このように、変化点検出部306は、変化点を2つ以上検出した場合、トリガ基準画像を抽出した時点に最も近い2つの変化点(IN点およびOUT点)のうちいずれをトリガの生成のために利用するかを選択するための変化点選択ダイアログ600を表示部333に表示させる。変化点選択ダイアログ600は、はいボタン601と、いいえボタン602と、閉じるボタン603と、を含む。閉じるボタン603は、変化点選択ダイアログ600を閉じるためのボタンである。
 ユーザによる入力部303の操作によって、はいボタン601を押下した場合、変化点検出部306は、IN点を変化点として検出し、IN点のフレームのトリガ領域530内の画像を差分画像として抽出する。そして、変化点検出部306は、カメラ選択タブ501で選択された撮像装置2に関連付けて、抽出したトリガ基準画像、およびIN点のフレームにおける差分画像を記憶部302に記憶させ、トリガ基準画像を基準画像表示部508aに表示させ、差分画像を差分画像表示部508bに表示させる。さらに、変化点検出部306は、シークバー504において、検出したIN点のフレームの時刻に対応する部分にトリガマーク540を表示する。
 一方、ユーザによる入力部303の操作によって、いいえボタン602を押下した場合、変化点検出部306は、OUT点を変化点として検出し、OUT点のフレームのトリガ領域530内の画像を差分画像として抽出する。そして、変化点検出部306は、カメラ選択タブ501で選択された撮像装置2に関連付けて、抽出したトリガ基準画像、およびOUT点のフレームにおける差分画像を記憶部302に記憶させ、トリガ基準画像を基準画像表示部508aに表示させ、差分画像を差分画像表示部508bに表示させる。さらに、変化点検出部306は、シークバー504において、検出したOUT点のフレームの時刻に対応する部分にトリガマーク540を表示する。その他の動作は、図9で上述した動作と同様である。
 このように、変化点検出部306により変化点としてIN点およびOUT点が検出され、ユーザにより2つの変化点のいずれかを選択できるようにすることにより、ユーザが真に指定を所望する変化点を選択させることができる。
 図12に示す設定画面500は、変化点検出部306によって、トリガ領域指定部305により指定されたトリガ領域530において変化点が見つからなかった場合に、変化点無し通知ダイアログ610が表示された状態を示している。変化点検出部306は、上述の図10で説明した動作において、演算した差分が所定の閾値以上とならず、変化点が検出できない場合がある。この場合、変化点検出部306は、変化点が見つからなかった旨を示す変化点無し通知ダイアログ610を表示部333に表示させる。
 変化点無し通知ダイアログ610は、OKボタン611と、閉じるボタン612と、を含む。閉じるボタン612は、変化点無し通知ダイアログ610を閉じるためのボタンである。ユーザによる入力部303の操作によって、OKボタン611を押下した場合、変化点検出部306は、記憶部302に何の情報も記憶せず、基準画像表示部508aおよび差分画像表示部508bにも画像を表示させずに、変化点無し通知ダイアログ610を閉じる。
(検知領域の指定および検知領域の属性情報の設定)
 図13は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に検知領域を指定する例を示す図である。図14は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に2つ目の検知領域を指定する例を示す図である。図15は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部で指定した検知領域の属性情報を設定する例を示す図である。図13~15を参照しながら、検知領域の指定および検知領域の属性情報等の設定について説明する。
 図13に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502において検知領域535が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示中に、瞬間検知機能の画像判定を所望する画像の部分が表示されているタイミングで、ユーザによる入力部303の操作によって一時停止ボタン503bが押下されると、第1再生部304は、設定用映像表示部502に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。
 次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、検知領域指定部307は、設定用映像表示部502において検知領域535(判定領域)を指定して表示させる。ただし、検知領域指定部307が、検知領域535を指定できるのは、トリガ領域情報部507において、トリガ領域指定部305により指定されたトリガ領域が選択(図13の例では「TR6」)されている必要がある。すなわち、検知領域指定部307により指定された検知領域535は、トリガ領域情報部507において選択されたトリガ領域と関連付けられる。
 また、設定部308は、検知領域535の属性情報として、検知領域指定部307により指定された検知領域535に命名した名前、ならびに、デフォルト値として、後述する画像判定で使用する所定の感度(例えば、「50」)、所定の閾値(例えば、「20%」)、監視方法(例えば、「グレースケール」)、アクションの有無(例えば、「なし」)および画像判定の方法(例えば、「一致」)を、検知領域情報部509に表示させる。設定部308は、検知領域535の名前として、図13に示すように、例えば、トリガ領域「TR6」に関連付けられた1番目の領域であるものとして、「K61」と命名する。また、設定部308は、変化点検出部306によって検出された変化点の時刻に対して、検知領域指定部307により検知領域535が指定された時点のフレームの時刻の遅延時間(図13の例では「2.14」)を属性情報として算出して、検知領域情報部509に表示させる。すなわち、この場合、「K61」と命名された検知領域535では、トリガのタイミングから「2.14」秒後に画像判定が行われるように設定されたことになる。
 また、検知領域指定部307は、カメラ選択タブ501で選択された撮像装置2(図13の例では、撮像装置2f)に関連付けて、検知領域535を指定した時刻の検知領域535内の画像を検知基準画像(第2基準画像)として抽出して記憶部302に記憶させ、指定した検知領域535の情報(位置および形状等の位置情報、および属性情報等)を記憶部302に記憶させる。さらに、検知領域指定部307は、カメラ選択タブ501で選択された撮像装置2に関連付けて、検知領域535を指定した時刻の情報(時刻情報)を記憶部302に記憶させる。
 図14に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502において2つ目の検知領域である検知領域536が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示(一時停止)中に、ユーザによる入力部303の操作によってシークバー504のスライダー505をスライドさせて、瞬間検知機能の画像判定を所望する画像の部分が表示されているタイミングに調整する。第1再生部304は、設定用映像表示部502に一時停止されている映像データのフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。
 次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、検知領域指定部307は、設定用映像表示部502において2つ目の検知領域である検知領域536(判定領域)を指定して表示させる。ただし、検知領域指定部307が、検知領域536を指定できるのは、検知領域535の指定の場合と同様に、トリガ領域情報部507において、トリガ領域指定部305により指定されたトリガ領域が選択(図14の例では「TR6」)されている必要がある。すなわち、検知領域指定部307により指定された検知領域536は、トリガ領域情報部507において選択されたトリガ領域と関連付けられる。
 また、設定部308は、検知領域536の属性情報として、検知領域指定部307により指定された検知領域536に命名した名前、ならびに、デフォルト値として、後述する画像判定で使用する所定の感度(例えば、「50」)、所定の閾値(例えば、「20%」)、監視方法(例えば、「グレースケール」)、アクションの有無(例えば、「なし」)および画像判定の方法(例えば、「一致」)を、検知領域情報部509に表示させる。設定部308は、検知領域536の名前として、図14に示すように、例えば、トリガ領域「TR6」に関連付けられた2番目の領域であるものとして、「K62」と命名する。また、設定部308は、変化点検出部306によって検出された変化点の時刻に対して、検知領域指定部307により検知領域536が指定された時点のフレームの時刻の遅延時間(図14の例では「-1.86」)を属性情報として算出して、検知領域情報部509に表示させる。すなわち、この場合、「K62」と命名された検知領域536では、トリガのタイミングから「1.86」秒前に画像判定が行われるように設定されたことになる。
 また、検知領域指定部307は、カメラ選択タブ501で選択された撮像装置2(図14の例では、撮像装置2f)に関連付けて、検知領域536を指定した時刻の検知領域536内の画像を検知基準画像として抽出して記憶部302に記憶させ、指定した検知領域536の情報(位置および形状等の位置情報、および属性情報等)を記憶部302に記憶させる。さらに、検知領域指定部307は、カメラ選択タブ501で選択された撮像装置2に関連付けて、検知領域536を指定した時刻の情報(時刻情報)を記憶部302に記憶させる。なお、上述と同様の方法で、検知領域指定部307によりさらに別の検知領域を指定することができる。
 図15に示す設定画面500は、検知領域情報部509に属性情報が表示された検知領域「K61」(検知領域535)、「K62」(検知領域536)のうち「K62」が選択された状態を示している。図15を参照しながら、検知領域の属性情報の編集について説明する。
 まず、図15に示すように、ユーザによる入力部303の操作によって、検知領域情報部509に属性情報が表示された検知領域のいずれかを選択すると、設定部308は、選択された検知領域情報部509の検知領域の属性情報の表示部分を反転表示させる。以下、図15に示すように検知領域536(検知領域名「K62」)が選択されたものとして説明する。
 次に、例えば、ユーザによる入力部303の操作によって、アクションボタン510aを押下すると、設定部308は、選択された検知領域536のアクションの有無の設定値を切り替える。例えば、検知領域536のアクションの有無が「なし」となっている場合、アクションボタン510aが押下されると、設定部308は、検知領域536のアクションの有無を「あり」に設定する。一方、検知領域536のアクションの有無が「あり」となっている場合、アクションボタン510aが押下されると、設定部308は、検知領域536のアクションの有無を「なし」に設定する。後述するように、アクションの有無が「あり」となっている場合、検知領域判定部314によってその検知領域における画像判定で異常と判定された場合、外部出力部332が異常信号を出力する。
 また、例えば、ユーザによる入力部303の操作によって、画像判定選択ボタン510bを押下すると、設定部308は、選択された検知領域536の画像判定の方法の設定値を切り替える。例えば、検知領域536の画像判定の方法が「一致」となっている場合、画像判定選択ボタン510bが押下されると、設定部308は、検知領域536の画像判定の方法を「不一致」に設定する。一方、検知領域536の画像判定の方法が「不一致」となっている場合、画像判定選択ボタン510bが押下されると、設定部308は、検知領域536の画像判定の方法を「一致」に設定する。
 後述するように、画像判定の方法が「一致」となっている場合、検知領域判定部314は、抽出した画像と、検知基準画像との差分が属性情報の閾値以上の場合、異常と判定する。このように、画像判定の方法が「一致」とする場合の例としては、ワークに部品を挿入する設備において、部品がワークに挿入されている状態を検知基準画像とし、ワークへの部品の挿入動作が終了したタイミングで画像判定する場合が挙げられる。この場合、ワークへの部品の挿入動作が失敗し、正常に部品が挿入されていない状態で検知領域判定部314により画像判定が実行されると、検知基準画像との差分が属性情報の閾値以上となり、異常と判定されることになる。
 一方、画像判定の方法が「不一致」となっている場合、検知領域判定部314は、抽出した画像と、検知基準画像との差分が属性情報の閾値未満の場合、異常と判定する。このように、画像判定の方法が「不一致」とする場合の例としては、ワークに部品を挿入する設備において、部品がワークに挿入されていない状態を検知基準画像とし、ワークへの部品の挿入動作が終了したタイミングで画像判定する場合が挙げられる。この場合、ワークへの部品の挿入動作が失敗し、正常に部品が挿入されていない状態で検知領域判定部314により画像判定が実行されると、検知基準画像との差分が属性情報の閾値未満となり、異常と判定されることになる。なお、部品がワークに挿入されていない状態を検知基準画像とする事情としては、完成品としての部品が挿入されたワークを準備するのが困難である場合等が挙げられる。
 また、例えば、ユーザによる入力部303の操作によって、削除ボタン510cを押下すると、設定部308は、検知領域情報部509に表示された検知領域536の属性情報を消去し、記憶部302に記憶された検知領域536の情報を削除する。また、検知領域指定部307は、設定用映像表示部502に表示された検知領域536を消去し、記憶部302に記憶された検知基準画像を削除する。
 また、例えば、ユーザによる入力部303の操作によって、感度増加ボタン510eを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる感度の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、感度減少ボタン510fを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる感度の値を所定値だけ減少させる。
 また、例えば、ユーザによる入力部303の操作によって、閾値増加ボタン510gを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる閾値の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、閾値減少ボタン510hを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる閾値の値を所定値だけ減少させる。
(ウォッチャ画面における画像判定動作)
 図16は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で監視動作が実行される状態の一例を示す図である。図17は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生する前の状態の一例を示す図である。図18は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生した状態の一例を示す図である。図19~24は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。
 まず、図16を参照しながら、ウォッチャ画面400における画像判定動作(監視動作)の概要について説明する。図16に示すウォッチャ画面400は、複数の撮像装置2から受信した映像データをリアルタイムに表示し、映像表示部401fで、常時検知領域「A61」、トリガ領域「TR6」、ならびに検知領域「K61」、「K62」、「K63」および「K64」が指定された状態を示している。ただし、ウォッチャ画面400における画像判定動作においては、複数の機能(本実施の形態の場合、常時検知機能および瞬間検知機能)が実行されるので、外観の煩雑さを回避するため、映像表示部401に表示される各判定領域の名称の表示は省略するものとしている。ここで、常時検知機能とは、常時検知領域での画像が異常であるか否かの画像判定を監視動作中、常時実行する機能である。また、瞬間検知機能とは、トリガ領域で検知されたトリガのタイミングから設定時間前または設定時間後のタイミングで、検知領域での画像が異常であるか否かの画像判定を実行する機能である。また、第1制御部316は、設定画面500からウォッチャ画面400に遷移した後、映像表示部401fについて各判定領域の設定が完了したので、状態表示部421fに「設定完了」と表示させる。
 次に、ユーザは、入力部303の操作によって、画像判定動作(監視動作)を開始させたい撮像装置2に対応する映像表示部401を押下して選択状態にする。図16に示す例では、映像表示部401fが押下されて選択状態になった状態が示されている。そして、第1制御部316は、ユーザによる入力部303の操作によって、監視開始ボタン411が押下されると、映像表示部401fに表示される撮像装置2fのリアルタイムの映像データについて画像判定動作を開始する。このとき、第1制御部316は、図16に示すように、撮像装置2fについて画像判定動作が実行中である旨を示すために、状態表示部421fに「監視中」と表示させる。また、第1制御部316は、選択状態になっている映像表示部401に対応する撮像装置2に関連付けて、画像判定動作(監視動作)を開始した時刻の情報(時刻情報)を記憶部302に記憶させる。なお、第1制御部316は、ユーザによる入力部303の操作によって、監視停止ボタン412が押下された場合、選択状態の映像表示部401についての画像判定動作を停止し、その映像表示部401に対応する撮像装置2に関連付けて、画像判定動作(監視動作)を停止した時刻の情報(時刻情報)を記憶部302に記憶させる。
 具体的なウォッチャ画面400における画像判定動作では、まず、映像振分部312が、映像受信部301から取得したリアルタイムの映像データを映像表示部401a~401fに振り分けて表示させる。トリガ生成部313は、記憶部302から変化点検出部306により検出された変化点のフレームにおける差分画像を取得する。そして、トリガ生成部313は、映像表示部401fで指定されているトリガ領域「TR6」において、差分画像と、映像データのフレームのトリガ領域の画像とを比較する。トリガ生成部313は、映像データのフレームのトリガ領域の画像が、変化点のフレームにおける差分画像と比較して、画素値が所定の感度以上異なる画素の数の合計である差分が所定の閾値未満となったタイミングでトリガ信号を生成(以下、「トリガを検知」するともいう場合がある)する。そして、トリガ生成部313は、画像判定動作でトリガ信号を生成した時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、トリガ生成部313は、画像判定動作でトリガ信号を生成した時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302のマーカファイルに書き込む。
 検知領域「K61」、「K62」、「K63」および「K64」の属性情報のうち、検知遅延時間がそれぞれ「1.0」秒、「2.2」秒、「2.5」秒、「4.0」秒に設定されているものとする。検知領域判定部314は、記憶部302から、指定された検知領域の属性情報を取得する。検知領域判定部314は、トリガ生成部313により生成されたトリガ信号を受け取ったときの設定時間前または設定時間後に、指定された検知領域において、検知基準画像と、映像データのフレームの検知領域の画像とを比較して異常であるか否かの画像判定をする。
 具体的には、検知領域判定部314は、トリガ生成部313によりトリガ領域「TR6」に対応するトリガ信号を受け取った時点から、検知領域「K61」に対応する検知遅延時間「1.0」秒後の映像データのフレームの検知領域の画像と、検知基準画像とを比較して異常であるか否かの画像判定をする。このとき、画像判定として、検知領域判定部314は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域「K61」の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となった場合に、検知領域「K61」の画像判定は異常と判定する。そして、検知領域判定部314は、画像判定動作で正常検知または異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、検知領域判定部314は、画像判定動作で異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302のマーカファイルに書き込む。
 このように、検知領域判定部314が、トリガ信号を受け取った時点から先のタイミングで画像判定する場合の例としては、圧入機等の設備において、圧入動作開始のタイミングをトリガとして、圧入後の圧入状態を画像判定する場合が挙げられる。具体的には、トリガ生成部313は、圧入機がワークに対して圧入部品を圧入する動作を開始するタイミングをトリガとしてトリガ信号を生成する。その後、圧入機は、ワークに圧入部品を圧入し、圧入動作終了後、圧入機の各アクチュエータは原点位置に戻る。そして、検知領域判定部314は、圧入後のワークの圧入状態に対して画像判定を行う。この検知領域判定部314による画像判定のタイミングが、トリガ生成部313からトリガ信号を受けてから、検知遅延時間で設定された時間後のタイミングとなる。トリガ信号が生成される圧入動作の開始から、圧入後の圧入状態の画像判定が実行されるまでの時間は、圧入機による自動動作なので固定時間となり、トリガのタイミングから画像判定をするまでの検知遅延時間を固定の時間として設定できることになる。
 また、検知領域判定部314は、検知領域「K62」、「K63」および「K64」に対応するそれぞれの検知遅延時間後の映像データのフレームの各検知領域の画像と、各検知領域の検知基準画像とをそれぞれ比較して異常であるか否かの画像判定をする。画像判定の方法は、上述の検知領域「K61」の場合と同様である。
 そして、外部出力部332は、検知領域判定部314により異常の判定がなされた場合、異常信号を外部機器10に出力する。
 また、常時検知領域判定部315は、記憶部302から、指定された常時検知領域(図7における常時検知領域570)の属性情報を取得する。常時検知領域判定部315は、監視動作が実行されている間、指定された常時検知領域において、常時検知基準画像と、映像データのフレームの常時検知領域の画像とを比較して異常であるか否かの画像判定を常時実行する。
 具体的には、常時検知領域判定部315は、常時検知領域「A61」に対応する映像データのフレームの検知領域の画像と、基準常時検知領域とを比較して異常であるか否かの画像判定をする。このとき、画像判定として、常時検知領域判定部315は、常時検知基準画像と、常時検知領域の画像との比較で、画素値が常時検知領域「A61」の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となった場合に、常時検知領域「A61」の画像判定は異常と判定する。そして、常時検知領域判定部315は、画像判定動作で異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、常時検知領域判定部315は、画像判定動作で異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302のマーカファイルに書き込む。
 そして、外部出力部332は、常時検知領域判定部315により異常の判定がなされた場合、異常信号を外部機器10に出力する。
 次に、図17~24を参照しながら、ウォッチャ画面400における映像表示部401fを例にして、瞬間検知機能に基づく映像データに対する画像判定動作(監視動作)の詳細について説明する。まず、第1制御部316は、映像表示部401fについて画像判定動作が開始されると、設定画面500で指定された各判定領域を示す枠を、映像表示部401fの映像データに重畳させて表示させる。具体的には、図17に示すように、映像表示部401fには、トリガ領域530、検知領域535~538、および常時検知領域570が表示される。この際、第1制御部316は、通常状態(各判定領域で検知がなされていない状態)の各判定領域を示す枠(表示要素の一例)を別々の色によって表示させる。例えば、第1制御部316は、トリガ領域530を示す枠を「白色」で、検知領域535~538を示す枠を「黄色」で、常時検知領域570を示す枠を「緑色」で表示させる。
 次に、図18に示すように、第1制御部316は、トリガ生成部313がトリガを検知した場合、トリガ領域530を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示(以下、単に「太く表示」という場合がある)させる。例えば、第1制御部316は、トリガ領域530を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、トリガ領域530を示す枠の表示を通常状態の枠の表示に戻す。
 次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域535について設定された検知遅延時間である「1.0」秒後に、検知領域535で画像判定をする。この判定の結果、正常検知となった場合、図19に示すように、第1制御部316は、検知領域535を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域535を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域535を示す枠の表示を通常状態の枠の表示に戻す。
 次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域536について設定された検知遅延時間である「2.2」秒後に、検知領域536で画像判定をする。さらに、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域537について設定された検知遅延時間である「2.5」秒後に、検知領域537で画像判定をする。この判定の結果、それぞれ正常検知となった場合、図20に示すように、第1制御部316は、検知領域536、537を示すそれぞれの枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域536、537を示す枠を、それぞれ「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域536、537を示すそれぞれの枠の表示を通常状態の枠の表示に戻す。
 そして、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域538について設定された検知遅延時間である「4.0」秒後に、検知領域538で画像判定をする。この判定の結果、正常検知となった場合、図21に示すように、第1制御部316は、検知領域538を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域538を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域538を示す枠の表示を通常状態の枠の表示に戻す。そして、報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミング(すなわち、検知領域538の画像判定が終了したタイミング)で、報知部334に、検知領域の画像判定の終了を示す判定終了音(図21では「ピッ」と表記)を所定時間(例えば、0.2秒)出力させる。以上のように、図19~21では、検知領域535~538の画像判定ですべて正常検知された場合について説明した。次に、検知領域535~538のいずれかで異常検知がなされた場合について説明する。
 図18で示したように、トリガ生成部313がトリガを検知してから、再びトリガ検知をした後の動作について説明する。検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域535について設定された検知遅延時間である「1.0」秒後に、検知領域535で画像判定をする。この判定の結果、正常検知となった場合、図22に示すように、第1制御部316は、検知領域535を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域535を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域535を示す枠の表示を通常状態の枠の表示に戻す。
 次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域536について設定された検知遅延時間である「2.2」秒後に、検知領域536で画像判定をする。さらに、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域537について設定された検知遅延時間である「2.5」秒後に、検知領域537で画像判定をする。この判定の結果、検知領域536において正常検知となった場合、図23に示すように、第1制御部316は、検知領域536を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域536を示す枠を、「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域536を示す枠の表示を通常状態の枠の表示に戻す。また、上述の判定の結果、検知領域537において異常検知となった場合、図23に示すように、第1制御部316は、検知領域537を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域537を示す枠を、「赤色」かつ太く表示させ、この表示状態を1秒間継続させる。このとき、報知制御部317は、検知領域判定部314により検知領域537において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音(図23では「ブー」と表記)を所定時間(例えば、1秒)出力させる。そして、第1制御部316は、1秒後、検知領域537を示す枠の表示を通常状態の枠の表示に戻す。
 そして、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域538について設定された検知遅延時間である「4.0」秒後に、検知領域538で画像判定をする。この判定の結果、異常検知となった場合、図24に示すように、第1制御部316は、検知領域538を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域538を示す枠を「赤色」かつ太く表示させ、この表示状態を1秒間継続させる。このとき、報知制御部317は、検知領域判定部314により検知領域538において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音(図24では「ブー」と表記)を所定時間(例えば、1秒)出力させる。そして、第1制御部316は、1秒後、検知領域538を示す枠の表示を通常状態の枠の表示に戻す。そして、報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミング(すなわち、検知領域538の画像判定が終了したタイミング)で、報知部334に、検知領域の画像判定の終了を示す判定終了音(図24では「ピッ」と表記)を所定時間(例えば、0.2秒)出力させる。この場合、検知領域538の画像判定によって、報知部334により異常検知音と判定終了音が重畳して出力されるが、異なる音(例えば、異なる音階、波形またはメロディの音)にしているので、ユーザは、いずれの音も区別して聞き取ることができる。以上のように、図22~24では、検知領域535~538の画像判定のいずれかで異常検知がなされる場合について説明した。
 なお、上述では、瞬間検知機能に基づく映像データに対する画像判定動作での、各判定領域(トリガ領域530、検知領域535~538)の枠の表示動作について説明したが、常時検知機能に基づく画像判定動作での常時検知領域570の枠の表示動作も同様である。例えば、常時検知領域判定部315によって常時実行される画像判定の結果、常時検知領域570において異常検知となった場合、第1制御部316は、常時検知領域570を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、常時検知領域570を示す枠を、「赤色」かつ太く表示させ、この異常検知している間、この表示状態を継続させる。そして、第1制御部316は、常時検知領域570の画像が正常の状態に戻った場合、常時検知領域570を示す枠の表示を通常状態の枠の表示に戻す。なお、報知制御部317は、常時検知領域判定部315により常時検知領域570において異常検知がされた場合、報知部334に、異常検知を報知する異常検知音を出力させるものとしてもよい。
 以上のように、第1制御部316は、各判定領域を示す枠を別々の色で表示させ、かつ、判定領域において各検知(トリガの検知、正常検知または異常検知)がなされた場合、それぞれ異なる色および枠の太さで表示して区別できるようにしている。これによって、ユーザは、どの機能の画像判定動作(監視動作)が行われているのか、および、各検知のタイミングを視覚的に把握することができる。さらに、検知領域において異常検知がなされた場合、および、同一のトリガに伴うすべての検知領域の画像判定が終了した場合に、音を出力するものとしている。これによって、ユーザは、聴覚的にも、異常検知および画像判定終了のタイミングを把握することができる。
 なお、図16に示すウォッチャ画面400の例の場合、映像表示部401a~401fの6つの表示領域で監視動作が行われ得るので、各映像表示部401で判定終了音の音階、波形、またはメロディ等を変えることが望ましい。例えば、報知制御部317は、各映像表示部401での判定終了音として、音階である「ドレミファソラ」をそれぞれ割り当てて、報知部334に出力させる。これによって、いずれの映像表示部401での監視動作の判定終了音であるのかを区別することができる。上述の映像表示部401fでの画像判定動作での判定終了音は、この場合「ラ」の音が割り当てられる。
 また、各判定領域を示す枠の色等の表示態様、ならびに、判定終了音および異常検知音の種類、メロディまたは音階等は、設定により変更が可能であってもよい。
(ビューワ画面における画像判定再現動作)
 図25は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面で録画された映像が再生表示される状態の一例を示す図である。図26は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面で再生表示される映像に対して画像判定の状態が再現される状態の一例を示す図である。図25および26を参照しながら、ビューワ画面700の構成、および録画された複数の映像が表示される動作について説明する。
 CPU101により実行されるプログラム(アプリケーション)により、図25に示すビューワ画面700が表示部333に表示される。ビューワ画面700は、第2再生部318によって、複数の撮像装置2から受信した映像データであって、映像振分部312により記憶部302に記憶された過去の映像データが表示され、指定された各判定領域において画像判定の状態を再現する画面である。
 ビューワ画面700は、図26に示すように、映像表示部701a~701fと、再生ボタン703aと、一時停止ボタン703bと、早送りボタン703cと、早戻しボタン703dと、停止ボタン703eと、シークバー704と、スライダー705と、時刻表示部706と、マーカリストボタン707と、を含む。
 映像表示部701a~701fは、ユーザにより操作される入力部303からの操作信号に従って、映像振分部312に記憶された各撮像装置2の過去の映像データがそれぞれ表示される表示部である。また、ここでは、映像表示部701a~701fは、同じ日付・時刻の映像データを表示するものとする。また、映像表示部701a~701fは、ユーザによる入力部303の操作によって押下(例えば、マウス108のクリック操作等、以下同様)されると、選択状態にすることができる。なお、映像表示部701a~701fを区別なく呼称する場合、または総称する場合、単に「映像表示部701」というものとする。
 再生ボタン703aは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に表示された映像データが再生開始されるボタンである。一時停止ボタン703bは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に再生表示されている映像データが一時停止されるボタンである。早送りボタン703cは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に再生表示されている映像データが早送り表示されるボタンである。早戻しボタン703dは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に再生表示されている映像データが早戻し表示されるボタンである。停止ボタン703eは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に再生表示されている映像データが停止されるボタンである。
 シークバー704は、その上に配置されるスライダー705の位置により、映像表示部701に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダー705は、映像表示部701に再生表示されている映像データの撮像時刻(表示されているフレームが撮像された時刻)に対応したシークバー704上の位置にスライドする形状体かつ操作部である。逆に、スライダー705は、ユーザによる入力部303の操作によってスライドされると、第2再生部318によって、スライダー705が存在するシークバー704上の位置に対応した撮像時刻の映像データのフレームが映像表示部701に表示される。
 時刻表示部706は、第2再生部318によって、映像表示部701に再生表示されている映像データの撮像日付および撮像時刻を表示する表示部である。
 マーカリストボタン707は、ユーザによる入力部303の操作によって押下されると、リスト制御部320により記憶部302に記憶されたマーカファイルを読み出し、マーカファイルの内容を表示させる図27で後述するマーカリスト画面800が表示されるボタンである。
 ビューワ画面700の映像表示部701で、第2再生部318により記憶部302に記憶された過去の映像データが表示されると、領域表示制御部319は、記憶部302に記憶された、画像判定動作(監視動作)が開始および終了された時刻の情報、各判定領域が指定された時刻の情報、および各判定領域で検知された時刻の情報を読み出す。領域表示制御部319は、図25に示すように、これらの時刻情報に基づいて、各判定領域を示す枠を、映像表示部701に再生表示されている過去の映像データに重畳させて表示させる。例えば、領域表示制御部319は、時刻情報から、画像判定動作が開始された時刻よりも、各判定領域が指定された時刻が前であれば、画像判定動作の開始時刻から、指定された各判定領域を示す枠を表示させる。また、領域表示制御部319は、映像表示部701に再生表示されている映像データの時刻が、時刻情報における画像判定動作の終了時刻になった時点で、表示していた各判定領域を示す枠を消去する。
 また、領域表示制御部319は、図26に示すように、映像表示部701に再生表示されている映像データの時刻が、時刻情報における特定の判定領域のトリガの検知時刻または正常検知時刻になった時点で、その判定領域を示す枠を通常状態の色とは異なる色、かつ、通常状態の枠よりも太く表示させる。具体的には、領域表示制御部319は、ウォッチャ画面400において表示される各判定領域を示す枠と同様に、例えば、「青色」かつ太く表示させる。
 また、領域表示制御部319は、図26に示すように、映像表示部701に再生表示されている映像データの時刻が、時刻情報における特定の判定領域の異常検知時刻になった時点で、その判定領域を示す枠を通常状態の色とは異なる色、かつ、通常状態の枠よりも太く表示させる。具体的には、領域表示制御部319は、ウォッチャ画面400において表示される各判定領域を示す枠と同様に、例えば、「赤色」かつ太く表示させる。
 図26に示すビューワ画面700の例では、映像表示部701aの1つの常時検知領域で異常検知されたことが、枠の表示によって示されている。また、映像表示部701fでは、検知領域536、537に相当する検知領域で、それぞれ、正常検知および異常検知されたことが、枠の表示によって示されている。
 以上のように、領域表示制御部319により、記憶部302に記憶された、各時刻情報に基いて、各判定領域の枠の表示状態を制御することによって、ウォッチャ画面400における画像判定動作(監視動作)の状態を、過去の映像データで再現することができる。これによって、ユーザは、リアルタイムの映像ではなく、過去の映像について、どのような画像判定動作が行われていたかを確認することができる。
 なお、映像表示部701a~701fは、同じ日付・時刻の映像データを表示するものとしているが、これに限定されるものではなく、例えば、映像表示部701それぞれにシークバーおよび操作ボタン等を有するものとし、各映像表示部701で異なる日付・時刻の映像データを表示できるものとしてもよい。
 また、ビューワ画面700における画像判定動作の再現時においても、時刻情報に基づいて、ウォッチャ画面400の画像判定動作と同様に、判定領域で異常検知されたタイミング、および、瞬間検知機能に基づく特定のトリガ領域に対応する検知領域のすべてで判定が終了したタイミングで、それぞれ異常検知音、および判定終了音を出力するものとしてもよい。
 図27は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面でマーカリスト画面が表示された状態の一例を示す図である。図27に示すように、リスト制御部320は、ユーザによる入力部303の操作によってマーカリストボタン707が押下されると、記憶部302に記憶されたまマーカファイルを読み出し、マーカファイルの内容を示すマーカリスト画面800を表示させる。図27に示すように、マーカリスト画面800は、検知選択部801と、検知履歴表示部802と、を含む。
 検知選択部801は、常時検知機能に基づいて常時検知領域における画像判定において異常検知がされた日付・時刻のリスト、または、瞬間検知機能に基づいてトリガ検知領域においてトリガの検知、および検知領域において異常検知がされた日付・時刻のリストのいずれかの表示を選択するための選択操作部である。
 検知履歴表示部802は、検知選択部801で選択された常時検知機能に基づく検知の日付・時刻のリスト、または、瞬間検知機能に基づく検知の日付・時刻のリストの表示部である。図27に示す検知履歴表示部802は、検知選択部801で瞬間検知機能が選択された状態を示しており、瞬間検知機能に基づく検知の日付・時刻のリストを表示している。具体的には、検知履歴表示部802には、瞬間検知機能に基づくトリガ領域および検知領域の領域名、検知された日時・時刻、および対応する撮像装置2を識別する名称が表示されている。
 リスト制御部320は、ユーザによる入力部303の操作によって検知履歴表示部802のいずれかの判定領域を示すレコードを押下されると、第2再生部318に、そのレコードが示す日時・時刻の映像データを映像表示部701に表示させる。
 このように、図27に示すマーカリスト画面800を表示させることによって、各判定領域での検知の日付・時刻をリスト表示することによって、不具合の発生のタイミング、傾向または異常発生の原因等の特定を容易にすることができる。
(ウォッチャ画面における画像判定動作の全体的な流れ)
 図28は、実施の形態に係る情報処理装置の表示装置に表示されるウォッチャ画面での監視動作の例を示すフローチャートである。図28を参照しながら、ウォッチャ画面400での画像判定動作(監視動作)の流れについて総括的に説明する。なお、図28では、瞬間検知機能に基づく画像判定動作を例にして説明する。
<ステップS11>
 映像振分部312は、ユーザにより操作される入力部303からの操作信号に従って、映像受信部301から取得したリアルタイムの映像データを、表示部333に表示されるウォッチャ画面400の映像表示部401a~401fに振り分けて表示させる。また、映像振分部312は、映像表示部401に表示させる各映像データを、記憶部302に記憶(録画)させる。そして、ステップS12へ移行する。
<ステップS12>
 ユーザは、入力部303の操作によって、画像判定動作(監視動作)を開始させたい撮像装置2に対応する映像表示部401を押下して選択状態にする。そして、第1制御部316は、ユーザによる入力部303の操作によって、監視開始ボタン411が押下されると、選択状態の映像表示部401に表示される撮像装置2のリアルタイムの映像データについて画像判定動作を開始する。第1制御部316は、映像表示部401について画像判定動作が開始されると、設定画面500で指定された各判定領域を示す枠を、映像表示部401の映像データに重畳させて表示させる。この際、第1制御部316は、通常状態(各判定領域で検知がなされていない状態)の各判定領域を示す枠を別々の色によって表示させる。例えば、第1制御部316は、トリガ領域を示す枠を「白色」で、検知領域を示す枠を「黄色」で、常時検知領域を示す枠を「緑色」で表示させる。また、第1制御部316は、選択状態になっている映像表示部401(以下、単に「映像表示部401」と記載する)に対応する撮像装置2に関連付けて、画像判定動作(監視動作)を開始した時刻の情報(時刻情報)を記憶部302に記憶させる。そして、ステップS13へ移行する。
<ステップS13>
 トリガ生成部313は、記憶部302から変化点検出部306により検出された変化点のフレームにおける差分画像を取得する。そして、トリガ生成部313は、映像表示部401で指定されているトリガ領域において、差分画像と、映像データのフレームのトリガ領域の画像とを比較する。トリガ生成部313は、映像データのフレームのトリガ領域の画像が、変化点のフレームにおける差分画像と比較して、画素値が所定の感度以上異なる画素の数の合計である差分が所定の閾値未満となった場合、トリガ信号を生成(出力)(トリガを検知)する(ステップS13:Yes)。そして、トリガ生成部313は、画像判定動作でトリガ信号を生成した時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。そして、ステップS14へ移行する。
 また、トリガ生成部313は、差分が所定の閾値未満となっていない場合(ステップS13:No)、差分についての判定を継続する。
<ステップS14>
 第1制御部316は、トリガ生成部313がトリガを検知した場合、トリガ領域を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、トリガ領域を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、トリガ領域を示す枠の表示を通常状態の枠の表示に戻す。そして、ステップS15へ移行する。
<ステップS15>
 トリガ生成部313からトリガ信号を受け取ってから、検知領域について設定された検知遅延時間後となった検知領域がある場合(ステップS15:Yes)、ステップS16へ移行し、そうでない場合(ステップS15:No)、ステップS21へ移行する。
<ステップS16>
 検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域について設定された検知遅延時間後に、指定された検知領域において、検知基準画像と、映像データのフレームの検知領域の画像とを比較して異常であるか否かの画像判定をする。具体的には、検知領域判定部314は、トリガ生成部313によりトリガ領域に対応するトリガ信号を受け取った時点から、検知領域に対応する検知遅延時間後の映像データのフレームの検知領域の画像と、検知基準画像とを比較して異常であるか否かの画像判定をする。このとき、画像判定として、検知領域判定部314は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となった場合に、検知領域の画像判定は異常と判定する。そして、検知領域判定部314は、画像判定動作で正常検知または異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。そして、ステップS17へ移行する。
<ステップS17>
 検知領域判定部314による画像判定の結果、異常検知となった場合(ステップS17:Yes)、ステップS18へ移行し、正常検知となった場合(ステップS17:No)、ステップS20へ移行する。
<ステップS18>
 検知領域判定部314は、画像判定で異常を検知した場合、異常検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、検知領域において異常検知となった場合、第1制御部316は、検知領域を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域を示す枠を、「赤色」かつ太く表示させ、この表示状態を1秒間継続させる。このとき、報知制御部317は、検知領域判定部314により検知領域において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音を所定時間(例えば、1秒)出力させる。そして、第1制御部316は、1秒後、検知領域を示す枠の表示を通常状態の枠の表示に戻す。そして、ステップS19へ移行する。
<ステップS19>
 外部出力部332は、検知領域判定部314により異常の判定がなされた場合、異常信号を外部機器10に出力する。そして、ステップS15へ戻る。
<ステップS20>
 検知領域判定部314は、画像判定動作で正常検知をした場合、正常検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、検知領域において正常検知となった場合、第1制御部316は、検知領域を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域を示す枠の表示を通常状態の枠の表示に戻す。そして、ステップS15へ戻る。
<ステップS21>
 トリガ生成部313のトリガに伴う検知領域が残っている場合(ステップS21:Yes)、ステップS15へ戻り、そうでない場合(ステップS21:No)、ステップS22へ移行する。
<ステップS22>
 報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミングで、報知部334に、検知領域の画像判定の終了を示す判定終了音を所定時間(例えば、0.2秒)出力させる。
 以上のように、瞬間検知機能に基づく画像判定動作は、上述のステップS13~S22が繰り返されることによって実行される。
(ビューワ画面における画像判定動作の全体的な流れ)
 図29は、実施の形態に係る情報処理装置の表示装置に表示されるビューワ画面で再生表示される映像に対して画像判定の状態が再現される動作の例を示すフローチャートである。図29を参照しながら、ビューワ画面700で画像判定の状態を再現する動作の流れについて総括的に説明する。
<ステップS31>
 ユーザは、入力部303の操作によって、所望する再生時間(時刻)を設定する。そして、ステップS32へ移行する。
<ステップS32>
 第2再生部318は、ユーザにより操作される入力部303からの操作信号に従って、設定された再生時間(時刻)からの過去の映像データを記憶部302から取得する。この場合、映像データが取得できた場合(すなわち、再生する映像データの次のフレームがある場合)(ステップS32:Yes)、ステップS33へ移行し、取得できない場合(すなわち、再生する映像データの次のフレームがない場合)(ステップS32:No)、画像判定の状態を再現する動作を終了する。
<ステップS33>
 第2再生部318は、記憶部302から取得した過去の映像データを表示部333に表示されるビューワ画面700の映像表示部701a~701fに、対応する映像データを振り分けて再生表示させる。このとき、第2再生部318は、ユーザにより操作される入力部303からの操作信号に従って、ユーザの所望する再生時間(時刻)のフレームから映像データを再生表示させる。そして、ステップS34へ移行する。
<ステップS34>
 映像表示部701で、第2再生部318により記憶部302に記憶された過去の映像データが表示されると、領域表示制御部319は、記憶部302に記憶された、画像判定動作(監視動作)が開始および終了された時刻の情報、各判定領域が指定された時刻の情報、および各判定領域で検知された時刻の情報を読み出す。領域表示制御部319は、これらの時刻情報に基づいて、各判定領域を示す枠を、映像表示部701に再生表示されている過去の映像データに重畳させて表示させる。例えば、領域表示制御部319は、時刻情報から、画像判定動作が開始された時刻よりも、各判定領域が指定された時刻が前であれば、画像判定動作の開始時刻から、指定された各判定領域を示す枠を表示させる。そして、ステップS35へ移行する。
<ステップS35>
 映像表示部701に再生表示されている映像データの時刻が、時刻情報における特定の判定領域の検知時刻になった場合(ステップS35:Yes)、ステップS36へ移行し、検知時刻になっていない場合(ステップS35:No)、引き続き検知時刻になったか確認する。
<ステップS36>
 領域表示制御部319は、映像表示部701に再生表示されている映像データの時刻が、時刻情報における特定の判定領域の検知時刻になった時点で、その判定領域を示す枠を通常状態の色とは異なる色、かつ、通常状態の枠よりも太く表示させる。そして、ステップS32へ戻る。
 以上のように、画像判定の状態を再現する動作は、上述のステップS32~S36が繰り返されることによって実行される。
 以上のように、表示部333の表示領域(映像表示部401、映像表示部701)に複数の種類の判定領域(上述の実施の形態ではトリガ領域、検知領域または常時検知領域のいずれか)を示す枠を、映像データに重畳して表示するものとしている。これによって、ユーザは、各判定領域で検知(トリガ検知、正常検知および異常検知等)がされたタイミング、およびその検知の内容を把握することができるので、複数の種類の判定動作の状態を同時に把握することができる。
 また、表示部333の表示領域に表示された複数の種類の判定領域のうち、少なくともいずれかは異なる色の枠で表示するものとしている。これによって、どの判定領域がどの判定機能(瞬間検知機能および常時検知機能)に基づくものであるのかを視覚的に把握することができる。
 また、表示部333の表示領域に表示された複数の種類の判定領域を示す枠は、検知されたタイミングで、通常状態の表示態様とは異なる態様で表示するものとしている。これによって、どの判定領域でどのような検知が行われたのかを視覚的に把握することができる。
 また、表示部333の映像表示部401で表示されたリアルタイムの映像データに対して、上述のような画像判定動作の各判定領域での動作の状態を示すことができる。これによって、ユーザは、リアルタイムに各判定領域における動作の状態を把握することができる。
 また、リアルタイムの映像データの画像判定動作で、画像判定動作(監視動作)が開始および終了された時刻の情報、各判定領域が指定された時刻の情報、および各判定領域で検知された時刻の情報の各時刻情報を記憶するものとしている。これによって、録画した過去の映像データに対して、時刻情報に基づいて、画像判定動作の状態を再現して示すことができる。よって、ユーザは、再現された画像判定動作を確認することによって、不具合の発生のタイミング、傾向または異常発生の原因等の特定を容易にすることができる。
 また、上述の時刻情報に基づくマーカファイルを表示し、各判定領域における検知時刻を時系列に表示するものとしている。これによって、各判定領域での検知の日付・時刻を時系列に確認することができ、不具合の発生のタイミング、傾向または異常発生の原因等の特定を容易にすることができる。
 また、複数の表示領域に、それぞれ複数の撮像装置2のリアルタイムの映像データまたは過去の映像データについて画像判定の状態を表示するものとしている。これによって、各撮像装置2で撮像された映像データに対する画像判定の状態を同時に確認することができる。
 また、判定領域で異常検知されたタイミング、および、瞬間検知機能に基づく特定のトリガ領域に対応する検知領域のすべてで判定が終了したタイミングで、それぞれ異常検知音、および判定終了音を出力するものとしている。これによって、異常が発生したタイミング、および、検知が終了したタイミングを聴覚的に認識することができる。
 なお、本実施の形態においては、判定領域として、瞬間検知機能に基づくトリガ領域および検知領域、ならびに常時検知機能に基づく常時検知領域を例にして説明したが、判定領域としてこれらに限定されるものではない。例えば、生産工程における一連の作業が順序通りに実施されているかを検知する機能の基づく判定領域、または、生産物またはバーコード等に記載された文字を検知するためのOCR(Optical Character Recognition)機能に基づく判定領域による画像判定動作が実行できるものとしてもよい。
 また、上述のように、ウォッチャ画面400ではリアルタイムの映像データの表示、および、ビューワ画面700では過去の映像データの表示というように画面を分けて表示するものとしているが、これに限定されるものではない。すなわち、ウォッチャ画面400およびビューワ画面700の機能を共通の画面で実現させるものとしてもよい。
 また、各表示領域(映像表示部401、701)において、各判定領域を示す表示要素として枠を用いるものとしているが、これに限定されるものではなく、各判定領域を示すことができる表示要素であればどのように表示してもよい。
 また、トリガ生成部313により生成されたトリガ信号は、上述の実施の形態では検知領域判定部314による画像判定のタイミングの基準として用いられているが、これに限定されるものではない。例えば、トリガ信号は、生産設備側で所定の処理を行わせるタイミングの基準に用いられるようにしてもよく、その場合には、トリガ信号が生成された時点でトリガ信号を生産設備に送信するようにしてもよい。
(変形例)
 図30は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生する前の状態の一例を示す図である。図31は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生した状態の一例を示す図である。図32~37は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。図30~37を参照しながら、ウォッチャ画面400における映像表示部401fを例にして、本変形例での瞬間検知機能に基づく映像データに対する画像判定動作(監視動作)の詳細について説明する。本変形例では、トリガ領域に関連付けられた1以上の検知領域について、トリガ生成部313がトリガを検知した場合、トリガ領域に関連付けられたすべての検知領域での画像判定が全て終了するまで、すべての検知領域を示す枠を、画像判定の結果を示す表示状態に継続させる動作について説明する。また、検知領域535~538の属性情報のうち、検知遅延時間がそれぞれ「1.0」秒、「2.2」秒、「2.5」秒、「4.0」秒に設定されているものとして説明する。
 まず、第1制御部316は、映像表示部401fについて画像判定動作が開始されると、設定画面500で指定された各判定領域を示す枠を、映像表示部401fの映像データに重畳させて表示させる。具体的には、図30に示すように、映像表示部401fには、トリガ領域530、検知領域535~538、および常時検知領域570が表示される。この際、第1制御部316は、通常状態(各判定領域で検知がなされていない状態)の各判定領域を示す枠(表示要素の一例)を別々の色によって表示させる。例えば、第1制御部316は、トリガ領域530を示す枠を「白色」で、検知領域535~538を示す枠を「黄色」で、常時検知領域570を示す枠を「緑色」で表示させる。
 次に、図31に示すように、第1制御部316は、トリガ生成部313がトリガを検知した場合、トリガ領域530を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、トリガ領域530を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、トリガ領域530を示す枠の表示を通常状態の枠の表示に戻す。
 次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域535について設定された検知遅延時間である「1.0」秒後に、検知領域535で画像判定をする。この判定の結果、正常検知となった場合、図32に示すように、第1制御部316は、検知領域535を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域535を示す枠を「青色」かつ太く表示させ、この表示状態を継続させる。
 次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域536について設定された検知遅延時間である「2.2」秒後に、検知領域536で画像判定をする。さらに、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域537について設定された検知遅延時間である「2.5」秒後に、検知領域537で画像判定をする。この判定の結果、それぞれ正常検知となった場合、図33に示すように、第1制御部316は、検知領域536、537を示すそれぞれの枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域536、537を示す枠を、それぞれ「青色」かつ太く表示させ、この表示状態を継続させる。この時点で、図33に示すように、検知領域535~537は、いずれも正常検知の表示状態(「青色」かつ太く表示された状態)となっている。
 そして、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域538について設定された検知遅延時間である「4.0」秒後に、検知領域538で画像判定をする。この判定の結果、正常検知となった場合、図34に示すように、第1制御部316は、検知領域538を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域538を示す枠を「青色」かつ太く表示させる。この時点で、図34に示すように、検知領域535~538は、いずれも正常検知の表示状態(「青色」かつ太く表示された状態)となっている。
 そして、第1制御部316は、トリガ領域530に関連付けられた検知領域535~538のうち、最後のタイミングで画像判定される検知領域538での画像判定が終了した後、検知領域535~538の正常検知の表示状態を所定時間(例えば、1秒間)継続させる。そして、第1制御部316は、所定時間後、検知領域535~538を示す枠の表示を、それぞれ通常状態の枠の表示に戻す。
 また、報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミング(すなわち、検知領域538の画像判定が終了したタイミング)で、報知部334に、検知領域の画像判定の終了を示す判定終了音(図34では「ピッ」と表記)を所定時間(例えば、0.2秒)出力させる。以上のように、図32~34では、検知領域535~538の画像判定ですべて正常検知された場合について説明した。次に、検知領域535~538のいずれかで異常検知がなされた場合について説明する。
 図31で示したように、トリガ生成部313がトリガを検知してから、再びトリガ検知をした後の動作について説明する。検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域535について設定された検知遅延時間である「1.0」秒後に、検知領域535で画像判定をする。この判定の結果、正常検知となった場合、図35に示すように、第1制御部316は、検知領域535を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域535を示す枠を「青色」かつ太く表示させ、この表示状態を継続させる。
 次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域536について設定された検知遅延時間である「2.2」秒後に、検知領域536で画像判定をする。さらに、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域537について設定された検知遅延時間である「2.5」秒後に、検知領域537で画像判定をする。この判定の結果、検知領域536において正常検知となった場合、図36に示すように、第1制御部316は、検知領域536を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域536を示す枠を、「青色」かつ太く表示させ、この表示状態を継続させる。また、上述の判定の結果、検知領域537において異常検知となった場合、図36に示すように、第1制御部316は、検知領域537を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域537を示す枠を、「赤色」かつ太く表示させ、この表示状態を継続させる。このとき、報知制御部317は、検知領域判定部314により検知領域537において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音(図36では「ブー」と表記)を所定時間(例えば、1秒)出力させる。この時点で、図36に示すように、検知領域535、536は、いずれも正常検知の表示状態(「青色」かつ太く表示された状態)となっており、検知領域537は、異常検知の表示状態(「赤色」かつ太く表示された状態)となっている。
 そして、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域538について設定された検知遅延時間である「4.0」秒後に、検知領域538で画像判定をする。この判定の結果、異常検知となった場合、図37に示すように、第1制御部316は、検知領域538を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域538を示す枠を「赤色」かつ太く表示させる。このとき、報知制御部317は、検知領域判定部314により検知領域538において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音(図37では「ブー」と表記)を所定時間(例えば、1秒)出力させる。この時点で、図37に示すように、検知領域535、536は、いずれも正常検知の表示状態(「青色」かつ太く表示された状態)となっており、検知領域537、538は、いずれも異常検知の表示状態(「赤色」かつ太く表示された状態)となっている。
 そして、第1制御部316は、トリガ領域530に関連付けられた検知領域535~538のうち、最後のタイミングで画像判定される検知領域538での画像判定が終了した後、検知領域535、536の正常検知の表示状態を所定時間(例えば、1秒間)継続させ、検知領域537、538の異常検知の表示状態を所定時間(例えば、1秒間)継続させる。そして、第1制御部316は、所定時間後、検知領域535~538を示す枠の表示を、それぞれ通常状態の枠の表示に戻す。
 また、報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミング(すなわち、検知領域538の画像判定が終了したタイミング)で、報知部334に、検知領域の画像判定の終了を示す判定終了音(図37では「ピッ」と表記)を所定時間(例えば、0.2秒)出力させる。この場合、検知領域538の画像判定によって、報知部334により異常検知音と判定終了音が重畳して出力されるが、異なる音(例えば、異なる音階、波形またはメロディの音)にしているので、ユーザは、いずれの音も区別して聞き取ることができる。以上のように、図35~37では、検知領域535~538の画像判定のいずれかで異常検知がなされる場合について説明した。
 上述の変形例のように、第1制御部316は、瞬間検知機能に基づく画像判定動作において、トリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了するまで、各検知領域の判定結果を示す表示状態を継続するものとしている。これによって、ユーザは、トリガ生成部313のトリガに伴うすべての検知領域での画像判定の結果を一目で把握することができるので、利便性を向上させることができる。
 また、本実施の形態の第1再生部304、トリガ領域指定部305、変化点検出部306、検知領域指定部307、設定部308、常時検知領域指定部309、映像振分部312、トリガ生成部313、検知領域判定部314、常時検知領域判定部315、第1制御部316、報知制御部317、第2再生部318、領域表示制御部319、リスト制御部320、第2制御部321および表示制御部331の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、本実施の形態の情報処理装置3で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、本実施の形態の情報処理装置3で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の情報処理装置3で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。本実施の形態の情報処理装置3で実行されるプログラムは、上述した各機能部の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUが上述のROMからプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。
 1 画像処理システム
 2、2a~2f 撮像装置
 3 情報処理装置
 4 ネットワーク
 10 外部機器
 101 CPU
 102 ROM
 103 RAM
 104 外部記憶装置
 105 ディスプレイ
 106 ネットワークI/F
 107 キーボード
 108 マウス
 109 DVDドライブ
 110 DVD
 111 外部機器I/F
 112 スピーカ
 113 バス
 301 映像受信部
 302 記憶部
 303 入力部
 304 第1再生部
 305 トリガ領域指定部
 306 変化点検出部
 307 検知領域指定部
 308 設定部
 309 常時検知領域指定部
 312 映像振分部
 313 トリガ生成部
 314 検知領域判定部
 315 常時検知領域判定部
 316 第1制御部
 317 報知制御部
 318 第2再生部
 319 領域表示制御部
 320 リスト制御部
 321 第2制御部
 331 表示制御部
 332 外部出力部
 333 表示部
 334 報知部
 400 ウォッチャ画面
 401、401a~401f 映像表示部
 411 監視開始ボタン
 412 監視停止ボタン
 413 監視設定ボタン
 421、421a~421f 状態表示部
 500 設定画面
 501 カメラ選択タブ
 502 設定用映像表示部
 503a 再生ボタン
 503b 一時停止ボタン
 503c 早送りボタン
 503d 早戻しボタン
 503e 停止ボタン
 504 シークバー
 505 スライダー
 506 時刻表示部
 507 トリガ領域情報部
 508a 基準画像表示部
 508b 差分画像表示部
 509 検知領域情報部
 510 検知領域ボタン群
 510a アクションボタン
 510b 画像判定選択ボタン
 510c 削除ボタン
 510e 感度増加ボタン
 510f 感度減少ボタン
 510g 閾値増加ボタン
 510h 閾値減少ボタン
 511 設定読出ボタン
 512 設定書込ボタン
 513 設定反映ボタン
 514 閉じるボタン
 530 トリガ領域
 535~538 検知領域
 540 トリガマーク
 551 領域選択タブ
 561 常時検知領域情報部
 562 常時検知領域ボタン群
 562a アクションボタン
 562c 削除ボタン
 562e 感度増加ボタン
 562f 感度減少ボタン
 562g 閾値増加ボタン
 562h 閾値減少ボタン
 570 常時検知領域
 600 変化点選択ダイアログ
 601 はいボタン
 602 いいえボタン
 603 閉じるボタン
 610 変化点無し通知ダイアログ
 611 OKボタン
 612 閉じるボタン
 700 ビューワ画面
 701、701a~701f 映像表示部
 703a 再生ボタン
 703b 一時停止ボタン
 703c 早送りボタン
 703d 早戻しボタン
 703e 停止ボタン
 704 シークバー
 705 スライダー
 706 時刻表示部
 707 マーカリストボタン
 800 マーカリスト画面
 801 検知選択部
 802 検知履歴表示部
特開2006-78381号公報

Claims (14)

  1.  表示手段と、
     前記表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示制御手段と、
     前記映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で前記映像データに重畳させて前記表示領域に表示させる領域表示制御手段と、
     を備えた画像処理装置。
  2.  前記領域表示制御手段は、前記各判定領域の表示要素のうち少なくともいずれかを、それぞれ異なる色の該判定領域を囲う枠として表示させる請求項1に記載の画像処理装置。
  3.  前記領域表示制御手段は、前記各判定領域の表示要素のうち少なくともいずれかについて、該判定領域で所定の状態が検知された場合の前記表示要素の態様を、該判定領域で前記所定の状態が検知されていない場合の該表示要素の態様と変えて表示させる請求項1または2に記載の画像処理装置。
  4.  前記映像表示制御手段は、前記撮像手段で撮像されたリアルタイムの前記映像データを前記表示領域に表示させる請求項1~3のいずれか一項に記載の画像処理装置。
  5.  前記撮像手段により撮像された前記映像データを記憶する記憶手段と、
     前記各判定領域が指定された日時の情報、および、前記各判定領域で前記所定の状態が検知された日時の情報を前記記憶手段に記憶させる時刻情報管理手段と、
     を、さらに備え、
     前記映像表示制御手段は、前記記憶手段に記憶された前記映像データを前記表示領域に再生表示させ、
     前記領域表示制御手段は、前記記憶手段に記憶された前記日時の情報に従って、前記各判定領域を示す前記表示要素を前記表示領域に表示させる請求項1~3のいずれか一項に記載の画像処理装置。
  6.  前記記憶手段に記憶された前記日時の情報に基づいて、前記各判定領域で検知された前記所定の状態のうち少なくともいずれかの検知日時をリストで表示するリスト制御手段を、さらに備えた請求項5に記載の画像処理装置。
  7.  前記映像表示制御手段は、複数の前記撮像手段で撮像された前記映像データを前記表示領域に表示させる請求項1~6のいずれか一項に記載の画像処理装置。
  8.  前記領域表示制御手段は、前記判定領域として、第1基準画像との比較結果に基づいてトリガを生成するためのトリガ領域の表示要素、および前記トリガのタイミングを基準にして所定時間前または所定時間後に1以上の第2基準画像とそれぞれ比較して異常であるか否かを画像判定するための1以上の検知領域の表示要素を、それぞれ前記表示領域に表示させる請求項1~7のいずれか一項に記載の画像処理装置。
  9.  前記領域表示制御手段は、前記トリガ領域に関連付けられた前記1以上の検知領域での画像判定が少なくともすべて終了するまで、前記1以上の検知領域でのそれぞれの画像判定の判定結果を示す各表示要素の表示を継続させる請求項8に記載の画像処理装置。
  10.  前記トリガ領域に関連付けられた前記検知領域のうち最後の検知領域での画像判定が終了したときに判定終了を示す音を出力する報知手段を、さらに備えた請求項8または9に記載の画像処理装置。
  11.  前記検知領域で異常が検知されたときに異常の発生を示す音を出力する報知手段を、さらに備えた請求項8または9に記載の画像処理装置。
  12.  請求項1~11のいずれか一項に記載の画像処理装置と、
     1以上の前記撮像手段と、
     を備えた画像処理システム。
  13.  表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示ステップと、
     前記映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で前記映像データに重畳させて前記表示領域に表示させる領域表示ステップと、
     を有する画像処理方法。
  14.  コンピュータに
     表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示処理と、
     前記映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で前記映像データに重畳させて前記表示領域に表示させる領域表示処理と、
     を実行させるためのプログラム。
PCT/JP2015/086394 2015-02-05 2015-12-25 画像処理装置、画像処理システム、画像処理方法およびプログラム WO2016125420A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15881237.0A EP3255884A4 (en) 2015-02-05 2015-12-25 Image processing device, image processing system, image processing method, and program
JP2016573210A JP6597643B2 (ja) 2015-02-05 2015-12-25 画像処理装置、画像処理システム、画像処理方法およびプログラム
CN201580075316.XA CN107211112B (zh) 2015-02-05 2015-12-25 图像处理设备、图像处理系统、图像处理方法和记录介质
US15/665,459 US10873719B2 (en) 2015-02-05 2017-08-01 Image processing device, image processing system, image processing method, and computer program product

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-021637 2015-02-05
JP2015021637 2015-02-05
JP2015209977 2015-10-26
JP2015-209977 2015-10-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/665,459 Continuation US10873719B2 (en) 2015-02-05 2017-08-01 Image processing device, image processing system, image processing method, and computer program product

Publications (1)

Publication Number Publication Date
WO2016125420A1 true WO2016125420A1 (ja) 2016-08-11

Family

ID=56563777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/086394 WO2016125420A1 (ja) 2015-02-05 2015-12-25 画像処理装置、画像処理システム、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US10873719B2 (ja)
EP (1) EP3255884A4 (ja)
JP (2) JP6597643B2 (ja)
CN (1) CN107211112B (ja)
WO (1) WO2016125420A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180076059A (ko) * 2016-12-27 2018-07-05 한화에어로스페이스 주식회사 예측 진단 장치 및 감시 시스템
CN109994061A (zh) * 2017-12-29 2019-07-09 宏碁股份有限公司 数字广告牌系统
US10873719B2 (en) 2015-02-05 2020-12-22 Ricoh Company, Limited Image processing device, image processing system, image processing method, and computer program product
JP7480072B2 (ja) 2021-01-20 2024-05-09 株式会社東芝 情報処理装置、情報処理プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467774B2 (en) * 2017-11-06 2019-11-05 Qualcomm Incorporated Memory address flipping to determine data content integrity in GPU sub-system
TWI658443B (zh) * 2017-11-28 2019-05-01 宏碁股份有限公司 數位看板系統
JP6545342B1 (ja) * 2018-10-15 2019-07-17 株式会社フォトロン 異常検知装置及び異常検知プログラム
US11223802B2 (en) 2019-07-31 2022-01-11 Ricoh Company, Ltd. Image-based determination apparatus and image-based determination system
CN111405201B (zh) * 2020-04-13 2022-08-19 北京小鸟科技股份有限公司 多时间处理及显示系统、处理装置、显示设备
CN112637586A (zh) * 2020-12-15 2021-04-09 北京百度网讯科技有限公司 异常视频构造方法、检测方法、装置、设备、介质及产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248147A (ja) * 2003-02-17 2004-09-02 Canon Inc 動画像変化検知表示システム
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP2015019250A (ja) * 2013-07-11 2015-01-29 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS556989B1 (ja) 1969-07-25 1980-02-21
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
JP2006078381A (ja) 2004-09-10 2006-03-23 Keyence Corp 画像処理装置のディスプレイ表示方法。
JP4702598B2 (ja) * 2005-03-15 2011-06-15 オムロン株式会社 監視システム、監視装置および方法、記録媒体、並びにプログラム
US8599267B2 (en) * 2006-03-15 2013-12-03 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP4201025B2 (ja) 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6012267B2 (ja) 2012-06-08 2016-10-25 富士機械製造株式会社 検査装置
US8781293B2 (en) * 2012-08-20 2014-07-15 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
US9197861B2 (en) * 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
JP6114550B2 (ja) 2012-12-21 2017-04-12 日本放送協会 監視装置、監視方法及びプログラム
US9042674B2 (en) * 2013-03-15 2015-05-26 Digitalglobe, Inc. Automated geospatial image mosaic generation
AU2014240718A1 (en) * 2013-03-29 2015-08-27 Nec Corporation Target object identifying device, target object identifying method and target object identifying program
WO2014208575A1 (ja) * 2013-06-28 2014-12-31 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
JP6459256B2 (ja) 2014-07-07 2019-01-30 株式会社リコー 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
US9420331B2 (en) * 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
JP2016039496A (ja) 2014-08-07 2016-03-22 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6554825B2 (ja) 2014-08-25 2019-08-07 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
WO2016125420A1 (ja) 2015-02-05 2016-08-11 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248147A (ja) * 2003-02-17 2004-09-02 Canon Inc 動画像変化検知表示システム
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP2015019250A (ja) * 2013-07-11 2015-01-29 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10873719B2 (en) 2015-02-05 2020-12-22 Ricoh Company, Limited Image processing device, image processing system, image processing method, and computer program product
KR20180076059A (ko) * 2016-12-27 2018-07-05 한화에어로스페이스 주식회사 예측 진단 장치 및 감시 시스템
KR102617992B1 (ko) * 2016-12-27 2023-12-26 한화비전 주식회사 예측 진단 장치 및 감시 시스템
CN109994061A (zh) * 2017-12-29 2019-07-09 宏碁股份有限公司 数字广告牌系统
JP7480072B2 (ja) 2021-01-20 2024-05-09 株式会社東芝 情報処理装置、情報処理プログラム

Also Published As

Publication number Publication date
JPWO2016125420A1 (ja) 2017-08-31
CN107211112A (zh) 2017-09-26
JP2020010400A (ja) 2020-01-16
JP6816802B2 (ja) 2021-01-20
US20170359546A1 (en) 2017-12-14
JP6597643B2 (ja) 2019-10-30
CN107211112B (zh) 2020-05-12
EP3255884A1 (en) 2017-12-13
EP3255884A4 (en) 2018-05-30
US10873719B2 (en) 2020-12-22

Similar Documents

Publication Publication Date Title
JP6816802B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6390720B2 (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP6733785B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2005268991A (ja) 画像処理装置、画像処理方法およびそのプログラム、記録媒体
JP6756338B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2008187324A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020530954A (ja) 繰り返しの再生を回避するための、メディアタイトルの以前にストリーミングされた部分の特定
JP2018084443A (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP2021027579A (ja) 画像判定装置および画像判定システム
JP6828377B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2016039496A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2004254065A (ja) 動画像中の代表画像抽出装置,動画像中の代表画像抽出方法,動画像中の代表画像抽出プログラムおよび動画像中の代表画像抽出プログラムの記録媒体
CN105391971A (zh) 图像处理装置、图像处理系统以及图像处理方法
US11223802B2 (en) Image-based determination apparatus and image-based determination system
JP4454704B2 (ja) 画像処理装置
JP5025567B2 (ja) 操作内容再生システムおよび操作内容再生プログラム
JP4231019B2 (ja) 映像システムの状態監視方法
JP2022000970A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP3941808B2 (ja) 動画像の変化点検出方法及び装置
JPH1186514A (ja) 映像装置及び映像装置の状態監視方法並びに映像装置の状態監視を実行するためのプログラムを記録した記録媒体
JP2002135706A (ja) 映像記録システム及び映像記録装置
JP2009038491A (ja) 編集装置、再生装置、データ編集方法、再生方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15881237

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016573210

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015881237

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE