WO2015072631A1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2015072631A1
WO2015072631A1 PCT/KR2014/002484 KR2014002484W WO2015072631A1 WO 2015072631 A1 WO2015072631 A1 WO 2015072631A1 KR 2014002484 W KR2014002484 W KR 2014002484W WO 2015072631 A1 WO2015072631 A1 WO 2015072631A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
unit
file
characteristic information
Prior art date
Application number
PCT/KR2014/002484
Other languages
English (en)
French (fr)
Inventor
조성봉
이성훈
채석호
김효진
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to EP14862879.5A priority Critical patent/EP3070938A4/en
Priority to US15/036,945 priority patent/US9807338B2/en
Priority to CN201480062667.2A priority patent/CN105723702B/zh
Publication of WO2015072631A1 publication Critical patent/WO2015072631A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing apparatus and a method for generating an image file by extracting an image frame for each camera satisfying a search condition from a storage device storing images captured by at least one camera.
  • An image recording storage device such as a digital video recorder or a network video recorder is connected to a surveillance camera to store an image of a surveillance region captured by the surveillance camera.
  • the video recording and storage device records the entire image captured by the surveillance camera without any additional processing. Recently, a technology for recognizing and tracking an object through image analysis has been developed to store the recognized object and the object tracking image.
  • retrieval time can be shortened by knowing the appearance time and location of a specific object, but if not, much time and effort should be spent on retrieval of a specific object.
  • the technical problem to be solved by the present invention is to quickly search for a desired object by extracting an image frame for each camera that satisfies a search condition from a storage device that stores images taken by at least one camera to generate one image file
  • An image processing apparatus and method for enabling this are provided.
  • an image processing apparatus includes a storage unit configured to store an image received through at least one camera; An image analyzer for analyzing an image received through the camera to separate an object in which an event occurs from a background and extract feature information of the object; A database storing characteristic information of the object extracted for each camera; A search condition setting unit for setting a search condition; A retrieval unit for retrieving property information of the object that matches the search condition from the database, and obtaining image frames including the property information of the retrieved object from the storage unit; And a file generator for synthesizing the image frames to generate a single image file.
  • the storage unit is characterized in that for storing the real-time image received through the camera, or pre-stored image.
  • the search condition setting unit the camera setting unit for selecting the at least one or more cameras; An object setting unit for setting at least one object characteristic information to appear in an image captured by the camera; And a time setting unit for setting a time range in which the object will appear.
  • the search unit may acquire an image frame including characteristic information of the object from among image frames included in the group of picture (GOP) stored in the storage unit, When the image frame including the characteristic information is a predicted frame, the intra frame may be acquired together.
  • GOP group of picture
  • the file generation unit may generate a compressed image file by compressing the image frames.
  • the searching unit may search for the characteristic information of the object that matches the search condition from the database, and obtain object images including the characteristic information of the searched object from the storage unit.
  • the file generation unit may generate and compress one image file by synthesizing any one background image including the object image from the object images and the storage unit.
  • the present invention may further include a playback unit for playing the video file synthesized with the video frames.
  • the reproducing unit may display object identification information for identifying each of the plurality of objects displayed during the reproduction of the video file.
  • the playback unit extracts the original image of the object from the storage unit, characterized in that for playing in another area.
  • an image processing method includes: storing an image received through at least one camera; Analyzing the image received through the camera to separate the object from which the event occurred from the background and extract the characteristic information of the object; Constructing a database from feature information of the object extracted for each camera; Setting a search condition; Retrieving characteristic information of the object matching the search condition from the database, and obtaining image frames including characteristic information of the retrieved object from the stored image; And generating one image file by synthesizing the image frames.
  • the image is characterized in that the real-time image received through the camera, or includes a pre-stored image.
  • the setting of the search condition may include selecting at least one camera; Setting at least one object characteristic information to appear in an image captured by the camera; Setting a time range in which the object will appear; And setting at least one region in which the object will appear in an image captured by the camera.
  • the generating of the one image file further comprises: compressing the image frames to generate a compressed image file.
  • the acquiring may include: retrieving property information of the object that matches the search condition from the database, and obtaining object images including property information of the retrieved object from the stored image; It further comprises.
  • the generating of the one image file comprises: generating and compressing one image file by synthesizing any one background image including the object image from the object images and the stored image; It characterized in that it further comprises.
  • the step of playing the video file characterized in that it further comprises.
  • the reproducing may further include displaying object identification information for identifying each of the plurality of objects displayed during reproduction of the video file.
  • the reproducing may further include extracting an original image of the object from the stored image and reproducing it in another area when the object is selected.
  • a quick search for a desired object is generated by extracting an image frame for each camera that satisfies a search condition from a storage device storing images captured by at least one camera and generating one image file. It becomes possible.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to an exemplary embodiment.
  • FIG. 2 is a detailed configuration diagram of the image storing unit in FIG. 1.
  • FIG. 3 is a diagram illustrating generation of one image file by extracting image frames satisfying a search condition according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an image file generation screen according to a search condition setting according to an embodiment of the present invention.
  • FIG. 5 is a view showing a video file playback screen according to a search condition setting according to an embodiment of the present invention.
  • FIG. 6 is a view showing a video file playback screen according to an embodiment of the present invention.
  • FIG. 7 is a view showing a video file playback and the original video file playback screen according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an operation of an image processing method according to an exemplary embodiment.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • the invention can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions.
  • the present invention relates to integrated circuit configurations such as memory, processing, logic, look-up table, etc., which may execute various functions by the control of one or more microprocessors or other control devices. It can be adopted.
  • the present invention includes various algorithms implemented in combinations of data structures, processes, routines or other programming constructs, including C, C ++ It may be implemented in a programming or scripting language such as Java, an assembler, or the like.
  • the functional aspects may be implemented with an algorithm running on one or more processors.
  • the present invention may employ the prior art for electronic environment setting, signal processing, and / or data processing.
  • Terms such as mechanism, element, means, configuration can be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • an image processing apparatus includes a plurality of network cameras 100, a plurality of analog cameras 200, a network 300, an image processing means 400, and a display means 500.
  • At least one network camera 100 is installed in an arbitrary area, and outputs a captured image as a digital image signal, and outputs it to an image processing means 400 such as a digital video recorder or a network video recorder through the network 300.
  • the network camera 100 may be a speed dome camera disposed at a fixed location at a specific place.
  • the network camera 100 may be configured as a single fixed camera having a fixed lens and having a fixed shooting range, or may be configured as a pan-tilt-zoom (PTZ) camera having a variable shooting range.
  • the PTZ camera can easily change various surveillance areas with a single camera by a pan operation rotated in the horizontal direction, a tilt operation rotated in the vertical direction, and a zoom in / zoom out operation. You can.
  • At least one analog camera 200 is installed in an arbitrary region, and outputs a captured image as an analog image signal to the image processing means 400.
  • the image processing unit 400 receives and stores images captured by the at least one network camera 100 and the at least one analog camera 200, separates an object where an event for the captured images is generated from the background, Image analysis is performed to generate characteristic information, and one image file is generated by extracting image frames of each camera satisfying a search condition.
  • the image processing means 400 may include an image receiver 410, an image storage unit 420, an object information extractor 430, an object information database 440, a search condition setting unit 450, a search unit 460,
  • the image file generating unit 470 and the image file reproducing unit 480 may be included.
  • the image processing means 400 will be described in detail with reference to FIG. 2.
  • the display means 500 reproduces the image file generated by the image processing means 400.
  • the display means 500 may include at least one of a liquid crystal display (LCD), an organic light emitting display (OLED), an electrophoretic display (EPD), a flexible display, and a 3D display.
  • LCD liquid crystal display
  • OLED organic light emitting display
  • EPD electrophoretic display
  • a flexible display and a 3D display.
  • FIG. 2 is a detailed configuration diagram of the image processing unit 400 in FIG. 1.
  • the image receiving unit 410 receives images captured by at least one network camera 100 and at least one analog camera 200.
  • the image receiving unit 410 may include a network camera reception setting unit 411 and a network stream receiving unit 412 to receive an image captured by the network camera 100.
  • the network camera reception setting unit 411 sets a network address for at least one network camera 100.
  • the network stream receiver 412 receives an encoded image photographed by at least one or more network cameras 100 having a network address.
  • the image receiver 410 may include a resolution and frame rate setting unit 413 and an analog-digital converter 414 to receive an image captured by the analog camera 200.
  • the resolution and frame rate setting unit 413 sets a resolution and a frame rate for converting an analog video signal into a digital video signal.
  • the analog-digital converter 414 converts the analog image received from the at least one analog camera 200 into a digital image by the set resolution and frame rate.
  • the image receiver 410 is divided into a portion for receiving an image of the network camera 100 and a portion for receiving an image of the analog camera 200, but the image receiving unit 410 is a portion of the network camera 100. It may be configured in a hybrid form that receives a mixture of the image and the image of the analog camera 200.
  • the image storage unit 420 stores an image of the network camera 100 received from the image receiving unit 410 and an image of the analog camera 200 converted to digital.
  • the image storage unit 420 stores the encoded stream as it is with respect to the image of the network camera 100, and encodes and stores the image of the analog camera 200 which has been digitally converted.
  • the image storage unit 420 may divide and store the camera and the image reception time for receiving each image.
  • the object information extracting unit 430 analyzes the network camera 100 image received from the image receiving unit 410 and the analog camera 200 image digitally converted to extract the characteristic information of the object in which the event occurs.
  • the object information extractor 430 may include a decoder 431, a resampler 432, and a scaler 433 for performing a preprocessing process for analyzing an image captured by the network camera 100.
  • the decoder 431 decodes the encoded network camera 100 image
  • the resampler 432 converts the decoded image to a predetermined frame rate for image analysis
  • the scaler 433 performs the decoding on the decoded image. Convert to a predetermined resolution for image analysis.
  • the converted network camera 100 image and the digitally converted analog camera 200 image are input to the image analyzer 434.
  • the image analyzer 434 performs an image analysis algorithm that analyzes object information on the network camera 100 image and the digitally converted analog camera 200 image, and detects a motion from an image input from each camera. It determines the occurrence, separates the object and background in which the event occurred, and extracts object classification information and attribute information of the object from the object in which the event occurred.
  • the object classification information may be information including a person, a car, or an animal in which the movement occurs
  • the property information of the object may be information including color, size, area information, vehicle number, and letters of the object.
  • the image analyzer 434 performs an image analysis algorithm that analyzes object information on the network camera 100 image and the digitally converted analog camera 200 image, and detects a motion from an image input from each camera. It determines the occurrence, separates the object and background in which the event occurred, and extracts object classification information and attribute information of the object from the object in which the event occurred.
  • the object classification information may be information including a person, a car, or an animal in which the
  • the image analyzer 434 may identify the object with unique information (ID). ),
  • ID unique information
  • the object classification information including the unique information, the attribute information of the object, the camera information, the object appearance time, and the like are stored in the object information database 440.
  • the object information database 440 records and stores object characteristic information including motion information, object classification information, object property information, and object image information generated from each camera image.
  • the object characteristic information is classified and stored so that the same object or similar objects can search the contents of the image photographed by another camera at the same or different time. For example, when an arbitrary person (object) entering an arbitrary building is photographed by several cameras at the same time, object characteristic information may be stored in the object information database 440 from the image analysis result photographed by each camera. . In addition, when the image of another camera is photographed for a different time according to the movement of the object, the object characteristic information may be stored in the object information database 440 from the image analysis result photographed by each camera. Here, information for identifying that the object is the same object may be added and stored in the object information database 440.
  • the search condition setting unit 450 sets an image search condition for generating an image file.
  • the search condition setting unit 450 may include a camera setting unit 451, an object setting unit 452, a time setting unit 453, and an area setting unit 454.
  • the search condition setting unit 450 may select at least one of a camera, an object, a time, and an area.
  • the camera setting unit 451 selects at least one or more cameras of the at least one network camera 100 and the at least one analog camera 200. When the camera selection is completed, the image storing means 400 receives only the image photographed by the selected camera.
  • the object setting unit 452 may set an arbitrary object.
  • the object setting may be set by an input means such as a mouse (not shown) while viewing the displayed image.
  • the keyboard may directly input using a keyboard (not shown).
  • at least one of a person, a car, or an animal may be set as an object.
  • the object setting unit 452 may set an object including attribute information of the object. For example, you can set up at least one yellow car, a person dressed in red, a license plate, or a specific letter.
  • the time setting unit 453 may set a time for searching for an image. For example, it is possible to set the time in minutes, hours, or days, months or years.
  • the area setting unit 454 may set at least one area to generate an image file by an input means such as a mouse while viewing the displayed image.
  • FIG. 5A illustrates three region settings in the display image.
  • the search condition setting unit 450 may set a search condition for an image input in real time and a previously stored image. That is, the image processing apparatus according to the present embodiment means that both the real-time image and the pre-stored image can be operated.
  • the searcher 460 searches for the property information of the object matching the search condition from the object information database 440, and obtains the image frames including the property information of the object retrieved from the image storage unit 420.
  • the search unit 460 may include intra frame (I), predicted frame (P), and bidirectional (B) included in a group of picture (GOP) group stored in the image storage unit 420.
  • Intra (I) frame is an independent frame that is compressed as a key frame without referring to previous frames, and has the best image quality and the largest capacity.
  • Prediction (P) frame is a frame configured based on a previous intra (I) frame or a previous prediction (P) frame based on the information, the quality and capacity are intermediate.
  • the prediction (P) frame compresses only the content that has changed with reference to the previous intra (I) frame or the previous prediction (P) frame.
  • the intra (I) frame and the prediction (P) frame are used as reference frames for the following other frames.
  • the bidirectional (B) frame has the lowest image quality and capacity, and requires a forward and backward reference frame, that is, an intra (I) frame and a prediction (P) frame, for compression.
  • the search unit 460 acquires an intra (I) frame together.
  • the image file generator 470 generates an image file by using the image frames obtained from the image storage unit 420 by the searcher 460.
  • the image file generator 470 generates one compressed image file obtained by compressing image frames.
  • the image file generation unit 470 arranges the obtained image frames in chronological order and compresses them into one image file.
  • the image file generator 470 generates a compressed file by interleaving one image file to include another image frame when image frames including characteristic information of the object are obtained from at least one camera set at the same time.
  • the image file generator 470 may be any background image including object images that match the search condition obtained by the searcher 460 from the storage 460 and object images obtained from the storage 460. Can be combined to create and compress a single image file.
  • the cameras selected to generate the image file may have different background images.
  • the image file may generate an image file by obtaining a background image that matches the acquired object and the image.
  • the object and the background may overlap and be reproduced when the image file is played later.
  • the image file generator 470 obtains a video compression that compresses an image frame including the characteristic information of the object and / or an object video compression that obtains object images that match the search condition and synthesizes and compresses the object images with an arbitrary background image. Can be done.
  • the image file generator 470 may include a decoder 471, a scaler 472, an encoder 473, a multiplexer 474, and an object tag information setting unit 475.
  • the decoder 471 decodes the encoded image frame obtained from the image storage unit 420, and the scaler 472 converts the resolution of the image frames to the same resolution when the resolution of the obtained image frames is different.
  • the encoder 473 re-encodes the image frames converted to the same resolution. Encoder 473 also encodes any one background image including object images and object images that match the search condition.
  • the multiplexer 474 synthesizes the encoded frames into one stream.
  • the object tag information setting unit 475 is configured to include camera information, time information, and object characteristic information, that is, object tag information, of photographing an object for each compressed image frame.
  • the image file reproducing unit 480 reproduces the compressed image file and reproduces it on the display means 500.
  • the user can perform playback, pause, forward play, and reverse play control.
  • the objects included in the reproduced image frame may be reproduced and reproduced, and the first identification information such as a marker may be displayed outside the object to distinguish them.
  • an object may be selected from an image file to be reproduced, and when any one object is selected, second object identification information including photographed camera information, time information, and object characteristic information may be displayed together.
  • the original image file photographed by the selected object may be reproduced in another area of the display means 500.
  • the video can be played back from the time when the object moves to the time of the original video file.
  • the image file playback unit 480 may include a demultiplexer 481, a decoder 482, an object tag information acquisition unit 483, a playback control unit 484, a rendering unit 485, and an external output unit 486. have.
  • the demultiplexer 481 separates image frame information, photographed camera information, time information, and object characteristic information from an image file.
  • the decoder 482 decodes the separated image frame, and the object tag information obtaining unit 483 obtains the separated camera information, time information, and object characteristic information, that is, object tag information.
  • the object tag information may then be second identification information displayed on the object selected by the user.
  • the reproduction control unit 484 performs overall control regarding image reproduction.
  • the reproduction control unit 484 may receive pause, forward reproduction, and reverse reproduction by a user input and perform a corresponding function.
  • the reproduction control unit 484 displays the first or second identification information on the object, and when an arbitrary object is selected, reproduces the original image file on which the selected object is photographed in another area of the display means 500.
  • the rendering unit 485 performs a series of processes for reproducing the image file in accordance with the specification of the display means 500, and the external output unit 486 outputs the image file to an external storage device (not shown). do.
  • FIG. 3 is a diagram illustrating generation of one image file by extracting image frames satisfying a search condition according to an embodiment of the present invention.
  • FIG. 3A illustrates image frames photographed by the first camera to the Nth camera and photographed by the first to Nth cameras as search conditions.
  • the image frames photographed by the first to Nth cameras may be real time image frames or previously stored image frames.
  • FIG. 3B illustrates that at least one of an object, a time, and an area is set as a search condition, and the first camera extracts image frames matching the search condition from the image frames photographed by the N th camera.
  • 3C shows that image frames extracted from image frames photographed by the first to Nth cameras are generated as one image file in accordance with a search condition.
  • the image file may be a compressed image file.
  • FIG. 4A is a diagram illustrating an image file generation screen according to a search condition setting according to an embodiment of the present invention.
  • FIG. 4A shows a display unit 500 displaying an image display area 510 for displaying respective camera images and a search condition setting area 520.
  • the camera setting for generating an image file may select a camera check box 511 displayed in the image display area 510 and use a camera setting window 521 displayed in the search condition setting area 520.
  • an object, a time, and an area may be set by selecting at least one of the object setting window 522, the time setting window 523, and the area setting window 524. When all the settings are completed, press the OK button.
  • FIG. 4B illustrates an example of displaying a file generation progress on the display unit 500 after inputting an OK button.
  • time information and object information input as a search condition for displaying an image file are displayed, and a file generation state is displayed for each selected camera.
  • the file creation progress shows the total progress rate and the progress rate by camera.
  • FIG. 5 is a view showing a video file playback screen according to a search condition setting according to an embodiment of the present invention.
  • FIG. 5A illustrates an area setting for generating an image file while a selected camera image is displayed.
  • the region may be set by performing a drag or click of a mouse and selecting the region to be used as a region of interest or an exclusion region for generating an image file.
  • 5B shows an example of reproducing an image file generated by using a set region as a region of interest.
  • the exclusion area may be deleted and not reproduced, or may be reproduced together. It can also display video file playback status.
  • FIG. 6 is a view showing a video file playback screen according to an embodiment of the present invention.
  • FIG. 6A illustrates an example of displaying and reproducing first identification information (marker) on each of a plurality of objects existing in an image file reproduced on the display means 500.
  • first identification information marker
  • image frames matching the search condition are extracted from the images captured by the at least one camera and generated as one image file, objects captured by other cameras at the same time may be reproduced. Therefore, the first identification information may also be overlapped.
  • FIG. 6B illustrates an example of displaying and reproducing second identification information (object appearance time information) on each of a plurality of objects existing in the image file reproduced on the display means 500.
  • second identification information object appearance time information
  • FIG. 7 is a view showing a video file playback and the original video file playback screen according to an embodiment of the present invention.
  • FIG. 7A shows an image file being played in the first area 530 of the display means 500 together with the second identification information. If any one object is selected, as shown in FIG. 7B.
  • the original image file photographed with the object selected in the second area 540 may be played.
  • FIGS. 1 and 2 are flowchart illustrating an operation of an image processing method according to an exemplary embodiment.
  • the image processing method according to the present invention may be performed by the image processing means 400 with the help of peripheral components as shown in FIGS. 1 and 2.
  • FIGS. 1 and 2 are peripheral components as shown in FIGS. 1 and 2.
  • the image processing means 400 stores an image received through at least one or more cameras including at least one or more network cameras 100 and at least one or more analog cameras 200. S100).
  • the image processing means 400 stores the encoded stream as it is with respect to the image of the network camera 100, and encodes and stores the image of the analog camera 200 which has been digitally converted.
  • the camera receiving each image and the image receiving time may be stored separately.
  • such an image may be an image input in real time and a previously stored image.
  • the image processing unit 400 analyzes the network camera 100 image and the digitally converted analog camera 200 image to separate an object where an event occurs from the background, and extracts characteristic information of the object to build a database (S200). ).
  • the image analysis is performed by applying an image analysis algorithm for analyzing object information on the network camera 100 image and the digitally converted analog camera 200 image.
  • Image analysis detects motion from images input from each camera to determine event occurrence, separates the object from which the event occurred and the background, and extracts object classification information and object attribute information from the object from which the event occurred.
  • the object classification information may be information including a person, a car, or an animal in which the movement occurs
  • the property information of the object may be information including color, size, area information, vehicle number, and letters of the object.
  • a unique information (ID) is given to the object.
  • the database is constructed by using object classification information including the unique information, attribute information of the object, camera information, and object appearance time.
  • the image processing means 400 receives a search condition input by the user (S300).
  • the search condition may be set by selecting at least one of a camera setting, an object setting, a time setting, and an area setting.
  • the camera setting is to select at least one or more cameras of at least one or more network cameras 100 and at least one or more analog cameras 200.
  • the image storing means 400 receives only the image photographed by the selected camera.
  • object settings may be set by an input means such as a mouse while watching the displayed image, or directly by using a keyboard. For example, at least one of a person, a car, or an animal may be set as an object.
  • an object including attribute information of the object may be set.
  • the time setting may set a time for searching for an image. For example, it is possible to set the time in minutes, hours, or days, months or years.
  • the area setting may set at least one area to generate an image file by an input means such as a mouse while viewing the displayed image.
  • the image processing means 400 searches for the property information of the object matching the search condition from the database, and obtains the image frames including the property information of the searched object from the stored image (S400). Perform.
  • the image frame acquisition includes object information of an intra frame, a predicted frame, and a bidirectional frame included in a stored image frame group of picture (GOP).
  • An image frame can be obtained.
  • the image frame including the characteristic information of the object is a prediction (P) frame
  • an intra (I) frame is also acquired.
  • the image processing means 400 performs the step of generating an image file (S500).
  • the image file generation may include generating one compressed image file.
  • the obtained image frames are arranged in time order and compressed into one image file.
  • the image processing unit 400 interleaves one image file to include another image frame to generate a compressed file.
  • the image processing means 400 may be configured to include camera information, time information, and object characteristic information, that is, object tag information, of photographing an object for each compressed image frame.
  • the image processing unit 400 may generate and compress one image file by synthesizing an object image acquired in accordance with a search condition and any one background image including the obtained object image.
  • the image processing means 400 performs the step of playing the image file (S600).
  • the user can perform playback, pause, forward play, and reverse play control.
  • objects included in the reproduced image frame may be overlapped and reproduced.
  • first identification information such as a marker may be displayed outside the object.
  • an object may be selected from an image file to be reproduced, and when any one object is selected, second object identification information including photographed camera information, time information, and object characteristic information may be displayed together.
  • the original image file photographed by the selected object may be reproduced in another area. At this time, the video can be played back from the time when the object moves to the time of the original video file.
  • the present invention can be embodied as computer readable codes on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which may also be implemented in the form of carrier waves (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.
  • the present invention relates to an image processing apparatus and a method for generating an image file by extracting an image frame for each camera satisfying a search condition from a storage device storing images captured by at least one camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 복수의 카메라가 촬영한 영상들을 저장하는 저장 장치로부터 설정된 조건을 만족하는 각 카메라 별 영상 프레임을 추출하여 하나의 영상 파일을 생성하는 영상 처리 장치 및 방법에 관한 것이다. 영상 처리 장치는 적어도 하나 이상의 카메라를 통하여 수신된 영상을 저장하는 저장부, 카메라를 통하여 수신된 영상을 분석하여 이벤트가 발생한 객체를 배경으로부터 분리하고 객체의 특성 정보를 추출하는 영상 분석부, 카메라 별로 추출한 객체의 특성 정보를 저장하는 데이터베이스, 검색 조건을 설정하는 검색 조건 설정부, 데이터베이스로부터 검색 조건과 일치하는 객체의 특성정보를 검색하고, 저장부로부터 검색된 객체의 특성 정보를 포함하는 영상 프레임들을 획득하는 검색부, 및 영상프레임들을 합성하여 하나의 영상 파일을 생성하는 파일 생성부를 포함한다.

Description

영상 처리 장치 및 방법
본 발명은 적어도 하나 이상의 카메라가 촬영한 영상들을 저장하는 저장 장치로부터 검색 조건을 만족하는 각 카메라 별 영상 프레임을 추출하여 하나의 영상 파일을 생성하는 영상 처리 장치 및 방법에 관한 것이다.
디지털 비디오 레코더 또는 네트워크 비디오 레코더와 같은 영상 기록 저장 장치는 감시 카메라와 연결되어, 감시 카메라가 촬영한 감시 영역의 영상을 저장한다.
영상 기록 저장 장치는 감시 카메라가 촬영한 영상 전체를 별도의 처리 없이 녹화하는데, 최근 영상 분석을 통해 객체를 인식하고 추적하는 기술이 개발되어, 인식된 객체 및 객체 추적 영상을 저장하기에 이르렀다.
그러나, 영상 기록 저장 장치에 저장된 영상으로부터 특정 객체의 영상을 확인하고자 하는 경우, 기록된 모든 영상 정보를 검색해야 하는 문제점이 있다.
물론 특정 객체의 출현 시간 및 출현 장소를 알 수 있으면 검색 시간이 단축되지만, 그렇지 못한 경우 특정 객체의 검색에 많은 시간과 노력을 기울여야 한다.
본 발명이 해결하고자 하는 기술적인 과제는 적어도 하나 이상의 카메라가 촬영한 영상들을 저장하는 저장 장치로부터 검색 조건을 만족하는 각 카메라 별 영상 프레임을 추출하여 하나의 영상 파일을 생성함으로써 원하는 객체에 대한 빠른 검색이 가능하도록 하는 영상 처리 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 장치는 적어도 하나 이상의 카메라를 통하여 수신된 영상을 저장하는 저장부; 상기 카메라를 통하여 수신된 영상을 분석하여 이벤트가 발생한 객체를 배경으로부터 분리하고 상기 객체의 특성 정보를 추출하는 영상 분석부; 상기 카메라 별로 추출한 상기 객체의 특성 정보를 저장하는 데이터베이스; 검색 조건을 설정하는 검색 조건 설정부; 상기 데이터베이스로부터 상기 검색 조건과 일치하는 상기 객체의 특성정보를 검색하고, 상기 저장부로부터 상기 검색된 객체의 특성 정보를 포함하는 영상 프레임들을 획득하는 검색부; 및 상기 영상프레임들을 합성하여 하나의 영상 파일을 생성하는 파일 생성부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 저장부는, 상기 카메라를 통하여 수신되는 실시간 영상을 저장하거나, 또는 기저장된 영상을 저장하고 있는 것을 특징으로 한다.
본 발명에 있어서, 상기 검색 조건 설정부는, 상기 적어도 하나 이상의 카메라를 선택하는 카메라 설정부; 상기 카메라가 촬영한 영상에서 출현할 적어도 하나 이상의 객체 특성 정보를 설정하는 객체 설정부; 및 상기 객체가 출현할 시간 범위를 설정하는 시간 설정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라가 촬영한 영상에서 상기 객체가 출현할 적어도 하나 이상의 영역을 설정하는 영역 설정부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검색부는, 상기 저장부에 저장된 상기 영상 프레임 픽쳐 그룹(GOP: group of picture)에 포함된 영상 프레임들 중 상기 객체의 특성 정보를 포함하는 영상 프레임을 획득하고, 상기 객체의 특성 정보를 포함하는 영상 프레임이 예측(P: predicted) 프레임인 경우, 인트라(I: intra) 프레임을 함께 획득하는 것을 특징으로 한다.
본 발명에 있어서, 상기 파일 생성부는, 상기 영상 프레임들을 압축하여 압축 영상 파일을 생성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검색부는, 상기 데이터베이스로부터 상기 검색 조건과 일치하는 상기 객체의 특성정보를 검색하고, 상기 저장부로부터 상기 검색된 객체의 특성 정보를 포함하는 객체 이미지들을 획득하는 것을 특징으로 한다.
본 발명에 있어서, 상기 파일 생성부는, 상기 객체 이미지들 및 상기 저장부로부터 상기 객체 이미지를 포함하는 임의의 한 배경 이미지를 합성하여 하나의 영상 파일을 생성하고 압축하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상프레임들이 합성된 영상 파일을 재생하는 재생부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 재생부는, 상기 영상 파일 재생 중에 디스플레이 되는 복수의 상기 객체 각각을 식별할 수 있는 객체 식별 정보를 함께 디스플레이 하는 것을 특징으로 한다.
본 발명에 있어서, 상기 재생부는, 임의의 상기 객체가 선택되면, 상기 저장부로부터 상기 객체의 원본 영상을 추출하여 다른 영역에 재생하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 방법은 적어도 하나 이상의 카메라를 통하여 수신된 영상을 저장하는 단계; 상기 카메라를 통하여 수신된 영상을 분석하여 이벤트가 발생한 객체를 배경으로부터 분리하고 상기 객체의 특성 정보를 추출하는 단계; 상기 카메라 별로 추출한 상기 객체의 특성 정보로 데이터베이스를 구축하는 단계; 검색 조건을 설정하는 단계; 상기 데이터베이스로부터 상기 검색 조건과 일치하는 상기 객체의 특성정보를 검색하고, 상기 저장된 영상으로부터 상기 검색된 객체의 특성 정보를 포함하는 영상 프레임들을 획득하는 단계; 및 상기 영상프레임들을 합성하여 하나의 영상 파일을 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상은, 상기 카메라를 통하여 수신되는 실시간 영상이거나, 또는 기저장된 영상을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검색 조건을 설정하는 단계는, 상기 적어도 하나 이상의 카메라를 선택하는 단계; 상기 카메라가 촬영한 영상에서 출현할 적어도 하나 이상의 객체 특성 정보를 설정하는 단계; 상기 객체가 출현할 시간 범위를 설정하는 단계; 및 상기 카메라가 촬영한 영상에서 상기 객체가 출현할 적어도 하나 이상의 영역을 설정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 하나의 영상 파일을 생성하는 단계는, 상기 영상 프레임들을 압축하여 압축 영상 파일을 생성하는;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 획득하는 단계는, 상기 데이터베이스로부터 상기 검색 조건과 일치하는 상기 객체의 특성정보를 검색하고, 상기 저장된 영상으로부터 상기 검색된 객체의 특성 정보를 포함하는 객체 이미지들을 획득하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 하나의 영상 파일을 생성하는 단계는, 상기 객체 이미지들 및 상기 저장된 영상으로부터 상기 객체 이미지를 포함하는 임의의 한 배경 이미지를 합성하여 하나의 영상 파일을 생성하고 압축하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 파일을 재생하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 재생하는 단계는, 상기 영상 파일 재생 중에 디스플레이 되는 복수의 상기 객체 각각을 식별할 수 있는 객체 식별 정보를 함께 디스플레이 하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 재생하는 단계는, 임의의 상기 객체가 선택되면, 상기 저장된 영상으로부터 상기 객체의 원본 영상을 추출하여 다른 영역에 재생하는 단계;를 더 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 적어도 하나 이상의 카메라가 촬영한 영상들을 저장하는 저장 장치로부터 검색 조건을 만족하는 각 카메라 별 영상 프레임을 추출하여 하나의 영상 파일을 생성함으로써 원하는 객체에 대한 빠른 검색이 가능하게 된다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 영상 저장 수단의 상세 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 검색 조건을 만족하는 영상 프레임들을 추출하여 하나의 영상 파일 생성을 보여주는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 검색 조건 설정에 따른 영상 파일 생성 화면을 보이는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 검색 조건 설정에 따른 영상 파일 재생화면을 보이는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 영상 파일 재생 화면을 보이는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 영상 파일 재생 및 원본 영상 파일 재생 화면을 보이는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다. 도 1을 참조하면, 영상 처리 장치는 복수의 네트워크 카메라(100), 복수의 아날로그 카메라(200), 네트워크(300), 영상 처리 수단(400) 및 디스플레이 수단(500)을 포함한다.
네트워크 카메라(100)는 임의의 영역에 적어도 하나 이상 설치되고, 촬영 영상을 디지털 영상 신호로 출력하고 네트워크(300)를 통하여 디지털 비디오 레코더 또는 네트워크 비디오 레코더와 같은 영상 처리 수단(400)으로 출력한다. 네트워크 카메라(100)는 특정 장소의 고정된 위치에 배치되는 스피드 돔 카메라일 수 있다. 또한 네트워크 카메라(100)는 고정렌즈가 구비되어 촬영 범위가 고정된 단일 고정식 카메라로 구성될 수 있고, 또는 촬영 범위가 가변적인 PTZ(pan-tilt-zoom) 카메라로 구성될 수 있다. 여기서 PTZ 카메라는 수평 방향으로 회전되는 팬(pan) 동작과 수직 방향으로 회전되는 틸트(tilt) 동작 및 줌인/줌아웃(zoom in/zoom out) 동작에 의해 한 대의 카메라로 다양한 감시 영역을 용이하게 변경시킬 수 있다.
아날로그 카메라(200)는 임의의 영역에 적어도 하나 이상 설치되고, 촬영 영상을 아날로그 영상 신호로 출력하여 영상 처리 수단(400)으로 출력한다.
영상 처리 수단(400)은 적어도 하나 이상의 네트워크 카메라(100) 및 적어도 하나 이상의 아날로그 카메라(200)가 촬영한 영상들을 수신하여 저장하고, 촬영 영상들에 대한 이벤트가 발생한 객체를 배경으로부터 분리하고 객체의 특성정보를 생성하는 영상 분석을 수행하며, 검색 조건을 만족하는 각 카메라 별 영상 프레임을 추출하여 하나의 영상 파일을 생성한다. 이러한 영상 처리 수단(400)은 영상 수신부(410), 영상 저장부(420), 객체 정보 추출부(430), 객체 정보 데이터베이스(440), 검색 조건 설정부(450), 검색부(460), 영상 파일 생성부(470) 및 영상 파일 재생부(480)를 포함할 수 있다. 이하 도 2를 참조하여 영상 처리 수단(400)을 상세히 설명하기로 한다.
디스플레이 수단(500)은 영상 처리 수단(400)에서 생성한 영상 파일을 재생한다. 디스플레이 수단(500)은 액정 디스플레이(LCD), 유기 발광 디스플레이(OLED), 전기 영동 디스플레이(EPD), 플렉서블 디스플레이, 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다.
도 2는 도 1 중 영상 처리 수단(400)의 상세 구성도이다.
도 2를 참조하면, 영상 수신부(410)는 적어도 하나 이상의 네트워크 카메라(100) 및 적어도 하나 이상의 아날로그 카메라(200)가 촬영한 영상들을 수신한다. 영상 수신부(410)는 네트워크 카메라(100)가 촬영한 영상을 수신하기 위해 네트워크 카메라 수신 설정부(411) 및 네트워크 스트림 수신부(412)를 포함할 수 있다. 네트워크 카메라 수신 설정부(411)는 적어도 하나 이상의 네트워크 카메라(100)에 대한 네트워크 주소를 설정한다. 네트워크 스트림 수신부(412)는 네트워크 주소가 설정된 적어도 하나 이상의 네트워크 카메라(100)가 촬영한 인코딩 영상을 수신한다.
또한 영상 수신부(410)는 아날로그 카메라(200)가 촬영한 영상을 수신하기 위해 해상도 및 프레임 레이트 설정부(413) 및 아날로그-디지털 변환부(414)를 포함할 수 있다. 해상도 및 프레임 레이트 설정부(413)는 아날로그 영상 신호를 디지털 영상 신호로 변환하기 위한 해상도 및 프레임 레이트를 설정한다. 아날로그-디지털 변환부(414)는 설정한 해상도 및 프레임 레이트에 의해 적어도 하나의 아날로그 카메라(200)로부터 수신한 아날로그 영상을 디지털 영상으로 변환한다.
본 실시 예에서 영상 수신부(410)를 네트워크 카메라(100)의 영상을 수신하는 부분 및 아날로그 카메라(200)의 영상을 수신하는 부분으로 나누어서 설명하였으나, 영상 수신부(410)는 네트워크 카메라(100)의 영상 및 아날로그 카메라(200)의 영상을 혼합하여 수신하는 하이브리드 형태로 구성될 수도 있다.
영상 저장부(420)는 영상 수신부(410)에서 수신한 네트워크 카메라(100) 영상 및 디지털로 변환된 아날로그 카메라(200) 영상을 저장한다. 영상 저장부(420)는 네트워크 카메라(100) 영상에 대하여 인코딩된 스트림 그대로를 저장하고, 디지털로 변환된 아날로그 카메라(200) 영상에 대하여 인코딩을 수행하여 저장한다. 여기서, 영상 저장부(420)는 각 영상을 수신하는 카메라 및 영상 수신 시간을 구분하여 저장할 수 있다.
객체 정보 추출부(430)는 영상 수신부(410)에서 수신한 네트워크 카메라(100) 영상 및 디지털로 변환된 아날로그 카메라(200) 영상을 분석하여 이벤트가 발생한 객체의 특성 정보를 추출한다. 여기서, 객체 정보 추출부(430)는 네트워크 카메라(100)가 촬영한 영상의 분석을 위해, 전처리 과정을 수행하는 디코더(431), 리샘플러(432) 및 스케일러(433)를 포함할 수 있다. 디코더(431)는 인코딩된 네트워크 카메라(100) 영상을 디코딩하고, 리샘플러(432)는 디코딩된 영상에 대해 영상 분석을 위한 소정의 프레임 레이트로 변환시키며, 스케일러(433)는 디코딩된 영상에 대해 영상 분석을 위한 소정의 해상도로 변환시킨다. 이렇게 변환된 네트워크 카메라(100) 영상 및 디지털로 변환된 아날로그 카메라(200) 영상은 영상 분석부(434)로 입력된다.
영상 분석부(434)는 네트워크 카메라(100) 영상 및 디지털로 변환된 아날로그 카메라(200) 영상에 대해 객체 정보를 분석하는 영상 분석 알고리즘을 수행하여, 각 카메라로부터 입력된 영상으로부터 움직임을 감지하여 이벤트 발생을 판단하고, 이벤트가 발생한 객체 및 배경을 분리하고, 이벤트가 발생한 객체로부터 객체 분류 정보 및 객체의 속성 정보를 추출한다. 여기서 객체 분류 정보는 움직임이 발생한 사람, 자동차 또는 동물 등을 포함하는 정보일 수 있고, 객체의 속성 정보는 객체의 색상, 크기, 영역 정보, 차량 번호, 글자 등을 포함하는 정보일 수 있다. 또한 영상 분석부(434)는
영상 분석부(434)는 각 카메라(적어도 하나 이상의 네트워크 카메라(100) 및 적어도 하나 이상의 아날로그 카메라(200) 중 어느 하나)별로 객체 분류 정보 및 객체의 속성 정보가 추출되면, 객체에 고유 정보(ID)를 부여하고, 고유 정보를 포함한 객체 분류 정보 및 객체의 속성 정보와, 카메라 정보 및 객체 출현 시간 등을 객체 정보 데이터베이스(440)에 저장한다.
객체 정보 데이터베이스(440)에는 각 카메라 영상으로부터 발생한 객체의 움직임 정보, 객체 분류 정보 및 객체의 속성 정보 및 저장되는 영상 정보를 포함하는 객체 특성 정보를 기록 및 저장한다. 여기서 객체 특성 정보는 동일한 객체나 유사한 객체가 서로 동일하거나 또는 다른 시간에, 다른 카메라에서 촬영한 영상의 내용을 검색할 수 있도록 분류되어 저장된다. 예를 들어, 임의의 건물로 진입한 임의의 사람(객체)이 동일한 시간에 여러 카메라에서 촬영되면, 각 카메라가 촬영한 영상 분석결과로부터 객체 특성 정보가 객체 정보 데이터베이스(440)에 저장될 수 있다. 또한 해당 객체의 움직임에 따라 다른 카메라의 영상에서 다른 시간 동안 촬영되면, 각 카메라가 촬영한 영상 분석결과로부터 객체 특성 정보가 객체 정보 데이터베이스(440)에 저장될 수 있다. 여기서 객체가 동일한 객체임을 식별할 수 있는 정보가 추가되어 객체 정보 데이터베이스(440)에 저장될 수 있다.
검색 조건 설정부(450)는 영상 파일 생성을 위한 영상 검색 조건을 설정한다. 검색 조건 설정부(450)는 카메라 설정부(451), 객체 설정부(452), 시간 설정부(453) 및 영역 설정부(454)를 포함할 수 있다. 검색 조건 설정부(450)는 카메라, 객체, 시간 및 영역 중 적어도 하나 이상을 선택할 수 있다.
카메라 설정부(451)는 적어도 하나 이상의 네트워크 카메라(100) 및 적어도 하나 이상의 아날로그 카메라(200) 중 적어도 하나 이상의 카메라를 선택한다. 카메라 선택이 완료되면, 영상 저장수단(400)은 선택된 카메라가 촬영한 영상만을 수신한다.
객체 설정부(452)는 임의의 객체를 설정할 수 있다. 여기서 객체 설정은 디스플레이 되는 영상을 보면서 마우스(미도시)와 같은 입력 수단에 의해 설정할 수 있다. 또는 키보드(미도시)를 이용하여 직접 입력할 수 있다. 예를 들어, 객체로 임의의 사람, 자동차, 또는 동물 등을 적어도 하나 이상 설정할 수 있다. 더 나아가 객체 설정부(452)는 객체의 속성정보를 포함하는 객체를 설정할 수 있다. 예를 들어 노란색 자동차, 빨간색 옷을 입은 사람, 번호판, 특정 문자 등을 적어도 하나 이상 설정할 수 있다.
시간 설정부(453)는 영상 검색 위한 시간을 설정할 수 있다. 예를 들어 분 단위, 시간 단위 또는 일 단위 또는 월 단위 또는 년 단위 등의 시간 설정이 가능하다.
영역 설정부(454)는 디스플레이 되는 영상을 보면서 마우스와 같은 입력 수단에 의해 영상 파일을 생성할 영역을 적어도 하나 이상 설정할 수 있다. 예를 들어 도 5a에는 디스플레이 영상 내에서 3개의 영역 설정을 도시하고 있다.
검색 조건 설정부(450)는 실시간으로 입력되는 영상 및 기저장된 영상에 대하여 검색 조건 설정이 가능하다. 즉, 본 실시 예에 따른 영상 처리 장치는 실시간 영상에 대해서 그리고 기 저장된 영상에 대해서 모두 동작 가능함을 의미한다.
검색부(460)는 객체 정보 데이터베이스(440)로부터 검색 조건과 일치하는 객체의 특성정보를 검색하고, 영상 저장부(420)로부터 검색된 객체의 특성 정보를 포함하는 영상 프레임들을 획득한다.
검색부(460)는 영상 저장부(420)에 저장된 영상 프레임 픽쳐 그룹(GOP: group of picture)에 포함된 인트라(I: intra) 프레임, 예측(P: predicted) 프레임 및 양방향(B: bidirectional) 프레임들 중 객체의 특성 정보를 포함하는 영상 프레임을 획득한다. 여기서 인트라(I) 프레임은 키 프레임으로써 이전프레임들을 참조하지 않고 압축되는 독립적인 프레임으로, 화질이 가장 좋고 용량도 가장 크다. 예측(P) 프레임은 이전 인트라(I) 프레임 또는 이전 예측(P) 프레임을 정보를 바탕으로 구성된 프레임으로써 화질과 용량은 중간급이다. 예측(P) 프레임은 이전 인트라(I) 프레임 또는 이전 예측(P) 프레임을 참조하여 변동된 내용만을 압축한다. 인트라(I) 프레임과 예측(P) 프레임은 다음의 다른 프레임들을 위해 참조 프레임(reference frame)으로 이용된다. 그리고 양방향(B) 프레임은 가장 낮은 화질 및 용량을 가지며, 압축을 위해 전후 참조 프레임 즉, 인트라(I) 프레임 및 예측(P) 프레임이 요구된다. 여기서 검색부(460)는 객체의 특성 정보를 포함하는 영상 프레임이 예측(P) 프레임인 경우, 인트라(I) 프레임을 함께 획득한다.
영상 파일 생성부(470)는 검색부(460)의 검색에 의해 영상 저장부(420)로부터 획득한 영상 프레임들을 이용하여 영상 파일을 생성한다. 여기서 영상 파일 생성부(470)는 영상 프레임들을 압축한 하나의 압축 영상 파일을 생성한다. 영상 파일 생성부(470)는 획득한 영상 프레임들을 시간 순서대로 정렬하여 하나의 영상 파일로 압축한다. 영상 파일 생성부(470)는 동일한 시간에 설정된 적어도 하나 이상의 카메라에서 객체의 특성 정보를 포함하는 영상 프레임들이 획득되면, 하나의 영상 파일에 다른 영상 프레임을 포함하도록 인터리빙하여 압축 파일을 생성한다. 또한 영상 파일 생성부(470)는 검색부(460)가 저장부(460)로부터 획득한 검색 조건과 일치하는 객체 이미지들 및 저장부(460)로부터 획득한 객체 이미지를 포함하는 임의의 한 배경 이미지를 합성하여 하나의 영상 파일을 생성하고 압축할 수 있다. 여기서 영상 파일을 생성하고자 선택된 카메라들은 그 배경 이미지가 다를 수 있다. 이와 같은 경우 영상 파일은 획득한 객체와 이미지와 일치하는 배경 이미지를 획득하여 영상 파일을 생성할 수 있다. 이렇게 되면 추후 영상 파일 재생 시에 객체 및 배경이 중첩되어 재생될 수 있다.
이로부터 영상 파일 생성부(470)는 객체의 특성정보를 포함하는 영상 프레임을 압축하는 비디오 압축 또는/및 검색조건에 일치하는 객체 이미지들을 획득하고 임의의 배경 이미지와 합성하여 압축하는 객체 비디오 압축을 수행할 수 있다.
이러한 영상 파일 생성부(470)는 디코더(471), 스케일러(472), 인코더(473), 멀티플렉서(474) 및 객체 태그 정보 설정부(475)를 포함할 수 있다. 디코더(471)는 영상 저장부(420)로부터 획득된 인코딩된 영상 프레임을 디코딩하고, 스케일러(472)는 획득한 영상 프레임들의 해상도가 다른 경우, 영상 프레임들의 해상도를 동일한 해상도로 변환시킨다. 인코더(473)는 동일한 해상도로 변환된 영상 프레임들을 다시 인코딩한다. 또한 인코더(473)는 검색 조건과 일치하는 객체 이미지들 및 객체 이미지를 포함하는 임의의 한 배경 이미지를 인코딩한다. 멀티플렉서(474)는 인코딩된 프레임들을 하나의 스트림으로 합성한다. 객체 태그 정보 설정부(475)는 압축된 각 영상 프레임 별로 객체를 촬영한 카메라 정보와 시간 정보 및 객체 특성 정보 즉, 객체 태그 정보를 포함하도록 설정한다.
영상 파일 재생부(480)는 압축된 영상 파일을 재생하여 디스플레이수단(500)에 재생한다. 압축된 영상 파일이 디스플레이 수단(500)에 재생되면 사용자가 재생, 일시정지, 정방향 재생, 역방향 재생 제어를 수행할 수 있다. 또한 압축된 영상 파일이 디스플레이 수단(500)에 재생되면 재생되는 영상 프레임에 포함되는 객체들은 중첩하여 재생될 수 있으며, 이를 구별하기 위해 객체 외부에 마커와 같은 제1 식별정보를 함께 디스플레이 할 수 있다. 또한 재생되는 영상 파일에서 객체를 선택할 수 있으며, 임의의 한 객체가 선택되면, 촬영한 카메라 정보와 시간 정보 및 객체 특성 정보를 포함하는 제2 식별정보를 함께 디스플레이 할 수 있다. 또한 재생 되는 영상 파일에서 임의의 한 객체가 선택되면, 선택된 객체가 촬영된 원본 영상 파일을 디스플레이 수단(500)의 다른 영역에 재생할 수 있다. 이때 객체가 출현한 원본 영상 파일의 시간으로 이동하여 해당 시간부터 영상을 재생할 수 있다.
이러한 영상 파일 재생부(480)는 디멀티플렉서(481), 디코더(482), 객체 태그 정보 획득부(483), 재생 제어부(484), 렌더링부(485) 및 외부 출력부(486)를 포함할 수 있다. 디멀티플렉서(481)는 영상 파일로부터 영상 프레임 정보와 촬영한 카메라 정보와 시간 정보 및 객체 특성 정보를 분리한다. 디코더(482)는 분리된 영상 프레임을 디코딩하고, 객체 태그 정보 획득부(483)는 분리된 카메라 정보와 시간 정보 및 객체 특성 정보 즉, 객체 태그 정보를 획득한다. 이 객체 태그 정보는 이후 사용자에 의해 선택되는 객체 상에 디스플레이 되는 제2 식별정보 일 수 있다. 재생 제어부(484)는 영상 재생에 관한 전반적인 제어를 수행하는데, 디스플레이 수단(500)에 재생되면 사용자 입력에 의한 일시정지, 정방향 재생, 역방향 재생을 수신하고 해당 기능을 수행할 수 있다. 재생 제어부(484)는 객체에 제1 또는 제2 식별 정보를 디스플레이하고, 임의의 객체가 선택되면, 선택된 객체가 촬영된 원본 영상 파일을 디스플레이 수단(500)의 다른 영역에 재생한다. 렌더링부(485)는 영상 파일을 디스플레이 수단(500)의 사양에 맞게 재생하기 위한 일련의 처리를 수행하고, 외부 출력부(486)는 영상 파일을 외부 저장 장치(미도시)로 출력할 수 있도록 한다.
도 3은 본 발명의 일 실시 예에 따른 검색 조건을 만족하는 영상 프레임들을 추출하여 하나의 영상 파일 생성을 보여주는 도면이다. 도 3을 참조하면, 도 3a에는 검색 조건으로 제1 카메라가 내지 제N 카메라를 설정하고, 제1 카메라 내지 제N 카메라에서 촬영한 영상 프레임들을 보여주고 있다. 여기서, 제1 카메라 내지 제N 카메라에서 촬영한 영상 프레임들은 실시간 영상 프레임들 또는 기저장된 영상 프레임들일 수 있다. 도 3b는 검색 조건으로 객체, 시간 및 영역 중 적어도 하나 이상을 설정하고, 제1 카메라가 내지 제N 카메라가 촬영한 영상 프레임들로부터 해당 검색 조건에 일치하는 영상 프레임들을 추출한 것을 보여주고 있다. 도 3c는 검색 조건에 일치하여 제1 카메라가 내지 제N 카메라가 촬영한 영상 프레임들로부터 추출한 영상 프레임들은 하나의 영상 파일로 생성한 것을 보여준다. 여기서 영상 파일은 압축 영상 파일일 수 있다.
도 4는 본 발명의 일 실시 예에 따른 검색 조건 설정에 따른 영상 파일 생성 화면을 보이는 도면이다. 도 4를 참조하면, 도 4a는 각 카메라 영상들을 디스플레이 하는 영상 디스플레이 영역(510) 및 검색 조건 설정 영역(520)를 디스플레이 한 디스플레이 수단(500)을 보여준다. 영상 파일 생성을 위한 카메라 설정은 영상 디스플레이 영역(510)에 표시된 카메라 체크 박스(511)를 선택할 수 있고, 검색 조건 설정 영역(520)에 표시된 카메라 설정창(521)을 이용할 수 있다. 또한 객체 설정창(522), 시간 설정창(523) 및 영역 설정창(524) 중 적어도 하나 이상을 선택하여 객체, 시간, 영역을 설정할 수 있다. 모든 설정이 완료되면 완료(OK) 버튼을 입력한다.
도 4b는 완료(OK) 버튼 입력 후 파일 생성 진행 상황을 디스플레이 수단(500)에 디스플레이 한 예를 도시하고 있다. 여기에는 영상 파일 생성을 위해 검색 조건으로 입력한 시간 정보 및 객체정보가 디스플레이 되고, 선택된 카메라 별로 파일 생성 상태를 보여준다. 파일 생성 진행율은 전체 진행율 및 카메라별 진행율을 함께 보여주고 있다.
도 5는 본 발명의 일 실시 예에 따른 검색 조건 설정에 따른 영상 파일 재생화면을 보이는 도면이다. 도 5를 참조하면, 도 5a는 선택된 카메라 영상이 디스플레이 되고 있는 상태에서 영상 파일을 생성을 위한 영역 설정을 보여주고 있다. 영역 설정은 마우스 드래그 또는 클릭을 수행하여 영역을 설정할 수 있으며, 이 설정된 영역을 영상 파일 생성을 위한 관심영역으로 사용할지 또는 배제 영역으로 사용할지 선택할 수 있다. 도 5b는 설정된 영역을 관심영역으로 하여 생성한 영상 파일을 재생하는 예를 보여준다. 여기서 배제 영역은 삭제되어 재생되지 않을 수 있으며, 함께 재생될 수도 있다. 또한 영상 파일 재생 상태를 함께 디스플레이 해 줄 수 있다.
도 6은 본 발명의 일 실시 예에 따른 영상 파일 재생 화면을 보이는 도면이다. 도 6을 참조하면, 도 6a는 디스플레이 수단(500)에 재생되는 영상 파일에 존재하는 복수의 객체 각각에 제1 식별 정보(마커)를 표시하여 재생하는 예를 도시하고 있다. 여기서, 적어도 하나 이상의 카메라가 촬영한 영상으로부터 검색 조건과 일치하는 영상 프레임들을 추출하여 하나의 영상 파일로 생성하였기 때문에 동일한 시간에 다른 카메라에서 촬영한 객체는 중첩되어 재생될 수 있다. 따라서 제1 식별 정보 또한 중첩 표시될 수 있다.
도 6b는 디스플레이 수단(500)에 재생되는 영상 파일에 존재하는 복수의 객체 각각에 제2 식별 정보(객체 출현 시간 정보)를 표시하여 재생하는 예를 도시하고 있다. 여기서, 적어도 하나 이상의 카메라가 촬영한 영상으로부터 검색 조건과 일치하는 영상 프레임들을 추출하여 하나의 영상 파일로 생성하였기 때문에 동일한 시간에 다른 카메라에서 촬영한 객체는 중첩되어 재생될 수 있다. 따라서 제2 식별 정보 또한 중첩 표시될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 영상 파일 재생 및 원본 영상 파일 재생 화면을 보이는 도면이다. 도 7을 참조하면, 도 7a는 제2 식별 정보와 함께 디스플레이 수단(500)의 제1 영역(530)에 재생 중인 영상 파일을 보여주고 있으며, 여기서 임의의 한 객체를 선택하면, 도 7b와 같이 제2 영역(540)에 선택된 객체가 촬영된 원본 영상 파일을 재생할 수 있다.
이와 같이, 복수의 카메라가 촬영한 영상들을 저장하는 저장 장치로부터 검색 조건을 만족하는 각 카메라 별 영상 프레임을 추출하여 하나의 영상 파일을 생성함으로써 원하는 객체에 대한 빠른 검색이 가능하게 된다
도 8은 본 발명의 일 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다. 본 발명에 따른 영상 처리 방법은 도 1 및 도 2에 도시된 바와 같이 주변 구성요소들의 도움을 받아 영상 처리 수단(400)에서 수행될 수 있다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 8을 참조하면, 영상 처리 수단(400)은 적어도 하나 이상의 네트워크 카메라(100) 및 적어도 하나 이상의 아날로그 카메라(200)를 포함하는 카메라들 중 적어도 하나 이상의 카메라를 통하여 수신된 영상을 저장하는 단계(S100)를 수행한다. 영상 처리 수단(400)은 네트워크 카메라(100) 영상에 대하여 인코딩된 스트림 그대로를 저장하고, 디지털로 변환된 아날로그 카메라(200) 영상에 대하여 인코딩을 수행하여 저장한다. 여기서, 영상 저장 시에 각 영상을 수신하는 카메라 및 영상 수신 시간을 구분하여 저장할 수 있다. 또한 이러한 영상은 실시간으로 입력되는 영상 및 기저장된 영상일 수 있다.
영상 처리 수단(400)은 네트워크 카메라(100) 영상 및 디지털로 변환된 아날로그 카메라(200) 영상을 분석하여 이벤트가 발생한 객체를 배경으로부터 분리하고 객체의 특성 정보를 추출하여 데이터베이스를 구축하는 단계(S200)를 수행한다. 영상 분석은 네트워크 카메라(100) 영상 및 디지털로 변환된 아날로그 카메라(200) 영상에 대해 객체 정보를 분석하는 영상 분석 알고리즘을 적용하여 수행된다. 영상 분석은 각 카메라로부터 입력된 영상으로부터 움직임을 감지하여 이벤트 발생을 판단하고, 이벤트가 발생한 객체 및 배경을 분리하고, 이벤트가 발생한 객체로부터 객체 분류 정보 및 객체의 속성 정보를 추출한다. 여기서 객체 분류 정보는 움직임이 발생한 사람, 자동차 또는 동물 등을 포함하는 정보일 수 있고, 객체의 속성 정보는 객체의 색상, 크기, 영역 정보, 차량 번호, 글자 등을 포함하는 정보일 수 있다. 영상 분석 시에 각 카메라(적어도 하나 이상의 네트워크 카메라(100) 및 적어도 하나 이상의 아날로그 카메라(200) 중 어느 하나)별로 객체 분류 정보 및 객체의 속성 정보가 추출되면, 객체에 고유 정보(ID)를 부여하고, 고유 정보를 포함한 객체 분류 정보 및 객체의 속성 정보와, 카메라 정보 및 객체 출현 시간 등을 이용하여 데이터베이스를 구축한다.
이어서 영상 처리 수단(400)은 사용자에 의해 입력되는 검색 조건을 수신하는 단계(S300)를 수행한다. 검색 조건 설정은 카메라 설정, 객체 설정, 시간 설정 및 영역 설정 중 적어도 하나 이상을 선택하여 설정할 수 있다. 여기서 카메라 설정은 적어도 하나 이상의 네트워크 카메라(100) 및 적어도 하나 이상의 아날로그 카메라(200) 중 적어도 하나 이상의 카메라를 선택하는 것이다. 카메라 선택이 완료되면, 영상 저장수단(400)은 선택된 카메라가 촬영한 영상만을 수신한다. 또한 객체 설정은 객체 설정은 디스플레이 되는 영상을 보면서 마우스와 같은 입력 수단에 의해 설정하거나, 키보드를 이용하여 직접 설정할 수 있다. 예를 들어, 객체로 임의의 사람, 자동차, 또는 동물 등을 적어도 하나 이상 설정할 수 있다. 더 나아가 객체 설정 시에 객체의 속성정보를 포함하는 객체를 설정할 수 있다. 예를 들어 노란색 자동차, 빨간색 옷을 입은 사람, 번호판, 특정 문자 등을 적어도 하나 이상 설정할 수 있다. 또한 시간 설정은 영상 검색 위한 시간을 설정할 수 있다. 예를 들어 분 단위, 시간 단위 또는 일 단위 또는 월 단위 또는 년 단위 등의 시간 설정이 가능하다. 더 나아가 영역 설정은 디스플레이 되는 영상을 보면서 마우스와 같은 입력 수단에 의해 영상 파일을 생성할 영역을 적어도 하나 이상 설정할 수 있다.
검색 조건 설정이 완료되면, 영상 처리 수단(400)은 데이터베이스로부터 검색 조건과 일치하는 객체의 특성정보를 검색하고, 저장된 영상으로부터 검색된 객체의 특성 정보를 포함하는 영상 프레임들을 획득하는 단계(S400)를 수행한다. 영상 프레임 획득은 저장된 영상 프레임 픽쳐 그룹(GOP: group of picture)에 포함된 인트라(I: intra) 프레임, 예측(P: predicted) 프레임 및 양방향(B: bidirectional) 프레임들 중 객체의 특성 정보를 포함하는 영상 프레임을 획득할 수 있다. 여기서 객체의 특성 정보를 포함하는 영상 프레임이 예측(P) 프레임인 경우, 인트라(I) 프레임을 함께 획득한다.
검색 조건에 일치하는 객체의 특성 정보를 포함하는 영상 프레임들의 획득이 완료되면, 영상 처리 수단(400)은 영상 파일을 생성하는 단계(S500)를 수행한다. 여기서 영상 파일 생성은 하나의 압축 영상 파일 생성을 포함할 수 있다. 영상 파일 생성 시에, 획득한 영상 프레임들을 시간 순서대로 정렬하여 하나의 영상 파일로 압축한다. 또한 영상 처리 수단(400)는 동일한 시간에 설정된 적어도 하나 이상의 카메라에서 객체의 특성 정보를 포함하는 영상 프레임들이 획득되면, 하나의 영상 파일에 다른 영상 프레임을 포함하도록 인터리빙하여 압축 파일을 생성한다. 영상 처리 수단(400)은 압축된 각 영상 프레임 별로 객체를 촬영한 카메라 정보와 시간 정보 및 객체 특성 정보 즉, 객체 태그 정보를 포함하도록 설정할 수 있다. 또한 영상 처리 수단(400)은 검색 조건과 일치하여 획득한 객체 이미지들 및 획득한 객체 이미지를 포함하는 임의의 한 배경 이미지를 합성하여 하나의 영상 파일을 생성하고 압축할 수 있다.
영상 파일 생성이 완료되면, 영상 처리 수단(400)은 영상 파일을 재생하는 단계(S600)를 수행한다. 영상 파일이 재생되면 사용자가 재생, 일시정지, 정방향 재생, 역방향 재생 제어를 수행할 수 있다. 또한 압축된 영상 파일이 재생되면 재생되는 영상 프레임에 포함되는 객체들은 중첩하여 재생될 수 있으며, 이를 구별하기 위해 객체 외부에 마커와 같은 제1 식별정보를 함께 디스플레이 할 수 있다. 또한 재생되는 영상 파일에서 객체를 선택할 수 있으며, 임의의 한 객체가 선택되면, 촬영한 카메라 정보와 시간 정보 및 객체 특성 정보를 포함하는 제2 식별정보를 함께 디스플레이 할 수 있다. 또한 재생 되는 영상 파일에서 임의의 한 객체가 선택되면, 선택된 객체가 촬영된 원본 영상 파일을 다른 영역에 재생할 수 있다. 이때 객체가 출현한 원본 영상 파일의 시간으로 이동하여 해당 시간부터 영상을 재생할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명은 적어도 하나 이상의 카메라가 촬영한 영상들을 저장하는 저장 장치로부터 검색 조건을 만족하는 각 카메라 별 영상 프레임을 추출하여 하나의 영상 파일을 생성하는 영상 처리 장치 및 방법에 관한 것이다.

Claims (20)

  1. 적어도 하나 이상의 카메라를 통하여 수신된 영상을 저장하는 저장부;
    상기 카메라를 통하여 수신된 영상을 분석하여 이벤트가 발생한 객체를 배경으로부터 분리하고 상기 객체의 특성 정보를 추출하는 영상 분석부;
    상기 카메라 별로 추출한 상기 객체의 특성 정보를 저장하는 데이터베이스;
    검색 조건을 설정하는 검색 조건 설정부;
    상기 데이터베이스로부터 상기 검색 조건과 일치하는 상기 객체의 특성정보를 검색하고, 상기 저장부로부터 상기 검색된 객체의 특성 정보를 포함하는 영상 프레임들을 획득하는 검색부; 및
    상기 영상프레임들을 합성하여 하나의 영상 파일을 생성하는 파일 생성부;를 포함하는 것을 특징으로 하는 영상 처리 장치.
  2. 제 1항에 있어서, 상기 저장부는,
    상기 카메라를 통하여 수신되는 실시간 영상을 저장하거나, 또는 기저장된 영상을 저장하고 있는 것을 특징으로 하는 영상 처리 장치.
  3. 제 1항에 있어서, 상기 검색 조건 설정부는,
    상기 적어도 하나 이상의 카메라를 선택하는 카메라 설정부;
    상기 카메라가 촬영한 영상에서 출현할 적어도 하나 이상의 객체 특성 정보를 설정하는 객체 설정부; 및
    상기 객체가 출현할 시간 범위를 설정하는 시간 설정부;를 포함하는 것을 특징으로 하는 영상 처리 장치.
  4. 제 3항에 있어서,
    상기 카메라가 촬영한 영상에서 상기 객체가 출현할 적어도 하나 이상의 영역을 설정하는 영역 설정부;를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  5. 제 1항에 있어서, 상기 검색부는,
    상기 저장부에 저장된 상기 영상 프레임 픽쳐 그룹(GOP: group of picture)에 포함된 영상 프레임들 중 상기 객체의 특성 정보를 포함하는 영상 프레임을 획득하고, 상기 객체의 특성 정보를 포함하는 영상 프레임이 예측(P: predicted) 프레임인 경우, 인트라(I: intra) 프레임을 함께 획득하는 것을 특징으로 하는 영상 처리 장치.
  6. 제 1항에 있어서, 상기 파일 생성부는,
    상기 영상 프레임들을 압축하여 압축 영상 파일을 생성하는 것을 특징으로 하는 영상 처리 장치.
  7. 제 1항에 있어서, 상기 검색부는,
    상기 데이터베이스로부터 상기 검색 조건과 일치하는 상기 객체의 특성정보를 검색하고, 상기 저장부로부터 상기 검색된 객체의 특성 정보를 포함하는 객체 이미지들을 획득하는 것을 특징으로 하는 영상 처리 장치.
  8. 제 7항에 있어서, 상기 파일 생성부는,
    상기 객체 이미지들 및 상기 저장부로부터 상기 객체 이미지를 포함하는 임의의 한 배경 이미지를 합성하여 하나의 영상 파일을 생성하고 압축하는 것을 특징으로 하는 영상 처리 장치.
  9. 제 1항에 있어서,
    상기 영상프레임들이 합성된 영상 파일을 재생하는 재생부;를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  10. 제 9항에 있어서, 상기 재생부는,
    상기 영상 파일 재생 중에 디스플레이 되는 복수의 상기 객체 각각을 식별할 수 있는 객체 식별 정보를 함께 디스플레이 하는 것을 특징으로 하는 영상 처리 장치.
  11. 제 10항에 있어서, 상기 재생부는,
    임의의 상기 객체가 선택되면, 상기 저장부로부터 상기 객체의 원본 영상을 추출하여 다른 영역에 재생하는 것을 특징으로 하는 영상 처리 장치.
  12. 적어도 하나 이상의 카메라를 통하여 수신된 영상을 저장하는 단계;
    상기 카메라를 통하여 수신된 영상을 분석하여 이벤트가 발생한 객체를 배경으로부터 분리하고 상기 객체의 특성 정보를 추출하는 단계;
    상기 카메라 별로 추출한 상기 객체의 특성 정보로 데이터베이스를 구축하는 단계;
    검색 조건을 설정하는 단계;
    상기 데이터베이스로부터 상기 검색 조건과 일치하는 상기 객체의 특성정보를 검색하고, 상기 저장된 영상으로부터 상기 검색된 객체의 특성 정보를 포함하는 영상 프레임들을 획득하는 단계; 및
    상기 영상프레임들을 합성하여 하나의 영상 파일을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  13. 제 12항에 있어서, 상기 영상은,
    상기 카메라를 통하여 수신되는 실시간 영상이거나, 또는 기저장된 영상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  14. 제 12항에 있어서, 상기 검색 조건을 설정하는 단계는,
    상기 적어도 하나 이상의 카메라를 선택하는 단계;
    상기 카메라가 촬영한 영상에서 출현할 적어도 하나 이상의 객체 특성 정보를 설정하는 단계;
    상기 객체가 출현할 시간 범위를 설정하는 단계; 및
    상기 카메라가 촬영한 영상에서 상기 객체가 출현할 적어도 하나 이상의 영역을 설정하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  15. 제 12항에 있어서, 상기 하나의 영상 파일을 생성하는 단계는,
    상기 영상 프레임들을 압축하여 압축 영상 파일을 생성하는;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  16. 제 12항에 있어서, 상기 획득하는 단계는,
    상기 데이터베이스로부터 상기 검색 조건과 일치하는 상기 객체의 특성정보를 검색하고, 상기 저장된 영상으로부터 상기 검색된 객체의 특성 정보를 포함하는 객체 이미지들을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  17. 제 17항에 있어서, 상기 하나의 영상 파일을 생성하는 단계는,
    상기 객체 이미지들 및 상기 저장된 영상으로부터 상기 객체 이미지를 포함하는 임의의 한 배경 이미지를 합성하여 하나의 영상 파일을 생성하고 압축하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  18. 제 12항에 있어서, 상기 영상 파일을 재생하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  19. 제 18항에 있어서, 상기 재생하는 단계는,
    상기 영상 파일 재생 중에 디스플레이 되는 복수의 상기 객체 각각을 식별할 수 있는 객체 식별 정보를 함께 디스플레이 하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  20. 제 19항에 있어서, 상기 재생하는 단계는,
    임의의 상기 객체가 선택되면, 상기 저장된 영상으로부터 상기 객체의 원본 영상을 추출하여 다른 영역에 재생하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
PCT/KR2014/002484 2013-11-15 2014-03-25 영상 처리 장치 및 방법 WO2015072631A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14862879.5A EP3070938A4 (en) 2013-11-15 2014-03-25 Image processing apparatus and method
US15/036,945 US9807338B2 (en) 2013-11-15 2014-03-25 Image processing apparatus and method for providing image matching a search condition
CN201480062667.2A CN105723702B (zh) 2013-11-15 2014-03-25 图像处理装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0139332 2013-11-15
KR1020130139332A KR102126868B1 (ko) 2013-11-15 2013-11-15 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2015072631A1 true WO2015072631A1 (ko) 2015-05-21

Family

ID=53057550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/002484 WO2015072631A1 (ko) 2013-11-15 2014-03-25 영상 처리 장치 및 방법

Country Status (5)

Country Link
US (1) US9807338B2 (ko)
EP (1) EP3070938A4 (ko)
KR (1) KR102126868B1 (ko)
CN (1) CN105723702B (ko)
WO (1) WO2015072631A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016209517A1 (en) * 2015-06-25 2016-12-29 Intel Corporation Techniques to save or delete a video clip
WO2018124510A1 (ko) * 2016-12-27 2018-07-05 한화테크윈 주식회사 이벤트 저장 장치, 이벤트 검색 장치, 및 이벤트 알람 장치
WO2019103208A1 (ko) * 2017-11-24 2019-05-31 ㈜리얼타임테크 다중 분산 영상 데이터 분석 장치
US10678398B2 (en) 2016-03-31 2020-06-09 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2844300A (en) 1999-12-14 2001-06-25 Goodyear Tire And Rubber Company, The Method of monitoring pressure in a pneumatic tire
WO2015166612A1 (ja) * 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
US9912838B2 (en) 2015-08-17 2018-03-06 Itx-M2M Co., Ltd. Video surveillance system for preventing exposure of uninteresting object
KR101710522B1 (ko) * 2015-11-27 2017-02-27 주식회사 아이티엑스엠투엠 관제 부담을 최소화한 감시 영상 처리 장치
TWI579718B (zh) * 2016-06-15 2017-04-21 陳兆煒 圖形資源管理系統及方法與內儲圖形資源管理程式之電腦程式產品
KR102249498B1 (ko) * 2016-08-17 2021-05-11 한화테크윈 주식회사 이벤트 검색 장치 및 시스템
KR102454725B1 (ko) 2016-09-09 2022-10-13 엘에스일렉트릭(주) 그래픽 객체 편집 장치
KR102673036B1 (ko) * 2016-12-06 2024-06-05 한화비전 주식회사 데이터 관리 장치 및 방법
US10943122B2 (en) 2017-03-02 2021-03-09 Ricoh Company, Ltd. Focalized behavioral measurements in a video stream
US10956495B2 (en) 2017-03-02 2021-03-23 Ricoh Company, Ltd. Analysis of operator behavior focalized on machine events
US10949463B2 (en) 2017-03-02 2021-03-16 Ricoh Company, Ltd. Behavioral measurements in a video stream focalized on keywords
US10929685B2 (en) 2017-03-02 2021-02-23 Ricoh Company, Ltd. Analysis of operator behavior focalized on machine events
US10956494B2 (en) 2017-03-02 2021-03-23 Ricoh Company, Ltd. Behavioral measurements in a video stream focalized on keywords
US10929707B2 (en) 2017-03-02 2021-02-23 Ricoh Company, Ltd. Computation of audience metrics focalized on displayed content
US10720182B2 (en) 2017-03-02 2020-07-21 Ricoh Company, Ltd. Decomposition of a video stream into salient fragments
US10949705B2 (en) 2017-03-02 2021-03-16 Ricoh Company, Ltd. Focalized behavioral measurements in a video stream
US10956773B2 (en) 2017-03-02 2021-03-23 Ricoh Company, Ltd. Computation of audience metrics focalized on displayed content
US10719552B2 (en) 2017-03-02 2020-07-21 Ricoh Co., Ltd. Focalized summarizations of a video stream
US10713391B2 (en) 2017-03-02 2020-07-14 Ricoh Co., Ltd. Tamper protection and video source identification for video processing pipeline
JP6919718B2 (ja) * 2017-11-15 2021-08-18 村田機械株式会社 管理サーバ、管理システム、管理方法、及びプログラム
US11049300B2 (en) 2018-09-04 2021-06-29 Dish Network L.L.C. Devices, systems and methods for mini-banner content
KR101951232B1 (ko) * 2018-09-12 2019-02-22 (주)휴진시스템 객체영역의 분리저장 및 적응형 배경영상을 이용한 고화질 cctv 영상시스템
KR102105250B1 (ko) * 2018-10-15 2020-04-27 주식회사 에스원 영상 감시 시스템 및 이를 이용한 관제 방법
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
KR102008482B1 (ko) * 2018-11-21 2019-08-07 제주대학교 산학협력단 Cctv 영상 스마트 감시 시스템 및 그 방법
KR102124027B1 (ko) * 2020-03-17 2020-06-17 (주)스마트링스 빅데이터 기반의 멀티 채널 감시 및 객체 분석이 가능한 클라우딩 시스템, 그리고 클라우딩 서비스 제공 방법
KR20210128736A (ko) 2020-04-17 2021-10-27 삼성전자주식회사 멀티 카메라를 포함하는 전자 장치 및 촬영 방법
KR102144512B1 (ko) * 2020-04-22 2020-08-13 주식회사 유니넷 다중채널 영상 저장장치
CN111538858B (zh) * 2020-05-06 2023-06-23 英华达（上海）科技有限公司 建立视频图谱的方法、装置、电子设备、存储介质
KR102435528B1 (ko) * 2021-01-18 2022-08-23 주식회사 씨제이이엔엠 인물 별 직캠 영상 제작 방법 및 서비스 서버
KR102580900B1 (ko) * 2021-10-14 2023-09-20 주식회사 아틴스 이벤트 검출 기반 영상 저장 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010013968A2 (ko) * 2008-08-01 2010-02-04 (주)한국피비자산관리 네트워크를 통한 맞춤형 동영상 제공 방법 및 시스템
US20110096149A1 (en) * 2007-12-07 2011-04-28 Multi Base Limited Video surveillance system with object tracking and retrieval
WO2012033343A2 (ko) * 2010-09-07 2012-03-15 에스케이텔레콤 주식회사 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
WO2013129726A1 (ko) * 2012-02-28 2013-09-06 전자부품연구원 무손실 영상 압축 장치 및 방법
WO2013165048A1 (ko) * 2012-04-30 2013-11-07 전자부품연구원 영상 검색 시스템 및 영상 분석 서버

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297134A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 合成画像提供システム、画像合成装置ならびにプログラム
US8125508B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
KR20060100341A (ko) 2006-08-30 2006-09-20 (주)로직아이텍 객체식별이 가능한 영상처리 감시시스템
KR20090079722A (ko) 2008-01-18 2009-07-22 엘지전자 주식회사 디지털 비디오 레코더에서의 피사체 선택 녹화장치 및 방법
TWI489394B (zh) * 2008-03-03 2015-06-21 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
CN102090063A (zh) * 2008-07-11 2011-06-08 三洋电机株式会社 图像处理装置以及使用其的摄像装置
JP5471124B2 (ja) * 2009-07-29 2014-04-16 ソニー株式会社 画像検索装置、画像検索方法及び画像検索プログラム
KR101221542B1 (ko) 2009-12-21 2013-01-14 전자부품연구원 영상 감시 시스템 및 방법
WO2011136418A1 (ko) 2010-04-30 2011-11-03 (주)아이티엑스시큐리티 디브이알 및 그 영상 감시방법
JP5730518B2 (ja) * 2010-08-27 2015-06-10 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法
KR101425170B1 (ko) * 2010-11-16 2014-08-04 한국전자통신연구원 영상 촬영 장치의 객체 추적 장치 및 방법과 보안 관리 시스템의 객체 추적 장치
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
US20140211017A1 (en) * 2013-01-31 2014-07-31 Wal-Mart Stores, Inc. Linking an electronic receipt to a consumer in a retail store

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110096149A1 (en) * 2007-12-07 2011-04-28 Multi Base Limited Video surveillance system with object tracking and retrieval
WO2010013968A2 (ko) * 2008-08-01 2010-02-04 (주)한국피비자산관리 네트워크를 통한 맞춤형 동영상 제공 방법 및 시스템
WO2012033343A2 (ko) * 2010-09-07 2012-03-15 에스케이텔레콤 주식회사 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
WO2013129726A1 (ko) * 2012-02-28 2013-09-06 전자부품연구원 무손실 영상 압축 장치 및 방법
WO2013165048A1 (ko) * 2012-04-30 2013-11-07 전자부품연구원 영상 검색 시스템 및 영상 분석 서버

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016209517A1 (en) * 2015-06-25 2016-12-29 Intel Corporation Techniques to save or delete a video clip
US10678398B2 (en) 2016-03-31 2020-06-09 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices
US11782572B2 (en) 2016-03-31 2023-10-10 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices
WO2018124510A1 (ko) * 2016-12-27 2018-07-05 한화테크윈 주식회사 이벤트 저장 장치, 이벤트 검색 장치, 및 이벤트 알람 장치
US11308777B2 (en) 2016-12-27 2022-04-19 Hanwha Techwin Co., Ltd. Image capturing apparatus with variable event detecting condition
WO2019103208A1 (ko) * 2017-11-24 2019-05-31 ㈜리얼타임테크 다중 분산 영상 데이터 분석 장치

Also Published As

Publication number Publication date
CN105723702B (zh) 2019-06-18
KR102126868B1 (ko) 2020-06-25
US9807338B2 (en) 2017-10-31
EP3070938A1 (en) 2016-09-21
EP3070938A4 (en) 2017-07-05
CN105723702A (zh) 2016-06-29
KR20150056381A (ko) 2015-05-26
US20160295157A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
WO2015072631A1 (ko) 영상 처리 장치 및 방법
EP2710594B1 (en) Video summary including a feature of interest
CN102906818B (zh) 存储视频摘要的方法和显示相应于视频摘要的视频帧的系统
CN102906816B (zh) 视频概要方法
US10116910B2 (en) Imaging apparatus and method of providing imaging information
KR100883066B1 (ko) 텍스트를 이용한 피사체 이동 경로 표시장치 및 방법
JP4978324B2 (ja) 画像記録装置、画像記録システム、画像再生方法
WO2011149697A2 (en) Method for determining key video frames
US9628874B2 (en) Imaging apparatus and method of providing video summary
KR20180058019A (ko) 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치
US11496671B2 (en) Surveillance video streams with embedded object data
WO2011149860A1 (en) Ranking key video frames using camera fixation
KR20210104979A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
JP6355333B2 (ja) 撮像装置、画像処理装置、画像処理方法、プログラム
KR20210108691A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
CN111104080B (zh) 一种文本远程预览方法及装置
JP6292872B2 (ja) 画像処理装置、画像処理方法、プログラム
JPWO2019135270A1 (ja) 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム
JP5868145B2 (ja) 画像処理装置及びその制御方法
KR20220003779A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
JP6248314B2 (ja) 撮像装置、撮像画像の処理方法、及び撮像システム
JP2008090570A (ja) 情報処理装置及び情報処理方法
US20220286642A1 (en) Event-oriented multi-channel video backup apparatus and method, and network surveillance camera system including the same
JP6469772B2 (ja) 撮像装置
JP2022176202A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14862879

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15036945

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014862879

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014862879

Country of ref document: EP