WO2023200187A1 - 영상 검색 장치 및 방법 - Google Patents

영상 검색 장치 및 방법 Download PDF

Info

Publication number
WO2023200187A1
WO2023200187A1 PCT/KR2023/004716 KR2023004716W WO2023200187A1 WO 2023200187 A1 WO2023200187 A1 WO 2023200187A1 KR 2023004716 W KR2023004716 W KR 2023004716W WO 2023200187 A1 WO2023200187 A1 WO 2023200187A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
image
attribute
user
metadata
Prior art date
Application number
PCT/KR2023/004716
Other languages
English (en)
French (fr)
Inventor
김동원
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Publication of WO2023200187A1 publication Critical patent/WO2023200187A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90324—Query formulation using system suggestions
    • G06F16/90328—Query formulation using system suggestions using search space presentation or visualization, e.g. category or range presentation and selection

Definitions

  • the present invention relates to an image search device and method, and more specifically, to an image search device and method that reduces user fatigue and improves intuitiveness of search when searching images obtained from various types of cameras.
  • CCTV which is capable of analyzing objects, has the function of storing metadata that distinguishes the properties of objects in addition to video data when collecting video data. These metadata are used by users to search video data, and are also used to trigger events and generate alarms through the application.
  • the user first selects the camera equipment to be searched and the date and time to search. Additionally, the user selects detailed properties from the filtering items and finally enters a search command. Accordingly, the image search device performs a search according to the search command and then displays the search results to the user.
  • the image search device does not display any results if the specific filtering conditions specified by the user do not exist in the collected data, it causes the user the inconvenience of having to modify the search conditions and perform a re-search. do.
  • the technical problem to be achieved by the present invention is to provide the user with a variable filtering menu that removes filtering items and attributes that will not be searched within the stored data when searching/filtering in an image search device, thereby providing the image search result that the user wants to obtain. It allows you to acquire quickly and intuitively.
  • an image search device including a processor and a memory storing instructions executable by the processor, wherein a plurality of images and a plurality of metadata are retrieved from a plurality of camera devices.
  • a communication unit that receives; a user input device that receives an object search command and an attribute search command from a user; a metadata extractor extracting objects corresponding to the object search command from the plurality of metadata and extracting properties of the corresponding objects; and creating a search interface including an attribute search menu that lists and displays the extracted attributes so that the user can select at least one of the extracted attributes through the attribute search command, and generates the generated search interface. It includes a GUI creation unit provided to the user, and when the object search command is changed, properties included in the property search menu are also dynamically changed and displayed on the search interface.
  • the image search device includes a metadata parser that reads the plurality of received metadata in a defined format; and a storage medium storing the plurality of images and the read metadata.
  • a plurality of attributes may be selected together on the attribute search menu, and unselected attributes may be allowed to exist.
  • the object search command includes device identifiers for the plurality of camera devices, a time range for image search, and types of the objects.
  • the types of objects include people, recognized faces, unrecognized faces, and vehicles.
  • the plurality of camera equipment includes cameras with an artificial intelligence-based video analysis function and cameras without the video analysis function.
  • the characteristics of images supported by the plurality of camera devices and the attributes of the objects are different for each camera device.
  • the search interface includes a merge button for merging properties named as different properties in the plurality of camera devices into a single property even though they are the same property.
  • the search interface further includes a thumbnail area that displays a plurality of thumbnail images corresponding to the plurality of images.
  • the attribute search menu is also changed to include only the selected attributes.
  • the search interface further includes a video playback area that reproduces and displays a video corresponding to a thumbnail image selected by the user from among the plurality of thumbnail images.
  • An image search method performed by instructions in a device including a processor and a memory storing instructions executable by the processor, according to an embodiment of the present invention for achieving the above technical problem, comprising: a plurality of camera devices Receiving a plurality of images and a plurality of metadata from; Receiving an object search command and an attribute search command from a user; extracting objects corresponding to the object search command from the plurality of metadata and extracting properties of the corresponding objects; creating a search interface including an attribute search menu that lists and displays the extracted attributes so that the user can select at least one of the extracted attributes through the attribute search command; and providing the created search interface to the user, wherein when the object search command is changed, properties included in the property search menu are also dynamically changed and displayed on the search interface.
  • the image search method includes reading the received plurality of metadata into a defined format; and storing the plurality of images and the read metadata.
  • a plurality of attributes may be selected together on the attribute search menu, and unselected attributes may be allowed to exist.
  • the object search command includes device identifiers for the plurality of camera devices, a time range for image search, and types of the objects.
  • the types of objects include people, recognized faces, unrecognized faces, and vehicles.
  • the plurality of camera equipment includes cameras with an artificial intelligence-based video analysis function and cameras without the video analysis function.
  • the characteristics of images supported by the plurality of camera devices and the attributes of the objects are different for each camera device.
  • a property search menu containing only the properties of the searched object is variably configured, and the user performs a second property search in the property search menu with a reduced number of properties.
  • the property search menu is output only with property search items stored as metadata in the storage device, there is an advantage in that cases in which search results are not output when a search is performed can be minimized.
  • Figure 1 is a diagram showing the configuration of a video surveillance system according to an embodiment of the present invention.
  • Figure 2 is a diagram showing the configuration of an image search device according to an embodiment of the present invention.
  • Figure 3 is a diagram illustrating a process in which a user performs an object search through an object search menu in a search interface according to an embodiment of the present invention.
  • Figure 4 is a diagram showing a property search menu and a thumbnail image displayed after a user searches for an object in a search interface according to an embodiment of the present invention.
  • Figure 5 is a diagram illustrating a process of merging duplicate attributes displayed by a user in a search interface according to an embodiment of the present invention.
  • Figure 6 is a diagram illustrating a process in which a user selects some of the attributes displayed in the attribute search menu of a search interface according to an embodiment of the present invention.
  • Figure 7 is a diagram showing how the attribute search menu is changed according to the attribute selected by the user in the search interface according to an embodiment of the present invention.
  • Figure 8 is a diagram showing how a video corresponding to the thumbnail image is played when a user selects a thumbnail image in a search interface according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating the hardware configuration of a computing device implementing the image search device of FIG. 2.
  • Figure 10 is a flowchart schematically showing an image search method performed in an image search device according to an embodiment of the present invention.
  • Figure 1 is a diagram showing the configuration of a video surveillance system 200 according to an embodiment of the present invention.
  • the system 300 includes a plurality of camera equipment (50: 50A, 50B, 50C) and various types of image search devices (100: 100A, 100B, 100C), and the Internet is connected to each other. , can be connected through a network 10 such as an intranet.
  • a network 10 such as an intranet.
  • the image search device 100 may be implemented as, for example, a personal computer 100C, a mobile terminal 100A, etc., and may also be implemented as a computing device 100B integrated with a network video recorder (NVR).
  • the image search device 100 is connected to a plurality of camera equipment 50 through the network 10 based on the Internet protocol, and receives images captured from the plurality of camera equipment 50 and artificial intelligence on the images. Metadata obtained by applying (AI)-based VA (video analytic) can be received.
  • AI AI-based VA
  • the term image is used to encompass non-continuous moving images such as video, still image, and MJPEG.
  • the plurality of camera devices are network cameras that capture images and may include camera devices that have an artificial intelligence-based video analysis function and camera devices that do not.
  • the camera equipment that does not have the video analysis function can function in the same way as the camera equipment that has the video analysis function by linking with a separate video analysis device (not shown).
  • FIG. 2 is a block diagram showing the configuration of an image search device 100 according to an embodiment of the present invention.
  • the image search device 100 is a computing device including a processor and a memory that stores instructions executable by the processor, and includes a communication unit 110, a metadata extraction unit 150, a user input device 160, and GUI generation. It may be configured to include a unit 170, and may further include a control unit 120, a storage medium 130, a metadata parser 140, and a display device 180.
  • the control unit 120 of FIG. 2 may be a processor such as a CPU, microcomputer, ECU, or GPU, and generally controls the operations of other blocks within the image search device 100.
  • the communication unit 110 requests data from the plurality of camera devices 50 and receives a plurality of images and a plurality of metadata from the plurality of camera devices 50 in response.
  • the communication unit 110 is equipped with a physical communication interface and transmits and receives data with other devices based on a communication protocol established through wired/wireless communication media.
  • metadata refers to text data obtained through video analysis of objects (people, cars, animals, etc.) included in a specific video and their various properties (size, motion, gender, color, detailed model, etc.). means.
  • the received video and metadata are stored in the storage medium 130.
  • the storage medium 130 may be implemented with various memory means such as random access memory (RAM), read only memory (ROM), hard disk, solid state drive (SSD), and memory card.
  • the user input device 160 is a device that receives object search commands and attribute search commands from the user, and may be implemented in various forms such as a keyboard, mouse, digitizer, electronic pen, touch pad, and touch panel.
  • the object search command may include at least the type of object and may further include device identifiers for the plurality of camera devices and a time range for image search. In other words, the user can set the search range for the desired object through the object search command.
  • the scope includes the spatial scope of camera equipment and the temporal scope of date/time.
  • the attribute search command refers to a command for searching specific attributes of an object within the range.
  • the object search command only determines the type and scope of the object, and the attribute search command allows detailed attributes to be determined, so it can be viewed as having a dual search structure.
  • the metadata extraction unit 150 includes an object extraction unit 151 that extracts objects corresponding to the object search command from the plurality of metadata, and an attribute extraction unit 153 that extracts detailed properties of the corresponding objects. It can be composed of: To this end, the metadata extractor 150 may work with a metadata parser 140 that reads the plurality of received metadata in a defined format.
  • the GUI (graphic user interface) creation unit 170 provides an attribute search menu (see Figure 3) that lists and displays the extracted attributes so that the user can select at least one of the extracted attributes through the attribute search command. 73) to create a search interface (70A in FIG. 3). Additionally, the GUI generator 170 provides the created search interface 70 to the user through the display device 180.
  • the display device 180 may be implemented with known display means such as liquid crystal display (LCD), organic light-emitting diode (OLED), plasma panel display (PDP), and quantum dot.
  • One feature of the image search device 100 is that when the object search command is changed, the properties included in the property search menu 73 are also dynamically changed so that the search interface 70 ) is displayed. In other words, if the type of object, camera equipment, and time range selected by the user change, the configuration of the attribute search menu 73 included in the search interface 70 also changes.
  • FIG. 3 is a diagram illustrating a process in which a user performs an object search through the object search menu 71 in the search interface 70A according to an embodiment of the present invention.
  • the search interface 70A may be configured to include an object search menu 71 and an attribute search menu 73.
  • the user can input an object search command through the object search menu 71 and an attribute search command through the attribute search menu 73.
  • the object search command may include a device identifier (Camera ID) for the plurality of camera equipment, a time range for image search, and an object type of the objects.
  • a device identifier for the plurality of camera equipment
  • a time range for image search for the plurality of camera equipment
  • an object type of the objects Referring to FIG. 3, through the object search command, the user specifies three camera devices including ca_1, ca_2, and cctv2 as device identifiers (Camera ID), and as a time range from midnight of 2022-01-01 to 2022-01. It is set to -05 noon, and it can be seen that the vehicle (81) was selected among the four object types.
  • the object type is represented by icons representing people, recognized faces, unrecognized faces, and vehicles in that order.
  • the search interface 70A may further include a thumbnail area 75 that displays a plurality of thumbnail images (see 76A in FIG. 4) corresponding to the plurality of images, for example, at a central location.
  • a thumbnail area 75 displays a plurality of thumbnail images (see 76A in FIG. 4) corresponding to the plurality of images, for example, at a central location.
  • the user enters only the items for object search, and before pressing the OK button 84-2 (before entering the object search command), multiple thumbnail images do not appear in the thumbnail area 75.
  • search interface 70A may further include, for example, an image playback area 77 at the upper right position that plays and displays an image corresponding to a thumbnail image designated by the user.
  • FIG. 4 is a diagram showing the property search menu 73 and the thumbnail image 76A displayed after a user searches for an object in the search interface 70B according to an embodiment of the present invention.
  • the object search command is executed and the search interface 70B as shown in FIG. 4 is displayed on the display device 180.
  • the image characteristics supported by the plurality of camera devices 50 and the attributes of the objects are different for each camera device.
  • the image characteristics refer to image size, resolution, aspect ratio, etc., which are different for each camera device.
  • the sizes and aspect ratios of the thumbnail images 76A may vary.
  • Table 1 shows that the number of items, classification criteria, and names for vehicle type and vehicle color are very different among the three camera equipment manufacturers (Company H, Company F, and Company P). For example, Company H's Motorcycle and Company F's Bike are expressed differently because they are the same attribute, and unlike other manufacturers, Company F does not even have an attribute called Bicycle. Additionally, Company P only provides vehicle type as an attribute and does not provide the vehicle color attribute itself. If all the different attributes for each camera equipment manufacturer are displayed like this, it will be difficult for users to perform a proper search.
  • the search interface 70B of FIG. 4 displays an attribute search menu 73 consisting of only attributes belonging to objects set by the user through an object search command, so the user can search for attributes that actually exist (attribute search menu 73). You can use it to perform additional searches, or you can monitor the video using the currently displayed results themselves.
  • the attribute search menu 73 in FIG. 4 includes vehicle type attributes (-Type) including “passenger cars, buses, and trucks,” vehicle color attributes (-Color) including “white and black,” and “Hyundai, Volkswagen, and It consists of a manufacturer attribute (-Manufacturer) including “HMC” and a vehicle model attribute (-Car model) including “Avante, Porter, Golf and Eleccity”.
  • thumbnail images 76A that satisfy the attributes included in the attribute search menu 73 are listed in the thumbnail area 75.
  • Figure 5 is a diagram illustrating a process of merging duplicate attributes displayed by a user in the search interface 70C according to an embodiment of the present invention.
  • the illustrated attribute search menu 73 displays manufacturer attributes (-Manufacturer) including “Hyundai, Volkswagen, and HMC.”
  • manufacturer attributes “-Manufacturer”
  • Hyundai and HMC abbreviation
  • the user may wish to represent these same attributes so that they are displayed as a single integrated attribute in the future.
  • FIG. 6 is a diagram illustrating a process in which a user selects some of the attributes displayed in the attribute search menu 73 of the search interface 70D according to an embodiment of the present invention.
  • the user selects at least one of the attributes displayed in the attribute search menu 73 by the attribute search command, only the thumbnail image 76B corresponding to the selected attribute is filtered out of the plurality of thumbnail images 76A. It may be displayed in the thumbnail area 75.
  • the user selected "Passenger Cars and Trucks” as the vehicle type attribute (-Type) and "Hyundai” as the manufacturer attribute (-Manufacturer) in the attribute search menu 73. Able to know.
  • the OK button 84-2 when the user presses the OK button 84-2, only the thumbnail image 76B that satisfies the above attribute conditions is displayed in the thumbnail area 75 among the nine thumbnail images 76A that were originally displayed.
  • the thumbnail image 76B is shown in its original position, but this is not limited and the thumbnail images 76B may be displayed adjacent to each other without any space.
  • vehicle type attribute (-Type) and manufacturer attribute (-Manufacturer) are selected, and vehicle color attribute (-Color) and vehicle model attribute (-Car model) are selected.
  • vehicle color attribute (-Color) and vehicle model attribute (-Car model) are selected.
  • a plurality of attributes may be selected together on the attribute search menu 73, or unselected attributes may exist.
  • Figure 7 is a diagram showing the attribute search menu 73 changed according to the attribute selected by the user in the search interface 70E according to an embodiment of the present invention.
  • the user selects the vehicle type attribute (-Type) and the manufacturer attribute (-Manufacturer) and executes the attribute search command by pressing the OK button (84-2).
  • the attribute search menu 73 is It can be abbreviated and displayed with only the attributes selected by the user.
  • Figure 8 is a diagram showing how the image (video) corresponding to the thumbnail image 76B is played when the user selects the thumbnail image 76B in the search interface 70F according to an embodiment of the present invention.
  • the video corresponding to the selected thumbnail image (76-1) can be played in the video playback area (77).
  • a play control box 78 may be displayed at the bottom of the play area 77, and the user can play, stop, pause, and fast forward through the play control box 78. You can perform trick plays such as -forward), fast-rewind, and jump.
  • text information 79 related to an object included in the video may be displayed together with the played video.
  • the currently playing video was filmed at "2022-01-01 07:30" by the "cctv2" camera equipment, and the attribute of the vehicle included in the video is "white” manufactured by "Hyundai”. You can see that it is the “Avante” model in color.
  • FIG. 9 is a diagram illustrating the hardware configuration of a computing device 300 that implements the image search device 100 of FIG. 2.
  • the computing device 300 has a bus 320, a processor 330, a memory 340, a storage 350, an input/output interface 310, and a network interface 360.
  • the bus 320 is a data transmission path for the processor 330, memory 340, storage 350, input/output interface 310, and network interface 360 to transmit and receive data with each other.
  • the processor 330 is an arithmetic processing device such as a CPU (Central Processing Unit) or GPU (Graphics Processing Unit).
  • the memory 340 is a memory such as RAM (Random Access Memory) or ROM (Read Only Memory).
  • Storage 350 is a storage device such as a hard disk, solid state drive (SSD), or memory card. Additionally, the storage 350 may be memory such as RAM or ROM.
  • the input/output interface 310 is an interface for connecting the computing device 300 and an input/output device. For example, a keyboard, mouse, etc. are connected to the input/output interface 310.
  • the network interface 360 is an interface for connecting the computing device 300 to communicate with an external device to transmit and receive transmission packets.
  • the network interface 360 may be a network interface for connection to a wired line or a network interface for connection to a wireless line.
  • the computing device 300 may be connected to another computing device 300-1 through the network 50.
  • the storage 350 stores program modules that implement each function of the computing device 300.
  • the processor 330 implements each function corresponding to the program module by executing each of these program modules.
  • the processor 330 executes each module, it can read these modules into the memory 340 and then execute them.
  • each program module may be stored in the memory 340.
  • the computing device 300 does not need to be equipped with storage 350.
  • the image search device 100 includes at least a processor 330 and a memory 340 that stores instructions executable by the processor 330.
  • the image search apparatus 100 of FIG. 2 is operated by executing instructions including various functional blocks or steps included in the image search apparatus 100 by the processor 330.
  • FIG. 10 is a flowchart schematically showing an image search method performed by the image search device 100 according to an embodiment of the present invention.
  • the communication unit 110 receives a plurality of images and a plurality of metadata from the plurality of camera equipment 50 (S91). Additionally, the user input device 160 receives an object search command and an attribute search command from the user (S92).
  • the metadata extraction unit 150 extracts objects corresponding to the object search command from the plurality of metadata and extracts properties of the corresponding objects (S93).
  • the GUI creation unit 170 has a search interface 70 having an attribute search menu 73 that lists and displays the extracted attributes so that the user can select at least one of the extracted attributes through the attribute search command. ) is generated (S94).
  • the created search interface 70 is displayed to the user through the display device 180 (S95).
  • the object search command (device identifiers for the plurality of camera equipment, time range for image search, types of objects, etc.) is changed by the user
  • the properties included in the property search menu 73 are also dynamically changed and displayed on the search interface 70.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

영상 검색 장치는, 복수의 카메라 장비로부터 복수의 영상 및 복수의 메타데이터를 수신하는 통신부와, 사용자로부터 객체 검색 명령 및 속성 검색 명령을 수신하는 사용자 입력 장치와, 상기 복수의 메타데이터에서 상기 객체 검색 명령에 대응되는 객체들을 추출하고, 상기 대응되는 객체들이 갖는 속성들을 추출하는 메타데이터 추출부와, 상기 사용자가 상기 속성 검색 명령을 통해 상기 추출된 속성들 중 적어도 하나를 선택할 수 있도록, 상기 추출된 속성들을 나열하여 표시하는 속성 검색 메뉴를 포함하는 검색 인터페이스를 생성하고, 상기 생성된 검색 인터페이스를 상기 사용자에게 제공하는 GUI 생성부로 이루어진다. 특히, 상기 객체 검색 명령이 변경되면, 상기 속성 검색 메뉴에 포함되는 속성들도 동적으로 변경되어 상기 검색 인터페이스에 표시된다.

Description

영상 검색 장치 및 방법
본 발명은 영상 검색 장치 및 방법에 관한 것으로, 더욱 상세하게는, 다양한 종류의 카메라로부터 획득된 영상을 검색함에 있어서 사용자의 피로감을 줄이고 검색의 직관성을 향상시킨 영상 검색 장치 및 방법에 관한 것이다.
객체의 분석이 가능한 CCTV는 영상 데이터 수집 시 영상 데이터 외에 객체의 속성을 구분하는 메타데이터를 저장하는 기능을 갖는다. 이러한 메타데이터들은 사용자가 영상 데이터를 검색하기 위해 사용되며, 이벤트를 트리거(trigger)하여 어플리케이션을 통해 알람을 발생시킬 때에도 사용된다.
그런데, 종래의 인공 지능(artificial intelligence) 기반의 영상 데이터 검색 기술은, 사용자로부터 검색 명령을 입력받는 단계에서, 수집된 데이터의 내용과 상관없이 복수의 카메라 장비들의 사양에 의해 지원되는 모든 검색 조건을 나열하여 사용자에게 표시한다. 이 때, 나열된 검색 조건 목록이 많을수록 사용자가 필요로 하는 검색 조건을 찾는 데에 많은 시간이 소요되고 사용자에게는 부담감이나 피로감을 유발할 수 있다.
상기 종래기술에 따르면, 사용자는 먼저 검색할 카메라 장비, 검색할 날짜 및 시간을 선택한다. 또한, 사용자는 필터링 항목에서 세부 속성 선택한 후 최종적으로 검색 명령을 입력한다. 이에 따라 영상 검색 장치는 상기 검색 명령에 따른 검색을 수행한 후 검색 결과를 사용자에게 표시한다.
그러나, 이와 같은 종래기술에 따른 영상 검색 장치는 사용자가 지정한 특정 필터링 조건이 수집된 데이터 내에 존재하지 않으면 아무런 결과를 표시하지 않기 때문에, 사용자로서는 검색 조건을 수정하여 재검색을 수행해야 하는 번거로움을 유발한다.
특히, 객체 분석 기반의 영상 데이터 검색시에, 검색 대상의 필터링 속성(property or attribute)을 수십 개 이상 다양하게 제공해야 할 경우에는 이러한 문제는 보다 더 가중된다. 즉, GUI에서 지원 가능한 필터링 항목 및 속성(세부 조건 설정) 목록들을 모두 나열하면 GUI 내에 보여지는 요소가 너무 많아서 사용자의 필터링 설정 및 재검색에 많은 시간이 소요될 수밖에 없다.
본 발명이 이루고자 하는 기술적 과제는, 영상 검색 장치에서 검색/필터링 시에, 저장된 데이터 내에서 검색되지 않을 필터링 항목 및 속성을 제거한 가변적인 필터링 메뉴를 사용자에게 제공함으로써, 사용자가 얻고자 하는 영상 검색 결과를 신속하고 직관적으로 획득할 수 있게 하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른, 프로세서와 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하는 메모리를 포함하는 영상 검색 장치로서, 복수의 카메라 장비로부터 복수의 영상 및 복수의 메타데이터를 수신하는 통신부; 사용자로부터 객체 검색 명령 및 속성 검색 명령을 수신하는 사용자 입력 장치; 상기 복수의 메타데이터에서 상기 객체 검색 명령에 대응되는 객체들을 추출하고, 상기 대응되는 객체들이 갖는 속성들을 추출하는 메타데이터 추출부; 및 상기 사용자가 상기 속성 검색 명령을 통해 상기 추출된 속성들 중 적어도 하나를 선택할 수 있도록, 상기 추출된 속성들을 나열하여 표시하는 속성 검색 메뉴를 포함하는 검색 인터페이스를 생성하고, 상기 생성된 검색 인터페이스를 상기 사용자에게 제공하는 GUI 생성부를 포함하되, 상기 객체 검색 명령이 변경되면, 상기 속성 검색 메뉴에 포함되는 속성들도 동적으로 변경되어 상기 검색 인터페이스에 표시된다.
상기 영상 검색 장치는 상기 수신된 복수의 메타데이터를 규정된 포맷으로 판독하는 메타데이터 파서; 및 상기 복수의 영상 및 상기 판독된 메타데이터를 저장하는 저장 매체를 더 포함한다.
상기 속성 검색 메뉴 상에서 복수의 속성들이 함께 선택될 수도 있고, 선택되지 않은 속성이 존재하는 것이 허용된다.
상기 객체 검색 명령은 상기 복수의 카메라 장비에 대한 장치 식별자, 영상 검색을 위한 시간 범위 및 상기 객체들의 종류를 포함한다.
상기 객체들의 종류는 사람, 인식된 얼굴, 인식되지 않은 얼굴 및 차량을 포함한다.
상기 복수의 카메라 장비는 인공지능 기반의 비디오 분석 기능을 갖는 카메라와 상기 비디오 분석 기능을 갖지 않는 카메라를 함께 포함한다.
상기 복수의 카메라 장비가 지원하는 영상의 특성 및 상기 객체들이 갖는 속성의 항목은 카메라 장비별로 상이하다.
상기 검색 인터페이스는, 동일한 속성임에도 상기 복수의 카메라 장비에서 서로 다른 속성으로 명명된 속성들을 단일의 속성으로 병합하기 위한 병합 버튼을 포함한다.
상기 검색 인터페이스는 상기 복수의 영상에 대응되는 복수의 썸네일 이미지를 함께 표시하는 썸네일 영역을 더 포함한다.
사용자가 상기 속성 검색 명령에 의해 상기 속성 검색 메뉴에 표시되는 속성들 중에서 적어도 하나를 선택하면, 상기 복수의 썸네일 이미지 중에서 상기 선택된 속성에 해당되는 썸네일 이미지만 필터링되어 상기 썸네일 영역에 표시된다.
사용자가 상기 속성 검색 명령에 의해 상기 속성 검색 메뉴에 표시되는 속성들 중에서 적어도 하나를 선택하면, 상기 속성 검색 메뉴도 상기 선택된 속성들만 포함하도록 변경된다.
상기 검색 인터페이스는 상기 복수의 썸네일 이미지 중에서 사용자에 의해 선택된 썸네일 이미지에 대응되는 영상을 재생하여 표시하는 영상 재생 영역을 더 포함한다.
상기 영상 재생 영역에서 영상이 재생될 때, 상기 영상에 포함된 객체와 관련된 텍스트 정보가 상기 재생되는 영상과 함께 표시된다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른, 프로세서와 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하는 메모리를 포함하는 장치에서 상기 인스트럭션들에 의해 수행되는 영상 검색 방법으로서, 복수의 카메라 장비로부터 복수의 영상 및 복수의 메타데이터를 수신하는 단계; 사용자로부터 객체 검색 명령 및 속성 검색 명령을 수신하는 단계; 상기 복수의 메타데이터에서 상기 객체 검색 명령에 대응되는 객체들을 추출하고, 상기 대응되는 객체들이 갖는 속성들을 추출하는 단계; 상기 사용자가 상기 속성 검색 명령을 통해 상기 추출된 속성들 중 적어도 하나를 선택할 수 있도록, 상기 추출된 속성들을 나열하여 표시하는 속성 검색 메뉴를 포함하는 검색 인터페이스를 생성하는 단계; 및 상기 생성된 검색 인터페이스를 상기 사용자에게 제공하는 단계를 포함하되, 상기 객체 검색 명령이 변경되면, 상기 속성 검색 메뉴에 포함되는 속성들도 동적으로 변경되어 상기 검색 인터페이스에 표시된다.
상기 영상 검색 방법은, 상기 수신된 복수의 메타데이터를 규정된 포맷으로 판독하는 단계; 및 상기 복수의 영상 및 상기 판독된 메타데이터를 저장하는 단계를 더 포함한다.
상기 속성 검색 메뉴 상에서 복수의 속성들이 함께 선택될 수도 있고, 선택되지 않은 속성이 존재하는 것이 허용된다.
상기 객체 검색 명령은 상기 복수의 카메라 장비에 대한 장치 식별자, 영상 검색을 위한 시간 범위 및 상기 객체들의 종류를 포함한다.
상기 객체들의 종류는 사람, 인식된 얼굴, 인식되지 않은 얼굴 및 차량을 포함한다.
상기 복수의 카메라 장비는 인공지능 기반의 비디오 분석 기능을 갖는 카메라와 상기 비디오 분석 기능을 갖지 않는 카메라를 함께 포함한다.
상기 복수의 카메라 장비가 지원하는 영상의 특성 및 상기 객체들이 갖는 속성의 항목은 카메라 장비별로 상이하다.
본 발명에 따르면, 1차로 객체 검색을 수행한 후 상기 검색된 객체가 갖는 속성만을 포함하는 속성 검색 메뉴를 가변적으로 구성하고, 상기 속성의 개수가 감소된 속성 검색 메뉴에서 사용자가 2차로 속성 검색을 수행하게 함으로써 지나치게 많은 수의 속성이 표시됨으로 인한 사용자의 피로감을 줄이고 검색의 직관성을 향상시킬 수 있는 장점이 있다.
아울러, 저장 장치에 메타데이터로 저장된 속성 검색 항목들 만으로 속성 검색 메뉴를 출력하기 때문에 검색이 수행되었을 때, 검색 결과가 출력되지 않는 경우가 최소화될 수 있다는 장점이 있다.
또한, 본 발명에 따르면, 표준화되어 있지 않고 지원 가능한 속성도 서로 상이한 복수의 카메라로부터 제공된 다양한 영상을 통합적이고 체계화된 방식으로 검색할 수 있다는 장점도 있다.
도 1은 본 발명의 일 실시예에 따른 영상 감시 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 검색 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 검색 인터페이스에서 사용자가 객체 검색 메뉴를 통해 객체 검색 객체 검색을 수행하는 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 검색 인터페이스에서 사용자가 객체 검색 후, 속성 검색 메뉴 및 썸네일 이미지가 표시된 모습을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 검색 인터페이스에서 사용자가 표시된 중복 속성을 병합하는 과정을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 검색 인터페이스의 속성 검색 메뉴에 표시된 속성들 중 일부를 사용자가 선택하는 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 검색 인터페이스에서 사용자가 선택한 속성에 의해 속성 검색 메뉴가 변경된 모습을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따른 검색 인터페이스에서 사용자가 선택한 썸네일 이미지를 선택할 때, 상기 썸네일 이미지에 대응되는 영상이 재생되는 모습을 보여주는 도면이다.
도 9는 도 2의 영상 검색 장치를 구현하는 컴퓨팅 장치의 하드웨어 구성을 예시하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 검색 장치에서 수행되는 영상 검색 방법을 개략적으로 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 영상 감시 시스템(200)의 구성을 도시한 도면이다. 도 1에 따르면, 상기 시스템(300)은 복수의 카메라 장비(50: 50A, 50B, 50C) 및 다양한 종류의 영상 검색 장치(100: 100A, 100B, 100C)를 포함하며, 상기 장치들 상호 간에는 인터넷, 인트라넷과 같은 네트워크(10)를 통해 연결될 수 있다.
영상 검색 장치(100)는 예를 들어, 개인용 컴퓨터(100C), 모바일 단말(100A) 등으로 구현될 수 있으며, 네트워크 비디오 레코더(NVR)와 일체화된 컴퓨팅 장치(100B)로 구현될 수도 있다. 영상 검색 장치(100)는 인터넷 프로토콜 기반으로 상기 네트워크(10)를 통해 복수의 카메라 장비(50)에 접속되어, 상기 복수의 카메라 장비(50)로부터 촬영된 영상(image) 및 상기 영상에 인공지능(AI) 기반의 VA(video analytic)를 적용하여 얻어지는 메타데이터를 수신할 수 있다. 본 발명에서 영상(image)라고 함은, 비디오(video), 정지 영상(still image), MJPEG과 같은 비연속적 동영상도 포괄하는 의미로 사용된다.
상기 복수의 카메라 장비는 영상을 촬영하는 네트워크 카메라로서 자체에 인공지능 기반의 비디오 분석(video analytic) 기능을 갖는 카메라 장비와 그렇지 않은 카메라 장비를 포함할 수 있다. 이 때, 상기 비디오 분석 기능을 갖지 않는 카메라 장비는, 미도시된 별도의 비디오 분석 장치와 연동함으로써 상기 비디오 분석 기능을 갖는 카메라 장비와 동일하게 기능할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 검색 장치(100)의 구성을 도시한 블록도이다. 영상 검색 장치(100)는 프로세서와, 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하는 메모리를 포함하는 컴퓨팅 장치로서, 통신부(110), 메타데이터 추출부(150), 사용자 입력 장치(160), GUI 생성부(170)를 포함하여 구성될 수 있으며, 제어부(120), 저장 매체(130), 메타데이터 파서(140) 및 디스플레이 장치(180)를 더 포함할 수 있다.
도 2의 제어부(120)는 CPU, 마이콤, ECU, GPU와 같은 프로세서일 수 있으며, 영상 검색 장치(100) 내의 다른 블록들의 동작을 전반적으로 제어한다.
통신부(110)는, 복수의 카메라 장비(50)에 데이터를 요청하고, 그 응답으로서 복수의 카메라 장비(50)로부터 복수의 영상 및 복수의 메타데이터를 수신한다. 이를 위해 통신부(110)는 물리적인 통신 인터페이스를 구비하며 유/무선의 통신 매체를 통해 정해진 규약의 통신 프로토콜 기반으로 다른 장치들과 데이터를 송수신한다. 일반적으로 메타데이터라 함은 특정 영상에 포함된 객체(사람, 자동차, 동물 등)와 상기 객체가 갖는 다양한 속성들(크기, 모션, 성별, 색상, 세부 모델 등)을 비디오 분석을 통해 얻어낸 텍스트 데이터를 의미한다.
상기 수신된 영상 및 메타데이터는 저장 매체(130)에 저장된다. 상기 저장 매체(130)는 RAM (Random Access Memory), ROM (Read Only Memory), 하드 디스크, SSD (Solid State Drive), 메모리 카드 등 다양한 메모리 수단으로 구현될 수 있다.
사용자 입력 장치(160)는 사용자로부터 객체 검색 명령 및 속성 검색 명령을 수신하는 장치로서, 키보드, 마우스, 디지타이저, 전자 펜, 터치 패드, 터치 패널 등 다양한 태양으로 구현될 수 있다. 상기 객체 검색 명령이란 적어도 객체의 종류를 포함하고, 상기 복수의 카메라 장비에 대한 장치 식별자 및 영상 검색을 위한 시간 범위를 더 포함할 수 있다. 즉, 사용자는 객체 검색 명령을 통해 희망하는 객체를 검색하는 범위를 설정할 수 있다. 상기 범위에는 카메라 장비라는 공간적 범위와 날짜/시간이라는 시간적 범위가 포함된다.
또한, 상기 속성 검색 명령이란 상기 범위 내의 객체가 갖는 구체적인 속성을 검색하기 위한 명령을 의미한다. 이와 같이, 본 발명에서 객체 검색 명령은 객체의 종류 및 그 범위만을 결정할 뿐이고, 상기 속성 검색 명령에 의해 세부적인 속성을 결정할 수 있도록 되어 있으므로 2원화된 검색 구조를 갖는다고 볼 수 있다.
메타데이터 추출부(150)는 상기 복수의 메타데이터에서 상기 객체 검색 명령에 대응되는 객체들을 추출하는 객체 추출부(151)와, 상기 대응되는 객체들이 갖는 세부 속성들을 추출하는 속성 추출부(153)로 구성될 수 있다. 이를 위해, 메타데이터 추출부(150)는 상기 수신된 복수의 메타데이터를 규정된 포맷으로 판독하는 메타데이터 파서(metadata parser)(140)와 연동할 수 있다.
GUI(graphic user interface) 생성부(170)는 상기 사용자가 상기 속성 검색 명령을 통해 상기 추출된 속성들 중 적어도 하나를 선택할 수 있도록, 상기 추출된 속성들을 나열하여 표시하는 속성 검색 메뉴(도 3의 73)를 포함하는 검색 인터페이스(도 3의 70A)를 생성한다. 또한, GUI 생성부(170)는 상기 생성된 검색 인터페이스(70)를 디스플레이 장치(180)를 통해 사용자에게 제공한다. 상기 디스플레이 장치(180)는 LCD(liquid crystal display), OLED(organic light-emitting diode), PDP(plasma panel display), 양자점(Quantum-dot) 등 알려져 있는 통상의 디스플레이 수단으로 구현될 수 있다.
이러한 본 발명의 일 실시예에 따른 영상 검색 장치(100)의 일 특징은, 상기 객체 검색 명령이 변경되면, 상기 속성 검색 메뉴(73)에 포함되는 속성들도 동적으로 변경되어 상기 검색 인터페이스(70)에 표시된다는 점이다. 즉, 사용자에 의해 선택되는 객체의 종류, 카메라 장비, 및 시간 범위가 달라지면, 검색 인터페이스(70)에 포함된 속성 검색 메뉴(73)의 구성 자체도 달라진다.
이에 반해, 종래에는, 영상 검색 장치에서 지원하는 모든 속성(property or attribute)을 목록들을 사용자에게 표시하고 사용자가 이로부터 희망하는 선택 객체 및 속성을 선택하여 검색하는 방식이었다. 따라서, 실제 대상 카메라 장비나 검색 시간 범위에 속하는 객체들에게는 존재하지도 않는 속성들까지 메뉴에서 표시되므로 사용자가 직관적으로 검색을 수행하기 어려울 뿐 아니라, 상기 속성을 선택한 검색에서 검색 결과가 없음으로 표시될 때도 많다.
이러한 차이점을 분명히 보여주기 위해, 이하 도 3 내지 8을 참조하여, 본 발명의 일 실시예에 따른 검색 인터페이스(70)를 이용하여 사용자가 영상 검색을 하는 과정을 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 검색 인터페이스(70A)에서 사용자가 객체 검색 메뉴(71)를 통해 객체 검색 객체 검색을 수행하는 과정을 도시한 도면이다.
검색 인터페이스(70A)는 객체 검색 메뉴(71) 및 속성 검색 메뉴(73)를 포함하여 구성될 수 있다. 사용자는 객체 검색 메뉴(71)를 통해 객체 검색 명령을 입력할 수 있고, 속성 검색 메뉴(73)를 통해 속성 검색 명령을 입력할 수 있다.
상기 객체 검색 명령은 상기 복수의 카메라 장비에 대한 장치 식별자(Camera ID), 영상 검색을 위한 시간 범위(Time range) 및 상기 객체들의 종류(Object type)를 포함하여 구성될 수 있다. 도 3을 참조하면, 사용자는 상기 객체 검색 명령을 통해, 장치 식별자(Camera ID)로서 ca_1, ca_2 및 cctv2를 포함한 3개의 카메라 장비를 지정하고, 시간 범위로서 2022-01-01 자정부터 2022-01-05 정오까지로 설정하였으며, 4개의 객체 종류(Object type) 중에서 차량(81)을 선택하였음을 알 수 있다. 일 실시예로서, 상기 객체 종류(Object type)는 순서대로 사람, 인식된 얼굴, 인식되지 않은 얼굴 및 차량을 대표하는 아이콘들에 의해 표현되어 있다.
또한, 상기 검색 인터페이스(70A)는 예를 들어 중앙 위치에, 상기 복수의 영상에 대응되는 복수의 썸네일 이미지(도 4의 76A 참조)를 함께 표시하는 썸네일 영역(75)을 더 포함할 수 있다. 현재는 사용자가 객체 검색을 위한 항목들만 입력하고, 아직 OK 버튼(84-2)을 누르기 전(객체 검색 명령을 입력하기 전)이어서 복수의 썸네일 이미지가 썸네일 영역(75)에 나타나 있지는 않다.
또한, 상기 검색 인터페이스(70A)는 예를 들어, 우측 상단 위치에 사용자가 지정한 썸네일 이미지에 대응되는 영상을 재생하여 표시하는 영상 재생 영역(77)을 더 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 검색 인터페이스(70B)에서 사용자가 객체 검색 후, 속성 검색 메뉴(73) 및 썸네일 이미지(76A)가 표시된 모습을 보여주는 도면이다. 도 3의 검색 인터페이스(70A)에서 사용자가 OK 버튼(84-2)을 눌렀을 때에는 비로소 객체 검색 명령이 실행되고 도 4와 같은 검색 인터페이스(70B)가 디스플레이 장치(180) 상에 표시된다.
이 때, 상기 복수의 카메라 장비(50)가 지원하는 영상의 특성 및 상기 객체들이 갖는 속성의 항목은 카메라 장비별로 상이하다. 상기 영상의 특성이란 카메라 장비별로 상이한 영상의 크기, 해상도(resolution), 종횡비(aspect ratio) 등을 의미한다. 도 4에 도시된 바와 같이 썸네일 이미지들(76A)의 크기와 종횡비 등은 제각각일 수 있다.
또한, 각각의 카메라 장비가 갖는 속성을 분류하는 기준도 상이하므로, 동일한 속성이 다른 표현으로 나타날 수도 있고, 서로 구별이 어려운 유사한 대상이 함께 포함되어 있을 수도 있다. 다음의 표 1은 3개의 카메라 장비 제조사(H사, F사, P사)에서 차량 타입(vehicle type) 및 차량 색상(vehicle color)의 항목 개수, 분류 기준 및 명칭이 판이하다는 것을 알 수 있다. 예를 들어, H사의 Motorcycle 및 F사의 Bike는 동일한 속성임으로 표현이 상이하며, F사에는 다른 제조사와는 달리 Bicycle이라는 속성이 존재하지도 않는다. 또한, P사는 차량 타입만 속성으로 제공하고 차량 색상이라는 속성 자체를 제공하지 않는다. 이와 같이 카메라 장비 제조사 별로 제각각인 속성을 모두 포함하여 표시한다면 사용자는 제대로 된 검색을 수행하기도 어려울 것이다.
카메라 장비 제조사 속성
차량 타입 차량 색상
H사 UndefinedCar (Sedan, SUV)TruckBusMotorcycleBicycle BlackGrayWhiteRedOrangeYellowGreenBlueMagenta
F사 UndefinedCarSUVVanLCVTruckBusBike BeigeBlackBlueBrownGrayGreenOrangeRedWhiteYellowSilver
P사 PassengerVanSUVTruckBusBicycle 없음
도 4의 검색 인터페이스(70B)는, 사용자가 객체 검색 명령을 통해 설정한 객체에 속하는 속성만으로 구성된 속성 검색 메뉴(73)를 표시하므로, 사용자는 실제로 존재하는 속성(속성 검색 메뉴(73))을 이용하여 추가적인 검색을 수행하거나, 아니면 현재 표시된 결과 자체로 영상을 모니터링할 수 있게 된다.
도 4의 속성 검색 메뉴(73)는 "승용차, 버스 및 트럭"을 포함한 차량 종류 속성(-Type)과, "흰색 및 검은색"을 포함한 차량 색상 속성(-Color)과, "Hyundai, Volkswagen 및 HMC"를 포함한 제조자 속성(-Manufacturer)과, "Avante, Porter, Golf 및 Eleccity"를 포함한 차량 모델 속성(-Car model)으로 구성된다. 이와 함께, 썸네일 영역(75)에는 상기 속성 검색 메뉴(73)에 포함된 속성을 만족하는 썸네일 이미지들(76A)이 나열된다.
도 5는 본 발명의 일 실시예에 따른 검색 인터페이스(70C)에서 사용자가 표시된 중복 속성을 병합하는 과정을 도시한 도면이다. 전술한 바와 같이 도시된 속성 검색 메뉴(73)에는 "Hyundai, Volkswagen 및 HMC"를 포함한 제조자 속성(-Manufacturer)이 표시되어 있다. 그런데, Hyundai와 HMC(약자 표현)는 실제로 동일한 제조사이며 표현 방식만 상이할 뿐이다. 사용자는 이러한 동일한 속성을 대표명화하여 추후에는 통합된 하나의 속성으로만 표시되기를 원할 수 있다.
이에 따라, 상기 사용자가 Hyundai와 HMC를 모두 선택한 후 병합 버튼(84-1)을 누르면 향후에는 단일의 속성만으로 통합되어 표시된다. 다만, 2개의 명칭 중에서 어느 것을 기준으로 명명할 것인지 결정하여야 하지만 먼저 선택된 속성으로 명명하는 방식을 채택할 수 있을 것이다. 이와 같이, 동일하지만 서로 다른 표현의 속성을 병합한 정보는 향후 사용을 위해 저장 매체(130)에 매핑 테이블 형식으로 저장될 수 있다.
도 6은 본 발명의 일 실시예에 따른 검색 인터페이스(70D)의 속성 검색 메뉴(73)에 표시된 속성들 중 일부를 사용자가 선택하는 과정을 도시한 도면이다. 사용자가 상기 속성 검색 명령에 의해 상기 속성 검색 메뉴(73)에 표시되는 속성들 중에서 적어도 하나를 선택하면, 상기 복수의 썸네일 이미지(76A) 중에서 상기 선택된 속성에 해당되는 썸네일 이미지(76B)만 필터링되어 상기 썸네일 영역(75)에 표시될 수 있다.
구체적으로 도 6을 참조하면, 사용자는 속성 검색 메뉴(73)에서 차량 종류 속성(-Type)으로는 "승용차와 트럭"을 선택하고, 제조자 속성(-Manufacturer)으로는 "Hyundai"를 선택하였음을 알 수 있다. 이 상태에서 사용자가 OK 버튼(84-2)을 누르면, 원래 표시되던 9개의 썸네일 이미지(76A) 중에서 상기 속성 조건을 만족하는 썸네일 이미지(76B)만 썸네일 영역(75)에 표시된다. 이 때, 도 6에서는 상기 썸네일 이미지(76B)는 원래의 위치에 표시되는 것으로 예시하였지만 이에 한하지 않고 썸네일 이미지(76B) 사이에 여백없이 인접하도록 표시할 수도 있을 것이다.
한편, 도시된 바와 같이, 도 6의 속성 검색 메뉴(73)에서는 차량 종류 속성(-Type) 및 제조자 속성(-Manufacturer)이 선택되고, 차량 색상 속성(-Color)과 차량 모델 속성(-Car model)은 아예 선택되지 않았지만 검색 결과를 나타내는 데에는 문제가 없다. 이와 같이, 사용자가 세부 속성 검색을 위해, 상기 속성 검색 메뉴(73) 상에서 복수의 속성들이 함께 선택되어도 되고, 선택되지 않은 속성이 존재하여도 된다.
도 7은 본 발명의 일 실시예에 따른 검색 인터페이스(70E)에서 사용자가 선택한 속성에 의해 속성 검색 메뉴(73)가 변경된 모습을 보여주는 도면이다. 도 6에서 사용자가 차량 종류 속성(-Type) 및 제조자 속성(-Manufacturer)을 선택하고 OK 버튼(84-2)을 눌러 속성 검색 명령을 실행한 결과는 도 7과 같이 속성 검색 메뉴(73)는 사용자가 선택한 속성만으로 축약되어 표시될 수 있다.
도 8은 본 발명의 일 실시예에 따른 검색 인터페이스(70F)에서 사용자가 선택한 썸네일 이미지(76B)를 선택할 때, 상기 썸네일 이미지(76B)에 대응되는 영상(비디오)가 재생되는 모습을 보여주는 도면이다. 사용자가 썸네일 영역(75)에 표시된 썸네일 이미지(76B) 중에서 어느 하나(76-1)를 선택하면, 상기 선택된 썸네일 이미지(76-1)에 대응되는 영상이 영상 재생 영역(77)에서 재생될 수 있다. 상기 영상의 재생을 위해서 상기 재생 영역(77)의 하단에는 재생 컨트롤 박스(78)가 표시될 수 있으며, 사용자는 상기 재생 컨트롤 박스(78)를 통해, 재생, 정지, 일시정지, 패스트 포워드(fast-forward), 패스드 리와인드(fast-rewind), 점프 등의 트릭 재생(trick play)을 수행할 수 있다.
또한, 상기 영상 재생 영역(77)에서 해당 영상이 재생될 때, 상기 영상에 포함된 객체와 관련된 텍스트 정보(79)가 상기 재생되는 영상과 함께 표시될 수 있다. 도 8을 참조하면, 현재 재생되는 영상은 "cctv2" 카메라 장비에 의해 "2022-01-01 07:30"에 촬영되었으며, 그 영상에 포함된 차량의 속성은 "Hyundai"가 제조한 "white" 색상의 Avante" 모델임을 알 수 있다.
도 9는 도 2의 영상 검색 장치(100)를 구현하는 컴퓨팅 장치(300)의 하드웨어 구성을 예시하는 도면이다.
컴퓨팅 장치(300)는 버스(320), 프로세서(330), 메모리(340), 스토리지(350), 입출력 인터페이스(310) 및 네트워크 인터페이스(360)를 가진다. 버스(320)는 프로세서(330), 메모리(340), 스토리지(350), 입출력 인터페이스(310) 및 네트워크 인터페이스(360)가 서로 데이터를 송수신하기 위한 데이터 전송로이다. 단, 프로세서(330) 등을 서로 접속하는 방법은 버스 연결로 제한되지 않는다. 프로세서(330)는 CPU (Central Processing Unit)나 GPU (Graphics Processing Unit) 등의 연산 처리 장치이다. 메모리(340)는 RAM (Random Access Memory)나 ROM (Read Only Memory) 등의 메모리이다. 스토리지(350)는 하드 디스크, SSD (Solid State Drive), 또는 메모리 카드 등의 저장 장치이다. 또한 스토리지(350)는 RAM 나 ROM 등의 메모리일 수 있다.
입출력 인터페이스(310)는 컴퓨팅 장치(300)와 입출력 디바이스를 접속하기 위한 인터페이스이다. 예를 들면 입출력 인터페이스(310)에는 키보드나 마우스 등이 접속된다.
네트워크 인터페이스(360)는 컴퓨팅 장치(300)을 외부 장치와 통신 가능하게 접속하여 전송 패킷을 송수신하기 위한 인터페이스이다. 네트워크 인터페이스(360)는 유선 회선과 접속하기 위한 네트워크 인터페이스라도 좋고 무선 회선과 접속하기 위한 네트워크 인터페이스라도 좋다. 예를 들면, 컴퓨팅 장치(300)는 네트워크(50)를 통해 다른 컴퓨팅 장치(300-1)와 접속될 수 있다.
스토리지(350)는 컴퓨팅 장치(300)의 각 기능을 구현하는 프로그램 모듈을 기억하고 있다. 프로세서(330)는 이들 각 프로그램 모듈을 실행함으로써, 그 프로그램 모듈에 대응하는 각 기능을 구현한다. 여기서 프로세서(330)는 상기 각 모듈을 실행할 때, 이 모듈들을 메모리(340) 상으로 읽어낸 후 실행할 수 있다.
다만, 컴퓨팅 장치(300)의 하드웨어 구성은 도 9에 나타낸 구성으로 제한되지 않는다. 예를 들면 각 프로그램 모듈은 메모리(340)에 저장되어도 좋다. 이 경우, 컴퓨팅 장치(300)는 스토리지(350)을 구비하지 않아도 된다.
이와 같이, 영상 검색 장치(100)는 적어도, 프로세서(330)와 상기 프로세서(330)에 의해 실행 가능한 인스트럭션들(instructions)을 저장하는 메모리(340)를 포함한다. 특히, 도 2의 영상 검색 장치(100)는 상기 영상 검색 장치(100)에 포함된 다양한 기능 블록들 내지 단계들을 포함하는 인스트럭션들이 상기 프로세서(330)에 의해 수행됨으로써 동작된다.
도 10은 본 발명의 일 실시예에 따른 영상 검색 장치(100)에서 수행되는 영상 검색 방법을 개략적으로 도시한 흐름도이다.
먼저, 통신부(110)는 복수의 카메라 장비(50)로부터 복수의 영상 및 복수의 메타데이터를 수신한다(S91). 또한, 사용자 입력 장치(160)는 사용자로부터 통해 객체 검색 명령 및 속성 검색 명령을 수신한다(S92).
다음으로, 메타데이터 추출부(150)는 상기 복수의 메타데이터에서 상기 객체 검색 명령에 대응되는 객체들을 추출하고, 상기 대응되는 객체들이 갖는 속성들을 추출한다(S93).
GUI 생성부(170)는 상기 사용자가 상기 속성 검색 명령을 통해 상기 추출된 속성들 중 적어도 하나를 선택할 수 있도록, 상기 추출된 속성들을 나열하여 표시하는 속성 검색 메뉴(73)를 갖는 검색 인터페이스(70)를 생성한다(S94).
그리고, 상기 생성된 검색 인터페이스(70)를 디스플레이 장치(180)를 통해 상기 사용자에게 표시한다(S95).
이 때, 상기 사용자에 의해 상기 객체 검색 명령(상기 복수의 카메라 장비에 대한 장치 식별자, 영상 검색을 위한 시간 범위, 상기 객체들의 종류 등)이 변경되면, 상기 속성 검색 메뉴(73)에 포함되는 속성들도 동적으로 변경되어 상기 검색 인터페이스(70)에 표시된다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

Claims (20)

  1. 프로세서와, 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하는 메모리를 포함하는 영상 검색 장치로서,
    복수의 카메라 장비로부터 복수의 영상 및 복수의 메타데이터를 수신하는 통신부;
    사용자로부터 객체 검색 명령 및 속성 검색 명령을 수신하는 사용자 입력 장치;
    상기 복수의 메타데이터에서 상기 객체 검색 명령에 대응되는 객체들을 추출하고, 상기 대응되는 객체들이 갖는 속성들을 추출하는 메타데이터 추출부; 및
    상기 사용자가 상기 속성 검색 명령을 통해 상기 추출된 속성들 중 적어도 하나를 선택할 수 있도록, 상기 추출된 속성들을 나열하여 표시하는 속성 검색 메뉴를 포함하는 검색 인터페이스를 생성하고, 상기 생성된 검색 인터페이스를 상기 사용자에게 제공하는 GUI 생성부를 포함하되,
    상기 객체 검색 명령이 변경되면, 상기 속성 검색 메뉴에 포함되는 속성들도 동적으로 변경되어 상기 검색 인터페이스에 표시되는, 영상 검색 장치.
  2. 제1항에 있어서,
    상기 수신된 복수의 메타데이터를 규정된 포맷으로 판독하는 메타데이터 파서; 및
    상기 복수의 영상 및 상기 판독된 메타데이터를 저장하는 저장 매체를 더 포함하는, 영상 검색 장치.
  3. 제1항에 있어서,
    상기 속성 검색 메뉴 상에서 복수의 속성들이 함께 선택될 수도 있고, 선택되지 않은 속성이 존재하는 것이 허용되는, 영상 검색 장치.
  4. 제2항에 있어서,
    상기 객체 검색 명령은 상기 복수의 카메라 장비에 대한 장치 식별자, 영상 검색을 위한 시간 범위 및 상기 객체들의 종류를 포함하는, 영상 검색 장치.
  5. 제4항에 있어서, 상기 객체들의 종류는
    사람, 인식된 얼굴, 인식되지 않은 얼굴 및 차량을 포함하는, 영상 검색 장치.
  6. 제4항에 있어서, 상기 복수의 카메라 장비는
    인공지능 기반의 비디오 분석 기능을 갖는 카메라와 상기 비디오 분석 기능을 갖지 않는 카메라를 함께 포함하는, 영상 검색 장치.
  7. 제4항에 있어서,
    상기 복수의 카메라 장비가 지원하는 영상의 특성 및 상기 객체들이 갖는 속성의 항목은 카메라 장비별로 상이한, 영상 검색 장치.
  8. 제4항에 있어서, 상기 검색 인터페이스는
    동일한 속성임에도 상기 복수의 카메라 장비에서 서로 다른 속성으로 명명된 속성들을 단일의 속성으로 병합하기 위한 병합 버튼을 포함하는, 영상 검색 장치.
  9. 제4항에 있어서, 상기 검색 인터페이스는
    상기 복수의 영상에 대응되는 복수의 썸네일 이미지를 함께 표시하는 썸네일 영역을 더 포함하는, 영상 검색 장치.
  10. 제9항에 있어서,
    사용자가 상기 속성 검색 명령에 의해 상기 속성 검색 메뉴에 표시되는 속성들 중에서 적어도 하나를 선택하면, 상기 복수의 썸네일 이미지 중에서 상기 선택된 속성에 해당되는 썸네일 이미지만 필터링되어 상기 썸네일 영역에 표시되는, 영상 검색 장치.
  11. 제9항에 있어서,
    사용자가 상기 속성 검색 명령에 의해 상기 속성 검색 메뉴에 표시되는 속성들 중에서 적어도 하나를 선택하면, 상기 속성 검색 메뉴도 상기 선택된 속성들만 포함하도록 변경되는, 영상 검색 장치.
  12. 제9항에 있어서, 상기 검색 인터페이스는
    상기 복수의 썸네일 이미지 중에서 사용자에 의해 선택된 썸네일 이미지에 대응되는 영상을 재생하여 표시하는 영상 재생 영역을 더 포함하는, 영상 검색 장치.
  13. 제12항에 있어서,
    상기 영상 재생 영역에서 영상이 재생될 때, 상기 영상에 포함된 객체와 관련된 텍스트 정보가 상기 재생되는 영상과 함께 표시되는, 영상 검색 장치.
  14. 프로세서와, 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하는 메모리를 포함하는 영상 검색 장치에서, 상기 인스트럭션들에 의해 수행되는 영상 검색 방법으로서,
    복수의 카메라 장비로부터 복수의 영상 및 복수의 메타데이터를 수신하는 단계;
    사용자로부터 객체 검색 명령 및 속성 검색 명령을 수신하는 단계;
    상기 복수의 메타데이터에서 상기 객체 검색 명령에 대응되는 객체들을 추출하고, 상기 대응되는 객체들이 갖는 속성들을 추출하는 단계;
    상기 사용자가 상기 속성 검색 명령을 통해 상기 추출된 속성들 중 적어도 하나를 선택할 수 있도록, 상기 추출된 속성들을 나열하여 표시하는 속성 검색 메뉴를 포함하는 검색 인터페이스를 생성하는 단계; 및
    상기 생성된 검색 인터페이스를 상기 사용자에게 제공하는 단계를 포함하되,
    상기 객체 검색 명령이 변경되면, 상기 속성 검색 메뉴에 포함되는 속성들도 동적으로 변경되어 상기 검색 인터페이스에 표시되는, 영상 검색 방법.
  15. 제14항에 있어서,
    상기 수신된 복수의 메타데이터를 규정된 포맷으로 판독하는 단계; 및
    상기 복수의 영상 및 상기 판독된 메타데이터를 저장하는 단계를 더 포함하는, 영상 검색 방법.
  16. 제14항에 있어서,
    상기 속성 검색 메뉴 상에서 복수의 속성들이 함께 선택될 수도 있고, 선택되지 않은 속성이 존재하는 것이 허용되는, 영상 검색 방법.
  17. 제15항에 있어서,
    상기 객체 검색 명령은 상기 복수의 카메라 장비에 대한 장치 식별자, 영상 검색을 위한 시간 범위 및 상기 객체들의 종류를 포함하는, 영상 검색 방법.
  18. 제17항에 있어서, 상기 객체들의 종류는
    사람, 인식된 얼굴, 인식되지 않은 얼굴 및 차량을 포함하는, 영상 검색 방법.
  19. 제17항에 있어서, 상기 복수의 카메라 장비는
    인공지능 기반의 비디오 분석 기능을 갖는 카메라와 상기 비디오 분석 기능을 갖지 않는 카메라를 함께 포함하는, 영상 검색 방법.
  20. 제17항에 있어서,
    상기 복수의 카메라 장비가 지원하는 영상의 특성 및 상기 객체들이 갖는 속성의 항목은 카메라 장비별로 상이한, 영상 검색 방법.
PCT/KR2023/004716 2022-04-14 2023-04-07 영상 검색 장치 및 방법 WO2023200187A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0046359 2022-04-14
KR1020220046359A KR20230147390A (ko) 2022-04-14 2022-04-14 영상 검색 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023200187A1 true WO2023200187A1 (ko) 2023-10-19

Family

ID=88329948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/004716 WO2023200187A1 (ko) 2022-04-14 2023-04-07 영상 검색 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230147390A (ko)
WO (1) WO2023200187A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100670605B1 (ko) * 2005-08-31 2007-01-17 한국정보통신대학교 산학협력단 멀티미디어 콘텐츠 서비스 시스템과 방법 및 그 기록매체
US20070214123A1 (en) * 2006-03-07 2007-09-13 Samsung Electronics Co., Ltd. Method and system for providing a user interface application and presenting information thereon
KR102017853B1 (ko) * 2016-09-06 2019-09-03 주식회사 카카오 검색 방법 및 장치
KR102254037B1 (ko) * 2020-11-13 2021-05-20 주식회사 인텔리빅스 영상분석장치 및 그 장치의 구동방법
KR20220037696A (ko) * 2020-09-18 2022-03-25 네이버 주식회사 연관 정보 제공 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4987629U (ko) 1972-11-17 1974-07-30

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100670605B1 (ko) * 2005-08-31 2007-01-17 한국정보통신대학교 산학협력단 멀티미디어 콘텐츠 서비스 시스템과 방법 및 그 기록매체
US20070214123A1 (en) * 2006-03-07 2007-09-13 Samsung Electronics Co., Ltd. Method and system for providing a user interface application and presenting information thereon
KR102017853B1 (ko) * 2016-09-06 2019-09-03 주식회사 카카오 검색 방법 및 장치
KR20220037696A (ko) * 2020-09-18 2022-03-25 네이버 주식회사 연관 정보 제공 방법 및 시스템
KR102254037B1 (ko) * 2020-11-13 2021-05-20 주식회사 인텔리빅스 영상분석장치 및 그 장치의 구동방법

Also Published As

Publication number Publication date
KR20230147390A (ko) 2023-10-23

Similar Documents

Publication Publication Date Title
WO2014148696A1 (en) Display device detecting gaze location and method for controlling thereof
WO2015108236A1 (ko) 요약 영상 브라우징 시스템 및 방법
WO2013105760A1 (en) Contents providing system and operating method thereof
WO2010011026A2 (ko) 이미지를 이용한 검색 시스템
WO2014069943A1 (en) Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof
WO2011053046A2 (ko) 엑셀기반 분석보고서 작성 시스템 및 방법
WO2018097389A1 (ko) 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치
WO2014030929A1 (ko) 홈 네트워크에서의 미디어 콘텐츠 공유를 위한 사용자 인터페이스를 제공하는 장치 및 프로그램이 기록된 기록매체
WO2012099315A1 (en) Method and apparatus for controlling device
WO2014175520A1 (en) Display apparatus for providing recommendation information and method thereof
WO2012141433A2 (ko) 피디에프 문서 기반의 이북용 멀티미디어 재생 시스템 및 그 재생 방법, 그리고 이를 구현한 피씨 또는 모바일 장치용 어플리케이션
WO2012046899A1 (ko) 영상 감시 장치 및 그 이벤트 감지 방법
WO2015122564A1 (en) Display apparatus and control method thereof
WO2012033337A2 (en) Multimedia apparatus and method for providing content
WO2011031102A2 (en) Search method, apparatus, and system for providing preview information
WO2015080371A1 (en) Image search system and method
WO2022139145A1 (ko) 유연한 슈퍼픽셀에 기초한 의료 영상 라벨링 방법 및 이를 위한 장치
WO2023200187A1 (ko) 영상 검색 장치 및 방법
WO2011031103A2 (en) Display method, and user terminal and system for transmitting and receiving data using the same
WO2013133545A1 (en) Search system and operating method thereof
WO2011053060A2 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2016163568A1 (ko) 텍스트정보를 포함하는 stl 파일과, 이를 이용한 stl 파일 검색 및 관리시스템
EP3895116A1 (en) Display system for sensing defect on large-size display
WO2017222226A1 (ko) 영상 컨텐츠에 광고상품을 등록하는 방법 및 이를 실행하는 서버
WO2021101269A1 (ko) 가상 응원봉을 이용한 인터랙션 제공 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788538

Country of ref document: EP

Kind code of ref document: A1