KR102649806B1 - 객체 이미지 표준화 장치 및 방법 - Google Patents

객체 이미지 표준화 장치 및 방법 Download PDF

Info

Publication number
KR102649806B1
KR102649806B1 KR1020210170004A KR20210170004A KR102649806B1 KR 102649806 B1 KR102649806 B1 KR 102649806B1 KR 1020210170004 A KR1020210170004 A KR 1020210170004A KR 20210170004 A KR20210170004 A KR 20210170004A KR 102649806 B1 KR102649806 B1 KR 102649806B1
Authority
KR
South Korea
Prior art keywords
image
unit
standardization
illuminance
snapshot
Prior art date
Application number
KR1020210170004A
Other languages
English (en)
Other versions
KR20230082255A (ko
Inventor
정재호
Original Assignee
주식회사 포딕스시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포딕스시스템 filed Critical 주식회사 포딕스시스템
Priority to KR1020210170004A priority Critical patent/KR102649806B1/ko
Publication of KR20230082255A publication Critical patent/KR20230082255A/ko
Application granted granted Critical
Publication of KR102649806B1 publication Critical patent/KR102649806B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 이미지 표준화 장치 및 방법에 관한 것으로, 더욱 상세하게는 획득되는 영상의 검색을 위한 스냅샷 이미지에 대응하는 객체 이미지의 생성 및 저장 시 객체 이미지를 표준화하여 저장하는 객체 이미지 표준화 장치 및 방법에 관한 것이다.

Description

객체 이미지 표준화 장치 및 방법{Object Image standardization apparatus and method thereof}
본 발명은 객체 이미지 표준화 장치 및 방법에 관한 것으로, 더욱 상세하게는 획득되는 영상의 검색을 위한 스냅샷 이미지에 대응하는 객체 이미지의 생성 및 저장 시 객체 이미지를 표준화하여 저장하는 객체 이미지 표준화 장치 및 방법에 관한 것이다.
영상기술 및 카메라 기술이 발전함에 따라 다양한 분야에서 무수히 많은 영상이 만들어지고 있다.
일반적으로 시, 도, 군 등과 같은 지자체들은 시민의 안전 및 치안을 위해 거리 및 다양한 장소에 다수의 폐쇄 회로 텔레비전(Closed Circuit Television: CCTV), 인공지능(Artificial Intelligence: AI) 엣지(Edge) 카메라 등의 영상획득장치를 설치하고 있다.
지자체뿐만 아니라 건물에는 건물 내의 보안을 위해 다수의 CCTV, AI 엣지 카메라 등의 영상획득장치가 설치되고 있으며, 최근에는 일반 가정에도 치안, 보안 및 육아 돌봄 등을 위해 가정용 CCTV 등의 영상획득장치가 설치되고 있다.
이처럼 CCTV, AI 엣지 카메라 등의 영상획득장치로부터 획득되는 영상은 다양한 종류의 영상기록시스템에 저장된다.
통상적으로, 영상기록시스템은 촬영되는 영상을 저장수단에 저장하였다가 추후 확인할 수 있도록 할 뿐만 아니라 인터넷을 통해 실시간 확인할 수 있도록 한다.
이때, 영상기록시스템은 저장된 무수히 많은 영상 중 원하는 영상 및 영상 내의 객체를 빠르게 검색하기 위해 객체들에 대한 스냅샷 이미지인 객체 이미지를 생성하여 해당 영상과 맵핑하여 저장한 후, 검색할 검색 이미지를 입력받고, 상기 객체 이미지들과 검색 이미지를 비교하면서 검색 이미지에 대응하는 객체 이미지를 검색하여 상기 검색 이미지를 포함하는 영상 및 상기 객체 이미지를 포함하는 영상의 위치를 제공한다.
일반적으로, 종래 영상기록시스템은 획득되는 영상으로부터 프레임 이미지를 획득하고, 프레임 이미지에서 객체를 검출하며, 검출된 객체를 크롭(Crop)하여 객체 이미지를 생성한다.
상술한 바와 같이 종래 영상기록시스템은 저장되는 영상들에 대한 프레임 이미지로부터 검출된 객체를 그대로 잘라 객체 이미지를 저장하므로, 객체 이미지들의 조도, 해상도 및 크기가 불규칙하고, 입력되는 검색 이미지의 조도, 해상도 및 크기도 불규칙한 문제점이 있다.
이와 같이 객체 이미지 및 검색 이미지의 조도, 해상도 및 크기가 불규칙함에 따라 종래 영상기록시스템은 임의의 조도, 해상도 및 크기를 가지는 검색 이미지와 불규칙적인 조도, 해상도 및 크기를 가지는 객체 이미지들을 비교하여 검색을 수행하므로 동일 객체에 대한 이미지임에도 불구하고 검색하지 못하는 경우가 빈번하게 발생되는 문제점이 있었다.
대한민국 등록특허 제10-1942770호(2019.01.28.공고) 대한민국 등록특허 제10-2194409호(2020.12.24.공고)
따라서 본 발명의 목적은 획득되는 영상의 검색을 위한 스냅샷 이미지에 대응하는 객체 이미지의 저장 시 객체 이미지의 조도, 해상도 및 크기를 표준화하여 저장하는 객체 이미지 표준화 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 객체 이미지 표준화 장치는: 영상을 획득하고, 획득되는 영상으로부터 프레임 이미지를 생성하여 출력하는 이미지 획득부; 상기 프레임 이미지로부터 객체를 검출하고, 검출된 객체에 대한 객체 검출정보를 출력하는 객체 검출부; 하나 이상의 영상 및 각 영상의 객체 이미지 및 객체 이미지의 영상 내 위치정보를 저장하는 저장부; 및 상기 객체 검출부로부터 객체 검출 정보를 입력받아 이미지 획득부로부터 입력되는 프레임 이미지에서 상기 객체 검출정보의 객체를 크롭하여 객체 이미지를 생성하고, 상기 객체 이미지를 표준화하여 상기 저장부의 해당 영상에 맵핑하여 저장하는 객체 스냅샷 표준화부를 포함하는 것을 특징으로 한다.
상기 객체 스냅샷 표준화부는, 상기 객체 검출부로부터 입력되는 객체 검출 정보에 기반하여 상기 프레임 이미지로부터 검출 객체를 크롭하여 스냅샷 이미지인 객체 이미지를 출력하는 객체 크롭부; 상기 객체 이미지의 조도를 보정하여 출력하는 조도 보정부; 조도 보정된 상기 객체 이미지의 크기를 미리 설정된 크기로 조절하는 이미지 크기 조절부를 포함하는 것을 특징으로 한다.
상기 객체 스냅샷 표준화부는, 상기 조도 보정된 상기 객체 이미지를 고해상화 인공지능 신경망에 적용하여 상기 객체 이미지의 해상도를 높여 출력하는 고해상화부를 더 포함하되, 상기 이미지 크기 조절부는, 조도 보정 및 고해상화된 상기 객체 이미지의 크기를 조절하는 것을 특징으로 한다.
상기 조도 보정부는, 상기 객체 이미지의 평균 조도를 검출하여 출력하는 평균 조도 검출부; 및 검출된 상기 객체 이미지의 평균 조도와 미리 설정된 기준 조도를 비교하여 상기 기준 조도와 평균 조도의 차이값에 대응하여 조도를 조절하는 조도 조절부를 포함하는 것을 특징으로 한다.
상기 이미지 크기 조절부는, 상기 객체 검출부로부터 검출된 객체에 대한 객체 검출 정보의 객체 분류정보에 의해 상기 객체 이미지의 객체 종류를 결정하는 객체 종류 분류부; 상기 결정된 객체 종류에 대응하는 크기 조절 기준 및 그에 대응하는 기준값을 결정하는 조절 기준 결정부; 및 상기 결정된 크기 조절 기준 및 기준값에 따라 상기 객체 이미지의 크기를 미리 설정된 크기로 조절하는 리사이즈부를 포함하는 것을 특징으로 한다.
상기 장치는: 검색 이미지를 입력받아 상기 객체 스냅샷 표준화부로 제공하여, 상기 객체 스냅샷 표준화부로부터 상기 검색 이미지를 표준화한 표준화 검색 이미지를 입력받고, 상기 표준화 검색 이미지와 저장부에 저장된 객체 이미지들을 비교하여 상기 검색 이미지에 대응하는 객체 이미지를 검색하여 출력하는 객체 검색부를 더 포함하되, 상기 객체 스냅샷 표준화부는, 객체 이미지 저장 모드 및 검색 모드 중 어느 하나를 입력받아 설정하는 모드 설정부를 더 포함하되, 상기 이미지 크기 조절부는, 상기 객체 이미지 저장 모드에서 표준화된 객체 이미지를 저장부에 저장하고, 검색 모드에서 표준화된 표준화 검색 이미지를 상기 객체 검출부로 출력하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 객체 이미지 표준화 방법은: 이미지 획득부가 영상을 획득하고, 획득되는 영상으로부터 프레임 이미지를 생성하여 출력하는 이미지 획득 과정; 객체 검출부가 상기 이미지 획득부로부터 입력되는 상기 프레임 이미지로부터 객체를 검출하고, 검출된 객체에 대한 객체 검출정보를 출력하는 객체 검출 과정; 및 객체 스냅샷 표준화부가 상기 객체 검출부로부터 객체 검출 정보를 입력받아 이미지 획득부로부터 입력되는 프레임 이미지에서 상기 객체 검출정보의 객체를 크롭하여 객체 이미지를 생성하고, 상기 객체 이미지를 표준화하여 하나 이상의 영상 및 각 영상의 객체 이미지 및 객체 이미지의 영상 내 위치정보를 저장하는 저장부의 해당 영상에 맵핑하여 저장하는 객체 스냅샷 표준화 과정을 포함하는 것을 특징으로 한다.
상기 객체 스냅샷 표준화 과정은, 상기 객체 스냅샷 표준화부가 객체 크롭부를 통해 상기 객체 검출부로부터 입력되는 객체 검출 정보에 기반하여 상기 프레임 이미지로부터 검출 객체를 크롭하여 스냅샷 이미지인 객체 이미지를 출력하는 객체 크롭 단계; 상기 객체 스냅샷 표준화부가 조도 보정부를 통해 상기 객체 이미지의 조도를 보정하여 출력하는 조도 보정 단계; 상기 객체 스냅샷 표준화부가 이미지 크기 조절부를 통해 조도 보정된 상기 객체 이미지의 크기를 미리 설정된 크기로 조절하는 이미지 크기 조절 단계를 포함하는 것을 특징으로 한다.
상기 객체 스냅샷 표준화 과정은, 상기 객체 스냅샷 표준화부가 고해상화부를 통해 상기 조도 보정된 상기 객체 이미지를 고해상화 인공지능 신경망에 적용하여 상기 객체 이미지의 해상도를 높여 출력하는 고해상화 단계를 더 포함하되, 상기 이미지 크기 조절 단계는, 조도 보정 및 고해상화된 상기 객체 이미지의 크기를 조절하는 것을 특징으로 한다.
상기 조도 보정 단계는, 평균조도 검출부를 통해 상기 객체 이미지의 평균 조도를 검출하여 출력하는 평균 조도 검출 단계; 및 조도 조절부를 통해 검출된 상기 객체 이미지의 평균 조도와 미리 설정된 기준 조도를 비교하여 상기 기준 조도와 평균 조도의 차이값에 대응하여 조도를 조절하는 조도 조절 단계를 포함하는 것을 특징으로 한다.
상기 이미지 크기 조절 단계는, 객체 종류 분류부를 통해 상기 객체 검출부로부터 검출된 객체에 대한 객체 검출 정보의 객체 분류정보에 의해 상기 객체 이미지의 객체 종류를 결정하는 객체 종류 분류 단계; 조절 기준 결정부를 통해 상기 결정된 객체 종류에 대응하는 크기 조절 기준 및 그에 대응하는 기준값을 결정하는 조절 기준 결정 단계; 및 리사이즈부를 통해 상기 결정된 크기 조절 기준 및 기준값에 따라 상기 객체 이미지의 크기를 미리 설정된 크기로 조절하는 리사이즈 단계를 포함하는 것을 특징으로 한다.
상기 방법은:상기 객체 스냅샷 표준화부가 객체 검색부를 통해 검색 이미지를 입력받아 상기 객체 스냅샷 표준화부로 제공하여, 상기 객체 스냅샷 표준화부로부터 상기 검색 이미지를 표준화한 표준화 검색 이미지를 입력받고, 상기 표준화 검색 이미지와 저장부에 저장된 객체 이미지들을 비교하여 상기 검색 이미지에 대응하는 객체 이미지를 검색하여 출력하는 객체 검색 과정을 더 포함하되, 상기 객체 스냅샷 표준화 과정은, 상기 객체 스냅샷 표준화부가 모드 설정부를 통해 객체 이미지 저장 모드 및 검색 모드 중 어느 하나를 입력받아 설정하는 모드 설정 단계를 더 포함하되, 상기 이미지 크기 조절 단계에서, 상기 객체 스냅샷 표준화부가 이미지 크기 조절부를 통해 상기 객체 이미지 저장 모드에서 표준화된 객체 이미지를 저장부에 저장하고, 검색 모드에서 표준화된 표준화 검색 이미지를 상기 객체 검출부로 출력하는 것을 특징으로 한다.
상기 객체는 사람이고, 상기 크기 조절 기준은, 객체 이미지의 세로(높이)인 것을 특징으로 한다.
본 발명은 획득되는 영상의 프레임 이미지로부터 검출되는 객체에 대한 객체 이미지의 조도, 해상도 및 크기를 표준화하여 저장하고, 검색 대상 객체에 대한 검색 이미지의 조도, 해상도 및 크기를 표준화 저장된 객체 이미지의 조도, 해상도 및 크기로 표준화한 후 상기 저장된 표준화 객체 이미지들과 비교하여 검색을 수행하므로 검색 정확도 및 검색률을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 객체 이미지 표준화 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 프레임 이미지로부터 객체 이미지를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 객체 이미지 표준화 방법을 나타낸 흐름도이다.
도 4는 본 발명에 따른 객체 이미지 표준화 방법 중 객체 이미지 크기 조절 방법을 나타낸 흐름도이다.
도 5는 본 발명에 따른 객체 이미지 크기 조절 일 예를 나타낸 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 객체 이미지 표준화 장치의 구성 및 동작을 상세히 설명하고, 상기 장치에서의 객체 이미지 표준화 방법을 설명한다.
도 1은 본 발명에 따른 객체 이미지 표준화 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시 예에 따른 프레임 이미지로부터 객체 이미지를 획득하는 방법을 설명하기 위한 도면이다. 이하 도 1 및 도 2를 참조하여 설명한다.
본 발명에 따른 객체 이미지 표준화 장치는 이미지 획득부(10), 객체 검출부(20), 객체 스냅샷 표준화부(30) 및 저장부(90)를 포함하고, 실시예에 따라 객체 검출부(100)를 더 포함할 수 있을 것이다.
상기 이미지 획득부(10)는 일반 CCTV 카메라, AI 엣지 카메라, 원거리 카메라, 근거리 카메라, 인공지능(AI) 박스, 영상기록시스템 등으로부터 영상을 획득하고, 획득된 영상을 도 2에서 나타낸 바와 같은 스냅샷 이미지인 프레임 이미지(201)로 변환하여 객체 검출부(20) 및 객체 스냅샷 표준화부(30)로 출력한다. 상기 획득된 원본 영상은 저장부(90)에 저장될 것이다.
객체 검출부(20)는 상기 프레임 이미지(201)로부터 객체(211)를 검출하고 검출한 객체에 대한 객체 검출 정보를 객체 스냅샷 표준화부(30)로 출력한다. 상기 프레임 이미지(201) 내에는 객체(211)가 없을 수도 있고, 도 2에서 나타낸 바와 같이 하나 이상의 객체(211-1, 211-2, 211-3)가 존재할 수 있을 것이다. 또한, 검출하는 객체(211)는 도 2에서 나타낸 것과 같이 사람일 수도 있고, 차량일 수도 있으며, 모든 생물 및 무생물이 될 수도 있을 것이다.
또한, 객체 검출부(20)는 검출된 객체에 대한 종류를 분류하고, 그에 따른 객체 분류정보를 생성할 수도 있을 것이다.
상기 객체 검출 정보는 도 2와 같이 검출된 각 객체를 포함하는 경계박스의 위치(좌표)정보를 포함하고, 실시예에 따라 객제의 종류(사람, 동물(개, 고양이 등), 차, 자전거, 드론 등)에 대한 객체 분류정보가 포함될 수 있을 것이다.
객체 스냅샷 표준화부(30)는 객체 크롭부(50), 조도 보정부(60), 이미지 크기 조절부(80)를 포함하고, 실시 예에 따라 모드 설정부(40) 및 고해상화부(70)를 더 포함하여, 상기 객체 검출부(20)로부터 객체 검출 정보를 입력받아 이미지 획득부로부터 입력되는 프레임 이미지에서 상기 객체 검출정보의 객체를 크롭하여 스냅샷 이미지인 객체 이미지를 생성하고, 상기 객체 이미지를 표준화한 후 상기 저장부(90)의 해당 영상에 맵핑하여 저장하거나, 다른 실시 예에 따라 객체 검색부(100)로부터 입력되는 검색 이미지를 객체 이미지로써 표준화한 후 객체 검색부(100)로 출력한다.
구체적으로 설명하면, 모드 설정부(40)는 실시예에 따라 구성되어, 관리자의 입력에 의해 객체 이미지 저장 모드 및 검색 모드 중 어느 하나를 선택받아 동작 모드를 설정할 수도 있고, 객체 검출부(20)로부터 객체 이미지가 입력되는지 또는 객체 검색부(100)로부터 검색 이미지가 입력되는지에 따라 객체 이미지 저장 모드 및 검색 모드 중 어느 하나를 선택하여 동작 모드를 설정한다.
객체 크롭부(50)는 도 2와 같은 객체 이미지(201)가 입력되고, 객체 검추부(20)로부터 객체 검출 정보가 입력되면 객체 검출 정보에 근거하여 프레임 이미지(201)로부터 객체(211)들을 크롭하여 객체 이미지(212, 도 2의 경우, 212-1, 212-2, 212-3)를 출력한다.
조도 보정부(60)는 객체 크롭부(50)로부터 크롭된 객체 이미지(212)를 입력받거나, 다른 실시예에 따라 객체 검색부(100)로부터 검색 이미지를 객체 이미지로서 입력받아, 상기 객체 이미지의 조도를 보정한 후, 실시예에 따라 고해상화부(70)로 출력하거나 이미지 크기 조절부(80)로 출력한다.
조도 보정부(60)는 실시예에 따라 평균 조도 검출부(61) 및 조도 조절부(62)를 포함하여 구성될 수 있을 것이다.
상기 평균 조도 검출부(61)는 입력되는 객체 이미지의 평균 조도를 검출하여 조도 조절부(62)로 출력한다.
조도 조절부(62)는 검출된 상기 객체 이미지의 평균 조도와 미리 설정된 기준 조도를 비교하여 상기 기준 조도와 평균 조도의 차이값에 대응하여 조도를 조절한다. 즉, 조도 조절부(62)는 평균 조도가 기준 조도보다 크면 차이값에 대응하는 만큼 객체 이미지의 조도를 낮추고, 평균 조도가 기준 조도보다 낮으면 차이값에 대응하는 만큼 객체 이미지의 조도를 높인다. 이때, 조도는 감마값을 조정하여 휘도 값을 상승시켜 조절된다.
고해상화부(70)는 조도 보정부(60)에서 조도가 보정된 객체 이미지를 인공지능 신경망 모델에 적용하여 해상도를 높이는 수퍼리졸루션(Super Resolution)을 수행하여 출력한다. 상기 인공지능 신경망 모델로는 심층 합성곱신경망(Deep Convolution Neural Network: Deep CNN)이 적용될 수 있을 것이다.
이미지 크기 조절부(80)는 조도 보정부(60)로부터 입력되거나 고해상화부(70)로부터 입력되는 객체 이미지의 크기를 미리 설정된 크기로 조절하여, 실시예에 따라 저장부(90)의 해당 영상에 맵핑하여 저장하거나, 객체 검색부(100)로 출력한다.
이미지 크기 조절부(80)는 실시예에 따라 객체 종류 분류부(81), 조절 기준 결정부(82) 및 리사이즈부(83)를 포함한다.
상기 객체 종류 분류부(81)는 상기 객체 검출부(20)로부터 검출된 객체에 대한 객체 검출 정보의 객체 분류정보에 의해 상기 객체 이미지의 객체 종류를 결정한다.
조절 기준 결정부(82)는 상기 결정된 객체 종류에 대응하는 크기 조절 기준 및 그에 대응하는 기준값을 결정한다. 상기 크기 조절 기준은 가로(넓이), 또는 세로(높이) 등이 될 수 있으며, 기준값은 상기 크기 조절 기준의 크기값일 것이다. 예를 들면, 객체가 사람의 경우 세로(높이)가 크기 조절 기준이 될 수 있으며 그 기준값은 600 등이 될 수 있으며, 객체가 차량인 경우 크기 조절 기준은 가로(넓이)이고 그 기준값은 600 등이 될 수 있을 것이다. 상기 크기 조절 기준은 객체의 종류에 따라 그 객체의 특징 부각될 수 있는 부분으로 결정될 수 있으며, 객체별 크기 조절 기준에 따른 검색률 등에 의해 사전에 결정되는 것이 바람직할 것이다.
리사이즈부(83)는 상기 결정된 크기 조절 기준 및 그 기준값에 따라 상기 객체 이미지의 크기를 미리 설정된 크기로 조절하여, 실시예에 따라 저장부(90)에 저장하거나, 객체 검색부(100)로 출력한다.
저장부(90)는 상술한 바와 같이 이미지 획득부(10)에서 획득되는 영상을 저장하고, 객체 이미지를 해당 영상의 해당 프레임(상기 객체 이미지를 검출한 프레임 이미지(201)에 대응하는 프레임)에 맵핑하여 저장한다.
객체 검색부(100)는 검색 이미지를 입력받아 객체 스냅샷 표준화부(30)로 출력하고, 이에 대해 표준화된 표준화 검색 이미지를 객체 스냅샷 표준화부(30)로부터 입력받고, 상기 표준화 검색 이미지와 저장부(90)에 저장된 객체 이미지들을 비교하여 상기 검색 이미지에 일정 범위 내에서 일치하는 객체 이미지를 검색하여 출력수단(미도시)을 통해 출력한다. 상기 출력수단은 본 발명의 객체 이미지 표준화 장치와 직접적으로 연결되는 디스플레이 장치, 프린터 등이 될 수도 있고, 원격지의 관리자의 단말부로 전송하여 표시하는 통신수단이 될 수도 있을 것이다.
도 3은 본 발명에 따른 객체 이미지 표준화 방법을 나타낸 흐름도로, 객체 이미지 저장 모드에서 동작을 나타낸 흐름도이다.
도 3을 참조하면, 이미지 획득부(10)는 영상이 획득되는지를 모니터링하고(S201) 상기 모니터링 중에 영상이 획득되면 프레임 이미지를 생성하여 객체 검출부(20) 및 객체 스냅샷 표준화부(30)로 출력한다(S210).
객체 검출부(20)는 이미지 획득부(10)로부터 프레임 이미지가 입력되면 프레임 이미지로부터 객체를 검출하고, 실시예에 따라 객체의 종류를 분류하여 객체를 포함하는 경계박스의 위치정보, 또는 위치정보 및 객체 분류정보를 포함하는 객체 검출 정보를 객체 스냅샷 표준화부(30)로 출력한다(S220).
객체 스냅샷 표준화부(30)는 프레임 이미지 및 객체 검출 정보를 입력받아 상기 프레임 이미지로부터 검출된 객체를 크롭한 객체 이미지를 생성한 후, 상기 객체 이미지의 조도, 해상도 및 크기를 표준화한다(S230).
좀 더 구체적으로 설명하면, 객체 스냅샷 표준화부(30)는 객체 크롭부(50)를 통해 객체 검출 정보에 근거하여 프레임 이미지로부터 검출된 객체들을 크롭하여 스냅샷 이미지인 객체 이미지를 생성한다(S231).
객체 이미지가 생성되면 객체 스냅샷 표준화부(30)는 조도 보정부(60)를 통해 객체 이미지의 조도를 미리 설정된 기준 조도가 되도록 보정한다(S233).
조도가 보정되면 객체 스냅샷 표준화부(30)는 실시 예에 따라 고해상화부(70)를 통해 조도가 보정된 객체 이미지의 해상도를 향상시킨다(S235).
객체 스냅샷 표준화부(30)는 조도가 보정된 객체 이미지 또는 해상도가 향상된 객체 이미지를 이미지 크기 조절부(80)를 통해 그 크기가 기준 크기가 되도록 조절한다(S237).
상기 객체 스냅샷 표준화부(30)는 표준화된 객체 이미지를 실시 예에 따라 저장부(90)의 해당 영상에 맵핑하여 저장한다(S240).
도 4는 본 발명에 따른 객체 이미지 표준화 방법 중 객체 이미지 크기 조절 방법을 나타낸 흐름도이고, 도 5는 본 발명에 따른 객체 이미지 크기 조절 일 예를 나타낸 도면이다.
도 4를 참조하면, 이미지 크기 조절부(80)는 실시 예에 따라 조도 보정부(60) 및 고해상화부(70) 중 어느 하나로부터 객체 이미지가 입력되는지를 모니터링한다(S311).
객체 이미지가 입력되면 이미지 크기 조절부(80)는 객체 종류 분류부(81)를 통해 객체 검출 정보의 객체 분류정보를 분석하여 현재 입력된 객체 이미지의 객체의 종류를 결정한다(S313).
객체 종류가 결정되면 조절 기준 결정부(82)는 결정된 객체 종류에 대응하는 크기 조절 기준을 결정한다(S315). 상기 조절 기준 결정부(82)는 객체 종류별 크기 조절 기준을 정의하는 테이블을 사전에 등록받아 가지고 있어야 할 것이다.
이미지 크기 조절부(80)는 크기 조절 기준이 결정되면 크기 조절 기준 및 그 그 기준값을 기준으로 객체 이미지의 크기를 조절한다(S315).
즉, 도 5를 예를 들면, 객체 종류가 사람이면 조절 기준 결정부(82)는 상기 크기 조절 기준은 세로(높이)로 결정하고, 리사이즈부(83)는 사기 크기 조절 기준인 높이가 일정 크기를 가지도록 객체 이미지를 조절한다. 이때, 가로, 즉 넓이는 높이의 변화에 비례하여 그 크기가 조절된다. 즉, 도 4의 객체 이미지(212-4)가 크기 조절 전에 150*300이고, 크기 조절 기준이 가로이고 그 값이 600인 경우, 상기 객체 이미지(212-4)는 도 5와 같이 높이가 600으로 조절되고, 넓이는 높이에 비례하여 300으로 조절된다.
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
10: 이미지 획득부 20: 객체 검출부
30: 객체 스냅샷 표준화부 40: 모드 설정부
50: 객체 크롭부 60: 조도 보정부
61: 평균 조도 검출부 62: 조도 조정부
70: 고해상화부 80: 이미지 크기 조절부
81: 객체 종류 분류부 82: 조절 기준 결정부
83: 리사이즈부 90: 저장부
100: 객체 검색부

Claims (13)

  1. 영상을 획득하고, 획득되는 영상으로부터 프레임 이미지를 생성하여 출력하는 이미지 획득부;
    상기 프레임 이미지로부터 객체를 검출하고, 검출된 객체에 대한 객체 검출정보를 출력하는 객체 검출부;
    하나 이상의 영상 및 각 영상의 객체 이미지 및 객체 이미지의 영상 내 위치정보를 저장하는 저장부; 및
    상기 객체 검출부로부터 객체 검출 정보를 입력받아 이미지 획득부로부터 입력되는 프레임 이미지에서 상기 객체 검출정보의 객체를 크롭하여 객체 이미지를 생성하고, 상기 객체 이미지를 표준화하여 상기 저장부의 해당 영상에 맵핑하여 저장하는 객체 스냅샷 표준화부를 포함하며,
    상기 객체 스냅샷 표준화부는,
    상기 객체 검출부로부터 입력되는 객체 검출 정보에 기반하여 상기 프레임 이미지로부터 검출 객체를 크롭하여 스냅샷 이미지인 객체 이미지를 출력하는 객체 크롭부;
    상기 객체 이미지의 조도를 보정하여 출력하는 조도 보정부;
    조도 보정된 상기 객체 이미지의 크기를 미리 설정된 크기로 조절하는 이미지 크기 조절부를 포함하되,
    상기 이미지 크기 조절부는,
    상기 객체 검출부로부터 검출된 객체에 대한 객체 검출 정보의 객체 분류정보에 의해 상기 객체 이미지의 객체 종류를 결정하는 객체 종류 분류부;
    상기 결정된 객체 종류에 대응하는 크기 조절 기준 및 그에 대응하는 기준값을 결정하는 조절 기준 결정부; 및
    상기 결정된 크기 조절 기준 및 기준값에 따라 상기 객체 이미지의 크기를 미리 설정된 크기로 조절하는 리사이즈부를 포함하는 것을 특징으로 하는 객체 이미지 표준화 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 객체 스냅샷 표준화부는,
    상기 조도 보정된 상기 객체 이미지를 고해상화 인공지능 신경망에 적용하여 상기 객체 이미지의 해상도를 높여 출력하는 고해상화부를 더 포함하되,
    상기 이미지 크기 조절부는,
    조도 보정 및 고해상화된 상기 객체 이미지의 크기를 조절하는 것을 특징으로 하는 객체 이미지 표준화 장치.
  4. 제3항에 있어서,
    상기 조도 보정부는,
    상기 객체 이미지의 평균 조도를 검출하여 출력하는 평균 조도 검출부; 및
    검출된 상기 객체 이미지의 평균 조도와 미리 설정된 기준 조도를 비교하여 상기 기준 조도와 평균 조도의 차이값에 대응하여 조도를 조절하는 조도 조절부를 포함하는 것을 특징으로 하는 객체 이미지 표준화 장치.
  5. 삭제
  6. 제3항에 있어서,
    검색 이미지를 입력받아 상기 객체 스냅샷 표준화부로 제공하여, 상기 객체 스냅샷 표준화부로부터 상기 검색 이미지를 표준화한 표준화 검색 이미지를 입력받고, 상기 표준화 검색 이미지와 저장부에 저장된 객체 이미지들을 비교하여 상기 검색 이미지에 대응하는 객체 이미지를 검색하여 출력하는 객체 검색부를 더 포함하되,
    상기 객체 스냅샷 표준화부는,
    객체 이미지 저장 모드 및 검색 모드 중 어느 하나를 입력받아 설정하는 모드 설정부를 더 포함하되,
    상기 이미지 크기 조절부는,
    상기 객체 이미지 저장 모드에서 표준화된 객체 이미지를 저장부에 저장하고, 검색 모드에서 표준화된 표준화 검색 이미지를 상기 객체 검출부로 출력하는 것을 특징으로 하는 객체 이미지 표준화 장치.
  7. 이미지 획득부가 영상을 획득하고, 획득되는 영상으로부터 프레임 이미지를 생성하여 출력하는 이미지 획득 과정;
    객체 검출부가 상기 이미지 획득부로부터 입력되는 상기 프레임 이미지로부터 객체를 검출하고, 검출된 객체에 대한 객체 검출정보를 출력하는 객체 검출 과정; 및
    객체 스냅샷 표준화부가 상기 객체 검출부로부터 객체 검출 정보를 입력받아 이미지 획득부로부터 입력되는 프레임 이미지에서 상기 객체 검출정보의 객체를 크롭하여 객체 이미지를 생성하고, 상기 객체 이미지를 표준화하여 하나 이상의 영상 및 각 영상의 객체 이미지 및 객체 이미지의 영상 내 위치정보를 저장하는 저장부의 해당 영상에 맵핑하여 저장하는 객체 스냅샷 표준화 과정을 포함하고,
    상기 객체 스냅샷 표준화 과정은,
    상기 객체 스냅샷 표준화부가 객체 크롭부를 통해 상기 객체 검출부로부터 입력되는 객체 검출 정보에 기반하여 상기 프레임 이미지로부터 검출 객체를 크롭하여 스냅샷 이미지인 객체 이미지를 출력하는 객체 크롭 단계;
    상기 객체 스냅샷 표준화부가 조도 보정부를 통해 상기 객체 이미지의 조도를 보정하여 출력하는 조도 보정 단계;
    상기 객체 스냅샷 표준화부가 이미지 크기 조절부를 통해 조도 보정된 상기 객체 이미지의 크기를 미리 설정된 크기로 조절하는 이미지 크기 조절 단계를 포함하며,
    상기 이미지 크기 조절 단계는,
    객체 종류 분류부를 통해 상기 객체 검출부로부터 검출된 객체에 대한 객체 검출 정보의 객체 분류정보에 의해 상기 객체 이미지의 객체 종류를 결정하는 객체 종류 분류 단계;
    조절 기준 결정부를 통해 상기 결정된 객체 종류에 대응하는 크기 조절 기준 및 그에 대응하는 기준값을 결정하는 조절 기준 결정 단계; 및
    리사이즈부를 통해 상기 결정된 크기 조절 기준 및 기준값에 따라 상기 객체 이미지의 크기를 미리 설정된 크기로 조절하는 리사이즈 단계를 포함하는 것을 특징으로 하는 객체 이미지 표준화 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 객체 스냅샷 표준화 과정은,
    상기 객체 스냅샷 표준화부가 고해상화부를 통해 상기 조도 보정된 상기 객체 이미지를 고해상화 인공지능 신경망에 적용하여 상기 객체 이미지의 해상도를 높여 출력하는 고해상화 단계를 더 포함하되,
    상기 이미지 크기 조절 단계는,
    조도 보정 및 고해상화된 상기 객체 이미지의 크기를 조절하는 것을 특징으로 하는 객체 이미지 표준화 방법.
  10. 제9항에 있어서,
    상기 조도 보정 단계는,
    평균조도 검출부를 통해 상기 객체 이미지의 평균 조도를 검출하여 출력하는 평균 조도 검출 단계; 및
    조도 조절부를 통해 검출된 상기 객체 이미지의 평균 조도와 미리 설정된 기준 조도를 비교하여 상기 기준 조도와 평균 조도의 차이값에 대응하여 조도를 조절하는 조도 조절 단계를 포함하는 것을 특징으로 하는 객체 이미지 표준화 방법.
  11. 삭제
  12. 제9항에 있어서,
    상기 객체 스냅샷 표준화부가 객체 검색부를 통해 검색 이미지를 입력받아 상기 객체 스냅샷 표준화부로 제공하여, 상기 객체 스냅샷 표준화부로부터 상기 검색 이미지를 표준화한 표준화 검색 이미지를 입력받고, 상기 표준화 검색 이미지와 저장부에 저장된 객체 이미지들을 비교하여 상기 검색 이미지에 대응하는 객체 이미지를 검색하여 출력하는 객체 검색 과정을 더 포함하되,
    상기 객체 스냅샷 표준화 과정은,
    상기 객체 스냅샷 표준화부가 모드 설정부를 통해 객체 이미지 저장 모드 및 검색 모드 중 어느 하나를 입력받아 설정하는 모드 설정 단계를 더 포함하되,
    상기 이미지 크기 조절 단계에서, 상기 객체 스냅샷 표준화부가 이미지 크기 조절부를 통해 상기 객체 이미지 저장 모드에서 표준화된 객체 이미지를 저장부에 저장하고, 검색 모드에서 표준화된 표준화 검색 이미지를 상기 객체 검출부로 출력하는 것을 특징으로 하는 객체 이미지 표준화 방법.
  13. 제7항에 있어서,
    상기 객체는 사람이고,
    상기 크기 조절 기준은,
    객체 이미지의 세로(높이)인 것을 특징으로 하는 객체 이미지 표준화 방법.
KR1020210170004A 2021-12-01 2021-12-01 객체 이미지 표준화 장치 및 방법 KR102649806B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210170004A KR102649806B1 (ko) 2021-12-01 2021-12-01 객체 이미지 표준화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210170004A KR102649806B1 (ko) 2021-12-01 2021-12-01 객체 이미지 표준화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230082255A KR20230082255A (ko) 2023-06-08
KR102649806B1 true KR102649806B1 (ko) 2024-03-21

Family

ID=86766086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210170004A KR102649806B1 (ko) 2021-12-01 2021-12-01 객체 이미지 표준화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102649806B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187759A (ja) 2014-03-26 2015-10-29 キヤノン株式会社 画像検索装置、画像検索方法
KR101765568B1 (ko) 2016-04-26 2017-08-07 주식회사 만도 보행자 인식 시스템 및 그 제어 방법
KR102194409B1 (ko) 2020-06-05 2020-12-24 주식회사 컴트루테크놀로지 멀티포커싱 ai신경망을 이용한 안면검출 및 안면식별 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102120864B1 (ko) * 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
CN108664840A (zh) * 2017-03-27 2018-10-16 北京三星通信技术研究有限公司 图像识别方法及装置
KR102466804B1 (ko) * 2018-09-04 2022-11-17 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법
KR101942770B1 (ko) 2018-11-29 2019-01-28 네이버시스템(주) 지형지물의 영상이미지를 보정 후 합성처리하는 영상처리시스템
KR20190110965A (ko) * 2019-09-11 2019-10-01 엘지전자 주식회사 이미지 해상도를 향상시키기 위한 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187759A (ja) 2014-03-26 2015-10-29 キヤノン株式会社 画像検索装置、画像検索方法
KR101765568B1 (ko) 2016-04-26 2017-08-07 주식회사 만도 보행자 인식 시스템 및 그 제어 방법
KR102194409B1 (ko) 2020-06-05 2020-12-24 주식회사 컴트루테크놀로지 멀티포커싱 ai신경망을 이용한 안면검출 및 안면식별 시스템

Also Published As

Publication number Publication date
KR20230082255A (ko) 2023-06-08

Similar Documents

Publication Publication Date Title
US10896323B2 (en) Method and device for image processing, computer readable storage medium, and electronic device
US11308777B2 (en) Image capturing apparatus with variable event detecting condition
EP3704864B1 (en) Methods and systems for generating video synopsis
US20110050901A1 (en) Transmission apparatus and processing apparatus
JP5483961B2 (ja) 画像処理装置、被写体判別方法、プログラム及び記憶媒体
CN103283225A (zh) 多分辨率图像显示
US11361451B2 (en) Real-time detection of periodic motion systems and methods
JP2011123742A (ja) 侵入物体検知装置
CN108848306B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
DE112019004488T5 (de) Doppelmodus-datenerfassungssystem zur kollisionserfassung und objektdimensionierung
KR20160089165A (ko) 이동 물체 탐지 시스템 및 방법
CN113177438A (zh) 图像处理方法、设备及存储介质
JP2020030750A (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
JP6265602B2 (ja) 監視カメラシステム、撮像装置及び撮像方法
KR102649806B1 (ko) 객체 이미지 표준화 장치 및 방법
GB2574802A (en) Camera, system and method of selecting camera settings
CN113243015B (zh) 视频监控系统
KR20210073639A (ko) 영상 분석 장치 및 영상 분석 방법
US20200213524A1 (en) Intelligent object tracking
CN111539267A (zh) 一种人体几何特征提取方法、装置、设备及系统
CN111881787A (zh) 基于摄像头的门店违规经营行为识别方法及系统
US20230195781A1 (en) Systems and methods for managing metadata
KR20190110369A (ko) 지정 피사체의 자동 추적이 가능한 지능형 카메라 시스템 및 이를 이용한 영상촬영 방법
US10510233B2 (en) Reducing and eliminating the effects of bright lights in a field-of-view of a camera
US20220345623A1 (en) Smart Security Camera System with Automatically Adjustable Activity Zone and Method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant