KR102044914B1 - 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법 - Google Patents

영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법 Download PDF

Info

Publication number
KR102044914B1
KR102044914B1 KR1020180000382A KR20180000382A KR102044914B1 KR 102044914 B1 KR102044914 B1 KR 102044914B1 KR 1020180000382 A KR1020180000382 A KR 1020180000382A KR 20180000382 A KR20180000382 A KR 20180000382A KR 102044914 B1 KR102044914 B1 KR 102044914B1
Authority
KR
South Korea
Prior art keywords
weighted
descriptor
probe
denotes
histogram
Prior art date
Application number
KR1020180000382A
Other languages
English (en)
Other versions
KR20190082593A (ko
Inventor
백준기
김미리
장진범
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020180000382A priority Critical patent/KR102044914B1/ko
Priority to US16/039,452 priority patent/US10825194B2/en
Publication of KR20190082593A publication Critical patent/KR20190082593A/ko
Application granted granted Critical
Publication of KR102044914B1 publication Critical patent/KR102044914B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시각돌출 정보 기반 학습과 희소표현을 이용하여 전역적 감시를 위한 다른 특성을 가지는 카메라에서 동일 객체임을 정확하게 판단할 수 있도록 한 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법에 관한 것으로, 입력 영상에서 가중 특징 추출을 하여 시각돌출 영역의 특징이 가중된 기술자 생성을 하는 가중 특징 추출부;가중 특징 추출부의 시각돌출 영역의 특징이 가중된 기술자를 이용하여 동일 객체의 다른 특징 이미지들로 구성된 사전 구축을 하여 DB에 저장하는 사전 구축부;타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 하는 희소 표현을 적용하고, 타겟과 재구성된 객체간의 에러를 이용한 인식 수행을 하는 계수 추정 및 ID 결정부;를 포함하는 것이다.

Description

영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법{System and Method for Reidentificating Object in Image Processing}
본 발명은 객체 인식 및 영상 처리에 관한 것으로, 구체적으로 시각돌출 정보 기반 학습과 희소표현을 이용하여 전역적 감시를 위한 다른 특성을 가지는 카메라에서 동일 객체임을 정확하게 판단할 수 있도록 한 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법에 관한 것이다.
최근 들어, 영상에서 인간의 행동을 자동으로 이해하는 인간 행동 인식 모델은 지능형 영상 감시, 인간-사물 간 상호작용 등의 활용성에 대한 관심이 고조되면서 영상물 분석 분야에서 많은 관심과 연구가 이루어지고 있다.
인간의 행동을 인식하는 종래 기술로는 특징벡터를 이용하는 방법이 있는데, 이는 학습 영상으로부터 학습 특징벡터를 추출하여 학습용 사전을 미리 구축해 두고, 입력 영상이 들어올 때 입력 영상으로부터 입력 특징벡터를 추출한다.
이후, 입력 특징벡터와 학습 특징벡터 간을 정합시킴으로써 인간의 행동을 인식하고 있다.
영상의 특징을 기술하는 방법에는 영상의 전체적인 특성을 하나의 벡터를 이용하여 표현하는 전역 기술자(Global Descriptor)와 영상 내에서 다른 부분과 비교하여 두드러지는 특성을 갖고 있는 다수의 지역을 추출하여 각 지역에 대한 다수의 벡터로서 표현하는 지역 기술자(Local Descriptor)가 있다.
지역 기술자는 지역적인 기술에 기반하기 때문에 영상의 기하학적인 변화에도 동일한 영역에 대해 동일한 서술을 생성하는 것이 가능하다. 이에 따라 지역 기술자를 이용할 경우, 영상 분할(segmentation) 등의 전처리를 거치지 않고도 영상 내에 포함되어 있는 객체를 인식하여 추출할 수 있으며, 특히 영상의 일부분이 가려져 있는경우에도 영상의 특징을 표현함에 있어서 비교적 강인하게 대응할 수 있다.
이런 장점을 이유로 지역 기술자는 패턴인식, 컴퓨터 비전, 컴퓨터 그래픽스 분야에서 폭넓게 활용되고 있으며, 그 예로는 객체 인식, 영상 검색, 파노라마 생성 등이 있다.
지역 기술자를 계산하는 과정은 크게 두 단계로 나눌 수 있다. 첫 번째 단계는 주변의 다른 픽셀들과 차별화된 특성을 갖고 있는 점을 특징점으로서 추출하는 과정이며, 두 번째 단계는 이렇게 추출된 특징점과 주변 픽셀 값을 이용하여 기술자를 계산하는 과정이다.
한편, 지역 영역(Local Region) 정보를 이용하여 특징 기술자(feature descriptor)를 생성하고, 이를 이용하여 다른 영상의 지역 특징 기술자(local feature descriptor)와 정합하는 기술은 내용 기반 영상 검색(content based image/video retrieval), 객체 인식, 물체 트랙킹(Object tracking), 증강 현실(Argumented Reality) 등 다양한 컴퓨터 비전 분야에 적용된다.
특징점을 이용한 지역 특징 기반 영상 처리 기술에는 대표적으로 SIFT, SURF 등이 있다. 이 기술들은 공통적으로 스케일 공간(scale-space)에서 코너와 같이 화소 통계값의 변화량이 큰 점을 특징점으로 추출하고, 이 점과 주변 영역의 관계를 이용하여 특징 기술자를 추출한다.
그러나 지역 특징 기술자의 크기가 상당히 커서, 전체 영상의 기술자 크기가 영상의 압축 크기보다 큰 경우가 상당히 많이 발생한다. 이는 간단한 특징 기술자가 필요할 때도 용량이 큰 기술자만이 추출되므로, 기술자 저장을 위해 대용량의 메모리가 소모된다는 문제점이 있다.
또한, 종래 기술의 객체 인식 기술에서는 실시간성이 떨어지는 근본적인 문제가 있고, 인식 성능이 저하되는 문제가 있다.
도 1 및 도 2는 일반적인 영상 처리에서의 객체 인식 과정을 나타낸 구성도이다.
이와 같은 종래 기술의 영상 처리에서의 객체 인식 기술은 상기한 문제들로 인하여 시간, 공간에 의존하는 단일 카메라 기반 감시 및 카메라 네트워크 기반의 감시의 한계가 있다.
조명 변화, 저해상도, 포즈 변화, 가려짐 등의 문제로 객체 재인식의 어려움이 있고, 객체 재인식을 위한 신호 처리 과정에서 각 갤러리의 멀티 이미지 구성 방법에 따른 비효율성 문제 및 유사한 atom이 많을 경우 타겟을 나타낼 수 있는 조합이 더 많아지는 문제가 있다.
따라서, 이와 같은 문제를 해결하여 전역적 감시를 위한 다른 특성을 가지는 카메라에서 동일 객체임을 정확하게 판단할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.
대한민국 등록특허 제10-1512048호 대한민국 공개특허 제10-2013-0098771호
본 발명은 이와 같은 종래 기술의 객체 인식 및 영상 처리 기술의 문제를 해결하기 위한 것으로, 전역적 감시를 위한 다른 특성을 가지는 카메라에서 동일 객체임을 정확하게 판단할 수 있도록 한 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 시각돌출 정보 기반 학습과 희소표현을 이용하여 객체 인식의 정확도 및 강인성을 높인 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 희소 표현(Sparse representation) 기술을 적용하여 관측된 신호가 사전을 구성하는 atom들의 적은 수의 선형 결합으로 신호를 복원할 수 있도록 한 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 하고, 타겟과 재구성된 객체간의 에러를 이용한 인식을 수행하여 정확도를 높인 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 가중 특징 기술자를 이용하는 것에 의해 영상에서 차지하는 객체의 작은 영역으로 인한 제한된 특징 추출 문제를 개선할 수 있도록 한 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 객체 재인식을 위하여 시각돌출 영역의 특징이 가중된 기술자를 생성하여 중복 정보 제거로 인한 사전 축소 및 계수 추정이 용이하도록 한 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치는 입력 영상에서 가중 특징 추출을 하여 시각돌출 영역의 특징이 가중된 기술자 생성을 하는 가중 특징 추출부;가중 특징 추출부의 시각돌출 영역의 특징이 가중된 기술자를 이용하여 동일 객체의 다른 특징 이미지들로 구성된 사전 구축을 하여 DB에 저장하는 사전 구축부;타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 하는 희소 표현을 적용하고, 타겟과 재구성된 객체간의 에러를 이용한 인식 수행을 하는 계수 추정 및 ID 결정부;를 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 방법은 입력 영상에서 가중 특징 추출을 하여 시각돌출 영역의 특징이 가중된 기술자 생성을 하는 가중 특징 추출 단계;가중 특징 추출 단계에서 생성된 시각돌출 영역의 특징이 가중된 기술자를 이용하여 동일 객체의 다른 특징 이미지들로 구성된 사전 구축을 하여 DB에 저장하는 사전 구축 단계;타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 하는 희소 표현을 적용하고, 타겟과 재구성된 객체간의 에러를 이용한 인식 수행을 하는 계수 추정 및 ID 결정 단계;를 포함하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법은 다음과 같은 효과를 갖는다.
첫째, 시각돌출 정보 기반 학습과 희소표현을 이용하여 전역적 감시를 위한 다른 특성을 가지는 카메라에서 동일 객체임을 정확하게 판단할 수 있다.
둘째, 시각돌출 정보 기반 학습과 희소표현을 이용하여 객체 인식의 정확도 및 강인성을 높일 수 있다.
셋째, 희소 표현(Sparse representation) 기술을 적용하여 관측된 신호가 사전을 구성하는 atom들의 적은 수의 선형 결합으로 신호를 복원할 수 있도록 한다.
넷째, 타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 하고, 타겟과 재구성된 객체간의 에러를 이용한 인식을 수행하여 정확도를 높인다.
다섯째, 가중 특징 기술자를 이용하는 것에 의해 영상에서 차지하는 객체의 작은 영역으로 인한 제한된 특징 추출 문제를 개선할 수 있다.
여섯째, 객체 재인식을 위하여 시각돌출 영역의 특징이 가중된 기술자를 생성하여 중복 정보 제거로 인한 사전 축소 및 계수 추정이 용이하도록 한다.
도 1은 일반적인 감시 카메라 및 영상 처리 과정을 나타낸 구성도
도 2는 종래 기술에서의 객체 재인식 과정에서의 문제 요인을 나타낸 구성도
도 3은 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치의 구성도
도 4는 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치의 상세 구성도
도 5는 가중 특징 추출부의 상세 구성도
도 6은 사전 구성부의 구성도
도 7은 계수 추정 및 ID 결정부의 구성도
도 8은 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 방법을 나타낸 플로우 차트
이하, 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 3은 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치의 구성도이고, 도 4는 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치의 상세 구성도이다.
본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법은 전역적 감시를 위한 다른 특성을 가지는 카메라에서 동일 객체임을 정확하게 판단할 수 있도록 한 것이다.
이를 위하여 본 발명은 객체 인식의 정확도 및 강인성을 높이기 위하여 시각돌출 정보 기반 학습과 희소표현을 이용하는 구성을 포함한다.
본 발명은 희소 표현(Sparse representation) 기술을 적용하여 관측된 신호가 사전을 구성하는 atom들의 적은 수의 선형 결합으로 신호를 복원하는 구성을 포함한다.
본 발명은 타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 하고, 타겟과 재구성된 객체간의 에러를 이용한 인식을 수행하는 구성을 포함한다.
본 발명은 객체 재인식을 위하여 시각돌출 영역의 특징이 가중된 기술자를 생성하여 중복 정보 제거로 인한 사전 축소 및 계수 추정이 용이하도록 하는 구성을 포함한다.
이하의 설명되는 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 구성은 CCTV와 같은 감시카메라, 영상 추적 시스템뿐만 아니라 PDA(Personal digital assistants), 스마트 폰, 네비게이션 단말기, 데스크탑 컴퓨터, 노트북 등과 같은 개인용 컴퓨터와 같은 영상에 포함된 객체를 인식하고, 인식한 객체가 무엇인지에 대한 정보를 출력할 수 있는 모든 장치에 적용될 수 있는 것으로 해석된다.
본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치는 도 3 및 도 4에서와 같이, 입력 영상에서 가중 특징 추출을 하여 시각돌출 영역의 특징이 가중된 기술자 생성을 하는 가중 특징 추출부(30)와, 가중 특징 추출부(30)의 시각돌출 영역의 특징이 가중된 기술자를 이용하여 중복 정보 제거로 인한 사전 축소 및 계수 추정이 용이하도록 동일 객체의 최대한 다른 특징 이미지들로 구성된 사전 구축을 하여 DB(50)에 저장하는 사전 구축부(40)와, 타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 하고, 타겟과 재구성된 객체간의 에러를 이용한 인식 수행하는 계수 추정 및 ID 결정부(60)를 포함한다.
본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 구성에서 사용되는 희소 표현(Sparse representation)에서 희소성은 계수가 0이거나 0에 가까운 것을 의미한다.
본 발명은 이와 같은 희소 표현(Sparse representation)을 사용하는 것으로, 관측된 신호가 사전을 구성하는 atom들의 적은 수의 선형 결합으로 신호를 복원하는 원리를 이용한다.
이를 수식으로 표현하면 다음과 같다.
Figure 112018000512258-pat00001
이와 같은 객체 재인식의 희소표현 적용을 나타낸 식에서, y는 재인식 할 대상(타겟), D는 후보 객체 집합이다.
이와 같이 타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선 형 결합으로 객체를 최대한 재구성하는 계수 추정하고, 타겟과 재구성된 객체간의 에러를 이용한 인식을 수행(매칭)한다.
수학식 1에서,
α는 열벡터 N × 1로 할당된 가중치를 나타내고, D는 사전 정의된 M × N 사전(dictionary)은 M- 차원 피처들을 갖는 N 개의 샘플들을 갖고, y는 α와 동일한 크기로 재구성된 신호이다.
이를 만족시키기 위해 α의 atoms는 0이 아닌 값을 가져야하고, y는 α의 0이 아닌 atoms에 의해 선택된 사전(dictionary)의 몇개 요소만 결합하여 생성된다.
사전 D가 주어지면 0이 아닌 atoms의 수를 최소화하도록 수정된다.
Figure 112018000512258-pat00002
여기서
Figure 112018000512258-pat00003
는 수정된 sparse vector를 나타내며, λ는 정규화 계수,
Figure 112018000512258-pat00004
는
Figure 112018000512258-pat00005
-norm operator,
Figure 112018000512258-pat00006
는
Figure 112018000512258-pat00007
-norm operator이다.
Figure 112018000512258-pat00008
는 입력 신호 y와 복구 된 버전 Dα 사이의 에러에 의해 최적의 재구성된 첫번째 term이고, 희소성 조건을 만족시킨다.
도 5는 가중 특징 추출부의 상세 구성도이다.
가중 특징 추출부에 의해 영상에서 차지하는 객체의 작은 영역으로 인한 제한된 특징 추출 문제를 개선할 수 있다.
가중 특징 기술자는 다음과 같이 정의될 수 있다.
수학식 3 및 수학식 4는 가중치를 갖는 HSV(Hue Saturation Value) 히스토그램을 정의한 것이다.
Figure 112018000512258-pat00009
여기서,
Figure 112018000512258-pat00010
는 s번째 스트라이프의 색조 채널을 나타내고,
Figure 112018000512258-pat00011
는 가중치 벡터, b는 히스토그램의 bin, (u, v) 각 스트라이프의 좌표이다.
각각의 히스토그램 bin은 수학식 4에서와 같이 가중치에 상응하여 수정된다.
Figure 112018000512258-pat00012
여기서,
Figure 112018000512258-pat00013
는
Figure 112018000512258-pat00014
히스토그램 bins을 갖는
Figure 112018000512258-pat00015
조건을 만족하는 s번째 스트라이프의 가중치를 갖는 칼라 히스토그램이다.
수학식 5 및 수학식 6은 가중치를 갖는 LBP(Local Binnary Pattern)를 정의한 것이다.
Figure 112018000512258-pat00016
여기서,
Figure 112018000512258-pat00017
는
Figure 112018000512258-pat00018
bins을 갖는
Figure 112018000512258-pat00019
조건을 만족하는 s번째의 가중치를 갖는 텍스쳐 기술자를 나타낸 것이고,
Figure 112018000512258-pat00020
는 (u,v)에서의 LBP에 의해 계산된 텍스쳐 패턴이고,
Figure 112018000512258-pat00021
는 각 스트라이프 영역의 LBP 히스토그램,
Figure 112018000512258-pat00022
는
Figure 112018000512258-pat00023
와 동일 크기의 가중치 벡터이다.
객체의 전체 기술자
Figure 112018000512258-pat00024
는 수학식 6에서와 같이 모든 스트라이프 영역들이 정렬되는 것에 의해 정의된다.
Figure 112018000512258-pat00025
도 6은 사전 구성부의 구성도이다.
본 발명에서의 사전 구성은 각 갤러리의 멀티 이미지 구성 방법에 따른 비효율성 문제 및 유사한 atom이 많을 경우 타겟을 나타낼 수 있는 조합이 더 많아지는 문제를 해결하기 위한 것이다.
본 발명에서의 사전 구성은 동일 객체의 최대한 다른 특징 이미지들로 구성되는 것으로, 중복 정보 제거로 인한 사전 축소 및 계수 추정을 용이하게 한다.
도 7은 계수 추정 및 ID 결정부의 구성도이다.
본 발명은 수학식 2에서와 같이 LASSO를 이용한 희소 계수 추정을 한다.
갤러리들과 재구성된 프로브 사이의 차이를 계산하여 갤러리의 재구성 오차를 구하고, 추정된 계수 및 N 갤러리 이미지로부터의 D로부터 재구성된 프로브를 사용하여 최적의 갤러리를 검색하는 방법을 사용한다.
수학식 7과 수학식 8은 멀티 샷 프로브를 이용한 최소 에러 및 ID 결정을 나타낸 것이다.
Figure 112018000512258-pat00026
여기서,
Figure 112018000512258-pat00027
는 프로브에 관한 i번째 갤러리의 최소 재구성 오차이고,
Figure 112018000512258-pat00028
는 프로브내의 k번째 이미지의 특징 기술자이다.
프로브에 상응하는 갤러리의 인덱스는 수학식 8에서와 같이 정의된다.
Figure 112018000512258-pat00029
여기서, c는 재확인할 프로브의 선택된 아이덴티티(identity)를 나타낸다.
도 8은 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 방법을 나타낸 플로우 차트이다.
먼저, 영상 입력이 이루어지면(S801), 가중 특징 추출을 하여 시각돌출 영역의 특징이 가중된 기술자 생성을 한다.(S802)
그리고 중복 정보 제거로 인한 사전 축소 및 계수 추정이 용이하도록 동일 객체의 최대한 다른 특징 이미지들로 구성된 사전 구축을 한다.(S803)
이어, 타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 한다.(S804)
그리고 타겟과 재구성된 객체간의 에러를 이용한 인식 과정을 수행한다.(S805)
이상에서 설명한 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법은 전역적 감시를 위한 다른 특성을 가지는 카메라에서 동일 객체임을 정확하게 판단할 수 있도록 한 것으로, 공항에서 복잡한 배경, 가려짐, 뷰포인트, 조명변화 등의 요인을 갖는 두대의 겹침이 없는 카메라에 의해 찍힌 연속 이미지를사용한 결과를 설명하면 다음과 같다.
표 1은 시각 돌출 정보 기반 가중 특징 추출 결과를 나타낸 것이다.
Figure 112018000512258-pat00030
본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법을 적용하는 것에 의해 가중 특징 기술자의 강건한 atom 구성으로 성능이 향상되는 것을 확인할 수 있다.
표 2는 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법을 적용한 사전 구성 결과를 나타낸 것이다.
Figure 112018000512258-pat00031
비슷한 atom으로 인한 계수 추정 문제를 해결할 수 있음을 확인할 수 있다.
표 3은 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법을 적용한 객체 재인식 결과를 나타낸 것이다.
Figure 112018000512258-pat00032
이상에서 설명한 본 발명에 따른 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법은 시각돌출 영역의 특징이 가중된 가중 특징 기술자를 이용하는 것에 의해 영상에서 차지하는 객체의 작은 영역으로 인한 제한된 특징 추출 문제를 개선하여 전역적 감시를 위한 다른 특성을 가지는 카메라에서 동일 객체임을 정확하게 판단할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
30. 가중 특징 추출부 40. 사전 구성부
50. DB 60. 계수 추정 및 ID 결정부

Claims (18)

  1. 입력 영상에서 가중 특징 추출을 하여 시각돌출 영역의 특징이 가중된 기술자 생성을 하는 가중 특징 추출부;
    가중 특징 추출부의 시각돌출 영역의 특징이 가중된 기술자를 이용하여 동일 객체의 다른 특징 이미지들로 구성된 사전 구축을 하여 DB에 저장하는 사전 구축부;
    타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 하는 희소 표현을 적용하고, 타겟과 재구성된 객체간의 에러를 이용한 인식 수행을 하는 계수 추정 및 ID 결정부;를 포함하는 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 장치.
  2. 제 1 항에 있어서, 희소 표현의 적용은,
    Figure 112018000512258-pat00033
    으로 정의되고,
    y는 재인식 할 대상(타겟), D는 후보 객체 집합, α는 열벡터 N × 1로 할당된 가중치를 나타내고, D는 사전 정의된 M × N 사전(dictionary)은 M- 차원 특징들을 갖는 N 개의 샘플들을 갖고, y는 α와 동일한 크기로 재구성된 신호인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 장치.
  3. 제 2 항에 있어서, α의 atoms는 0이 아닌 값을 가져야 하고, y는 α의 0이 아닌 atoms에 의해 사전(dictionary)에서 선택된 요소만 결합하여 생성되고, 사전 D가 주어지면 0이 아닌 atoms의 수를 최소화하도록,
    Figure 112018000512258-pat00034
    으로 수정되고,
    여기서,
    Figure 112018000512258-pat00035
    는 수정된 sparse vector를 나타내며, λ는 정규화 계수,
    Figure 112018000512258-pat00036
    는
    Figure 112018000512258-pat00037
    -norm operator,
    Figure 112018000512258-pat00038
    는
    Figure 112018000512258-pat00039
    -norm operator이고,
    Figure 112018000512258-pat00040
    는 입력 신호 y와 복구 된 버전 Dα 사이의 에러에 의해 최적의 재구성된 첫번째 term이고, 희소성 조건을 만족시키는 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 장치.
  4. 제 1 항에 있어서, 가중 특징 추출부에서 가중 특징 기술자는,
    Figure 112018000512258-pat00041
    가중치를 갖는 HSV(Hue Saturation Value) 히스토그램으로 정의되고,
    여기서,
    Figure 112018000512258-pat00042
    는 s번째 스트라이프의 색조 채널을 나타내고,
    Figure 112018000512258-pat00043
    는 가중치 벡터, b는 히스토그램의 bin, (u, v) 각 스트라이프의 좌표인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 장치.
  5. 제 4 항에 있어서, 각각의 히스토그램 bin은,
    Figure 112018000512258-pat00044
    으로 가중치에 상응하여 수정되고,
    여기서,
    Figure 112018000512258-pat00045
    는
    Figure 112018000512258-pat00046
    히스토그램 bins을 갖는
    Figure 112018000512258-pat00047
    조건을 만족하는 s번째 스트라이프의 가중치를 갖는 칼라 히스토그램인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 장치.
  6. 제 1 항에 있어서, 가중 특징 추출부에서 가중 특징 기술자는,
    Figure 112018000512258-pat00048
    으로 가중치를 갖는 LBP(Local Binnary Pattern)로 정의되고,
    여기서,
    Figure 112018000512258-pat00049
    는
    Figure 112018000512258-pat00050
    bins을 갖는
    Figure 112018000512258-pat00051
    조건을 만족하는 s번째의 가중치를 갖는 텍스쳐 기술자를 나타낸 것이고,
    Figure 112018000512258-pat00052
    는 (u,v)에서의 LBP에 의해 계산된 텍스쳐 패턴이고,
    Figure 112018000512258-pat00053
    는 각 스트라이프 영역의 LBP 히스토그램,
    Figure 112018000512258-pat00054
    는
    Figure 112018000512258-pat00055
    와 동일 크기의 가중치 벡터인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 장치.
  7. 제 6 항에 있어서, 객체의 전체 기술자
    Figure 112018000512258-pat00056
    는,
    Figure 112018000512258-pat00057
    으로 모든 스트라이프 영역들이 정렬되는 것에 의해 정의되는 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 장치.
  8. 제 1 항에 있어서, 계수 추정 및 ID 결정부는 LASSO를 이용한 희소 계수 추정을 하고,
    갤러리들과 재구성된 프로브 사이의 차이를 계산하여 갤러리의 재구성 오차를 구하고, 추정된 계수 및 N 갤러리 이미지로부터의 D로부터 재구성된 프로브를 사용하여 최적의 갤러리를 검색하고, 최소 에러 및 ID 결정은,
    Figure 112018000512258-pat00058
    으로 정의되고,
    여기서,
    Figure 112018000512258-pat00059
    는 프로브에 관한 i번째 갤러리의 최소 재구성 오차이고,
    Figure 112018000512258-pat00060
    는 프로브내의 k번째 이미지의 특징 기술자인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 장치.
  9. 제 8 항에 있어서, 프로브에 상응하는 갤러리의 인덱스는,
    Figure 112018000512258-pat00061
    이고,
    여기서, c는 재확인할 프로브의 선택된 아이덴티티(identity)인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 장치.
  10. 입력 영상에서 가중 특징 추출을 하여 시각돌출 영역의 특징이 가중된 기술자 생성을 하는 가중 특징 추출 단계;
    가중 특징 추출 단계에서 생성된 시각돌출 영역의 특징이 가중된 기술자를 이용하여 동일 객체의 다른 특징 이미지들로 구성된 사전 구축을 하여 DB에 저장하는 사전 구축 단계;
    타겟 객체가 사전을 구성하는 후보 객체들의 적은 수의 선형 결합으로 객체를 최대한 재구성하는 계수 추정을 하는 희소 표현을 적용하고, 타겟과 재구성된 객체간의 에러를 이용한 인식 수행을 하는 계수 추정 및 ID 결정 단계;를 포함하는 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 방법.
  11. 제 10 항에 있어서, 희소 표현의 적용은,
    Figure 112018000512258-pat00062
    으로 정의되고,
    y는 재인식 할 대상(타겟), D는 후보 객체 집합, α는 열벡터 N × 1로 할당된 가중치를 나타내고, D는 사전 정의된 M × N 사전(dictionary)은 M- 차원 특징들을 갖는 N 개의 샘플들을 갖고, y는 α와 동일한 크기로 재구성된 신호인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 방법.
  12. 제 11 항에 있어서, α의 atoms는 0이 아닌 값을 가져야 하고, y는 α의 0이 아닌 atoms에 의해 사전(dictionary)에서 선택된 요소만 결합하여 생성되고, 사전 D가 주어지면 0이 아닌 atoms의 수를 최소화하도록,
    Figure 112018000512258-pat00063
    으로 수정되고,
    여기서,
    Figure 112018000512258-pat00064
    는 수정된 sparse vector를 나타내며, λ는 정규화 계수,
    Figure 112018000512258-pat00065
    는
    Figure 112018000512258-pat00066
    -norm operator,
    Figure 112018000512258-pat00067
    는
    Figure 112018000512258-pat00068
    -norm operator이고,
    Figure 112018000512258-pat00069
    는 입력 신호 y와 복구 된 버전 Dα 사이의 에러에 의해 최적의 재구성된 첫번째 term이고, 희소성 조건을 만족시키는 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 방법.
  13. 제 10 항에 있어서, 가중 특징 추출 단계에서 가중 특징 기술자는,
    Figure 112018000512258-pat00070
    가중치를 갖는 HSV(Hue Saturation Value) 히스토그램으로 정의되고,
    여기서,
    Figure 112018000512258-pat00071
    는 s번째 스트라이프의 색조 채널을 나타내고,
    Figure 112018000512258-pat00072
    는 가중치 벡터, b는 히스토그램의 bin, (u, v) 각 스트라이프의 좌표인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 방법.
  14. 제 13 항에 있어서, 각각의 히스토그램 bin은,
    Figure 112018000512258-pat00073
    으로 가중치에 상응하여 수정되고,
    여기서,
    Figure 112018000512258-pat00074
    는
    Figure 112018000512258-pat00075
    히스토그램 bins을 갖는
    Figure 112018000512258-pat00076
    조건을 만족하는 s번째 스트라이프의 가중치를 갖는 칼라 히스토그램인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 방법.
  15. 제 10 항에 있어서, 가중 특징 추출 단계에서 가중 특징 기술자는,
    Figure 112018000512258-pat00077
    으로 가중치를 갖는 LBP(Local Binnary Pattern)로 정의되고,
    여기서,
    Figure 112018000512258-pat00078
    는
    Figure 112018000512258-pat00079
    bins을 갖는
    Figure 112018000512258-pat00080
    조건을 만족하는 s번째의 가중치를 갖는 텍스쳐 기술자를 나타낸 것이고,
    Figure 112018000512258-pat00081
    는 (u,v)에서의 LBP에 의해 계산된 텍스쳐 패턴이고,
    Figure 112018000512258-pat00082
    는 각 스트라이프 영역의 LBP 히스토그램,
    Figure 112018000512258-pat00083
    는
    Figure 112018000512258-pat00084
    와 동일 크기의 가중치 벡터인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 방법.
  16. 제 15 항에 있어서, 객체의 전체 기술자
    Figure 112018000512258-pat00085
    는,
    Figure 112018000512258-pat00086
    으로 모든 스트라이프 영역들이 정렬되는 것에 의해 정의되는 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 방법.
  17. 제 10 항에 있어서, 계수 추정 및 ID 결정 단계에서 LASSO를 이용한 희소 계수 추정을 하고,
    갤러리들과 재구성된 프로브 사이의 차이를 계산하여 갤러리의 재구성 오차를 구하고, 추정된 계수 및 N 갤러리 이미지로부터의 D로부터 재구성된 프로브를 사용하여 최적의 갤러리를 검색하고, 최소 에러 및 ID 결정은,
    Figure 112018000512258-pat00087
    으로 정의되고,
    여기서,
    Figure 112018000512258-pat00088
    는 프로브에 관한 i번째 갤러리의 최소 재구성 오차이고,
    Figure 112018000512258-pat00089
    는 프로브내의 k번째 이미지의 특징 기술자인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 방법.
  18. 제 17 항에 있어서, 프로브에 상응하는 갤러리의 인덱스는,
    Figure 112018000512258-pat00090
    이고,
    여기서, c는 재확인할 프로브의 선택된 아이덴티티(identity)인 것을 특징으로 하는 영상 처리에 있어서의 객체 재인식을 위한 방법.
KR1020180000382A 2018-01-02 2018-01-02 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법 KR102044914B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180000382A KR102044914B1 (ko) 2018-01-02 2018-01-02 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법
US16/039,452 US10825194B2 (en) 2018-01-02 2018-07-19 Apparatus and method for re-identifying object in image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180000382A KR102044914B1 (ko) 2018-01-02 2018-01-02 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190082593A KR20190082593A (ko) 2019-07-10
KR102044914B1 true KR102044914B1 (ko) 2019-11-14

Family

ID=67057728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180000382A KR102044914B1 (ko) 2018-01-02 2018-01-02 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US10825194B2 (ko)
KR (1) KR102044914B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220144269A (ko) 2021-04-19 2022-10-26 주식회사우경정보기술 인공지능 기반 객체 재인식 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7242309B2 (ja) * 2019-01-16 2023-03-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110516286B (zh) * 2019-07-09 2021-05-07 西安电子科技大学 基于稀疏重构算法的阵列幅相误差估计方法
KR102225613B1 (ko) 2019-08-30 2021-03-08 연세대학교 산학협력단 사람 재식별 장치 및 방법
CN110533925B (zh) * 2019-09-04 2020-08-25 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110956195B (zh) * 2019-10-11 2023-06-02 平安科技（深圳）有限公司 图像匹配方法、装置、计算机设备及存储介质
CN111125416A (zh) * 2019-12-27 2020-05-08 郑州轻工业大学 一种基于多特征融合的图像检索方法
WO2021137763A1 (en) * 2019-12-30 2021-07-08 Nanyang Technological University Object re-identification using multiple cameras
CN111160295B (zh) * 2019-12-31 2023-05-12 广州视声智能科技有限公司 基于区域引导和时空注意力的视频行人重识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244934B1 (ko) 2011-12-06 2013-03-19 경북대학교 산학협력단 코드북을 이용한 객체 인식 장치, 객체 인식 방법 및 기록 매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130098771A (ko) 2012-02-28 2013-09-05 한국전자통신연구원 변형 가능한 압축 지역 서술자를 이용한 영상 인식 장치 및 방법
US9552374B2 (en) * 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
KR101512048B1 (ko) 2014-04-14 2015-04-15 한국과학기술원 희소 표현 기반의 행동 인식 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244934B1 (ko) 2011-12-06 2013-03-19 경북대학교 산학협력단 코드북을 이용한 객체 인식 장치, 객체 인식 방법 및 기록 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Farah Jahan 외 2인, "Person Detection, Re-identification and Tracking Using Spatio-Color-based Model for Non-Overlapping Multi-Camera Surveillance Systems", 한국산학기술학회 SmartCR, 2012.02, pp. 42-59.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220144269A (ko) 2021-04-19 2022-10-26 주식회사우경정보기술 인공지능 기반 객체 재인식 장치

Also Published As

Publication number Publication date
KR20190082593A (ko) 2019-07-10
US10825194B2 (en) 2020-11-03
US20190206077A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
KR102044914B1 (ko) 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법
Poirson et al. Fast single shot detection and pose estimation
AU2012219026B2 (en) Image quality assessment
Hernández-Vela et al. Probability-based dynamic time warping and bag-of-visual-and-depth-words for human gesture recognition in rgb-d
US9214030B2 (en) Method and apparatus for processing video sequences
Jangyodsuk et al. Sign language recognition using dynamic time warping and hand shape distance based on histogram of oriented gradient features
Choi et al. Depth analogy: Data-driven approach for single image depth estimation using gradient samples
Al-asadi et al. Object detection and recognition by using enhanced speeded up robust feature
Ahn et al. Performance analysis of object recognition and tracking for the use of surveillance system
Antony et al. Implementation of image/video copy-move forgery detection using brute-force matching
Noriega et al. Local kernel color histograms for background subtraction.
KR101195978B1 (ko) 동영상에 포함된 오브젝트를 처리하는 방법 및 장치
Rami et al. Objects tracking in images sequence using local binary pattern (lbp)
Favorskaya et al. Accurate spatio-temporal reconstruction of missing data in dynamic scenes
Jalilvand et al. CH-SIFT: A local kernel color histogram SIFT based descriptor
Gbash et al. Scale-invariant feature transform algorithm with fast approximate nearest neighbor
Kondekar et al. Logo recognition using Context Dependent criteria
Wang et al. Robust Online Segmentation of Unknown Objects for Mobile Robots.
Chen et al. Pose estimation based on human detection and segmentation
Massaoudi et al. Video summarization based on local features
Kiranyaz et al. An efficient approach for boundary based corner detection by maximizing bending ratio and curvature
JP2013120504A (ja) オブジェクト抽出装置、オブジェクト抽出方法、及びプログラム
CN110532922B (zh) 一种在移动设备上进行实时分割深度图视频帧的方法
Antony et al. Copy Move Image Forgery Detection Using Adaptive Over-Segmentation and Brute-Force Matching
Zhang et al. Improved salient objects detection based on salient points

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right