KR101958275B1 - 영상 패치 정규화 방법 및 시스템 - Google Patents

영상 패치 정규화 방법 및 시스템 Download PDF

Info

Publication number
KR101958275B1
KR101958275B1 KR1020170086282A KR20170086282A KR101958275B1 KR 101958275 B1 KR101958275 B1 KR 101958275B1 KR 1020170086282 A KR1020170086282 A KR 1020170086282A KR 20170086282 A KR20170086282 A KR 20170086282A KR 101958275 B1 KR101958275 B1 KR 101958275B1
Authority
KR
South Korea
Prior art keywords
patch
image
target
image patch
recognition
Prior art date
Application number
KR1020170086282A
Other languages
English (en)
Other versions
KR20190005516A (ko
Inventor
김진형
임성민
조동현
최원섭
김민기
김해동
심은섭
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020170086282A priority Critical patent/KR101958275B1/ko
Publication of KR20190005516A publication Critical patent/KR20190005516A/ko
Application granted granted Critical
Publication of KR101958275B1 publication Critical patent/KR101958275B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06K9/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions

Abstract

본 발명은 영상 패치 정규화 방법 및 시스템에 관한 것으로, 본 발명에 따른 방법은 입력 영상으로부터 인식 대상이 포함된 영상 패치를 추출하는 단계, 추출된 영상 패치를 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 단계, 그리고 정규화된 영상 패치를 인식 대상을 검출하기 위한 인식기에 전송하는 단계를 포함한다. 본 발명에 의하면, 입력 영상에서 추출된 영상 패치를 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화함으로써 단일의 인식기를 사용하여 인식 대상을 정확하게 검출할 수 있으며, 인식 대상의 검출 시간을 획기적으로 감소시킬 수 있다.

Description

영상 패치 정규화 방법 및 시스템{Image Patch Normalizing Method and System}
본 발명은 영상 패치 정규화 방법 및 시스템에 관한 것으로, 보다 상세하게는 영상 기반 객체 검출을 위해 검출/인식기에 입력되는 영상 패치의 크기를 정규화(Normalization)된 크기로 생성할 수 있는 영상 패치 정규화 방법 및 시스템에 관한 것이다.
최근 들어, 다양한 산업 분야에서 영상의 사용이 증대됨에 따라 영상에 포함된 정보를 이용하기 위한 시도가 다양하게 이루어지고 있다. 특히, 영상에 포함된 객체는 영상 데이터베이스 인덱싱(indexing), 영상 검색 또는 객체 기반 영상 전송 등과 같이 다양한 응용 분야에서 활용되고 있으므로 영상을 기반으로 한 객체 검출 방법이 요구되고 있다.
현재 영상 처리 분야에서는 객체 단위의 영상 인식이 불가능하므로 입력 영상을 객체보다 작은 단위의 조각으로 분할한 후, 분할된 조각이 목표하는 객체인지 여부를 판별하는 방식으로 객체를 검출하고 있다.
이와 같이, 입력 영상을 작은 단위의 조각으로 분할하는 과정에서 분할된 조각의 크기와 형태는 제각각이기 때문에 조각 내 특징 정보(색상, 채도, 휘도 등)를 추출하여 검출/인식기에 입력함으로써 조각 내 특징 정보가 목표하는 객체의 특징과 일치하는지 판단하여 목표하는 객체인지 여부를 판별할 수 있다.
최근 딥 러닝(Deep learning)으로 통칭되는 인공신경망 기반 인식/검출 기술이 많이 연구되고 있는데, 인공신경망 기반 인식/검출 기술은 인공신경망을 모델로 하여 영상에 존재하는 객체의 특징을 추출한 후 추출된 특징을 이용하여 목표 객체 여부를 판별할 수 있다.
그리고 인공신경망 기반 인식/검출 기술은 일정한 사이즈의 영상을 검출/인식기에 입력해야 하므로 일정한 크기를 가진 윈도우를 영상 내에서 슬라이딩하면서 검출/인식기에 입력해줄 수 있다.
하지만, 영상은 원근에 따라 객체의 크기가 변하기 때문에 윈도우의 크기를 여러 번 변환해가며 인식 및 검출을 시도해야 하는 문제점이 있었다.
이에 따라, 영상에서의 크기별 검출/인식기를 별도로 만들어야 하는 문제점이 있었다.
한국공개특허공보 제2010-0034105호(공개일 2010. 04. 01)
따라서 본 발명이 해결하고자 하는 기술적 과제는 입력 영상에서 추출된 영상 패치를 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화함으로써 단일의 인식기를 사용하여 인식 대상을 정확하게 검출할 수 있으며, 인식 대상의 검출 시간을 획기적으로 감소시킬 수 있는 영상 패치 정규화 방법 및 시스템을 제공하는 것이다.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 패치 정규화 방법은 입력 영상으로부터 인식 대상이 포함된 영상 패치를 추출하는 단계, 상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 단계, 그리고 상기 정규화된 영상 패치를 상기 인식 대상을 검출하기 위한 인식기에 전송하는 단계를 포함한다.
상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 단계는 상기 추출된 영상 패치에 대한 대표 거리를 산출하는 단계, 상기 산출된 영상 패치에 대한 대표 거리 및 실제 인식 대상의 사전 검출 정보를 이용하여 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 계산하는 단계, 목표하는 패치의 크기 및 상기 계산된 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 이용하여 스케일을 계산하는 단계, 그리고 상기 추출된 영상 패치의 크기를 상기 계산된 스케일에 따라 조정하는 단계를 포함한다.
상기 실제 인식 대상에 대한 영상 평면으로의 사영의 폭은 하기의 수식에 의해 계산되고,
Figure 112017065115730-pat00001
Figure 112017065115730-pat00002
는 상기 대표 거리,
Figure 112017065115730-pat00003
는 상기 실제 인식 대상의 사전 검출 정보로서, 실제 인식 대상의 폭이고,
Figure 112017065115730-pat00004
는 카메라의 초점 거리일 수 있다.
상기 스케일은 하기의 수식에 의해 계산되고,
Figure 112017065115730-pat00005
Figure 112017065115730-pat00006
는 상기 목표하는 패치의 크기로서, 목표하는 패치의 폭,
Figure 112017065115730-pat00007
는 상기 실제 인식 대상에 대한 영상 평면으로의 사영의 폭일 수 있다.
상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 단계는 상기 영상 패치의 중심점을 상기 목표하는 패치의 중심으로 이동시키고, 상기 목표하는 패치의 크기를 벗어나는 영역은 제거하고, 상기 목표하는 패치 내에 삽입되지 않는 영역은 영 채우기(zero padding)를 수행하는 단계를 더 포함할 수 있다.
한편, 본 발명의 실시예에 따른 영상 패치 정규화 시스템은 입력 영상으로부터 인식 대상이 포함된 영상 패치를 추출하는 패치 추출부, 상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 정규화부, 그리고 상기 정규화된 영상 패치를 상기 인식 대상을 검출하기 위한 인식기에 전송하는 패치 전송부를 포함한다.
상기 정규화부는 상기 추출된 영상 패치에 대한 대표 거리를 산출하고, 상기 산출된 영상 패치에 대한 대표 거리 및 실제 인식 대상의 사전 검출 정보를 이용하여 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 계산하고, 목표하는 패치의 크기 및 상기 계산된 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 이용하여 스케일을 계산하고, 상기 추출된 영상 패치의 크기를 상기 계산된 스케일에 따라 조정할 수 있다.
상기 실제 인식 대상에 대한 영상 평면으로의 사영의 폭은 하기의 수식에 의해 계산되고,
Figure 112017065115730-pat00008
Figure 112017065115730-pat00009
는 상기 대표 거리,
Figure 112017065115730-pat00010
는 상기 실제 인식 대상의 사전 검출 정보로서, 실제 인식 대상의 폭이고,
Figure 112017065115730-pat00011
는 카메라의 초점 거리일 수 있다.
상기 스케일은 하기의 수식에 의해 계산되고,
Figure 112017065115730-pat00012
Figure 112017065115730-pat00013
는 상기 목표하는 패치의 크기로서, 목표하는 패치의 폭,
Figure 112017065115730-pat00014
는 상기 실제 인식 대상에 대한 영상 평면으로의 사영의 폭일 수 있다.
상기 정규화부는 상기 영상 패치의 중심점을 상기 목표하는 패치의 중심으로 이동시키고, 상기 목표하는 패치의 크기를 벗어나는 영역은 제거하고, 상기 목표하는 패치 내에 삽입되지 않는 영역은 영 채우기(zero padding)를 수행하는 단계를 더 포함할 수 있다.
이와 같이 본 발명의 실시예에 따른 영상 패치 정규화 방법 및 시스템에 따르면, 입력 영상에서 추출된 영상 패치를 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화함으로써 단일의 인식기를 사용하여 인식 대상을 정확하게 검출할 수 있으며, 인식 대상의 검출 시간을 획기적으로 감소시킬 수 있는 장점이 있다.
즉 입력 영상 내 인식 대상을 검출하기 위해 크기별 인식기를 별도로 만들 필요 없이 단일의 인식기를 사용하여 인식 대상을 검출할 수 있는 장점이 있다.
그리고 입력 영상 내 윈도우 슬라이딩을 단 한 번만 수행하면 되므로 인식 대상을 검출하기 위하여 상당량을 차지하는 탐색 시간을 극적으로 줄일 수 있으며, 인식 대상의 검출 정확도를 높일 수 있는 장점이 있다.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.
도 1은 본 발명의 일 실시예에 따른 영상 패치 정규화 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 패치 정규화 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 정규화된 영상 패치의 예를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 패치 정규화 과정을 보여주는 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 패치 정규화 시스템의 구성도를 나타낸다.
도 1에 도시한 바와 같이, 영상 패치 정규화 시스템(1)은 패치 추출부(100), 정규화부(200) 및 패치 전송부(300)를 포함하여 구성된다.
영상 패치 정규화 시스템(1)은 딥 러닝(Deep Learning)으로 통칭되는 인공신경망 기반 인식/검출 시스템 등에서 구현될 수 있는데, 딥 러닝은 인공신경망을 이용하여 데이터를 군집화하거나 분류하는데 사용하는 기술로서, 수많은 데이터 속에서 패턴을 발견하여 인간이 사물을 구분하듯 컴퓨터가 데이터를 나누는 것을 말한다.
딥 러닝 기술 중 CNN(Convolutional Neural Network) 기술은 인간의 시각을 처리하는 시신경 구조를 모사하여 만든 인공신경망 모델 중에서 가장 대표적인 기술로서, 합성곱 신경망이라고도 한다. 이미지를 이해하고 이로부터 고수준의 추상화된 정보를 추출하거나 새로운 질감을 가진 그림을 드리는 등과 같은 다양한 영상 처리 또는 컴퓨터 비전 분야 등에서 많이 연구되고 있으며, 비디오 영상 중에서 수천 가지의 서로 다른 물체를 정확하게 인식하고 이를 기반으로 새로운 물체를 인식하는 학습을 추가할 수도 있다.
패치 추출부(100)는 입력 영상으로부터 인식 대상이 포함된 영상 패치를 추출할 수 있다. 입력 영상은 인식 대상이 포함된 영상으로서, 카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 획득될 수 있다.
패치 추출부(100)는 영상 분할 기법을 사용하여 입력 영상에서 인식 대상을 분리함으로써 영상 패치를 추출할 수 있다.
또는 패치 추출부(100)는 영상 처리 과정을 통하여 입력 영상에 포함된 인식 대상의 특징점들을 추출하고, 추출된 각각 특징점들이 포함된 영역을 구분하여 영상 패치를 추출할 수 있다. 즉 패치 추출부(100)는 인식 대상의 특징점을 중심으로 입력 영상을 잘라내어 영상 패치를 추출할 수 있다.
이외에 패치 추출부(100)는 다양한 방식을 사용하여 영상 패치를 추출할 수 있음은 물론이다.
정규화부(200)는 추출된 영상 패치를 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화할 수 있다.
보다 자세하게는, 정규화부(200)는 해당 영상 패치에 대한 대표 거리, 실제 인식 대상의 사전 검출 정보 및 카메라 내부 파라미터(카메라의 초점 거리)를 이용하여 영상 패치의 크기를 정규화된 크기로 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 패치 정규화 방법을 설명하기 위한 도면으로서, 도 2에 도시한 바와 같이, 정규화부(200)는 추출된 영상 패치(IP)에 대한 대표 거리(
Figure 112017065115730-pat00015
)를 산출할 수 있다. 여기서, 대표 거리(
Figure 112017065115730-pat00016
)는 입력 영상을 촬영한 카메라로부터 영상 패치(IP)의 중심점까지의 거리 값, 영상 패치 전역 거리 값의 평균 값 또는 중간 값 등으로 이루어질 수 있다.
그리고 정규화부(200)는 산출된 영상 패치(IP)에 대한 대표 거리(
Figure 112017065115730-pat00017
) 및 실제 인식 대상(RA)의 사전 검출 정보를 이용하여 실제 인식 대상에 대한 영상 평면으로의 사영의 폭(
Figure 112017065115730-pat00018
)을 계산할 수 있다. 여기서 실제 인식 대상(RA)의 사전 검출 정보는 실제 인식 대상(RA)의 종횡비, 폭 또는 크기 등으로 이루어질 수 있다.
보다 자세하게는, 정규화부(200)는 산출된 영상 패치(IP)에 대한 대표 거리(
Figure 112017065115730-pat00019
) 및 실제 인식 대상(RA)의 사전 검출 정보를 이용하여 해당 위치에 실제 인식 대상(RA)이 있을 경우 영상 평면으로의 사영의 폭(
Figure 112017065115730-pat00020
)을 하기의 [수식 1]을 이용하여 계산할 수 있다.
[수식 1]
Figure 112017065115730-pat00021
Figure 112017065115730-pat00022
는 영상 패치에 대한 대표 거리,
Figure 112017065115730-pat00023
는 실제 인식 대상의 사전 검출 정보로서, 실제 인식 대상의 폭이고,
Figure 112017065115730-pat00024
는 카메라의 초점 거리일 수 있다.
그런 다음, 정규화부(200)는 목표하는 패치(PP)의 크기 및 계산된 실제 인식 대상(RA)에 대한 영상 평면으로의 사영의 폭(
Figure 112017065115730-pat00025
)을 이용하여 스케일(S)을 계산할 수 있다.
보다 자세하게는, 정규화부(200)는 인식기(50)에 입력되는 영상 패치의 폭과 대표 거리만큼 떨어져 있는 실제 인식 대상(RA)에 대한 영상 평면에서의 사영의 폭(
Figure 112017065115730-pat00026
)의 비율인 스케일을 아래 [수식 2]를 사용하여 계산할 수 있다.
[수식 2]
Figure 112017065115730-pat00027
Figure 112017065115730-pat00028
는 목표하는 패치의 크기로서, 목표하는 패치의 폭,
Figure 112017065115730-pat00029
는 실제 인식 대상에 대한 영상 평면으로의 사영의 폭일 수 있다.
정규화부(200)는 추출된 영상 패치의 크기를 계산된 스케일에 따라 조정할 수 있는데, 영상 패치의 크기를 스케일의 배율로 확대, 축소 및 보간을 수행할 수 있다. 즉 정규화부(200)는 추출된 영상 패치(IP)의 크기가 목표하는 패치(PP)의 크기가 되도록 스케일의 배율로 확대, 축소 및 보간을 수행할 수 있다.
그리고 정규화부(200)는 인식 대상이 아닌 패치가 영상 패치로서 들어올 수 있기 때문에 목표하는 패치에 알맞은 크기로 정확한 변환이 이루어지지 않을 수도 있다. 따라서 정규화부(200)는 확대, 축소 및 보간된 영상 패치의 중심점을 목표하는 패치의 중심으로 병진 이동시켜준 후, 목표하는 패치의 크기를 벗어나는 부분은 제거하고, 목표하는 패치 내에 삽입되지 않는 부분은 영 채우기(zero padding)를 수행할 수 있다.
패치 전송부(300)는 정규화된 영상 패치를 인식 대상을 검출하기 위한 인식기(50)에 전송할 수 있다.
도 3은 본 발명의 일 실시예에 따른 정규화된 복수의 영상 패치의 예를 보여주는 도면으로서, 도 3과 같이, 본 발명의 일 실시예에 의한 영상 패치 정규화 시스템에 따르면 각기 다른 크기로 추출된 영상 패치를 일정한 크기로 정규화함으로써 동일한 크기를 가지는 복수의 영상 패치를 인식기(50)에 입력할 수 있다.
그러면, 인식기(50)는 예컨대, 주파수 영역에서 영상 패치 내부의 에지(Edge)에 대한 기하학적 특징을 추출하거나 미리 정의된 영상 패치 정보와 입력 벡터 정보 등을 비교하여 인식 대상에 대한 인식 및 검출을 수행할 수 있게 된다.
이와 같이, 본 발명의 일 실시예에 따른 영상 패치의 정규화 시스템에 따르면, 크게 두 가지의 응용을 기대할 수 있다. 첫째는 인공신경망 기반 인식기(50)를 학습시킬 때, 입력되는 영상/깊이 지도 패치의 크기를 자동으로 정규화할 수 있다. 그리고 입력 영상에서 검출/인식을 위한 영상 패치를 생성할 경우에도 해당 영상 패치의 거리 정보를 참조하여 가변적인 크기의 윈도우를 적용하여 인식기(50)에 적용할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 영상 패치 정규화 방법에 대하여 설명하도록 한다.
도 4은 본 발명의 일 실시예에 따른 영상 패치 정규화 과정을 보여주는 동작 흐름도를 나타낸다.
도 4에 도시한 바와 같이, 입력 영상으로부터 인식 대상이 포함된 영상 패치를 추출할 수 있다(S400). 입력 영상은 인식 대상이 포함된 영상으로서, 카메라 또는 영상 저장 장치 등과 같은 영상 획득 장치로부터 획득될 수 있다.
보다 자세하게는, 영상 분할 기법을 사용하여 입력 영상에서 인식 대상을 분리함으로써 영상 패치를 추출할 수 있다. 또는 영상 처리 과정을 통하여 입력 영상에 포함된 인식 대상의 특징점들을 추출하고, 추출된 각각 특징점들이 포함된 영역을 구분하여 영상 패치를 추출할 수 있다. 즉 인식 대상의 특징점을 중심으로 입력 영상을 잘라내어 영상 패치를 추출할 수 있다.
이외에 다양한 방식을 사용하여 영상 패치를 추출할 수 있음은 물론이다.
그리고 추출된 영상 패치를 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화할 수 있다(S410).
보다 자세하게는, 해당 영상 패치에 대한 대표 거리, 실제 인식 대상의 사전 검출 정보 및 카메라 내부 파라미터(카메라의 초점 거리)를 이용하여 영상 패치의 크기를 정규화된 크기로 생성할 수 있다.
도 2에 도시한 바와 같이, 정규화부(200)는 추출된 영상 패치(IP)에 대한 대표 거리(
Figure 112017065115730-pat00030
)를 산출할 수 있다. 여기서, 대표 거리(
Figure 112017065115730-pat00031
)는 입력 영상을 촬영한 카메라로부터 영상 패치(IP)의 중심점까지의 거리 값, 영상 패치 전역 거리 값의 평균 값 또는 중간 값 등으로 이루어질 수 있다.
그리고 산출된 영상 패치(IP)에 대한 대표 거리(
Figure 112017065115730-pat00032
) 및 실제 인식 대상(RA)의 사전 검출 정보를 이용하여 실제 인식 대상에 대한 영상 평면으로의 사영의 폭(
Figure 112017065115730-pat00033
)을 계산할 수 있다. 여기서 실제 인식 대상(RA)의 사전 검출 정보는 실제 인식 대상(RA)의 종횡비, 폭 또는 크기 등으로 이루어질 수 있다.
보다 자세하게는, 산출된 영상 패치(IP)에 대한 대표 거리(
Figure 112017065115730-pat00034
) 및 실제 인식 대상(RA)의 사전 검출 정보를 이용하여 해당 위치에 실제 인식 대상(RA)이 있을 경우 영상 평면으로의 사영의 폭(
Figure 112017065115730-pat00035
)을 하기의 [수식 1]을 이용하여 계산할 수 있다.
[수식 1]
Figure 112017065115730-pat00036
Figure 112017065115730-pat00037
는 영상 패치에 대한 대표 거리,
Figure 112017065115730-pat00038
는 실제 인식 대상의 사전 검출 정보로서, 실제 인식 대상의 폭이고,
Figure 112017065115730-pat00039
는 카메라의 초점 거리일 수 있다.
그런 다음, 목표하는 패치(PP)의 크기 및 계산된 실제 인식 대상(RA)에 대한 영상 평면으로의 사영의 폭(
Figure 112017065115730-pat00040
)을 이용하여 스케일(S)을 계산할 수 있다.
보다 자세하게는, 인식기에 입력되는 영상 패치의 폭과 대표 거리만큼 떨어져 있는 실제 인식 대상(RA)에 대한 영상 평면에서의 사영의 폭(
Figure 112017065115730-pat00041
)의 비율인 스케일을 아래 [수식 2]를 사용하여 계산할 수 있다.
[수식 2]
Figure 112017065115730-pat00042
Figure 112017065115730-pat00043
는 목표하는 패치의 크기로서, 목표하는 패치의 폭,
Figure 112017065115730-pat00044
는 실제 인식 대상에 대한 영상 평면으로의 사영의 폭일 수 있다.
다음으로, 추출된 영상 패치의 크기를 계산된 스케일에 따라 조정할 수 있는데, 영상 패치의 크기를 스케일의 배율로 확대, 축소 및 보간을 수행할 수 있다. 즉 추출된 영상 패치(IP)의 크기가 목표하는 패치(PP)의 크기가 되도록 스케일의 배율로 확대, 축소 및 보간을 수행할 수 있다.
그리고 인식 대상이 아닌 패치가 영상 패치로서 들어올 수 있기 때문에 목표하는 패치에 알맞은 크기로 정확한 변환이 이루어지지 않을 수도 있다. 따라서 확대, 축소 및 보간된 영상 패치의 중심점을 목표하는 패치의 중심으로 병진 이동시켜준 후, 목표하는 패치의 크기를 벗어나는 부분은 제거하고, 목표하는 패치 내에 삽입되지 않는 부분은 영 채우기(zero padding)를 수행할 수 있다.
그런 다음, 정규화된 영상 패치를 인식 대상을 검출하기 위한 인식기에 전송할 수 있다(S420). 즉 각기 다른 크기로 추출된 영상 패치를 일정한 크기로 정규화함으로써 동일한 크기를 가지는 복수의 영상 패치를 인식기에 입력할 수 있다.
그러면, 인식기는 예컨대, 주파수 영역에서 영상 패치 내부의 에지(Edge)에 대한 기하학적 특징을 추출하거나 미리 정의된 영상 패치 정보와 입력 벡터 정보 등을 비교하여 인식 대상에 대한 인식 및 검출을 수행할 수 있게 된다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 영상 패치 정규화 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
1: 영상 패치 정규화 시스템
100: 패치 추출부
200: 정규화부
300: 패치 전송부

Claims (10)

  1. 삭제
  2. 삭제
  3. 입력 영상으로부터 인식 대상이 포함된 영상 패치를 추출하는 단계,
    상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 단계, 그리고
    상기 정규화된 영상 패치를 상기 인식 대상을 검출하기 위한 인식기에 전송하는 단계를 포함하고,
    상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 단계는,
    상기 추출된 영상 패치에 대한 대표 거리를 산출하는 단계,
    상기 산출된 영상 패치에 대한 대표 거리 및 실제 인식 대상의 사전 검출 정보를 이용하여 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 계산하는 단계,
    목표하는 패치의 크기 및 상기 계산된 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 이용하여 스케일을 계산하는 단계, 그리고
    상기 추출된 영상 패치의 크기를 상기 계산된 스케일에 따라 조정하는 단계를 포함하며,
    상기 실제 인식 대상에 대한 영상 평면으로의 사영의 폭은,
    하기의 수식에 의해 계산되고,
    Figure 112018112016891-pat00045

    Figure 112018112016891-pat00046
    는 상기 영상 패치에 대한 대표 거리,
    Figure 112018112016891-pat00047
    는 상기 실제 인식 대상의 사전 검출 정보로서, 실제 인식 대상의 폭이고,
    Figure 112018112016891-pat00048
    는 카메라의 초점 거리인 영상 패치 정규화 방법.
  4. 입력 영상으로부터 인식 대상이 포함된 영상 패치를 추출하는 단계,
    상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 단계, 그리고
    상기 정규화된 영상 패치를 상기 인식 대상을 검출하기 위한 인식기에 전송하는 단계를 포함하고,
    상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 단계는,
    상기 추출된 영상 패치에 대한 대표 거리를 산출하는 단계,
    상기 산출된 영상 패치에 대한 대표 거리 및 실제 인식 대상의 사전 검출 정보를 이용하여 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 계산하는 단계,
    목표하는 패치의 크기 및 상기 계산된 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 이용하여 스케일을 계산하는 단계, 그리고
    상기 추출된 영상 패치의 크기를 상기 계산된 스케일에 따라 조정하는 단계를 포함하며,
    상기 스케일은,
    하기의 수식에 의해 계산되고,
    Figure 112018112016891-pat00049

    Figure 112018112016891-pat00050
    는 상기 목표하는 패치의 크기로서, 목표하는 패치의 폭,
    Figure 112018112016891-pat00051
    는 상기 실제 인식 대상에 대한 영상 평면으로의 사영의 폭인 영상 패치 정규화 방법.
  5. 제 3 항 또는 제 4 항에서,
    상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 단계는,
    상기 영상 패치의 중심점을 상기 목표하는 패치의 중심으로 이동시키고,
    상기 목표하는 패치의 크기를 벗어나는 영역은 제거하고, 상기 목표하는 패치 내에 삽입되지 않는 영역은 영 채우기(zero padding)를 수행하는 단계를 더 포함하는 영상 패치 정규화 방법.
  6. 삭제
  7. 삭제
  8. 입력 영상으로부터 인식 대상이 포함된 영상 패치를 추출하는 패치 추출부,
    상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 정규화부, 그리고
    상기 정규화된 영상 패치를 상기 인식 대상을 검출하기 위한 인식기에 전송하는 패치 전송부를 포함하고,
    상기 정규화부는,
    상기 추출된 영상 패치에 대한 대표 거리를 산출하고,
    상기 산출된 영상 패치에 대한 대표 거리 및 실제 인식 대상의 사전 검출 정보를 이용하여 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 계산하고,
    목표하는 패치의 크기 및 상기 계산된 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 이용하여 스케일을 계산하고,
    상기 추출된 영상 패치의 크기를 상기 계산된 스케일에 따라 조정하며,
    상기 실제 인식 대상에 대한 영상 평면으로의 사영의 폭은,
    하기의 수식에 의해 계산되고,
    Figure 112018112016891-pat00052

    Figure 112018112016891-pat00053
    는 상기 영상 패치에 대한 대표 거리,
    Figure 112018112016891-pat00054
    는 상기 실제 인식 대상의 사전 검출 정보로서, 실제 인식 대상의 폭이고,
    Figure 112018112016891-pat00055
    는 카메라의 초점 거리인 영상 패치 정규화 시스템.
  9. 입력 영상으로부터 인식 대상이 포함된 영상 패치를 추출하는 패치 추출부,
    상기 추출된 영상 패치를 상기 인식 대상의 거리 정보에 기초하여 미리 정해진 크기로 정규화하는 정규화부, 그리고
    상기 정규화된 영상 패치를 상기 인식 대상을 검출하기 위한 인식기에 전송하는 패치 전송부를 포함하고,
    상기 정규화부는,
    상기 추출된 영상 패치에 대한 대표 거리를 산출하고,
    상기 산출된 영상 패치에 대한 대표 거리 및 실제 인식 대상의 사전 검출 정보를 이용하여 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 계산하고,
    목표하는 패치의 크기 및 상기 계산된 실제 인식 대상에 대한 영상 평면으로의 사영의 폭을 이용하여 스케일을 계산하고,
    상기 추출된 영상 패치의 크기를 상기 계산된 스케일에 따라 조정하며,
    상기 스케일은,
    하기의 수식에 의해 계산되고,
    Figure 112018112016891-pat00056

    Figure 112018112016891-pat00057
    는 상기 목표하는 패치의 크기로서, 목표하는 패치의 폭,
    Figure 112018112016891-pat00058
    는 상기 실제 인식 대상에 대한 영상 평면으로의 사영의 폭인 영상 패치 정규화 시스템.
  10. 제 8 항 또는 제 9 항에서,
    상기 정규화부는,
    상기 영상 패치의 중심점을 상기 목표하는 패치의 중심으로 이동시키고,
    상기 목표하는 패치의 크기를 벗어나는 영역은 제거하고, 상기 목표하는 패치 내에 삽입되지 않는 영역은 영 채우기(zero padding)를 수행하는 단계를 더 포함하는 영상 패치 정규화 시스템.
KR1020170086282A 2017-07-07 2017-07-07 영상 패치 정규화 방법 및 시스템 KR101958275B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170086282A KR101958275B1 (ko) 2017-07-07 2017-07-07 영상 패치 정규화 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170086282A KR101958275B1 (ko) 2017-07-07 2017-07-07 영상 패치 정규화 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190005516A KR20190005516A (ko) 2019-01-16
KR101958275B1 true KR101958275B1 (ko) 2019-03-14

Family

ID=65280695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170086282A KR101958275B1 (ko) 2017-07-07 2017-07-07 영상 패치 정규화 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101958275B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015848A (ja) * 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置
JP2009258953A (ja) * 2008-04-16 2009-11-05 Univ Of Electro-Communications 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
JP5877376B2 (ja) * 2011-06-02 2016-03-08 パナソニックＩｐマネジメント株式会社 物体検出装置、物体検出方法および物体検出プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100034105A (ko) 2008-09-23 2010-04-01 한양대학교 산학협력단 로봇의 물체 인식 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015848A (ja) * 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置
JP2009258953A (ja) * 2008-04-16 2009-11-05 Univ Of Electro-Communications 画像処理方法、その方法を実行するプログラム、記憶媒体、撮像機器、画像処理システム
JP5877376B2 (ja) * 2011-06-02 2016-03-08 パナソニックＩｐマネジメント株式会社 物体検出装置、物体検出方法および物体検出プログラム

Also Published As

Publication number Publication date
KR20190005516A (ko) 2019-01-16

Similar Documents

Publication Publication Date Title
KR102279350B1 (ko) 자율 주행 상황에서 장애물 검출을 위한 cnn 학습용 이미지 데이터 세트의 생성 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US20230045519A1 (en) Target Detection Method and Apparatus
EP2088535B1 (en) Image processing apparatus and method, and program
KR101681538B1 (ko) 영상 처리 장치 및 방법
CN105404884B (zh) 图像分析方法
US7929734B2 (en) Method and apparatus for detecting eyes in face region
KR101362631B1 (ko) 머리 인식 방법
US20120321134A1 (en) Face tracking method and device
US9443137B2 (en) Apparatus and method for detecting body parts
CN107451156B (zh) 一种图像再识别方法及识别装置
CN110460838B (zh) 一种镜头切换的检测方法、装置及计算机设备
KR100813168B1 (ko) 사전 모양 정보를 이용한 디지털 영상에서의 물체를추출하기 위한 방법 및 상기 방법을 수행하는 시스템
KR20140009013A (ko) 3d 얼굴의 모델링 방법 및 장치, 얼굴 추적 방법 및 장치
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN112597943A (zh) 行人重识别的特征提取方法及装置、电子设备、存储介质
US20090116731A1 (en) Method and system for detection of concha and intertragal notch point in 3D undetailed ear impressions
JP2014102810A (ja) 被写体認識装置、被写体認識方法および被写体認識プログラム
KR101708042B1 (ko) 포인트 클라우드를 이용한 ransac 알고리즘 기반의 실린더 추정 장치 및 방법
JP6766898B2 (ja) 点群データ処理装置、点群データ処理方法、点群データ処理プログラム、車両制御装置及び車両
CN106033613B (zh) 目标跟踪方法及装置
KR102270009B1 (ko) 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
KR101931220B1 (ko) 인체 부위 측정 장치 및 방법
KR101958275B1 (ko) 영상 패치 정규화 방법 및 시스템
EP2887261A2 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right