KR101241813B1 - Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법 - Google Patents

Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법 Download PDF

Info

Publication number
KR101241813B1
KR101241813B1 KR1020120002836A KR20120002836A KR101241813B1 KR 101241813 B1 KR101241813 B1 KR 101241813B1 KR 1020120002836 A KR1020120002836 A KR 1020120002836A KR 20120002836 A KR20120002836 A KR 20120002836A KR 101241813 B1 KR101241813 B1 KR 101241813B1
Authority
KR
South Korea
Prior art keywords
candidate region
flow
panoramic image
optical flow
object candidate
Prior art date
Application number
KR1020120002836A
Other languages
English (en)
Inventor
홍현기
강성일
노안나
남보담
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020120002836A priority Critical patent/KR101241813B1/ko
Application granted granted Critical
Publication of KR101241813B1 publication Critical patent/KR101241813B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

GPU를 이용한 파노라마 영상의 객체 검출 장치 및 방법이 개시된다. 본 발명은, 파노라마 영상의 옵티컬 플로우(optical flow)를 그래픽 처리 장치(GPU)를 통해 병렬적으로 계산하고, 파노라마 영상에서 객체를 검출한다. 본 발명에 따르면, 그래픽 처리 장치(GPU)를 통해 파노라마 영상의 옵티컬 플로우(optical flow)를 병렬적으로 계산함으로써, 옵티컬 플로우(optical flow)의 계산에 소요되는 시간을 감소시켜 파노라며 영상에서 실시간으로 객체를 검출할 수 있다.

Description

ＧＰＵ를 이용한 파노라마 영상의 객체 검출 장치 및 방법{Apparatus and method for detecting objects in panoramic images using GPU}
본 발명은 GPU를 이용한 파노라마 영상의 객체 검출 장치 및 방법에 관한 것으로, 더욱 상세하게는 그래픽 처리 장치(graphics processing unit : GPU)를 통해 파노라마 영상의 옵티컬 플로우(optical flow)를 병렬적으로 계산하여 객체를 검출하는 장치 및 방법에 관한 것이다.
영상에서 객체를 검출하는 감시 시스템, 도로 위의 보행자를 검출하는 시스템, 사람과의 상호 작용이 가능한 지능형 로봇 등과 같이 다양한 분야에서 이용되고 있다.
그러나, 종래 객체 검출 기술은 그 연산량이 많아 고해상도의 영상이나 파노라마 영상에서 객체를 검출하는 데에는 많은 시간이 소요되는 문제가 있다. 이에 따라, 객체 검출 기술이 적용될 수 있는 분야는 무궁무진함에도 그 연산 시간의 한계로 인하여 한정된 분야에서만 사용되는 문제가 있다.
따라서, 영상에서 실시간으로 객체를 검출할 수 있도록 연산량을 감소시킬 수 있는 객체 검출 기술의 개발이 필요한 실정이다.
KR 10-2009-0062881 (삼성전자 주식회사) 2009. 6. 17. 특허문헌 1은 이동 로봇 및 그 이동 객체 검출 방법으로서, 특허문헌 1에는 이동 로봇에서 촬영된 전방위 영상을 파노라마 영상으로 변환하고, 광류 매칭을 이용하여 파노라마 영상을 이전 파노라마 영상과 비교하여 이동 객체의 움직임 영역을 추정하며, 추정된 움직임 영역의 면적이 기준 면적을 초과하면 그 영역에 이동 객체의 움직임이 있는 것으로 판단하는 내용이 개시되어 있다. KR 10-2007-0008271 (엘지전자 주식회사) 2008. 1. 17. 특허문헌 2는 실시간으로 전방향 사람 검출 및 추적방법 및 이를 이용한 로봇으로서, 특허문헌 2에는 입력되는 영상으로부터 피부색을 추출하고, adaboosting learning 알고리즘을 이용하여 영상 전 영역에서 사람 얼굴의 위치를 찾으며, mean shift 알고리즘을 이용하여 사람 얼굴의 전면과 측면을 추적하고 모델링된 몸통색의 일치 여부를 판단하여 사람의 위치를 찾는 내용이 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는, 그래픽 처리 장치(graphics processing unit : GPU)를 통해 파노라마 영상의 옵티컬 플로우(optical flow)를 병렬적으로 계산하여 객체를 검출하는 GPU를 이용한 파노라마 영상의 객체 검출 장치 및 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 GPU를 이용한 파노라마 영상의 객체 검출 장치는, 파노라마 영상(panoramic image)을 복수의 블록(block)으로 구분하고, 상기 블록을 구성하는 픽셀(pixel)마다 쓰레드(thread)를 할당하며, 상기 블록을 구성하는 픽셀에 할당된 상기 쓰레드가 상기 픽셀의 옵티컬 플로우를 계산하여 상기 블록 단위로 상기 파노라마 영상에 대한 옵티컬 플로우를 계산하는 옵티컬 플로우 계산부; 상기 파노라마 영상을 촬영한 촬영 장치의 자체 움직임(ego motion) 및 상기 옵티컬 플로우를 기초로 시차 플로우(parallax flow)를 계산하는 시차 플로우 계산부; 상기 시차 플로우를 기초로 상기 파노라마 영상에 대한 객체 후보 영역을 결정하는 후보 영역 결정부; 및 상기 객체 후보 영역의 상기 시차 플로우를 기초로 상기 객체 후보 영역에서 객체를 검출하는 객체 검출부;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 GPU를 이용한 파노라마 영상의 객체 검출 방법은, 파노라마 영상을 복수의 블록으로 구분하는 단계; 상기 블록을 구성하는 픽셀마다 쓰레드를 할당하는 단계; 상기 블록을 구성하는 픽셀에 할당된 상기 쓰레드가 상기 픽셀의 옵티컬 플로우를 계산하여 상기 블록 단위로 상기 파노라마 영상에 대한 옵티컬 플로우를 계산하는 단계; 상기 파노라마 영상을 촬영한 촬영 장치의 자체 움직임 및 상기 옵티컬 플로우를 기초로 시차 플로우를 계산하는 단계; 상기 시차 플로우를 기초로 상기 파노라마 영상에 대한 객체 후보 영역을 결정하는 단계; 및 상기 객체 후보 영역의 상기 시차 플로우를 기초로 상기 객체 후보 영역에서 객체를 검출하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다.
본 발명에 따른 GPU를 이용한 파노라마 영상의 객체 검출 장치 및 방법에 의하면, 그래픽 처리 장치(GPU)를 통해 파노라마 영상의 옵티컬 플로우(optical flow)를 병렬적으로 계산함으로써, 옵티컬 플로우(optical flow)의 계산에 소요되는 시간을 감소시켜 파노라며 영상에서 실시간으로 객체를 검출할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 검출 장치를 설명하기 위한 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 객체 검출 장치의 구성을 보다 자세히 나타낸 블록도,
도 3은 본 발명의 바람직한 실시예에 따른 옵티컬 플로우의 계산 동작을 설명하기 위한 도면,
도 4는 본 발명의 바람직한 실시예에 따른 옵티컬 플로우의 일례를 설명하기 위한 도면,
도 5는 본 발명의 바람직한 실시예에 따른 시차 플로우의 계산 동작을 설명하기 위한 도면,
도 6은 본 발명의 바람직한 실시예에 따른 객체 후보 영역 결정 동작을 설명하기 위한 도면,
도 7은 본 발명의 바람직한 실시예에 따른 객체 검출 동작을 설명하기 위한 도면, 그리고,
도 8은 본 발명의 바람직한 실시예에 따른 객체 검출 장치의 객체 검출 방법을 설명하기 위한 도면이다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 GPU를 이용한 파노라마 영상의 객체 검출 장치 및 방법(이하 '객체 검출 장치 및 방법'이라 함)의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 검출 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 객체 검출 장치(100)는 촬영 장치(200)와 연결된다. 이들 장치(100 및 200)는 로봇(robot), 차량(vehicle) 등과 같은 이동 장치(도시하지 않음)에 탑재될 수 있다. 물론, 촬영 장치(200)가 이동 장치에 탑재되고, 객체 검출 장치(100)는 통신망(도시하지 않음)을 통해 촬영 장치(200)와 연결될 수 있다.
객체 검출 장치(100)는 촬영 장치(200)로부터 제공받은 파노라마 영상(panoramic image)의 옵티컬 플로우(optical flow)를 그래픽 처리 장치(graphics processing unit : GPU)를 통해 계산하고, 파노라마 영상의 옵티컬 플로우(optical flow)을 기초로 파노라마 영상에서 객체를 검출한다.
촬영 장치(200)는 전방향 카메라(omnidirectional camera)를 구비하고, 전방향 카메라를 통해 주위의 장면(scene)을 촬영하여 파노라마 영상을 획득한다. 촬영 장치(200)는 획득한 파노라마 영상을 객체 검출 장치(100)에 제공한다. 물론, 촬영 장치(200)는 일부 방향을 촬영하는 복수의 카메라를 구비하고, 복수의 카메라를 통해 촬영된 영상을 결합하여 파노라마 영상을 획득할 수 있다.
통신망은 구내 정보 통신망(local area network : LAN), 도시권 통신망(metropolitan area network : MAN), 광역 통신망(wide area network : WAN), 인터넷 등을 포함하는 데이터 통신망뿐만 아니라 방송망, 전화망 등을 포함할 수 있고, 유선과 무선을 가리지 않으며, 어떠한 통신 방식을 사용하더라도 무방하다.
도 2는 본 발명의 바람직한 실시예에 따른 객체 검출 장치의 구성을 보다 자세히 나타낸 블록도이다.
객체 검출 장치(100)는 옵티컬 플로우 계산부(210), 시차 플로우 계산부(230), 후보 영역 결정부(250), 객체 검출부(270) 및 객체 추적부(290)를 포함한다.
옵티컬 플로우 계산부(210)는 그래픽 처리 장치(GPU)를 통해 파노라마 영상을 복수의 블록(block)으로 구분하고, 블록을 구성하는 픽셀(pixel)의 옵티컬 플로우(optical flow)를 병렬적으로 계산하여 블록 단위로 파노라마 영상에 대한 옵티컬 플로우(optical flow)를 계산한다. 즉, 옵티컬 플로우 계산부(210)는 블록을 구성하는 픽셀마다 쓰레드(thread)를 할당하고, 블록을 구성하는 각각의 픽셀에 할당된 쓰레드가 동시에 픽셀의 옵티컬 플로우(optical flow)를 계산한다.
여기서, 옵티컬 플로우(optical flow)는 관측자(예컨대, 사람의 눈, 카메라 등)와 장면(scene) 사이의 상대 운동을 기반으로 하는 장면에서의 객체의 뚜렷한 움직임을 말한다. 고밀도 옵티컬 플로우 맵(dense optical flow map)은 장면의 특징을 기반으로 하는 저밀도 방법보다 객체 세분화(object segmentation)에 더 적합하다. 본 발명에서는 글로벌 혼의 접근(global Horn's approach) 방법과 로컬 루카스-카나데의 접근(local Lucas-Kanade's approach) 방법의 장점이 결합된 로컬-글로벌(combined local-global : CLG) 방법을 사용한다. 이와 같은 결합된 로컬-글로벌(CLG) 방법은 그래픽 처리 장치(GPU)에서 효율적으로 구현될 수 있다.
도 3은 본 발명의 바람직한 실시예에 따른 옵티컬 플로우의 계산 동작을 설명하기 위한 도면이다.
그래픽 처리 장치(GPU)에서의 영상 처리는 "그리드(grid)-블록-쓰레드"의 구조를 통해 이루어진다. 그리드는 글로벌 메모리(global memory)에 저장되며 복수의 블록으로 나누어진다. 본 발명에서의 그리드는 파노라마 영상을 말한다. 블록은 복수의 쓰레드를 포함하며 복수의 쓰레드가 접근할 수 있는 공유 메모리(shared memory)을 구비한다. 쓰레드는 공유 메모리에 접근하여 영상 처리 동작을 수행하며 자신이 접근할 수 있는 레지스터(register)를 구비한다.
도 3을 참조하면, 파노라마 영상은 글로벌 메모리(GM)에 저장되고 복수의 블록(BK)으로 구분된다. 각 블록(BK)에 대응되는 이미지 영역은 해당 블록(BK)의 공유 메모리(SM)에 복사된다. 여기서, 블록(BK)의 공유 메모리(SM)에 저장되는 이미지 영역은
Figure 112012002351255-pat00001
의 크기를 가진다. 여기서,
Figure 112012002351255-pat00002
은 블록에 할당되는 이미지 영역의 크기를 나타내며, 본 발명에서는 '20'을 사용한다.
Figure 112012002351255-pat00003
은 컨벌루션 마스크 반경(convolution mask radius)을 나타낸다. 각 블록(BK)을 구성하는 픽셀에 할당된 쓰레드(TH)에 대응되는 이미지 영역은 해당 쓰레드(TH)의 레지스터(RT)에 복사된다. 여기서, 쓰레드(TH)의 레지스터(RT)에 저장되는 이미지 영역은
Figure 112012002351255-pat00004
의 크기를 가진다.
즉,
Figure 112012002351255-pat00005
및
Figure 112012002351255-pat00006
을 입력(input)으로 하고 결과 영상을 출력(output)으로 하는 아래의 알고리즘을 통해, 파노라마 영상을 블록의 공유 메모리와 쓰레드의 레지스터에 복사하고, 각 쓰레드가 동시에 자신에게 할당된 픽셀의 옵티컬 플로우(optical flow)를 계산한다.
1) 글로벌 메모리에 저장된 파노라마 영상에서
Figure 112012002351255-pat00007
의 크기를 가지는 해당 이미지 영역을 각 블록의 공유 메모리에 복사
2) 블록의 공유 메모리에 저장된 이미지에서
Figure 112012002351255-pat00008
의 크기를 가지는 해당 이미지 영역을 각 쓰레드의 레지스터에 복사
3) 각 쓰레드가 동기화하면서 컨벌루션(convolution)
즉, 옵티컬 플로우 계산부(210)는
Figure 112012002351255-pat00009
,
Figure 112012002351255-pat00010
,
Figure 112012002351255-pat00011
,
Figure 112012002351255-pat00012
,
Figure 112012002351255-pat00013
,
Figure 112012002351255-pat00014
,
Figure 112012002351255-pat00015
,
Figure 112012002351255-pat00016
및
Figure 112012002351255-pat00017
를 입력(input)으로 하고
Figure 112012002351255-pat00018
를 출력(output)으로 하는 아래의 알고리즘을 통해 파노라마 영상의 옵티컬 플로우(optical flow)를 계산한다. 옵티컬 플로우(optical flow)는 1차 가우시안 평탄화(Gaussian smoothing), 미분 계산(derivative computation), 2차 가우시안 평탄화, 피라미드 구축(building of the pyramids), 옵티컬 플로우 계산(optical flow computation) 등의 과정을 거쳐 계산된다. 여기서, 가우스 평탄화는 절단되고 재정규화된 가우시안(truncated and renormailized Gaussian)의 이산 컨벌루션(discrete convolution)에 의해 실현된다.
Figure 112012002351255-pat00019
여기서,
Figure 112012002351255-pat00020
및
Figure 112012002351255-pat00021
는 옵티컬 플로우(optical flow)의 컴포넌트를 나타낸다.
Figure 112012002351255-pat00022
은 구조 텐서(structure tensor)의 컴포넌트
Figure 112012002351255-pat00023
을 나타낸다.
Figure 112012002351255-pat00024
는 파노라마 영상의 너비(width)를 나타내고,
Figure 112012002351255-pat00025
는 파노라마 영상의 높이(height)를 나타낸다.
Figure 112012002351255-pat00026
및
Figure 112012002351255-pat00027
는 현재 위치(current position)를 나타낸다.
Figure 112012002351255-pat00028
는 파노라마 영상을 위한 가우시안 커널(Gaussian kernel)의 표준 편차(standard deviation)를 나타낸다.
Figure 112012002351255-pat00029
는 구조 텐서(structure tensor) 계산의 표준 편차를 나타낸다.
Figure 112012002351255-pat00030
는 정규화 상수(regularization parameter)로 사용되는 평탄화 가중치(smoothness weight)를 나타낸다. 본 발명에서
Figure 112012002351255-pat00031
,
Figure 112012002351255-pat00032
및
Figure 112012002351255-pat00033
의 값은 실험적으로 결정되며, 각각 '0.5', '0.9' 및 '1400'으로 설정될 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른 옵티컬 플로우의 일례를 설명하기 위한 도면이다.
도 4를 참조하면, 도 4의 (a)는 입력된 파노라마 영상인 요세미티(yosemite) 영상 시퀀스(image sequence)의 8번째 프레임을 나타낸다. 도 4의 (b)는 중앙 처리 장치(central processing unit : CPU)를 통해 획득한 (a) 영상에 대한 옵티컬 플로우(optical flow)를 나타내고, 도 4의 (c)는 그래픽 처리 장치(GPU)를 통해 획득한 (a) 영상에 대한 옵티컬 플로우(optical flow)를 나타낸다. 화살표 형식은 고밀도 속도 맵(dense velocity map)을 표현하기에 적합하지 않으므로, 각 속도 벡터는 HSV 칼라 모델과 유사한 칼라 맵에 따라 인코딩된다. 도 4의 (d)는 옵티컬 플로우(optical flow)의 각도를 칼라로 표현한 옵티컬 플로우(optical flow)의 칼라 맵(color map)을 나타낸다. 도 4의 (e)는 옵티컬 플로우(optical flow)의 밝기를 변위 놈(displacement norm)으로 표현한 옵티컬 플로우(optical flow)의 벡터 필드(vector field)를 나타낸다.
그래픽 처리 장치(GPU)를 통해 옵티컬 플로우(optical flow)의 세부 계산 과정의 소요 시간을 실험한 결과, 그 소요 시간은 아래의 [표 1]과 같다.
해상도
(pixel)		 입력
/출력
(ms)		 1차 가우시안 평탄화
(ms)		 미분 계산
(ms)		 2차 가우시안 평탄화
(ms)		 피라미드 구축
(ms)		 옵티컬 플로우 계산
(ms)		 픽셀당 처리 시간
(us)
32 x 32 0.131 0.108 0.036 0.087 0.057 0.309 0.711
128 x 128 0.245 0.067 0.085 0.379 0.162 0.420 0.083
512 x 512 1.075 0.708 0.690 5.917 0.372 3.383 0.046
그리고, 그래픽 처리 장치(GPU)와 중앙 처리 장치(CPU)를 통해 옵티컬 플로우(optical flow)를 각각 계산한 결과, 옵티컬 플로우(optical flow) 계산에 소요되는 시간은 아래의 [표 2]와 같다.
해상도
(pixel)		 처리 시간 (ms) P
CPU GPU
256 x 256 47.96 3.43 13.88
512 x 512 190.59 12.14 15.69
1024 x 1024 773.31 48.03 16.1
2048 x 2048 3122.51 190.43 16.39
여기서, P는 그래픽 처리 장치(GPU)를 통한 처리 시간 대비 중앙 처리 장치(CPU)를 통한 처리 시간의 비율을 나타낸다. P를 통해 상대적인 성능의 차이를 확인할 수 있다. 고해상도 이미지의 전송 과정에 적은 오버헤드(overhead)가 걸리게 되어, 위의 [표 2]에서 확인할 수 있듯이 이미지의 해상도가 높아질수록 그래픽 처리 장치(GPU)를 이용한 경우의 성능이 중앙 처리 장치(CPU)를 이용한 경우의 성능보다 상대적으로 향상됨을 알 수 있다.
시차 플로우 계산부(230)는 파노라마 영상을 촬영한 촬영 장치(200)의 자체 움직임(ego motion) 및 옵티컬 플로우 계산부(210)에 의해 계산된 파노라마 영상에 대한 옵티컬 플로우(optical flow)를 기초로 시차 플로우(parallax flow)를 계산한다. 즉, 시차 플로우 계산부(230)는 촬영 장치(200)의 오도메트리(odometry) 정보를 기초로 자체 움직임(ego motion)을 계산하고, 파노라마 영상에 대한 옵티컬 플로우(optical flow)에 계산된 자체 움직임(ego motion)을 반영하여 시차 플로우(parallax flow)를 계산한다.
도 5는 본 발명의 바람직한 실시예에 따른 시차 플로우의 계산 동작을 설명하기 위한 도면이다.
본 발명에 따른 파노라마 영상은
Figure 112012002351255-pat00034
도와
Figure 112012002351255-pat00035
도로 이루어진 구면 좌표계(spherical coordinates)로 표현된다. 도 5를 참조하면, 점
Figure 112012002351255-pat00036
는 좌표계
Figure 112012002351255-pat00037
에서의 좌표
Figure 112012002351255-pat00038
와 직교 좌표계(rectangular coordinates)에서의 좌표
Figure 112012002351255-pat00039
로 나타낼 수 있다. 좌표계
Figure 112012002351255-pat00040
에서
Figure 112012002351255-pat00041
으로의 촬영 장치(200)의 움직임은 오도미터(odometer)를 사용하여 측정된다. 여기서, 촬영 장치(200)의 움직임은 트랜스레이션(translation)
Figure 112012002351255-pat00042
및 로테이션(rotation)
Figure 112012002351255-pat00043
으로 표현된다. 구면 좌표계에서 직교 좌표계로의 좌표계 변환은
Figure 112012002351255-pat00044
로 표현되고, 이의 역 변환은
Figure 112012002351255-pat00045
로 표현된다. 촬영 장치(200)가 탑재된 로봇은 일반적으로 평면상에서 이동하므로, 지평면의 법선(surface normal)은 촬영 장치(200)의 y축과 평행하다. 즉, 피치(pitch)
Figure 112012002351255-pat00046
및 롤(roll)
Figure 112012002351255-pat00047
은 '0'이 되고, 직교 좌표계의 각도
Figure 112012002351255-pat00048
는 구면 좌표계의
Figure 112012002351255-pat00049
와 동일하다. 예컨대, 촬영 장치(200)가 트랜스레이션(translation)없이
Figure 112012002351255-pat00050
에 의해 로테이션(rotation)되면, 점
Figure 112012002351255-pat00051
는
Figure 112012002351255-pat00052
로 표현된다.
장면 구조(scene structure)를 위한 깊이 정보(depth information)가 없으므로, 실제 환경(real environment)의 깊이
Figure 112012002351255-pat00053
은 '1'로 설정한다. 촬영 장치(200)의 초기 자체 움직임(initial ego motion)
Figure 112012002351255-pat00054
은 오도미터 출력(odometer output) 정보를 이용하여 아래의 [수학식 1]에 의해 계산된다.
Figure 112012002351255-pat00055
주위 환경을 고려한 실제 자체 움직임(real ego motion)을 추정하기 위해서는 옵티컬 플로우(optical flow), 즉, 고유 플로우(intrinsic flow)
Figure 112012002351255-pat00056
를 분석해야 한다. 촬영 장치(200)가 고정 전경 객체(static foreground object)에 가까워지는 경우, 일반적으로 영상에서의 고정 전경 객체의 움직임은 커진다. 점
Figure 112012002351255-pat00057
의 거리
Figure 112012002351255-pat00058
는 움직임 플로우(motion flow)의 크기(magnitude)에 반비례한다.
실제 자체 움직임(real ego motion)
Figure 112012002351255-pat00059
는
Figure 112012002351255-pat00060
,
Figure 112012002351255-pat00061
및
Figure 112012002351255-pat00062
를 입력(input)으로 하고
Figure 112012002351255-pat00063
를 출력(output)으로 하는 아래의 알고리즘을 통해 계산된다.
Figure 112012002351255-pat00064
여기서,
Figure 112012002351255-pat00065
는 평균 고유 플로우(averaged intrinsic flow)를 나타낸다.
Figure 112012002351255-pat00066
는 평균 초기 자체 움직임 플로우(averaged initial ego motion flow)를 나타낸다.
본 발명은 V-시차 맵(v-disparity map)과 유사하게, 파노라마 영상의 각 열에서의 고유 플로우(intrinsic flow)
Figure 112012002351255-pat00067
의 크기(magnitude)를 평가하여 파노라마 영상의 대부분을 차지하는 지면(ground plane)을 결정한다. 특히, 위의 알고리즘에서 확인할 수 있듯이, 각 열에서의 평균 고유 플로우(averaged intrinsic flow)
Figure 112012002351255-pat00068
와 평균 초기 자체 움직임 플로우(averaged initial ego motion flow)
Figure 112012002351255-pat00069
를 곱함으로써, 파노라마 영상의 지면 플로우(ground plane flow)를 나타내는 실제 자체 움직임(real ego motion)
Figure 112012002351255-pat00070
를 획득한다. 이후, 실제 자체 움직임(real ego motion)을 제거하여 시차 플로우(parallax flow)
Figure 112012002351255-pat00071
를 획득한다.
후보 영역 결정부(250)는 시차 플로우 계산부(230)에 의해 획득된 시차 플로우(parallx flow)를 기초로 파노라마 영상에 대한 객체 후보 영역을 결정한다. 즉, 후보 영역 결정부(250)는 사람 등의 객체의 범위 및 크기에 대한 퍼스펙티브 제약(perspective constraint)을 고려하여 시차 플로우(parallax flow)
Figure 112012002351255-pat00072
의 평균 크기(averaged magnitude)를 검사함으로써 파노라마 영상에 대한 객체 후보 영역을 결정한다.
도 6은 본 발명의 바람직한 실시예에 따른 객체 후보 영역 결정 동작을 설명하기 위한 도면이다.
도 6의 (a)는 입력된 파노라마 영상을 나타낸다. 도 6의 (b)는 파노마라 영상에 대한 옵티컬 플로우(optical flow), 즉, 고유 플로우(intrinsic flow)를 나타낸다. 도 6의 (c)는 자체 움직임(ego motion)을 고려한 시차 플로우(parallax flow)를 나타낸다. 도 6의 (d)는 파노라마 영상에 대한 객체 후보 영역을 나타낸다.
지면 영역(groud area)에 있는 대부분의 옵티컬 플로우(optical flow)는 촬영 장치(200)의 자체 움직임(ego motion)으로부터 유래된다. 이에 따라 도 6의 (c)와 같이 일부의 시차 플로우(parallax flow)가 객체 후보 영역으로 결정된다. 도 6의 (d)와 같이 객체 후보 영역은 사각형으로 표현된다. 여기서, 객체 후보 영역의 색상은 객체가 사람일 가능성 정도를 나타낸다. 객체 후보 영역의 색상이 높은 색 온도를 가질수록 사람일 가능성이 높다는 것을 나타낸다. 여기서, 빨간색에서 파란색으로 갈수록 높은 색 온도를 가진다.
객체 검출부(270)는 후보 영역 결정부(250)에 의해 결정된 객체 후보 영역의 시차 플로우(parallax flow)를 기초로 객체 후보 영역에서 객체를 검출한다. 객체 검출부(270)는 형상 특징(shape feature) 기반 분류 알고리즘(classification algorithm)을 이용하여 객체 후보 영역
Figure 112012002351255-pat00073
의 픽셀
Figure 112012002351255-pat00074
가 사람 등과 같은 객체의 일부분인지 아닌지를 분류한다.
즉, 객체 검출부(270)는 아래의 [수학식 2]와 같이 시차 플로우(parallax flow)
Figure 112012002351255-pat00075
, 챔퍼 거리(chamfer distance)
Figure 112012002351255-pat00076
및 기울기 히스토그램(histogram of gradient : HOG) 기반 SVM(support vector machine) 분류 결과를 기반으로 하는 세 개의 정규화된 특징 측정치(normalized featue measures)
Figure 112012002351255-pat00077
를 기초로 객체 후보 영역에서 객체를 검출한다.
Figure 112012002351255-pat00078
여기서,
Figure 112012002351255-pat00079
는 객체 중 사람 유형(people class)를 나타낸다. 각 특징의 가중치
Figure 112012002351255-pat00080
는 식별력(discriminative power)에 따른 상대적 기여도(relative contribution)에 따라 달라진다. 본 발명에서
Figure 112012002351255-pat00081
,
Figure 112012002351255-pat00082
및
Figure 112012002351255-pat00083
의 값은 실험적으로 결정되며, 각각 '0.35', '0.25' 및 '0.4'으로 설정될 수 있다.
객체 검출부(270)는 아래의 [수학식 3]과 같이 시차 플로우
Figure 112012002351255-pat00084
를 기초로 제1특징 측정치
Figure 112012002351255-pat00085
을 계산한다. 여기서, 제1특징 측정치
Figure 112012002351255-pat00086
은 사람 등과 같은 독립적으로 움직이는 객체일 가능성을 나타낸다.
Figure 112012002351255-pat00087
여기서,
Figure 112012002351255-pat00088
는 픽셀
Figure 112012002351255-pat00089
에서의 시차 플로우 크기(parallax flow magnitude)의 절대값을 나타낸다.
Figure 112012002351255-pat00090
는 절단 계수(truncation coefficient)로서, 지나치게 큰 값을 가지는 아웃라이어 플로우(outlier flow)의 상대적 영향(relative influence)을 조절한다. 본 발명에서
Figure 112012002351255-pat00091
의 값은 실험적으로 결정되며, '10'으로 설정될 수 있다.
객체 검출부(270)는 아래의 [수학식 4]와 같이 챔퍼 거리(chamfer distance)
Figure 112012002351255-pat00092
를 기초로 제2특징 측정치
Figure 112012002351255-pat00093
를 계산한다.
Figure 112012002351255-pat00094
여기서,
Figure 112012002351255-pat00095
는 학습용 사람 형상 템플릿 세트를 나타낸다.
Figure 112012002351255-pat00096
은 객체 후보 영역
Figure 112012002351255-pat00097
의 캐니 에지 오퍼레이터(Canny edge operator)를 사용한 실루엣 영상(silhouette image)을 나타낸다.
Figure 112012002351255-pat00098
는 절단 파라미터(truncation parameter)로서, 아웃라이어 효과(outlier effect)를 감소시키는 데 사용된다. 본 발명에서
Figure 112012002351255-pat00099
의 값은 실험적으로 결정되며, '10'으로 설정될 수 있다.
Figure 112012002351255-pat00100
는 거리 변환된 실루엣 영상(distance-transformed silhouette image)을 나타낸다.
Figure 112012002351255-pat00101
는
Figure 112012002351255-pat00102
를 구성하는 픽셀을 나타낸다.
Figure 112012002351255-pat00103
는 픽셀의 개수를 나타낸다.
Figure 112012002351255-pat00104
는 학습용 사람 형상 템플릿 세트의 클러스터(cluster)를 나타낸다.
객체 검출부(270)는 아래의 [수학식 5]와 같이 객체 후보 영역의 기울기 히스토그램(HOG) 기반 SVM(support vector machine) 분류 결과를 기초로 제3특징 측정치
Figure 112012002351255-pat00105
을 계산한다.
Figure 112012002351255-pat00106
객체 후보 영역의 기울기 히스토그램(HOG)은 탐색 창(search window)에서 중복되는 사각형 블록(rectangular block)의 그리드(grid)를 통해 계산된다. 각 블록에서 기울기 히스토그램(HOG)은 블록 내부에서 발생한 기울기 방향(gradient direction)의 빈도(frequency)를 나타낸다. x 방향과 y 방향의 양 방향에 소벨 필터(Sobel filter)를 적용하여 기울기를 계산한다. 객체 후보 영역의 기울기 히스토그램(HOG)을 계산한 후, SVM(support vector machine) 기반 분류기를 이용하여 객체 후보 영역을 사람과 비사람 형상으로 정렬한다. 객체 후보 영역의 정확도 효과를 보상하기 위해, 특징 추출(feature extraction)과 SVM 기반 분류를 하는 동안 슬라이딩 창(sliding window)은 정규화된 영상(normalized image) 위를 15번(x 방향으로 5번, y 방향으로 3번) 움직인다. SVM 기반 분류기는 바이너리 결정 결과를 리턴한다. 결정 결과는 '참(true)' 또는 '거짓(false)'이거나 '1' 또는 '0'을 말한다. 예컨대, SVM 기반 분류 결과가 '참(true)'인 경우 해당 객체 후보 영역은 객체(사람 등)인 것이고, '거짓(false)'인 경우 해당 객체 후보 영역은 객체(사람 등)가 아니라나느 것을 말한다. 즉, 위의 [수학식 5]에 의해 계산된 제3특징 측정치
Figure 112012002351255-pat00107
은 객체 후보 영역의 분류 결과가 참(true)일 가능성을 나타낸다.
한편, 객체 검출부(270)는 객체 후보 영역의 시차 플로우(parallax flow)를 기초로 객체 후보 영역에서 제1후보 영역을 추출하고, 제1후보 영역의 챔퍼 거리(chamfer distance)를 기초로 제1후보 영역에서 제2후보 영역을 추출하며, 기울기 히스토그램(HOG) 기반 SVM(support vector machine) 분류 결과 값을 이용하여 제2후보 영역에서 객체를 검출할 수도 있다.
도 7은 본 발명의 바람직한 실시예에 따른 객체 검출 동작을 설명하기 위한 도면이다.
도 7의 (a)는 '48 X 96'의 해상도를 가지는 정규화된 그레이 스케일 영상(normalized gray scale image)을 나타낸다. 도 7의 (b)는 움직임 기반으로 검출된 객체 후보 영역의 시차 플로우 맵(parallax flow map)을 나타낸다. 도 7의 (c)는 에지 영상(edged image)에서 챔퍼 거리(chamfer distance)에 의한 형상 기반 매칭 결과를 나타낸다. 도 7의 (d)는 기울기 히스토그램(HOG)을 이용한 SVM(support vector machine) 분류 결과를 나타낸다. 도 7의 (e)는 사람 영역(녹색)과 실루엣(빨간색)을 나타낸다. 도 7의 (b), (c) 및 (d)에서 높은 색 온도는 형상이 사람일 가능성이 높다는 것을 나타낸다.
객체 추적부(290)는 객체 검출부(270)에 의해 검출된 객체를 추적한다. 즉, 객체 추적부(290)는 옵티컬 플로우(optical flow)를 사용하여 이전 프레임으로부터 객체를 추적하고, 위치, 크기 및 모습을 기반으로 하는 관련성 측정치(affinity measures)를 통해 객체를 추적한다.
도 8은 본 발명의 바람직한 실시예에 따른 객체 검출 장치의 객체 검출 방법을 설명하기 위한 도면이다.
객체 검출 장치(100)는 촬영 장치(200)로부터 수신한 파노라마 영상의 옵티컬 플로우(optical flow)를 계산한다(S810). 즉, 객체 검출 장치(100)는 그래픽 처리 장치(GPU)를 통해 파노라마 영상을 복수의 블록으로 구분하고, 블록을 구성하는 픽셀의 옵티컬 플로우(optical flow)를 병렬적으로 계산하여 블록 단위로 파노라마 영상에 대한 옵티컬 플로우(optical flow)를 계산한다.
이후, 객체 검출 장치(100)는 파노라마 영상의 옵티컬 플로우(optical flow) 및 촬영 장치(200)의 자체 움직임(ego motion)을 이용하여 시차 플로우(parallax flow)를 계산한다(S820). 즉, 객체 검출 장치(100)는 촬영 장치(200)의 오도메트리 정보를 기초로 자체 움직임(ego motion)을 계산하고, 파노라마 영상에 대한 옵티컬 플로우(optical flow)에 계산된 자체 움직임(ego motion)을 반영하여 시차 플로우(parallax flow)를 계산한다.
이후, 객체 검출 장치(100)는 시차 플로우(parallax flow)를 기초로 파노라마 영상에 대한 객체 후보 영역을 결정한다(S830). 그런 다음, 객체 검출 장치(100)는 객체 후보 영역의 시차 플로우(parallax flow)를 기초로 객체 후보 영역에서 객체를 검출한다(S840). 즉, 객체 검출 장치(100)는 시차 플로우(parallax flow), 챔퍼 거리(chamfer distance) 및 기울기 히스토그램(HOG) 기반 SVM(support vector machine) 분류 결과를 기초로 객체 후보 영역에서 객체를 검출한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 롬(ROM), 램(RAM), CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 유무선 통신망으로 연결된 컴퓨터 장치에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 다음의 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 객체 검출 장치, 200: 촬영 장치,
210: 옵티컬 플로우 계산부, 230: 시차 플로우 계산부,
250: 후보 영역 결정부, 270: 객체 검출부,
290: 객체 추적부

Claims (9)

  1. 파노라마 영상(panoramic image)을 복수의 블록(block)으로 구분하고, 상기 블록을 구성하는 픽셀(pixel)마다 쓰레드(thread)를 할당하며, 상기 블록을 구성하는 픽셀에 할당된 상기 쓰레드가 상기 픽셀의 옵티컬 플로우를 계산하여 상기 블록 단위로 상기 파노라마 영상에 대한 옵티컬 플로우를 계산하는 옵티컬 플로우 계산부;
    상기 파노라마 영상을 촬영한 촬영 장치의 자체 움직임(ego motion) 및 상기 옵티컬 플로우를 기초로 시차 플로우(parallax flow)를 계산하는 시차 플로우 계산부;
    상기 시차 플로우를 기초로 상기 파노라마 영상에 대한 객체 후보 영역을 결정하는 후보 영역 결정부; 및
    상기 객체 후보 영역의 상기 시차 플로우를 기초로 상기 객체 후보 영역에서 객체를 검출하는 객체 검출부;를 포함하는 것을 특징으로 하는 GPU를 이용한 파노라마 영상의 객체 검출 장치.
  2. 제 1항에 있어서,
    상기 블록의 공유 메모리(shared memory)에 저장되는 영상은
    Figure 112012002351255-pat00108
    의 크기를 가지고, 상기
    Figure 112012002351255-pat00109
    은 상기 블록에 할당되는 이미지 영역의 크기를 나타내며, 상기
    Figure 112012002351255-pat00110
    은 컨벌루션 마스크 반경(convolution mask radius)을 나타내고,
    상기 쓰레드의 레지스터(register)에 저장되는 영상은
    Figure 112012002351255-pat00111
    의 크기를 가지는 것을 특징으로 하는 GPU를 이용한 파노라마 영상의 객체 검출 장치.
  3. 제 1항에 있어서,
    상기 객체 검출부는 상기 객체 후보 영역의 상기 시차 플로우, 상기 객체 후보 영역의 챔퍼 거리(chamfer distance) 및 상기 객체 후보 영역의 기울기 히스토그램(histogram of gradient : HOG) 기반 SVM(support vector machine) 분류 결과를 이용하여 상기 객체 후보 영역에서 객체를 검출하는 것을 특징으로 하는 GPU를 이용한 파노라마 영상의 객체 검출 장치.
  4. 제 3항에 있어서,
    상기 객체 검출부는 상기 객체 후보 영역의 상기 시차 플로우를 기초로 획득된 값, 상기 객체 후보 영역의 상기 챔퍼 거리를 기초로 획득된 값 및 상기 객체 후보 영역의 상기 기울기 히스토그램 기반 SVM 분류 결과를 기초로 획득된 값을 가중합한 값을 이용하여 상기 객체 후보 영역에서 객체를 검출하는 것을 특징으로 하는 GPU를 이용한 파노라마 영상의 객체 검출 장치.
  5. 제 3항에 있어서,
    상기 객체 검출부는 상기 객체 후보 영역의 상기 시차 플로우를 기초로 상기 객체 후보 영역에서 제1후보 영역을 추출하고, 상기 제1후보 영역의 상기 챔퍼 거리를 기초로 상기 제1후보 영역에서 제2후보 영역을 추출하며, 상기 제2후보 영역의 상기 기울기 히스토그램 기반 SVM 분류 결과를 기초로 획득된 값을 이용하여 상기 제2후보 영역에서 객체를 검출하는 것을 특징으로 하는 GPU를 이용한 파노라마 영상의 객체 검출 장치.
  6. 파노라마 영상을 복수의 블록으로 구분하는 단계;
    상기 블록을 구성하는 픽셀마다 쓰레드를 할당하는 단계;
    상기 블록을 구성하는 픽셀에 할당된 상기 쓰레드가 상기 픽셀의 옵티컬 플로우를 계산하여 상기 블록 단위로 상기 파노라마 영상에 대한 옵티컬 플로우를 계산하는 단계;
    상기 파노라마 영상을 촬영한 촬영 장치의 자체 움직임 및 상기 옵티컬 플로우를 기초로 시차 플로우를 계산하는 단계;
    상기 시차 플로우를 기초로 상기 파노라마 영상에 대한 객체 후보 영역을 결정하는 단계; 및
    상기 객체 후보 영역의 상기 시차 플로우를 기초로 상기 객체 후보 영역에서 객체를 검출하는 단계;를 포함하는 것을 특징으로 하는 GPU를 이용한 파노라마 영상의 객체 검출 방법.
  7. 제 6항에 있어서,
    상기 블록의 공유 메모리에 저장되는 영상은
    Figure 112012002351255-pat00112
    의 크기를 가지고, 상기
    Figure 112012002351255-pat00113
    은 상기 블록에 할당되는 이미지 영역의 크기를 나타내며, 상기
    Figure 112012002351255-pat00114
    은 컨벌루션 마스크 반경을 나타내고,
    상기 쓰레드의 레지스터에 저장되는 영상은
    Figure 112012002351255-pat00115
    의 크기를 가지는 것을 특징으로 하는 GPU를 이용한 파노라마 영상의 객체 검출 방법.
  8. 제 6항에 있어서,
    상기 객체 검출 단계는,
    학습 데이터를 이용하여 상기 객체 후보 영역의 챔퍼 거리를 계산하는 단계;
    상기 객체 후보 영역의 기울기 히스토그램을 계산하는 단계; 및
    상기 객체 후보 영역의 상기 시차 플로우, 상기 객체 후보 영역의 챔퍼 거리 및 상기 객체 후보 영역의 기울기 히스토그램 기반 SVM 분류 결과를 이용하여 상기 객체 후보 영역에서 객체를 검출하는 단계;를 포함하는 것을 특징으로 하는 GPU를 이용한 파노라마 영상의 객체 검출 방법.
  9. 제 6항 내지 제 8항 중 어느 한 항에 기재된 GPU를 이용한 파노라마 영상의 객체 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120002836A 2012-01-10 2012-01-10 Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법 KR101241813B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120002836A KR101241813B1 (ko) 2012-01-10 2012-01-10 Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120002836A KR101241813B1 (ko) 2012-01-10 2012-01-10 Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101241813B1 true KR101241813B1 (ko) 2013-03-15

Family

ID=48181550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120002836A KR101241813B1 (ko) 2012-01-10 2012-01-10 Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101241813B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101842488B1 (ko) * 2017-07-11 2018-03-27 한국비전기술주식회사 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템
KR101844248B1 (ko) * 2015-03-26 2018-04-02 주식회사 만도 이미지의 대상물을 분류하기 위한 방법 및 장치
WO2020171257A1 (ko) * 2019-02-21 2020-08-27 한국과학기술원 영상 처리 방법 및 그 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148809A (ja) 2005-11-28 2007-06-14 Fujitsu Ltd 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
KR20090062881A (ko) * 2007-12-13 2009-06-17 삼성전자주식회사 이동 로봇 및 그 이동 객체 검출 방법
KR100991671B1 (ko) 2008-12-15 2010-11-04 재단법인대구경북과학기술원 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치
KR20110030951A (ko) * 2009-09-18 2011-03-24 삼성전자주식회사 동작 검출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148809A (ja) 2005-11-28 2007-06-14 Fujitsu Ltd 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
KR20090062881A (ko) * 2007-12-13 2009-06-17 삼성전자주식회사 이동 로봇 및 그 이동 객체 검출 방법
KR100991671B1 (ko) 2008-12-15 2010-11-04 재단법인대구경북과학기술원 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치
KR20110030951A (ko) * 2009-09-18 2011-03-24 삼성전자주식회사 동작 검출 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844248B1 (ko) * 2015-03-26 2018-04-02 주식회사 만도 이미지의 대상물을 분류하기 위한 방법 및 장치
US10115028B2 (en) 2015-03-26 2018-10-30 Mando Corporation Method and device for classifying an object in an image
KR101842488B1 (ko) * 2017-07-11 2018-03-27 한국비전기술주식회사 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템
WO2020171257A1 (ko) * 2019-02-21 2020-08-27 한국과학기술원 영상 처리 방법 및 그 장치

Similar Documents

Publication Publication Date Title
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
US10049492B2 (en) Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
US9846946B2 (en) Objection recognition in a 3D scene
Shin et al. Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities
US8103055B2 (en) Detection of blobs in images
US20080166016A1 (en) Fast Method of Object Detection by Statistical Template Matching
Rout A survey on object detection and tracking algorithms
US9367920B2 (en) Method and apparatus for processing images
KR20110064117A (ko) 얼굴 정면포즈 판단 방법
Ding et al. Fast lane detection based on bird’s eye view and improved random sample consensus algorithm
CN106778633B (zh) 一种基于区域分割的行人识别方法
CN101383005A (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
Hu et al. A novel approach for crowd video monitoring of subway platforms
US20220148200A1 (en) Estimating the movement of an image position
KR101241813B1 (ko) Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법
CN107274477B (zh) 一种基于三维空间表层的背景建模方法
Kang et al. People detection method using graphics processing units for a mobile robot with an omnidirectional camera
JP6163732B2 (ja) 画像処理装置、プログラム、及び方法
Lee et al. Vehicle counting based on a stereo vision depth maps for parking management
KR101980899B1 (ko) 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법
Matsumoto et al. Real-time enhancement of RGB-D point clouds using piecewise plane fitting
Zhang et al. 3D pedestrian tracking and frontal face image capture based on head point detection
CN118089794B (en) Simulation method for self-adaptive multi-information integrated navigation based on multi-source information
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee