KR100868637B1 - 마커를 활용한 위치 데이터 수집 영상처리 시스템 및 방법 - Google Patents

마커를 활용한 위치 데이터 수집 영상처리 시스템 및 방법 Download PDF

Info

Publication number
KR100868637B1
KR100868637B1 KR1020070018348A KR20070018348A KR100868637B1 KR 100868637 B1 KR100868637 B1 KR 100868637B1 KR 1020070018348 A KR1020070018348 A KR 1020070018348A KR 20070018348 A KR20070018348 A KR 20070018348A KR 100868637 B1 KR100868637 B1 KR 100868637B1
Authority
KR
South Korea
Prior art keywords
marker
image
matrix
area
coordinates
Prior art date
Application number
KR1020070018348A
Other languages
English (en)
Other versions
KR20080078352A (ko
Inventor
박지윤
박진우
오명란
김지연
Original Assignee
재단법인서울대학교산학협력재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인서울대학교산학협력재단 filed Critical 재단법인서울대학교산학협력재단
Priority to KR1020070018348A priority Critical patent/KR100868637B1/ko
Publication of KR20080078352A publication Critical patent/KR20080078352A/ko
Application granted granted Critical
Publication of KR100868637B1 publication Critical patent/KR100868637B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 컴퓨터 비젼 시스템을 이용하여 시간에 따른 물체의 위치 데이터를 수집하는 것에 관한 것으로, 마커를 관찰 대상 물체에 부착하고 이미지 획득 모듈로 상기 관찰 대상 물체의 이미지를 획득하여 물체의 위치 데이터를 수집하는 영상 처리 방법에 있어서, 마커가 이미지상에 나타나는 영역을 알기 위해 필요한 행렬 H1, H2를 구하는 제 1 행렬 연산 과정; 상기 행렬 H1, H2와 마커의 높이를 이용해서 마커가 이미지상에 나타나는 영역을 구하는 마커 존재 영역 연산 과정; 실제 공간의 위치 좌표를 계산하기 위해 필요한 행렬 H를 구하는 제 2 행렬 연산 과정; 상기 이미지 획득 모듈을 통해 획득한 이미지를 상기 마커가 이미지상에 나타나는 영역 내에서 복수의 마커 패턴 템플릿을 이용하여 템플릿 매칭을 수행하는 패턴 매칭 수행 과정; 및 상기 이미지상에서 찾은 패턴의 중심좌표와 상기 행렬 H를 이용하여 마커의 실제 공간좌표를 구하는 실제 공간좌표 연산 과정을 포함하는 것을 특징으로 한다.
위치 데이터 수집, 컴퓨터 비젼, 패턴 매칭, 사영변환

Description

마커를 활용한 위치 데이터 수집 영상처리 시스템 및 방법{Position collecting vision system using marker}
도 1은 본 발명의 마커를 활용한 위치 데이터 수집 영상처리 방법 순서도,
도 2는 본 발명의 마커를 활용한 위치 데이터 수집 영상처리 시스템의 기능 구성도,
도 3은 카메라가 비추는 실제 공간의 크기를 나타낸 도면,
도 4a 및 4b는 사영변환을 이용한 행렬 H1과 H2 연산을 설명한 개념도,
도 5는 행렬 H1의 역행렬를 이용한 마커 존재 영역 연산을 설명한 개념도,
도 6은 행렬 H1과 H2의 역행렬을 이용해 구한 마커 존재 영역을 표시한 도면,
도 7은 사영변환을 이용한 행렬 H의 연산을 설명한 개념도,
도 8은 두 대의 카메라로 구성된 이미지 획득 모듈을 사용하는 경우의 케이스 구분을 나타낸 도면이다.
본 발명은 컴퓨터 비젼 시스템을 이용하여 시간에 따른 물체의 위치 데이터를 수집하는 것에 관한 것으로, 특히, 관찰 대상 물체에 마커(marker)를 부착하고 이를 패턴 매칭을 이용하여 추적함으로써 물체의 움직임을 실제 공간좌표에 자동적으로 나타내는 위치 데이터 수집 영상처리 시스템 및 방법에 관한 것이다.
실제 작업 현장에서 복잡한 움직임을 지니는 물체의 위치를 비젼 시스템을 통해 지속적이고 정확하게 추적하는 시스템은 작업을 효율을 높일 수 있는 여러 작업 개선 방안에 쓰이는 기초자료를 제공할 수 있음으로써 많은 중요성을 지닌다.
물체의 움직임을 촬영한 이미지에서 물체의 위치를 추적하는 일에는 여러 가지 방안이 있다. 주로 고정된 배경에서 물체의 움직이는 부분을 먼저 파악한 후, 그 결과를 가지고 이미지를 관심 대상 영역에 한정해 단순화하는 방법을 사용하는 경우가 많다. 이러한 과정을 거쳐 단순화된 영상에서 관찰 대상이 되는 부분의 이미지를 의미 있는 것으로 설정하여 그 부분 이미지의 무게 중심이나 중점 등을 계산하고, 그것을 실제 그 물체의 위치로써 파악하는 방안 등을 살펴볼 수 있다.
그러나 작업이 이루어지는 현장에서 측정만을 위하여 작업을 중단하기 어렵기 때문에, 관찰 대상 물체만을 제외한 고정된 배경의 이미지를 얻기가 힘든 경우가 많다. 또한, 대부분의 경우 관찰 대상 물체 이외에도 많은 작업자와 작업 차량, 자재 등이 동시에 움직이게 된다. 이러한 상황에서 고정된 배경에서 움직이는 부분의 이미지를 분리해 내는 방법으로는 실제 관찰 대상 물체의 움직임만으로 분석 영 역을 한정 지을 수 없고, 그 결과 무게 중심 및 중점 등이 관찰 대상 물체와는 관계없는 위치에 생기게 된다. 따라서 고정된 배경을 이용하여 물체의 위치를 추적하는 방안은 본 발명에서 목표로 하는 시스템과는 거리가 있다.
또한 물체의 동선을 파악하기 위해 물체 전체의 부피를 파악하여 그것을 통해 중점을 구하는 등의 추가 연산을 하는 경우 시스템의 속도를 저하시키는 원인이 된다. 따라서 전체 물체의 이미지를 고려하기보다 물체 상의 한 점의 위치에 관심 영역을 한정하여 이를 지속적으로 파악하면 결과적으로 물체의 전체 이동을 살펴 볼 수 있게 된다. 그러나 복잡한 형태의 배경에서 물체가 움직이는 경우 물체의 한 점을 지속적으로 파악하는 것은 쉽지 않은 일이다. 관찰 대상 물체의 기하학적 특징을 파악하여 물체의 한 모서리나 특정 부분을 추적하는 방안의 경우 이미지를 처리하는데 또한 많은 연산을 필요로 하게 되므로 신속하게 결과를 얻기에는 무리가 많다.
본 발명은 컴퓨터 비젼 시스템을 이용하여 시간에 따른 물체의 위치 데이터를 수집하는 것에 관한 것으로, 마커를 활용한 위치 데이터 수집 영상 처리 시스템 및 방법을 제공하는 것이 목적이다.
상기 목적을 달성하기 위한 본 발명은, 마커를 관찰 대상 물체에 부착하고 이미지 획득 모듈로 상기 관찰 대상 물체의 이미지를 획득하여 물체의 위치 데이터를 수집하는 영상 처리 방법에 있어서, 마커가 이미지상에 나타나는 영역을 알기 위해 필요한 행렬 H1, H2를 구하는 제 1 행렬 연산 과정; 상기 행렬 H1, H2와 마커의 높이를 이용해서 마커가 이미지상에 나타나는 영역을 구하는 마커 존재 영역 연산 과정; 실제 공간의 위치 좌표를 계산하기 위해 필요한 행렬 H를 구하는 제 2 행렬 연산 과정; 상기 이미지 획득 모듈을 통해 획득한 이미지를 상기 마커가 이미지상에 나타나는 영역 내에서 복수의 마커 패턴 템플릿을 이용하여 템플릿 매칭을 수행하는 패턴 매칭 수행 과정; 및 상기 이미지상에서 찾은 패턴의 중심좌표와 상기 행렬 H를 이용하여 마커의 실제 공간좌표를 구하는 실제 공간좌표 연산 과정을 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명은, 위치 데이터를 수집하고자 하는 관찰 대상 물체에 부착되는 마커; 상기 마커가 부착된 이동하는 물체의 이미지를 획득하는 이미지 획득 모듈; 마커가 이미지상에 나타나는 영역을 알기 위해 필요한 행렬 H1, H2를 구하는 제 1 행렬 연산 모듈; 상기 행렬 H1, H2와 마커의 높이를 이용해서 마커가 이미지상에 나타나는 영역을 구하는 마커 존재 영역 연산 모듈; 실제 공간의 위치 좌표를 계산하기 위해 필요한 행렬 H를 구하는 제 2 행렬 연산 모듈; 상기 마커가 이미지상에 나타나는 영역 내에서 복수의 마커 패턴 템플릿을 이용하여 템플릿 매칭을 수행하는 패턴 매칭 수행 모듈; 및 상기 이미지상에서 찾은 패턴의 중심좌표와 상기 행렬 H를 이용하여 마커의 실제 공간좌표를 구하는 실 제 공간좌표 연산 모듈을 포함하는 것을 특징으로 한다.
이하, 본 발명의 마커를 활용한 위치 데이터 수집 영상처리 시스템 및 방법을 첨부된 도면을 참조하여 설명한다.
본 발명은 동선을 파악하고자 하는 관찰 대상 물체에 마커를 부착한 후, 시간에 따른 그 물체의 이미지를 획득하고 이를 분석하여 대상 물체의 위치데이터를 수집하기 위한 것이다.
도 1은 본 발명의 마커를 활용한 위치 데이터 수집 영상처리 방법 순서도이고, 도 2는 본 발명의 마커를 활용한 위치 데이터 수집 영상처리 시스템의 기능 구성도이다.
이하, 도 1 ~ 도 8을 참조하여, 마커(100)를 관찰 대상 물체에 부착하고, 이미지 획득 모듈(110)로 상기 관찰 대상 물체의 이미지를 획득하여 물체의 위치 데이터를 수집하는 본 발명의 마커를 활용한 위치 데이터 수집 영상처리 방법을 설명한다.
대상 물체에 부착하는 상기 마커(100)는 상기 이미지 획득 모듈(110)과 대상 물체와의 거리를 고려하여, 이미지상에서 마커의 이미지 분석이 가능한 정도로 그 크기를 조절할 수 있다. 또한, 구형의 물체를 마커로 사용하면, 대상 물체와 이미지 획득 모듈(110)의 위치에 관계없이 이미지상에서 일정한 모양으로 나타날 수 있어서 패턴 매칭 수행 과정(S140)에서의 패턴 인식이 용이하다.
필요에 따라 특정 색상의 마커(100)에 사용할 수도 있다. 색상이 있는 마커를 사용하면, 마커의 색상과 관찰 대상이 움직이는 영역 배경의 색상과 구분되어 마커의 인식이 용이하며, 특히 밝은 색의 마커를 사용하는 것이 마커와 배경의 구분에 도움이 된다. 또한, 여러 가지 색상의 마커들을 사용하는 경우 패턴 매칭 수행 과정(S140)에서 원하는 색상을 가진 마커가 부착된 물체만을 선택적으로 인식하는 것이 가능하다.
대상 물체의 이미지를 획득하기 위한 상기 이미지 획득 모듈(110)은 일반 카메라로 구성될 수 있다. 대상 물체의 이동 영역이 넓어 카메라 한 대로 촬영할 수 없는 경우는 두 대 이상의 카메라를 이미지 획득 모듈로 구성할 수도 있다.
제 1 행렬 연산 과정(S100)은 마커(100)가 이미지에 나타나는 영역을 알기 위해 필요한 행렬 H1, H2를 구하는 과정이다. 먼저, 상기 카메라가 비추는 실제 공간상에서 직육면체 모양의 영역을 설정하고, 이 직육면체의 여덟 꼭지점이 이미지상에서 나타나는 좌표(x축 및 y축 좌표)를 구한다. 또한, 상기 카메라가 비추는 실제 공간의 크기를 구한다.
도 3은 상기 카메라가 비추는 실제 공간상에 설정된 직사각형 모양의 영역을 나타내는 것으로, 상기 카메라가 비추는 실제 공간의 크기를 구할 때, 도 3에서 도시된 것과 같이 직육면체 영역의 가로, 세로 및 높이를 측정한다.
그 후, 상기 이미지상의 직육면체의 마주보는 두 면을 실제 공간의 크기 값을 지니는 가상의 직사각형에 사영변환(projective transformation)을 이용하여 대응시키는 행렬 H1과 H2를 구한다.
도 4a 및 4b는 사영변환을 이용한 행렬 H1과 H2 연산을 설명한 개념도로, 도 4a 및 4b에서 도시된 것과 같이 직육면체의 마주보는 두 면을 선택하고, 이들을 각각 실제 공간의 크기 값을 지니는 가상의 직사각형에 대응시키는 행렬 H1과 H2를 구한다.
상기 행렬 H1과 H2는 "Labview 7.0 Express(미국, 텍사스, National Instrument사 제품)"를 이용해서 구할 수 있으며, 상기 이미지 획득 모듈(110)이 두 대 이상의 카메라로 구성되는 경우는, 각각의 카메라에서 따로 행렬 H1과 H2를 구한다.
마커 존재 영역 연산 과정(S110)은 상기 행렬 H1, H2와 마커의 높이를 이용해서 마커가 이미지상에서 나타나는 영역을 구하는 과정이다. 실제 공간의 크기 값을 지니는 가상의 직사각형의 양쪽 모서리 부분에서 사전에 정해진 마커의 높이(일정하게 유지됨) 값을 지닌 점이 이미지상에서 어느 좌표에 위치하는지를 행렬 H1, H2의 역행렬을 이용해서 연산한다.
도 5는 행렬 H1의 역행렬를 이용한 마커 존재 영역 연산을 설명한 개념도 이다. 도 5에서 도시된 것과 같이, H1의 역행렬을 이용하여 가상의 직사각형의 양쪽 모서리에서 마커의 높이 값을 지닌 점이 이미지상에서 어느 좌표에 위치하는지 구할 수 있다.
이 연산을 상기 행렬 H1, H2를 구하는데 사용한 두 면에 모두 적용하여 직육 면체 영역의 옆면의 네 모서리에서 마커의 높이를 나타내는 좌표값을 얻고, 마커의 이미지상의 크기를 고려한 마진 값(margin)을 더해 이미지상에서 일정한 높이의 마커가 나타나는 영역을 한정한다.
도 6은 행렬 H1과 H2의 역행렬을 이용해 구한 마커 존재 영역을 표시한 도면으로, 상기 마커 존재 영역은 "Labview 7.0 Express"를 이용해서 구할 수 있다.
제 2 행렬 연산 과정(S120)은 실제 공간의 위치 좌표를 계산하기 위해 필요한 행렬 H를 구하는 과정이다. 상기 행렬 H는 사영변환을 통해 마커가 나타나는 영역의 평면을 실제 공간의 크기 값을 지니는 가상의 직사각형에 대응시켜서 구한다.
도 7은 사영변환을 이용한 행렬 H의 연산을 설명한 개념도 이다. 도 7에서 도시된 것과 같이 이미지상의 마커가 나타나는 영역을 실제 공간의 크기 값을 지니는 가상의 직사각형에 대응시키는 행렬 H를 구하며, 이는 "Labview 7.0 Express"를 이용해서 구할 수 있다. 상기 이미지 획득 모듈(110)이 두 대 이상의 카메라로 구성되는 경우는, 각각의 카메라에서 따로 행렬 H를 구한다.
패턴 매칭 수행 과정(S140)은 상기 이미지 획득 모듈(110)을 통해 획득한 이미지가 있는 경우, 상기 마커가 이미지상에 나타나는 영역 내에서 미리 준비된 복수의 마커 패턴 템플릿을 이용하여 템플릿 매칭을 수행하는 과정이다. 상기 패턴 템플릿은 마커(100)와 상기 이미지 획득 모듈(110) 사이의 거리 차이로 인한 이미지 크기의 차이, 주위 조명의 변화에 따른 명도의 차이에 따라 다양한 패턴으로 준비한다. 여러 가지 색상의 마커들을 사용하는 경우, 템플릿 매칭을 통해 원하는 색 상을 가진 마커만을 선택적으로 인식할 수 있다. 상기 템플릿 매칭은 "IMAQ Vision 6.1(미국, 텍사스, National Instrument 사 제품)"을 이용해서 수행할 수 있다.
실제 공간좌표 연산 과정(S150)은 상기 이미지상에서 찾은 패턴의 중심좌표와 상기 행렬 H를 이용하여 마커의 실제 공간좌표를 구하는 과정이다. 상기 패턴 매칭의 결과가 도출되면 그 찾아진 패턴의 중심 좌표를 구해, 이 중심 좌표 값을 상기 제 2 행렬 연산 과정(S120)에서 구한 행렬 H와 곱하여 마커의 실제 위치 데이터를 구한다. 상기 위치 데이터는 "Labview 7.0 Express"를 이용해서 구할 수 있다.
상기 이미지 획득 모듈(110)이 두 대 이상의 카메라로 구성되는 경우, 케이스 구분 과정(S160)을 선택적으로 포함할 수 있다. 또한, 상기 이미지 획득 모듈(110)의 카메라 대수와 상관없이 ROI 영역 설정 과정(S170)을 선택적으로 포함할 수 있다.
상기 케이스 구분 과정(S160)은 상기 마커의 실제 공간좌표가 각 카메라가 비추는 영역 중 어디에 속하는지에 따라 케이스를 구분하는 과정이다.
도 8은 두 대의 카메라로 구성된 이미지 획득 모듈(110)을 사용하는 경우의 케이스 구분을 나타낸 도면이다. 이 경우, 케이스 1은 상기 마커(100)가 첫 번째 카메라만 비추는 영역 및 이에 상기 마진 값을 더한 제 1 영역(81) 내에 위치하는 경우이고, 케이스 2는 상기 마커(100)가 두 번째 카메라만 비추는 영역 및 이에 상기 마진 값을 더한 제 2 영역(82) 내에 위치하는 경우이다. 케이스 3은 상기 마커(100)가 두 카메라가 동시에 비추는 영역의 양끝에서 상기 마진 값을 뺀 제 3 영 역(83) 내에 위치하는 경우로, 이는 각 카메라가 비추는 영역의 끝 부분에 마커가 위치하게 되면 완전한 모양으로 나타나지 않는 것을 고려한 것이다. 케이스 4는 대상 물체가 카메라가 비추는 영역을 이탈하거나 패턴 매칭이 실패하여 위치 추적이 안 된 경우이다.
상기 케이스 구분 과정(S160)은 일정 규칙에 따라 다음 프레임의 이미지 분석 작업의 대상이 되는 영역을 한정시킴으로써 이미지 분석 작업의 효율을 높일 수 있다. 다음은 두 대의 카메라로 구성된 이미지 획득 모듈(110)을 사용하는 경우, 각 케이스별 다음 프레임의 이미지 분석 작업의 대상을 나타내는 규칙의 예시이다.
케이스 1 -> 다음 프레임에서 첫 번째 카메라 이미지의 마커가 이미지상에 나타나는 영역에 대해서만 분석을 실시.
케이스 2 -> 다음 프레임에서 두 번째 카메라 이미지의 마커가 이미지상에 나타나는 영역에 대해서만 분석을 실시.
케이스 3 및 4 -> 다음 프레임에서 두 카메라 모두의 이미지의 마커가 이미지상에 나타나는 영역에 대해서 분석을 실시.
상기 이미지 획득 모듈(110)이 세 개 이상의 카메라로 구성되는 경우에도, 이와 마찬가지로 케이스를 구분하고 규칙을 정하여 이미지 분석 작업의 효율을 높일 수 있다.
상기 ROI 영역 설정 과정(S170)은 관찰 대상 물체의 움직임의 특성을 고려하여 ROI(region of interest) 영역의 범위를 설정하는 과정이다. 대상 물체의 평균적인 움직임의 속도를 사전에 파악하여 이 속도에 맞추어 적절한 초당 프레임 수를 설정하는 경우, 물체는 이미지상에서 인접한 영역 범위 안에서 움직이게 된다. 따라서, 대상 물체가 한 프레임 사이에 이동한 정도를 사전에 고려하여 다음 프레임에서의 ROI 영역을 설정하고, 다음 프레임의 이미지 분석 작업의 대상을 상기 ROI 영역으로 한정하여 이미지 분석 작업의 효율을 높일 수 있다.
또한, 두 대의 카메라로 구성된 이미지 획득 모듈(110)을 사용하는 경우에 있어, 상기 케이스 구분 과정(S160)을 거칠 경우, 그 수행 결과에 따라 일정 규칙을 만들어 다음 프레임에서 이미지 분석을 함으로써 다수의 카메라 사이에서도 더욱 효율적으로 이미지 분석을 할 수 있다. 다음은 두 대의 카메라로 구성된 이미지 획득 모듈(110)을 사용하는 경우, 각 케이스별 다음 프레임의 이미지 분석 작업의 대상을 나타내는 규칙의 예시이다.
케이스 1 -> 다음 프레임에서 첫 번째 카메라 이미지의 ROI 영역에 대해서만 이미지 분석을 실시;
케이스 2 -> 다음 프레임에서 두 번째 카메라 이미지의 ROI 영역에 대해서만 이미지 분석을 실시;
케이스 3 -> 다음 프레임에서 두 카메라 모두의 이미지의 ROI 영역에 대해서 이미지 분석을 실시;
케이스 4 -> 다음 프레임에서 두 카메라 모두의 이미지의 마커가 이미지상에 나타나는 영역에 대해서 분석을 실시.
상기 케이스 구분 과정(S160)과 상기 ROI 영역 설정 과정(S170)은 이미지 분석의 효율을 높이기 위한 선택적인 과정으로, 두 과정이 별개로 또는 동시에 본 발 명의 위치 데이터 수집 영상 처리 방법에 포함될 수 있다. 상기 케이스 구분 과정(S160)이나 상기 ROI 영역 설정 과정(S170) 중 어느 하나만 포함될 경우는 각각 상기 실제 공간좌표 연산 과정(S150) 다음에 포함된다. 또한, 상기 두 과정이 동시에 포함될 경우는 상기 케이스 구분 과정(S160)이 먼저 수행된 후, 상기 ROI 영역 설정 과정(S170)이 수행된다.
이하, 도 2를 참조하여, 본 발명의 마커를 활용한 위치 데이터 수집 영상처리 시스템을 설명한다.
상기 위치 데이터 수집 영상처리 시스템은 상기 위치 데이터 수집 영상처리 방법을 장치로 구현한 것으로, 위치 데이터를 수집하고자 하는 관찰 대상 물체에 부착되는 마커(100), 상기 마커(100)가 부착된 이동하는 물체의 이미지를 획득하는 이미지 획득 모듈(110), 마커가 이미지상에 나타나는 영역을 알기 위해 필요한 행렬 H1, H2를 구하는 제 1 행렬 연산 모듈(120), 상기 행렬 H1, H2와 마커의 높이를 이용해서 마커가 이미지상에 나타나는 영역을 구하는 마커 존재 영역 연산 모듈(130), 실제 공간의 위치 좌표를 계산하기 위해 필요한 행렬 H를 구하는 제 2 행렬 연산 모듈(140), 상기 마커가 이미지상에 나타나는 영역 내에서 복수의 마커 패턴 템플릿을 이용하여 템플릿 매칭을 수행하는 패턴 매칭 수행 모듈(150) 및 상기 이미지상에서 찾은 패턴의 중심좌표와 상기 행렬 H를 이용하여 마커의 실제 공간좌표를 구하는 실제 공간좌표 연산 모듈(160)을 포함한다. 상기 시스템을 구성하는 각 모듈이 수행하는 기능은 상기 본 발명의 위치 데이터 수집 영상처리 방법의 각 과정과 동일한바, 각 모듈에 대한 자세한 설명은 생략한다.
또한, 상기 이미지 획득 모듈(110)이 두 대 이상의 카메라로 구성되는 경우, 상기 마커의 실제 공간좌표가 각 카메라가 비추는 영역 중 어디에 속하는지에 따라 케이스를 구분하는 케이스 구분 모듈(170)을 선택적으로 포함할 수 있다. 또한, 상기 이미지 획득 모듈(110)의 카메라 대수와 상관없이, 관찰 대상 물체의 움직임의 특성을 고려하여 ROI 영역의 범위를 설정하는 ROI 영역 설정 모듈(180)을 선택적으로 포함할 수 있다. 상기 케이스 구분 모듈(170)과 상기 ROI 영역 설정 모듈(180)이 수행하는 기능은 상기 본 발명의 위치 데이터 수집 영상처리 방법의 케이스 구분 과정(S160) 및 ROI 영역 설정 과정(S170)과 동일한바, 상기 두 모듈에 대한 자세한 설명은 생략한다.
상기와 같은 구성의 본 발명은, 동선을 파악하고자 하는 대상 물체에 마커를 부착하여 이에 대한 이미지를 얻음으로써 이미지 분석의 대상을 이미지상에 나타난 마커로 한정 짓게 됨으로써, 다수의 물체가 동시에 움직이는 현장 상황과 관계없이 관찰하고 싶은 물체의 움직임을 손쉽게 분리해 낼 수 있다.
또한, 패턴 매칭의 대상이 되는 마커의 크기가 일정하고 그다지 크지 않기 때문에, 단지 간단한 계산을 통해 중점을 파악하여 이것을 물체 전체의 위치를 대표하는 값으로 사용할 수 있으므로, 시스템의 속도를 향상시킬 수 있다.
또한, 마커 존재 영역 설정, 케이스 구분 및 ROI 영역 설정을 통해 이미지상 에서 패턴 매칭을 수행하는 영역의 범위를 한정시킴으로써, 이미지 분석 작업의 효율을 높일 수 있다.
상기와 같은 본 발명은, 제조 공장 또는 물류 창고와 같은 작업현장에서 작업차량 또는 자재의 연속적인 움직임을 대상으로 하여 그 대상 물체의 연속적인 이동경로를 파악함으로써, 작업 공정을 파악하고 이를 효율적으로 개선하는데 사용될 수 있다.

Claims (12)

  1. 마커를 관찰 대상 물체에 부착하고 이미지 획득 모듈로 상기 관찰 대상 물체의 이미지를 획득하여 물체의 위치 데이터를 수집하는 영상 처리 방법에 있어서,
    상기 마커가 이미지상에 나타나는 영역을 알기 위해 필요한 행렬로서, 상기 이미지 획득 모델이 비추는 실제 공간상에 설정된 직육면체의 마주보는 두 면을 각각 이미지 상의 좌표로 사영변환(projective transformation)하는 행렬 H1, H2를 구하는 제 1 행렬 연산 과정;
    상기 행렬 H1, H2와 상기 마커의 높이를 이용해서 상기 마커가 이미지상에 나타나는 영역을 구하는 마커 존재 영역 연산 과정;
    실제 공간의 위치 좌표를 계산하기 위해 필요한 행렬 H를 구하는 제 2 행렬 연산 과정;
    상기 이미지 획득 모듈을 통해 획득한 이미지를 상기 마커가 이미지상에 나타나는 영역 내에서 복수의 마커 패턴 템플릿을 이용하여 템플릿 매칭을 수행하는 패턴 매칭 수행 과정; 및
    상기 이미지상에서 찾은 패턴의 중심좌표와 상기 행렬 H를 이용하여 상기 마커의 실제 공간좌표를 구하는 실제 공간좌표 연산 과정을 포함하는 것을 특징으로 하는 위치 데이터 수집 영상 처리 방법.
  2. 제 1항에 있어서,
    상기 마커는 구형인 것을 특징으로 하는 위치 데이터 수집 영상 처리 방법.
  3. 제 1항에 있어서,
    상기 마커는 색상이 있는 마커인 것을 특징으로 하는 위치 데이터 수집 영상 처리 방법.
  4. 제 1항에 있어서,
    상기 이미지 획득 모듈은 두 대 이상의 카메라로 상기 관찰 대상 물체의 이미지를 획득하는 것을 특징으로 하는 위치 데이터 수집 영상 처리 방법.
  5. 제 4항에 있어서,
    상기 마커의 실제 공간좌표가 각 카메라가 비추는 영역 중 어디에 속하는지에 따라 케이스를 구분하는 케이스 구분 과정을 더 포함하는 것을 특징으로 하는 위치 데이터 수집 영상 처리 방법.
  6. 제 1항에 있어서,
    관찰 대상 물체의 움직임의 특성을 고려하여 ROI 영역의 범위를 설정하는 ROI 영역 설정 과정을 더 포함하는 것을 특징으로 하는 위치 데이터 수집 영상 처리 방법.
  7. 위치 데이터를 수집하고자 하는 관찰 대상 물체에 부착되는 마커;
    상기 마커가 부착된 이동하는 물체의 이미지를 획득하는 이미지 획득 모듈;
    상기 마커가 이미지상에 나타나는 영역을 알기 위해 필요한 행렬로서, 상기 이미지 획득 모델이 비추는 실제 공간상에 설정된 직육면체의 마주보는 두 면을 각각 이미지 상의 좌표로 사영변환(projective transformation)하는 행렬 H1, H2를 구하는 제 1 행렬 연산 모듈;
    상기 행렬 H1, H2와 상기 마커의 높이를 이용해서 상기 마커가 이미지상에 나타나는 영역을 구하는 마커 존재 영역 연산 모듈;
    실제 공간의 위치 좌표를 계산하기 위해 필요한 행렬 H를 구하는 제 2 행렬 연산 모듈;
    상기 마커가 이미지상에 나타나는 영역 내에서 복수의 마커 패턴 템플릿을 이용하여 템플릿 매칭을 수행하는 패턴 매칭 수행 모듈; 및
    상기 이미지상에서 찾은 패턴의 중심좌표와 상기 행렬 H를 이용하여 상기 마커의 실제 공간좌표를 구하는 실제 공간좌표 연산 모듈을 포함하는 것을 특징으로 하는 위치 데이터 수집 영상 처리 시스템.
  8. 제 7항에 있어서,
    상기 마커는 구형인 것을 특징으로 하는 위치 데이터 수집 영상 처리 시스템.
  9. 제 7항에 있어서,
    상기 마커는 색상이 있는 마커인 것을 특징으로 하는 위치 데이터 수집 영상 처리 시스템.
  10. 제 7항에 있어서,
    상기 이미지 획득 모듈은 두 대 이상의 카메라로 구성되는 것을 특징으로 하는 위치 데이터 수집 영상 처리 시스템.
  11. 제 10항에 있어서,
    상기 마커의 실제 공간좌표가 각 카메라가 비추는 영역 중 어디에 속하는지에 따라 케이스를 구분하는 케이스 구분 모듈을 더 포함하는 것을 특징으로 하는 위치 데이터 수집 영상 처리 시스템.
  12. 제 7항에 있어서,
    관찰 대상 물체의 움직임의 특성을 고려하여 ROI 영역의 범위를 설정하는 ROI 영역 설정 모듈을 더 포함하는 것을 특징으로 하는 위치 데이터 수집 영상 처리 시스템.
KR1020070018348A 2007-02-23 2007-02-23 마커를 활용한 위치 데이터 수집 영상처리 시스템 및 방법 KR100868637B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070018348A KR100868637B1 (ko) 2007-02-23 2007-02-23 마커를 활용한 위치 데이터 수집 영상처리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070018348A KR100868637B1 (ko) 2007-02-23 2007-02-23 마커를 활용한 위치 데이터 수집 영상처리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20080078352A KR20080078352A (ko) 2008-08-27
KR100868637B1 true KR100868637B1 (ko) 2008-11-12

Family

ID=39880557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070018348A KR100868637B1 (ko) 2007-02-23 2007-02-23 마커를 활용한 위치 데이터 수집 영상처리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100868637B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220097110A (ko) 2020-12-30 2022-07-07 인트플로우 주식회사 이미지에 표시되는 정보를 위한 정보인식장치 및 정보인식방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383336B (zh) * 2017-11-15 2022-11-01 深圳市瑞立视多媒体科技有限公司 一种刚体配置方法、装置、终端设备和计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003178312A (ja) 2001-08-31 2003-06-27 Daimlerchrysler Ag 運動する物体に付された光学信号マークの重心を写真測量により決定する方法及び装置
JP2005069977A (ja) 2003-08-27 2005-03-17 Nippon Telegr & Teleph Corp <Ntt> 物体移動経路トラッキング装置およびトラッキング方法
JP2005349176A (ja) 2004-05-14 2005-12-22 Rise Corp 顎運動解析方法及び顎運動解析システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003178312A (ja) 2001-08-31 2003-06-27 Daimlerchrysler Ag 運動する物体に付された光学信号マークの重心を写真測量により決定する方法及び装置
JP2005069977A (ja) 2003-08-27 2005-03-17 Nippon Telegr & Teleph Corp <Ntt> 物体移動経路トラッキング装置およびトラッキング方法
JP2005349176A (ja) 2004-05-14 2005-12-22 Rise Corp 顎運動解析方法及び顎運動解析システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220097110A (ko) 2020-12-30 2022-07-07 인트플로우 주식회사 이미지에 표시되는 정보를 위한 정보인식장치 및 정보인식방법

Also Published As

Publication number Publication date
KR20080078352A (ko) 2008-08-27

Similar Documents

Publication Publication Date Title
CN107516077B (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN109215063B (zh) 一种事件触发相机与三维激光雷达的配准方法
Yang et al. Thin crack observation in a reinforced concrete bridge pier test using image processing and analysis
CN107025663B (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
CN101833791B (zh) 一种单摄像机下的场景建模方法及系统
El-Halawany et al. Detection of road poles from mobile terrestrial laser scanner point cloud
CN106650640A (zh) 一种基于激光雷达点云局部结构特征的负障碍物检测方法
CN110221603A (zh) 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
Manandhar et al. Auto-extraction of urban features from vehicle-borne laser data
CN107633516A (zh) 一种识别路面变形类病害的方法和装置
CN102073846B (zh) 基于航拍图像的交通信息获取方法
CN102122390B (zh) 基于深度图像进行人体检测的方法
US20060078197A1 (en) Image processing apparatus
CN111937034A (zh) 学习数据集的创建方法和装置
CN101915573B (zh) 一种基于标记物的关键点检测的定位测量方法
CN102141398A (zh) 基于单目视觉的多机器人位置与姿态测量方法
CN109522804A (zh) 一种道路边沿识别方法及系统
US20200145588A1 (en) Information processing apparatus presenting information, information processing method, and storage medium
EP3792822A1 (en) Systems and methods for automatically generating training image sets for an environment
JP2004078659A (ja) パターン輪郭の抽出方法、画像処理方法、パターンエッジの探索方法、プローブの走査方法、半導体装置の製造方法、パターン検査装置およびプログラム
TW201518140A (zh) 車道偏移警示系統及方法
CN109002800A (zh) 基于多传感器融合的三维目标实时识别机构及识别方法
KR20180098945A (ko) 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치
CN110942092B (zh) 一种图形图像识别方法及识别系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121106

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131028

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141104

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160219

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171023

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 11