KR20130026741A - 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법 - Google Patents

캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법 Download PDF

Info

Publication number
KR20130026741A
KR20130026741A KR1020110090094A KR20110090094A KR20130026741A KR 20130026741 A KR20130026741 A KR 20130026741A KR 1020110090094 A KR1020110090094 A KR 1020110090094A KR 20110090094 A KR20110090094 A KR 20110090094A KR 20130026741 A KR20130026741 A KR 20130026741A
Authority
KR
South Korea
Prior art keywords
calibration
triangular
relationship
pattern
plane
Prior art date
Application number
KR1020110090094A
Other languages
English (en)
Other versions
KR101638173B1 (ko
Inventor
강현
김재헌
이지형
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110090094A priority Critical patent/KR101638173B1/ko
Priority to US13/571,295 priority patent/US20130058526A1/en
Publication of KR20130026741A publication Critical patent/KR20130026741A/ko
Application granted granted Critical
Publication of KR101638173B1 publication Critical patent/KR101638173B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 캘리브레이션 엔진의 입력값으로 사용되는 캘리브레이션 오브젝트가 형성된 다수 개의 사각평면과 사각평면의 절대적 및 상대적 관계를 파악하기 위한 마커가 형성된 다수 개의 삼각평면을 포함하는 기구물을 서로 다른 방향에서 촬영하여 다수 개의 영상 파일을 생성하는 단계, 영상 파일에서 캘리브레이션 오브젝트를 찾는 단계, 캘리브레이션 오브젝트를 이용하여 캘리브레이션 오브젝트가 형성된 같은 평면을 찾는 단계 및 같은 평면내에 형성된 캘리브레이션 오브젝트 각각을 인덱싱하는 단계를 포함하는 것을 특징으로 한다.

Description

캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법{METHOD AND APPARATUS FOR PROVIDING AUTOMATED DETECTION OF CALIBRATION}
본 발명은 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법에 관한 것으로서, 더욱 상세하게는 다수 개의 카메라를 이용하는 컴퓨터 비전 시스템에서 카메라의 캘리브레이션을 자동화할 수 있도록 한 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법에 관한 것이다.
컴퓨터 비전 시스템은 다수 개의 카메라를 실제 비전 응용시스템에 적합하도록 배치하여 많은 정보를 습득할 수 있도록 한다.
이러한 다수 개의 카메라 시스템은 정보가 많아진 만큼 유지 및 관리의 문제가 발생되는데, 특히 카메라의 위치와 자세를 파악하기 위해 카메라의 내부 인자와 외부 인자를 구하는 카메라 캘리브레이션은 카메라 수 만큼이나 비용이 증가하게 되는 문제점이 있었다.
카메라를 활용하는 대부분의 컴퓨터 비전 시스템은 카메라가 시스템 설계자가 지정한 공간에서 어디에 있고 어디를 바라보는지를 결정한다. 이는 카메라의 3차원 위치(X,Y,Z)와 카메라의 자세를 나타내는 회전값(3x3행렬, 4원소 벡터 쿼터니언, 3원소 벡터 오일러각 등으로 표현)을 구함으로써 결정된다.
이러한 카메라의 위치와 자세를 구하여 월드 좌표에서 카메라 좌표로 변환하는 행렬과 역행렬을 구하는 작업은 외부 인자를 구하는 과정이 된다. 카메라의 내부인자는 카메라의 특성이나 렌즈의 종류에 따라 매우 복잡해질 수도 있으나 대부분의 시스템에서 카메라를 핀홀 모델로 가정하고 3x4 행렬을 구한다. 이 행렬은 실제 카메라의 출력으로 나오는 영상과 카메라 3차원 좌표간의 관계를 표현한다.
가장 많이 쓰이는 Zhang's 방법(Z. Zhang, "A flexible new technique for camera calibration'", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000)은 카메라 캘리브레이션을 할 경우 카메라 내부 인자를 구하기 위해, 캘리브레이션 패턴을 다양하게 배치하여 5~6장 이상의 영상을 촬영해야 하며, 외부 인자를 계산하기 위해서는 모든 카메라에서 보이는 공통 영역에 패턴을 배치하여 촬영해야 한다.
캘리브레이션 패턴은 사전에 알고 있는 패턴을 사용하여 영상에서 나타난 점들과 패턴내 캘리브레이션 오브젝트(캘리브레이션을 위한 패턴내 점) 위치간의 관계를 캘리브레이션 엔진에 입력으로 넣어야 한다.
특히 캘리브레이션 패턴내의 캘리브레이션 오브젝트가 많을수록 캘리브레이션 알고리즘에서 나오는 결과의 정확도가 높아진다.
본 발명의 배경기술은 대한민국 특허공개번호 10-2010-0007506호(2010.01.22)에 개시되어 있다.
그러나, 종래의 캘리브레이션 방법은 사용자가 직접 사전 지식을 입력하거나 관심영역을 지정하여야 하는 등의 수작업을 필요로 하여, 작업 능률이 떨어지고, 비용이 증가하게 되는 문제점이 있었다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 다수 개의 카메라를 활용하는 컴퓨터 비전 시스템에서 모든 방향에서 촬영이 가능한 기구물과, 이 기구물을 이용하여 자동화된 캘리브레이션 피처를 탐지할 수 있도록 한 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 캘리브레이션을 위한 자동 피처 탐지용 기구물은 다수 개의 사각평면 및 삼각평면을 포함하는 다면체 구조로 형성되어 상기 사각평면에는 캘리브레이션 엔진의 입력값으로 사용되는 캘리브레이션 오브젝트가 형성되고, 상기 삼각평면에는 상기 사각평면의 절대적 및 상대적 관계를 파악하기 위한 마커가 형성되는 것을 특징으로 한다.
본 발명의 상기 캘리브레이션 오브젝트는 동심원 패턴, 사각 패턴 및 사각 내부원 패턴 중 어느 하나인 것을 특징으로 한다.
본 발명의 상기 마커는 상기 삼각평면의 삼각형 테두리와 마커점 및 패턴을 포함하는 것을 특징으로 한다.
본 발명의 상기 다면체는 상기 사각평면이 18개이고, 상기 삼각평면이 8개인 팔각연등 구조인 것을 특징으로 한다.
본 발명의 일 측면에 따른 캘리브레이션을 위한 자동 피처 탐지 방법은 캘리브레이션 엔진의 입력값으로 사용되는 캘리브레이션 오브젝트가 형성된 다수 개의 사각평면과 상기 사각평면의 절대적 및 상대적 관계를 파악하기 위한 마커가 형성된 다수 개의 삼각평면을 포함하는 다면체의 기구물을 다수 개의 카메라를 통해 서로 다른 방향에서 촬영하여 다수 개의 영상 파일을 생성하는 단계;; 상기 영상 파일에서 상기 캘리브레이션 오브젝트를 찾는 단계; 상기 캘리브레이션 오브젝트를 이용하여 상기 캘리브레이션 오브젝트가 형성된 같은 평면을 찾는 단계; 및 상기 같은 평면내에 형성된 상기 캘리브레이션 오브젝트 각각을 인덱싱하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 인덱싱하는 단계 후, 상기 숫자 간의 쌍관계에 따른 평면간 관계를 통해 사각관계인지 또는 삼각관계인지를 확인하는 단계; 및 상기 삼각관계이면, 상기 마커를 이용하여 상기 삼각평면에 형성된 패턴을 인식하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서, 상기 사각관계인지 또는 삼각관계인지를 확인하는 단계는 상기 캘리브레이션 오브젝트에 할당된 숫자들간의 관계가 순서쌍을 연결한 직선은 서로 만나지 않고, 상기 순서쌍을 연결한 직선위에 변화량이 일정하면, 사각관계로 확인하고, 상기 쌍관계 안에 영상이 존재할 경우 삼각관계로 확인하는 것을 특징으로 한다.
본 발명에서, 상기 삼각평면에 형성된 패턴을 인식하는 단계는 상기 패턴을 템플릿 매칭 방법 또는 신경망 방법을 이용하여 인식하는 것을 특징으로 한다.
본 발명에서, 상기 캘리브레이션 오브젝트는 동심원 패턴, 사각 패턴 및 사각 내부원 패턴 중 어느 하나인 것을 특징으로 한다.
본 발명의 상기 마커는 상기 삼각평면의 삼각형 테두리와 마커점 및 패턴을 포함하는 것을 특징으로 한다.
본 발명은 컴퓨터 비전 시스템의 유지 관리, 보수 비용을 획기적으로 줄일 수 있다.
또한, 본 발명은 기구물을 사용하지 않은 기존의 평면 패턴에 대한 자동화된 캘리브레이션 오브젝트 자동 탐지 및 자동 인덱싱이 가능하다.
도 1 은 본 발명의 일 실시예에 따른 기구물의 사시도이다.
도 2 는 본 발명의 일 실시예에 따른 기구물을 이용한 비전 시스템을 나타낸 도면이다.
도 3 은 본 발명의 일 실시예에 따른 기구물을 전개한 전개도이다.
도 4 는 본 발명의 일 실시예에 따른 기구물의 사각 평면들의 그래프이다.
도 5 는 본 발명의 일 실시예에 따른 기구물의 삼각관계를 나타낸 문자들의 특징을 도시한 도면이다.
도 6 은 본 발명의 일 실시예에 따른 영문과 숫자를 통해 기구물의 삼각관계를 도시한 도면이다.
도 7 은 본 발명의 일 실시예에 따른 기구물의 패턴 예를 도시한 도면이다.
도 8 은 본 발명의 일 실시예에 따른 자동으로 캘리브레이션 오브젝트의 위치와 관계를 알아내기 위한 순서도이다.
도 9 는 본 발명의 일 실시예에 따른 기구물의 평면간의 관계에서 사각관계를 도시한 도면이다.
도 10 은 본 발명의 일 실시예에 따른 자동으로 캘리브레이션 오브젝트를 찾는 방법을 나타낸 순서도이다.
이하에서는 본 발명의 일 실시예에 따른 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야할 것이다.
도 1 은 본 발명의 일 실시예에 따른 기구물의 사시도이고, 도 2 는 본 발명의 일 실시예에 따른 기구물을 이용한 비전 시스템을 나타낸 도면이며, 도 3 은 본 발명의 일 실시예에 따른 기구물을 전개한 전개도이며, 도 4 는 본 발명의 일 실시예에 따른 기구물의 사각 평면들의 그래프이며, 도 5 는 본 발명의 일 실시예에 따른 기구물의 삼각관계를 나타낸 문자들의 특징을 도시한 도면이며, 도 6 은 본 발명의 일 실시예에 따른 영문자와 숫자를 통해 기구물의 삼각관계를 도시한 도면이며, 도 7 은 본 발명의 일 실시예에 따른 기구물의 패턴 예를 도시한 도면이다.
본 발명의 일 실시예에 따른 기구물(10)은 도 1 에 도시된 바와 같이, 팔각연등 구조의 다면체이다. 팔각연등 구조는 18개의 사각평면(11)과 8개의 삼각평면(12)으로 이루어진다.
이러한 팔각연등의 기구물(10)을 중심으로 다수 개의 카메라(20)가 촬영하는 상황에서, 카메라(20)와 기구물(10)의 각 평면(11,12)이 이루는 각도가 수직이거나, 45도나 135도 등으로 경사지거나, 또는 수평 등과 같이 다양하게 촬영될 수 있다.
따라서, 각 카메라(20)에서 촬영된 영상에서는, 각각의 평면과 카메라(20)와 이루는 각도가 수직이거나, 45도 혹은 135도 등으로 경사지거나, 수평 등으로 제공될 수 있다.
또한, 기구물(10)은 팔각연등 구조로써, 전반적으로 구형에 가까운 형상을 띄고 있어 모션 캡쳐 시스템처럼 다수의 카메라(20)가 하나의 사물을 촬영하더라도, 각 카메라(20)들로부터 유사한 형상을 얻을 수 있어 유리하다. 이는 외부 인자 캘리브레이션 때에 유리한 효과가 있다.
도 2 를 참조하면, 다수의 카메라(20)들의 화각이 공통으로 겹치는 공간을 공통영역이라고 할 때, 이 공통영역에 기구물(10)을 배치할 경우 카메라(20)들의 내외부 인자를 자동으로 추정할 수 있게 된다.
유사한 컴퓨터 비전 시스템으로 카메라(20) 혹은 적외선 등의 센서들의 모션 캡처 시스템, 실루엣 기반 외형 복원 시스템, 모델 기반 외형·모션 동시 복원 시스템 등이 있다.
도 3 을 참조하면, 상기한 기구물(10)의 각 면의 구성을 확인할 수 있는데, 기구물(10)은 동심 타원 형태의 캘리브레이션 오브젝트(111)들이 형성된 18개의 사각평면(11)과, 사각평면(11)들의 절대적/상대적 관계를 파악하기 위한 마커가 형성된 8개의 삼각평면(12)으로 이루어진다.
이러한 기구물(10)은 사각평면(11)들의 그래프가 주어지는 데, 각 노드들은 기구물(10)의 사각평면(11)을 나타내며, 절곡된 선은 각 평면(11,12)의 엣지를 나타낸다. 여기서, 짙은 선(13)은 사각평면간 관계(상, 하, 좌, 우)에 해당하는 엣지이며, 옅은 선(14)는 삼각관계를 가진 엣지로 각 노드가 어떤 노드인지를 확인할 수 있게 한다.
도 3 과 도 4 를 참조하면, 삼각관계는 실제 구현물에서는 삼각형 형태를 가진 문자(121) 예를 들어, 영문자 혹은 숫자이다.
이들은 기구물(10)의 회전방향과 무관하게 서로 다른 모습을 가지고 있어야 한다. 즉, 기구물(10)의 상하가 뒤집히거나, 거울상이어도 서로 다른 모습을 가지게 되므로, 촬영된 영상에서 그 형태에 의해 회전된 값도 알 수 있게 된다.
도 5 를 참조하면, 삼각관계를 나타낼 수 있는 영문자들의 특징이 도시되는 바, 도 5 에 도시된 바와 같이, 영문자 혹은 숫자와 같은 문자(121)는 모든 방향에 대해서 고유의 형태를 가진다.
도 6 을 참조하면, 본 실시예에 따른 기구물(10)에 형성된 삼각평면(12)에는 영문자와 숫자가 각각 고유한 형태로 나타남을 알 수 있다.
따라서, 도 5 에 도시된 것과 같이, 모든 방향에 대해 고유의 형태를 지닌다면 모든 패턴이 가능하다. 이 경우, 삼각평면(12)에 형성된 패턴 예를 들어, 삼각형의 테두리(123)와 문자(121) 위에 찍힌 점(122)은 마커를 정확하게 인식할 수 있도록 한다.
사각평면(11)은 실제로 캘리브레이션 오브젝트(111)가 형성되는데, 캘리브레이션 오브젝트(111)는 캘리브레이션 엔진(미도시)의 입력값으로 사용된다.
본 실시예에서는 도 7 에 도시된 바와 같이, 동심원 형태를 채용하였는바, 본 발명의 기술적 범위는 이에 한정되는 것은 아니며, 다양한 형태의 캘리브레이션 오브젝트(111)가 채용될 수 있을 것이다.
이와 같이, 본 실시예에서는 캘리브레이션을 위해, 동심원의 사영변환 성질을 사용하는 것을 예시로 하였으나, 내부 인자와 외부 인자를 결정하기 위한 동심원의 중심을 사용하는 것이 아니라, 동심원이 다른 도형에 비해 영상 내에서 찾기 쉬운 특성을 활용한다. 그 결과, 영상 내에서 동심원을 찾고 이들에 대한 상호간의 관계를 통해서 캘리브레이션 오브젝트(111)의 관계를 확인할 수 있게 된다.
본 실시예에서 캘리브레이션 오브젝트(111)의 관계를 확인하기 위해, 타원 피팅(Andrew Fitzgibbon, Maurizio Pilu, and Robert B. Fisher, "Direct Least Square Fitting of Ellipses", PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 21, NO. 5, MAY 1999)한 중심을 사용하고 있다.
참고로, 본 실시예에서는 도 7 의 (a)와 같이, 동심원 패턴의 사각평면(11)은 3X3의 동심원과 캘리브레이션의 순서를 지정하기 위한 점(112)으로 구성되는 것을 예시로 하였으나, 본 발명의 기술적 범위는 이에 한정되지 않고, 도 7 의 (b)와 같이, 블럭 패턴 등 다양한 패턴을 구성할 수 있을 것이다.
한편, 상기한 바와 같은 기구물(10)에 형성된 캘리브레이션 오브젝트(111)를 이용하여 캘리브레이션 오브젝트(111)의 위치와 관계를 획득함으로써, 정확하게 피처를 탐지할 수 있도록 한다.
이는 도 8 내지 도 10 을 참조하여 설명한다.
도 8 은 본 발명의 일 실시예에 따른 자동으로 캘리브레이션 오브젝트의 위치와 관계를 알아내기 위한 순서도이고, 도 9 는 본 발명의 일 실시예에 따른 기구물의 평면간의 관계에서 사각관계를 도시한 도면이며, 도 10 은 본 발명의 일 실시예에 따른 자동으로 캘리브레이션 오브젝트를 찾는 방법을 나타낸 순서도이다.
본 실시예에 따른 캘리브레이션 오브젝트(111)의 위치와 관계를 획득하는 방법은 먼저 다수 개의 카메라(20) 각각이 기구물(10)을 촬영하고, 촬영된 영상의 파일을 로딩한다(S10).
이 경우, 사용자가 각 카메라(20)에서 촬영된 영상을 인지 및 선택할 수 있도록 하는 바, 이 경우, 촬영된 영상 중에서, 캘리브레이션 오브젝트(111)를 찾고자 하는 영상을 적어도 하나 이상을 선택할 수 있도록 한다.
이와 같이, 사용자에 의해 캘리브레이션 오브젝트(111)를 찾고자 하는 영상이 선택되면, 선택된 영상에서 기구물(10)의 엣지와 캘리브레이션 오브젝트(111)을 찾는다(S12).
여기서, 캘리브레이션 오브젝트(111)들은 패턴에 따라 같은 사각평면(11)상에 형성되므로, 기구물(10)의 엣지와 캘리브레이션 오브젝트(111)를 찾은 후에는 찾은 캘리블레이션 오브젝트(111)들이 형성된 해당 사각평면(11)을 찾는다.
즉, 최근접 캘리브레이션 오브젝트(111)들을 N개 예를 들어, 4개를 수집하면, 이들이 같은 사각평면(11)에 형성된 것으로 가정하여 해당 캘리브레이션 오브젝트(111) 내에 호모그래피 변환을 구한다(S14).
상기한 바와 같이, 호모그래피 변환에 의해 평면으로 사상되면 이 공간은 어떤 캘리브레이션 오브젝트(111)가 상/하/좌/우에 있는지 또는 같은 사각평면(11)에 형성되어 있지 않는지 알 수 있는 근거를 제시하므로, 이를 통해 캘리브레이션 오브젝트(111)간 관계를 처리한다(S16).
본 실시예에서는 하나의 사각평면(11)에 3X3의 캘리브레이션 오브젝트(111)를 가지고 있기 때문에 다음의 평면 가정을 할 수 있다.
첫 번째로, 사각평면(11)은 8개의 이웃관계를 가진 하나의 캘리브레이션 오브젝트(111)와 이와 이웃한 8개의 캘리브레이션 오브젝트(111)로만 이루어진다.
두 번째로, Cross-ratio를 통해 대각선에 위치하는 캘리브레이션 오브젝트(111)와 수직/수평선에 위치하는 캘리브레이션 오브젝트(111) 쌍을 구별할 수 있다.
이러한 평면 가정으로 영상 내 캘리브레이션 오브젝트(111)가 형성된 평면(111)을 구할 수 있다. 즉, 본 실시예에서, 팔각연등은 18개의 사각면과 8개의 삼각면이 있는 다면체로써, 18개의 사각평면(11)은 상기한 과정을 통해 찾아 확인할 수 있다(S18).
본 실시예에서의 기구물(10)에 있어서, 평면(11,12)간의 관계는 두 종류가 존재한다. 사각관계와 삼각관계이다.
도 9 를 참조하면, 각 삼각평면(12)의 숫자는 상기한 바와 같은 사각평면(11)을 찾은 후, 사각평면(11)에 형성된 점(112)을 통해 캘리브레이션 오브젝트(111)의 순서를 매겨 인덱싱하는데(S20), 예를 들어, 좌상단부터 우하단으로 1에서 9까지의 숫자를 순차적으로 할당한다.
이후, 이들 숫자들의 관계를 통해 평면간 관계가 삼각관계인지 사각관계인지를 인식한다(S22).
이때, 이 숫자들간의 관계가 다음의 가정을 만족할 경우 사각관계가 된다.
첫 번째 가정은 순서쌍을 연결한 직선은 서로 만나지 않는다는 것이고, 두 번째 가정은 순서쌍을 연결한 직선위에 변화량은 일정하다라는 것이다.
따라서, 이러한 두 개의 가정을 모두 만족하면, 사각관계에 있음을 알 수 있다.
한편, 삼각관계는 상기한 쌍관계 안에 영상이 존재할 경우에 성립이 된다.
이러한 영상은 패턴 인식 엔진을 통해서 그안의 패턴이 어떤 패턴인지 인식하며 어떤 방향으로 서있는지도 알게 된다.
패턴 인식은 템플릿 매칭방법이나, 필요에 따라 신경망 같은 정적 패턴 인식에 유리한 패턴 인식 엔진을 도입할 수도 있다. 특히, 신경망 같은 엔진을 이용하는 경우, 저해상도 영상 촬영시 패턴 내 점(122)을 구하기가 어려운 문제점을 해결할 수 있다.
도 5 와 도 6 에 도시된 바와 같이, 삼각형 패턴은 4개의 중요한 점을 가지게 되는데 삼각형의 3개의 꼭지점과 패턴 안에 있는 마커점이다.
이를 사용하여 호모그래피를 구하게 되면 기울기 조정(deskew)된 패턴 영상을 구할수 있게 된다.
한편, 영상의 잡음으로 인해 삼각관계나 사각관계를 인식하기 위해 설정된 평면 가정이 부정확할 수 있다. 따라서, 부정확한 삼각관계 및 사각관계에도 정확한 평면간 관계를 찾기 위해서 그래프 매칭 방법이 이용될 수 있다.
이 경우, 영상에서 구한 삼/사각관계를 기초로 서브 그래프를 구성하고, 이때 사각관계는 상대적으로 정확한 평면간의 상대적인 관계만을 가지고 있고, 삼각관계는 부정확한 절대 위치를 만들게 된다.
이러한, 패턴 인식 엔진은 다수 개의 결과값을 제시하게 되는데, 이를 기준으로 다수 개의 서브 그래프를 생성한다. 이 서브 그래프에서는 패턴 인식 엔진이 출력한 패턴 일치 정도값들을 가지고 있다. 따라서, 도 4 에 도시된 바와 같이 제시된 그래프에서 가장 높은 패턴 일치 정도 값들을 가진 서브 그래프가 평면간 관계의 결과로 선택이 된다.
추가적으로, 상기한 바와 같은 캘리브레이션 오브젝트(111)의 위치와 관계를 획득하는 방법은 자동으로 캘리브레이션 오브젝트(111)를 찾는 방법에 응용이 가능하다.
이는 도 10 에 도시된 바와 같이, 카메라(20)에서 촬영된 영상을 로드하여 영상에서 엣지와 동심원을 찾고, 호모그래피 변환하여 평면을 사상하고, 이때 캘리브레이션 오브젝트(111)간 관계를 처리하여 평면을 찾은 후, 해당 평면에 형성된 캘리브레이션 오브젝트(111)를 인덱싱하여 평면에 형성된 캘리브레이션 오브젝트(111)를 찾을 수 있다(S110~S120).
이러한 과정은 도 8 에 도시된 과정과 동일하므로, 여기서는 그 상세한 설명을 생략한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 기구물 11: 사각평면
111: 캘리브레이션 오브젝트 12: 삼각평면
121: 문자 123: 테두리
20: 카메라

Claims (10)

  1. 다수 개의 사각평면 및 삼각평면을 포함하는 다면체 구조로 형성되어
    상기 사각평면에는 캘리브레이션 엔진의 입력값으로 사용되는 캘리브레이션 오브젝트가 형성되고,
    상기 삼각평면에는 상기 사각평면의 절대적 및 상대적 관계를 파악하기 위한 마커가 형성되는 것을 특징으로 하는 캘리브레이션을 위한 자동 피처 탐지용 기구물.
  2. 제 1 항에 있어서, 상기 캘리브레이션 오브젝트는 동심원 패턴, 사각 패턴 및 사각 내부원 패턴 중 어느 하나인 것을 특징으로 하는 캘리브레이션을 위한 자동 피처 탐지용 기구물.
  3. 제 1 항에 있어서, 상기 마커는 상기 삼각평면의 삼각형 테두리와 마커점 및 패턴을 포함하는 것을 특징으로 하는 캘리브레이션을 위한 자동 피처 탐지용 기구물.
  4. 제 1 항에 있어서, 상기 다면체는
    상기 사각평면이 18개이고, 상기 삼각평면이 8개인 팔각연등 구조인 것을 특징으로 하는 캘리브레이션을 위한 자동 피처 탐지용 기구물.
  5. 캘리브레이션 엔진의 입력값으로 사용되는 캘리브레이션 오브젝트가 형성된 다수 개의 사각평면과 상기 사각평면의 절대적 및 상대적 관계를 파악하기 위한 마커가 형성된 다수 개의 삼각평면을 포함하는 다면체의 기구물을 다수 개의 카메라를 통해 서로 다른 방향에서 촬영하여 다수 개의 영상 파일을 생성하는 단계;
    상기 영상 파일에서 상기 캘리브레이션 오브젝트를 찾는 단계;
    상기 캘리브레이션 오브젝트를 이용하여 상기 캘리브레이션 오브젝트가 형성된 같은 평면을 찾는 단계; 및
    상기 같은 평면내에 형성된 상기 캘리브레이션 오브젝트 각각을 인덱싱하는 단계를 포함하는 캘리브레이션을 위한 자동 피처 탐지 방법.
  6. 제 5 항에 있어서, 상기 인덱싱하는 단계 후,
    상기 숫자 간의 쌍관계에 따른 평면간 관계를 통해 사각관계인지 또는 삼각관계인지를 확인하는 단계; 및
    상기 삼각관계이면, 상기 마커를 이용하여 상기 삼각평면에 형성된 패턴을 인식하는 단계를 더 포함하는 것을 특징으로 하는 캘리브레이션을 위한 자동 피처 탐지 방법.
  7. 제 6 항에 있어서, 상기 사각관계인지 또는 삼각관계인지를 확인하는 단계는
    상기 캘리브레이션 오브젝트에 할당된 숫자들간의 관계가 순서쌍을 연결한 직선은 서로 만나지 않고, 상기 순서쌍을 연결한 직선위에 변화량이 일정하면, 사각관계로 확인하고, 상기 쌍관계 안에 영상이 존재할 경우 삼각관계로 확인하는 것을 특징으로 하는 캘리브레이션을 위한 자동 피처 탐지 방법.
  8. 제 6 항에 있어서, 상기 삼각평면에 형성된 패턴을 인식하는 단계는
    상기 패턴을 템플릿 매칭 방법 또는 신경망 방법을 이용하여 인식하는 것을 특징으로 하는 캘리브레이션을 위한 자동 피처 탐지 방법.
  9. 제 6 항에 있어서, 상기 캘리브레이션 오브젝트는 동심원 패턴, 사각 패턴 및 사각 내부원 패턴 중 어느 하나인 것을 특징으로 하는 캘리브레이션을 위한 자동 피처 탐지 방법.
  10. 제 6 항에 있어서, 상기 마커는 상기 삼각평면의 삼각형 테두리와 마커점 및 패턴을 포함하는 것을 특징으로 하는 캘리브레이션을 위한 자동 피처 탐지 방법.
KR1020110090094A 2011-09-06 2011-09-06 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법 KR101638173B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110090094A KR101638173B1 (ko) 2011-09-06 2011-09-06 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법
US13/571,295 US20130058526A1 (en) 2011-09-06 2012-08-09 Device for automated detection of feature for calibration and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110090094A KR101638173B1 (ko) 2011-09-06 2011-09-06 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법

Publications (2)

Publication Number Publication Date
KR20130026741A true KR20130026741A (ko) 2013-03-14
KR101638173B1 KR101638173B1 (ko) 2016-07-12

Family

ID=47753208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110090094A KR101638173B1 (ko) 2011-09-06 2011-09-06 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법

Country Status (2)

Country Link
US (1) US20130058526A1 (ko)
KR (1) KR101638173B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160131862A (ko) * 2015-05-08 2016-11-16 한국전자통신연구원 거울들을 사용하는 멀티 카메라들의 캘리브레이션을 위한 방법 및 장치
US9948926B2 (en) 2015-05-08 2018-04-17 Electronics And Telecommunications Research Institute Method and apparatus for calibrating multiple cameras using mirrors
KR102035586B1 (ko) * 2018-05-17 2019-10-23 화남전자 주식회사 카메라 영상 이미지로부터 삼각형을 자동으로 찾는 방법 및 그 시스템
KR20210094277A (ko) * 2020-01-21 2021-07-29 박병준 마커를 이용한 의료 기구 자세 추적 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014102634B4 (de) * 2014-02-27 2019-02-21 Lavision Gmbh Verfahren zum Kalibrieren einer optischen Anordnung, Verfahren zum Darstellen eines periodischen Kalibriermusters und Computerprogrammprodukt
FR3019909B1 (fr) * 2014-04-11 2016-04-01 Snecma Module porte mires pour la calibration du systeme de vision d'un moyen de production
CN109076200B (zh) * 2016-01-12 2021-04-23 上海科技大学 全景立体视频系统的校准方法和装置
CN110809786B (zh) * 2017-06-20 2023-10-27 索尼互动娱乐股份有限公司 校准装置、校准图表、图表图案生成装置和校准方法
CN114469343B (zh) * 2019-10-31 2023-06-23 武汉联影智融医疗科技有限公司 标定件、手术导航坐标系配准系统、方法、设备和介质
CN112762831B (zh) * 2020-12-29 2022-10-11 南昌大学 一种采用多相机实现多自由度运动物体姿态重建方法
CN114913236A (zh) * 2021-02-09 2022-08-16 深圳市汇顶科技股份有限公司 相机标定方法、装置及电子设备
CN113409402B (zh) * 2021-06-29 2022-07-26 湖南泽塔科技有限公司 相机标定板及其使用方法、相机标定的特征点提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070059A (ja) * 2004-11-05 2005-03-17 Olympus Corp キャリブレーションパターンユニット
JP2008014940A (ja) * 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768509B1 (en) * 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
EP1176557A1 (en) * 2000-07-24 2002-01-30 Setrix AG Method and arrangement for camera calibration
US6891518B2 (en) * 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
GB2370738B (en) * 2000-10-27 2005-02-16 Canon Kk Image processing apparatus
JP3905771B2 (ja) * 2001-03-02 2007-04-18 株式会社ミツトヨ 測定機の校正方法及び装置
KR100386090B1 (ko) * 2001-04-02 2003-06-02 한국과학기술원 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법
US7423666B2 (en) * 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
GB0114157D0 (en) * 2001-06-11 2001-08-01 Canon Kk 3D Computer modelling apparatus
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
US7623274B1 (en) * 2004-12-22 2009-11-24 Google Inc. Three-dimensional calibration using orientation and position sensitive calibration pattern
US7817273B2 (en) * 2005-06-30 2010-10-19 Life Technologies Corporation Two-dimensional spectral imaging system
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
WO2010109730A1 (ja) * 2009-03-26 2010-09-30 アイシン精機株式会社 カメラ校正装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070059A (ja) * 2004-11-05 2005-03-17 Olympus Corp キャリブレーションパターンユニット
JP2008014940A (ja) * 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160131862A (ko) * 2015-05-08 2016-11-16 한국전자통신연구원 거울들을 사용하는 멀티 카메라들의 캘리브레이션을 위한 방법 및 장치
US9948926B2 (en) 2015-05-08 2018-04-17 Electronics And Telecommunications Research Institute Method and apparatus for calibrating multiple cameras using mirrors
KR102035586B1 (ko) * 2018-05-17 2019-10-23 화남전자 주식회사 카메라 영상 이미지로부터 삼각형을 자동으로 찾는 방법 및 그 시스템
KR20210094277A (ko) * 2020-01-21 2021-07-29 박병준 마커를 이용한 의료 기구 자세 추적 시스템

Also Published As

Publication number Publication date
KR101638173B1 (ko) 2016-07-12
US20130058526A1 (en) 2013-03-07

Similar Documents

Publication Publication Date Title
KR20130026741A (ko) 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법
US10235588B1 (en) System and method for adaptively conformed imaging of work pieces having disparate configuration
US10083522B2 (en) Image based measurement system
WO2019200837A1 (zh) 一种包裹体积的测量方法、系统、储存介质及移动终端
Wöhler 3D computer vision: efficient methods and applications
WO2022170844A1 (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
KR20180105875A (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
WO2021024499A1 (ja) 鉄筋判定装置および鉄筋判定方法
CN108717709A (zh) 图像处理系统及图像处理方法
CN115176274A (zh) 一种异源图像配准方法及系统
JP5468824B2 (ja) 3次元における形状の一致を判定する方法および装置
CN112802124A (zh) 多台立体相机的标定方法及装置、电子设备及存储介质
JP2020047049A (ja) 画像処理装置及び画像処理方法
JP4521568B2 (ja) 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
CN109919971A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2009216503A (ja) 三次元位置姿勢計測方法および装置
JP2008250487A (ja) エッジ検出によるモデルマッチングを用いたカメラ校正方法
WO2024012463A1 (zh) 一种定位方法及装置
CN109978829B (zh) 一种待检测对象的检测方法及其系统
Dvorak et al. Object state recognition for automatic AR-based maintenance guidance
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
CN106622990B (zh) 零件定位识别处理系统
JP2020071739A (ja) 画像処理装置
Sidor et al. The impact of the implementation of edge detection methods on the accuracy of automatic voltage reading

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 4