KR20120016864A

KR20120016864A - 마커, 이를 감지하는 마커감지시스템 및 그 방법

Info

Publication number: KR20120016864A
Application number: KR1020100079360A
Authority: KR
Inventors: 임수; 이대한; 나한길
Original assignee: (주)비트러스트
Priority date: 2010-08-17
Filing date: 2010-08-17
Publication date: 2012-02-27

Abstract

본 발명은 마커, 이를 감지하는 마커감지시스템 및 그 방법에 관한 것으로, 더욱 구체적으로 살펴보면, 본 발명의 마커를 감지하는 마커감지시스템은 증강시키고자 하는 대상객체가 포함된 영상을 입력 받아, 상기 대상객체를 기저장된 기준원형마커와 매칭시켜 생성된 원형마커가 포함하는 원개수 또는 원의 색상정보를 나타내는 원형정보를 통해 측정원형마커로 감지하는 것을 특징으로 한다.
이러한 구성에 의해, 본 발명의 마커, 이를 감지하는 마커감지시스템 및 그 방법은 증강시키고자 하는 대상객체가 휘어지거나 상기 대상객체의 에지부분이 불명확하더라도 정확하게 마커를 감지할 수 있으므로, 증강현실 구현을 위해 적합하게 사용될 수 있다.

Description

마커, 이를 감지하는 마커감지시스템 및 그 방법{Marker, marker detection system and method thereof}

본 발명은 마커, 이를 감지하는 마커감지시스템 및 그 방법에 관한 것으로, 특히 증강현실 구현에 적합하게 사용될 수 있는 신규한 형태의 마커, 이를 감지하는 마커감지시스템 및 그 방법에 관한 것이다.

일반적으로 증강현실(AR; Augmented Reality)이라 함은 가상현실(VR; Virtual Reality)의 변화된 형태로서, 사용자가 보고 있는 실사 영상에 컴퓨터에서 생성한 가상 영상을 정합시키는 사용자 인터페이스 기술을 말한다.

이러한 비전 기반 증강현실은 광학기반 시스템 또는 영상기반 시스템을 통하여 구현될 수 있는데, 상기 광학기반 시스템의 경우의 증강현실은 반투명 스크린인 HMD(Head Mounted Display)를 이용하여 실제 환경에 가상 물체를 투영시킴으로써 구현된다.

반면, 이와 달리 영상기반 시스템의 경우의 증강현실은 카메라를 통해 획득된 영상에 가상의 정보를 합성시킴으로써 구현된다. 이러한 증강현실은 사용자에게 보다 향상된 현실감과 인지도를 제공하기에 현재 의학, 산업, 오락, 군사 분야 등에서 다양하게 응용되고 있다.

이처럼 다양한 분야에서 응용되고 있는 증강현실을 구현하기 위해서는 카메라 또는 대상객체의 움직임을 정확하게 추정하는 것이 매우 중요하다. 이를 위해, 마커를 활용하는 기술이 제시되고 있다. 이러한 마커의 인식은 획득한 영상 내에 존재하는 대상객체의 에지부분에 대한 정보를 획득하고, 획득한 에지부분의 정보로부터 상기 대상객체의 영상 내 위치, 크기, 기울기, 방향 등을 확인하여 인식된다.

이러한 종래의 마커 인식방법에서는 대상객체의 에지부분의 정보를 이용하여 인식됨에 따라 필수적으로 상기 마커의 형태가 사각형이어야 했다.

하지만 이처럼 사각형의 마커를 인식하는 경우, 상기 대상객체의 에지부분의 정보가 확인하기 어려울 정도로 불명확하거나 상기 대상객체의 일부가 휘어짐에 따라 에지부분으로부터 획득할 수 있는 정보가 부정확한 경우, 상기 대상객체를 마커로서 정확하게 인식하기 어려운 문제점이 발생하였다.

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 특히 증강시키고자 하는 대상물체의 에지부분이 불명확하거나 휘어지더라도 감지될 수 있는 신규한 형태의 마커를 제공하고자 한다.

위와 같은 과제를 해결하기 위한 본 발명의 한 특징에 따른 마커는 동심원구조를 가지고, 서로 다른 색상이 할당된 복수 개의 원; 상기 복수 개의 원 중 가장 안쪽 원의 중심으로 부터 가장 바깥쪽 원까지 연결되도록 형성된 적어도 하나의 일직선;을 포함하되, 상기 가장 바깥쪽 원은 서로 마주보는 분획구조로 이루어지며, 상기 분획구조는 마주보는 구획에 서로 대응하도록 동일한 색상이 할당되는 것을 특징으로 한다.

위와 같은 과제를 해결하기 위한 본 발명의 다른 특징에 따른 마커를 감지하는 마커감지시스템은 증강시키고자 하는 대상객체가 포함된 영상을 입력 받아, 상기 대상객체를 기저장된 기준원형마커와 매칭시켜 생성된 원형마커가 포함하는 원개수 또는 원의 색상정보를 통해 측정원형마커로 감지한다.

특히, 복수 개의 원이 동심원구조를 이루며, 상기 복수 개의 원에는 서로 다른 색상정보가 각각 할당되며, 상기 동심원구조의 중심으로부터 가장 바깥쪽 원까지 적어도 하나의 일직선이 형성되는 기준원형마커 및 측정원형마커를 포함할 수 있다.

보다 바람직하게는 증강시키고자 하는 대상객체가 포함된 영상을 입력받는 영상수신부; 상기 영상에 포함된 대상객체를 상기 기준원형마커와 매칭시켜 측정원형마커를 탐지하는 마커탐지부; 상기 측정원형마커의 복수 개의 원에 대한 색상정보를 각각 추출하고, 추출된 색상정보와 상기 기준원형마커의 기설정된 색상정보와 상호 비교하여 상기 측정원형마커의 종류를 판단하는 마커종류판단부; 상기 측정원형마커의 Roll축, Pitch축, Yaw축 중 적어도 하나의 축을 기준으로 하는 회전정도를 판단하는 마커자세감지부; 상기 기준원형마커에 대한 기준원개수 또는 원의 기준색상정보를 저장하는 데이터베이스부;를 포함할 수 있다.

보다 바람직하게는 상기 영상 내 존재하는 대상객체를 감지하는 대상객체감지모듈; 상기 대상객체와 상기 기준원형마커를 상호 매칭시켜 원형마커를 생성하고, 생성된 원형마커의 원개수가 상기 기준원형마커의 기설정된 원개수보다 같거나 큰지를 비교하여, 같거나 큰 경우에 상기 원형마커를 측정원형마커로 탐지하는 측정원형마커탐지모듈;을 포함하는 마커탐지부를 포함할 수 있다.

특히 상기 대상객체와 상기 기준원형마커의 매칭 시, 복수 개의 원형마커가 탐지되는 경우, 탐지된 상기 복수 개의 원형마커에 대한 원개수를 각각 비교하여, 가장 많은 원개수를 갖는 원형마커를 측정원형마커로 판단하는 것을 더 포함하는 측정원형마커탐지모듈을 포함할 수 있다.

보다 바람직하게는 상기 측정원형마커의 복수 개의 원에 대한 각각의 색상정보를 추출하는 색상정보추출모듈; 상기 측정원형마커로부터 추출된 복수 개의 원에 대한 색상정보와 상기 데이터베이스에 기저장된 상기 기준원형마커의 복수 개의 원에 대한 각각의 색상정보를 상호비교하여 동일한 색상정보가 존재하는 경우, 상기 측정원형마커를 상기 기준원형마커와 동일한 종류의 마커라고 판단하는 마커종류판단모듈;을 포함하는 마커종류판단부를 포함할 수 있다.

보다 바람직하게는 상기 측정원형마커에 형성된 일직선에 대한 회전상태를 측정하여 상기 측정원형마커의 Roll축 기준으로 회전각을 측정하는 Roll축회전측정모듈; 상기 측정원형마커를 상하좌우영역으로 분할한 후, 상기 측정원형마커에 분할된 영역 중 상하영역 간에 차이값이 제1설정값보다 같거나 큰 경우, 상기 측정원형마커의 Pitch축 기준으로 회전을 측정하는 Pitch축회전측정모듈; 상기 측정원형마커의 분할된 영역 중 좌우영역 간에 차이값이 제2설정값보다 같거나 큰 경우, 상기 측정원형마커의 Yaw축 기준으로 회전을 측정하는 Yaw축회전측정모듈;을 포함하는 마커자세감지부를 포함할 수 있다.

특히 상기 기준원형마커의 상기 Pitch축을 기준으로 하는 회전상태를 나타내는 기준값인 제1설정값과 상기 기준원형마커의 상기 Yaw축을 기준으로 하는 회전상태를 나타내는 기준값인 제2설정값을 기저장하고 있는 것을 더 포함하는 데이터베이스부를 포함할 수 있다.

위와 같은 과제를 해결하기 위한 본 발명의 또 다른 특징에 따른 마커를 감지하는 마커감지방법은 증강시키고자 하는 대상객체가 포함된 영상을 입력 받는 영상입력단계; 상기 대상객체를 기저장된 기준원형마커에 매칭시켜 측정원형마커를 탐지하는 마커탐지단계; 상기 측정원형마커의 복수 개의 원에 대한 색상정보를 각각 추출하고, 추출된 색상정보와 상기 기준원형마커의 원에 대한 색상정보를 상호 비교하여 상기 측정원형마커의 종류를 판단하는 마커종류판단단계; 상기 측정원형마커의 Roll축, Pitch축, Yaw축 중 적어도 하나의 축을 기준으로 하는 회전정도를 판단하는 마커자세감지단계;를 포함하는 것을 특징으로 한다.

특히 복수 개의 원이 동심원구조를 이루며, 상기 복수 개의 원에는 서로 다른 색상정보가 각각 할당되며, 상기 동심원구조의 중심으로부터 가장 바깥쪽 원까지 적어도 하나의 일직선이 형성되는 기준원형마커 및 측정원형마커를 포함할 수 있다.

보다 바람직하게는 상기 영상 내 존재하는 대상객체를 감지하는 대상객체감지과정; 상기 대상객체와 상기 기준원형마커를 상호 매칭시켜 원형마커를 생성하고, 생성된 원형마커의 원개수가 상기 기준원형마커의 기설정된 원개수보다 같거나 큰지를 비교하여, 같거나 큰 경우에 상기 원형마커를 측정원형마커로 탐지하는 측정원형마커탐지과정;을 포함하는 마커탐지단계를 포함할 수 있다.

특히 상기 대상객체와 상기 기준원형마커 간 매칭 시, 복수 개의 원형마커가 생성되는 경우, 생성된 상기 복수 개의 원형마커에 대한 원개수를 각각 비교하여, 가장 많은 원개수를 갖는 원형마커를 측정원형마커로 판단하는 측정원형마커탐지과정을 더 포함할 수 있다.

보다 바람직하게는 상기 측정원형마커의 복수 개의 원에 대한 각각의 색상정보를 추출하는 색상정보추출과정; 상기 측정원형마커로부터 추출된 복수 개의 원에 대한 색상정보와 기저장된 상기 기준원형마커의 복수 개의 원에 대한 각각의 색상정보를 상호 비교하여 동일한 색상정보가 존재하는 경우, 상기 측정원형마커를 상기 기준원형마커와 동일한 종류의 마커라고 판단하는 마커종류판단과정;을 포함하는 마커종류판단단계를 포함할 수 있다.

보다 바람직하게는 상기 측정원형마커에 형성된 일직선에 대한 회전상태를 측정하여 상기 측정원형마커의 Roll축 기준으로 회전각을 측정하는 Roll축회전측정과정; 상기 측정원형마커를 상하좌우영역으로 분할한 후, 상기 측정원형마커에 분할된 영역 중 상하영역 간에 차이값이 제1설정값보다 같거나 큰 경우, 상기 측정원형마커의 Pitch축 기준으로 회전을 측정하는 Pitch축회전측정과정; 상기 측정원형마커의 분할된 영역 중 좌우영역 간에 차이값이 제2설정값보다 같거나 큰 경우, 상기 측정원형마커의 Yaw축 기준으로 회전을 측정하는 Yaw축회전측정과정;을 포함하는 마커자세감지단계를 포함할 수 있다.

본 발명에 따른 마커는 대상객체가 휘어지거나 에지 부분이 불명확하더라도 정확히 인식될 수 있다.

이와 같은 마커를 사용하는 본 발명의 마커감지시스템 및 그 방법은 증강시키고자 하는 대상객체가 휘어지거나 상기 대상객체의 에지부분이 불명확하더라도 정확하게 마커를 감지할 수 있으므로, 증강현실 구현을 위해 적합하게 사용될 수 있다.

또한, 본 발명의 마커감지시스템 및 그 방법은 종래에 사용되는 사각형의 마커 대신 원형의 마커를 인식하므로, 마커를 인식하기 위해 소요되는 시간 및 과정이 감소되는 효과가 있다.

더불어, 본 발명의 마커감지시스템 및 그 방법은 2차원 영상뿐만 아니라, 3차원 영상 내 존재하는 대상객체의 회전상태를 용이하게 판단하여 보다 정확한 마커를 감지할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 마커를 감지하는 마커감지시스템의 블록도이다.
도 2는 3차원 회전축을 나타내는 도면이다.
도 3는 도 1에서 사용되는 기준원형마커의 형태를 나타낸 도면이다.
도 4는 3차원 회전에 따른 마커를 나타내는 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 마커를 감지하는 마커감지방법의 순서도이다.
도 6은 도 5의 측정원형마커를 탐지하는 상세과정을 나타낸 순서도이다.
도 7은 도 5의 측정원형마커의 종류를 판단하는 상세과정을 나타낸 순서도이다.
도 8은 도 5의 측정원형마커의 3차원 회전상태를 판단하는 순서도이다.
도 9은 도 8의 세부 순서도이다.

이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.

도 1은 본 발명의 일 실시 예에 따른 마커를 감지하는 마커감지시스템의 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 마커를 감지하는 마커감지시스템(100)은 증강시키고자 하는 대상객체를 포함하는 영상을 입력받아, 상기 대상객체를 기저장된 기준원형마커와 매칭시켜 생성된 원형마커가 포함하는 원개수 또는 원의 색상정보를 나타내는 원형정보를 통해 측정원형마커로서 감지한다.

이러한 본 발명의 마커를 감지하는 마커감지시스템(100)은 영상수신부(110), 마커탐지부(120), 마커종류판단부(130), 마커자세감지부(140) 및 데이터베이스부(150)를 포함한다.

영상수신부(110)는 증강시키고자 하는 대상객체가 포함된 영상을 입력받는다.

마커탐지부(120)는 상기 영상에 포함된 대상객체를 상기 기준원형마커와 매칭시켜 측정원형마커를 탐지하며, 대상객체감지모듈(122)과 측정원형마커탐지모듈(124)을 포함한다.

대상객체감지모듈(122)은 입력된 영상에 대하여, 원형의 객체가 존재하는지 탐지하여, 상기 원형의 객체가 존재하는 경우, 상기 원형의 객체를 대상객체로서 감지한다.

측정원형마커탐지모듈(124)은 상기 대상객체와 상기 기준원형마커를 상호 매칭시켜 원형마커를 생성하고, 생성된 원형마커가 포함하고 있는 원개수가 기설정된 상기 기준원형마커가 포함하는 원개수보다 같거나 큰지를 비교하고, 같거나 큰 경우에 상기 원형마커를 측정원형마커로서 탐지한다.

예를 들어, 기설정된 상기 기준원형마커가 포함하는 원개수가 5개이고, 생성된 원형마커가 포함하고 있는 원개수가 7개인 경우, 상기 생성된 원형마커의 원개수가 기설정된 상기 기준원형마커의 원개수보다 크므로, 상기 생성된 원형마커를 측정원형마커로서 탐지한다.

하지만 이와 달리, 상기 생성된 원형마커가 포함하고 있는 원개수가 기설정된 상기 기준원형마커가 포함하는 원개수보다 같거나 크지 않은 경우, 상기 생성된 원형마커는 측정원형마커로서 판단하지 않는다.

또한 상기 대상객체와 상기 기준원형마커와 매칭 시, 하나의 원형마커가 아닌 복수 개의 원형마커가 생성될 수 있다. 이 때, 상기 측정원형마커탐지모듈(124)은 생성된 복수 개의 원형마커에 대하여 상기 원형마커가 포함하고 있는 원개수를 각각 비교하고, 가장 많은 원개수를 포함하는 원형마커를 측정원형마커로서 판단한다.

마커종류판단부(130)는 상기 측정원형마커의 복수 개의 원에 할당된 색상정보를 각각 추출하고, 추출된 색상정보와 상기 기준원형마커의 기설정된 색상정보와 상호 비교하여 상기 측정원형마커의 종류를 판단한다. 이러한 마커종류판단부(130)는 색상정보추출모듈(132), 마커종류판단모듈(134)을 포함한다.

색상정보추출모듈(132)은 상기 측정원형마커의 복수 개의 원에 대한 각각의 색상정보를 추출한다. 이러한 상기 측정원형마커는 복수 개의 원에 R-G-B 또는 G-R-B 의 순서로 색상이 할당되어 있다.

마커종류판단모듈(134)은 상기 측정원형마커로부터 추출된 복수 개의 원에 대한 색상정보와 상기 데이터베이스에 기저장된 상기 기준원형마커의 복수 개의 원에 대한 각각의 색상정보를 상호비교하여 동일한 색상정보가 존재하는 경우, 상기 측정원형마커를 상기 기준원형마커와 동일한 종류의 마커라고 판단한다.

예를 들어, 기저장된 상기 기준원형마커의 종류가 코끼리인 경우, 가장 안쪽 원부터 빨간색, 주황색, 노란색, 남색의 색상정보를 가지고, 또는 거북이인 경우, 파란색, 노란색, 빨간색, 파란색의 색상정보를 가지며, 개미인 경우, 노란색, 빨간색, 파란색, 주황색의 색상정보를 각각 가진다. 따라서, 상기 측정원형마커의 색상정보가 파란색, 노란색, 빨간색, 파란색이 확인되면, 상기 기준원형마커의 종류 중 거북이의 색상정보와 동일하기 때문에, 상기 측정원형마커는 기준원형마커 중 거북이에 해당하는 마커라고 판단한다.

마커자세감지부(140)는 측정원형마커의 Roll축, Pitch축, Yaw축을 기준으로 하는 회전상태를 판단하며, Roll축회전측정모듈(142), Pitch축회전측정모듈(144), Yaw축회전측정모듈(146)을 포함한다.

Roll축회전측정모듈(142)은 상기 측정원형마커에 형성된 일직선에 대한 회전상태를 측정하여 상기 측정원형마커의 Roll축 기준으로 회전각을 측정한다.

Pitch축회전측정모듈(144)은 상기 측정원형마커를 상하좌우영역으로 분할한 후, 상기 측정원형마커에 분할된 영역 중 상하영역 간에 차이값이 제1설정값보다 같거나 큰 경우, 상기 측정원형마커의 Pitch축을 기준으로 회전상태를 측정한다.

Yaw축회전측정모듈(146)은 상기 측정원형마커의 분할된 영역 중 좌우영역 간에 차이값이 제2설정값보다 같거나 큰 경우, 상기 측정원형마커의 Yaw축을 기준으로 회전상태를 측정한다.

데이터베이스부(150)는 상기 기준원형마커에 대한 원형정보인 기준원개수 또는 원의 기준색상정보를 저장하며, 상기 측정원형마커의 상기 Pitch축을 기준으로 하는 회전상태를 나타내는 기준값인 제1설정값과 상기 측정원형마커의 상기 Yaw축을 기준으로 하는 회전상태를 나타내는 기준값인 제2설정값을 기저장한다.

또한, 본 발명의 마커를 감지하는 마커감지시스템은 상기 측정원형마커의 3차원을 기준으로 하는 회전상태를 판단한다.

도 2는 3차원 회전축을 나타내는 도면이다.

도 2에 도시된 바와 같이, 대상객체가 존재하는 곳을 기준으로 상기 대상객체의 진행방향인 X축 방향으로 회전하는 경우를 Roll축 회전이라 하고, 상기 대상객체의 진행방향의 왼쪽인 Y축 방향으로 회전하는 경우를 Pitch축 회전이라 하며, 상기 대상객체의 진행방향의 상부쪽인 Z축 방향으로 회전하는 경우를 Yaw축 회전이라 한다.

따라서, 대상객체로부터 측정한 마커의 상태를 판단함으로써, 상기 마커의 3차원 회전상태를 용이하게 알 수 있다.

먼저, 상기 마커의 3차원 회전상태를 판단하기에 앞서, 기준원형마커의 구조에 대하여 도 3을 통해 자세히 살펴보도록 한다.

도 3는 도 1에서 사용되는 기준원형마커의 형태를 나타낸 도면이다.

도 3에 도시된 바와 같이, 기준원형마커(10)의 구조는 복수 개의 원이 동심원 구조를 가지며, 상기 복수 개의 원에 R-G-B 또는 G-R-B 의 형태로 서로 다른 색상이 각각 할당된다. 이러한 기준원형마커(10)에는 상기 복수 개의 원 중에서 가장 안 쪽에 배치된 원(11)의 중심으로부터 가장 바깥쪽에 배치되는 원(13)까지 연결되도록 적어도 하나의 일직선이 형성된다. 특히, 이러한 일직선은 마커의 3차원 회전 중 Roll축을 기준으로 하여 회전한 상태를 판단하는데 사용된다.

또한, 상기 기준원형마커(10)에는 상기 복수 개의 원 중에서 가장 바깥쪽에 배치되는 원(13)이 서로 마주보도록 4영역(13a, 13b, 13c, 13d)으로 나눠지는 분획구조를 갖는다. 이 때, 상기 바깥쪽에 배치되는 원(13)의 4영역(13a, 13b, 13c, 13d) 중 서로 마주보는 분획영역(13a와 13b, 13c와 13d)은 서로 대응하도록 동일한 색상이 할당된다. 이러한 분획영역(13a와 13b, 13c와 13d)은 그 크기를 판별하여 마커의 3차원 회전 중 Pitch축과 Yaw축을 기준으로 하여 회전한 상태를 판단하는데 사용된다.

이하, 도 4를 참조하여 3차원 회전에 따른 마커의 모습을 살펴보도록 한다.

도 4는 3차원 회전에 따른 마커를 나타내는 도면이다.

도 4에 도시된 바와 같이, 앞서 도 3을 통해 설명한 기준원형마커와 동일한 구조를 갖는 측정원형마커는 3차원 회전 축에 따라 (a) 내지 (c)까지의 모습이 나타난다.

먼저, 도 4의 (a)를 살펴보면, 측정원형마커(20)의 복수 개의 원 중 가장 바깥쪽에 배치된 원(23)의 분획영역에 대한 크기가 기준원형마커의 크기와 동일한 것을 알 수 있으며, 다만 상기 복수 개의 원 중 가장 안 쪽에 배치된 원(21)의 중심으로부터 가장 바깥쪽에 배치된 원(23)까지 연결되도록 형성된 일직선(22)이 다소 왼쪽으로 이동한 것을 알 수 있다.

이와 같이, 상기 일직선(22)이 왼쪽으로 이동함에 따라, 상기 측정원형마커(20)가 3차원 회전 중 Roll축을 기준으로 하여 회전한 것을 알 수 있다.

이어서, 도 4의 (b)를 살펴보면, 측정원형마커(30)에 형성된 일직선(32)은 고정되어 있으나, 가장 바깥쪽에 배치된 원(33)의 분획영역(33a, 33b, 33c, 33d) 중 상하영역(33a, 33b)에 대한 크기가 상이한 것을 알 수 있다. 이 때, 상기 상하영역(33a, 33b)의 크기에 대한 차이값이 기설정된 제1설정값보다 같거나 큰 경우, 상기 측정원형마커(30)가 Pitch축을 기준으로 회전한 것을 알 수 있다.

또한, 도 4의 (c)를 살펴보면, 측정원형마커(40)에 형성된 일직선(42)은 고정되어 있으나, 가장 바깥쪽에 배치된 원(43)의 분획영역(43a, 43b, 43c, 43d) 중 좌우영역(43c, 43d)에 대한 크기가 상이한 것을 알 수 있다. 이 때, 상기 좌우영역(43c, 43d)의 크기에 대한 차이값이 기설정된 제2설정값보다 같거나 큰 경우, 상기 측정원형마커(40)가 Yaw축을 기준으로 회전한 것을 알 수 있다.

이하, 도 5를 통해 본 발명의 다른 실시 예에 따른 마커를 감지하는 마커감지방법에 대하여 자세히 살펴보도록 한다.

도 5는 본 발명의 다른 실시 예에 따른 마커를 감지하는 마커감지방법의 순서도이다.

도 5에 도시된 바와 같이, 본 발명의 마커를 감지하는 마커감지방법은 대상객체가 포함된 영상을 입력받고(S210), 상기 대상객체를 기준원형마커에 매칭시켜 측정원형마커를 탐지하여(S220), 상기 측정원형마커의 색상정보를 추출한 후, 기준원형마커의 색상정보와 비교하여 측정원형마커의 종류를 판단(S230) 후, 회전상태를 판단함으로써, 마커로서 인식한다(S240).

이하, 도 6 내지 도 9를 참조하여, 본 발명의 마커를 감지하는 마커감지방법에 대하여 보다 자세히 살펴보도록 한다.

증강시키고자 하는 대상객체가 포함된 영상을 입력받는다(S210).

앞서 입력된 영상에 대하여, 대상객체감지모듈이 원형의 객체가 존재하는지 탐지하여 상기 원형의 객체가 존재하는 경우, 상기 원형의 객체를 대상객체로서 감지한다(S221).

이후, 측정원형마커탐지모듈이 상기 대상객체와 상기 기준원형마커를 상호 매칭(S222)시켜 원형마커를 생성한다(S223).

이 때, 상기 대상객체와 상기 기준원형마커와 매칭 시, 하나의 원형마커가 아닌 복수 개의 원형마커가 생성되었는지 확인한다(S224).

만약 하나의 원형마커가 아닌 복수 개의 원형마커가 생성된 경우, 측정원형마커탐지모듈이 생성된 복수 개의 원형마커에 대하여 상기 원형마커가 포함하고 있는 원개수를 각각 비교하고(S225), 가장 많은 원개수를 포함하는 원형마커를 기저장된 기준원형마커의 원개수와 비교한다(S226).

만약, 상기 가장 많은 원개수를 포함하는 원형마커의 원개수가 기준원형마커의 원개수보다 큰 경우(S227), 상기 원형마커를 측정원형마커로서 판단한다(S228).

이 후, 도 7을 통해 측정원형마커의 종류를 판단하는 과정에 대해 자세히 살펴보면 다음과 같다.

먼저, 색상정보추출모듈이 상기 측정원형마커의 복수 개의 원에 대한 각각의 색상정보를 추출한다(S231). 이 때, 상기 측정원형마커는 복수 개의 원에 R-G-B 또는 G-R-B 의 순서로 색상이 할당된다.

이와 같이, 상기 측정원형마커로부터 추출된 복수 개의 원에 대한 색상정보와 상기 데이터베이스에 기저장된 상기 기준원형마커의 복수 개의 원에 대한 각각의 색상정보를 상호비교하여(S232) 동일한 색상정보가 존재하는 경우, 상기 측정원형마커를 상기 기준원형마커와 동일한 종류의 마커라고 판단한다(S233).

예를 들어, 상기 측정원형마커로부터 추출한 색상정보에 있어서, 첫 번째 원에 할당된 색상정보가 빨간색이고, 두 번째 원에 할당된 색상정보가 노란색이며, 이후 원들로부터 초록색, 파란색, 보라색인 경우, 기저장된 상기 기준원형마커의 원에 대한 색상정보가 세 번째 원에 할당된 초록색이며, 상기 측정원형마커가 기준 원형마커와 동일한 종류라고 판단할 수 있다.

예를 들어, 기저장된 상기 기준원형마커의 종류가 코끼리인 경우, 가장 안쪽 원부터 빨간색, 주황색, 노란색, 남색의 색상정보를 가지고, 또는 거북이인 경우, 파란색, 노란색, 빨간색, 파란색의 색상정보를 가지며, 개미인 경우, 노란색, 빨간색, 파란색, 주황색의 색상정보를 각각 가진다. 따라서, 상기 측정원형마커의 색상정보가 파란색, 노란색, 빨간색, 파란색인 확인되면, 상기 기준원형마커의 종류 중 거북이의 색상정보와 동일하기 때문에, 상기 측정원형마커는 기준원형마커 중 거북이에 해당하는 마커라고 판단한다.

이하, 도 8을 통해 측정원형마커의 3차원 회전상태를 판단하는 과정에 대하여 자세히 살펴보도록 한다.

앞서, 마커의 종류를 판단한 상기 측정원형마커에 대하여, Roll축을 기준으로 하는 회전이 발생했는지 여부를 판단한다(S241).

만약, 상기 측정원형마커에 대하여, Roll축을 기준으로 한 회전이 발생하였다고 판단한 경우, 상기 측정원형마커의 Roll축을 기준으로 한 회전상태를 측정한다(S242).

또는 상기 측정원형마커의 Roll축을 기준으로 한 회전이 발생하지 않거나, Roll축을 기준으로 한 회전상태의 측정이 완료된 경우, 상기 측정원형마커의 Pitch축을 기준으로 한 회전이 발생하였는지 여부를 판단한다(S243).

만약 상기 측정원형마커에 대해, Pitch축을 기준으로 한 회전이 발생하였다고 판단한 경우, 상기 측정원형마커의 Pitch축을 기준으로 한 회전 상태를 측정한다(S244).

또는 상기 측정원형마커의 Pitch축을 기준으로 한 회전이 발생하지 않거나, Pitch축을 기준으로 한 회전상태의 측정이 완료된 경우, 상기 측정원형마커의 Yaw축을 기준으로 한 회전이 발생하였는지 여부를 판단한다(S245).

만약 상기 측정원형마커에 대해, Yaw축을 기준으로 한 회전이 발생하였다고 판단한 경우, 상기 측정원형마커의 Yaw축을 기준으로 한 회전상태를 측정한다(S246).

이에 따라, 상기 측정원형마커의 Yaw축을 기준으로 한 회전이 발생하지 않거나, Yaw축을 기준으로 한 회전상태의 측정이 완료된 경우, 상기 측정원형마커를 마커로서 인식을 완료한다(S247).

이하, 도 9를 참조하여, 상기 측정원형마커에 대한 3차원 회전상태의 측정과정에 대하여 보다 자세히 살펴보도록 한다.

도 9에 도시된 바와 같이, 측정원형마커에 대한 3차원 회전상태의 측정과정은 먼저, Roll축을 기준으로 한 회전상태를 측정하기 위하여, 측정원형마커에 형성된 일직선의 회전상태를 측정한다(S251).

이후, 상기 일직선의 회전상태를 측정함에 따라, 상기 측정원형마커의 Roll축을 기준으로 하는 회전각을 판단한다(S252).

이어서, Pitch축과 Yaw축으로의 회전상태를 측정하기 위해, 상기 측정원형마커를 상하좌우영역으로 4분할한다(S253).

이 때, 상기 측정원형마커의 분할된 영역 중 상하영역 간에 차이값이 제1설정값보다 같거나 큰 지를 비교한다(S254). 이에 따라, 상기 상하영역 간에 차이값이 상기 제1설정값보다 같거나 큰 경우, 상기 측정원형마커의 Pitch축을 기준으로 회전상태를 측정한다(S255).

이 후, 상기 측정원형마커의 분할된 영역 중 좌우영역 간에 차이값이 제2설정값보다 같거나 큰 지를 비교한다(S256). 이에 따라 상기 좌웅영역 간에 차이값이 상기 제2설정값 보다 같거나 큰 경우, 상기 측정원형마커의 Yaw축을 기준으로 회전상태를 판단한다(S257).

이로써, 상기 측정원형마커에 대한 마커로서의 인식을 완료한다(S258).

만약, 상기 측정원형마커의 상하영역 간에 차이값이 상기 제1설정값보다 작은 경우나, 상기 측정원형마커의 좌우영역 간에 차이값이 상기 제2설정값보다 작은 경우에는 상기 측정원형마커의 Pitch축 또는 Yaw축을 기준으로 한 회전이 발생하지 않았다고 판단한다.

상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.

110: 영상수신부 120: 마커탐지부
130: 마커종류판단부 140: 마커자세감지부
150: 데이터베이스부

Claims

동심원구조를 가지고, 서로 다른 색상이 할당된 복수 개의 원;
상기 복수 개의 원 중 가장 안쪽 원의 중심으로 부터 가장 바깥쪽 원까지 연결되도록 형성된 적어도 하나의 일직선;을 포함하되,
상기 가장 바깥쪽 원은 서로 마주보는 분획구조로 이루어지며, 상기 분획구조는 마주보는 구획에 서로 대응하도록 동일한 색상이 할당되는 것을 특징으로 하는 마커.
마커를 감지하는 마커감지시스템에 있어서,
증강시키고자 하는 대상객체가 포함된 영상을 입력 받아, 상기 대상객체를 기저장된 기준원형마커와 매칭시켜 생성된 원형마커가 포함하는 원개수 또는 원의 색상정보를 나타내는 원형정보를 통해 측정원형마커로 감지하는 것을 특징으로 하는 마커를 감지하는 마커감지시스템.
제2항에 있어서,
상기 기준원형마커 및 상기 측정원형마커는
복수 개의 원이 동심원구조를 이루며, 상기 복수 개의 원에는 서로 다른 색상정보가 각각 할당되며, 상기 동심원구조의 중심으로부터 가장 바깥쪽 원까지 적어도 하나의 일직선이 형성되는 것을 특징으로 하는 마커를 감지하는 마커감지시스템.
제3항에 있어서,
증강시키고자 하는 대상객체가 포함된 영상을 입력받는 영상수신부;
상기 영상에 포함된 대상객체를 상기 기준원형마커와 매칭시켜 측정원형마커를 탐지하는 마커탐지부;
상기 측정원형마커의 복수 개의 원에 대한 색상정보를 각각 추출하고, 추출된 색상정보와 상기 기준원형마커의 기설정된 색상정보와 상호 비교하여 상기 측정원형마커의 종류를 판단하는 마커종류판단부;
상기 측정원형마커의 Roll축, Pitch축, Yaw축 중 적어도 하나의 축을 기준으로 하는 회전정도를 판단하는 마커자세감지부;
상기 기준원형마커에 대한 기준원개수 또는 원의 기준색상정보를 저장하는 데이터베이스부;
를 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지시스템.
제4항에 있어서,
상기 마커탐지부는
상기 영상 내 존재하는 대상객체를 감지하는 대상객체감지모듈;
상기 대상객체와 상기 기준원형마커를 상호 매칭시켜 원형마커를 생성하고, 생성된 원형마커의 원개수가 상기 기준원형마커의 기설정된 원개수보다 같거나 큰지를 비교하여, 같거나 큰 경우에 상기 원형마커를 측정원형마커로 탐지하는 측정원형마커탐지모듈;
을 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지시스템.
제5항에 있어서,
상기 측정원형마커탐지모듈은
상기 대상객체와 상기 기준원형마커의 매칭 시, 복수 개의 원형마커가 탐지되는 경우, 탐지된 상기 복수 개의 원형마커에 대한 원개수를 각각 비교하여, 가장 많은 원개수를 갖는 원형마커를 측정원형마커로 판단하는 것을 더 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지시스템.
제4항에 있어서,
상기 마커종류판단부는
상기 측정원형마커의 복수 개의 원에 대한 각각의 색상정보를 추출하는 색상정보추출모듈;
상기 측정원형마커로부터 추출된 복수 개의 원에 대한 색상정보와 상기 데이터베이스에 기저장된 상기 기준원형마커의 복수 개의 원에 대한 각각의 색상정보를 상호비교하여 동일한 색상정보가 존재하는 경우, 상기 측정원형마커를 상기 기준원형마커와 동일한 종류의 마커라고 판단하는 마커종류판단모듈;
을 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지시스템.
제4항에 있어서,
상기 마커자세감지부는
상기 측정원형마커에 형성된 일직선에 대한 회전상태를 측정하여 상기 측정원형마커의 Roll축 기준으로 회전각을 측정하는 Roll축회전측정모듈;
상기 측정원형마커를 상하좌우영역으로 분할한 후, 상기 측정원형마커에 분할된 영역 중 상하영역 간에 차이값이 제1설정값보다 같거나 큰 경우, 상기 측정원형마커의 Pitch축 기준으로 회전을 측정하는 Pitch축회전측정모듈;
상기 측정원형마커의 분할된 영역 중 좌우영역 간에 차이값이 제2설정값보다 같거나 큰 경우, 상기 측정원형마커의 Yaw축 기준으로 회전을 측정하는 Yaw축회전측정모듈;
을 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지시스템.
제8항에 있어서,
상기 데이터베이스부는
상기 기준원형마커의 상기 Pitch축을 기준으로 하는 회전상태를 나타내는 기준값인 제1설정값과 상기 기준원형마커의 상기 Yaw축을 기준으로 하는 회전상태를 나타내는 기준값인 제2설정값을 기저장하고 있는 것을 더 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지시스템.
마커를 감지하는 마커감지방법에 있어서,
증강시키고자 하는 대상객체가 포함된 영상을 입력 받는 영상입력단계;
상기 대상객체를 기저장된 기준원형마커에 매칭시켜 측정원형마커를 탐지하는 마커탐지단계;
상기 측정원형마커의 복수 개의 원에 대한 색상정보를 각각 추출하고, 추출된 색상정보와 상기 기준원형마커의 원에 대한 색상정보를 상호 비교하여 상기 측정원형마커의 종류를 판단하는 마커종류판단단계;
상기 측정원형마커의 Roll축, Pitch축, Yaw축 중 적어도 하나의 축을 기준으로 하는 회전정도를 판단하는 마커자세감지단계;
를 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지방법.
제10항에 있어서,
상기 기준원형마커 및 상기 측정원형마커는
복수 개의 원이 동심원구조를 이루며, 상기 복수 개의 원에는 서로 다른 색상정보가 각각 할당되며, 상기 동심원구조의 중심으로부터 가장 바깥쪽 원까지 적어도 하나의 일직선이 형성되는 것을 특징으로 하는 마커를 감지하는 마커감지방법.
제11항에 있어서,
상기 마커탐지단계는
상기 영상 내 존재하는 대상객체를 감지하는 대상객체감지과정;
상기 대상객체와 상기 기준원형마커를 상호 매칭시켜 원형마커를 생성하고, 생성된 원형마커의 원개수가 상기 기준원형마커의 기설정된 원개수보다 같거나 큰지를 비교하여, 같거나 큰 경우에 상기 원형마커를 측정원형마커로 탐지하는 측정원형마커탐지과정;
을 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지방법.
제12항에 있어서,
상기 측정원형마커탐지과정은
상기 대상객체와 상기 기준원형마커 간 매칭 시, 복수 개의 원형마커가 생성되는 경우, 생성된 상기 복수 개의 원형마커에 대한 원개수를 각각 비교하여, 가장 많은 원개수를 갖는 원형마커를 측정원형마커로 판단하는 것을 더 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지방법.
제11항에 있어서,
상기 마커종류판단단계는
상기 측정원형마커의 복수 개의 원에 대한 각각의 색상정보를 추출하는 색상정보추출과정;
상기 측정원형마커로부터 추출된 복수 개의 원에 대한 색상정보와 기저장된 상기 기준원형마커의 복수 개의 원에 대한 각각의 색상정보를 상호 비교하여 동일한 색상정보가 존재하는 경우, 상기 측정원형마커를 상기 기준원형마커와 동일한 종류의 마커라고 판단하는 마커종류판단과정;
을 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지방법.
제11항에 있어서,
상기 마커자세감지단계는
상기 측정원형마커에 형성된 일직선에 대한 회전상태를 측정하여 상기 측정원형마커의 Roll축 기준으로 회전각을 측정하는 Roll축회전측정과정;
상기 측정원형마커를 상하좌우영역으로 분할한 후, 상기 측정원형마커에 분할된 영역 중 상하영역 간에 차이값이 제1설정값보다 같거나 큰 경우, 상기 측정원형마커의 Pitch축 기준으로 회전을 측정하는 Pitch축회전측정과정;
상기 측정원형마커의 분할된 영역 중 좌우영역 간에 차이값이 제2설정값보다 같거나 큰 경우, 상기 측정원형마커의 Yaw축 기준으로 회전을 측정하는 Yaw축회전측정과정;
을 포함하는 것을 특징으로 하는 마커를 감지하는 마커감지방법.