KR100963240B1

KR100963240B1 - 컬러 마커 인식 방법 및 장치

Info

Publication number: KR100963240B1
Application number: KR1020080077464A
Authority: KR
Inventors: 우운택; 이원우
Original assignee: 광주과학기술원
Priority date: 2008-08-07
Filing date: 2008-08-07
Publication date: 2010-06-10
Also published as: KR20100018798A

Abstract

컬러 마커 인식 방법 및 장치가 개시된다. 본 발명에 따른 컬러 마커 인식 방법은, 서로 다른 컬러를 가지는 복수 개의 컬러 패턴들을 포함하는 컬러 마커를 촬영하여 이미지를 획득하는 단계; 상기 획득된 이미지로부터 상기 컬러 패턴들이 존재하는 영역을 검출하는 단계; 및 상기 컬러 패턴들 중 적어도 하나의 컬러 패턴을 가지는 서브 마커를 추출하는 단계를 포함하는 것을 특징으로 한다. 이러한 본 발명에 의하면 단일한 마커가 컬러 패턴에 따라서 다른 몇 개의 마커로 인식될 수 있기 때문에 하나의 마커에 여러 가지 기능을 부여할 수 있다.

증강 현실, AR, 마커, 컬러 마커, 컬러 보정

Description

컬러 마커 인식 방법 및 장치{Method and apparatus for recognizing color marker}

본 발명은 컬러 마커 인식 방법 및 장치에 관한 것으로, 보다 상세하게는 단일한 마커에 여러 기능을 부여할 수 있는 컬러 마커 인식 방법 및 장치에 관한 것이다.

증강현실(Augmented Reality : AR)이란 현실 세계에 가상의 객체를 중첩시켜 현실세계에 보충하여 사용자에게 보다 많은 정보를 제공해 주는 것을 의미한다. 이러한 증강현실 시스템을 구현하기 위해서는 이미지 기반의 태그 - 즉, 피두셜 마커(Fiducial Marker)-를 이용하는 방법과 태그 없이 실영상을 기반으로 한 방법이 존재한다. 그런데 전통적으로 AR 기술에 있어서는 촉각 상호작용 또는 장면 증강을 위하여 다양한 마커가 사용되어져 왔다.

대표적인 마커 시스템으로는, ARToolkit, QR Code, Data Matrix, 및 ARTag 등을 들 수 있다.

QR Code나 Data Matrix는 매트릭스 코드 또는 2차원 바코드로 이해될 수 있다. QR Code는 1994년 일본 Denso 사에서 개발되었다. Quick Response Code라는 의 미로서, 신속한 판독을 필요로 하는 물류관리나 공장자동화 부분에 적합하도록 고안되었다. QR 코드의 촤측 상단과 그 우측 아래에는 2개의 소형 단면(cutout) 심볼이 있어서 심볼의 방향을 빠르게 파악하고 신속한 판단을 가능하게 한다. Data Matrix 코드는 1989년 미국 International Data Matrix의 사장인 Dennis Priddy에 의해 개발되었다. Data Matrix 코드는 Data Code라고도 불리우는데, 심볼당 표현할 수 있는 데이터의 양이 크다는 장점이 있다. 그러나 QR Code나 Data Matrix는 부호화된 정보를 담기에 유용하지만, AR 응용기술에 적용하기에는 적당하지 않다. 이는 AR 응용분야에 있어서는 다양한 시점이 존재하며 마커의 왜곡이 발생하기 때문이고, 위의 두 마커들은 AR 기술에 적합하도록 고안된 것이 아니기 때문이다.

AR 기술분야에서 가장 유명한 마커 시스템 중의 하나는 ARToolkit 마커인데, 이는 ARToolkit 마커는 단순하고 AR 응용기술에 사용하기에 충분히 강인한 특성을 갖기 때문이다. ARToolkit은 워싱턴 대학의 HIT 연구실에서 개발된 것으로서, 증강 현실 환경을 생성하는 소프트웨어 라이브러리를 지칭한다. ARToolkit에서 사용되는 마커는 사각형의 영역 내에 특정 패턴이 형성되도록 구성된다. 그런데 ARToolkit의 경우에는 마커 가림(occlusion)에 따른 마커 인식의 문제점과 마커에 따른 가상 객체의 등록(registration)에 대한 문제점이 존재한다.

한편, ARTag는 캐나다의 National Research Council에서 ARToolkt의 불안정성 문제를 해결하기 위해 개발한 마커이다. ARTag는 ARToolkit에서 집중 조명이나 그라데이션의 영향에 따른 문제점을 해결하고, 마커 가림 현상에 대한 문제점을 어느 정도 해결한 바 있다.

그런데 상기 마커들은 흰색 배경위에 프린트된 검정색 패턴에 기반하고 있으며 가능한 마커의 숫자는 한정적이다. 마커는 그에 대응하는 3D 모델과 같은 가상 객체 또는 컴퓨터 시스템상의 특정 기능과 1 대 1로 매칭된다. 따라서 다양한 가상 객체 또는 기능의 실현을 위해서는 마커도 증가될 필요성이 있다.

최근 흑백 기반 이미지를 이용한 마커(또는 코드)에 비해 정보의 양을 증가시키거나 다수의 마커를 생성하는 것이 가능하도록 하기 위하여 컬러 마커(또는 컬러 코드)에 대한 연구가 이루어지고 있다. 컬러 마커는 마커에 포함되는 패턴에 색상을 추가한 것을 말한다. 예컨대 2차원 매트릭스로 구성된 사각형의 각 픽셀에 색상을 추가한 마커가 이에 해당된다. 컬러 마커는 흑백 마커에 비해 더욱 많은 정보를 포함하거나, 다수의 마커 종류를 생성할 수 있는 장점이 있다. 그러나 다수의 컬러 마커를 구비하는 것은 시스템을 복잡하게 만드는 문제점이 있으며, 컬러 마커의 경우 주변 조명 변화에 따라 색상이 다르게 인식될 수 있으므로 조명 변화에 취약한 성능을 가지게 된다.

본 발명이 이루고자 하는 기술적 과제는 단일한 마커에 여러 기능을 부여할 수 있는 컬러 마커 인식 방법 및 장치를 제공하는 데 있다. 나아가, 컬러 마커로부터 서브 마커를 추출함에 있어서 조명 변화에 강건한 컬러 보정을 수행함에 있다.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 컬러 마커 인식 방법 은, 서로 다른 컬러를 가지는 복수 개의 컬러 패턴들을 포함하는 컬러 마커를 촬영하여 이미지를 획득하는 단계; 상기 획득된 이미지로부터 상기 컬러 패턴들이 존재하는 영역을 검출하는 단계; 및 상기 컬러 패턴들 중 적어도 하나의 컬러 패턴을 가지는 서브 마커를 추출하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 컬러 마커는 상기 복수 개의 컬러 패턴들의 배경으로서 흑색 영역과 백색 영역을 더 포함할 수 있다.

그리고 상기 컬러 마커 인식 방법은, 상기 획득된 이미지의 상기 흑색 영역과 상기 백색 영역의 컬러를 이용하여 상기 컬러 마커의 컬러를 보정하는 단계를 더 포함할 수 있다.

여기서, 상기 보정하는 단계는, (a) 상기 흑색 영역의 컬러 채널 값과 상기 백색 영역의 컬러 채널 값을 추정하는 단계; 및 (b) 상기 추정된 컬러 채널 값들을 이용하여 각 컬러 채널에 대한 상기 컬러 패턴의 픽셀 컬러를 보정하는 단계를 포함할 수 있다.

여기서, 상기 (a) 단계는, R, G, 및 B 채널에 대하여 상기 흑색 영역의 포인트의 컬러 채널 값

및 상기 백색 영역의 컬러 포인트의 컬러 채널 값을

를 추정하되, 상기 흑색 영역과 백색 영역의 가우시안 모델

및

를 형성하고 다음 수학식을 만족시키는 스케일링 벡터

를 결정함으로써 상기 흑색 영역의 포인트의 컬러 채널 값과 상기 백색 영역의 컬러 채널 값을 추정할 수 있다.

상기 수학식에서

및

는 각각 상기 흑색 영역의 컬러 채널 값의 평균 및 표준편차를,

및

는 각각 상기 백색 영역의 컬러 채널 값의 평균 및 표준 편차를 나타낸다.

여기서, 상기 (a) 단계에서 상기

의 결정은, 상기

를 요구되는 픽셀 값 강도(intensity)에 매핑하고 상기

를 요구되는 픽셀 값 강도에 매핑하는데 드는 비용을 최소화하는 스케일링 벡터

를 찾음으로써 결정할 수 있다.

또한, 상기 (b) 단계에서 컬러 패턴의 픽셀 컬러

에 대하여, 보정된 픽셀 컬러

는 다음 수학식에 따라 계산될 수 있다.

또한, 상기 컬러 인식 방법은, 상기 획득된 이미지를 이진화하는 단계를 더 포함하고, 상기 컬러 패턴들이 존재하는 영역을 검출하는 단계는 상기 이진화된 이미지로부터 상기 영역을 검출할 수 있다.

또한, 상기 서브 마커를 추출하는 단계는, 상기 컬러 패턴이 가지는 컬러를 이용하여 상기 컬러 패턴을 분리하는 단계; 및 상기 분리된 컬러 패턴을 가지고 상 기 서브 마커를 추출하는 단계를 포함할 수 있다.

여기서, 상기 컬러 패턴을 분리하는 단계는, 상기 컬러 패턴이 가지는 컬러를 미리 알려진 컬러와 비교하여 그 비교 결과에 따라서 상기 컬러 패턴을 분리할 수 있다.

여기서, 상기 컬러 패턴을 분리하는 단계는, 상기 컬러 패턴의 영역의 평균 컬러와 상기 미리 알려진 컬러 간의 차이가 임계값보다 작은 경우 상기 컬러 패턴의 영역 내의 모든 픽셀들을 분리함으로써 상기 컬러 패턴을 분리할 수 있다.

또한, 상기 컬러 패턴이 가지는 컬러와 상기 미리 알려진 컬러와의 비교는 정규화된 컬러 모델을 이용할 수 있다.

또한, 상기 컬러 패턴을 분리하는 단계는, 상기 컬러 패턴의 영역에 대하여 모든 컬러 채널에 대한 컬러 값의 평균과 표준편차를 계산하고 각 컬러 채널마다 상기 차이를 계산한 후, 각 컬러 채널마다 상기 차이와 상기 임계값을 비교할 수 있다.

여기서, 상기 임계값은 상기 컬러 패턴의 영역 내의 컬러 값의 통계치로부터 결정될 수 있다. 이때 상기 임계값은 상기 컬러 패턴의 영역 내의 컬러 값의 표준편차가 스케일된 값으로 결정될 수 있다.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 컬러 마커 인식 장치는, 서로 다른 컬러를 가지는 복수 개의 컬러 패턴들을 포함하는 컬러 마커를 촬영하여 이미지를 획득하는 이미지 획득부; 상기 획득된 이미지로부터 상기 컬러 패턴들이 존재하는 영역을 검출하는 영역 검출부; 및 상기 컬러 패턴들 중 적어도 하나 의 컬러 패턴들 가지는 서브 마커를 추출하는 서브 마커 추출부를 포함하는 것을 특징으로 한다.

상기 컬러 마커 인식 장치는, 상기 획득된 이미지의 상기 흑색 영역과 상기 백색 영역의 컬러를 이용하여 상기 컬러 마커의 컬러를 보정하는 컬러 보정부를 더 포함할 수 있다.

여기서, 상기 컬러 보정부는, 상기 흑색 영역의 컬러 채널 값과 상기 백색 영역의 컬러 채널 값을 추정하고, 상기 추정된 컬러 채널 값들을 이용하여 각 컬러 채널에 대한 상기 컬러 패턴의 픽셀 컬러를 보정할 수 있다.

또한, 상기 컬러 마커 인식 장치는, 상기 획득된 이미지를 이진화하는 이진화부를 더 포함하고, 상기 영역 검출부는 상기 이진화된 이미지로부터 상기 영역을 검출할 수 있다.

또한, 상기 서브 마커 추출부는, 상기 컬러 패턴이 가지는 컬러를 이용하여 상기 컬러 패턴을 분리하고, 상기 분리된 컬러 패턴을 가지고 상기 서브 마커를 추출할 수 있다.

여기서, 상기 서브 마커 추출부는, 상기 컬러 패턴이 가지는 컬러를 미리 알려진 컬러와 비교하여 그 비교 결과에 따라서 상기 컬러 패턴을 분리할 수 있다.

상기 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른 컬러 마커 인식 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제 공한다.

상술한 본 발명에 의하면 단일한 마커가 컬러 패턴에 따라서 다른 몇 개의 마커로 인식될 수 있기 때문에 하나의 마커에 여러 가지 기능을 부여할 수 있다.

나아가 조명에 대한 컬러 보정을 위해 컬러 마커의 흑색 영역과 백색 영역의 컬러를 이용하여 컬러 마커의 컬러를 보정함으로써 조명 조건에 관한 어떤 사전 지식이나 가정이 요구되지 않는다. 또한, 컬러 마커 각각에 대하여 독립적으로 컬러 보정이 수행될 수 있으므로 각 컬러 마커가 다른 조명 조건 하에 있더라도 강건하게 컬러 보정을 수행하는 것이 가능해진다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 컬러 마커의 컨셉을 설명하기 위한 참고도이다. 컬러 마커는 도시된 바와 같이, 복수 개의 컬러 패턴들과, 이 컬러 패턴들의 배경으로서 흑색 경계 영역과 컬러 패턴 주변의 백색 영역을 포함한다. 이처럼 여러 패턴들을 가지는 컬러 마커에 의하면, 단일한 컬러 마커로부터 그 패턴들의 서브셋을 추출하고 이를 결합함으로써 서로 다른 마커들로 인식될 수 있다. 이때 각 패턴이 가지는 컬러가 패턴들의 서브셋을 추출하기 위한 수단으로 사용된다. 특정 컬러를 가지는 하나 또는 여러 이미지 영역들은 컬러 분리를 통하여 추출될 수 있고, 분리된 이미지 영역들을 결합함으로써 하나의 컬러 마커로부터 여러 개의 서브 마커가 얻어질 수 있다. 이러한 컬러 마커는 분리된 컬러 패턴들의 조합에 따라서 서로 다른 몇 개의 서브 마커로 식별될 수 있다. 컬러 마커가 n개의 컬러 패턴을 포함하고 있다면 가능한 서브 마커의 개수는 다음 수학식과 같다.

따라서 컬러 마커에 포함된 컬러 패턴들의 수가 증가할수록 가능한 서브 마커들의 수가 증가하게 된다.

통상적인 흑색 마커에 의하면, 마커의 개수가 m개라고 할 때, 매치되는 대상을 찾기 위한 비교의 수의 계산 복잡도가

이다. 그리고 컬러 마커의 경우에는 비교의 수의 계산 복잡도가

이 된다. 따라서 컬러 마커에 의하면 매치되는 대상을 찾기 위한 시간이 더 걸리게 된다.

본 발명에서는 마커 매칭 성능을 향상시키기 위하여 계층적인 마커 매칭 방법을 제안한다. 여기서 컬러 마커와 그에 가능한 서브 마커들은 각각이 가지고 있는 컬러 패턴의 수에 따라서 트리 구조로 저장된다. 예컨대 n 개의 컬러 패턴을 가지는 컬러 마커는 깊이 (n-1)의 트리 구조에 저장된다. 컬러 마커 자체는 트리의 루트 노드가 되고 그에 따르는 서브 마커들은 각각이 포함하는 컬러 패턴의 수에 따라서 저장된다. 도 2는 이러한 트리 구조의 예로서 세 개의 컬러 패턴을 가지는 경우를 나타낸다. 서브 마커가 컬러 마커로부터 추출되면, 그에 상응하는 레벨(즉, 컬러 패턴의 수에 해당하는 트리 구조의 깊이) 내에 있는 가능한 서브 마커들 중에서 매치를 찾는다. 따라서 비교의 수의 계산 복잡도는

가 된다. 여기서

는 다음 수학식과 같이 정의된다.

다만, 실제 구현에서는 중복되는 노드들을 동일한 메모리에 한번 저장하고 다른 노드에 의하여 참조되도록 함으로써 메모리의 비효율적 사용은 피할 수 있다.

도 3은 본 발명의 일 실시예에 따른 컬러 마커 인식 방법을 나타낸 흐름도이다.

도 3을 참조하면, 310단계에서 카메라로 컬러 마커를 촬영하여 이미지를 획득한다. 촬영된 이미지 프레임은 320단계에서 이진화(binarization)되어 바이너리 이미지로 변화된다. 피두셜 마커 시스템에서는 주로 심플 스레숄딩(simple thresholding) 또는 어댑티브 스레숄딩(adaptive thresholding) 기법이 바이너리 이미지 생성을 위해 주로 사용된다. 이들 두 스레숄딩 기법은 통상의 흑백 마커에서는 잘 동작하나 컬러 마커에서는 때로 문제를 일으킨다. 두 스레숄딩 기법을 적용한 결과의 예인 도 4의 (b)와 (c)에서 크로스 패턴의 일부분이 손실된다. 이는 컬러 이미지가 그레이 이미지로 변환될 때 픽셀 값 강도가 스레숄드 값을 초과하기 때문이다. 이러한 문제를 해결하기 위해 본 실시예에서는 R, G, 및 B 채널을 위한 세 바이너리 이미지를 독립적으로 생성하고 그들을 병합한다. 도 4의 (d)는 이러한 본 실시예에 따른 결과를 나타낸다.

330단계에서는 컬러 마커의 흑색 경계 영역, 컬러 패턴 영역들의 이미지 영역을 식별한다. 본 단계에서 컬러 패턴들이 존재하는 영역이 검출된다. 컬러 패턴들은 흑색 경계 영역 내부에서 연결된 컴포넌트들을 찾아냄으로써 검출될 수 있다.

340단계에서 컬러 마커의 이미지의 흑색 영역과 백색 영역의 컬러를 이용하여 컬러 마커의 컬러를 보정한다. 본 단계를 보다 상세히 설명하기에 앞서 컬러 마커 인식에 있어 문제가 되는 조명에 관하여 설명한다.

일반적으로, 카메라에 의해 획득되는 이미지는 세 가지 주요 인자들에 의존한다. 장면(scene)의 특성, 카메라의 특성, 그리고 장면(scene)에 입사되는 조명의 특성이다. 카메라의 특성은 픽셀 컬러의 노이즈를 유발하고 노이즈는 컬러 차이에 기초한 픽셀 분류를 어렵게 한다. 카메라의 특성이 이미지화된 픽셀 컬러 내의 노이즈를 유발하는 한편 조명은 장면 자체의 컬러 내의 변화를 유발한다. 예컨대, 이미지는 고온의 광원에 의해서 더 푸르스름하게(bluish) 되고, 저온의 광원에 의해서는 더 불그스름하게(redish) 된다. 픽셀 컬러 내의 노이즈와 조명에 의해 야기되는 컬러 변화는 모두 컬러 매칭 작업에서 중요한 문제이다.

사람의 시각 시스템은 컬러 항상성(color constancy)라 불리는 특징을 가지고 있다. 이를 통하여 사람은 대부분의 상황에서 여러 다른 조명 하에서 올바르게 컬러를 인식할 수 있다. 사람의 컬러 항상성과 대응하여 디지털 카메라는 화이트 밸런스라 불리는 기능을 가지고 있다. 일광, 텅스텐, 그리고 형광등과 같은 조명 조건에 따라서 이미지 내의 컬러를 보정하기 위해 적절한 프리셋(preset) 값이 사용된다.

이미지 내의 전체 픽셀들에 대하여 컬러 보정을 수행하는 여러 컴퓨터적인 컬러 항상성 알고리즘이 장면의 컬러를 정확하게 복원하기 위해 제안되어 왔다. 그러나 높은 계산적 복잡도를 가지는 컬러 항상성 알고리즘은 AR 어플리케이션에서 컬러 보정 작업에는 적합하지 않다. AR 어플리케이션에서는 실시간 처리가 요구되기 때문이다. 컬러 보정을 위한 컬러 프리셋 값을 사용할 수도 있지만 이 경우에는 조명 조건이 변화되면 제대로 동작하지 않게 된다. 게다가 일반적인 멀티 사용자 모바일 AR 시스템의 경우, 각 사용자의 카메라는 서로 다른 화이트 밸런스 설정을 가질 수 있다. 이러한 상황에서 각 사용자의 카메라에 대한 화이트 밸런싱 작업을 수행하는 것은 매우 번거롭고 많은 시간이 소요되는 작업이다.

따라서 본 340단계에서는 조명의 컬러들에 대한 어떤한 가정도 요구되지 않는 실시간 컬러 보정 방법을 사용한다. 이를 위하여 본 단계에서는 컬러 마커 이미지 내의 흑색 및 백색 영역의 컬러를 사용하여 RGB 컬러 공간에서 흑색 및 백색 포인트들을 추정한다. 그리고 추정된 흑색 및 백색 포인트들에 기초하여 각 컬러 채널을 보정한다. 이러한 컬러 보정 작업은 모든 마커 영역에서 독립적으로 수행된다. 즉, 본 단계에서 추정되는 것은 장면의 전역적 조명(global illumination)이 아니라 마커에 입사되는 지역적 조명(local illumination)이다. 따라서 한 이미지 내에서 두 마커가 다른 조명 하에 있더라도 두 마커에 대해 컬러 보정을 수행할 수 있다.

마커에 입사되는 지역적 조명을 추정하기 위해서 본 단계에서는 컬러 마커가 자체적으로 흑색 영역과 백색 영역을 모두 가진다는 점에 초점을 맞춘다. 예컨대 컬러 마커는 사각형의 경계 영역은 흑색이고 그 내부의 영역은 컬러 패턴을 제외하고 백색이다.

도 5는 본 340단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다. 이하 설명되는 실시예에서는 조명 변화의 대각(diagonal) 모델을 채용한다. 대각 모델에 의하면, 각 채널을 독립적으로 스케일링함으로써 어떤 조명 하에서 얻어진 이미지를 다른 조명 하에서 얻어지는 이미지로 매핑하는 것이 가능하다.

먼저, 510단계에서 연결 성분 분석(connected component analysis)에 기초하여 흑색 경계 영역

와 경계 안의 백색 영역

의 픽셀들을 찾는다. 이때 영역의 경계 상에서의 에러를 줄이기 위해서 검출된 영역들에 대하여 침식(erosion)이 수행될 수 있다.

흑색 및 백색 영역이 식별되면, 520단계에서 미지의 조명 하에서의 흑색 포인트의 컬러 채널 값

및 백색 포인트의 컬러 채널 값

를 추정한다. 여기서

및

는 영역

와

로부터 얻어지는 샘플들로부터 추정된다. 영역

와

내에서 픽셀 컬러가 가우시안 분포를 따른다고 가정하면, 영역

및

각각에 대하여 가우시안 모델

및

를 형성할 수 있다. 여기서

및

는 각각 상기 백색 영역의 컬러 채널 값의 평균 및 표준 편차를 나타낸다. 그리고

및

를 다음 수학식과 같이 정의한다.

여기서,

는

및

를 표준 편차 벡터에 기초하여 조절하기 위한 스케일링 벡터를 나타낸다. 따라서

를 (0,0,0)에 매핑하고

를 (255,255,255)에 매핑하는 스케일링 벡터

를 각각의 흑색 및 백색 영역에 대해 찾는 것이 컬러 보정을 위한 최적의

와

를 찾는 것이 된다. 컬러 보정은 각 채널을 독립적으로 스케일링함으로써 처리되기 때문에

,

, 및

각각이 R, G, B 채널에 대해 독립적으로 추정된다.

단일 채널을 고려할 때

를 그 채널 내의 픽셀 값 강도라 하고

을 컬러 보정 후의 픽셀 값 강도라 하자. 이상적으로는, 컬러 보정 후에

은 컬러 보정의 기준이 되는 픽셀 값 강도

와 동일해야 한다. 그러나 픽셀 컬러 상에는 노이즈가 존재하기 때문에

과

는 동일하지 않게 된다. 따라서

을

으로 매핑하는데 드는 비용(cost)

는 다음 수학식과 같이

와

간의 제곱 차이(squared difference)로 정의된다.

는 흑색 영역

에 대해서 0이고 백색 영역

에 대해서는 255이다. 영역

및

의 모든 픽셀들을 매핑하는데 드는 비용은 각각 다음 수학식과 같이 정의된다.

여기서,

및

는 각각 영역

및

내의 픽셀의 개수이고

및

는 상기 영역들의 픽셀 값 강도를 나타낸다. 매핑의 전체 비용은 다음 수학식과 같이

와

의 합으로 정의된다.

모든 채널들에 대한 비용을 계산하고 그들을 최소화함으로써, 백색 영역과 흑색 영역에 대해

,

, 및

를 추정하고 그에 상응하는

및

를 얻을 수 있다.

흑색 포인트의 컬러 채널 값과 백색 영역의 컬러 채널 값이 추정되면, 530단계에서 컬러 패턴의 픽셀들에 대해 컬러 보정을 수행한다. 이때 R, G, 및 B 채널이 독립적으로 보정된다. 컬러 패턴 내의 픽셀

에 대하여, 보정된 픽셀 컬러

는 추정된 흑색 포인트의 컬러 채널 값 및 백색 포인트의 컬러 채널 값으로부터 다음 수학식에 따라 계산된다.

마커 기반 AR 어플리케이션에서 몇 개의 마커를 사용할 때, 예를 들어 각 마커는 조광 조건 따라 다른 조명 하에 놓여질 수 있다. 이러한 상황에서 종래의 프리셋(preset) 화이트 밸런스 기법은 어떤 마커들에 관해서는 성공적으로 동작하지만 다른 마커들에게는 좋은 컬러 보정 결과를 제공하지 않을 수 있다. 하지만 본 실시예에 따르면 컬러 보정이 각 마커에 대하여 독립적으로 수행되기 때문에 다른 조명 조건을 가지는 마커들에 대하여 강건한 컬러 보정을 수행할 수 있다.

다시 도 3을 참조하면, 컬러 마커의 컬러가 보정된 후에 350단계에서 컬러 패턴을 분리한다. 컬러 분리 기법으로는 영역 기반 기법과 픽셀 기반 기법의 두 가지 기법이 있는데 픽셀 기반 기법이 컬러 분리 기법에서 널리 이용된다. 그러나 카메라 센서의 특성에 의해 유발되는 픽셀 컬러 상의 노이즈로 인하여 컬러 패턴의 어떤 픽셀들은 픽셀 기반 기법으로는 잘못 분류될 수가 있다. 본 실시예에서는 상기된 330단계를 통하여 이미지 내에서 동일한 컬러를 가지는 영역을 이미 알고 있기 때문에 영역 기반 분리 기법을 사용한다.

본 실시예에서는 컬러 마커의 모든 패턴 영역을, 추출하고자 하는 알려진 컬러와 비교한다. 만일 알려진 컬러와 대상 패턴 영역의 평균 컬러 간의 차이가 소정 임계값보다 작으면 그 영역 내의 모든 픽셀들을 분리해 낸다. 정규화된 컬러 공간이 조명 변화에 강건하므로, 알려진 컬러와 영역의 컬러 간의 비교는 정규화된 RGB 컬러 모델을 이용하여 수행한다. 먼저 픽셀 컬러

를 정규화된 RGB 컬러 공간 내에서 다음 수학식과 같이

로 변환한다.

그리고 k번째 컬러 패턴 영역

에 대하여 모든 컬러 채널에 대한 평균

와 표준편차

를 계산한다. 그리고 이미 알려진 컬러

와 평균 컬러

의 차이를 각 채널마다 계산한다. 만일 다음 수학식과 같이 모든 채널에서 상기 차이가 소정 임계값보다 작다면 영역

는 컬러

와 동일한 컬러를 가진 것으로 간주되고 이미지로부터 분리된다.

다만 각 이미지 프레임 내에서 영역

의 픽셀 컬러는 변화하기 때문에 임계값을 일정한 값으로 설정하는 것은 바람직하지 않을 수 있다. 또한 일반적인 상황에서 양호한 분리 결과를 보여 주는 최적의 임계값을 찾는 것은 쉽지 않다. 따라서 본 실시예에서는, 존재하는 이미지 노이즈가 존재할 때 제한된 범위 내에서 픽 셀 컬러가 변화한다는 가정 하에 영역

의 컬러 통계치(statistics)로부터 결정한다. 예컨대 각 채널의 임계값은 영역 내의 컬러 값의 표준편차가 스케일된 값으로서, 다음 수학식과 같이 결정된다.

여기서,

는 각 채널에서 허락하는 다름의 정도를 조정하기 위한 스케일 인자이다. 이와 같이 각 채널의 임계값은 영역

의 컬러 분포에 따라서 적응적으로 결정된다. 스케일 인자

는 수동적으로 미리 결정된다. 실험 결과에 의하면 대부분의 케이스에서 적당한 결과를 얻기 위해서는

가 4 내지 6의 범위를 가짐을 확인할 수 있었다.

마커 인식에서 요구되는 것은 마커 매칭을 위한 전체 영역이므로 영역 기반 분리 기법은 픽셀 기반 분리 기법보다 강건하다. 도 6의 (a)는 컬러 마커를, (b)는 픽셀 기반 분리 기법에 의해 분리된 결과를, (c)는 본 실시예에 따른 영역 기반 분리 기법에 의해 분리된 결과를 나타낸다. 도 6을 참조하면, 픽셀 기반 분리 기법은 패턴 영역 내의 픽셀들 상에 에러를 가지고 있는 반면 본 실시예에 따르면 양호한 분리 결과가 나타남을 확인할 수 있다.

이제, 마지막으로 360단계에서는 350단계에서 컬러 패턴이 분리된 이미지를 가지고 이들을 결합하여 서브 마커를 추출한다. 즉, 분리된 컬러 패턴 영역들과 컬 러 마커의 경계 영역을 병합함으로써 서브 마커가 생성된다.

도 7은 네 가지 조명 하에서 상술한 실시예에 따른 컬러 보정의 결과를 나타낸다. 도 7에서 상측 행은 서로 다른 조명 하의 마커 이미지를, 하측 행은 상술한 실시예에 따른 컬러 보정 후의 이미지를 나타낸다. 여기서 마커 이미지는 다른 조명 조건을 얻기 위해 서로 다른 화이트 밸런스 설정을 가지는 디지털 카메라에 의해 캡쳐된 이미지이다. 도 7을 참조하면, 컬러 보정 전에는 마커들의 패턴들이 조명에 따라서 변화함을 확인할 수 있다. 가장 좌측 열의 이미지는 거의 정확한 화이트 밸런스를 가지는 반면에 다른 세 이미지들은 보다 reddish, bluish, 및 greenish 컬러를 가진다. 상술한 실시예에 따른 컬러 보정 후에 마커 영역의 흑색 경계 영역 컬러 및 그 내부의 백색 컬러는 실제 흑색 및 백색에 더 가깝게 개선되었음을 확인할 수 있다. 또한 경계 내의 패턴의 컬러 역시 실제 컬러에 더 가깝게 개선되었음을 알 수 있다.

한편, 마커가 랜덤하게 움직일 수 있기 때문에 동일한 조명 하에서도 조명 조건이 달라질 수 있다. 이미지 획득 동안에 패턴이 랜덤하게 움직이고 마커에 입사되는 빛의 세기가 패턴의 움직임에 따라 변하기 때문이다. 상술한 실시예에 따른 컬러 보정을 적용하면 이미지 시퀀스에서 움직이는 마커에 대해서 패턴의 컬러들이 일관되게 복원될 수 있다.

도 8은 상술한 실시예에 따른, 세 컬러 패턴을 가지는 마커들에 대한 서브 마커 추출 결과를 나타낸다. 도 8에서 가장 좌측 열은 입력 이미지 프레임을, 그리고 나머지 세 열은 추출된 서브 마커를 나타낸다.

도 9는 본 발명의 일 실시예에 따른 컬러 마커 인식 장치의 블록도를 나타낸다. 도 9를 참조하면, 본 실시예에 따른 컬러 마커 인식 장치는 이미지 획득부(10), 이진화부(20), 영역 검출부(30), 컬러 보정부(40), 그리고 서브 마커 추출부(50)를 포함하여 이루어진다.

이미지 획득부(10)는 상술한 컬러 마커를 활영하여 컬러 마커 이미지를 획득한다.

이진화부(20)는 컬러 마커 이미지를 이진화한다. 이진화부(20)의 구체적인 동작은 상기 도 3의 320단계에 관련된 설명과 동일하므로 구체적인 설명은 생략한다.

영역 검출부(30)는 이진화된 이미지로부터 컬러 마커의 흑색 경계 영역, 컬러 패턴 영역들의 이미지 영역을 식별하고 컬러 패턴이 존재하는 영역을 검출한다. 영역 검출부(30)의 구체적인 동작은 도 3의 330단계에 관련된 설명과 동일하므로 구체적인 설명은 생략한다.

컬러 보정부(40)는 조명에 대한 컬러 보정을 수행하는데, 컬러 마커 이미지의 흑색 영역과 백색 영역의 컬러를 이용하여 컬러 마커의 컬러를 보정한다. 이때 흑색 영역의 컬러 채널 값과 백색 영역의 컬러 채널 값을 추정하고, 이 값들을 이용하여 각 컬러 채널에 대한 컬러 패턴의 픽셀 컬러를 보정한다. 컬러 보정부(30)의 구체적인 동작은 도 3의 340단계에 관련된 설명과 동일하므로 구체적인 설명은 생략한다.

서브 마커 추출부(40)는 컬러 패턴이 가지는 컬러 패턴이 가지는 컬러를 이 용하여 컬러 패턴을 분리하고, 분리된 컬러 패턴을 가지고 서브 마커를 추출한다. 컬러 패턴 분리시에 서브 마커 추출부(40)는 컬러 패턴이 가지는 컬러를 미리 알려진 컬러와 비교하여 그 비교 결과에 따라서 컬러 패턴을 분리한다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 컬러 마커의 컨셉을 설명하기 위한 참고도이다.

도 2는 컬러 마커와 서브 마커 저장을 위한 트리 구조의 예로서 세 개의 컬러 패턴을 가지는 경우를 나타낸다.

도 4는 이진화를 위해 심플 스레숄딩 기법과 어댑티브 스레숄딩 기법을 적용한 결과의 예를 나타낸다.

도 5는 도 3의 340단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다.

도 6의 픽셀 기반 분리 기법에 의해 컬러 패턴을 분리한 결과와 본 발명의 일 실시예에 따라 컬러 패턴을 분리한 결과를 나타낸다.

도 7은 네 가지 조명 하에서 본 발명의 일 실시예에 따른 컬러 보정의 결과를 나타낸다.

도 8은 본 발명의 일 실시예에 따른, 세 컬러 패턴을 가지는 마커들에 대한 서브 마커 추출 결과를 나타낸다.

도 9는 본 발명의 일 실시예에 따른 컬러 마커 인식 장치의 블록도를 나타낸다.

Claims

컬러 마커 인식 방법에 있어서,

서로 다른 컬러를 가지는 복수 개의 컬러 패턴들 및 상기 컬러 패턴들의 배경으로서 흑색 영역과 백색 영역을 포함하는 복수 개의 컬러 마커를 촬영하여 이미지를 획득하는 단계;

상기 획득된 이미지로부터 상기 컬러 패턴들이 존재하는 영역을 검출하는 단계;

컬러 마커 별로 독립적으로, 상기 획득된 이미지의 상기 컬러 마커의 흑색 영역과 백색 영역의 컬러를 이용하여 상기 컬러 마커의 컬러를 보정하는 단계; 및

상기 컬러 패턴들 중 적어도 하나의 컬러 패턴을 가지는 서브 마커를 추출하는 단계를 포함하고,

상기 컬러 마커의 컬러를 보정하는 단계는,

(a) 상기 흑색 영역의 컬러 채널 값과 상기 백색 영역의 컬러 채널 값을 추정하는 단계; 및

(b) 상기 추정된 컬러 채널 값들을 이용하여 각 컬러 채널에 대한 상기 컬러 패턴의 픽셀 컬러를 보정하는 단계를 포함하는 것을 특징으로 하는 컬러 마커 인식 방법.
삭제
삭제
삭제
제1항에 있어서,

상기 (a) 단계는,

R, G, 및 B 채널에 대하여 상기 흑색 영역의 포인트의 컬러 채널 값
및 상기 백색 영역의 컬러 포인트의 컬러 채널 값
을 를 추정하되, 상기 흑색 영역과 백색 영역의 가우시안 모델
및
를 형성하고 다음 수학식을 만족시키는 스케일링 벡터
를 결정함으로써 상기 흑색 영역의 포인트의 컬러 채널 값과 상기 백색 영역의 컬러 채널 값을 추정하는 것을 특징으로 하는 컬러 마커 인식 방법.

여기서,
및
는 각각 상기 흑색 영역의 컬러 채널 값의 평균 및 표준편차를,
및
는 각각 상기 백색 영역의 컬러 채널 값의 평균 및 표준 편차를 나타낸다.
제5항에 있어서,

상기 (a) 단계에서 상기
의 결정은, 상기
를 요구되는 픽셀 값 강도에 매핑하고 상기
를 요구되는 픽셀 값 강도에 매핑하는데 드는 비용을 최소화하는 스케일링 벡터
를 찾음으로써 결정하는 것을 특징으로 하는 컬러 마커 인식 방법.
제5항에 있어서,

상기 (b) 단계는,

컬러 패턴의 픽셀 컬러
에 대하여, 보정된 픽셀 컬러
는 다음 수학식에 따라 계산되는 것을 특징을 하는 컬러 마커 인식 방법.
제1항에 있어서,

상기 획득된 이미지를 이진화하는 단계를 더 포함하고,

상기 컬러 패턴들이 존재하는 영역을 검출하는 단계는 상기 이진화된 이미지로부터 상기 영역을 검출하는 것을 특징으로 하는 컬러 마커 인식 방법.
제1항에 있어서,

상기 서브 마커를 추출하는 단계는,

상기 컬러 패턴이 가지는 컬러를 이용하여 상기 컬러 패턴을 분리하는 단계; 및

상기 분리된 컬러 패턴을 가지고 상기 서브 마커를 추출하는 단계를 포함하는 것을 특징으로 하는 컬러 마커 인식 방법.
제9항에 있어서,

상기 컬러 패턴을 분리하는 단계는,

상기 컬러 패턴이 가지는 컬러를 미리 알려진 컬러와 비교하여 그 비교 결과에 따라서 상기 컬러 패턴을 분리하는 것을 특징으로 하는 컬러 마커 인식 방법.
제10항에 있어서,

상기 컬러 패턴을 분리하는 단계는,

상기 컬러 패턴의 영역의 평균 컬러와 상기 미리 알려진 컬러 간의 차이가 임계값보다 작은 경우 상기 컬러 패턴의 영역 내의 모든 픽셀들을 분리함으로써 상 기 컬러 패턴을 분리하는 것을 특징으로 하는 컬러 마커 인식 방법.
제10항에 있어서,

상기 컬러 패턴이 가지는 컬러와 상기 미리 알려진 컬러와의 비교는 정규화된 컬러 모델을 이용하는 것을 특징으로 하는 컬러 마커 인식 방법.
제11항에 있어서,

상기 컬러 패턴을 분리하는 단계는,

상기 컬러 패턴의 영역에 대하여 모든 컬러 채널에 대한 컬러 값의 평균과 표준편차를 계산하고 각 컬러 채널마다 상기 차이를 계산한 후, 각 컬러 채널마다 상기 차이와 상기 임계값을 비교하는 것을 특징으로 하는 컬러 마커 인식 방법.
제13항에 있어서,

상기 임계값은 상기 컬러 패턴의 영역 내의 컬러 값의 통계치로부터 결정되는 것을 특징으로 하는 컬러 마커 인식 방법.
제14항에 있어서,

상기 임계값은 상기 컬러 패턴의 영역 내의 컬러 값의 표준편차가 스케일된 값으로 결정되는 것을 특징으로 하는 컬러 마커 인식 방법.
제1항 및 제5항 내지 제15항 중 어느 한 항에 기재된 컬러 마커 인식 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
컬러 마커 인식 장치에 있어서,

서로 다른 컬러를 가지는 복수 개의 컬러 패턴들 및 상기 컬러 패턴들의 배경으로서 흑색 영역과 백색 영역을 포함하는 복수 개의 컬러 마커를 촬영하여 이미지를 획득하는 이미지 획득부;

상기 획득된 이미지로부터 상기 컬러 패턴들이 존재하는 영역을 검출하는 영역 검출부;

컬러 마커 별로 독립적으로, 상기 획득된 이미지의 상기 컬러 마커의 흑색 영역과 백색 영역의 컬러를 이용하여 상기 컬러 마커의 컬러를 보정하는 컬러 보정부; 및

상기 컬러 패턴들 중 적어도 하나의 컬러 패턴을 가지는 서브 마커를 추출하는 서브 마커 추출부를 포함하고,

상기 컬러 보정부는, 상기 흑색 영역의 컬러 채널 값과 상기 백색 영역의 컬러 채널 값을 추정하고, 상기 추정된 컬러 채널 값들을 이용하여 각 컬러 채널에 대한 상기 컬러 패턴의 픽셀 컬러를 보정하는 것을 특징으로 하는 컬러 마커 인식 장치.
삭제
삭제
삭제
제17항에 있어서,

상기 획득된 이미지를 이진화하는 이진화부를 더 포함하고,

상기 영역 검출부는 상기 이진화된 이미지로부터 상기 영역을 검출하는 것을 특징으로 하는 컬러 마커 인식 장치.
제17항에 있어서,

상기 서브 마커 추출부는, 상기 컬러 패턴이 가지는 컬러를 이용하여 상기 컬러 패턴을 분리하고, 상기 분리된 컬러 패턴을 가지고 상기 서브 마커를 추출하는 것을 특징으로 하는 컬러 마커 인식 장치.
제22항에 있어서,

상기 서브 마커 추출부는, 상기 컬러 패턴이 가지는 컬러를 미리 알려진 컬러와 비교하여 그 비교 결과에 따라서 상기 컬러 패턴을 분리하는 것을 특징으로 하는 컬러 마커 인식 장치.