KR20190098996A

KR20190098996A - 원거리 고밀도 시각적 마커의 검출 및 인식 방법

Info

Publication number: KR20190098996A
Application number: KR1020197019785A
Authority: KR
Inventors: 후안 마뉴엘 사에즈 마르티네즈; 프란시스코 에스콜라노 루이즈; 미구엘 앙겔 로자노 오르테가; 하비에르 피타 로자노
Original assignee: 유니베르시다드 데 알리칸테
Priority date: 2016-12-20
Filing date: 2017-03-03
Publication date: 2019-08-23
Also published as: MA47132A; IL267201B; JP6856956B2; EP3561729A1; US10956799B2; MX2019006764A; ES2616146A1; EP3561729A4; AU2017380263B2; BR112019012244A8; JP2020507831A; CN110114781B; DK3561729T3; IL267201A; ES2616146B2; AU2017380263A1; EP3561729B1; KR102375325B1; BR112019012244A2; RU2729399C1

Abstract

본 발명의 제안은 원거리, 고밀도 시각적 마커(마커 디자인 및 검출 방법)의 완전한 시스템에 관한 것이다. 이러한 구성에서, 원거리 마커에 대한 종래의 위치 결정 시스템이 사용된다. 그러므로 본 발명의 제안은 정보를 코딩하는 시스템에 중점을 두며, 이는 이 경우에 4가지 상태를 갖는 색상 기반 코드이며, 기존의 흑백 시스템과 관련하여 코드 밀도를 2배로 한다. 더욱이, 본 검출 방법은 매우 적은 계산 자원을 필요로 하므로 매우 효율적이며 특히 모바일 장치에 적합하다. 이러한 기술의 성공은, 상당 부분, 색상 처리를 위해 제안된 방법에 기반한다.

Description

원거리 고밀도 시각적 마커의 검출 및 인식 방법

본 발명의 목적은 원거리, 고밀도 시각적 마커(visual markers)의 효율적인 시스템이다. 본 발명은 시각 장애인을 위한 가이드로 사용하기 위한 목적의, 새로운 타입의 시각적 마커 및 모바일 장치의 카메라를 사용하여 이를 검출하고 인식하는 방법을 제시한다.

인공 마커(artificial marker)는 현장(scene)에 의도적으로 도입되어 이에 레이블을 붙이거나 신호를 보내기 위해 어떤 유형의 정보를 포함하는 요소이다. 휴대용 전자 장치(예: 스마트폰 또는 태블릿)의 디지털 카메라를 통해 그 정보가 캡처되고 해석되도록 마커가 구성되면, 이러한 마커를 "시각적 마커"라고 한다. 바코드와 같은 다른 1 차원 마커와 달리, 시각적 마커는 일반적으로 2 차원 형식으로 정보를 제공한다.

시각적 마커가 많은 양의 정보를 보유하도록 계획되면 이를 고밀도 마커(dense marker)라고 한다. 상기 정보를 보유하기 위해, 고밀도 마커(dense marker)는 일반적으로 다수의 시각적 요소로 구성된다. 이는, 정확한 판독 값을 얻기 위해서는 이미지가 선명(sharp)하고 잘 조명되며 대상에 충분히 근접(일반적으로 20~50cm)해야 한다는 것을 의미한다. 즉, 이들 마커는 예를 들면 특히 불량한 조명 영역, 갑작스런 카메라 이동으로 인한 흔들림(blurring)과 같은 불리한 광학 조건 또는 원거리에서 캡처하는 데 적합하지 않다. 이러한 마커의 그룹은 QR 코드(http://www.qrcode.com) 또는 데이터매트릭스(Datamatrix) 시스템[R.　스티븐슨(Stevenson), "인쇄회로기판 상의 레이저 마킹 매트릭스 코드(Laser Marking Matrix Codes on PCBs )", 인쇄 회로 설계 및 제조(Printed Circuit Design and Manufacture), 2007년]과 같은 많은 일상적인 예를 포함한다. 이들 코드는 일반적으로 이색성(dichromatic), 즉 흑백의 요소로 구성되어 있지만, 소위 HCCB(고용량 컬러 바코드), 마이크로소프트에서 개발한 2 차원 컬러 마커[D.　파리크(Parikh), G. 잔케(Jancke), "2D 고용량 컬러 바코드의 국지화 및 세분화(Localization and segmentation of a 2D high capacity colour barcode)", 컴퓨터 비전의 IEEE 응용(IEEE Applications of Computer Vision), 2008년]와 같이 예외적인 것들도 있다. 이 마지막 경우에, 색상이 더 고밀도 정보를 제공하지만, 사용자는 알고리즘이 올바르게 마커를 캡처할 수 있도록 이미지 영역에 마커를 정확하게 중심맞춤 시켜야만 하므로, 이 역시 코드를 읽게 되는 경우에 더 큰 어려움의 원인이 된다.

나아가, 종래 기술에는 신속하게 그리고 원거리, 통상적으로 5 내지 7 미터에서 그리고 상이한 조명 조건에서 캡쳐되도록 고안되었던 "원거리 마커"도 있다. 이러한 원거리 마커는 증강 현실 어플리케이션에서 매우 널리 알려져 있지만, 랜드마크(landmarks)에 의해서, 모바일 로봇공학(mobile robotics)과 같은 다른 상황에서도 사용된다. 정보가 추가될 때 마커의 형상이 더욱 복잡해져서 원거리로부터 이를 탐지하는 것에 심각하게 악영향을 미치므로, 통상적으로 이러한 유형의 마커는 고밀도 마커보다 훨씬 적은 정보를 보유한다.

종래 기술에서는, 주로 3 종류의 원거리 마커가 알려져 있다. [H. 카토(Kato), M. 빌링허스트(Billinghurst), "비디오 기반 증강 현실 회의 시스템을 위한 마커 추적 및 hmd 보정(Marker tracking and hmd calibration for a video-based augmented reality conferencing system)", IEEE 및 ACM 증강 현실 국제 워크샵(IWAR), 1999년 10월] 및 [H. 카토(Kato), "ARToolKit: 시각 기반 증강 현실을 위한 라이브러리(library for Vision-Based augmented reality)", 전자 정보 통신 학회 기술 보고서(Institute of Electronics, Information and Communication Engineers Technical Report), 2002년]에 설명되어 있는 바와 같이, ARToolkit은 가장 널리 알려져 있으며 증강 현실 어플리케이션에서 사용된다. 이들 마커는 두 개의 마커를 구별하는 데 사용되는, 흑색과 백색의 도면을 포함하는 백색 배경 상의 흑색 프레임으로 구성된다. 마커 사이의 이러한 구분은 그리 효과적이지 않으며, 많은 마커를 다른 마커와 구별하기 위해서가 아니라 마커를 현장(scene)의 임의의 다른 검은 프레임과 구별하기 위해 기본적으로 적용된다. 따라서 기본적으로 단일 마커를 갖는 응용 프로그램으로 제한된다. 이러한 유형의 마커의 개발은, 예를 들어 [E.　올슨(Olson), "AprilTag: 견고하고 유연한 시각 기점 시스템(A robust and flexible visual fiducial system)", IEEE 국제 로봇 및 자동화 회의(ICRA), 2011년] 및 [S.　가리도(Garrido), R. 무네즈(Munoz), FJ 마드리드(Madrid), MJ 마린(Marin), "폐색(occlusion) 하에서 고도로 신뢰할 수 있는 기점 마커의 자동 생성 및 검출", 패턴 인식, 2014년] 등에 정보를 통합하는 시스템을 초래하였다.

이들 경우의 마커 위치 시스템은 동일하며, 즉 백색 배경의 흑색 프레임이며, 이들은 기본적으로 정보를 저장하는 데 사용되는 코딩에 따라 다르다. 첫 번째 시스템은 6x6 2색성 요소 그리드를 사용한다. 이들 36개 요소는 대칭과 모호성을 배제할 수 있게 하고 500개의 다른 코드를 생성하는 에러 검출/수정 코드 및 메시지 모두를 포함하는 바이너리 코드를 호스트한다. 두 번째 시스템은 더 작은 그리드(5x5)를 사용하고 해밍(Hamming) 코드의 변형을 적용하여 10 비트의 정보(1024개 조합)를 얻을 수 있게 하고 나머지는 에러 검출/수정 코드로 채운다.

본 발명에 의해 해결되는 기술적인 문제점은 모든 상이한 유형의 마커 중에서 원거리로부터 마커를 검출할 수 있게 함과 동시에 충분한 양의 정보를 보유하는 중간 시스템이 없다는 사실에 있다.

현재의 시각적 마커는 모바일 장치의 카메라를 통해 캡처할 수 있는 주변 지역에 대한 정보를 제공하기 때문에 매우 유용한다;　그러나 이들이 전적으로 시각 장애인에게 유용하지는 않다: 유용한 마커는 시각 장애인에게 중요한 어려움을 부과하는 카메라 프레이밍(framing)을 필요로 하며, 원거리 마커는, 예를 들어, 공항에 있는 표시나 슈퍼마켓에 있는 가격표와 같이 정보량 측면에서 매우 제한적이다.

이는 시각 장애인용 어플리케이션 프레임워크(framework)에서 모바일 장치용 인공 마커 시스템을 생성하기 위한 첫 번째 시도는 아니다. [J.　커플란(Coughlan), R. 만두치(Manduchi), M. 무쯔자키(Mutsuzaki), H. 쉔(Shen), "색 타겟 검출을 위한 신속하고 견고한 알고리즘(Rapid and Robust Algorithms for Detecting Colour Targets)", 국제 색채 협회 총회(Congress of the International Colour Association), 스페인, 2005년 5월]에는, 이러한 그룹을 위한 모바일 어플리케이션 전용으로 제안된 마커 모델이 개시되어 있다. 이 경우에, 이는 정보를 보유하지 않는 단일 마커 모델이며 그 어플리케이션을 크게 제한한다.

본 발명의 목적은 시각 장애인의 안내와 관련된 모바일 장치용 하이브리드(원거리, 고밀도) 시각적 마커다. 본 발명은 각 패밀리의 제일 좋은 점, 즉 충분한 양의 정보를 수용하고, 상이한 조명 조건 및 적당한 거리에서 효율적인 방식으로 검출될 수 있다는 점을 합치는 방법을 제안한다.

본 발명의 마커 대상은 [E.　올슨(Olson), "AprilTag: 견고하고 유연한 시각 기점 시스템(A robust and flexible visual fiducial system)", IEEE 국제 로봇 및 자동화 회의(ICRA), 2011년] 및 [S.　가리도(Garrido), R. 무네즈(Munoz), FJ 마드리드(Madrid), MJ 마린(Marin), "폐색(occlusion) 하에서 고도로 신뢰할 수 있는 기점 마커의 자동 생성 및 검출", 패턴 인식, 2014년]에 기재된 것과 같은 일부 원거리 마커와 구조적 유사성을 공유한다.

이 의미에서, 이는 원거리 마커의 패밀리에서 널리 사용되는 동일한 위치 시스템(백색 바탕에 흑색 프레임)을 가지고 있다. 데이터를 포함하는 그리드는 상기 프레임에 내에 수용될 것이다.

그럼에도 불구하고, 본 발명에서 제안된 마커와 종래 기술에서 알려진 마커 사이의 기본적인 차이점은, 그리드가 4개의 상태(4개의 톤)를 갖는 요소로 구성되는 반면, 이전에 설명된 방법은 2개의 상태(흑색과 백색)를 갖는 그리드를 사용한다는 점이다. 이러한 특징의 결과로서, 동일한 그리드 크기가 주어진다면, 본 발명의 마커 모델 객체는 코드 밀도의 2배로 작동한다.

따라서, 코드가 n개의 요소를 갖는다면, 본 발명의 마커는 두 개의 상태를 갖는 마커의 2ⁿ개의 조합과 비교하여 4ⁿ개의 조합을 처리한다. 이 차이는 마커 요소의 해상도를 변경시키지 않으므로, 마커는 원거리 마커로서의 그 특징을 유지하지만 훨씬 더 높은 코드 밀도를 가진다.

본 발명은, 마커 디자인이 각각의 마커에 의해 사용되는 컬러 팔레트를 포함하기 때문에, 반드시 4가지 특정 컬러가 아니라, 4가지 컬러의 임의의 조합에 대해 정의된다. 그럼에도 불구하고, 팔레트에 대해 선택된 4가지 톤이 임의의 4가지 톤이 될 수 있지만, 모호함을 방지하고 이로써 마커의 판독을 향상시키기 위해 이들 4가지 톤은 서로 구별될 수 있어야 한다. 따라서, 본 발명의 바람직한 실시예는 RGB(적색, 녹색, 청색) 색 공간에 의해 정의된 입방체의 4개의 최외곽 코너에 대응하는 CMYK(청록색(cyan), 마젠타색(magenta), 노란색, 흑색) 조합이다.

그리드에서 다음 요소를 찾을 수 있다:

(a) 팔레트는 그리드의 4개의 코너에 포함된다. 즉, 그리드의 각 코너에는 컬러 팔레트의 기본 색상이 있어서, 예를 들어, CMYK 조합의 경우, 각 코너에 하나의 색상(첫 번째 코너에는 청록색, 두 번째 코너에는 마젠타색, 세 번째 코너에는 노란색, 네 번째 코너에는 흑색)이 있게 된다. 마커를 회전에 대해 변하지 않게 하면, 가장 어두운 요소는 항상 팔레트의 마지막 값이 되는 것으로 여겨진다. 팔레트의 도입은 마커의 색상을 식별하는 문제를 해결하여 색상의 저하 효과를 방지하는데, 이는 일단 추출되면 각 색상의 참조가 얻어지고 색상 근접성 기준에 의해 데이터 그리드의 나머지를 라벨링하는데 사용될 수 있기 때문이다.

(b) 중심 요소는 네 가지 가능한 크기(5x5, 7x7, 9x9, 11x11) 중에서 격자 크기를 결정한다. 크기의 선택은 각 어플리케이션의 필요에 따라 달라질 것이다.

(c) 중심 셀을 제외한 중앙 행과 열은 CRC(Cyclic Redundancy Check)를 정의한다. CRC는 메시지로부터 계산되어 마커에 포함된다. 마커를 검출하는 단계에서, 메시지가 추출되고, CRC가 재 계산되어 마커를 수반하는 것과 비교되어 메시지의 완전성(integrity)을 검증한다.

(d) 나머지 요소는 메시지 전용이다. 일단 마커 디자인이 본 발명에 따라 결정되면, 디지털 이미지에서 이를 검출 및 인식하는 방법은 다음 단계를 포함한다:

(i) 흑백 프레임을 검출하여, 그 코너의 좌표를 위치 결정하는 단계. 이 첫 번째 단계에 있어서, 프레임 검출 알고리즘이 이미지 상에 적용되어 제1 후보 세트를 검출한다. 종래 기술은 이 문제에 접근하는 복수의 알고리즘을 기술한다. 그럼에도 불구하고, 특정 실시예는 [S.　가리도(Garrido), R. 무네즈(Munoz), FJ 마드리드(Madrid), MJ 마린(Marin), "폐색(occlusion) 하에서 고도로 신뢰할 수 있는 기점 마커의 자동 생성 및 검출", 패턴 인식, 2014년]에 기술된 알고리즘을 제안하지만, 임의의 다른 방법이 동일한 목적으로 사용될 수도 있다.

(ii) 각 셀의 중심의 좌표와 함께, 쌍선형 보간법(bilinear interpolation)에 의해 각각의 검출된 프레임으로부터 그리드를 얻고, 또한 흑백 프레임의 박스를 고려하는 단계.

(iii) 각 셀의 색상을 얻는 단계. 상기 중심이 실제 좌표에 있고 이미지가 이산 좌표로 주어지면, 상기 값을 얻기 위해 4-이웃 점(4-neighbour point) 쌍선형 보간법이 수행된다.

(iv) 기준 백색 및 기준 흑색을 얻기 위한 흑백 프레임의 색상의 산술 평균을 계산하는 단계.

(v) 화이트 밸런스를 설정함으로써 이전 단계에서 얻은 기준 흑색 및 백색으로부터 각각의 셀의 색상을 표준화하는 단계.

(vi) 가장 어두운 코너가 반드시 팔레트의 마지막 위치에 있어야 한다는 점을 고려하여 마커의 배향을 수정하는 단계.

(vii) 코너로부터 팔레트를 획득하고 각 셀에 상응하는 팔레트의 값을 표시하는 마커를 라벨링하는 단계.

(viii) 중앙 레이블이 예상한 것인가를 분석하여 마커가 원하는 패밀리에 속하는지 확인하는 단계(본 방법은 어플리케이션에서 정의한 특정 크기의 마커를 검색하도록 구성되어 있고, 따라서 이 단계는 현장에 포함될 수 있는 임의의 다른 크기의 마커를 제외하는 데 필요하다). 알고리즘이 기술될 때 특정 크기에 대해 런칭된다는 것이 반드시 고려되어야 한다. 예를 들어 횡단 보도 신호 어플리케이션은 적은 조합수(combinatorics)를 가지는 5x5 크기를 사용하겠지만, 슈퍼마켓 제품 라벨링 어플리케이션은 7x7 크기를 사용할 것이다. 각각의 어플리케이션은 오직 한가지 유형의 마커만 검출할 수 있다.

(ix) 메시지와 CRC를 구성하는 단계.

(x) 메시지의 완전성을 검증하고, 이로부터 CRC를 다시 계산하여 이를 코드에서 판독한 CRC와 비교하는 단계.

본 발명의 제1 목적은 고밀도 및 원거리를 결합함으로써, 이들 두 특징이 동시에 제공되지 않기 때문에 기존 시스템이 가지고 있던 어려움을 극복하고자 하는 것이다.

본 발명의 제2 목적은 스마트 폰과 같이 낮은 계산 용량을 갖는 장치 상에서 매우 효율적인 방식으로 마커를 검출할 수 있게 하는, 낮은 계산 복잡도를 갖는 방법을 구축하는 것이다.

본 발명의 제3 목적은 팔레트 및 화이트 밸런스를 포함시킴으로써 견고한 색상 처리를 수행하여, 시각적 마커의 검출에서 본 발명의 견고성을 향상시키는 것이다.

전술한 내용은 본 명세서에 포함된 독립 청구항에 따른다. 본 발명의 특정 실시예는 독립 청구항에 종속하는 청구항에 표시되며, 이들 모두는 이 섹션에 참조에 의해 병합된다.

명세서 및 청구범위 전체에 걸쳐 "포함한다(comprises)"라는 단어 및 그의 변형은 다른 기술적인 특징, 추가, 구성 요소 또는 단계를 배제하고자 하는 것이 아니다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어서, 본 발명의 다른 목적, 이점 및 특징은 부분적으로는 명세서로부터 그리고 부분적으로는 본 발명을 실시함으로써 유추될 것이다. 하기 실시예 및 도면은 예시로서 제공되며 본 발명을 제한하고자 하는 것은 아니다. 또한, 본 발명은 본 명세서에서 표시한 특정 및 바람직한 실시예의 모든 가능한 조합을 커버한다.

본 발명을 더 나은 이해에 도움이 되고, 본 발명의 비 제한적인 예로서 제시된 상기 본 발명의 실시예와 명백히 관련되는 일련의 도면이 이하에서 매우 간략하게 설명된다.
도 1은 제안된 마커의 다이어그램을 도시하는데, 여기서는 위치 프레임(1) 및 (이 실제 실시예에서는 5x5의, 각 셀의 색상, 즉 청록색, 마젠타색, 노란색 및 흑색을 각각 나타내는 문자 C, M, Y, K로 라벨링된) 데이터를 보유하는 N x N 요소(2)의 그리드를 볼 수 있다. 그리드의 요소와 위치 프레임은 모두 동일한 크기와 정사각형 모양을 가지므로, 그리드(3)의 셀의 측면 크기를 l로 하면, 마커(4)의 총 면적은 (l(N + 4))² 이 된다.
도 2는, P3를 결정하는 가장 낮은 휘도(CMYK의 경우에는 흑색)를 갖는 요소와 관련하여 그리고 시계 방향 순서로 데이터 그리드의 코너에 위치하는, 실제 마커에 팔레트

를 포함시키는 것을 도시한다. 마커 S의 유형은 그 크기 N을 결정하고 그리드의 중앙 셀에 배치된다.
도 3은 정의된 4가지 크기의 마커의 예를 보여준다. 아래에서부터 위로: 5x5, 7x7, 9x9, 11x11. CMYK 팔레트가 사용되었으므로, 그리드의 중앙 요소는 5x5 크기의 청록색 값, 7x7 크기의 마젠타색, 9x9 크기의 노란색 및 11x11 크기의 흑색 값을 취한다.
도 4는 원본 이미지(도 4의 왼쪽)를 도시한다. 프레임 검출 알고리즘을 적용함으로써, 위치 프레임을 정의하는 4개의 코너(도 4의 중앙)가 얻어진다. 프레임의 좌표로부터, (도 4의 오른쪽 상의) 정보 셀과 프레임 모두를 커버하는, (N + 4) x (N + 4) 좌표를 갖는 그리드가 얻어진다.
도 5는 시각 장애인을 위한 시각적 마커의 몇 가지 어플리케이션, 즉, 제품 라벨링(왼쪽)과 도심 상황의 신호(오른쪽)를 도시한다.

제안된 마커 디자인은, 도 1에 가장 잘 나타나 있듯이, 흑색 프레임 내부에 최대 4개의 색상을 취할 수 있는 N x N 요소의 그리드를 기초로 하며, 흑색 프레임은 계속해서 백색 프레임 내부에 위치하게 된다. 알 수 있듯이, 데이터 그리드의 셀의 측면(l)의 크기는 위치 프레임의 너비, 그리고 이에 따라, 마커의 전체 크기를 결정한다.

색상 팔레트는 마커에 사용될 4가지 색상으로 구성된다:

이 팔레트는, 도 2에서 볼 수 있는 바와 같이, 실제 마커에, 구체적으로는 데이터 그리드의 4개 코너에 도입된다. 팔레트는 시계 방향 순서로 도입되고 그 기준(마지막 요소 p₃)은 가장 어두운 요소(가장 낮은 휘도를 가진 요소)로 표시된다.

어플리케이션의 요구에 따라 크기

의 격자를 가질 수 있다. 현재 마커의 그리드 크기를 결정하기 위해 그리드의 중앙 위치에 있는 셀을 참고한다. 그리드가 가질 수 있는 4가지 크기(즉, N = {5,7,9,11})는 대칭적이지 않으며(uneven), 따라서 항상 명확한 중앙 위치가 존재한다는 점에 유의한다. 이 중앙 셀은, 그리드 셀의 나머지 셀과 마찬가지로, 그리드의 가능한 크기 {5, 7, 9, 11}에 각각 상응하는 팔레트 값

중 임의의 값을 취할 수 있다(도 3 참조).

각각의 셀이 2 비트(즉, 4개의 조합)를 갖는다는 것을 고려하면,

요소의 마커는

비트의 데이터와

비트의 CRC를 포함한다. 따라서, CRC 길이는 메시지 길이에 따라 증가한다. 표 1은 각각의 마커 크기, 메시지 길이, CRC 길이 및 계산에 사용된 생성 다항식(generator polynomial)을 보여준다. 이러한 의미에서, 각각의 길이에 따라 (유효성이 입증된) 표준 생성 다항식이 사용되었다.

N x N	메시지 길이	CRC 길이	CRC 다항식
5 x 5	24 비트	16 비트	CRC-16-CDMA2000
7 x 7	64 비트	24 비트	CRC-24-Radix-64
9 x 9	120 비트	32 비트	CRC-32Q
11 X 11	192 비트	40 비트	CRC-40-GSM

비교 데이터로서, 그리고 색상의 포함이 메시지의 밀도에 대해 미치는 영향을 관찰하기 위해, [S.　가리도(Garrido), R. 무네즈(Munoz), FJ 마드리드(Madrid), MJ 마린(Marin), "폐색(occlusion) 하에서 고도로 신뢰할 수 있는 기점 마커의 자동 생성 및 검출", 패턴 인식, 2014년]에 기술된 5x5 시스템은 1024가지 조합을 제공하고, [E.　올슨(Olson), "AprilTag: 견고하고 유연한 시각 기점 시스템(A robust and flexible visual fiducial system)", IEEE 국제 로봇 및 자동화 회의(ICRA), 2011년]에 기술된 6x6 시스템은 단지 500가지 조합만을 제공하는 반면, 본 발명은, 그 최소 고밀도 버전(5x5)에서, 24 비트의 메시지, 즉 16,777,216개의 조합을 처리할 수 있다.

마커를 검출하는 방법의 단계는 아래에 요약되어 있다. 이미지

와 마커 크기

가 주어지면,

의 프레임

을 추출하며, 각각의

에 대해:

1)

로부터

의 좌표 를 얻는다

2) 데이터

로부터 색상을 얻고,

로부터 백색 기준

및 흑색 기준

를 얻는다

3)

)를 표준화한다

4)

를 그 기준 코너로 배향시킴으로써

를 얻는다

5)

의 코너로부터 팔레트

를 얻는다

6)

에 대해

의 가장 가까운 이웃에 의해

를 라벨링한다

7) 만약

를 유지하면:

로부터 메시지

및 CRC

를 추출한다

의 CRC를 계산한다. 만약

와 일치하면,

에

를 더한다.

따라서, 장치의 카메라에 의해 캡쳐된 디지털 색상 이미지

및 원하는 마커의 크기

가 주어지면, 이 이미지에 포함된 마커 세트

를 검출하기 위해서, 우선, 프레임 검출 알고리즘이 적용된다. 이미지

에 대한 프레임 검출 알고리즘의 결과로서, 이미지에 포함된 프레임 세트

가 얻어진다. 각각의 프레임은 시계 방향 순서로 프레임의 외부 코너에 상응하는, 이미지 공간 상의 4개의 좌표

에 의해 정의된다(도 4의 중앙 참조).

각각의 감지된 프레임

은 가능한 마커를 나타낸다. 프레임

의 4개 좌표를 기준으로 하여,

의 등거리 좌표의 그리드

를 얻기 위해 쌍선형 보간법이 수행된다. 이 그리드에는 마커 정보의

셀의 중심 좌표, 흑색 프레임 상의

좌표 및 백색 프레임 상의 좌표

가 포함된다(도 4의 오른쪽 참조).

의 각 좌표에 대해 이미지

의 해당 색상이 얻어진다(

이 실제 좌표라는 점과 이미지가 이산 좌표라는 점을 고려하여, 이 색상은 4개의 이웃 점 쌍선형 보간법에 의해 얻어진다).

색상이 얻어지면,

은 마커의 데이터에 속하는 색상의

그리드로서 취해지고

및

는 흑백 프레임에 속한 색상의 산술 평균으로서 각각 취해진다.

값

및

는, 마커의 흑색 및 백색 기준을 나타내기 때문에, 본 발명에서 필수적인 역할을 한다. 따라서, 위치 프레임은 마커의 위치 결정을 위해 사용될 수 있을 뿐만 아니라, 화이트 밸런스를 수행하여 색상을 견고하게 처리하기 위해 사용될 수 있다. 이를 위해, 다음과 같이 각각의 셀을 정규화시켜서

로부터

가 형성된다:

).

이 마커의

셀의 색상의 정규화된 기준을 포함하지만, 프레임 검출 알고리즘이 이 정보를 제공하지 않으므로(프레임은 배향 정보를 포함하지 않음), 배향은 아직 알 수 없다. 이를 해결하기 위해 마커의 코너가 고려될 것이다:

이들은 시계 방향 순서로 팔레트를 포함하고, 그 마지막 위치의 가장 어두운 요소에 기준을 갖는다. 따라서,

의 4가지 가능한 배향으로부터,

의 4개의 코너의 가장 어두운 요소(가장 낮은 휘도)를 남기는 것이 선택되어,

를 얻는다.

정렬된 색상 견본을 사용하여, 4개의 코너의 색상 팔레트를 얻는다:

팔레트로부터 마커의 라벨링

이 얻어진다. 이는 각 셀에 대해 상응하는 팔레트의 인덱스 값을 나타내는 행렬이다. 이를 위해 가장 가까운 이웃 분류가 수행된다(팔레트의 인덱스에 셀 색상에 가장 가까운 색상 값을 지정).

두 색상 사이의 유클리드 거리(Euclidean distance)

를 계산하기 위해서, CIE 1976 L*a*b* 색상 공간이 권장되는데, 이는 이 공간이 (RGB와 같은 다른 공간과는 달리) 등방성이어서 이 거리 함수의 사용을 정당화하기 때문이다.

일단 셀의 라벨링이 얻어지면, 분석되고 있는 마커가 원하는 마커 패밀리로부터의 것인지를 검증하는 것이 필요하다. 이를 위해, 중앙 셀에 지정된 크기가 원하는 마커 크기와 일치하는지 여부, 즉:

를 검증할 필요가 있다.

그렇지 않으면, 현재 프레임이 가능한 마커로부터 제외된다.

이 시점이 마커에서 정보, 즉 메시지

및 CRC

를 추출할 때이다.

를 얻기 위해, (마커의 유형을 결정하는 중앙 셀을 제외한) 셀이 중앙 열과 행으로부터 취해지고, 단일 개수의

비트가 행렬의 판독 순서에 따라(왼쪽에서 오른쪽으로, 위에서 아래로) 2진수의 셀의 레이블로 형성된다(레이블

는 2진수 코드

에 해당함).

마찬가지로,

은 메시지의 셀(팔레트, CRC, 또는 마커 유형과 부합하지 않는 셀)을 구성하여

비트의 2진수를 형성함으로써 얻어진다.

검출을 완료하기 위해, 메시지의 완전성은 적합한 다항식(표 1 참조)으로

의 CRC를 계산하고, 이를 판독된 CRC

와 비교함으로써 검증된다. 두 코드가 일치하면 메시지는 유효하다고 간주되어, 현재 이미지

에서 검출된 마커 세트

에

이 추가된다.

실시예 1. 방법의 결과

본 발명에서 제안된 마커 및 검출 방법의 정확한 작동을 보장하기 위해, 2개의 어플리케이션: 마커 생성기 및 검출기로 이루어진 기능적 프로토타입이 개발되었다. 두 어플리케이션 모두 고성능 크로스 플랫폼 프로그래밍 환경인 Qt SDK(http:/www.qt-project.org)에서 C++로 개발되었다.

생성기는 각각의 마커의 정보(마커 코드, 마커와 연관된 텍스트, 실제 인쇄 크기 등)로 마커 데이터베이스를 관리하고 선택된 물리적 크기로 이들 마커를 생성, 제거, 검색 및 인쇄하는 것을 가능하게 한다.

또한, 검출기는 장치의 카메라로부터 얻어진 이미지 상의 마커를 검출하는 역할을 한다. 이 경우는, Android 및 iOS 기기 모두에 대해 개발되었다. 마커가 검출되면 시스템은 데이터베이스의 그 코드를 쿼리하고 그 컨텐츠를 (문자 음성 변환 프로그램(text-to-speech)을 이용하여) 음성으로 표현한다. 또한 이 마커가 위치하는 실제 거리를 음성으로도 표현하는데, 이는 각각의 마커의 인쇄 크기가 데이터베이스에 저장되고 이러한 정보가 카메라 정보(초점 거리 및 조리개)와 함께 그 실제 스케일을 복구하는데 사용되기 때문이다.

성능 측면에서 이 시스템은 평균 18.6 fps를 처리할 수 있다. 이 데이터는 장치 및 카메라 해상도에 따라 다르다. 이 경우에, 카메라 해상도가 1280x720인, 3Gb RAM 메모리 및 2.1GH Cortex A57 옥타-코어 프로세서가 장착된 삼성 갤럭시S6(SM-G920F)가 사용되었으며, 프레임 검출은 아래 링크에서 얻을 수 있는 [S.　가리도(Garrido), R. 무네즈(Munoz), FJ 마드리드(Madrid), MJ 마린(Marin), "폐색(occlusion) 하에서 고도로 신뢰할 수 있는 기점 마커의 자동 생성 및 검출", 패턴 인식, 2014년]에 기재된 라이브러리의 버전 2.0으로 수행되었다: http://www.uco.es/investiga/grupos/ava/node/26.

장치의 카메라가 30fps로 이미지를 제공한다는 것을 고려하면, 카메라 액세스 시간을 없앰으로써 시스템은 위에서 언급한 장치에서 20.43 밀리 초의 평균 시간 내에 각 프레임을 처리할 수 있다.

검출 거리와 관련하여서는, 카메라 해상도, 조명 조건, 마커 크기 및 유형에 따라 다르다. 유리한 조명 조건(일광) 하에서 그리고 위에서 언급한 해상도(1280x720)에서 20x20cm 크기(표준 A4 인쇄 크기) 상에 인쇄된 5x5 마커는 최대 거리 8.12 미터에서 검출된다.

이러한 유형의 마커는 범위와 코드 밀도 모두가 중요한 역할(시각 장애인에 대한 시각적 마커 어플리케이션을 보여주는 도 5 참조), 즉 예를 들어 제품 라벨링(좌측 도면) 및 도심 상황에서의 신호(우측 도면)과 같은 역할을 하는 상황에 적용될 수 있다.

Claims

원거리, 고밀도 시각적 마커로서:
백색 배경 상의 흑색 프레임;
상기 프레임에 포함된 사각 격자를 포함하고;
그리드가 복수의 셀을 구성하는 종방향 행과 수직 열로 분할되고, 각각의 셀은 상이한 데이터 부분(piece)에 대응하고;
상기 그리드는 4개의 상이한 색조를 갖는 요소로 구성되며, 상기 4개의 색조는 서로 구별 가능하고 색상 팔레트를 형성하는, 원거리 고밀도 시각적 마커에 있어서;
상기 마커가:
그리드의 코너를 형성하는 4개의 셀 각각에, 가장 어두운 요소가 상기 색상 팔레트를 형성하는 최종 값으로 간주되도록, 각 코너의 각 셀에 대해 하나 이상의 색조가 포함되는 것;
그리드의 중앙 셀이 그리드의 크기를 결정하는 것;
중앙 셀을 제외한 중심 행 및 열에 대응하는 셀이 CRC를 정의하는 것; 및
그리드를 형성하는 나머지 셀은 상기 시각적 마커에 의해 전송될 수 있는 메시지에 전용으로 할당된 요소인 것을 더 포함하는 것을 특징으로 하는,
원거리 고밀도 시각적 마커.
제1 항에 있어서, 상기 4개의 색조는 청록색, 마젠타색, 노란색, 흑색 조합에 상응하는 것을 특징으로 하는, 원거리 고밀도 시각적 마커.
제1 항 또는 제2 항에 따른 시각적 마커를 검출하기 위한 검출 방법으로서:
상기 흑백 프레임을 검출하고, 그 코너의 좌표를 위치 결정하는 단계;
각각의 검출된 프레임으로부터 쌍선형 보간법에 의해 그리드를 얻는 단계;
각 셀의 색상을 얻는 단계;
기준 백색 및 기준 흑색을 얻기 위한 흑백 프레임의 색상의 산술 평균을 계산하는 단계;
화이트 밸런스를 설정하여 이전 단계에서 얻어진 기준 흑색 및 백색으로부터 각각의 셀의 색상을 정규화하는 단계;
가장 어두운 코너의 셀이 팔레트의 마지막 위치에 있어야 한다는 것을 고려하여 마커의 배향을 보정하는 단계;
상기 코너로부터 팔레트를 얻고, 각각의 셀에 대응하는 팔레트의 값을 표시하는 마커를 라벨링하는 단계;
상기 중앙 레이블이 기대했던 것인지를 분석함으로써 마커가 원하는 패밀리에 속하는지 검증하는 단계;
상기 메시지 및 CRC를 구성하는 단계;
상기 메시지의 완전성을 검증하고, 이로부터 CRC를 재계산하고, 이를 코드로부터 판독된 CRC와 비교하는 단계를 포함하는 것을 특징으로 하는, 검출 방법.
제3 항에 있어서, 각 셀의 중심의 좌표가, 흑백 프레임도 고려하여, 쌍선형 보간법에 사용되는, 검출 방법.
제3 항 또는 제4 항에 있어서, 각 셀의 색상을 얻기 위하여, 그리고 그 중심이 실제 좌표이고 이미지가 이산 좌표로 주어지면, 4개의 이웃 점 쌍선형 보간법이 상기 값을 얻기 위해 수행되는, 검출 방법.