KR102248858B1 - 2차원 코드 인식 및 정보 표시 방법 - Google Patents
2차원 코드 인식 및 정보 표시 방법 Download PDFInfo
- Publication number
- KR102248858B1 KR102248858B1 KR1020200169192A KR20200169192A KR102248858B1 KR 102248858 B1 KR102248858 B1 KR 102248858B1 KR 1020200169192 A KR1020200169192 A KR 1020200169192A KR 20200169192 A KR20200169192 A KR 20200169192A KR 102248858 B1 KR102248858 B1 KR 102248858B1
- Authority
- KR
- South Korea
- Prior art keywords
- code
- dimensional code
- information
- recognition
- pattern
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 2차원 코드 인식 및 정보 표시 방법을 개시한다. 개시된 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 카메라 유닛 및 디스플레이 유닛을 구비한 2차원 코드 인식 및 정보 표시장치를 이용하여 2차원 코드를 인식하고, 2차원 코드의 정보를 증강 현실(augmented reality)로 표시하는 방법에 관한 것으로서, 카메라로 촬영된 영상을 흑백으로 변환하는 단계; 상기 흑백으로 변환된 영상으로부터 2차원 코드의 고정 패턴 후보군을 검출하는 단계; 상기 검출된 고정 패턴 후보군에 대해 비조화비 값을 계산하는 단계; 상기 계산된 비조화비 값과 기저장된 2차원 코드의 비조화비 값을 비교하는 단계; 상기 계산된 비조화비 값과 기저장된 2차원 코드의 비조화비 값의 차이가 기설정된 기준값 이내인지를 판단하는 단계; 상기 비조화비 값의 차이가 기준값 이내인 경우, 검출된 고정 패턴 후보구를 2차원 코드로 검출하는 단계; 상기 검출된 2차원 코드에 대응하는 정보를 이용하여 증강 현실 처리를 수행하는 단계; 및 상기 디스플레이에 표시되는 상기 카메라로 촬영된 영상 내에서 상기 검출된 2차원 코드와 대응되는 3차원 가상 객체를 3차원 증강 현실로 표시하는 단계를 포함한다.
본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드를 구성하는 고정 패턴들 간의 거리 비를 이용하여 촬영된 2차원 코드가 기울어지거나 일부 패턴이 촬영되지 않는 경우에도 2차원 코드를 추출하고 인식할 수 있도록 한 효과가 있다.
본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드를 구성하는 고정 패턴들 간의 거리 비를 이용하여 촬영된 2차원 코드가 기울어지거나 일부 패턴이 촬영되지 않는 경우에도 2차원 코드를 추출하고 인식할 수 있도록 한 효과가 있다.
Description
본 발명은 2차원 코드 정보를 인식하는 기술 분야에 관한 것으로, 보다 구체적으로는 촬영 영상으로부터 3차원 가상 객체를에 표시된 2차원 코드의 추출 및 인식한 후, 2차원 코드 정보를 사용자에게 표시하도록 한 2차원 코드 인식 및 정보 표시 방법에 관한 것이다.
QR(Quick Response) 코드, 아즈텍(Aztec) 코드 및 퀵마커(Quickmark)와 같은 2차원 코드들은 기존 1차원 바코드보다 정보량을 확대하고 정보 손상으로 인한 인식률 저하를 최소화하기 위해 개발되었다. 이들 2차원 코드들은 기존의 EAN(European Article Number) /UPC(Universal Product Code) 바코드에 비해 적게는 30배에서 많게는 700배 이상의 정보를 담을 수 있다.
이와 같이 2차원 코드는 많은 정보를 한곳에 집약할 수 있어 물류, 결재, 인증, 광고 등에 널리 사용되고 있다. 예를 들어, 자동차 부품, 식품의 용기, 보안 영역, 쇼핑몰에서 판매하는 제품 등 산업 전반에 걸쳐 2차원 코드가 사용되고 있다.
2차원 코드는 포지션 패턴(position marker) 및 정렬 패턴(alignment marker)과 같은 다양한 고정 패턴들을 소정의 규칙들에 따라 평면(2차원) 상에 배치함으로써 구현된다. 일반적으로 2차원 코드는 검정 패턴과 흰색 패턴들이 기하학적 구조로 이루어지도록 구현된다.
통상적으로, 2차원 코드를 인식하는 방법은 모바일 디바이스 내에 설치되는 2차원 코드 인식 애플리케이션이나 별도의 스캐너에 의해 2차원 코드를 캡처 한 후 저장된 정보를 획득하는 방식으로 이루어진다.
이때, 2차원 코드의 이미지를 캡처하기 위해 선 타입 2차원 코드가 라인 스캐너를 통해 복수의 횟수로 스캐닝되며, 행렬 타입 2차원 코드가 이미지 스캐너를 통해 스캐닝되는 방식으로 이루어진다. 모바일 디바이스에 캡처된 2차원 코드의 이미지는 위치결정, 분할 및 디코딩 방식이 적용되면서 식별되고 인식된다.
하지만, 종래 기술에 따른 2차원 코드의 인식은 모바일 디바이스에 배치된 카메라 또는 스캐너가 정사각형 형태의 2차원 코드를 정확하게 캡처하는 경우에만 2차원 코드의 식별 및 인식이 가능한 문제가 있다.
즉, 모바일 디바이스 또는 스캐너에 의해 촬영된 2차원 코드의 이미지가 정확히 캡처되지 않는 경우 또는 카메라에 의해 촬영되는 영상 내에 2차원 코드와 유사한 패턴들 또는 복수의 2차원 코드가 존재하는 경우 종래 기술에 의해서는 2차원 코드를 식별하거나 인식할 수 없는 문제가 있다.
또한, 종래 기술에서는 카메라의 초점이 2차원 코드를 정면에서 정확히 맞추지 못하거나 카메라가 측면에서 경사지게 2차원 코드를 촬영하는 경우 2차원 코드를 구성하는 고정 패턴들의 모양이 평행사변형, 사다리꼴 또는 마름모 형태가 되어 식별 및 인식 불가 메시지를 사용자에게 표시한다.
이럴 경우, 사용자는 다시 2차원 코드를 카메라의 초점에 맞도록 위치 조절을 반복적으로 진행해야 하기 때문에 2차원 코드의 식별 및 인식 과정이 번거롭고 신속한 인식이 어려운 단점이 있다.
특히, 종래 기술에서는 카메라가 복수의 2차원 코드를 구성하는 고정 패턴들을 모두 정확히 촬영한 경우에도 2차원 코드들의 인식 불가 메시지를 사용자에게 표시한다.
따라서, 공간을 인식하여 복수의 가상 객체를 통해 증강현실을 구현하려 할 때, 가상 객체 마다 매칭된 2차원 코드를 사용할 경우, 종래 기술을 통한 2차원 코드 인식으로는 복수의 2차원 코드를 동시에 인식하기 어려워 증강현실을 구현하기 어려운 문제가 발생할 수 있다.
본 발명은 2차원 코드를 구성하는 고정 패턴들 간의 거리 비를 이용하여 촬영된 2차원 코드가 기울어지거나 일부 패턴이 촬영되지 않는 경우에도 2차원 코드를 추출하고 인식할 수 있도록 한 2차원 코드 인식 및 정보 표시 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 촬영된 영상 내에서 2차원 코드를 구성하는 고정 패턴들만을 추출한 후 인식할 수 있는 2차원 코드 인식 및 정보 표시 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 2차원 코드에 대한 카메라의 촬영 각도에 관계없이 2차원 코드와 관련없는 고정 패턴들은 제거하고 2차원 코드와 관련된 고정 패턴들만 인식할 수 있도록 한 2차원 코드 인식 및 정보 표시 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 카메라로 촬영된 영상에서 2차원 코드를 추출하고 인식한 후에 2차원 코드와 대응되는 3차원 가상 객체를 증강 현실로 표시하도록 한 2차원 코드 인식 및 정보 표시 방법을 제공하는 것을 목적으로 한다.
전술한 종래 문제를 해결하기 위한 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 카메라 유닛 및 디스플레이 유닛을 구비한 2차원 코드 인식 및 정보 표시장치를 이용하여 2차원 코드를 인식하고, 2차원 코드의 정보를 증강 현실(augmented reality)로 표시하는 방법에 관한 것으로서, 카메라로 촬영된 영상을 흑백으로 변환하는 단계; 상기 흑백으로 변환된 영상으로부터 2차원 코드의 고정 패턴 후보군을 검출하는 단계; 상기 검출된 고정 패턴 후보군에 대해 비조화비 값을 계산하는 단계; 상기 계산된 비조화비 값과 기저장된 2차원 코드의 비조화비 값을 비교하는 단계; 상기 계산된 비조화비 값과 기저장된 2차원 코드의 비조화비 값의 차이가 기설정된 기준값 이내인지를 판단하는 단계; 상기 비조화비 값의 차이가 기준값 이내인 경우, 검출된 고정 패턴 후보구를 2차원 코드로 검출하는 단계; 상기 검출된 2차원 코드에 대응하는 정보를 이용하여 증강 현실 처리를 수행하는 단계; 및 상기 디스플레이에 표시되는 상기 카메라로 촬영된 영상 내에서 상기 검출된 2차원 코드와 대응되는 3차원 가상 객체를 3차원 증강 현실로 표시하는 단계를 포함한다.
여기서, 상기 비조화비 값의 차이가 기준값을 벗어난 경우, 검출된 고정 패턴 후보군을 소거하는 단계를 더 포함한다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 상기 검출된 고정 패턴 후보군은 제1 위치 패턴, 제2 위치 패턴, 제3 위치 패턴 및 정렬 패턴을 포함하고, 이들은 소정의 각도로 촬영되어 마름모, 사다리꼴 또는 평행사변형 형태의 평면 구조를 갖고, 상기 제1 위치 패턴의 4변 중 인접한 두 변을 제1변(S1)과 제2변(S2)이라고 할 때, 상기 제1변(S1)과 동일 직선 상에 놓이는 상기 제2 위치 패턴의 제3변(S3)에서 제1변(S1)과 제3변(S3)의 모서리 점들을 A1, B1, C1, D1이라고 할 때, 제1 비조화비는 아래 수학식 1에 의해 계산된다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 상기 제1 위치 패턴의 4변 중 인접한 두 변을 제1변(S1)과 제2변(S2)이라고 할 때, 상기 제2변(S2)과 동일 직선 상에 놓이는 상기 제3 위치 패턴의 제4변(S4)에서 제2변(S2)과 제4변(S4)의 모서리 점들을 A1, B2, C2, D2라고 할 때, 제2 비조화비는 아래 수학식 2에 의해 계산된다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 상기 제1 위치 패턴과 정렬 패턴의 대각선들이 동일 직선 상에 놓일 때, 각각의 대각선 모서리 영역에서의 점들을 A1, B3, C3, D3라고 할 때, 제3 비조화비는 아래 수학식 3에 의해 계산된다.
여기서, 상기 2차원 코드 인식 및 정보 표시 장치는, 2차원 코드의 고정 패턴 후보군을 검출하고 인식하는 정보 인식 유닛과, 상기 정보 인식 유닛을 통해 인식된 2차원 코드에 대해 증강 현실 처리를 수행하는 증강 현실 유닛을 더 포함한다.
본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드를 구성하는 고정 패턴들 간의 거리 비를 이용하여 촬영된 2차원 코드가 기울어지거나 일부 패턴이 촬영되지 않는 경우에도 2차원 코드를 추출하고 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 촬영된 영상 내에서 2차원 코드를 구성하는 고정 패턴들만을 추출한 후 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드에 대한 카메라의 촬영 각도에 관계없이 2차원 코드와 관련없는 고정 패턴들은 제거하고 2차원 코드와 관련된 고정 패턴들만 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 카메라로 촬영된 영상에서 2차원 코드를 추출하고 인식한 후에 2차원 코드와 대응되는 3차원 가상 객체를 증강 현실로 표시하도록 한 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 2차원 코드 인식 및 정보 표시 방법을 나타내는 플로챠트이다.
도 2는 본 발명의 일 실시예에 따른 2차원 코드 인식 및 정보 표시 장치를 나타내는 도면이다.
도 3은 도 2의 정보 인식 유닛의 구성을 나타내는 블럭도이다.
도 4는 2차원 코드 중 버젼에 따른 QR 코드의 종류를 나타내는 도면이다.
도 5는 QR 코드의 위치 패턴(PM)과 정렬 패턴(AM)을 나타내는 도면이다.
도 6은 본 발명에 따라 2차원 코드를 구성하는 패턴들 간의 비조화비(Cross-Ratio)를 이용하여 2차원 코드를 인식하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 비조화비를 이용한 2차원 코드 인식 방법을 기울어지게 촬영된 2차원 코드에 적용하는 경우를 설명하기 위한 도면이다.
도 8 및 도 9는 아즈텍 코드와 퀵마커의 구조를 나타내는 도면이다.
도 10a 및 도 10b는 본 발명에 따라 2차원 코드의 인식 및 정보를 증강 현실로 표시하는 모습을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 2차원 코드 인식 및 정보 표시 장치를 나타내는 도면이다.
도 3은 도 2의 정보 인식 유닛의 구성을 나타내는 블럭도이다.
도 4는 2차원 코드 중 버젼에 따른 QR 코드의 종류를 나타내는 도면이다.
도 5는 QR 코드의 위치 패턴(PM)과 정렬 패턴(AM)을 나타내는 도면이다.
도 6은 본 발명에 따라 2차원 코드를 구성하는 패턴들 간의 비조화비(Cross-Ratio)를 이용하여 2차원 코드를 인식하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 비조화비를 이용한 2차원 코드 인식 방법을 기울어지게 촬영된 2차원 코드에 적용하는 경우를 설명하기 위한 도면이다.
도 8 및 도 9는 아즈텍 코드와 퀵마커의 구조를 나타내는 도면이다.
도 10a 및 도 10b는 본 발명에 따라 2차원 코드의 인식 및 정보를 증강 현실로 표시하는 모습을 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 2차원 코드 인식 및 정보 표시 방법을 나타내는 플로챠트이다. 도 2는 본 발명의 일 실시예에 따른 2차원 코드 인식 및 정보 표시 장치를 나타내는 도면이다. 도 3은 도 2의 정보 인식 유닛의 구성을 나타내는 블럭도이다.
도 1 내지 도 3을 참조하면, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드가 부착된 객체를 촬영한 영상에서 2차원 코드 영역을 캡처한 후 흑백으로 변환하는 단계(S101))와, 흑백으로 변환된 이미지에서 2차원 코드의 고정 패턴 후보군을 검출하는 단계(S102)와, 검출된 고정 패턴 후보군에 대해 고정 패턴들 간의 거리를 이용한 비조화비(Cross ratio) 값을 계산하는 단계(S103)와, 계산된 비조화비 값과 기 저장된 2차원 코드 비조화비 값을 비교하는 단계(S104)와, 계산된 비조화비 값과 저장된 비조화비 값의 차이가 기설정된 기준값이내인지를 판단하는 단계(S105)를 포함한다.
실시예들에서, 2차원 코드는 구체적으로 QR(quick-response) 코드, 아즈텍(Aztec) 코드 및 퀵마커(Quickmark) 코드를 포함한다.
또한, 흑백으로 변환하는 단계는 촬영된 영상 전체를 흑백으로 변환한 후 2차원 코드 영역을 이미지 캡처할 수 있다. 왜냐하면, 본 발명의 2차원 코드 인식 및 정보 표시 방법은 카메라에 의해 촬영되는 2차원 코드가 정확히 정면에 놓이지 않고 기울어져 있더라도 비조화비를 이용한 인식 방법으로 2차원 코드를 인식할 수 있기 때문이다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드의 고정 패턴 후보군을 검출할 때, 영상을 프레임 단위로 구분한 후, 각 프레임에서 2차원 코드의 윤곽선을 식별하는 것을 포함할 수 있다. 윤곽선을 식별하는 것은 2차원 코드를 구성하는 고정 패턴들(예컨대, 위치 패턴, 정렬 패턴)을 구분하는 것일 수 있다.
또한, 계산된 비조화비 값과 저장된 비조화비 값의 차이가 기준값 이내일 경우에는 고정 패턴들을 2차원 코드로 인식하여 검출하는 단계(S106)와, 검출된 2차원 코드에 대응하는 정보를 기초로 증강 현실 처리를 수행하는 단계(S107)와, 카메라 촬영 영상 내에 2차원 코드 정보에 대응하는 3차원 가상 객체를 증강 현실(3차원 영상)로 표시하는 단계(S108)를 포함한다. 증강 현실 처리는 2차원 코드 정보를 통해 3차원 가상 객체에 대해서는 3차원 동적 영상의 형태로 표시하고, 3차원 가상 객체와 함께 3차원 가상 객체에 대한 정보는 텍스트로 표시하는 것을 포함한다.
증강 현실 형태로 표시하는 것은 사용자의 모바일 디스플레이 영역에 표시하는 것을 포함한다. 이때, 증강 현실로 표시하는 이미지는 이동하거나 회전하는 움직임을 표시하는 것을 포함한다. 증강 현실로 표시되는 영상은 모바일 디스플레이의 중앙 영역에서 확대되어 표시되거나 카메라로 촬영되는 영상에서 2차원 코드가 위치하는 영역과 대응되는 영역에서 표시되는 것을 포함한다.
또한, 사용자가 모바일을 이동시킴으로써 촬영 영상에서 인식된 2차원 코드가 없어지는 경우에는 증강 현실 표시를 중단하는 단계를 포함할 수 있다.
또한, 계산된 비조화비 값과 저장된 비조화비 값의 차이가 기준값을 벗어난 경우에는 고정 패턴들은 2차원 코드를 구성하는 고정 패턴들이 아닌 것으로 판단하고 소거하는 단계(S109)를 포함한다. 본 발명에서는 2차원 코드에 대해 종류별로 고정 패턴들의 길이에 관한 제1값, 고정 패턴들 간의 길이에 대한 제2값, 제1 및 제2 값들 간의 비(RATIO)를 저장하고 이들 저장 값과 계산 값을 대비하여 2차원 코드를 추출한다.
본 발명의 2차원 코드 인식 및 정보 표시 방법은 2차원 코드 인식 및 정보 표시 장치(200)에 의해 구현될 수 있다. 2차원 코드 인식 및 정보 표시 장치(200)는 피처 폰(feature phone), 스마트폰, 팜톱, PC(personal computer), 태블릿 컴퓨터 또는 PDA(personal digital assistant) 등을 비롯한 디바이스에 통합될 수 있다.
자세히, 2차원 코드 인식 및 정보 표시 장치(200)는, 적어도 하나 이상의 프로세서와, 적어도 하나 이상의 메모리를 포함하는 컴퓨팅 장치일 수 있다.
그리고 상기 메모리에는 2차원 코드 인식을 위한 2차원 코드 인식 프로그램과, 인식된 2차원 코드에 매칭된 가상 객체를 통해 증강현실을 구현하는 증강현실 프로그램을 포함할 수 있다.
이러한 2차원 코드 인식 프로그램과, 증강현실 프로그램은, 프로세서에 의해 메모리에 독출되어 실행됨으로써, 2차원 코드 인식이 수행될 수 있고 증강현실을 통한 정보가 표시될 수 있다.
도 2 및 도 3을 참조하면, 본 발명의 2차원 코드 인식 및 정보 표시 장치(200)는 디스플레이 유닛(210), 카메라 유닛(220), 정보 인식 유닛(250) 및 증강 현실 유닛(260)을 포함한다.
정보 인식 유닛(250)은 2차원 코드를 구성하는 고정 패턴들을 검출하는 검출부(251)와, 검출된 고정 패턴들에 대한 비조화비(Cross Ratio)를 계산 및 비교하는 계산 및 비교부(252)와, 계산 및 비교부(252)에서 제공된 결과값으로 검출된 고정 패턴들이 2차원 코드인지를 결정하는 결정부(253)를 포함한다. 즉, 정보 인식 유닛(250)은 적어도 하나 이상의 프로세서를 포함하며, 정보 인식 유닛(250)의 프로세서에 의해 실행되는 2차원 코드 인식 프로그램은, 검출부(251)와, 상기 계산 및 비교부(252)와, 결정부(253)를 포함할 수 있다.
검출부(251)는 카메라에 의해 촬영된 영상에서 2차원 코드를 이미지 형태로 캡처한다. 이때, 전술한 바와 같이, 검출부(251)에서는 2차원 코드에 대한 고정 패턴들에 대한 윤곽선을 획득할 수 있다.
계산 및 비교부(252)는 2차원 코드로 검출한 고정 패턴들에 대한 비조화비를 획득하고, 이를 기 저장된 다양한 2차원 코드에 대한 비조화비와 비교한다. 비교된 두 개의 비조화비의 차이가 기 설정된 기준값 내에 속할 경우에는 2차원 코드로 판단하고 기준값을 벗어나는 경우에는 2차원 코드에 대응되는 고전 패턴들이 아닌 것으로 판단한다.
결정부(253)는 계산 및 비교부(252)에서 비교한 비교값을 토대로 2차원 코드 유무를 판단하고, 2차원 코드로 판단되는 경우에는 검출부(251)에서 검출한 정보를 토대로 2차원 코드에 포함된 정보를 획득할 수 있다.
즉, 결정부(253)는 검출된 고정 패턴들의 후보군이 2차원 코드에 대한 고정 패턴들로 판단할 경우, 고정 패턴들(위치 패턴 및 정렬 패턴)을 중심으로 2차원 코드를 구성하는 흑백 패턴들에 대한 정보를 획득한다.
본 발명의 2차원 코드 인식 및 정보 표시 장치(200)는 카메라 유닛(220)을 이용하여 2차원 코드가 부착된 객체를 촬영하면 디스플레이부(210)를 통해 객체와 객체에 부착된 2차원 코드가 디스플레이된다.
정보 인식 유닛(250)은 촬영된 영상으로부터 2차원 코드 가능성이 높은 고정 패턴들의 후보군을 선택하여, 2차원 코드를 구성하는 패턴들인지를 분석 및 판단한다. 전술한 바와 같이, 정보 인식 유닛(250)은 촬영된 영상에서 2차원 코드를 추출한 후 흑백 변환을 하거나 촬영된 영상에 대해 흑백 변환을 한다.
이와 같이, 본 발명의 2차원 코드 인식 및 정보 표시 장치(200)는, 검출부(253)를 이용하여 흑백 변환된 영상으로부터 고정 패턴의 후보군을 검출한다. 검출된 고정 패턴들에 대해서는 계산 및 비교부(252)에서 위치 패턴(Position Marker), 정렬 패턴(Alignment Marker)을 이용한 비조화비를 구한 다음, 이를 기 저장된 2차원 코드들의 비조화비를 비교하여 검출된 고정 패턴들이 2차원 코드를 구성하는 패턴들인지를 판단한다.
이때, 2차원 코드 인식 및 정보 표시 장치(200)는, 검출된 비조화비와 매칭된 2차원 코드의 종류와, 상기 결정된 2차원 코드 종류의 코드 이미지 인식 정보를 검출할 수 있다.
즉, 2차원 코드의 종류별로 비조화비는 서로 상이하므로, 비조화비를 산출하면, 비조화비에 해당하는 2차원 코드의 종류를 검출할 수 있다.
그리고 2차원 코드의 종류에 따라 2차원 코드 내 정보를 표현하는 코드들의 표시 패턴을 미리 저장해두고, 이후 2차원 코드 종류를 파악하면 코드의 표시 패턴을 포함하는 코드 이미지 인식 정보를 검출할 수 있다.
예를 들어, 2차원 코드 종류에는, 제 1 2차원 코드 및 제 2 2차원 코드를 포함할 수 있다. 그리고 메모리에는, 상기 제 1 2차원 코드에 매칭된 제 1 비조화비와, 제 1 코드의 표시 패턴을 포함하는 제 1 코드 이미지 인식 정보가 저장될 수 있다. 마찬가지로, 제 2 2차원 코드에 매칭된 제 2 비조화비와, 상기 제 2 코드의 표시 패턴을 포함하는 제 1 코드 이미지 인식 정보가 저장될 수 있다.
2차원 코드 인식 및 정보 표시 장치(200)는, 복수의 후보군의 비조화비를 각각 산출하여, 상기 제 1 비조화비와 상기 제 2 비조화비에 매칭되는 후보군들을 추출할 수 있다.
예를 들어, 2차원 코드 인식 및 정보 표시 장치(200)는, 제 1 비조화비를 가지는 적어도 하나 이상의 제 1 후보군 또는/및 상기 제 2 비조화비를 가지는 적어도 하나 이상의 제 2 후보군을 검출할 수 있다.
비조화비가 매칭된 후보군을 검출하면, 2차원 코드 인식 및 정보 표시 장치(200)는, 상기 제 1 후보군을 상기 제 1 2차원 코드로 결정하고, 상기 제 1 후보군을 인식하기 위한 제 1 코드 이미지 인식 정보를 검출하여, 이후 코드 정보를 추출하기 위한 이미지 인식 정보로 활용할 수 있다.
또한, 2차원 코드 인식 및 정보 표시 장치(200)는, 상기 제 2 후보군을 상기 제 2 2차원 코드로 결정하고, 상기 제 2 후보군을 인식하기 위한 제 2 코드 이미지 인식 정보를 검출하여, 이후 코드 정보를 추출하기 위한 이미지 인식 정보로 활용할 수 있다.
실시간성을 중시하는 증강현실 구현에 있어서, 이러한 코드 이미지 인식 정보를 통해 추후 2차원 코드 내 정보를 이미지 인식할 때, 좀더 정확하고 빠르게 인식하도록 활용될 수 있다.
검출된 고정 패턴들이 2차원 코드를 구성할 경우, 결정부(253)는 검출된 고정 패턴들을 2차원 코드로 판단한다. 이때, 본 발명의 2차원 코드 인식 및 정보 표시 장치(200)는 2차원 코드로 결정한 후, 2차원 코드를 인식하는 이미지 인식처리를 통해 캡처한 이미지, 고정 패턴들 및 고정 패턴들 사이에 배치된 흑백 패턴들에 기초하여 2차원 코드에 포함된 정보를 획득한다.
이때, 결정부(253)는 검출된 2차원 코드 내 정보를 표시하는 패턴 인식시 미리 검출된 2차원 코드 종류에 따른 코드 이미지 인식 정보를 기초로 이미지 처리를 수행하여, 빠르고 정확하게 정보를 추출할 수 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 장치(200)의 증강 현실 유닛(260)은 전술한 결정부(253)로부터 제공되는 2차원 코드로 판단한 정보를 이용하여 2차원 코드가 부착된 객체가 디스플레이 유닛(210) 상에서 3차원(3D) 증강 현실로 표시되도록 한다.
자세히, 2차원 코드 인식 및 정보 표시 장치(200)는, 카메라를 통해 실시간으로 촬영되는 영상의 적어도 한 영상 내에서 복수의 후보군을 검출할 수 있다.
또한, 2차원 코드 인식 및 정보 표시 장치(200)는, 복수의 후보군의 비조화비를 각각 산출하여 상기 후보군이 2차원 코드인지 여부와, 어떠한 종류의 2차원 코드인지를 결정할 수 있다.
예를 들어, 2차원 코드 인식 및 정보 표시 장치(200)는, 실시간 영상(예컨대, 즉각 촬영되는 영상 및 소정의 시간 내에 촬영되는 영상) 내에서 적어도 하나 이상의 제 1 2차원 코드인 적어도 하나 이상의 제 1 후보군 및 적어도 하나 이상의 제 2 2차원 코드인 적어도 하나 이상의 제 2 후보군을 동시에 검출할 수 있다.
이후, 2차원 코드 인식 및 정보 표시 장치(200)는, 상기 적어도 하나 이상의 제 1 후보군은 기 저장된 제 1 코드 이미지 인식 정보를 기초로 이미지 인식하여 제 1 정보를 추출하고, 상기 적어도 하나 이상의 제 2 후보군은 기 저장된 제 2 코드 이미지 인식 정보를 기초로 이미지 인식 정보를 기초로 이미지 인식하여 제 2 정보를 각각 추출할 수 있다.
그리고 2차원 코드 인식 및 정보 표시 장치(200)는, 상기 제 1 정보에 매칭된 제 1 가상객체와 제 1 가상객체와 제 1 후보군의 2차원 코드의 위치관계와 6 자유도 관계를 기초로 상기 제 1 가상객체를 영상 내에 증강할 수 있고, 상기 제 2 정보에 매칭된 제 2 가상객체와 제 2 가상객체와 제 2 후보군의 2차원 코드의 위치관계와 6자유도 관계를 기초로 상기 제 2 가상객체를 영상 내에 증강시킬 수 있다.
이와 같이, 2차원 코드 인식 및 정보 표시 장치(200)는, 실시간 영상 내에 서로 다른 종류의 2차원 코드가 있거나 복수의 2차원 코드가 있는 경우에도, 빠르게 2차원 코드인지 여부와 2차원 코드의 종류를 결정한 후, 해당 2차원 코드를 종류에 따른 인식방법으로 빠르게 인식하여, 해당 2차원 코드에 3차원 가상 객체를 빠르고 정밀하게 증강함으로써, 복수의 3차원 가상객체를 실시간성 높게 증강현실로 구현할 수 있는 장점이 있다.
일 실시예에 따라 증강 현실 유닛(260)은 3D 모델을 언급된 2차원 코드의 콘텐츠 정보 및 카메라 촬영 영상에서의 2차원 코드의 위치 정보에 기초한 2차원 코드의 위치에 표시하도록 추가로 구성되어 있다.
일 실시예에서, 증강 현실 유닛(260)은 3D 모델의 세계 좌표의 투영 스크린의 평면 좌표로의 변환 행렬을 계산하고 변환 행렬을 사용하여, 카메라 촬영 영상에서의 2차원 코드의 위치 정보에 따라 영상에서 3차원 가상 객체가 3D 모델 형태로 중첩되도록 할 수 있다.
이와 같이, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드를 구성하는 고정 패턴들 간의 거리 비를 이용하여 촬영된 2차원 코드가 기울어지거나 일부 패턴이 촬영되지 않는 경우에도 2차원 코드를 추출하고 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 촬영된 영상 내에서 2차원 코드를 구성하는 고정 패턴들만을 추출한 후 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드에 대한 카메라의 촬영 각도에 관계없이 2차원 코드와 관련없는 고정 패턴들은 제거하고 2차원 코드와 관련된 고정 패턴들만 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 카메라로 촬영된 영상에서 2차원 코드를 추출하고 인식한 후에 2차원 코드와 대응되는 3차원 가상 객체를 증강 현실로 표시하도록 한 효과가 있다.
도 4는 2차원 코드 중 버젼에 따른 QR 코드의 종류를 나타내는 도면이다. 도 5는 QR 코드의 위치 패턴(PM)과 정렬 패턴(AM)을 나타내는 도면이다. 도 6은 본 발명에 따라 2차원 코드를 구성하는 패턴들 간의 비조화비(Cross-Ratio)를 이용하여 2차원 코드를 인식하는 방법을 설명하기 위한 도면이다. 도 7은 본 발명에 따른 비조화비를 이용한 2차원 코드 인식 방법을 기울어지게 촬영된 2차원 코드에 적용하는 경우를 설명하기 위한 도면이다. 도 8 및 도 9는 아즈텍 코드와 퀵마커의 구조를 나타내는 도면이다. 도 10a 및 도 10b는 본 발명에 따라 2차원 코드의 인식 및 정보를 증강 현실로 표시하는 모습을 나타내는 도면이다.
도 4 내지 도 10b를 참조하면, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, QR(quick-response) 코드, 아즈텍(Aztec) 코드 및 퀵마커(Quickmark) 코드와 같은 2차원 코드가 카메라에 의해 정확하게 위치에서 촬영되지 않더라도 2차원 코드 여부를 인식하고 2차원 코드에 포함된 정보를 표시할 수 있다.
도 4에 도시된 바와 같이, QR 코드는 작은 정사각형의 점을 가로 세로 같은 수만큼 병렬시킨 매트릭스 형태의 2차원 코드이다. 현재 QR 코드는 한 변에 21개의 정사각형의 점들이 나열된 [버전(Version) 1]에서부터 한 변에 177개의 정사각형 점들이 나열된 [버전 40]까지 개발되었다.
버전이 높아질 수록 한변을 구성하는 셀(cell)의 수가 4개씩 증가하기 때문에 버전이 높을 수록 많은 정보를 기록할 수 있다. QR 코드에 기록할 수 있는 정보량은 [버전 40]의 경우에 최대 23,648[BIT]이다. 일본문자(일반가나)나 한자의 경우 1,817문자, 알파벳과 숫자의 경우 4,296문자, 숫자만 사용할 경우 7,089 문자까지 기록할 수 있다. 기록된 데이터의 보완성이 우수하여 QR 코드의 일부가 손실되더라도 데이터를 복원할 수 있는 이점이 있다.
도 5에 도시한 바와 같이, QR 코드는 위치 패턴(PM: Position Marker), 정렬 패턴(AM: Alignment Marker) 및 셀(Cell)로 구분할 수 있다. 또한, 도면에는 도시하지 않았지만 QR 코드의 위치 패턴(PM)의 인접 영역에는 QR 코드의 버전 정보(Version Information)를 나타내는 패턴들, 정보 복원 정도를 표시하는 포맷 정보(Format Information)에 관한 패턴들, 셀(Cell) 내에 배치된 백색 셀(cell)과 흑색 셀(cell)이 교대로 배치되어 QR 코드 내의 셀 좌표를 결정하는 타이밍 패턴(Timing Pattern)을 포함한다.
일반적으로 위치 패턴(PM)은 QR 코드의 세 코너 영역에 배치되고 QR 코드의 위치를 신속히 판독하는 용도로 사용된다. 위치 패턴(PM)은 하나의 모서리와, 모서리를 중심으로 인접한 2변과 같이 3 방향에서의 백색 셀(Cell)과 흑색 셀(Cell)의 비율이 반드시 1:1:3:1이 된다. 따라서, 360도 방향에서 QR 코드에 대한 정보 판독이 가능해 QR 코드에 대한 복원 성능이 우수하다.
도 6은 본 발명의 2차원 코드 인식 및 정보 표시 방법에서 촬영된 영상 내에서 2차원 코드인지 2차원 코드가 아닌지를 인식하는 방법을 설명하기 위한 도면이다. 본 발명에서는 영상 내에서 2차원 코드를 인식하기 위해 QR 코드를 구성하는 위치 패턴(PM)들 간의 거리와 위치 패턴(PM)과 정렬 패턴(AM) 간의 거리 값들을 비조화비(Cross Ratio) 계산 방법을 이용한다.
도면에 도시된 바와 같이, QR 코드는 정사각형의 세 모서리에 각각 제1 위치 패턴(PM1), 제2 위치 패턴(PM2) 및 제3 위치 패턴(PM3)이 배치되고 셀 내부에는 적어도 하나 이상의 정렬 패턴(AM)이 배치된다.
본 발명의 2차원 코드 인식 및 정보 표시 방법에서는 고정 패턴들에 대한 후보군에 대해 아래 (수학식 1) 내지 (수학식 3)을 적용하여 고정 패턴들이 2차원 코드를 구성하는 패턴들인지 여부를 판단한다.
(수학식 1)은 제1 위치 패턴(PM1)의 제1변과 동일 직선 상에 놓이는 인접한 제2 위치 패턴(PM2)의 제1변에 놓인 점들(A, B, C, D) 간의 거리비로 이루어진다. 구체적으로 제1 위치 패턴(PM1)의 제1변의 양측 모서리를 A와 B점, 제2 위치 패턴(PM2)의 제1변의 양측 모서리를 C와 D점이라고 할 때, A에서 C까지의 거리와 B에서 D까지의 거리 곱을 B에서 C까지의 거리와 A에서 D까지의 거리 곱으로 나눈 값은 일정한 값을 갖는 성질을 이용한다.
(수학식 2)는 제1 위치 패턴(PM1)의 제2변과 동일 직선 상에 놓이는 인접한 제3 위치 패턴(PM3)의 제2변(수직한 변)에 놓인 점들(A, B*, C*, D*) 간의 거리비로 이루어진다. 구체적으로 제1 위치 패턴(PM1)의 제2변의 양측 모서리 A와 B*점, 제2 위치 패턴(PM2)의 제2변의 양측 모서리 C*와 D*점이라고 할 때, A에서 C*까지의 거리와 B*에서 D*까지의 거리 곱을 B*에서 C*까지의 거리와 A에서 D*까지의 거리 곱으로 나눈 값은 일정한 값을 갖는 성질을 이용한다.
(수학식 3)은 제1 위치 패턴(PM1)과 정렬 패턴(AM)에 대해 A 모서리를 기준으로 대각선 방향에서 동일 직선상에 놓이는 점들(A, B**, C**, D**) 간의 거리비로 이루어진다. 구체적으로 제1 위치 패턴(PM1)의 대각선 양측 모서리 A와 B**점, 정렬 패턴(AM)의 대각선 양측 모서리를 C**와 D**점이라고 할 때, A에서 C**까지의 거리와 B**에서 D**까지의 거리 곱을 B**에서 C**까지의 거리와 A에서 D**까지의 거리 곱으로 나눈 값은 일정한 값을 갖는 성질을 이용한다.
본 발명의 2차원 코드 인식 및 정보 표시 방법은 전술한 (수학식 1), (수학식 2) 및 (수학식 3)과 대응되는 비조화비(Cross Ratio) 값들을 각 2차원 코드 별로 저장한 다음, 카메라로 촬영된 2차원 코드에 대한 비조화비 값과 비교하여 2차원 코드를 신속하게 인식할 수 있도록 한다.
예를 들어, 2차원 코드가 도 4의 QR 코드인 경우 [버젼 1] 내지 [버젼 40]에 대한 비조화비 값을 저장하고 카메라로 촬영된 2차원 코드의 비조화비 값과 비교하여 2차원 코드를 신속하게 인식하도록 한다.
도 7에 도시된 바와 같이, (수학식 1), (수학식 2) 및 (수학식 3)에 따른 비조화비는 2차원 코드를 구성하는 위치 패턴들과 정렬 패턴들이 기울어졌을 경우에도 변경되지 않는다. 따라서, 본 발명의 2차원 코드 인식 및 정보 표시 방법에서는 카메라를 통해 촬영된 영상에서 임의의 고정 패턴(위치 패턴들과 정렬 패턴)에 대해 비조화비를 구해 기 저장된 비조화비와 비교하여 2차원 코드를 구성하는 패턴들을 추출할 수 있다.
도 1에서 설명한 바와 같이, 촬영된 영상으로부터 고정 패턴들로 구성된 후보구를 검출하면 검출된 고정 패턴에 대해서 전술한 (수학식 1), (수학식 2) 및 (수학식 3)에 따른 비조화비 값을 계산한다.
도 7에서는 제1 위치 패턴(PM1), 제2 위치 패턴(PM2), 제3 위치 패턴(PM3) 및 정렬 패턴(AM)을 표시하였지만 2차원 코드로 인식되기 전까지는 2차원 코드를 구성하는 고정 패턴인지 2차원 코드를 구성하는 고정 패턴이 아닌지를 알 수 없다. 하지만, 설명의 편의상 카메라에 의해 기울어진 상태로 고정 패턴들을 촬영하였고 촬영된 고정 패턴들이 2차원 코드를 구성하는 고정 패턴이라고 취급하여 설명한다.
종래 기술에서와 달리, 본 발명의 2차원 코드 인식 및 정보 표시 방법은 2차원 코드를 구성하는 고정 패턴들을 카메라 초점에 맞추어 정면에서 촬영한 경우뿐 아니라 카메라의 촬영 방향이 소정의 각도로 기울어진 경우에도 2차원 코드를 인식할 수 있다.
도면에 도시된 바와 같이, 2차원 코드를 구성하는 고정 패턴들이 정확하게 정면으로 촬영되지 않은 경우에도 전술한 (수학식 1), (수학식 2) 및 (수학식 3) 중 어느 하나 또는 적어도 하나 이상의 수학식을 적용하여 고정 패턴들의 비조화비 값을 구할 수 있다.
2차원 코드를 구성하는 고정 패턴들이 카메라의 촬영 각도에 비스듬히 촬영되어 제1 위치 패턴(PM1), 제2 위치 패턴(PM2), 제3 위치 패턴(PM3) 및 정렬 패턴(AM)이 정사각형 형태의 구조를 갖지 않는다. 즉, 카메라가 정면에서 고정 패턴들을 촬영하지 않아 고정 패턴의 평면도는 마름모, 사다리꼴 또는 평행사변형 구조를 가질 수 있다.
또한, 제1 내지 제3 위치 패턴(PM1, PM2, PM3)들은 정사각형 구조의 일측 모서리에 제1 위치 패턴(PM1)이 위치하고 이로부터 일변을 따라 제2 위치 패턴(PM2)이 위치한다. 제3 위치 패턴(PM3)은 일변과 인접한 변에 위치한다. 제1 내지 제3 위치 패턴(PM1, PM2, PM3)들과 정렬 패턴(AM)은 정사각형 평면 구조를 갖지만 카메라가 소정의 각도로 촬영을 하는 경우 위치 패턴들의 평면은 마름모 또는 평행변형 구조를 갖는다.
하지만, 제1 위치 패턴(PM1)의 제1변(S1)과 제2 위치 패턴(PM2)의 제3변(S3)이 제1직선(L1)에 위치할 때, 제1직선(L1) 상에 위치한 A1, B1, C1, D1을 통하여 비조화비를 구할 수 있다.
(수학식 1)을 적용하면, 아래와 같이 구할 수 있다.
또한, 제1 위치 패턴(PM1)의 제2변(S2)과 제3 위치 패턴(PM3)의 제4변(S4)이 제2직선(L2)에 위치할 때, 제2직선(L2) 상에 위치한 A1, B2, C2, D2를 통해 비조화비를 구할 수 있다.
(수학식 2)를 적용하면, 아래와 같이 구할 수 있다.
또한, 제1 위치 패턴(PM1)의 대각선과 정렬 패턴(AM)의 대각선이 제3직선(L3)에 위치할 때, 제3직선(L3) 상에 위치한 A1, B3, C3, D3를 통해 비조화비를 구할 수 있다.
(수학식 3)을 적용하면, 아래와 같이 구할 수 있다.
이와 같이, 본 발명의 2차원 코드 인식 및 정보 표시 방법은 2차원 코드를 구성하는 고정 패턴들(위치 패턴들과 정렬 패턴들)이 카메라에 정면에서 정확히 촬영되지 않더라도 2차원 코드 여부를 인식할 수 있다.
이는 비조화비를 구성하는 수식들이 영상 투영시 불변하는 성질을 갖기 때문에 카메라가 다양한 시점에서 고정 패턴들(위치 패널들과 정렬 패턴들)을 촬영하더라도 2차원 코드를 구성하는 고정 패턴들인지 여부를 인식할 수 있다.
이와 같이, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드를 구성하는 고정 패턴들 간의 거리 비를 이용하여 촬영된 2차원 코드가 기울어지거나 일부 패턴이 촬영되지 않는 경우에도 2차원 코드를 추출하고 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 촬영된 영상 내에서 2차원 코드를 구성하는 고정 패턴들만을 추출한 후 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드에 대한 카메라의 촬영 각도에 관계없이 2차원 코드와 관련없는 고정 패턴들은 제거하고 2차원 코드와 관련된 고정 패턴들만 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 카메라로 촬영된 영상에서 2차원 코드를 추출하고 인식한 후에 2차원 코드와 대응되는 3차원 가상 객체를 증강 현실로 표시하도록 한 효과가 있다.
도 8 및 도 9는 2차원 코드 중 아즈텍(Aztec) 코드 및 퀵마커(Quickmark) 코드를 도시한 것이다. 아즈텍 코드의 경우에도 고정 패턴에 대해 (수학식 1), (수학식 2) 및 (수학식 3)과 유사하게 비조화비를 구할 수 있는 수식을 설정하여 도 1 내지 도 7에서 설명한 방식에 따라 2차원 코드를 인식할 수 있다.
퀵마커 코드의 경우에도 도면에 도시된 바와 같이, A, B, C, D 점들과 A, B*, C*, D*점들을 이용하여 비조화비를 구할 수 있는 수식을 설정하여 도 1 내지 도 7에서 설명한 방식에 따라 2차원 코드를 인식할 수 있다.
도 10a 및 도 10b를 참조하면, 본 발명의 2차원 코드 인식 및 정보 표시 방법은 사용자의 모바일 단말기에 배치된 카메라를 통해 신발을 촬영하고, 모바일 단말기에 배치된 디스플레이를 통해 신발이 표시된다.
이때, 중앙의 원 영역에서는 촬영된 영상으로부터 2차원 코드를 구성할 것으로 판단되는 고정 패턴들의 후보군이 표시된다. 카메라는 신발에 부착된 2차원 코드를 직접적으로 정면에서 촬영한 것이 아니기 때문에 촬영된 영상으로부터 2차원 코드를 구성할 것으로 예측되는 고정 패턴들은 도 7에서 설명한 바와 같이, 고정 패턴들은 정사각형 형태가 아니라 마름모 또는 평행사변과 같은 형태를 갖는다.
하지만, 본 발명의 2차원 코드 인식 및 정보 표시 방법에서는 도 7에서 설명한 바와 같이, 비조화비를 구성하는 (수학식 1), (수학식 2) 및 (수학식 3)을 적용하여 중앙 원 상에 표시되는 고정 패턴들의 비조화비를 계산한다.
계산된 비조화비의 값이 기 저장된 2차원 코드의 비조화비의 값과 차이가 기준 범위 이내일 경우에는 2차원 코드로 인식하고 기준 범위를 넘어설 경우에는 2차원 코드를 구성하지 않는 고정 패턴들로 판단하여 소거한다.
이와 같이, 2차원 코드를 구성하는 고정 패턴들로 인식되면 비조화비를 구하기 위해 인식된 고정 패턴을 구성하는 정보를 이용하여 신발에 대한 증강 현실 처리 작업을 진행한다.
따라서, 도 10b에 도시된 비와 같이, 추출된 고정 패턴들이 2차원 코드로 인식될 경우, 2차원 코드를 구성하는 정보를 이용하여 신발을 3차원(3D) 형태로 디스플레이 영역에 표시한다. 이때, 2차원 코드에 포함된 다른 정보들은 3차원 형태로 표시되는 신발과 함께 텍스트 형태로 함께 표시할 수 있다.
이와 같이, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드를 구성하는 고정 패턴들 간의 거리 비를 이용하여 촬영된 2차원 코드가 기울어지거나 일부 패턴이 촬영되지 않는 경우에도 2차원 코드를 추출하고 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 촬영된 영상 내에서 2차원 코드를 구성하는 고정 패턴들만을 추출한 후 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 2차원 코드에 대한 카메라의 촬영 각도에 관계없이 2차원 코드와 관련없는 고정 패턴들은 제거하고 2차원 코드와 관련된 고정 패턴들만 인식할 수 있도록 한 효과가 있다.
또한, 본 발명의 2차원 코드 인식 및 정보 표시 방법은, 카메라로 촬영된 영상에서 2차원 코드를 추출하고 인식한 후에 2차원 코드와 대응되는 3차원 가상 객체를 증강 현실로 표시하도록 한 효과가 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
200: 2차원 코드 인식 및 정보 표시 장치
210: 디스플레이 유닛
220: 카메라 유닛
250: 정보 인식 유닛
260: 증강 현실 유닛
251: 검출부
252: 계산 및 비교부
253: 결정부
210: 디스플레이 유닛
220: 카메라 유닛
250: 정보 인식 유닛
260: 증강 현실 유닛
251: 검출부
252: 계산 및 비교부
253: 결정부
Claims (10)
- 카메라 유닛 및 디스플레이 유닛을 구비한 2차원 코드 인식 및 정보 표시장치를 이용하여 2차원 코드를 인식하는 방법에 관한 것으로서,
카메라로 촬영된 영상을 흑백으로 변환하는 단계;
상기 흑백으로 변환된 영상으로부터 복수의 2차원 코드의 고정 패턴 후보군을 검출하는 단계;
상기 검출된 고정 패턴 후보군에 대해 비조화비 값을 계산하는 단계;
상기 계산된 비조화비 값과 기저장된 2차원 코드의 비조화비 값을 비교하는 단계;
상기 계산된 비조화비 값과 기저장된 2차원 코드의 비조화비 값의 차이가 기설정된 기준값 이내인지를 판단하는 단계;
상기 비조화비 값의 차이가 상기 기설정된 기준값을 벗어나는 검출된 고정 패턴 후보군을 2차원 코드 검출 후보군에서 소거하고, 상기 비조화비 값의 차이가 상기 기설정된 기준값 이내인 경우에는 검출된 고정 패턴 후보군을 2차원 코드로 검출을 수행하는 단계;
상기 검출된 2차원 코드에 대응하는 정보를 이용하여 증강 현실 처리를 수행하는 단계; 및
상기 디스플레이에 표시되는 상기 카메라로 촬영된 영상 내에서 상기 검출된 2차원 코드와 대응되는 3차원 가상 객체를 3차원 증강 현실로 표시하고 상기 검출된 2차원 코드에 포함된 정보는 텍스트 형태로 함께 표시하는 단계를 포함하고,
상기 비조화비 값을 계산하는 단계는,
상기 검출된 각각의 고정 패턴 후보군은 제1 위치 패턴, 제2 위치 패턴, 제3 위치 패턴 및 상기 제1 위치 패턴의 대각선 방향에 위치하는 정렬 패턴을 포함하고, 이들은 소정의 각도로 촬영되어 마름모, 사다리꼴 또는 평행사변형 형태의 평면 구조를 갖으며,
상기 제1 위치 패턴의 4변 중 인접한 두 변을 제1변(S1)과 제2변(S2)이라고 할 때, 상기 제1변(S1)과 동일 직선 상에 놓이는 상기 제2 위치 패턴의 제3변(S3)에서 제1변(S1)과 제3변(S3)의 모서리 점들을 각각 A1, B1, C1, D1이라고 할 때, 아래 수학식 1에 의해 제1 비조화비를 계산하는 단계와,
........................(수학식 1)
상기 제2변(S2)과 동일 직선 상에 놓이는 상기 제3 위치 패턴의 제4변(S4)에서 제2변(S2)과 제4변(S4)의 모서리 점들을 각각 A1, B2, C2, D2라고 할 때, 아래 수학식 2에 의해 제2 비조화비를 계산하는 단계와,
.......................(수학식 2)
상기 제1 위치 패턴과 정렬 패턴을 잇는 대각선 상에 위치하는 제1 위치 패턴과 정렬 패턴의 모서리 영역의 점들을 각각 A1, B3, C3, D3라고 할 때, 아래 수학식 3에 의해 제3 비조화비를 계산하는 단계를 포함하며,
....................(수학식 3)
상기 계산된 제1, 제2 및 제3 비조화비 값과 이들과 각각 대응되는 기저장된 2차원 코드의 비조화비 값의 차이가 모두 상기 기설정된 기준값 이내인 경우 2차원 코드로 검출하는
2차원 코드 인식 및 정보 표시 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 2차원 코드 인식 및 정보 표시 장치는, 2차원 코드의 고정 패턴 후보군을 검출하고 인식하는 정보 인식 유닛과,
상기 정보 인식 유닛을 통해 인식된 2차원 코드에 대해 증강 현실 처리를 수행하는 증강 현실 유닛을 더 포함하는
2차원 코드 인식 및 정보 표시 방법. - 제 8 항에 있어서,
상기 정보 인식 유닛은,
실시간 촬영되는 영상에서 복수의 2차원 코드의 고정 패턴 후보군을 검출하고,
상기 복수의 고정 패턴 후보군에서 적어도 둘 이상의 2차원 코드를 검출하고,
상기 증강 현실 유닛은,
상기 복수의 2차원 코드 각각에 매칭된 가상 객체를 검출하고,
상기 복수의 2차원 코드 각각에 매칭된 가상 객체를 기초로 상기 실시간 촬영되는 영상을 증강하여 3차원 증강현실들을 제공하는
2차원 코드 인식 및 정보 표시 방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200169192A KR102248858B1 (ko) | 2020-12-07 | 2020-12-07 | 2차원 코드 인식 및 정보 표시 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200169192A KR102248858B1 (ko) | 2020-12-07 | 2020-12-07 | 2차원 코드 인식 및 정보 표시 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102248858B1 true KR102248858B1 (ko) | 2021-05-06 |
Family
ID=75915977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200169192A KR102248858B1 (ko) | 2020-12-07 | 2020-12-07 | 2차원 코드 인식 및 정보 표시 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102248858B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160035290A (ko) | 2014-09-23 | 2016-03-31 | 경희대학교 산학협력단 | 2차원 코드 인식률 향상 방법, 서버 및 컴퓨터 프로그램 |
| KR20200012818A (ko) * | 2019-11-28 | 2020-02-05 | 한국건설 주식회사 | 건물체의 외부 형상화 qr코드 인식 기반 건물 관련정보 제공시스템 |
-
2020
- 2020-12-07 KR KR1020200169192A patent/KR102248858B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160035290A (ko) | 2014-09-23 | 2016-03-31 | 경희대학교 산학협력단 | 2차원 코드 인식률 향상 방법, 서버 및 컴퓨터 프로그램 |
| KR20200012818A (ko) * | 2019-11-28 | 2020-02-05 | 한국건설 주식회사 | 건물체의 외부 형상화 qr코드 인식 기반 건물 관련정보 제공시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11818303B2 (en) | Content-based object detection, 3D reconstruction, and data extraction from digital images | |
| US10885644B2 (en) | Detecting specified image identifiers on objects | |
| US11620733B2 (en) | Content-based object detection, 3D reconstruction, and data extraction from digital images | |
| US9033238B2 (en) | Methods and arrangements for sensing identification information from objects | |
| Matas et al. | Local affine frames for wide-baseline stereo | |
| CN106897648B (zh) | 识别二维码位置的方法及其系统 | |
| Zandifar et al. | A video-based framework for the analysis of presentations/posters | |
| WO2003001435A1 (en) | Image based object identification | |
| Zhang et al. | Fine localization and distortion resistant detection of multi-class barcode in complex environments | |
| Guo et al. | Robust object matching for persistent tracking with heterogeneous features | |
| Zamberletti et al. | Neural 1D barcode detection using the Hough transform | |
| CN110415425B (zh) | 基于图像的硬币检测及识别方法、系统及存储介质 | |
| Zhang et al. | Fine detection and classification of multi-class barcode in complex environments | |
| Lin et al. | Automatic location for multi-symbology and multiple 1D and 2D barcodes | |
| CN113393506B (zh) | 图像配准方法及相关装置、设备 | |
| KR102248858B1 (ko) | 2차원 코드 인식 및 정보 표시 방법 | |
| KR102248885B1 (ko) | 복수의 2차원 코드 인식 및 정보 표시 방법 | |
| CN113469216B (zh) | 零售终端海报识别与完整性判断方法、系统及存储介质 | |
| Karrach et al. | Comparing the impact of different cameras and image resolution to recognize the data matrix codes | |
| JP2002109539A (ja) | 画像撮影手段の位置姿勢検出装置、３次元物体認識装置および地図特徴データ作成方法 | |
| Chen et al. | Multi Barcode Scanning and Decoding Technology Based on AR Smart Glasses. | |
| US12131220B2 (en) | Method for recognizing 2D code information | |
| US20230137300A1 (en) | Advanced hough-based on-device document localization | |
| Dai et al. | Line segment grouping and linking: a key step toward automated photogrammetry for non-contact site surveying | |
| Tseng et al. | Retrospective tracking for barcode reading |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |