KR20120076541A - 증강 현실 코드를 이용한 광고 방법 및 그 시스템 - Google Patents

Abstract

증강 현실 코드를 이용한 광고 방법이 개시된다. 상기 방법은 단말에 설치된 Augmented Reality(AR) 코드 응용 프로그램이 TV 화면을 통하여 디스플레이되는 TV 영상에 삽입된 AR 코드를 캡처링하는 단계와, 상기 AR 코드 응용 프로그램이 상기 AR 코드로부터 ID를 추출하는 단계와, 상기 AR 코드 응용 프로그램이 추출된 ID를 플랫폼으로 전송하는 단계와, 상기 AR 코드 응용 프로그램이 상기 플랫폼으로부터 전송되고 상기 ID에 매치되는 광고 정보를 상기 단말의 디스플레이 장치를 이용하여 디스플레이하는 단계를 포함한다.

Description

증강 현실 코드를 이용한 광고 방법 및 그 시스템{ADVERTISING METHOD USING AUGMENTED REALITY CODER AND SYSTEM THEREOF}

본 발명의 개념에 따른 실시 예는 데이터 처리 방법에 관한 것으로, 특히 증강 현실 마커를 이용한 광고 방법과 그 시스템에 관한 것이다.

증강 현실(Augmented Reality(AR))은 가상 현실(Virtual Reality)의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.

쇼핑에 AR기술을 접목시켜 웹(web)상에서 오프라인처럼 제품을 체험해 볼 수 있도록 하는 기술이 개발되고 있다.

본 발명이 이루고자 하는 기술적인 과제는 AR 코드를 포함하는 특정 콘텐츠를 카메라와 같은 이미지 촬영 장치를 이용하여 캡처하고 캡처된 이미지에 포함된 AR 코드로부터 데이터를 추출하고 추출된 데이터를 이용하여 광고를 할 수 있는 방법과 상기 방법을 수행할 수 있는 시스템을 제공하는 것이다.

본 발명의 실시 예에 따른 증강 현실 코드를 이용한 광고 방법은 단말에 설치된 Augmented Reality(AR) 코드 응용 프로그램이 TV 화면을 통하여 디스플레이되는 TV 영상에 삽입된 AR 코드를 캡처링하는 단계와, 상기 AR 코드 응용 프로그램이 상기 AR 코드로부터 ID를 추출하는 단계와, 상기 AR 코드 응용 프로그램이 추출된 ID를 플랫폼으로 전송하는 단계와, 상기 AR 코드 응용 프로그램이 상기 플랫폼으로부터 전송되고 상기 ID에 매치되는 광고 정보를 상기 단말의 디스플레이 장치를 이용하여 디스플레이하는 단계를 포함한다.

상기 AR 코드 응용 프로그램은 TV로부터 출력된 알림에 응답하여 실행되고, 상기 알림은 가청 주파수보다 높은 고주파이다.

상기 AR 코드로부터 ID를 추출하는 단계는 문턱(thresholding) 기술을 이용하여 상기 AR 코드로부터 상기 ID를 추출한다.

상기 AR 코드로부터 ID를 추출하는 단계는 문턱(thresholding) 기술을 이용하여 캡처된 TV 영상으로부터 사각형 형태의 이미지로부터 캡쳐된 상기 AR 코드를 추출하는 단계와, 추출된 AR 코드로부터 3개의 기준점들(reference points)을 찾는 단계와, 상기 3개의 기준점들을 이용하여 상기 ID를 포함하는 데이터 영역을 찾는 단계와, 상기 데이터 영역에 가상의 그리드(grid)를 생성하고 상기 생성된 그리드에 포함된 다수의 단위 점들 각각에 상응하는 색상값으로부터 각각의 단위 데이터를 추출하는 단계와, 상기 각각의 단위 데이터를 시리얼라이즈하여 상기 ID를 추출하는 단계를 포함한다.

본 발명의 실시 예에 따른 증강 현실 코드를 이용한 광고 방법은 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다.

본 발명의 실시 예에 따른 증강 현실 코드를 이용한 광고 방법을 수행할 수 있는 시스템은 내장된 증강 현실(Augmented Reality(AR)) 코드 응용 프로그램을 이용하여 TV 화면을 통하여 디스플레이되는 TV 영상에 삽입된 AR 코드를 캡처링하기 위한 사용자 단말과, 상기 사용자 단말로부터 출력된 ID에 따라 데이터베이스에 저장되고 상기 ID에 매치되는 광고 정보를 상기 단말로 전송하기 위한 서버를 포함하며, 상기 사용자 단말은 캡쳐된 TV 영상에 포함된 상기 AR 코드로부터 상기 ID를 추출하고, 추출된 ID를 상기 서버로 전송하고, 수신된 광고 정보를 상기 단말의 디스플레이 장치를 이용하여 디스플레이한다.

상기 단말은 문턱(thresholding) 기술을 이용하여 캡처된 TV 영상으로부터 사각형 형태의 이미지로부터 캡쳐된 상기 AR 코드를 추출하고, 추출된 AR 코드로부터 3개의 기준점들(reference points)을 찾고, 상기 3개의 기준점들을 이용하여 상기 ID를 포함하는 데이터 영역을 찾고, 상기 데이터 영역에 가상의 그리드(grid)를 생성하고 상기 생성된 그리드에 포함된 다수의 단위 점들 각각에 상응하는 색상값으로부터 각각의 단위 데이터를 추출하고, 상기 각각의 단위 데이터를 시리얼라이즈하여 상기 ID를 추출한다.

본 발명의 실시 예에 따른 광고 방법과 상기 방법을 실행할 수 있는 시스템은 AR 코드를 포함하는 특정 콘텐츠를 카메라와 같은 이미지 촬영 장치를 이용하여 캡처하고 캡처된 이미지에 포함된 AR 코드로부터 데이터를 추출하고 추출된 데이터를 이용하여 광고를 할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 시스템의 블록도를 나타낸다.
도 2는 도 1에 도시된 사용자 단말에서 수행되는 애플리케이션의 동작 방법을 설명하기 위한 플로우차트이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 시스템의 블록도를 나타낸다.

도 1을 참조하면, 시스템(10)은 사용자 단말(20), 영상 디스플레이 장치 (30), 및 서버(40)를 포함한다.

사용자 단말(20)은 카메라가 부착된 이동 통신 단말을 의미하는 것으로서, 이동 전화기, 스마트폰, 태블릿(tablet) PC, 또는 PDA(personal digital assistant) 등을 의미한다.

사용자 단말(20)에는 본 발명의 실시 예에 따른 증강 현실(Augmented Reality(AR)) 마커 (또는 증강 현실 코드)를 이용하여 데이터를 처리할 수 있는 클라이언트 애플리케이션이 설치되어 있다.

AR 마커 또는 AR 코드는 특정한 정보를 나타낼 수 있는 2차원 또는 3차원 형태의 코드, 예컨대 바코드와 같은 형태를 의미하며 백색이면 데이터 0을 의미하고 검은색이면 데이터 1을 의미할 수 있다.

본 발명의 실시 예에 따른 AR코드는 이차원의 특별한 문양으로 상기 문양을 해석하여 상기 문양에 저장된 정보를 읽을 수 있다.

AR 코드는 데이터를 자체를 저장하거나 또는 특별한 값(ID)을 저장하는 것 모두 가능하지만 선호되는 방법은 ID를 저장하는 것이다. 상기 ID는 숫자와 문자를 조합하여 만들 수 있지만 선호되는 방법은 숫자로만 이루어진 값이다.

예컨대, '34242321'와 같고 해상도를 조정하여 AR 코드에 저장되는 ID의 크기를 조정하는 것이 가능하다. 간단히 말해 AR 코드를 조밀하게 만들면 더욱 큰 값의 ID를 저장할 수 있다. 그러나, 이런 경우 AR 코드를 인식을 위한 카메라와 AR코드 사이의 거리는 짧아진다.

AR 코드의 특징은 다음과 같다.

기존 2D 바코드에 비하여 빠르게 디코딩이 가능하다. 빠르게 디코딩할 수 있는 이유는 레퍼런스 포인트(reference points)로 단일 사각형을 이용하기 때문이다. QR 코드의 경우 하나의 레퍼런스 포인트에 2개의 사각형을 이용하기 때문에 AR 코드보다 더 많은 연산을 해야 한다.

움직이는 바코드도 트래킹이 가능하다. 왜냐하면 마커를 트래킹하기위해서는 많은 연산이 필요한데 만약 AR 코드 디코딩에 많은 시간이 소요된다면 트래킹을 할 시간이 없기 때문이다. 실시간으로 카메라에서 입력되는 화면을 분석하는 동시에 카메라 입력화면에 무엇인가를 합성해서 보여줘야 하는데 계산량이 많아서 시간이 많이 걸린다면 이는 카메라 입력화면과 동기화가 제대로 이루어지지 않기 때문이다. QR 코드의 경우 연산이 많기 때문에 계산 시간이 길어서 바코드 트래킹이 매우 힘들다. 그래서 QR 코드는 디코딩 후 마커를 추적하는 등의 기능은 없다.

또한 AR 코드는 코드 자체의 형태를 변화시키는 것이 용이하다.

3개의 레퍼런스 마크만 있으면 되므로 레퍼런스 마크의 상대적인 위치만 변경하지 않으면 마커의 모양을 변형시키기가 용이하다.

노이즈에 강하다. AR 코드는 레퍼런스 마크로 사각형을 사용하므로 빠르게 레퍼런스 마크를 찾을 수 있다. 찾아진 레퍼런스 마크의 중심점을 데이터를 디코딩하기 위한 기준점으로 사용하는데, 레퍼런스 마크의 무게 중심을 이용하는 것이 라인 피팅을 이용하는 것보다 (위치 정밀도에서) 노이즈에 강인하다.

원거리에서 인식이 가능하다. AR 코드는 기존의 마커 시스템에 비해 위치 정밀도를 높일 수 있어 마크가 작게 보여도 디코딩 정밀도가 올라간다. 마커가 움직여도 디코딩이 가능하다. 마커가 움직여 블러(blur)가 발생하더라도 검은색 사각형을 사용하는 것이 다른 형태의 레퍼런스 포인러를 사용하는 것보다 블러에 강인하다.

영상 디스플레이 장치(30)는 증강 현실 코드를 포함하는 콘텐츠, 예컨대 정지 영상 또는 동영상을 디스플레이할 수 있는 장치를 의미하는 것으로서, 디지털 TV를 의미할 수 있다.

서버(40)는 사용자 단말(20)로부터 출력된 데이터, 예컨대 ID를 수신하고 수신된 데이터에 매치되는 데이터, 예컨대 광고 데이터를 데이터베이스(42)로부터 서치하고 서치된 광고 데이터를 사용자 단말(20)로 전송할 수 있는 데이터 처리 장치를 의미한다.

예컨대, 디지털 TV를 시청하던 사용자가 TV 영상(32)에 포함된 AR 마커(34)를 사용자 단말(20)의 카메라를 이용하여 캡처하고 캡쳐된 TV 영상에 포함된 AR 마커(34)로부터 데이터, 즉 ID를 추출하고 추출된 ID를 무선 통신 네트워크를 서버 (40)로 전송한다.

AR 마커(34)는 영상 디스플레이 장치(30)를 통하여 디스플레이되는 상품 또는 서비스에 관련된 정보를 포함할 수 있다. 즉, AR 마커(34)는 간접 광고(Product Placement(PPL))에 대한 상세 정보를 포함하고 있으므로 다음과 같은 과정을 통하여 사용자는 상세 광고 정보를 볼 수 있다.

간접 광고는 상품 또는 서비스에 대한 광고를 TV 영상을 통하여 직접 방송하는 것이 아니라 방송 도중에 간접적으로 상기 상품 또는 상기 서비스를 노출시켜 상기 사용자의 흥미를 유발하는 광고 기업이다.

예컨대, 드라마에서 가구가 방영되는 도중에 또는 방영되지 이전에 상기 가구에 대한 상세 정보, 예컨대 제작자, 규격, 연락처, 홈 페이지, 또는 가격 등에 대한 상세 정보를 얻고자하는 사용자에게 상기 상세 정보를 얻을 수 있도록 하기 위한 AR 마커(34)를 상기 드라마에 삽입하여 상기 드라마와 함께 방송할 수 있다.

따라서, 서버(40)는 데이터베이스(42)로부터 추출된 ID에 매치되는 광고 데이터, 예컨대 상기 가구에 대한 상세 정보를 리드하고 리드된 광고 데이터를 무선 통신 네트워크를 통하여 사용자 단말(20)로 전송한다. 사용자 단말(20)은 수신된 광고 데이터를 디스플레이 장치를 통하여 디스플레이한다.

따라서, 사용자는 시청중인 드라마에서 간접 광고 형식으로 방영된 가구에 대한 상세 정보, 예컨대 제작자, 규격, 연락처, 홈페이지, 또는 가격 등에 대한 정보를 사용자 단말(20)을 통하여 보고 마음에 드는 경우 구매할 수 있는 정보를 얻을 수 있는 효과가 있다.

실시 예에 따라, 방송 사업자는 AR 마커(34)가 영상 디스플레이 장치(30)를 통하여 디스플레이되기 전에 곧이어 AR 마커(34)가 디스플레이됨을 시각적으로 알릴 수 있다.

즉, 방송 사업자는 AR 마커(34)가 디스플레이되기 이전에 특정한 GUI (graphic user interface)를 영상 디스플레이 장치(30) 상에서 점멸될 수 있도록 하거나 또는 AR 마커(34) 디스플레이 예고 문자가 디스플레이될 수 있도록, TV 신호를 제작할 수 있다.

따른 실시 예에 따라 방송 사업자는 AR 마커(34)가 디스플레이되기 이전에 음향 장치(36), 예컨대 스피커를 통하여 사용자의 귀에는 들리지 않음과 동시에 만일 상기 사용자의 귀에 들린다 하더라도 상기 사용자에게 불쾌감을 주지 않는 주파수를 갖는 신호를 상기 스피커를 통하여 사용자 단말(20)로 전송할 수 있다.

이때 사용자 단말(20)은 상기 신호에 응답하여 사용자에게 알림 메시지를 알릴 수 있다. 따라서, 사용자는 AR 마커(34)를 캡쳐할 준비를 할 수 있다.

실시 예에 따라 사용자 단말(20)에 설치된 클라이언트 애플리케이션은 상기 신호에 응답하여 활성화, 예컨대 카메라를 이용한 촬영 대기 모드로 진입할 수 있다.

도 2는 도 1에 도시된 사용자 단말에서 수행되는 애플리케이션의 동작 방법을 설명하기 위한 플로우차트이다.

우선, AR 코드 애플리케이션은 PC, 태블릿(tablet) PC, 스마트폰 (smartphone)과 같은 기기에서 동작하는 응용 프로그램을 의미한다.

상기 응용 프로그램은 사용자가 응용 프로그램이 동작하는 장치에 부착된 카메라, 혹은 전송된 이미지에 들어있는 AR 코드를 찾아내고 이를 인식해(decode)해서 AR 코드의 ID값을 검출한다. 검출된 ID는 AR 코드 플랫폼(platform)으로 네트웍 혹은 유사한 방법을 이용해 전송하고 플랫폼(platoform)에 저장된 데이터를 전송받고 이를 적당히 처리하여 AR 코드 애플리케이션이 실행되는 기기에 표시해주는 역할을 한다.

사용자의 설정에 따라 AR 코드가 표시된 또는 삽입된 콘텐츠가 표시되기 전에 문자나 사운드 등을 통하여 미리 알려주는 것도 가능하다.

응용 프로그램은 데이터의 표시 형식으로 보면 2D와 3D표현이 모두 가능하다. 2D의 경우에는 데이터의 표시가 이차원적으로 표시되기 때문에 평면적으로 보이지만, 3D의 경우에는 입체적으로 표시해 실제감과 시각적 충적(visual impact)를 강하게 할 수 있다.

3D로 표시하는 경우에는 응용 프로그램이 실행되는 장치의 거리와 AR 코드의 거리에 따른 원근감을 표시하거나 AR 코드와 영상 입력 장치와의 각도에 따라 3D 데이터의 표시에 기울기를 적용할 수 있다. 예컨대, 카메라를 왼쪽으로 기울이면 3D오브젝트 역시 왼쪽으로 기울게 보여주고 카메라와 AR 코드 사이의 거리가 멀어지면 3D 오브젝트가 작게 표시되는 것이다.

사용자는 응용 프로그램에서 제공되는 기능들을 클릭 혹은 터치 등의 방법으로 실행시키는 것도 가능하기 때문에 단방향이 아닌 양방향의 사용자 인터페이스를 구성하는 것이 가능하다.

AR 코드를 갖는 컨텐츠(contents with AR code)는 AR 코드가 삽입된 혹은 합성된 콘텐츠로 형태는 음성이 아닌 시각적인 콘텐츠를 대상으로 한다. 이유는 AR 코드의 인식을 위해서는 카메라와 같은 외부 입력 장치 혹은 이미지에서 영상 인식을 통해 ID를 추출하기 때문이다.

콘텐츠의 형태는 포스터, 웹사이트, TV 프로그램 등 눈으로 확인 가능한 모든 것이 될 수 있다. AR 코드가 삽입 가능한 모든 형태의 영상 자료가 컨텐츠 (contents) 대상이다.

AR 코드의 삽입 위치와 크기, 제한적인 색상의 선택, 그리고 영상의 선택은 이를 활용하는 사람이 필요에 따라 선택할 수 있다.

AR 코드 플렛폼은 일종의 서버로 AR 코드 응용 프로그램이 정보를 표시하기 위해 필요한 모든 것을 가지고 있으며 이를 사용자가 지정할 수도 있다.

AR 코드 플랫폼은 서비스를 제공하는 서버와 같은 물리적 장치뿐만 아니라 해당 서버를 특정기능을 하도록 만드는 소프트웨어 역시 포함하는 총괄적인 것을 의미한다.

상기 플랫폼의 첫 번째 기능은 AR 코드 응용 프로그램이 특정 ID를 이용해 정보를 요청했을 때 그 ID에 저장되어 있는 데이터를 해당 응용프로그램에 약속된 형태로 전달해준다. 데이터는 굉장히 다양한 형태가 될 수 있다. 단순한 텍스트일 수도 있고 , 그림이나 사진, 사운드, 3D 이미지, 동영상 등 인터넷에서 활용되는 모든 데이터 형태를 포함한다.

또한, 조금 다른 형태의 데이터를 포함할 수도 있는데 그것은 사용자와 interactive한 UI를 만들어 주는 것이다. 예컨대, 플랫폼에서 전송되는 데이터가 사용자가 자신의 의견을 작성하고 이를 정해진 방법에 따라 처리하는 것이 될 수도 있고 제품 구매에 대한 의사나 자신이 보고 있는 내용을 다른 사람에게 보내는 등의 것이다. 즉 단순히 정보를 표시하는 것뿐만이 아니라 사용자가 어떤 기능을 할 수 있도록 구성하는 것도 가능하다.

플랫폼의 두 번째 기능은 AR 코드의 ID가 전달되었을 때 보여질 데이터를 사용자가 직접 입력하고 이를 제어할 수 있도록 사용자 인터페이스를 제공하는 것이다. 이 UI를 이용했을 때 사용자는 자신의 의사대로 AR 코드를 생성하고 이를 자신이 원하는 콘텐츠에 삽입할 수 있고 더 나아가 AR 코드 응용 프로그램에서 어떠한 형태의 콘텐츠가 어떻게 보여질 수 있는지를 개발자와 플랫폼 운영자에게 도움을 청하지 않고 스스로 결정할 수 있다. 정해진 UI에 따라 플랫폼을 이용하면 되는 것이다.

플랫폼의 세 번째 기능은 AR 코드 응용 프로그램 사용자가 AR 코드를 활용한 기록에 대한 자료를 바탕으로 통계 혹은 데이터 마이닝 기법을 활용하여 의미 있는 자료를 생성하는 것, 즉 리포팅을 의미한다. 예를 들어 광고주 A가 자신의 광고를 누가, 언제, 어디서, 무엇을 보았냐에 대한 보고서를 제공할 수 있는 것이다. 응용프로그램에서 사용자가 동의한다면 성별, 연령 등의 정보를 결합하여 광고주에게 더욱 의미있는 정보를 생산해 내는 것도 가능하다.

광고주는 이를 통해 광고의 효과측정 및 자신의 고객이 될 만한 사람들을 더욱 정밀하게 타켓팅(targeting)하는 것도 가능하다.

플랫폼의 네 번째 기능은 공동 구매 기능이다. AR 코드가 삽입된 콘텐츠를 통하여 물건 혹은 서비스의 판매가 가능한 것이라면 단순히 해당 제품에 대한 광고를 보여주는 것뿐만이 아니라 이를 공동 구매(social commerce)의 형태로 구매로 이어지게 하는 것도 가능하다. 광고주의 의지에 따라 다양한 판매옵션을 설정하는 것도 가능하다. 예를 들어 구매자 수에 따라 할인율(discount rate)를 설정하거나 특별한 선물을 주는 형태의 행위가 가능하다.

이 경우 결제시스템과의 연동이 필요하지만 이도 역시 플랫폼에서 모두 처리가능하도록 할 수 있다.

도 1과 도 2를 참조하여 사용자가 AR 마커(34)를 이용하여 TV 간접 광고에 방송된 상품 또는 서비스에 대한 상세 정보를 얻는 과정을 상세히 설명하면 다음과 같다.

AR 코드 응용 프로그램이 스마트폰과 같은 기기에서 실행된다(S12).

사용자는 특정 콘텐츠, 예컨대 TV 프로그램에서 AR 코드(34)를 발견하고 응용 프로그램이 실행되는 사용자 단말(20)의 카메라로 AR 코드(34)를 비춘다.

방송 사업자는 응용 프로그램으로 푸시 알림(push notification)을 선택적으로 실시할 수 있다(S10). 상기 푸시 알림은 메시지 형태 또는 사운드 형태를 이용하여 사용자에게 미리 알려 TV 프로그램에 포함된 AR 코드를 카메라로 비추도록 유도한다.

AR 코드 응용 프로그램이 카메라를 통하여 입력된 화면을 캡처링(capture)한다(S14). 예컨대, 동작하는 기기에서 제공하는 라이브러리를 이용하거나 직접 화면 이미지를 가지고 있는 메모리를 액세스하여 입력 화면을 얻어온다.

문턱(thresholding) 기술을 적용해 입력된 화면을 흑백의 단순화된 이미지로 변환한다(S16). 일반적인 환경에서는 입력된 화면이 칼라이고 또한 상기 화면에 갖가지 노이즈들이 있기 때문에 문턱(thresholding) 기술을 이용하여 색상과 명도값이 일정 값 이상인 픽셀과 그렇지 않은 픽셀로 만들어 단순화한다. 이렇게 한 경우 단순화되고 이미지상에 존재하는 물체를 쉽게 식별할 수 있게 된다.

이런 과정을 거친 이미지의 경우 흑백 사진처럼 검은색과 흰색의 2가지 색상이 존재한다.

문턱 기술에서 중요한 사항은 문턱을 위한 기준값을 어떻게 찾을 것인가가 매우 중요하다. 적절치 않은 문턱값을 가지게 되면 그 결과물이 원하는 물체가 제대로 나타나지 않아 영상 인식이 제대로 되지 않기 때문이다. 정해진 값을 입력하는 경우에는 카메라를 비추는 상황에 따라 매우 다른 결과가 나올 수가 있어 일정한 수준을 기대하기가 힘들다. 따라서 본발명에서는 적절한 문턱값을 확보된 영상에서 스스로 찾아낼 수 있는 적응적 문턱 알고리즘(adaptive thresholding algorithm)을 사용한다.

이 방법을 이용하면 사용자가 값을 지정하지 않더라도 입력된 영상을 활용하여 적절한 값을 스스로 계산한다.

문턱 기술을 이용하여 획득된 이미지에서 레퍼런스 포인트의 후보가 되는 사각형태의 이미지들을 찾는다(S18).

문턱 기술을 이용하여 획득된 이미지에서 외곽선을 추출하여 사각형 행태의 물체들을 찾는다.

사각형을 찾는 방법은 하나의 모서리를 찾고 그 모서리 근처에 있는 다른 모서리를 찾는다. 그리고 해당 모서리와 기준이 되는 모서리가 같은 선상에 있는지를 계산한다. 즉 해당 픽셀들이 계속 같은 검은색 값을 가지고 있느지를 확인한다.

같은 선상에 있을 경우 같은 방법으로 기준점에서 90도로 꺽어진 곳에서 연장선상에 모서리가 있는지 찾는다. 만약 해당 모서리를 찾은 경우 같은 방법으로 확인한 후에 마지막 점은 3개의 점을 바탕으로 계산하여 그 위치의 모서리를 찾는다. 이렇게 4개의 모서리가 모두 연결되어 있다면 이것은 사각형이다.

찾아진 레퍼런스 포인트 후보군들을 점검하여 3개의 레퍼런스 포인트를 찾는다. 위의 방법을 통하여 모든 사각형 후보군을 찾으면 그 후에 레퍼런스 포인트의 특징인 무게 중심에 점이 존재하는지를 파악한다. 무게 중심은 사각형 내의 모든 픽셀을 검사할 필요없이 정해진 위치인 무게 중심 위치에 존재하는 픽셀의 색깔값을 파악하는 매우 빠르게 처리할 수 있다. 이 같은 방식으로 3개의 레퍼런스 포인트를 모두 찾는다. 만약 3개의 레퍼런스 포인트를 찾지 못하는 경우에는 영상인식을 중지한다.

3개의 레퍼런스 포인트를 이용해 데이터(ID)를 포함하고 있는 데이터(body)영역을 찾는다(S20). 3개의 레퍼런스 포인트의 위치를 이용해 가능한 데이터 영역(body)을 찾는다. 레퍼런스 마크 사이에 있는 스케일 팩터를 찾는다.

데이터 영역은 레퍼런스 포인트의 크기와 각도에 따라 결정되기 때문에 3개의 레퍼런스 포인트를 어떻게 배치하느냐에 따라 데이터 영역이 달라질 수 있다.

이는 항상 일정한 위치에 레퍼런스 포인트를 배치해야 하는 QR 코드와는 다른 큰 차이점이다.

AR 코드 응용 프로그램은 데이터 영역의 이미지에서 가상의 가로, 세로 선을 그어 그리드(grid) 형태로 만든다. ID는 1차적으로 이진수 형태로 저장되기 때문에 확인된 데이터 영역에서 가상의 그리드를 만든다. 그리드는 x, y의 위치로 표시되는 형태이기 때문에 (x, y)의 색상 값이 흰색이면 이진수 0이고 (x, y)의 색상 값이 검은색이면 이진수 1로 변환할 수 있다.

AR 코드 응용 프로그램은 그어진 그리드에서 각 셀의 위치에 흑백의 명암을 파악하고 이를 직렬화 (serialize)하여 2진수를 만든다. AR 코드 응용 프로그램은 이렇게 각 셀의 좌표값(이진수 값)을 일렬로 나열하면 1011010011 같은 이진수를 얻는다. 이진수를 일렬로 나열하는 것은 그 순서와 방법에 따라 많은 변형이 있을 수 있다. 예를 들어 (0,0) (0,1) (0,2)(0,3) 과 같은 형태로 할 수도 있고 (0,0)(1,0)(2,0)같은 방식으로도 가능하다.

AR 코드 응용 프로그램은 이진수를 10진수로 변환하여 ID를 찾는다(S22). 이렇게 해서 얻어진 이진수는 바로 십진수로 변환하지 않고 AR 코드 응용 프로그램은 에러 정정 알고리즘을 적용한다.

에러 정정 알고리즘은 입력된 이미지가 왜곡되거나 일부가 유실되는 등의 노이즈가 있어도 원래 인코딩된 ID를 복원가능하도록 만드는 방법이다.

AR 코드 응용 프로그램은 통신 네트워크를 이용해 플랫폼, 즉 서버(40)의 데이터베이스(42)에 해당 ID로 저장되어 있는 데이터를 요청한다. 플랫폼(서버)으로부터 데이터를 받는다 (S24). AR 코드 응용 프로그램은 받은 데이터를 파싱하여 적절한 형태의 콘텐츠, 예컨대 상세 정보를 만든다. AR 코드 응용 프로그램은 사용자의 화면에 상세 정보를 표시한다.

서버에서 처리되는 AR 코드 생성과 데이터 저장 방법은 다음과 같다.

웹과 같은 응용 프로그램을 이용하여 플랫폼(예컨대, 서버)에 액세스한다. 상기 플랫폼은 사용자 인증을 한다. 상기 플랫폼은 AR 코드 생성을 위한 메뉴를 사용자 단말로 제공한다. 사용자는 AR 코드를 생성하기 위해 필요한 옵션을 선택하고 데이터를 입력한다. AR 코드를 생성하고 소유자가 사용자임을 같이 플랫폼에 저장한다. 생성된 AR 코드를 자신이 원하는 콘텐츠에 넣기 위해서는 생성된 AR 코드 이미지를 jpg와 같은 이미지 포맷으로 저장하고 이를 이메일, ftp, 다운로드 등의 방법을 통해 해당 콘텐츠에 삽입할 수 있다.

삽입의 방법은 해당 콘테츠와 합성하여 넣는 방법이 있을 수 있고, AR 코드 출력하고 이를 해당 콘텐츠에 부착하는 방법도 가능하다. 생성되고 저장된 AR 코드에 자신이 원하는 데이터를 제공되는 UI를 이용하여 입력한다.

본 발명의 실시 예에 따른 증강 현실 코드를 이용한 광고 방법은 컴퓨터로 읽을 수 있는 기록 매체, 예컨대 전자적 기록 매체에 저장될 수 있다. 프로세서는 상기 기록 매체에 저장된 증강 현실 코드를 이용한 광고 방법에 대한 프로그램 코드를 실행시킬 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10: 시스템
20: 사용자 단말
30: 영상 디스플레이 장치
40: 서버
42: 데이터베이스

Claims (8)

1. 단말에 설치된 Augmented Reality(AR) 코드 응용 프로그램이 TV 화면을 통하여 디스플레이되는 TV 영상에 삽입된 AR 코드를 캡처링하는 단계;
   상기 AR 코드 응용 프로그램이 상기 AR 코드로부터 ID를 추출하는 단계;
   상기 AR 코드 응용 프로그램이 추출된 ID를 플랫폼으로 전송하는 단계; 및
   상기 AR 코드 응용 프로그램이 상기 플랫폼으로부터 전송되고 상기 ID에 매치되는 광고 정보를 상기 단말의 디스플레이 장치를 이용하여 디스플레이하는 단계를 포함하는 증강 현실 코드를 이용한 광고 방법.
2. 제1항에 있어서, 상기 AR 코드 응용 프로그램은 TV로부터 출력된 알림에 응답하여 실행되는 증강 현실 코드를 이용한 광고 방법.
3. 제2항에 있어서, 상기 알림은 가청 주파수보다 높은 고주파인 증강 현실 코드를 이용한 광고 방법.
4. 제1항에 있어서, 상기 AR 코드로부터 ID를 추출하는 단계는,
   문턱(thresholding) 기술을 이용하여 상기 AR 코드로부터 상기 ID를 추출하는 증강 현실 코드를 이용한 광고 방법.
5. 상기 AR 코드로부터 ID를 추출하는 단계는,
   문턱(thresholding) 기술을 이용하여 캡처된 TV 영상으로부터 사각형 형태의 이미지로부터 캡쳐된 상기 AR 코드를 추출하는 단계;
   추출된 AR 코드로부터 3개의 기준점들(reference points)을 찾는 단계;
   상기 3개의 기준점들을 이용하여 상기 ID를 포함하는 데이터 영역을 찾는 단계;
   상기 데이터 영역에 가상의 그리드(grid)를 생성하고 상기 생성된 그리드에 포함된 다수의 단위 점들 각각에 상응하는 색상값으로부터 각각의 단위 데이터를 추출하는 단계; 및
   상기 각각의 단위 데이터를 시리얼라이즈하여 상기 ID를 추출하는 증강 현실 코드를 이용한 광고 방법.
6. 제1항 내지 제 5항 중의 어느 하나의 항에 기재된 광고 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
7. 내장된 증강 현실(Augmented Reality(AR)) 코드 응용 프로그램을 이용하여 TV 화면을 통하여 디스플레이되는 TV 영상에 삽입된 AR 코드를 캡처링하기 위한 사용자 단말; 및
   상기 사용자 단말로부터 출력된 ID에 따라 데이터베이스에 저장되고 상기 ID에 매치되는 광고 정보를 상기 단말로 전송하기 위한 서버를 포함하며,
   상기 사용자 단말은,
   캡쳐된 TV 영상에 포함된 상기 AR 코드로부터 상기 ID를 추출하고, 추출된 ID를 상기 서버로 전송하고, 수신된 광고 정보를 상기 단말의 디스플레이 장치를 이용하여 디스플레이하는 증강 현실 코드를 이용한 광고 방법을 수행할 수 있는 시스템.
8. 제7항에 있어서, 상기 단말은,
   문턱(thresholding) 기술을 이용하여 캡처된 TV 영상으로부터 사각형 형태의 이미지로부터 캡쳐된 상기 AR 코드를 추출하고, 추출된 AR 코드로부터 3개의 기준점들(reference points)을 찾고, 상기 3개의 기준점들을 이용하여 상기 ID를 포함하는 데이터 영역을 찾고, 상기 데이터 영역에 가상의 그리드(grid)를 생성하고 상기 생성된 그리드에 포함된 다수의 단위 점들 각각에 상응하는 색상값으로부터 각각의 단위 데이터를 추출하고, 상기 각각의 단위 데이터를 시리얼라이즈하여 상기 ID를 추출하는 증강 현실 코드를 이용한 광고 방법을 수행할 수 있는 시스템.

Images