KR101305725B1 - 로고인식 증강현실 시스템 및 그 구현 방법 - Google Patents

로고인식 증강현실 시스템 및 그 구현 방법 Download PDF

Info

Publication number
KR101305725B1
KR101305725B1 KR1020110020478A KR20110020478A KR101305725B1 KR 101305725 B1 KR101305725 B1 KR 101305725B1 KR 1020110020478 A KR1020110020478 A KR 1020110020478A KR 20110020478 A KR20110020478 A KR 20110020478A KR 101305725 B1 KR101305725 B1 KR 101305725B1
Authority
KR
South Korea
Prior art keywords
logo
image
character
augmented reality
information
Prior art date
Application number
KR1020110020478A
Other languages
English (en)
Other versions
KR20120102366A (ko
Inventor
김병만
정은영
정운국
임선진
문창배
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020110020478A priority Critical patent/KR101305725B1/ko
Publication of KR20120102366A publication Critical patent/KR20120102366A/ko
Application granted granted Critical
Publication of KR101305725B1 publication Critical patent/KR101305725B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06F18/21355—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis nonlinear criteria, e.g. embedding a manifold in a Euclidean space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 로고인식 증강현실 구현방법은, 카메라로부터 촬영된 영상 데이터를 캡쳐 스레드를 통해 이미지를 생성하는 단계와; 상기 생성된 이미지를 입력받아 로고 정보를 바탕으로 로고를 인식하는 단계와; 상기 로고를 인식하여 상기 이미지에서 좌표값을 이용하여 로고를 추적하는 단계와; 상기 로고 좌표 정보를 전달받고 3D 캐릭터 정보를 입력받아 캐릭터를 생성하는 단계와; 상기 생성된 이미지상에 상기 생성된 캐릭터를 합성하는 단계와; 상기 합성된 캐릭터를 이용하여 게임 화면을 제공하는 단계를 포함하는 점에 그 특징이 있다.
본 발명에 따르면 모바일 기기에서 기업의 로고를 인식하고, 인식한 로고를 이용하여 증강현실 게임을 제공함으로써 사용자에게 간접적으로 광고를 제공할 수 있다.

Description

로고인식 증강현실 시스템 및 그 구현 방법{AUGMENTED REALITY OF LOGO RECOGNITION AND THE MRTHOD}
본 발명은 로고인식 증강현실 시스템 및 그 구현 방법에 관한 것으로, 특히 모바일 기기에서 기업의 로고를 인식하고, 인식한 로고를 이용하여 증강현실 게임을 제공함으로써 사용자에게 간접적으로 광고를 제공할 수 있는 안드로이드 기반의 로고인식 증강현실 시스템 및 그 구현 방법에 관한 것이다.
최근들어 스마트 폰의 등장과 모바일 인터넷을 제공함에 따라 휴대폰은 더 이상의 음성통신 수단이 아닌 웹을 통하여 서비스를 제공받는 도구로 발전하였다. 또한 스마트폰을 이용하여 각종 게임 및 응용 어플리케이션을 사용함으로 사용자들의 놀이수단으로도 발전하였다. 이와 같은 사용량의 급증으로 인하여 모바일 광고에 대한 업계의 관심도 증가하였다.
기업들은 기업의 이미지를 중요시하고, 이미지 개선을 위하여 기업 로고 디자인에 투자를 하기도 하고, 방송 매체를 통하여 기업의 로고를 광고하기도 한다.로고의 광고는 기업의 광고에 있어 중요한 요소라 할 수 있다. 하지만 광고 매체는 시간적인 제약사항으로 한정적인 시간만을 광고할 수 있고, 고비용이 발생한다. 또한 외국에서 광고를 할 때 후진국의 방송매체를 이용하는 경우 저 비용이 발생하지만, 선진국의 방송매체를 이용하는 경우 고 비용이 발생한다.
한편, 모바일을 통한 기업의 로고를 광고하는 경우는 시청자의 지루함을 발생할 수 있고, 지루함으로 오히려 불쾌감을 발생시켜 기업의 이미지가 손상될 수도 있다. 그리고 게임을 통하여 기업의 로고를 광고할 경우 한정적인 화면을 사용하기 때문에 기업의 로고를 사용자가 인지하지 못하고 게임만 진행하게 되는 문제점이 발생한다.
본 발명이 해결하고자 하는 기술적 과제는 모바일 기기에서 기업의 로고를 인식하고, 인식한 로고를 이용하여 증강현실 게임을 제공함으로써 사용자에게 간접적으로 광고를 제공할 수 있는 안드로이드 기반의 로고인식 증강현실 시스템 및 그 구현 방법을 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 로고인식 증강현실 시스템은, 카메라로부터 전달받은 영상을 이용하여 로고를 인식 및 추적하는 이미지 처리 모듈과, 상기 이미지 처리 모듈로부터 로고 정보를 전달받아 로고의 좌표를 입력받아 캐릭터 생성 및 영상을 합성하는 그래픽 처리 모듈과, 상기 이미지 처리 모듈로부터 로고 정보를 입력받고 상기 그래픽 처리 모듈로부터 게임 캐릭터 정보를 입력받아 게임을 제공하는 게임 모듈을 포함하는 점에 그 특징이 있다.
여기서, 상기 이미지 처리 모듈은, 상기 카메라로부터 캡쳐 스레드를 통해 생성된 이미지를 전달받는 캡쳐 이미지부와, 로고 정보가 저장된 데이터 베이스와, 상기 생성된 이미지를 전달받고 상기 데이터 베이스에 저장된 로고 정보를 전달받아 로고를 인식하는 로고 인식부와, 상기 생성된 이미지에서 상기 인식된 로고를 추적하는 로고 추적부를 포함하는 점에 그 특징이 있다.
여기서, 상기 로고 인식부는 상기 생성된 이미지를 이진화, 라벨링, 기울기 계산, 영상회전 및 리사이징을 거쳐 객체를 획득하고, 템플릿 매칭 알고리즘을 이용하여 로고를 인식하는 점에 그 특징이 있다.
여기서, 상기 로고 추적부는 CAMshift 알고리즘을 이용하여 로고를 추적하는 점에 그 특징이 있다.
여기서, 상기 그래픽 처리 모듈은, 3D 캐릭터 파일 정보를 제공하는 파일 시스템과; 상기 3D 캐릭터 파일을 획득하여 캐릭터를 형상화하여 생성하는 캐릭터 생성부와; 상기 생성된 캐릭터를 상기 이미지 처리 모듈에서 획득한 좌표를 이용하여 합성하는 캐릭터 합성부를 포함하는 점에 그 특징이 있다.
또한, 본 발명에 따른 로고인식 증강현실 구현방법은, 카메라로부터 촬영된 영상 데이터를 캡쳐 스레드를 통해 이미지를 생성하는 단계와; 상기 생성된 이미지를 입력받아 로고 정보를 바탕으로 로고를 인식하는 단계와; 상기 로고를 인식하여 상기 이미지에서 좌표값을 이용하여 로고를 추적하는 단계와; 상기 로고 좌표 정보를 전달받고 3D 캐릭터 정보를 입력받아 캐릭터를 생성하는 단계와; 상기 생성된 이미지상에 상기 생성된 캐릭터를 합성하는 단계와; 상기 합성된 캐릭터를 이용하여 게임 화면을 제공하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 로고를 인식하는 단계에서, 상기 이미지를 Hue값을 이용하여 이진화하는 단계와; 상기 이진화된 이미지를 레이블링하여 로고 이미지를 획득하는 단계와; 상기 획득한 이미지의 기울기를 계산 후 영상 회전 변환을 실시하는 단계와; 상기 영상 회전 변환된 이미지를 데이터베이스에 저장된 로고 이미지와 동일한 사이즈로 리사이징하는 단계와; 상기 리사이징된 이미지에서 상기 로고 이미지와 유사도를 계산하여 로고를 판별하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 로고를 판별하는 단계에서 템플릿 매칭 알고리즘의 유클리디안(Euclidean)법을 이용하여 판별하는 점에 그 특징이 있다.
여기서, 상기 템플릿 매칭 수치가 임계치보다 큰 경우 해당 위치의 좌표에 로고가 존재하는 것으로 판별하는 점에 그 특징이 있다.
여기서, 상기 로고를 추적하는 단계에서 CAMshift 알고리즘을 이용하고, 상기 CAMshift 알고리즘은 검출된 객체 영역의 Hue 값의 분포를 이용하여 변화된 위치를 예측하고, 탐지 후 객체의 중심을 찾아 객체를 실시간으로 추적하는 점에 그 특징이 있다.
여기서, 상기 캐릭터를 생성하는 단계는 벡터로 구성된 정점을 표시한 후, 서로 연결하여 다각형 면을 구성하는 단계와; 상기 다각형 면을 구성하는 단계를 반복 실행하여 메쉬를 구성하는 단계와; 상기 구성된 메쉬에 텍스쳐를 입히는 단계와; 상기 정점의 위치가 변하면 다시 정점 위치를 추출하여 다각형 면을 재정의 하는 단계와; 상기 재정의된 다각형 면의 표면에 선형보간법을 이용하여 생성하는 점에 그 특징이 있다.
여기서, 상기 생성된 캐릭터를 합성하는 단계는 투명화 영역을 설정하여 서페이스뷰 캐릭터를 합성하고, 이미지 처리 모듈에서 획득한 영상과 상기 서페이스뷰를 합성하는 점에 그 특징이 있다.
여기서, 상기 게임 화면을 제공하는 단계는, 게임 메인 유저인터페이스, 게임 실행화면, 기업로고정보 및 기업 정보를 제공하는 점에 그 특징이 있다.
여기서, 상기 로고인식 증강현실 구현방법은, 안드로이드 기반의 어플리케이션의 SQLite를 이용하여 데이터베이스를 구축하고, 웹킷(webkit)을 이용하여 사이트의 정보를 제공하는 점에 그 특징이 있다.
본 발명에 따르면 모바일 기기에서 기업의 로고를 인식하고, 인식한 로고를 이용하여 증강현실 게임을 제공함으로써 사용자에게 간접적으로 광고를 제공할 수 있다.
도 1은 본 발명에 따른 로고인식 증강현실 시스템의 구성을 개략적으로 도시한 도면.
도 2는 본 발명에 따른 이미지 처리 모듈의 구성을 개략적으로 도시한 도면.
도 3은 본 발명에 따른 그래픽 처리 모듈의 구성을 개략적으로 도시한 도면.
도 4는 본 발명의 안드로이드 기반 어플리케이션의 구조를 개략적으로 도시한 도면.
도 5는 본 발명에 따른 로고인식 증강현실 구현방법에 대한 순서도.
도 7 및 도 8은 본 발명의 캐릭터 생성 과정을 나타내는 예를 도시한 도면.
도 9는 본 발명의 캐릭터와 이미지의 합성의 예를 도시한 도면.
도 10은 본 발명의 게임 실행화면 및 로고정보 화면을 제공하는 예를 나타내는 도면.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명에 따른 로고인식 증강현실 시스템의 구성을 개략적으로 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명에 따른 로고인식 증강현실 시스템(100)은, 이미지 처리 모듈(120)과, 그래픽 처리 모듈(130) 및 게임 모듈(140)을 포함하여 구성된다.
상기 이미지 처리모듈(120)은 카메라(110)로부터 전달받은 영상을 이용하여 로고를 인식 및 추적하게 된다.
상기 그래픽 처리 모듈(130)은 상기 이미지 처리 모듈(120)로부터 로고 정보를 전달받아 로고의 좌표를 입력받아 캐릭터 생성 및 영상을 합성하게 된다.
상기 게임 모듈(140)은 상기 이미지 처리 모듈(120)로부터 로고 정보를 입력받고 상기 그래픽 처리 모듈(130)로부터 게임 캐릭터 정보를 입력받아 게임을 제공하게 된다.
도 2는 본 발명에 따른 이미지 처리 모듈의 구성을 개략적으로 도시한 도면이다. 도 2에 도시된 바와 같이, 상기 이미지 처리 모듈(120)은, 캡쳐 이미지부(201), 데이터 베이스(202), 로고 인식부(203) 및 로고 추적부(204)를 포함하여 구성된다.
상기 캡쳐 이미지부(201)는 상기 카메라(110)로부터 입력된 원시 데이터를 캡쳐 스레드를 통해 생성된 이미지를 전달받게 된다.
상기 데이터 베이스(202)는 로고 정보가 저장되어 있다.
상기 로고 인식부(203)는 상기 캡쳐 이미지부(201)에서 생성된 이미지를 전달받고 상기 데이터 베이스(202)에 저장된 로고 정보를 전달받아 로고를 인식하게 된다. 여기서, 상기 로고 인식부(203)는 템플릿 매칭 알고리즘의 유클리디안(Euclidean)법을 이용하여 로고를 인식하게 된다.
보다 구체적으로, 로고 인식의 위한 템플릿 매칭을 이용하기에 앞서 전처리 과정을 하게 된다. 즉, 템플릿 매칭만 사용하는 경우 템플릿 로고의 사이즈와 대상 로고의 사이즈가 동일하지 않을 경우 로고 인식성능이 크게 저하되기 때문에 전처리 과정을 거치게 된다. 이러한 전처리 과정은, 먼저 이진화를 통하여 이진화된 이미지를 획득한 후 레이블링을 하여 레이블된 객체를 획득하고, 이진화와 라벨링을 거쳐 획득한 객체의 상단 좌표와 좌측 좌표를 이용하여 기울기를 계산 후 영상 회전 변환을 실시한다. 상기 영상 회전 변환된 이미지를 데이터베이스에 저장된 로고 이미지와 동일한 사이즈로 리사이징하고, 리사이징된 이미지와 데이터 베이스에서 받아온 템플릿 이미지를 이용하여 템플릿 매칭 알고리즘을 수행하여 매칭도가 높을 경우 이를 로고로 인식한다.
상기 로고 추적부(204)는 상기 생성된 이미지에서 상기 인식된 로고를 추적하게 된다. 상기 로고 추적부(204)는 CAMshift 알고리즘을 이용하여 로고를 추적하게 된다. 여기서, CAMshift 알고리즘은 검출된 객체의 영역의 Hue 값의 분포를 이용하여 변화된 위치를 예측하고 탐지 후 객체의 중심을 찾아 객체를 실시간으로 추적하는 알고리즘이다.
도 3은 본 발명에 따른 그래픽 처리 모듈의 구성을 개략적으로 도시한 도면이다. 도 3에 도시된 바와 같이, 상기 그래픽 처리 모듈(130)은, 파일 시스템(301), 캐릭터 생성부(302) 및 캐릭터 합성부(303)를 포함한다.
상기 파일 시스템(301)은 3D 캐릭터 파일 정보를 제공한다.
상기 캐릭터 생성부(302)는 상기 파일 시스템(301)으로부터 3D 캐릭터 파일을 획득하여 이를 캐릭터로 형상화하여 생성하게 된다. 보다 구체적으로, 벡터로 구성된 정점을 표시한 후, 서로 연결하여 다각형 면을 구성하고, 상기 다각형 면을 구성하는 단계를 반복 실행하여 메쉬를 구성시킨 후 메쉬에 텍스쳐를 입히게 된다. 여기서, 캐릭터가 움직일 때 정점의 위치가 변하면 다시 정점 위치를 추출하여 다각형 면을 재정의하고, 재정의된 다각형 면의 표면에 선형보간법을 이용하여 텍스쳐를 재적용한다.
상기 캐릭터 합성부(303)는 먼저 투명화 영역을 설정하여 서페이스뷰 캐릭터를 합성하고, 상기 이미지 처리 모듈(120)에서 획득한 영상과 상기 서페이스뷰를 합성한다.
한편, 상기와 같이 구성된 본 발명의 로고인식 증강현실 시스템을 구현하기 위해 안드로이드 기반의 어플리케이션을 적용하게 된다.
도 4는 본 발명의 안드로이드 기반 어플리케이션의 구조를 개략적으로 도시한 도면이다. 도 4에 도시된 바와 같이, 안드로이드 어플리케이션은, 어플리케이션 프레임워크(Application Framework), 라이브러리(Libraries) 및 안드로이드 런타임(Android Runtime)으로 구성된다.
상기 어플리케이션 프레임워크(Application Framework)의 액티비티 메니저(Activity Manager)와 뷰 시스템(Veiw System)은 액티비티의 생명 주기를 제어하고, 액티비티의 사용자 인터페이스를 구성하는데 사용된다. 또한, 리소스 매니저(Resource Manager)는 외부에 위치한 파일을 불러오게 된다. 즉, 데이터 베이스 파일과 로고 이미지, 캐릭터 등을 제공받기 위해 사용된다.
상기 라이브러리(Libraries)의 서페이스 매니저(Surface Manager)는 Open GL/ES를 이용하여 카메라에서 입력받은 영상과 생성시킨 캐릭터를 화면에 그리기 위해 사용된다. SQLite를 이용하여 데이터 베이스를 구축하고, 웹킷(Webkit)은 기업 정보를 웹 브라우저를 통해 보여주기 위해 사용한다. 미디어 프레임워크(Media Framework)는 게임에서 재생되는 사운드를 제공하기 위해 사용한다.
상기 안드로이드 런타임(Android Runtime)의 코어 라이브러리(Core Libraries)와 달빅 버츄얼 머신(Dalvik Virtual Machine)은 안드로이드 시스템에 기본적으로 제공되는 구성요소로 안드로이드 전용 라이브러리를 제공하고, 타켓 머신에서 구동을 위한 최적화된 레지스터 기반의 가상머신의 역할을 수행한다.
또한, 도 5는 본 발명에 따른 로고인식 증강현실 구현방법에 대한 순서도이다. 도 5에 도시된 바와 같이, 본 발명에 따른 로고인식 증강현실 구현방법은, 먼저 카메라로부터 촬영된 원시 영상 데이터를 캡쳐 스레드(capture thread)를 통해 이미지를 생성하는 단계가 수행된다(S501).
이어서, 상기 생성된 이미지를 입력받아 로고 정보를 바탕으로 로고를 인식하는 단계가 수행된다(S502). 보다 구체적으로, 상기 생성된 이미지를 Hue값을 이용하여 이진화하고, 상기 이진화된 이미지를 레이블링하여 로고 이미지를 획득한다. 즉, 레이블된 객체의 가로:세로 비율과 데이터 베이스에 저장되어 있는 로고의 가로:세로 비율을 비교하여 1차적으로 템플릿 매칭을 위한 대상 이미지인 로고 이미지를 획득한다.
그리고, 상기 레이블링된 로고 이미지를 데이터베이스에 저장된 로고 이미지와 동일한 사이즈로 리사이징 후, 2차적으로 템플릿 매칭의 유클리디안(Euclidean)법을 사용하여 객체를 판별한다.
여기서, 템플릿매칭 알고리즘은 템플릿 이미지를 이용하여 이미지 전체에서 가장 유사한 구간을 검색하는 방법으로 대상 이미지 전체를 탐색하면서 템플릿 이미지와 각각 얼마만큼 유사성이 있는지를 구하는 방법으로 유클리디안(Euclidean)법을 이용한다. 그러나, 본 발명에서는 이미지 전체를 사용하지 않고, 레이블된 객체를 포함하는 사각형 영역의 이미지(템플릿 이미지 사이즈와 동일한 사이즈)를 사용한다.
템플릿 매칭에서의 유클리디안 거리는 하기 수학식 (1)을 이용하여 구한다.
Figure 112011016761603-pat00001
-----(1)
식(1)에서 T(x',y')는 템플릿 이미지를 뜻하고, I(x,y)는 이미지 전체를 뜻한다. R(x',y')는 좌표 에서의 매칭 정도를 의미하며, 매칭 수치가 임계치보다 큰 경우 해당위치의 좌표에 로고가 존재하는 것으로 판별한다.
도 6은 본 발명의 템플릿 매칭을 이용하여 획득한 이미지를 도시한 도면이다. 도 6에 도시된 바와 같이, 탬플릿 매칭을 이용하여 획득한 이미지는 (a)는 전체 영상, (b)는 템플릿 영상, (c)는 최종적으로 획득한 결과 영상의 예를 보여준다.
그 다음, 상기 로고를 인식하여 상기 이미지에서 좌표값을 이용하여 로고를 추적하는 단계가 수행된다(S503, S504). 상기 템플릿 매칭으로 획득한 로고 영상을 추적하기 위해 CAMshift 알고리즘을 이용하고, 상기 CAMshift 알고리즘은 상기 검출된 객체 영역의 Hue 값의 분포를 이용하여 변화된 위치를 예측하고, 탐지 후 객체의 중심을 찾아 객체를 실시간으로 추적하게 된다. 여기서, 추적과정 중에 객체 추적에 실패하면 상기 로고 인식 과정을 다시 수행한다(S502).
상기 CAMShift 알고리즘은 크게 두 가지로 나누어 볼 수 있는데 n-1 시간의 프레임 처리와 n 시간에서의 프레임 처리로 나누어 볼 수 있다.
하기의 수학식 (2) 내지 수학식 (10)은 CAMShift 알고리즘에 의한 추적하는 과정을 나타내고 있다.
Figure 112011016761603-pat00002
--------(2)
Figure 112011016761603-pat00003
---------(3)
Figure 112011016761603-pat00004
---------(4)
Figure 112011016761603-pat00005
-------(5)
Figure 112011016761603-pat00006
--------(6)
Figure 112011016761603-pat00007
--------(7)
Figure 112011016761603-pat00008
--------(8)
Figure 112011016761603-pat00009
-------(9)
Figure 112011016761603-pat00010
------(10)
n-1 시간에서는 수학식 (2)부터 수학식(4)까지의 처리가 이루어지고, n 시간에서의 처리과정은 수학식 (6)부터 수학식 (10)까지 처리가 된다. 수학식 (2)에서는 객체가 포함된 윈도우의 모먼트(moment)를 계산하고, 수학식 (3), (4)에서는 x축과 y축에 대한 무게 중심을 구하기 위한 각 모먼트(moment)를 구한 후 수학식 (5)을 이용하여 무게중심을 계산한다. 이때 n-1 시간의 무게중심과 n 시간의 무게 중심의 차이가 발생하는 경우, 임계점보다 크다면 n-1 시간에서의 무게 중심과 n 시간의 중심 사이의 거리가 기본 임계점보다 작아질 때까지 검색 영역의 무게 중심을 n-1 시간의 객체 위치에서 n 시간의 객체 위치로 재조정한다. n시간에서 객체의 사이즈를 획득하기 위해 수학식 (6) 내지 (10)를 이용하는데, 수학식 (9)을 이용하여 객체의 높이와 폭을 측정한 후 객체의 높이와 폭을 수학식 (10)를 통하여 획득한다.
이어, 상기 로고 좌표 정보를 전달받고 3D 캐릭터 정보를 입력받아 캐릭터를 생성하는 단계가 수행된다(S505).
도 7 및 도 8은 본 발명의 캐릭터 생성 과정을 나타내는 예를 도시한 도면이다. 도 7 및 도 8에 도시된 바와 같이, 캐릭터를 생성 시 사용한 MD2 파일정보는 (도7의 a)와 같다. 먼저 벡터로 구성된 정점 3개를(도7의 b)와 같이 화면에 표시 후(도7의 c)와 같이 3개의 정점들을 서로 연결시킨다. 이때 3개의 정점을 연결시켜 (도7의 d)와 같이 다각형 면을 구성한다. (도7의 b)~(도7의 d)의 과정을 반복 실행하여 (도8의 a)와 같이 메쉬를 구성시킨다. 다각형 면을 구성시킨 후 다각형 면에 스킨(texture)을 입힌다(도8의 b). 이때, 텍스쳐(texture)은 파일시스템에서 받아온다. 또한 캐릭터가 움직일 때는 정점들의 위치가 변하는데 변한 vertex들의 정보를 추출하고, 추출한 정보를 이용하여 다각형 면을 재정의한다. 재정의된 다각형 면의 표면에 선형 보간법을 이용하여 텍스쳐를 재 적용한다(도8의 c).
본 발명에서 사용한 선형보간법은 하기 수학식(11)
Figure 112011016761603-pat00011
------(11)
xi는 처음 키 프레임의 정점(Vertex) 좌표 위치, xf는 다음 키 프레임의 정점 좌표 위치, xc는 보간된 키 프레임의 정점(Vertex)좌표 위치를 의미한다. 인터플레이트퍼센테이지(interplatePercentage)는 키 프레임과 키 프레임 사이의 보간 비율을 뜻하고, 1에 가까울수록 다음 키 프레임과 가까운 위치에 보간된다. 이때 키 프레임은 모델의 애니매이션 전체 중 특정한 시간간격 마다의 프레임으로 특정한 순간에서 모델의 개별적인 위치와 자세에 대한 정점(Vertex)정보를 담고 있다.
도 9는 본 발명의 캐릭터와 이미지의 합성의 예를 도시한 도면이다. 도 9에 도시된 바와 같이, 상기 생성된 이미지상에 상기 생성된 캐릭터를 합성하는 단계가 수행된다(S506). 여기서, 캐릭터와 이미지의 합성은 먼저 투명화 영역을 설정하여 서페이스뷰(SurfaceView) 캐릭터를 생성한다(도9의 a). 투명화 영역은 (도9의 a)의 핑크색 영역이다. 그런 다음 (도9의 b)와 같이 카메라로부터 획득한 캡쳐 이미지와 서페이스 뷰를 합성시켜 (도9의 c)와 같은 영상을 획득한다.
도 10은 본 발명의 게임 실행화면 및 로고정보 화면을 제공하는 예를 나타내는 도면이다. 도 10에 도시된 바와 같이, 상기 합성된 캐릭터를 이용하여 게임 화면을 제공하는 단계가 수행된다(S507). 여기서, 상기 게임 화면을 실행할 때 게임 메인 유저인터페이스, 게임 실행화면, 기업로고정보 및 기업 정보를 제공하게 된다.
즉, 도 10에서 (도10 a)는 게임의 메인 유저인터페이스(Main UI), (도10 b)는 게임실행화면, (도10 c)는 로고가 알려주는 해당 기업정보, (도10 d)는 (도10 c)에서 선택한 링크의 사이트를 보여주고 있다.
한편, 본 발명의 로고인식 증강현실 구현방법은 안드로이드 어플리케이션의 SQLite를 이용하여 데이터베이스를 구축하였고, 웹킷(webkit)을 이용하여 해당 사이트의 정보를 제공할 수 있도록 하였다. 메뉴 화면에서 입력받은 영상의 로고를 판별하고, 특정 로고가 있으면 로고에 해당하는 기업의 이름을 하단에 표시한다. 그 후 데이터베이스(DB)에 저장된 로고 정보를 볼 수도 있고 해당 정보를 클릭하여 웹 검색도 가능하다.
이상에서 설명한 바와 같이, 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 따라서 본 발명의 권리 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 후술하는 청구범위뿐만 아니라, 이와 균등한 것들에 의해 정해져야 한다.
<도면의 주요부분에 대한 부호의 설명>
120 --- 이미지 처리 모듈 130 --- 그래픽 처리 모듈
140 --- 게임 모듈 201 --- 캡쳐 이미지부
202 --- 데이터베이스 203 --- 로고 인식부
204 --- 로고 추적부 301 --- 파일 시스템
302 --- 캐릭터 생성부 303 --- 캐릭터 합성부

Claims (15)

  1. 카메라로부터 전달받은 영상을 이용하여 로고를 인식 및 추적하는 이미지 처리 모듈과;
    상기 이미지 처리 모듈로부터 로고 정보를 전달받아 로고의 좌표를 입력받아 캐릭터 생성 및 영상을 합성하는 그래픽 처리 모듈과;
    상기 이미지 처리 모듈로부터 로고 정보를 입력받고 상기 그래픽 처리 모듈로부터 게임 캐릭터 정보를 입력받아 게임을 제공하는 게임 모듈을 포함하고,
    상기 이미지 처리 모듈은, 상기 카메라로부터 캡쳐 스레드를 통해 생성된 이미지를 전달받는 캡쳐 이미지부와; 로고 정보가 저장된 데이터 베이스와; 상기 생성된 이미지를 전달받고 상기 데이터 베이스에 저장된 로고 정보를 전달받아 로고를 인식하는 로고 인식부와; 상기 생성된 이미지에서 상기 인식된 로고를 추적하는 로고 추적부를 포함하고, 상기 로고 인식부는 상기 생성된 이미지를 이진화, 라벨링, 기울기 계산, 영상회전 및 리사이징을 거쳐 객체를 획득하고, 템플릿 매칭 알고리즘을 이용하여 로고를 인식하는 것을 특징으로 하는 로고인식 증강현실 시스템.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 로고 추적부는 CAMshift 알고리즘을 이용하여 로고를 추적하는 것을 특징으로 하는 로고인식 증강현실 시스템.
  5. 제 1항에 있어서,
    상기 그래픽 처리 모듈은,
    3D 캐릭터 파일 정보를 제공하는 파일 시스템과;
    상기 3D 캐릭터 파일을 획득하여 캐릭터를 형상화하여 생성하는 캐릭터 생성부와;
    상기 생성된 캐릭터를 상기 이미지 처리 모듈에서 획득한 좌표를 이용하여 합성하는 캐릭터 합성부를 포함하는 것을 특징으로 하는 로고인식 증강현실 시스템.
  6. 카메라로부터 촬영된 영상 데이터를 캡쳐 스레드를 통해 이미지를 생성하는 단계와;
    상기 생성된 이미지를 입력받아 로고 정보를 바탕으로 로고를 인식하는 단계와;
    상기 로고를 인식하여 상기 이미지에서 좌표값을 이용하여 로고를 추적하는 단계와;
    상기 추적된 로고의 좌표값 정보를 전달받고 3D 캐릭터 정보를 입력받아 캐릭터를 생성하는 단계와;
    상기 생성된 이미지상에 상기 생성된 캐릭터를 합성하는 단계와;
    상기 합성된 캐릭터를 이용하여 게임 화면을 제공하는 단계를 포함하고,
    상기 로고를 인식하는 단계에서, 상기 이미지를 Hue값을 이용하여 이진화하는 단계와; 상기 이진화된 이미지를 레이블링하여 로고 이미지를 획득하는 단계와; 상기 획득한 이미지의 기울기를 계산 후 영상 회전 변환을 실시하는 단계와; 상기 영상 회전 변환된 이미지를 데이터베이스에 저장된 로고 이미지와 동일한 사이즈로 리사이징하는 단계와; 상기 리사이징된 이미지에서 상기 로고 이미지와 유사도를 계산하여 로고를 판별하는 단계를 포함하는 것을 특징으로 하는 로고인식 증강현실 구현방법.
  7. 삭제
  8. 제 6항에 있어서,
    상기 로고를 판별하는 단계에서 템플릿 매칭 알고리즘의 유클리디안(Euclidean)법을 이용하여 판별하는 것을 특징으로 하는 로고인식 증강현실 구현방법.
  9. 제 8항에 있어서,
    상기 템플릿 매칭 수치가 임계치보다 큰 경우 해당 위치의 좌표에 로고가 존재하는 것으로 판별하는 것을 특징으로 하는 로고인식 증강현실 구현방법.
  10. 제 6항에 있어서,
    상기 로고를 추적하는 단계에서 CAMshift 알고리즘을 이용하는 것을 특징으로 하는 로고인식 증강현실 구현방법.
  11. 제 10항에 있어서,
    상기 CAMshift 알고리즘은 검출된 객체 영역의 Hue 값의 분포를 이용하여 변화된 위치를 예측하고, 탐지 후 객체의 중심을 찾아 객체를 실시간으로 추적하는 것을 특징으로 하는 로고인식 증강현실 구현방법.
  12. 제 6항에 있어서,
    상기 캐릭터를 생성하는 단계는
    벡터로 구성된 정점을 표시한 후, 서로 연결하여 다각형 면을 구성하는 단계와;
    상기 다각형 면을 구성하는 단계를 반복 실행하여 메쉬를 구성하는 단계와;
    상기 구성된 메쉬에 텍스쳐를 입히는 단계와;
    상기 정점의 위치가 변하면 다시 정점 위치를 추출하여 다각형 면을 재정의 하는 단계와;
    상기 재정의된 다각형 면의 표면에 선형보간법을 이용하여 생성하는 것을 특징으로 하는 로고인식 증강현실 구현방법.
  13. 제 6항에 있어서,
    상기 생성된 캐릭터를 합성하는 단계는
    투명화 영역을 설정하여 서페이스뷰 캐릭터를 합성하고, 이미지 처리 모듈에서 획득한 영상과 상기 서페이스뷰를 합성하는 것을 특징으로 하는 로고인식 증강현실 구현방법.
  14. 제 6항에 있어서,
    상기 게임 화면을 제공하는 단계는
    게임 메인 유저인터페이스, 게임 실행화면, 기업로고정보 및 기업 정보를 제공하는 것을 특징으로 하는 로고인식 증강현실 구현방법.
  15. 삭제
KR1020110020478A 2011-03-08 2011-03-08 로고인식 증강현실 시스템 및 그 구현 방법 KR101305725B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110020478A KR101305725B1 (ko) 2011-03-08 2011-03-08 로고인식 증강현실 시스템 및 그 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110020478A KR101305725B1 (ko) 2011-03-08 2011-03-08 로고인식 증강현실 시스템 및 그 구현 방법

Publications (2)

Publication Number Publication Date
KR20120102366A KR20120102366A (ko) 2012-09-18
KR101305725B1 true KR101305725B1 (ko) 2013-09-17

Family

ID=47110919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110020478A KR101305725B1 (ko) 2011-03-08 2011-03-08 로고인식 증강현실 시스템 및 그 구현 방법

Country Status (1)

Country Link
KR (1) KR101305725B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063703A (ko) 2018-11-28 2020-06-05 에스피테크놀러지 주식회사 증강 현실 구현을 위한 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015167515A1 (en) * 2014-04-30 2015-11-05 Longsand Limited Augmented reality without a physical trigger
KR101886276B1 (ko) * 2016-09-30 2018-08-08 (주)모닝엔터컴 캐릭터를 활용한 증강현실 게임 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100868733B1 (ko) * 2007-11-05 2008-11-13 광주과학기술원 증강현실 기반의 게임이 가능한 이동 단말기 및 이동단말기를 이용하여 증강현실 기반의 게임을 제공하는 방법
KR20090093119A (ko) * 2008-02-28 2009-09-02 홍익대학교 산학협력단 움직이는 객체 추적을 위한 다중 정보의 융합 방법
US20100070928A1 (en) * 2008-09-01 2010-03-18 Google Inc. Tab Pages and Bookmark Toolbars In A Browser

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100868733B1 (ko) * 2007-11-05 2008-11-13 광주과학기술원 증강현실 기반의 게임이 가능한 이동 단말기 및 이동단말기를 이용하여 증강현실 기반의 게임을 제공하는 방법
KR20090093119A (ko) * 2008-02-28 2009-09-02 홍익대학교 산학협력단 움직이는 객체 추적을 위한 다중 정보의 융합 방법
US20100070928A1 (en) * 2008-09-01 2010-03-18 Google Inc. Tab Pages and Bookmark Toolbars In A Browser

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063703A (ko) 2018-11-28 2020-06-05 에스피테크놀러지 주식회사 증강 현실 구현을 위한 장치 및 방법

Also Published As

Publication number Publication date
KR20120102366A (ko) 2012-09-18

Similar Documents

Publication Publication Date Title
US11595737B2 (en) Method for embedding advertisement in video and computer device
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN108010112B (zh) 动画处理方法、装置及存储介质
KR101457313B1 (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
CN109872379B (zh) 数据处理装置和方法
CN106875431B (zh) 具有移动预测的图像追踪方法及扩增实境实现方法
CN110058685B (zh) 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN107464291B (zh) 一种脸部图像的处理方法及装置
KR101932537B1 (ko) 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
KR101545138B1 (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
CN110827376A (zh) 增强现实多平面模型动画交互方法、装置、设备及存储介质
CN112884908A (zh) 基于增强现实的显示方法、设备、存储介质及程序产品
CN111598996B (zh) 一种基于ar技术的物品3d模型展示方法和系统
Prochazka et al. Augmented reality implementation methods in mainstream applications
WO2023056835A1 (zh) 视频封面生成方法、装置、电子设备及可读介质
US20220292690A1 (en) Data generation method, data generation apparatus, model generation method, model generation apparatus, and program
KR101305725B1 (ko) 로고인식 증강현실 시스템 및 그 구현 방법
WO2022218042A1 (zh) 视频处理方法、装置、视频播放器、电子设备及可读介质
JP7387001B2 (ja) 画像合成方法、装置、およびストレージ媒体
KR20230130748A (ko) 이미지 처리 방법 및 장치, 디바이스 및 매체
CN110267079B (zh) 待播放视频中人脸的替换方法和装置
JP5560925B2 (ja) ３次元形状検索装置、３次元形状検索方法、及びプログラム
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
CN112070901A (zh) 一种园林的ar场景构建方法、装置、存储介质及终端
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee