KR101518833B1 - 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101518833B1
KR101518833B1 KR1020130059829A KR20130059829A KR101518833B1 KR 101518833 B1 KR101518833 B1 KR 101518833B1 KR 1020130059829 A KR1020130059829 A KR 1020130059829A KR 20130059829 A KR20130059829 A KR 20130059829A KR 101518833 B1 KR101518833 B1 KR 101518833B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
image
predetermined
camera module
augmented reality
Prior art date
Application number
KR1020130059829A
Other languages
English (en)
Other versions
KR20140139319A (ko
Inventor
문일영
김유두
Original Assignee
테크빌닷컴 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테크빌닷컴 주식회사 filed Critical 테크빌닷컴 주식회사
Priority to KR1020130059829A priority Critical patent/KR101518833B1/ko
Publication of KR20140139319A publication Critical patent/KR20140139319A/ko
Application granted granted Critical
Publication of KR101518833B1 publication Critical patent/KR101518833B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은, (a) 소정의 센서를 이용하여 모바일 단말기의 움직임을 감지함으로써 상기 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단계; (b) 상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 단계; 및 (c) 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공하는 단계를 포함하되, 상기 (a) 단계는, 상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되, 상기 기 설정된 변위 값은, 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴이 저장되고 이를 통해 데이터 학습을 통하여 적응적으로 조정되는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법을 제시한다. 이에 의하면, 모바일 단말기의 자이로 센서를 이용하여 움직임을 감지하여, 움직임이 거의 없을 때에만 영상 인식 알고리즘을 구동함으로써 빈번한 영상 처리로 인한 성능 저하를 개선할 수 있으며, 모바일 단말의 낮은 성능으로 인한 다운 현상 발생을 사전에 방지할 수 있다.

Description

모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체{MOBILE TERMIANL, COMPUTER-READABLE RECORDING MEDIUM AND METHOD FOR IMAGE RECOGNATION AND IMPLEMENTING AUGMENTED REALITY}
본 발명은 증강 현실 제공 방법에 관한 것이며, 구체적으로는 모바일 단말기를 이용할 때 빈번한 영상 처리를 방지하기 위한 증강 현실 제공 방법에 관한 것이다.
최근 스마트폰, 태플릿 등과 같이 다양한 모바일 단말기가 출시 되면서, 모바일 단말기의 카메라를 통해 실제 영상 화면 위에 객체를 보여주는 증강 현실 기술이 많이 이용되고 있다.
증강 현실(augmented reality)은 사용자가 눈으로 보는 현실 세계의 실제 이미지 상에 가상 이미지를 겹쳐 보여 주는 기술이다. 이러한 증강 현실 기술은 방송 통신 분야, 의료 기기 분야, 그리고 최근 스마트폰, 네비게이션 등의 모바일 장치 분야에 점차 확대되고 있다.
일 예로, 최근의 스마트폰과 같은 모바일 기기는 이미지를 촬영하는 카메라, 상기 카메라로부터 취득한 영상 정보를 판단하는 제어부, 그리고 사용자에게 영상 정보를 표시하는 디스플레이부를 포함한다. 이와 같은 구성의 모바일 단말기에 증강 현실 기능을 구현하는 경우, 제어부가 카메라에 의해 촬영된 전방의 실제 이미지들을 분석하고, 해당 실제 이미지에 대한 정체를 파악한 후 이와 관련된 정보 이미지를 상기 실제 이미지들에 오버랩하여 증강 현실로 표시하게 된다.
하지만 모바일 단말기를 이용한 대부분의 증강 현실은 특정 태그(QR코드, AR 태그, 바코드 등)를 인식하거나 위치 정보를 이용하여 해당 화면에서 객체를 증강시키는 방법이 주로 이용되고 있다.
그러나 태그나 위치정보가 없는 환경에서는 위와 같은 방법의 사용이 불가하여, 실제 사물을 그대로 인식하여 증강하는 기술을 이용해야 한다. 이를 위해서는 실제 사물을 그대로 인식하여 해당 위치에 객체를 증강해야 하는데, 태그와 같이 단순하지 않은 실제 사물을 인식하는 기술은 처리하는 시간이 오래 걸려 실시간으로 입력 받은 영상을 바로 처리하기에는 한계가 있다는 문제가 있다.
데스크톱 PC 등의 환경에서는 실제 사물을 인식하는 영상처리 기술도 실시간으로 무리 없이 처리할 수 있지만, 모바일 단말기 같은 상대적으로 성능이 낮은 단말기에서는 동일한 기술을 그대로 적용할 때는 모바일 단말기가 다운되는 현상이 발생할 가능성이 높은 문제점이 존재한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한 본 발명은 상대적으로 성능이 낮은 모바일 단말기에서 실제 사물을 그대로 인식하여 증강 현실을 제공하는 데 다운 현상이 발생하지 않는 새로운 증강 현실 제공 방법을 제공하는 것을 목적으로 한다.
또한 본 발명은 빈번한 영상 처리로 인한 모바일 단말기의 성능 저하를 방지할 수 있으면서도 필요한 경우 바로 증강 현실을 제공할 수 있는 증강 현실 제공 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, (a) 소정의 센서를 이용하여 모바일 단말기의 움직임을 감지함으로써 상기 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단계; (b) 상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 단계; 및 (c) 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공하는 단계를 포함하되, 상기 (a) 단계는, 상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되, 상기 기 설정된 변위 값은, 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴이 저장되고 이를 통해 데이터 학습을 통하여 적응적으로 조정되는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법을 포함한다.
본 발명의 다른 태양에 따르면, 소정의 센서를 사용하여 모바일 단말기의 움직임을 감지함으로써 상기 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단말기 멈춤 여부 판단부; 상기 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 영상 인식 관련부; 및 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공하는 증강 현실 제공부를 포함하되, 상기 단말기 멈춤 여부 판단부는, 상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되, 상기 모바일 단말기와 통신 가능한 단말기 멈춤 여부 판단 학습 시스템에 의해 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴에 대하여 데이터 학습이 행하여짐으로써 상기 기 설정된 변위 값이 적응적으로 조정되면, 상기 단말기 멈춤 여부 판단부는 상기 적응적으로 조정된 기 설정된 변위 값을 바탕으로 상기 멈춤 상태 여부를 판단하는 것을 특징으로 하는 모바일 단말기를 제시한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 및 상기 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 모바일 단말기의 자이로 센서를 이용하여 움직임을 감지하여, 움직임이 거의 없을 때에만 영상 인식 알고리즘을 구동함으로써 빈번한 영상 처리로 인한 성능 저하를 개선할 수 있으며, 모바일 단말의 낮은 성능으로 인한 다운 현상 발생을 사전에 방지할 수 있다.
또한, 본 발명에 따르면, 모바일 단말기의 멈춤 상태를 판단함에 있어서, 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴을 저장하고 이를 통해 데이터 학습을 통하여 멈춤 상태를 판단하기 위한 기 설정된 변위 값을 적응적으로 조정함으로써, 사용자별로 멈춤 상태를 맞춤형으로 판단할 수 있다.
도 1은 본 발명에 따른 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법의 흐름도를 나타낸다.
도 2는 본 발명에 따른 증강 현실을 제공하는 모바일 단말기의 구성을 나타내는 개략도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법의 흐름도를 나타낸다.
도 1을 참조하면, 본 발명에 따른 증강 현실 제공 방법은, 먼저 소정의 센서를 이용하여 모바일 단말기의 움직임을 감지함으로써 이 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단계(S101)를 수행한다.
이때 모바일 단말기의 멈춤 상태 유지 여부를 판단하는 수단은 모바일 단말기에 부착된 자이로 센서를 이용할 수 있다.
이 단계(S101)에서는, 모바일 단말기가 삼각대에 고정되어 있거나 바닥에 놓여있지 않고 사람이 손을 잡고 있는 이상 어느 정도 흔들림이 존재할 수 밖에 없기 때문에, 모바일 단말기가 상기 소정 기간 동안 기 설정된 변위 이내의 움직임 밖에 감지되지 않는다면 모바일 단말기가 멈춤 상태를 유지하는 것으로 판단하고 기 설정된 변위 이상의 움직임이 감지된다면 모바일 단말기가 멈춤 상태를 유지하지 않고 계속 움직이는 것으로 판단할 수 있을 것이다.
다만, 본 발명은 상기 모바일 단말기가 상기 소정 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되, 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴을 저장하고 이를 통해 데이터 학습을 통하여 상기 기 설정된 변위 값을 적응적으로 조정하는 것을 특징으로 한다. 구체적으로, 상기 기 설정된 변위 값은, 상기 소정의 시간 동안 상기 모바일 단말기의 움직임 패턴이 상기 모바일 단말기와 통신 가능한 서버에 실시간으로 저장되고 상기 저장된 움직임 패턴에 대한 데이터 학습을 통하여 적응적으로 조정될 수도 있을 것이다.
그리고 나서 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우(Y), 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통해 인식한다(S102). 이때, 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 소정의 영상 인식 기술을 통하여 두 영상을 비교하여 영상을 인식하는 것이 바람직하다. 이 경우, 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하기 위하여, 모바일 단말기의 카메라 모듈을 통해 입력되는 영상의 특징점과 소정의 데이터베이스에 저장되어 있는 영상들의 특징점을 매칭하는 방법을 사용하면 좀 더 쉽게 두 영상 사이의 유사도를 판단할 수 있을 것이다.
만일 데이터베이스에 저장되어 있는 영상들 중 특정 영상과 모바일 단말기의 카메라 모듈을 통해 입력되는 영상이 소정의 유사도 이상인 것으로 판단되면(Y), 특정 영상에 대응되어 저장되어 있는 정보를 사용하여 모바일 단말기 카메라 모듈을 통해 입력되는 영상을 증강 현실 서비스 제공 대상인 영상으로 인식한다(S103).
만일, 모바일 단말기가 계속 멈춤 상태가 아닌 것으로 판단되거나(S101 단계의 판단 시 N), 카메라 모듈로부터 입력되는 영상이 증강 현실 제공을 위한 영상으로 인식되지 않는 경우 (S103에서의 N)에는, 계속해서 모바일 단말기의 자이로 센서 등의 소정 센서를 이용하여 모바일 단말기의 움직임을 계속 감지하여 소정 시간 멈춤 상태를 유지할 때까지 기다리게 된다.
카메라 모듈에서 입력되는 영상이 증강 현실 서비스 제공 대상인 경우에는 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 부가하여 증강 현실 서비스를 제공한다(S104).
이와 같이 본 발명에 따른 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법은 모바일 단말기의 자이로 센서 등의 소정 센서를 이용하여 움직임을 감지하여, 움직임이 거의 없을 대에만 영상 인식 알고리즘을 구동하게 되고, 이에 따라 빈번한 영상 처리로 인한 모바일 단말기의 성능 저하를 개선할 수 있다.
기존과 같이 카메라로 입력되는 영상을 일일이 정보 대상 영상인지 인식하기 위해 영상에 대한 인식 알고리즘을 계속 처리하게 되면 상대적으로 성능이 낮은 모바일 단말기에서 다운 현상이 발생하게 되지만, 본 발명과 같이 모바일 단말기의 카메라에서 입력되는 영상을 계속 영상 인식 알고리즘을 구동하여 처리하지 않고, 단말기의 움직임이 일정 수준 이상 멈추어 있는 상태에서만 영상 인식 알고리즘을 구동하기 때문에, 기존의 방법에서의 성능 저하나 빈번한 다운 현상을 방지할 수 있게 된다.
즉, 사용자가 특정 물체를 인식하여 증강 현실 서비스를 받기 위해서는 특정 물체에 카메라를 비추고 해당 카메라 모듈(즉, 모바일 단말기)이 멈춰 있는 형태일 것이고, 모바일 단말기의 움직임이 활발할 때에는 증강 현실 서비스를 받기 위한 것이기 보다는 이를 위한 준비 과정이거나 이동 중이기 때문에 증강 현실 서비스를 받을 상황이 아니므로 영상 인식 알고리즘을 구동할 필요가 없기 때문이다.
도 2는 본 발명에 따른 증강 현실을 제공하는 모바일 단말기의 구성을 나타내는 개략도이다.
도 2를 참조하면, 본 발명에 따른 모바일 단말기(200)는 단말기 멈춤 여부 판단부(201), 영상 인식 관련부(202), 증강 현실 제공부(205), 카메라 모듈(206) 및 디스플레이부(207)를 포함한다.
단말기 멈춤 여부 판단부(201)는 소정의 센서를 이용하여 모바일 단말기의 움직임을 감지하고 이를 통해 이 모바일 단말기가 소정 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 기능을 한다. 이 소정의 센서는 단말기 내부에 부착된 자이로 센서를 이용할 수 있다.
이 단말기 멈춤 여부 판단부(201)는 모바일 단말기가 시간 동안 기 설정된 변위 이내의 움직임 밖에 감지되지 않는다면 모바일 단말기가 멈춤 상태를 유지하는 것으로 판단하고 기 설정된 변위 이상의 움직임이 감지된다면 모바일 단말기가 멈춤 상태를 유지하지 않고 계속 움직이는 것으로 판단할 것이다.
다만, 단말기 멈춤 여부 판단 학습 시스템(400)은 소정의 시간 동안 상기 모바일 단말기(200)의 움직임 패턴을 수신하여 저장하고 이를 통해 데이터 학습을 수행할 수 있을 것이며, 이에 따라 상기 기 설정된 변위 값을 적응적으로 조정한 후 상기 모바일 단말기(200)에 전송할 수 있을 것이며, 단말기 멈춤 여부 판단부(201)는 적응적으로 조정된 기 설정된 변위 값을 바탕으로 단말기의 멈춤 여부를 보다 정확하게 판단할 수 있을 것이다. 구체적으로, 단말기 멈춤 여부 판단 학습 시스템(400)은 상기 소정의 시간 동안 상기 모바일 단말기(200)의 움직임 패턴을 실시간으로 수신하여 저장할 수도 있고, 상기 저장된 움직임 패턴에 대한 데이터 학습을 통하여 상기 기 설정된 변위 값을 적응적으로 조정할 수 있을 것이다.
한편, 영상 인식 관련부(202)는 모바일 단말기의 움직임이 소정 시간 동안 멈춤 상태인 경우 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상을 소정의 영상 인식 기술(영상 인식 알고리즘)을 통하여 증강 현실을 제공할 대상이 되는 영상인지를 인식하는 기능을 한다.
영상 인식 관련부(202)는 모바일 단말기의 움직임이 상기 소정 시간 동안 멈춤 상태인 경우, 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상과 소정의 데이터베이스(300)에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하는 영상 비교부(203)와 데이터베이스(300)에 저장되어 있는 영상들 중 특정 영상과 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상이 소정의 유사도 이상인 것으로 판단되면, 이 특정 영상에 대응되어 저장되어 있는 정보를 사용하여 모바일 단말기의 모듈을 통해 입력되는 영상을 증강 현실 서비스 제공 대상으로 인식하는 영상 인식부(204)를 포함한다.
한편, 영상 비교부(203)는 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하기 위해, 모바일 단말기의 카메라 모듈(206)을 통해 입력되는 영상의 특징점과 데이터베이스(300)에 저장되어 있는 영상들의 특징점을 매칭함으로써 두 영상의 유사도를 비교할 수 있을 것이다.
한편, 단말기 멈춤 여부 판단부(201)는 상기 단말기 멈춤 여부 판단부(201)에서 모바일 단말기가 멈춤 상태가 아닌 것으로 판단하거나, 영상 인식 관련부(202)가 입력되는 영상이 증강 현실 제공을 위한 영상으로 인식하지 않는 경우는, 모바일 단말기의 멈춤 상태 여부를 계속 판단하게 된다.
즉, 사용자가 특정 물체를 인식하여 증강 현실 서비스를 받기 위해서는 특정 물체에 카메라를 비추고 멈추고 있을 것이기에, 모바일 단말기의 움직임이 활발할 때에는 증강 현실 서비스를 받기 위한 것이기 보다는 이를 위한 준비 과정이거나 이동 중이기 때문에 증강 현실 서비스를 받을 상황이 아니므로 영상 인식 알고리즘을 구동할 필요가 없다고 판단하고, 사용자가 증강 현실 서비스를 제공받기 위해 일정 사물에 카메라를 소정 시간 동안 고정 시킬 때까지 기다리는 것이다.
증강 현실 제공부(205)는 카메라 모듈(206)을 통해 입력되는 영상과 이 영상에 대한 인식 정보를 부가하여 이를 단말기 내의 디스플레이부(207)로 디스플레이 하여 증강 현실 서비스를 제공하는 기능을 한다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 추천한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 추천한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 추천한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 추천한 것일 수도 있다. 컴퓨터 판독 추천한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (13)

  1. (a) 소정의 센서를 이용하여 모바일 단말기의 움직임을 감지함으로써 상기 모바일 단말기가 x시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단계;
    (b) 상기 모바일 단말기의 움직임이 상기 x 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 단계; 및
    (c) 상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 상기 카메라 모듈을 통해 입력되는 영상에 부가하여 증강 현실 서비스를 제공하는 단계
    를 포함하되,
    상기 (a) 단계는,
    상기 모바일 단말기가 상기 x 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되,
    상기 기 설정된 변위 값은, y 시간 동안 상기 모바일 단말기의 움직임 패턴이 저장되고 상기 저장된 움직임 패턴에 대한 데이터 학습을 통하여 적응적으로 조정되는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.
  2. 제 1 항에 있어서,
    상기 기 설정된 변위 값은, 상기 y 시간 동안 상기 모바일 단말기의 움직임 패턴이 상기 모바일 단말기와 통신 가능한 단말기 멈춤 여부 판단 학습 시스템에 실시간으로 저장되고 상기 저장된 움직임 패턴에 대한 데이터 학습을 통하여 적응적으로 조정되는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.
  3. 제 1 항에 있어서,
    상기 (b) 단계는,
    (b1) 상기 모바일 단말기의 움직임이 상기 x 시간 동안 멈춤 상태인 경우, 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하는 단계; 및
    (b2) 상기 데이터베이스에 저장되어 있는 영상들 중 특정 영상과 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상이 소정의 유사도 이상인 것으로 판단되면, 상기 특정 영상에 대응되어 저장되어 있는 정보를 사용하여 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 인식하는 단계
    를 포함하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.
  4. 제 3 항에 있어서,
    상기 (b1) 단계에서,
    상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하기 위하여, 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상의 특징점과 소정의 데이터베이스에 저장되어 있는 영상들의 특징점을 매칭하는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.
  5. 제 1 항에 있어서,
    상기 (a) 단계는,
    상기 모바일 단말기에 부착된 자이로 센서를 이용하여 상기 모바일 단말기의 움직임을 감지하는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.
  6. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 모바일 단말기가 멈춤 상태가 아닌 것으로 판단되거나 상기 입력되는 영상이 증강 현실 제공을 위한 영상으로 인식되지 않는 경우는 상기 (a) 단계로 돌아가 상기 모바일 단말기의 멈춤 상태 여부를 계속 판단하는 것을 특징으로 하는 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법.
  7. 소정의 센서를 사용하여 모바일 단말기의 움직임을 감지함으로써 상기 모바일 단말기가 x 시간 동안 멈춤 상태를 유지하는지 여부를 판단하는 단말기 멈춤 여부 판단부;
    상기 모바일 단말기의 움직임이 상기 x 시간 동안 멈춤 상태인 경우 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 소정의 영상 인식 기술을 통하여 인식되도록 하는 영상 인식 관련부; 및
    상기 카메라 모듈을 통해 입력되는 영상에 대한 인식 정보를 상기 카메라 모듈을 통해 입력되는 영상에 부가하여 증강 현실 서비스를 제공하는 증강 현실 제공부
    를 포함하되,
    상기 단말기 멈춤 여부 판단부는,
    상기 모바일 단말기가 상기 x 시간 동안 기 설정된 변위 값 이내의 움직임밖에 감지되지 않을 시, 상기 모바일 단말기가 상기 멈춤 상태를 유지하는 것으로 판단하되,
    상기 모바일 단말기와 통신 가능한 단말기 멈춤 여부 판단 학습 시스템에 의해 y 시간 동안 상기 모바일 단말기의 움직임 패턴에 대하여 데이터 학습이 행하여짐으로써 상기 기 설정된 변위 값이 적응적으로 조정되면, 상기 단말기 멈춤 여부 판단부는 상기 적응적으로 조정된 기 설정된 변위 값을 바탕으로 상기 멈춤 상태 여부를 판단하는 것을 특징으로 하는 모바일 단말기.
  8. 제 7 항에 있어서,
    상기 단말기 멈춤 여부 판단 학습 시스템은,
    상기 y 시간 동안 상기 모바일 단말기의 움직임 패턴을 실시간으로 수신하여 저장하고 상기 저장된 움직임 패턴에 대한 데이터 학습을 수행하여 상기 기 설정된 변위 값을 적응적으로 조정하는 것을 특징으로 하는 모바일 단말기.
  9. 제 8 항에 있어서,
    상기 영상 인식 관련부는,
    상기 모바일 단말기의 움직임이 상기 x 시간 동안 멈춤 상태인 경우, 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하는 영상 비교부; 및
    상기 데이터베이스에 저장되어 있는 영상들 중 특정 영상과 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상이 소정의 유사도 이상인 것으로 판단되면, 상기 특정 영상에 대응되어 저장되어 있는 정보를 사용하여 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상을 인식하는 영상 인식부
    를 포함하는 모바일 단말기.
  10. 제 9 항에 있어서,
    상기 영상 비교부는,
    상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상과 소정의 데이터베이스에 저장되어 있는 영상들을 소정의 영상 인식 기술을 통하여 비교하기 위하여, 상기 모바일 단말기의 카메라 모듈을 통해 입력되는 영상의 특징점과 소정의 데이터베이스에 저장되어 있는 영상들의 특징점을 매칭하는 것을 특징으로 하는 모바일 단말기.
  11. 제 7 항에 있어서,
    상기 단말기 멈춤 여부 판단부는,
    상기 모바일 단말기에 부착된 자이로 센서를 이용하여 상기 모바일 단말기의 움직임을 감지하는 것을 특징으로 하는 모바일 단말기.
  12. 제 7 항에 있어서,
    상기 단말기 멈춤 여부 판단부는,
    상기 단말기 멈춤 여부 판단부에서 상기 모바일 단말기가 멈춤 상태가 아닌 것으로 판단하거나 상기 영상 인식 관련부가 상기 입력되는 영상이 증강 현실 제공을 위한 영상으로 인식하지 않는 경우는, 상기 모바일 단말기의 멈춤 상태 여부를 계속 판단하는 것을 특징으로 하는 모바일 단말기.
  13. 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법에 따라 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법을 관리 및 제공하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판단 가능한 기록 매체.
KR1020130059829A 2013-05-27 2013-05-27 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체 KR101518833B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130059829A KR101518833B1 (ko) 2013-05-27 2013-05-27 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130059829A KR101518833B1 (ko) 2013-05-27 2013-05-27 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20140139319A KR20140139319A (ko) 2014-12-05
KR101518833B1 true KR101518833B1 (ko) 2015-05-13

Family

ID=52459374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130059829A KR101518833B1 (ko) 2013-05-27 2013-05-27 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR101518833B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337209B1 (ko) * 2015-02-06 2021-12-09 삼성전자주식회사 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
KR101757420B1 (ko) * 2015-05-26 2017-07-12 동국대학교 산학협력단 투명 디스플레이를 이용한 상호작용 기반의 원격 화상 통신 및 강의 시스템
KR101855397B1 (ko) * 2016-11-30 2018-06-08 (주)잼투고 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버
KR102626304B1 (ko) 2016-12-06 2024-01-18 삼성전자주식회사 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
KR101889025B1 (ko) 2017-05-22 2018-08-16 동서대학교산학협력단 R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100957575B1 (ko) 2009-10-01 2010-05-11 (주)올라웍스 단말기의 움직임 또는 자세에 기초하여 비주얼 서치를 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
KR101264874B1 (ko) 2011-05-20 2013-05-15 주식회사 가나테크 증강현실을 이용한 학습 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100957575B1 (ko) 2009-10-01 2010-05-11 (주)올라웍스 단말기의 움직임 또는 자세에 기초하여 비주얼 서치를 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
KR101264874B1 (ko) 2011-05-20 2013-05-15 주식회사 가나테크 증강현실을 이용한 학습 장치 및 방법

Also Published As

Publication number Publication date
KR20140139319A (ko) 2014-12-05

Similar Documents

Publication Publication Date Title
CN109791608B (zh) 映射摘要和本地化
US9448635B2 (en) Rapid gesture re-engagement
KR101518833B1 (ko) 모바일 단말기를 이용한 영상 인식 및 증강 현실 제공 방법, 이를 이용한 모바일 단말기 및 컴퓨터 판독 가능한 기록 매체
US8379098B2 (en) Real time video process control using gestures
US9208579B2 (en) Object tracking device
US20170235458A1 (en) Information processing apparatus, information processing method, and recording medium
US10255504B2 (en) Object position tracking using motion estimation
US9922423B2 (en) Image angle variation detection device, image angle variation detection method and image angle variation detection program
EP2775374B1 (en) User interface and method
US20170070665A1 (en) Electronic device and control method using electronic device
US8938124B2 (en) Computer vision based tracking of a hand
US20210012632A1 (en) Information processing system, method and computer readable medium for determining whether moving bodies appearing in first and second videos are the same or not
US9298246B2 (en) Information processing device, system, and information processing method
CN104350509A (zh) 快速姿势检测器
US20170168709A1 (en) Object selection based on region of interest fusion
CN112955901A (zh) 用于执行回环检测的方法和装置
CN107340861B (zh) 手势识别方法及其设备
US20140132817A1 (en) Method and apparatus for capturing and displaying an image
US9148537B1 (en) Facial cues as commands
US10013052B2 (en) Electronic device, controlling method and storage medium
US20180059811A1 (en) Display control device, display control method, and recording medium
US11941860B2 (en) Computational load mitigation for image-based item recognition
US11507768B2 (en) Information processing apparatus, information processing method, and storage medium
EP3786838A1 (en) Face tracking method and apparatus
US10321089B2 (en) Image preproduction apparatus, method for controlling the same, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190225

Year of fee payment: 5