KR101648339B1

KR101648339B1 - 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치

Info

Publication number: KR101648339B1
Application number: KR1020090090427A
Authority: KR
Inventors: 이재면; 홍현수; 정미진
Original assignee: 삼성전자주식회사
Priority date: 2009-09-24
Filing date: 2009-09-24
Publication date: 2016-08-17
Also published as: US20160349071A1; US9915544B2; US20110071757A1; EP2302322B1; EP3637050A1; US10578452B2; EP2302322A3; US20190154458A1; KR20110032765A; US9410810B2; EP2302322A2; US20180156628A1; US10190885B2

Abstract

본 발명은 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치에 관한 것으로서, 가속도 센서를 이용하여 상기 휴대용 단말기가 지면과 수평 상태인지 여부를 판단하는 과정과, 지면과 수평 상태일 경우, 주변의 POI 정보를 포함한 지를 디스플레이하거나 별자리 정보를 디스플레이하는 과정을 포함하여, 현재 위치의 지도 정보, 별자리 정보, 이동 거리 및 시간 정보와 같은 다양한 정보들을 제공하며, 사용자들의 높은 기대와 다양한 기호를 만족시킬 수 있다.

AR(Augmented Reality), POI, 컴퍼스(compass), 줌(Zoom)

Description

휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치{APPARATUS AND METHOD FOR PROVIDING SERVICE USING A SENSOR AND IMAGE RECOGNITION IN PORTABLE TERMINAL}

본 발명은 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치에 관한 것으로서, 특히, AR(Augmented Reality)를 지원하는 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스를 제공하는 방법 및 장치에 관한 것이다.

오늘날, 통신 기술이 급격하게 발달함에 따라, 사용자들이 가상세계와 현실세계를 동시에 즐길 수 있도록 하기 위한 다양한 서비스들이 제공되고 있다. 일 예로 휴대용 단말기에서 카메라를 통해 입력되는 실물의 영상 위에 상기 실물에 관련된 설명을 나타내는 그래픽 혹은 텍스트 형태의 영상을 겹쳐 보여주는 AR(Augmented Reality) 서비스가 제공되고 있다.

도 1은 종래 기술에 따른 휴대용 단말기에서 AR 서비스를 제공하는 화면 구성을 도시하고 있다.

상기 도 1에 도시된 바와 같이, 종래 기술에 따른 휴대용 단말기는 사용자가 AR 어플리케이션을 실행시키면, 카메라를 구동시켜 상기 카메라로부터 입력되는 영상을 화면에 디스플레이하고, 상기 입력되는 영상에 포함된 지형 혹은 지물의 정보를 현재 위치 정보를 통해 수집한 후, 상기 화면에 디스플레이한다. 이는, 사용자가 주변의 지형 혹은 지물(Point Of Interest: 이하 'POI'라 칭함)에 관련된 정보를 얻기 위해 책을 찾거나 인터넷을 검색하는 등의 동작을 수행하지 않고서도, 단순히 휴대용 단말기에서 상기 AR 어플리케이션 실행하여 해당 지형 혹은 지물을 촬영함으로써, POI 정보를 획득할 수 있도록 하는 장점이 있다.

하지만, 최근에는 휴대용 단말기가 많이 사용됨에 따라 상기 휴대용 단말기에서 제공하는 각종 서비스의 기능들에 대한 사용자들의 기대와 요구가 점점 높아지고 있다. 따라서, 상기 사용자들의 높은 기대와 다양한 기호를 만족시키기 위해 상기 AR 서비스를 좀 더 폭 넓게 즐길 수 있는 다양한 기능들이 제공될 필요성이 있다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해 도출된 것으로서, 본 발명의 목적은 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치를 제공함에 있다.

본 발명의 다른 목적은 AR(Augmented Reality)을 지원하는 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스를 제공하는 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 AR을 지원하는 휴대용 단말기에서 가속도 센서를 통해 자세각을 획득하여 현재 위치의 지도 정보를 제공하는 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 AR을 지원하는 휴대용 단말기에서 가속도 센서를 통해 자세각을 획득하여 현재 위치의 별자리 정보를 제공하는 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 AR을 지원하는 휴대용 단말기에서 지자기센서를 통해 방향 정보를 제공하는 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 AR을 지원하는 휴대용 단말기에서 가속도 센서를 통해 움직임을 감지하여 카메라의 줌을 조절하는 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 AR을 지원하는 휴대용 단말기에서 화면에 디스플레이된 지형 혹은 지물까지의 이동 거리 및 시간 정보를 제공하는 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 AR을 지원하는 휴대용 단말기에서 화면에 디스플레이된 POI 정보를 이용한 웹 검색 서비스를 제공하는 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 AR을 지원하는 휴대용 단말기에서 POI 정보를 포함하는 영상을 획득하여 해당 POI에 태깅하는 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 AR을 지원하는 휴대용 단말기에서 사진 촬영 시, 사용자 얼굴을 인식하여 POI 정보를 합성하는 방법 및 장치를 제공함에 있다.

상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법은, 가속도 센서를 이용하여 상기 휴대용 단말기가 지면과 수평 상태인지 여부를 판단하는 과정과, 지면과 수평 상태일 경우, 주변의 POI 정보를 포함한 지도를 디스플레이하거나 별자리 정보를 디스플레이하는 과정을 포함하는 것을 특징으로 한다.

상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법은, 카메라를 구동하여 프리뷰를 수행하는 과정과, 가속도 센서를 이용하여 상기 휴대용 단말기가 전/후 방향으로 임계 거리 이상 이동되거나 바운스 혹은 스냅(snap)되는지 여부를 판단하는 과정과, 상기 전/후 방향으로 임계 거리 이상 이동되거나 바운스 혹은 스냅될 시, 상기 카메라의 줌을 조절하는 과정을 포함하는 것을 특징으로 한다.

상술한 목적들을 달성하기 위한 본 발명의 제 3 견지에 따르면, 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법은, 카메라를 구동하여 프리뷰를 수행하는 과정과, 현재 위치 정보를 획득하여 프리뷰 영상에 POI 정보를 표시하는 과정과, 영상이 캡쳐될 시, 캡쳐된 영상에 상기 POI 정보를 나타내는 그래픽 객체를 합성하는 과정을 포함하는 것을 특징으로 한다.

상술한 목적들을 달성하기 위한 본 발명의 제 4 견지에 따르면, 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 장치는, 휴대용 단말기의 자세각을 획득하는 가속도 센서와, 상기 자세각을 이용하여 상기 휴대용 단말기가 지면과 수평 상태인지 여부를 판단하는 제어부와, 상기 휴대용 단말기가 지면과 수평 상태일 경우, 상기 제어부의 제어에 따라 주변의 POI 정보를 포함한 지도를 디스플레이하거나 별자리 정보를 디스플레이하는 표시부를 포함하는 것을 특징으로 한다.

상술한 목적들을 달성하기 위한 본 발명의 제 5 견지에 따르면, 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 장치는, 영상을 입력받는 카메라와, 카메라로부터 입력된 영상을 디스플레이하여 프리뷰를 수행하는 표시부와, 상기 휴대용 단말기의 움직임을 측정하는 가속도 센서와, 상기 가속도 센서로부터 측정된 결과를 이용하여 상기 휴대용 단말기가 전/후 방향으로 임계 거리 이상 이동되거나 바운스 혹은 스냅되는지 여부를 판단하고, 상기 전/후 방향으로 임계 거리 이상 이동되거나 바운스 혹은 스냅될 시, 상기 카메라의 줌을 조절하는 는 제어부를 포함하는 것을 특징으로 한다.

상술한 목적들을 달성하기 위한 본 발명의 제 6 견지에 따르면, 휴대용 단말 기에서 영상인식 및 센서를 이용한 서비스 제공 장치는, 영상을 입력받는 카메라와, 카메라로부터 입력된 영상을 디스플레이하여 프리뷰를 수행하는 표시부와, 현재 위치 정보를 획득하는 GPS 수신기와, 상기 현재 위치 정보를 이용하여 POI 정보를 획득하고, 영상이 캡쳐될 시, 캡쳐된 영상에 상기 POI 정보를 나타내는 그래픽 객체를 합성하는 제어부를 포함하는 것을 특징으로 한다.

본 발명은 AR(Augmented Reality)을 지원하는 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스를 통해 현재 위치의 지도 정보, 별자리 정보, 이동 거리 및 시간 정보와 같은 다양한 정보들을 제공함으로써, 사용자들의 높은 기대와 다양한 기호를 만족시킬 수 있는 효과가 있다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

이하 본 발명에서는 AR(Augmented Reality)을 지원하는 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스를 제공하기 위한 방법 및 장치를 제공함에 있다.

도 2는 본 발명에 따라 AR을 지원하는 휴대용 단말기의 블록 구성을 도시하고 있다.

상기 도 2를 참조하면, 상기 휴대용 단말기는 제어부(200), 통신모듈(210), GPS 수신기(212), 지자기센서(214), 가속도 센서(216), 카메라(218), 표시부(220), 입력부(222) 및 저장부(224)를 포함하여 구성되며, 특히 상기 제어부(200)는 자세 추정부(202), 움직임 감지부(204), 보행자 항법 결정부(PDR: Pedestrian Dead Reckoning)(206), 영상 인식 및 처리부(208)를 포함하여 구성된다.

상기 제어부(200)는 상기 휴대용 단말기의 전반적인 동작을 제어 및 처리한다. 상기 제어부(200)는 AR 어플리케이션 실행 시, 상기 카메라(218)를 구동시키고, 상기 카메라(218)로부터 입력되는 영상을 상기 표시부(220)의 화면에 디스플레이하며, 상기 GPS 수신기(212)를 제어하여 현재 위치 정보를 획득한 후, 이를 통해 상기 영상에 포함된 지형 혹은 지물(Point Of Interest: 이하 'POI'라 칭함)의 정보를 수집하여, 상기 화면에 디스플레이하기 위한 기능을 제어 및 처리한다. 이때, 상기 POI 정보는 상기 저장부(224)를 통해 획득하거나 상기 통신 모듈(210)을 통해 외부 기기로부터 획득할 수 있다. 여기서, 상기 POI 정보는 해당 지형 혹은 지물의 이름, 위치(예: 위도, 경도), 종류(category), 지역 명, 주소, 전화번호, 상세 설명, 관련 이미지 정보를 포함하는 의미이다.

특히, 상기 제어부(200)는 본 발명에 따라 상기 자세 추정부(202), 상기 움직임 감지부(204), 상기 보행자 항법 결정부(206) 및 상기 영상 인식 및 처리 부(208)를 포함함으로써, 상기 AR 어플리케이션 실행 시에 상기 지자기센서(214), 상기 가속도 센서(216) 및 상기 카메라(218)를 이용한 서비스를 제공하기 위한 기능을 제어 및 처리한다.

상기 제어부(200)의 동작을 자세히 살펴보면, 먼저 상기 제어부(200)는 상기 자세 추정부(202)를 포함함으로써, 상기 가속도 센서(216)를 제어하여 자세각을 획득한 후, 상기 자세각을 통해 상기 휴대용 단말기가 지면에 대해 수평 상태인지 여부를 판단하고, 상기 수평 상태일 시, 상기 휴대용 단말기의 화면이 지면을 바라보는 상태인지 혹은 하늘을 바라보는 상태인지 여부를 판단한다. 상기 제어부(200)는 상기 자세 추정부(202)를 통해 상기 휴대용 단말기가 지면에 수평하며 화면이 하늘을 바라보는 상태일 경우, 컴퍼스 모드로 동작함을 결정하고, 상기 휴대용 단말기가 지면에 수평하며 화면이 지면을 바라보는 상태일 경우, 별자리 모드로 동작함을 결정한다. 여기서, 상기 제어부(200)는 상기 휴대용 단말기의 지면 수평 상태 및 화면의 방향에 따라 상기 컴퍼스 모드와 별자리 모드 중 어느 모드로 동작할지 여부를 판단하였으나, 상기 카메라(218)의 렌즈 방향에 따라 상기 컴퍼스 모드와 별자리 모드 중 어느 모드로 동작할지 여부를 판단할 수 도 있을 것이다. 또한, 여기서, 상기 제어부(200)는 상기 자세각을 통해 상기 휴대용 단말기가 지면에 대해 수평상태인지 여부를 판단한 결과, 상기 휴대용 단말기가 지면과 임계값 이하의 각을 이룰 경우, 상기 휴대용 단말기가 지면에 수평한 상태인 것으로 판단할 수 있다.

상기 제어부(200)는 컴퍼스 모드로 동작함이 결정될 시, 상기 자세 추정부(202)를 통해 상기 지자기센서(214)를 제어하여 상기 휴대용 단말기의 방향 정보 를 획득하고, 상기 GPS 수신기(212)를 제어하여 현재 위치 정보를 획득하여 상기 표시부(200)의 화면에 현재 위치에 대한 지도와 상기 방향 정보를 디스플레이한다. 이때, 상기 제어부(200)는 상기 위치 정보를 통해 주변의 POI 정보를 획득하여 상기 지도 위에 나타낼 수 있다. 이때, 상기 제어부(200)는 상기 AR 어플리케이션 실행으로 인해 상기 카메라(218)로부터 입력되는 영상을 화면에 계속적으로 디스플레이하고, 상기 지도와 방향 정보를 화면의 소정 위치에 디스플레이한다. 예를 들어, 상기 제어부(200)는 도 3(a)에 도시된 바와 같이, 카메라(218)로부터 입력되는 영상을 화면에 계속적으로 디스플레이하고, 상기 화면의 중앙에 휴대용 단말기의 방향을 나타내는 컴퍼스 형태의 지도를 디스플레이할 수 있다. 이때, 상기 컴퍼스 형태의 지도는 특정 지형 혹은 지물에 대한 POI 정보가 존재함을 아이콘으로 나타낼 수 있으며, 각 POI에 대한 거리를 나타내어 사용자가 현재 위치와 각 POI간의 거리상 관계를 파악할 수 있도록 한다. 또한, 상기 컴퍼스 형태의 지도는 상기 휴대용 단말기의 위치를 기준으로 하여 소정 각도를 표시함으로써, 상기 휴대용 단말기의 방향을 나타낼 수 있으며, 상기 각도는 상기 휴대용 단말기의 방향 변화에 따라 변경된다.

상기 제어부(200)는 별자리 모드로 동작함이 결정될 시, 상기 자세 추정부(202)를 통해 상기 GPS 수신기(212)를 제어하여 현재 위치 정보를 획득하고, 현재 위치를 기준으로 한 별자리 정보를 획득하여 상기 표시부(200)의 화면에 디스플레이한다. 이때, 상기 화면에 디스플레이되는 별자리 정보는 상기 휴대용 단말기의 위치 정보에 따라 실시간으로 변경된다. 상기 별자리 정보는 상기 저장부(224)를 통해 획득하거나 상기 통신 모듈(210)을 통해 외부 기기로부터 획득할 수 있다. 여기서, 상기 별자리 정보는 각 별자리의 위치, 이름, 유래 및 상세 설명 정보를 포함하는 의미이다. 예를 들어, 상기 제어부(200)는 도 3(b)에 도시된 바와 같이, 사용자가 휴대용 단말기를 지면에 수평한 상태로 하고, 화면이 지면으로 향하게 할 경우, 현재 위치를 중심으로 별자리를 디스플레이 할 수 있다.

또한, 상기 제어부(200)는 상기 움직임 감지부(204)를 포함함으로써, 상기 가속도 센서(216)를 제어하여 사용자에 의한 휴대용 단말기의 움직임을 감지하고, 상기 움직임에 따라 카메라(218)의 줌을 조절하기 위한 기능을 제어 및 처리한다. 즉, 상기 제어부(200)는 상기 움직임 감지부(204)를 통해 상기 가속도 센서(216)로부터 획득되는 휴대용 단말기의 이동 속도, 진동 등과 같은 움직임 정보를 이용하여 상기 휴대용 단말기가 전/후로 임계 거리 이상 이동되거나 바운스 혹은 스냅되는지 판단하고, 임계 거리 이상 이동되거나 바운스 혹은 스냅될 시 기 설정된 방식에 따라 상기 카메라의 줌을 인/아웃 시킨다. 즉, 상기 제어부(200)는 상기 가속도 센서(216)를 통해 상기 사용자가 휴대용 단말기를 임계 거리 이상 밀거나 당기는 동작을 수행하는지 혹은 상기 휴대용 단말기를 튕기듯이 밀거나 당기는 바운스 동작을 수행하는지 혹은 손목을 축으로 하여 상기 휴대용 단말기를 밀었다가 당기는 스냅 동작을 수행하는지 여부를 판단하고, 판단 결과에 따라 줌을 인/아웃 시킨다. 예를 들어, 상기 제어부(200)는 도 4에 도시된 바와 같이 사용자가 상기 휴대용 단말기를 임계 거리 이상 당기는 동작을 수행할 시 상기 카메라(218)의 줌을 소정 단계만큼 인 시키고, 상기 사용자가 휴대용 단말기를 임계 거리 이상 밀 경우 상기 카메라(218)의 줌을 소정 단계만큼 아웃 시킬 수 있다. 이때, 상기 카메라의 줌이 인/아웃되는 정도는 상기 휴대용 단말기가 전/후로 이동된 거리 혹은 바운스되거나 스냅된 정도 혹은 횟수에 따라 달라질 수 있으며, 이는 사용자 설정에 의해 변경될 수 있다. 여기서, 상기 사용자의 움직임에 따른 카메라의 줌 인/아웃 기능은 상기 휴대용 단말기가 지면에 수평 혹은 수직인 상태에 관계없이 수행될 수 있다. 예를 들어, 사용자가 상기 휴대용 단말기를 지면과 수직인 상태에서 자신의 방향으로 당기면 카메라의 줌을 인 혹은 아웃 시킬 수도 있고, 상기 휴대용 단말기를 지면과 수평인 상태에서 지면 방향으로 밀면, 카메라의 줌을 인 혹은 아웃 시킬 수 있을 것이다. 여기서, 상기 휴대용 단말기가 지면과 수직인 상태에서 전 혹은 후로 임계 거리 이동할 시, 상기 이동이 상기 사용자가 휴대용 단말기를 미는 동작인지 혹은 당기는 동작인지는 상기 휴대용 단말기의 화면 혹은 카메라가 바라보는 방향으로 이동하는지 혹은 반대 방향으로 이동하는지 여부를 통해 판단할 수도 있다.

상기 제어부(200)는 상기 보행자 항법 결정부(206)를 포함함으로써, 상기 가속도 센서(216)와 GSP 수신기(212)를 제어하여 상기 화면에 디스플레이된 영상에 포함된 POI까지의 이동거리 및 이동시간을 계산하고, 이를 상기 표시부(220)에 디스플레이한다. 예를 들어, 상기 제어부(200)는 도 5에 도시된 바와 같이, 화면에 디스플레이된 영상에 포함되는 건물까지의 이동시간을 나타낼 수 있다. 이때, 상기 제어부(200)는 상기 휴대용 단말기의 현재 위치에서 해당 POI까지의 직선거리가 아닌, 사용자가 실제 이동할 경로를 고려한 이동거리를 계산하고, 이에 따라 이동시간을 계산한다. 이때, 상기 이동시간은 소정 시간 동안에 계산된 상기 사용자의 이 동속도, 평균 이동속도를 이용하여 계산할 수 있다. 이때, 상기 평균 이동속도는 복수의 사용자들에 대한 평균 이동속도를 의미하고, 상기 사용자의 이동속도 및 상기 평균 이동속도는 사용자의 현재 이동속도와 상황별로 구분될 수도 있다. 즉, 상기 제어부(200)는 현재 속도가 임계값 이상이면, 차량을 이용한 주행 중으로 판단하여 상기 주행에 대응되는 사용자의 이동속도 혹은 평균 이동속도를 이용하고, 상기 현재 속도가 임계값 이하이면, 보행 중으로 판단하여 상기 보행에 대응되는 사용자의 이동속도 혹은 평균 이동속도를 이용할 수 있다. 또한, 상기 제어부(200)는 오르막길에서의 이동속도, 내리막길에서의 이동속도 및 계단에서의 이동속도 등과 같이 노면의 상황에 따라 구분된 이동속도를 이용하여 해당 POI까지의 이동시간을 계산할 수 있다. 이때, 상기 사용자 이동속도는 이전에 추정된 이동속도이거나 현재 추정되는 이동속도일 수 있으며, 상익 평균 이동속도는 상기 휴대용 단말기의 설계시에 미리 저장된 이동속도이거나 상기 통신 모듈(210)을 통해 외부 기기로부터 획득한 이동속도일 수 있다.

상기 제어부(200)는 상기 영상 인식 및 처리부(208)를 포함함으로써, AR 어플리케이션 실행 중에 사진 촬영 기능 즉, 캡쳐 이벤트가 발생될 시, 현재 화면에 POI 정보를 디스플레이 중인지 여부를 검사하고 상기 POI 정보를 디스플레이 중일 시, 상기 디스플레이된 POI 정보를 포함하는 영상을 캡처한다. 예를 들어, 도 6(a)에 도시된 바와 같이, 휴대용 단말기에서 AR 어플리케이션 실행 시, 화면에 디스플레이된 영상에 대응되는 POI 정보가 존재하여 상기 화면에 POI 정보가 디스플레이된 상태에서 사용자에 의해 사진 촬영 이벤트가 발생되면, 상기 휴대용 단말기 는 상기 화면을 캡쳐하여 도 6(b)에 도시된 바와 같이 POI 정보를 포함하는 영상을 획득할 수 있다. 이때, 상기 제어부(200)는 상기 POI 정보를 포함하는 영상을 상기 POI 정보에 대응되는 지형 혹은 지물에 관련된 이미지로 태깅하여 상기 저장부(224)에 저장함으로써, 도 6(c)에 도시된 바와 같이, 사용자가 지형 혹은 지물을 안내하는 관련 어플리케이션을 실행하여 해당 위치의 POI 정보를 획득하고자 할때, 상기 POI 정보를 포함하는 영상을 디스플레이할 수도 있다.

또한, 상기 제어부(200)는 상기 영상 인식 및 처리부(208)를 포함함으로써, AR 어플리케이션 실행 중에 사진 촬영 기능 즉, 캡쳐 이벤트가 발생될 시, 상기 카메라로부터 입력되는 영상을 캡처하고 상기 캡처된 영상에 사용자 얼굴이 존재하는지 여부를 검사한다. 상기 제어부(200)는 상기 사용자 얼굴이 존재할 시, 상기 GPS 수신기(212)를 통해 상기 캡처된 영상에 대응되는 POI 정보를 수집하고, 상기 POI 정보를 그래픽 객체 혹은 텍스트 코멘트 등으로 표현하여 상기 캡처된 영상에 합성하기 위한 기능을 제어 및 처리한다. 이때, 상기 제어부(200)는 상기 영상 인식 및 처리부(208)를 통해 상기 사용자 얼굴에서 입 혹은 치아를 인식하여 상기 POI 정보를 표현하는 그래픽 객체 혹은 텍스트 코멘트를 상기 입 혹은 치아 주변에 합성하여 사용자가 상기 POI 정보를 말하고 있는 듯한 효과를 줄 수 있다.

또한, 상기 제어부(200)는 상기 화면에 POI 정보가 디스플레이되었을 시, 상기 POI 정보와 웹 검색 엔진을 연동하기 위한 기능을 제어 및 처리한다. 즉, 상기 제어부(200)는 사용자가 특정 POI 정보를 선택하고, 웹 검색 이벤트를 발생시키면 상기 특정 POI 정보로부터 검색 키워드를 자동으로 추출하여 웹 검색을 수행하기 위한 기능을 제어 및 처리한다. 상기 제어부(200)는 상기 검색 키워드로, 상기 POI 정보에서 해당 지형 혹은 지물의 이름, 종류, 지역 명 혹은 주소 정보를 획득하여 웹 상에서 상기 획득된 정보로 검색이 이루어지도록 제어 및 처리한다. 이때, 상기 POI 정보에 지역 명이 존재하지 않는 경우, 주소 정보로부터 지역 명을 추출할 수 있으며, 위도와 경도를 이용하여 해당 위치의 행정구역 명을 획득하여 지역 명으로 이용할 수 있다.

상기 통신모듈(210)은 안테나(미도시)를 통해 입출력되는 데이터의 무선신호를 송수신 처리하는 기능을 수행한다. 특히, 상기 통신모듈(210)은 상기 제어부(200)의 제어 하에 외부 기기와의 무선신호를 송수신하여 POI 정보를 획득할 수 있다.

상기 GPS(Global Positioning System) 수신기(212)는 GPS 시스템으로부터 상기 휴대용 단말기의 위치를 나타내는 위치 정보 즉, 위치 좌표를 획득하여 상기 제어부(200)로 제공한다.

상기 지자기센서(214)는 상기 제어부(200)의 제어 하에 상기 휴대용 단말기의 방향을 측정하고, 측정된 방향 정보를 상기 제어부(200)로 제공한다.

상기 가속도 센서(216)는 상기 휴대용 단말기의 움직임에 대한 이동 방향, 이동속도, 자세각 등을 측정하여 상기 제어부(200)로 제공한다. 본 발명에서는 상기 가속도 센서(216)를 이용하여 휴대용 단말기의 움직임을 측정하였으나, 상기 휴대용 단말기의 움직임을 측정할 수 있는 다른 센서들을 이용할 수도 있다.

상기 카메라(218)는 카메라 센서를 통해 영상 촬영시에 감지되는 광신호를 전기적 신호로 변환하여 상기 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하여 상기 영상 인식 및 처리부(208)로 제공한다.

상기 표시부(220)는 상기 휴대용 단말기의 상태 정보, 숫자와 문자들, 다량의 동영상 및 정지영상 등을 디스플레이한다. 특히, 상기 표시부(220)는 상기 제어부(200)의 제어에 따라 상기도 3(a)에 도시된 바와 같이, 화면의 소정 위치에 휴대용 단말기의 방향과 주변의 POI 정보를 나타내는 컴퍼스 형태의 지도를 디스플레이하고, 도 3(b)에 도시된 바와 같이, 현재 위치에 대응되는 별자리 정보를 디스플레이할 수 있다. 또한, 상기 표시부(220)는 상기 제어부(200)의 제어에 따라 도 5에 도시된 바와 같이 특정 POI까지의 이동거리 및 이동시간을 디스플레이할 수 있다.

상기 입력부(222)는 다수의 기능키와 숫자 및 문자 키를 구비하며, 사용자가 누르는 키 혹은 사용자의 터치에 대응하는 입력 데이터를 상기 제어부(200)로 제공한다.

상기 저장부(224)는 상기 휴대용 단말기의 전반적인 동작을 위한 각종 프로그램 및 데이터를 저장하며, 본 발명에 따라 POI DB(DataBase)를 포함하여 특정 지형 및 지물들에 대한 POI 정보, 예를 들어, 이름, 위치(예: 위도, 경도), 종류(category), 지역 명, 주소, 전화번호, 상세 설명, 관련 이미지 정보를 저장한다. 이때, 상기 POI DB는 미리 저장될 수도 있으며, 네트워크 혹은 외부 기기에 의해 갱신될 수 있다. 또한, 상기 저장부(224)는 본 발명에 따라 별자리 DB를 포함하여 각 별자리의 위치, 이름, 유래 및 상세 설명 정보를 저장한다.

도 7a와 도 7b는 본 발명의 실시 예에 따른 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 절차를 도시하고 있다.

상기 도 7a와 도 7b를 참조하면, 상기 휴대용 단말기는 701단계에서 AR 어플리케이션이 실행될 시, 703단계로 진행하여 카메라를 구동시켜 프리뷰를 진행하고, 705단계에서 가속도 센서 및 지자기센서를 구동시킨다. 여기서, 상기 가속도 센서 및 지자기센서를 구동시키는 것은 상기 단말의 수평 상태와 단말의 방향 및 이동 방향 등을 판단하기 위함이다.

이후, 상기 휴대용 단말기는 707단계에서 상기 휴대용 단말기가 지면과 수평상태인지 여부를 판단한다. 상기 휴대용 단말기는 상기 가속도 센서를 통해 자세각을 획득하여 상기 휴대용 단말기가 지면에 대해 수평 상태인지 여부를 판단할 수 있으며, 이때 상기 휴대용 단말기가 지면과 임계값 이하의 각을 이룰 경우, 지면에 수평한 상태인 것으로 판단할 수 있다. 상기 휴대용 단말기는 자신이 지면과 수평한 상태일 시 하기 709단계로 진행하고, 상기 지면과 수평한 상태가 아닐 시 하기 719단계로 진행한다.

상기 휴대용 단말기는 709단계에서 화면의 위치 즉, 상기 화면이 지면을 바라보는 상태인지 혹은 하늘을 바라보는 상태인지 여부를 판단한다. 만일, 상기 휴대용 단말기가 지면에 수평하며 화면이 하늘을 바라보는 상태일 경우, 상기 휴대용 단말기는 711단계에서 컴퍼스 모드로 동작함을 결정한 후, 713단계로 진행하여 현재 위치 정보를 이용하여 화면의 소정 위치에 휴대용 단말기의 방향과 주변의 지형 및 지물을 안내하는 정보 즉, POI 정보를 나타내는 컴퍼스 형태의 지도를 디스플레 이한다. 이때, 상기 휴대용 단말기의 방향은 상기 지자기센서를 통해 판단할 수 있으며, 상기 컴퍼스 형태의 지도에 소정 각도를 표시하여 나타낼 수 있다. 여기서, 상기 휴대용 단말기는 상기 프리뷰 화면을 유지한 상태에서 화면의 소정 위치에 상기 지도를 디스플레이할 수 있다. 예를 들어, 상기 도 3(a)에 도시된 바와 같이, 카메라(218)로부터 입력되는 영상을 화면에 계속적으로 디스플레이하면서, 상기 화면의 중앙에 휴대용 단말기의 방향과 주변의 POI 정보를 나타내는 컴퍼스 형태의 지도를 디스플레이할 수 있다. 이후, 상기 휴대용 단말기는 상기 707단계로 진행하여 이하 단계를 재수행한다.

반면, 상기 휴대용 단말기가 지면에 수평하며 화면이 지면을 바라보는 상태일 경우, 상기 휴대용 단말기는 715단계에서 별자리 모드로 동작함을 결정한 후, 717단계에서 현재 위치 정보를 이용하여 화면에 별자리 정보를 디스플레이한다. 이때, 상기 화면에 디스플레이되는 별자리 정보는 상기 휴대용 단말기의 위치 정보에 따라 실시간으로 변경되며, 상기 별자리 정보는 각 별자리의 위치, 이름, 유래 및 상세 설명 정보를 포함하는 의미이다. 예를 들어, 상기 도 3(b)에 도시된 바와 같이, 사용자가 휴대용 단말기를 지면에 수평한 상태로 하고, 화면이 지면으로 향하게 할 경우, 상기 휴대용 단말기는 현재 위치를 중심으로 별자리를 디스플레이 할 수 있다. 이후, 상기 휴대용 단말기는 상기 707단계로 진행하여 이하 단계를 재수행한다.

한편, 상기 707단계의 검사 결과 상기 휴대용 단말기가 지면과 수평한 상태가 아닐 경우, 상기 휴대용 단말기는 719단계로 진행하여 현재 위치정보에 따른 POI 정보를 획득하여 상기 프리뷰 화면에 디스플레이한다.

이후, 상기 휴대용 단말기는 721단계로 진행하여 상기 휴대용 단말기가 전/후 방향으로 전/후로 임계 거리 이상 이동되거나 바운스 혹은 스냅되는지 판단한다. 즉, 상기 휴대용 단말기는 상기 가속도 센서(216)를 통해 상기 사용자가 휴대용 단말기를 임계 거리 이상 밀거나 당기는 동작을 수행하는지 혹은 상기 휴대용 단말기를 튕기듯이 밀거나 당기는 바운스 동작을 수행하는지 혹은 손목을 축으로 하여 상기 휴대용 단말기를 밀었다가 당기는 스냅 동작을 수행하는지 여부를 판단한다.

만일, 상기 휴대용 단말기가 전/후로 임계 거리 이상 이동되거나 바운스 혹은 스냅될 시, 상기 휴대용 단말기는 723단계로 진행하여 상기 이동 량, 바운스 량, 혹은 스냅 강도에 따라 기 설정된 단계만큼 상기 카메라(218)의 줌을 인/아웃 시킨다. 예를 들어, 상기 휴대용 단말기는 상기 도 4에 도시된 바와 같이, 사용자가 상기 휴대용 단말기를 임계 거리 이상 당길 경우, 상기 카메라(218)의 줌을 소정 단계만큼 인 시키고, 상기 사용자가 휴대용 단말기를 임계 거리 이상 밀 경우, 상기 카메라(218)의 줌을 소정 단계만큼 아웃 시킬 수 있다. 이때, 상기 카메라의 줌이 인/아웃되는 정도는 상기 휴대용 단말기가 전/후로 이동되는 량, 바운스 량 혹은 스냅의 강도에 따라 달라질 수 있으며, 이동된 횟수, 바운스 횟수, 스냅된 횟수에 따라 달라질 수도 있다. 이때, 상기 휴대용 단말기는 상기 휴대용 단말기가 최대 임계 거리 이상 이동할 경우에는, 이를 사용자의 보행 혹은 주행으로 인한 이동으로 판단하고 상기 카메라(218)의 줌을 조절하지 않는다. 이후, 상기 휴대용 단 말기는 상기 707단계로 되돌아가 이하 단계를 재수행한다.

반면, 상기 휴대용 단말기가 전/후로 임계 거리 이상 이동되지 않고 바운스되거나 스냅되지도 않을 시, 상기 휴대용 단말기는 725단계로 진행하여 화면에 디스플레이된 POI 중 하나가 선택되는지 검사한다. 상기 휴대용 단말기는 하나의 POI가 선택될 시 하기 727단계로 진행하고, POI가 선택되지 않을 시 하기 737단계로 진행한다.

상기 하나의 POI가 선택될 시, 상기 휴대용 단말기는 727단계에서 상기 선택된 POI에 관련된 상세 정보들을 디스플레이한다. 이때, 상기 휴대용 단말기는 상기 POI까지의 이동거리 및 이동시간을 계산하여 디스플레이할 수 있다. 예를 들어, 상기 휴대용 단말기는 도 5에 도시된 바와 같이, 화면에 디스플레이된 영상에 포함되는 특정 POI까지의 이동시간을 나타낼 수 있다. 여기서, 상기 이동시간은 현재 위치에서 해당 POI까지의 직선거리가 아닌, 사용자가 실제 이동할 경로를 고려하여 계산할 수 있으며, 상기 이동시간은 소정 시간 동안에 계산된 상기 사용자의 이동속도 혹은 평균 이동속도를 이용하여 계산할 수 있다.

이후, 상기 휴대용 단말기는 729단계에서 웹 검색 기능이 선택되는지 여부를 판단한다. 상기 휴대용 단말기는 상기 웹 검색 기능이 선택되지 않을 시 하기 737단계로 진행하고, 상기 웹 검색 기능이 선택될 시 731단계에서 상기 POI 정보를 이용하여 웹 검색을 수행한다. 즉, 상기 휴대용 단말기는 상기 선택된 POI 정보로부터 검색 키워드를 자동으로 추출하여 추출된 검색 키워드로 웹 검색을 자동 수행한다. 여기서, 상기 검색 키워드는 상기 POI 정보에 포함된 해당 지형 혹은 지물의 이름, 종류, 지역 명 혹은 주소 정보 중 어느 하나일 수 있다.

이후, 상기 휴대용 단말기는 733단계에서 웹 검색 결과를 디스플레이하고, 735단계로 진행하여 AR 어플리케이션을 종료하기 위한 이벤트가 발생되거나 이전 상태로 되돌아가기 위한 이벤트가 발생되는지 검사한다. 상기 휴대용 단말기는 AR 어플리케이션을 종료하기 위한 이벤트가 발생될 시 본 발명에 따른 알고리즘을 종료하고, 상기 이전 상태로 되돌아가기 위한 이벤트가 발생될 시, 상기 719단계로 되돌아가 이하 단계를 재수행한다.

한편, 상기 휴대용 단말기는 737단계에서 캡쳐 이벤트가 발생되는지 여부를 검사한다. 상기 휴대용 단말기는 캡쳐 이벤트가 발생되지 않을 시 상기 707단계로 되돌아가 이하 단계를 재수행하고, 상기 캡쳐 이벤트가 발생될시 739단계로 진행하여 카메라로부터 입력되는 영상을 캡쳐한다.

이후, 상기 휴대용 단말기는 741단계에서 상기 캡쳐된 영상에 사용자 얼굴이 존재하는지 여부를 검사한다. 상기 캡쳐된 영상에 사용자 얼굴이 존재할 시, 상기 휴대용 단말기는 743단계로 진행하여 상기 사용자 얼굴 주변에 POI 정보를 포함하는 그래픽 객체를 합성하여 디스플레이한다. 즉, 상기 휴대용 단말기는 캡쳐된 영상에 사용자 얼굴이 존재할 시, 상기 719단계에서 수집된 POI 정보를 그래픽 객체 혹은 텍스트 코멘트 등으로 표현하여 상기 캡처된 영상에 합성한다. 이때, 상기 휴대용 단말기는 상기 사용자 얼굴에서 입 혹은 치아를 인식하여 상기 POI 정보를 표현하는 그래픽 객체 혹은 텍스트 코멘트를 상기 입 혹은 치아 주변에 합성하여 사용자가 상기 POI 정보를 말하고 있는 듯한 효과를 줄 수 있다. 이후, 상기 휴대용 단말기는 하기 747단계로 진행한다.

상기 캡쳐된 영상에 사용자 얼굴이 존재하지 않을 시, 상기 휴대용 단말기는 745단계로 진행하여 상기 캡쳐된 영상에 POI 정보를 합성하여 디스플레이한다. 여기서, 상기 휴대용 단말기는 상기 캡쳐된 영상에 POI 정보를 합성하여 디스플레이할 수도 있으나, 상기 영상 캡쳐 이벤트가 발생될 시에 POI 정보가 디스플레이되었는지 여부를 검사하여 디스플레이된 POI 정보를 영상과 함께 캡쳐할 수도 있다. 예를 들어, 상기 휴대용 단말기는 상기 도 6(b)에 도시된 바와 같이, POI 정보를 포함하는 영상을 획득하여 디스플레이한다. 이후, 상기 휴대용 단말기는 하기 747단계로 진행한다.

상기 휴대용 단말기는 747단계에서 상기 캡쳐로 획득한 영상을 저장하기 위한 이벤트가 발생되는지 여부를 검사한다. 상기 휴대용 단말기는 상기 저장 이벤트가 발생되지 않을 시 상기 707단계로 되돌아가 이하 단계를 재수행하고, 상기 저장 이벤트가 발생될 시 749단계로 진행하여 획득된 영상을 저장하고, 상기 709단계로 되돌아가 이하 단계를 재수행한다. 여기서, 상기 휴대용 단말기는 상기 POI 정보를 포함하는 영상을 상기 POI 정보에 대응되는 지형 혹은 지물에 관련된 이미지로 태깅하여 저장함으로써, 도 6(c)에 도시된 바와 같이, 사용자가 지형 혹은 지물을 안내하는 관련 어플리케이션을 실행하여 해당 위치의 POI 정보를 획득하고자 할때, 상기 POI 정보를 포함하는 영상을 디스플레이할 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 종래 기술에 따른 휴대용 단말기에서 AR 서비스를 제공하는 화면 구성을 도시하는 도면,

도 2는 본 발명에 따라 AR을 지원하는 휴대용 단말기의 블록 구성을 도시하는 도면,

도 3은 본 발명의 실시 예에 따른 휴대용 단말기에서 자세각에 따라 지도 정보 혹은 별자리 정보를 제공하는 화면 구성을 도시하는 도면,

도 4는 본 발명의 실시 예에 따른 휴대용 단말기에서 움직임에 따라 카메라의 줌을 조절하는 방식을 도시하는 도면,

도 5는 본 발명의 실시 예에 따른 휴대용 단말기에서 특정 지형 혹은 지물까지의 이동 거리 및 시간 정보를 제공하는 화면 구성을 도시하는 도면,

도 6은 본 발명의 실시 예에 따른 휴대용 단말기에서 POI 정보를 포함하는 영상을 획득하여 해당 POI에 태깅하는 화면 구성을 도시하는 도면,

도 7a와 도 7b는 본 발명의 실시 예에 따른 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 절차를 도시하는 도면.

Claims

휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법에 있어서,

카메라를 구동하여 프리뷰 영상을 표시하는 과정과,

상기 휴대용 단말기의 움직임을 측정하는 과정과,

상기 휴대용 단말기의 움직임에 대응하여 상기 휴대용 단말기가 전방 또는 후방으로 이동한 거리를 식별하는 과정과,

상기 이동한 거리가 제1 임계 거리 이상인 경우, 상기 이동한 거리에 대응하여 상기 카메라의 줌(zoom)을 조절하는 과정과,

상기 이동한 거리가 제2 임계 거리 이상인 경우, 상기 카메라의 줌 조절을 제한하는 과정을 포함하며,

상기 제1 임계 거리는, 상기 제2 임계 거리보다 작은 값으로 설정되는 방법.
제 1항에 있어서,

상기 휴대용 단말기의 움직임에 대응하여 상기 휴대용 단말기가 바운스되는지 여부를 판단하는 과정과,

상기 휴대용 단말기가 후방으로 바운스된 경우, 바운스 량 혹은 바운스 횟수에 기반하여 상기 카메라를 기 설정된 제2 단계만큼 줌인하는 과정과,

상기 휴대용 단말기가 전방으로 바운스된 경우, 바운스 량 혹은 바운스 횟수에 기반하여 상기 카메라를 기 설정된 제2 단계만큼 줌아웃하는 과정을 더 포함하는 방법.
제 1항에 있어서,

상기 휴대용 단말기의 움직임에 대응하여 상기 휴대용 단말기가 스냅되는지 여부를 판단하는 과정과,

상기 휴대용 단말기가 후방으로 스냅된 경우, 스냅의 강도 혹은 횟수에 기반하여 상기 카메라를 기 설정된 제3 단계만큼 줌인하는 과정과,

상기 휴대용 단말기가 전방으로 스냅된 경우, 스냅의 강도 혹은 횟수에 기반하여 상기 카메라를 기 설정된 제3 단계만큼 줌아웃하는 과정을 더 포함하는 방법.
휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법에 있어서,

카메라를 구동하여 프리뷰 영상을 표시하는 과정과,

현재 위치 정보를 획득하여 프리뷰 영상에 POI 정보를 표시하는 과정과,

영상이 캡쳐될 시, 캡쳐된 영상에 상기 POI 정보를 나타내는 그래픽 객체를 합성하는 과정과,

합성된 영상을 상기 POI 정보에 해당하는 지형 혹은 지물의 이미지로 태깅하는 과정과,

해당 위치의 POI 정보를 제공하기 위해 관련 어플리케이션을 구동하는 과정과,

상기 POI 정보를 포함하는 합성된 영상을 상기 어플리케이션을 통해 표시하는 과정을 포함하는 방법.
제 4항에 있어서,

상기 그래픽 객체를 합성하는 과정은,

상기 캡쳐된 영상에 사용자 얼굴이 존재하는지 여부를 검사하는 과정과,

상기 사용자 얼굴이 존재할 시, 상기 POI 정보를 나타내는 그래픽 객체를 사용자 얼굴 주변에 합성하는 과정을 포함하는 방법.
제 4항에 있어서,

상기 POI 정보가 표시된 상태에서 웹 검색 기능이 수행될 시, 상기 POI 정보로부터 적어도 하나의 검색 키워드를 추출하는 과정과,

상기 추출된 적어도 하나의 키워드를 이용하여 웹 검색을 수행하는 과정을 더 포함하는 방법.
제 4항에 있어서,

상기 현재 위치 정보를 획득하여 프리뷰 영상에 POI 정보를 표시하는 과정은,

상기 프리뷰 영상에 표시된 POI 정보에 대응되는 지형 혹은 지물에 대해 실제 이동경로를 고려한 이동거리와 이동시간 중 적어도 하나를 계산하여 표시하는 과정을 포함하며,

상기 이동 시간은, 소정 시간 동안에 계산된 상기 휴대용 단말기의 사용자 이동 속도 또는 복수의 사용자들에 대한 평균 이동 속도에 기반하여 계산되는 방법.
휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 장치에 있어서,

제어부와,

영상을 입력받도록 구성되고, 상기 제어부와 기능적으로 연결된 카메라와,

상기 카메라로부터 입력된 영상을 이용하여 프리뷰 영상을 표시하도록 구성되고, 상기 제어부와 기능적으로 연결된 표시부와,

상기 휴대용 단말기의 움직임을 측정하도록 구성되고, 상기 제어부와 기능적으로 연결된 가속도 센서를 포함하며,

상기 제어부는,

상기 휴대용 단말기의 움직임에 대응하여 상기 휴대용 단말기가 전방 또는 후방으로 이동한 거리를 식별하도록 구성되고, 상기 이동한 거리가 제1 임계 거리 이상인 경우, 상기 이동한 거리에 대응하여 상기 카메라의 줌(zoom)을 조절하도록 구성되고, 상기 이동한 거리가 제2 임계거리 이상인 경우, 상기 카메라의 줌 조절을 제한하도록 구성되며,

상기 제1 임계 거리는, 상기 제2 임계 거리보다 작은 값으로 설정되는 장치.
제 8항에 있어서,

상기 제어부는,

상기 휴대용 단말기의 움직임에 대응하여 상기 휴대용 단말기가 바운스되는지 여부를 판단하도록 구성되고, 상기 휴대용 단말기가 후방으로 바운스된 경우, 바운스 량 혹은 바운스 횟수에 기반하여 기 설정된 제2 단계만큼 상기 카메라를 줌인하도록 구성되고, 상기 휴대용 단말기가 전방으로 바운스된 경우, 바운스 량 혹은 바운스 횟수에 기반하여 기 설정된 제2 단계만큼 상기 카메라를 줌아웃하도록 구성되는 장치.
제 8항에 있어서,

상기 제어부는,

상기 휴대용 단말기의 움직임에 대응하여 상기 휴대용 단말기가 스냅되는지 여부를 판단하도록 구성되고, 상기 휴대용 단말기가 후방으로 스냅된 경우, 스냅의 강도 혹은 횟수에 기반하여 기 설정된 제3 단계만큼 상기 카메라를 줌인하도록 구성되고, 상기 휴대용 단말기가 전방으로 스냅된 경우, 스냅의 강도 혹은 횟수에 기반하여 기 설정된 제3 단계만큼 상기 카메라를 줌아웃하도록 구성되며, 상기 스냅은 상기 휴대용 단말기가 사용자의 손목을 축으로 하여 밀렸다가 당겨지는 동작인 장치.
휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 장치에 있어서,

제어부와,

영상을 입력받도록 구성되고, 상기 제어부와 기능적으로 연결된 카메라와,

상기 카메라로부터 입력된 영상을 디스플레이하여 프리뷰 영상을 표시하도록 구성되고, 상기 제어부와 기능적으로 연결된 표시부와,

현재 위치 정보를 획득하도록 구성되고, 상기 제어부와 기능적으로 연결된 GPS 수신기를 포함하며,

상기 제어부는,

상기 현재 위치 정보를 이용하여 POI 정보를 획득하도록 구성되고, 영상이 캡쳐될 시, 캡쳐된 영상에 상기 POI 정보를 나타내는 그래픽 객체를 합성하도록 구성되고, 합성된 영상을 상기 POI 정보에 해당하는 지형 혹은 지물의 이미지로 태깅하도록 구성되고, 해당 위치의 POI 정보를 제공하기 위해 관련 어플리케이션을 구동하도록 구성되고, 상기 POI 정보를 포함하는 합성된 영상을 상기 어플리케이션을 이용하여 상기 표시부를 통해 표시하도록 구성되는 장치.
제 11항에 있어서,

상기 제어부는,

상기 캡쳐된 영상에 사용자 얼굴이 존재하는지 여부를 검사하도록 구성되고, 상기 사용자 얼굴이 존재할 시, 상기 POI 정보를 나타내는 그래픽 객체를 사용자 얼굴 주변에 합성하도록 구성되는 장치.
제 11항에 있어서,

상기 제어부는,

상기 POI 정보를 화면에 표시된 상태에서 웹 검색 기능이 수행될 시, 상기 POI 정보로부터 검색 키워드를 추출하도록 구성되고, 상기 추출된 적어도 하나의 키워드를 이용하여 자동으로 웹 검색을 수행하기 위한 기능을 제어하도록 구성되는 장치.
제 11항에 있어서,

상기 제어부는,

상기 프리뷰 영상에 포함된 지형 혹은 지물에 대해 실제 이동경로를 고려한 이동거리와 이동시간 중 적어도 하나를 계산하여 표시하기 위한 기능을 제어하도록 구성되고, 소정 시간 동안에 계산된 상기 휴대용 단말기의 사용자 이동속도 혹은 복수의 사용자들에 대한 평균 이동속도를 이용하여 상기 이동시간을 계산하도록 구성되는 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제