KR102332524B1

KR102332524B1 - 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법 및 모바일 디바이스

Info

Publication number: KR102332524B1
Application number: KR1020150004459A
Authority: KR
Inventors: 정희석; 김수정; 조시연; 김정환
Original assignee: 삼성전자주식회사; 서울대학교산학협력단
Priority date: 2015-01-12
Filing date: 2015-01-12
Publication date: 2021-11-29
Also published as: KR20160086717A; WO2016114475A1

Abstract

모바일 디바이스를 이용한 사용자 입력 방법 및 모바일 디바이스가 제공된다. 모바일 디바이스가, 상기 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법은, 상기 모바일 디바이스가 제1 임계치만큼 구부려지는 제1 사용자 입력을 수신하는 단계; 상기 제1 사용자 입력이 수신됨에 따라, 상기 모바일 디바이스에 포함된 카메라를 통하여 실제 공간의 객체를 촬영하는 단계; 상기 촬영된 객체의 객체 이미지를 상기 모바일 디바이스의 화면 상에 디스플레이하는 단계; 및 상기 모바일 디바이스에 설치된 애플리케이션의 서비스들 중에서 상기 촬영된 객체 이미지와 관련된 서비스를 제공하는 단계; 를 포함한다.

Description

모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법 및 모바일 디바이스 {METHOD FOR PROVIDING SERVICE BY BENDING MOBILE DEVICE AND MOBILE DEVICE}

본 개시는 모바일 디바이스를 구부리는 사용자 입력을 수신하고, 상기 수신된 사용자 입력에 따라 기설정된 서비스를 제공하는 방법 및 모바일 디바이스에 관한 것이다.

최근의 모바일 디바이스는 터치 스크린 패널(Touch Screen Panel;TSP)을 이용하여, 사용자가 보다 편리하게 필요한 정보를 모바일 디바이스에 입력할 수 있도록 하고 있다. 이로 인하여, 키패드의 키 입력을 통한 사용자 입력 방법에 비하여, 사용자는 보다 편리하게 모바일 디바이스에 정보를 입력할 수 있게 되었다.

모바일 디바이스에 의해 제공되는 기능이 갈수록 다양해지고 있다. 모바일 디바이스에서 다양한 기능 실행을 위해서는 터치 스크린 패널에 디스플레이되는 애플리케이션 목록을 검색하고, 실행할 애플리케이션을 선택하는 과정이 필요하다. 모바일 디바이스를 사용하는 사용자는 전술한 일련의 과정을 거쳐 기능을 이용하기 때문에 불편함이 있다. 따라서, 모바일 디바이스의 사용자의 위치, 공간, 주변 객체들과의 관계 등 상황에 맞춰 직관적으로 기능을 실행시킬 필요가 있다.

본 개시는, 모바일 디바이스에서 제공하는 기능을 실행시키기 위해서, 모바일 디바이스의 상황에 맞춰 직관적으로 기능을 실행하게 할 수 있는 방법을 제공한다. 즉, 본 개시의 일 실시예는, 모바일 디바이스를 구부리는 사용자 입력에 따라 상황에 맞는 기능을 자동으로 실행할 수 있는 제공할 수 있는 방법을 제공한다.

또한, 본 개시의 일 실시예는, 장치를 구부리는 사용자 입력에 따라 상황에 맞는 기능을 실행할 수 있는 모바일 디바이스를 제공한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 모바일 디바이스가 제1 임계치만큼 구부려지는 제1 사용자 입력을 수신하는 단계; 상기 제1 사용자 입력이 수신됨에 따라, 상기 모바일 디바이스에 포함된 카메라를 통하여 실제 공간의 객체 이미지를 촬영하는 단계; 상기 촬영된 객체 이미지를 상기 모바일 디바이스의 화면 상에 디스플레이하는 단계; 및 상기 모바일 디바이스에 설치된 애플리케이션의 서비스들 중에서 상기 촬영된 객체 이미지와 관련된 서비스를 제공하는 단계; 를 포함하는, 모바일 디바이스가 상기 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법을 제공할 수 있다.

또한, 상기 방법은 상기 촬영된 객체 이미지를 이용하여, 상기 모바일 디바이스의 위치를 결정하는 단계; 를 더 포함하고, 상기 서비스를 제공하는 단계는, 상기 결정된 위치에 기초하여, 상기 객체이미지와 관련된 서비스를 제공할 수 있다.

또한, 상기 애플리케이션은 네비게이션 애플리케이션이며, 상기 서비스를 제공하는 단계는 상기 결정된 위치를 출발지로 하는 경로 정보를 제공할 수 있다.

또한, 상기 애플리케이션은 네비게이션 애플리케이션이며, 상기 결정된 위치의 위치 정보를 저장하는 단계; 를 더 포함하며, 상기 서비스를 제공하는 단계는, 상기 모바일 디바이스의 위치가 이동되는 경우, 상기 이동된 모바일 디바이스의 위치로부터 상기 저장된 위치까지의 경로 정보를 제공할 수 있다.

또한, 상기 촬영된 객체 이미지 내의 객체를 인식하는 단계; 를 더 포함하며, 상기 서비스를 제공하는 단계는, 상기 인식된 객체에 관련된 정보를 제공할 수 있다.

또한, 상기 인식된 객체는 상기 객체 이미지 내에 포함된 텍스트 및 이미지 중 적어도 하나를 포함하며, 상기 서비스를 제공하는 단계는, 상기 텍스트 및 이미지 중 적어도 하나를 입력값으로 하여 검색된 정보를 제공할 수 있다.

또한, 상기 인식된 객체는 상기 객체 이미지 내의 텍스트를 포함하며, 상기 서비스를 제공하는 단계는, 상기 텍스트를 기 설정된 언어로 번역하여 제공할 수 있다.

또한, 상기 인식된 객체는 상기 모바일 디바이스 주변의 주변 기기이며, 상기 객체 이미지를 이용하여 상기 주변 기기의 기기 정보를 획득하는 단계; 를 더 포함하며, 상기 서비스를 제공하는 단계는, 상기 모바일 디바이스와 상기 주변 기기 간의 통신을 형성할 수 있다.

또한, 상기 서비스를 제공하는 단계는, 상기 모바일 디바이스 내의 콘텐트 또는 상기 주변 기기의 콘텐트를, 상기 주변 기기와 공유할 수 있다.

또한, 상기 서비스를 제공하는 단계는, 상기 모바일 디바이스의 화면의 적어도 일부를 상기 주변 기기에게 미러링할 수 있다.

또한, 상기 디스플레이하는 단계는, 상기 모바일 디바이스가 구부려짐에 따라 분할된 상기 모바일 디바이스의 화면 영역들 중 제 1 영역에 상기 촬영된 객체 이미지를 디스플레이할 수 있다.

또한, 상기 서비스를 제공하는 단계는, 상기 분할된 상기 모바일 디바이스의 화면 영역들 중 제 2 영역에 상기 서비스의 서비스 정보를 디스플레이할 수 있다.

또한, 상기 제1 사용자 입력을 수신하는 단계 이전에, 상기 모바일 디바이스가 제2 임계치만큼 구부려지는 제2 사용자 입력을 수신하는 단계; 및 상기 모바일 디바이스의 위치 및 상기 모바일 디바이스에서 실행 중인 애플리케이션에 관련된 상세 정보를 상기 제1 영역에 디스플레이하는 단계; 를 더 포함할 수 있다.

또한, 상기 제1 사용자 입력을 수신하는 단계 이후에, 상기 모바일 디바이스가 제2 임계치만큼 구부려지는 제2 사용자 입력을 수신하는 단계; 및 상기 객체 이미지 내에 포함된 객체에 관련된 부가 정보를 상기 제2 영역에 디스플레이하는 단계; 를 더 포함할 수 있다.

또한, 상기 제2 임계치는 상기 제1 임계치보다 작은 각도일 수 있다.

본 개시의 제2 측면은, 상기 모바일 디바이스를 제1 임계치 만큼 구부리는 사용자 입력을 수신하는 사용자 입력부; 상기 사용자 입력이 수신됨에 따라 실제 공간의 객체 이미지를 촬영하는 카메라부; 상기 촬영된 객체 이미지를 화면 상에 디스플레이하는 디스플레이부; 및 상기 모바일 디바이스에 설치된 애플리케이션의 서비스들 중에서 상기 촬영된 객체 이미지와 관련된 서비스를 제공하는 제어부; 를 포함하는, 사용자 입력에 따라 기설정된 서비스를 제공하는 모바일 디바이스를 제공할 수 있다.

또한, 상기 촬영된 객체 이미지를 이용하여, 상기 모바일 디바이스의 위치를 결정하고, 상기 결정된 위치에 기초하여, 상기 객체 이미지와 관련된 서비스를 제공할 수 있다.

또한, 상기 제어부는, 상기 인식된 특정 개체에 포함된 텍스트 및 이미지 중 적어도 하나를 입력값으로 하여 검색된 정보를 제공할 수 있다.

또한, 상기 제어부는, 상기 인식된 특정 개체에 포함된 텍스트를 기설정된 언어로 번역하여 제공할 수 있다.

또한, 상기 제어부는, 상기 촬영된 객체 이미지에 포함되는 주변 기기를 인식하고, 상기 인식된 주변 기기의 기기 정보를 획득할 수 있다.

또한, 상기 인식된 주변 기기와 상기 모바일 디바이스 간 통신을 형성하는 통신부; 를 더 포함할 수 있다.

또한, 상기 제어부는, 상기 모바일 디바이스 내의 콘텐트 또는 상기 주변 기기의 콘텐트를 상기 주변 기기와 공유할 수 있다.

또한, 상기 모바일 디바이스가 제1 임계 각도 및 제2 임계 각도로 구부러지는 각도를 인식하는 각도 센서; 를 더 포함할 수 있다.

또한, 상기 제어부는, 상기 각도 센서가 상기 모바일 디바이스가 상기 제1 임계치보다 작은 제2 임계치 만큼 구부러졌다고 인식하는 경우, 상기 모바일 디바이스의 위치 정보를 인식하고, 상기 인식된 위치와 관련된 상세 정보를 검색하는 서비스를 제공할 수 있다.

본 개시의 제3 측면은, 본 개시의 제1 측면인, 모바일 디바이스가 상기 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

모바일 디바이스를 구부리는 사용자 입력에 따라 상황에 맞는 기능을 자동으로 실행하여 사용자의 입력 단계를 최소화하고, 그에 따라 직관적으로 모바일 디바이스에서 제공하는 기능을 실행하게 할 수 함으로써 직관적이고 편리한 사용자 경험을 제공한다.

도 1은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간을 촬영하여 상기 모바일 디바이스(1000) 상의 화면에 디스플레이하는 모바일 디바이스(1000)를 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신하여 기설정된 서비스를 제공하는 방법의 흐름도이다.
도 3(a) 및 도 3(b)는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신하여 구부려지는 것을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 분할된 화면의 각 영역에 서비스를 제공하는 방법의 흐름도이다.
도 5는 본 개시의 일 실시예에 따른, 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 분할된 화면의 각 영역에 서비스를 제공하는 일례를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 위치를 결정하고, 상기 결정된 위치 정보를 이용하여 서비스를 제공하는 방법의 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 위치를 결정하고, 상기 결정된 위치 정보를 이용하여 네비게이션 서비스를 제공하는 일례를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 위치 정보를 저장하고, 저장된 위치까지의 경로 정보를 제공하는 방법의 흐름도이다.
도 9(a) 및 도 9(b)는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 위치 정보를 저장하고, 저장된 위치까지의 경로 정보를 제공하는 일례를 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 객체를 인식하고, 인식된 객체의 이미지와 관련된 서비스를 제공하는 방법의 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 객체를 인식하고, 인식된 객체의 이미지와 관련된 검색 서비스를 제공하는 일례를 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 객체를 인식하고, 인식된 객체의 이미지와 관련된 텍스트 인식 및 번역 서비스를 제공하는 일례를 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 주변 기기를 인식하고, 인식된 주변 기기와 관련된 서비스를 제공하는 방법의 흐름도이다.
도 14는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 주변 기기를 인식하고, 인식된 주변 기기와 연결하는 서비스를 제공하는 일례를 설명하기 위한 도면이다.
도 15 및 도 16은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 웨어러블 기기를 인식하고, 인식된 웨어러블 기기와 관련된 서비스를 제공하는 일례를 설명하기 위한 도면이다.
도 17은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 주변 기기를 인식하고, 인식된 주변 기기와 콘텐트를 공유하는 일례를 설명하기 위한 도면이다.
도 18은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 서로 다른 각도로 구부리는 사용자 입력을 수신함에 따라 실행 중인 애플리케이션과 관련된 서비스들 중 어느 하나를 제공하는 방법의 흐름도이다.
도 19는 본 개시의 일 실시에에 따른 모바일 디바이스(1000)가 서로 다른 제1 임계치(α) 및 제2 임계치(β)로 구부리는 사용자 입력을 수신하여 구부려지는 일례를 설명하기 위한 도면이다.
도 20(a) 및 도 20(b)는 모바일 디바이스(1000)를 서로 다른 제1 임계치(α) 및 제2 임계치(β)로 구부리는 사용자 입력을 수신함에 따라 서비스를 제공하는 일례를 설명하기 위한 도면이다.
도 21은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 서로 다른 제1 임계치(α) 및 제2 임계치(β)로 구부리는 사용자 입력을 수신함에 따라 서비스를 제공하는 방법의 흐름도이다.
도 22(a) 및 도 22(b)는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 서로 다른 제1 임계치(α) 및 제2 임계치(β)로 구부리는 사용자 입력을 수신함에 따라 서비스를 제공하는 일례를 설명하기 위한 도면이다.
도 23은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 특정 위치를 지정하는 사용자 입력과 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 순차적으로 수신함에 따라 서비스를 제공하는 방법의 흐름도이다.
도 24는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)의 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 명세서에서, 객체는, 모바일 디바이스의 화면에 표시되는 이미지, 동영상 및 텍스트일 수 있다. 객체는, 예를 들어, 사용자 인터페이스, 애플리케이션의 실행 결과, 콘텐트의 실행 결과, 콘텐트의 목록 및 아이콘을 포함할 수 있으나, 이에 제한되지 않는다.

또한, 본 명세서에서, 객체 이미지는, 모바일 디바이스가 위치하는 실제 공간을 상기 모바일 디바이스에 포함된 카메라로 촬영하여 화면에 표시하는 이미지, 동영상 및 텍스트일 수 있다. 객체 이미지는, 예를 들어, 사용자 인터페이스, 가상 현실 인터페이스, 네비게이션 애플리케이션의 실행 결과, 콘텐트 실행 결과 및 애플리케이션 실행 목록 등을 포함할 수 있으나, 이에 제한되지 않는다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간을 촬영하여 상기 모바일 디바이스(1000) 상의 화면에 디스플레이하는 모바일 디바이스(1000)를 도시한 도면이다.

도 1에 도시된 바와 같이, 본 개시의 일 실시예에 따른 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 몸체부 및 디스플레이 화면 전체가 구부려질 수 있다. 모바일 디바이스(1000)의 화면은 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 제1 영역(110) 및 제2 영역(120)으로 분할될 수 있다. 상기 모바일 디바이스(1000)는 디스플레이 화면을 포함하고, 상기 디스플레이 화면은 제1 영역(110) 및 제2 영역(120)을 포함하는 복수개로 구분되나, 상기 각 영역이 서로 연접하여 일정 각도로 구부려지거나, 또는 접히거나 펴질 수 있는 형태를 가지며, 상기 각 영역은 터치 스크린으로 형성될 수 있다. 다만, 상기 모바일 디바이스(1000)의 디스플레이 화면이 신호 입력을 위한 입력부 구성으로써, 터치 스크린만으로 한정되는 것은 아니다.

모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 일정 임계치 만큼 구부리는 사용자 입력을 수신함에 따라 기설정된 서비스를 제공할 수 있다. 예를 들어, 상기 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 카메라를 이용하여 실제 공간(2000)을 촬영하여 제1 영역(110)에 디스플레이할 수 있다. 또한, 상기 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)에 설치되고 실행되는 애플리케이션이 제공할 수 있는 서비스들 중 상기 촬영된 실제 공간(2000)의 위치와 관련된 서비스를 제공할 수 있다. 상기 제공되는 서비스는 애플리케이션 형태로 제2 영역(120)에 표시될 수 있다.

도 2는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신하여 기설정된 서비스를 제공하는 방법의 흐름도이다.

단계 S200에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 제1 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 모바일 디바이스(1000)는 화면을 포함할 수 있고, 상기 화면은 모바일 디바이스(1000)를 구부리는 사용자 입력이 수신됨에 따라 제1 영역(110)과 제2 영역(120)으로 분할될 수 있다. 다만, 상기 화면은 제1 영역(110)과 제2 영역(120)으로 완전히 나누어지는 것은 아니다. 상기 화면의 제1 영역(110) 및 제2 영역(120)은 일체형으로 구부러져 구분되는 것으로서, 실시예들에서 상기 제1 영역(110) 및 상기 제2 영역(120)에서 각각 제공되고 디스플레이되는 애플리케이션을 통한 서비스의 내용이 서로 다른바, 서로 분리된 화면처럼 인식될 수 있다.

상기 모바일 디바이스(1000)를 구부리는 사용자 입력은, 상기 모바일 디바이스(1000) 몸체부와 화면부를 지면으로부터 일정한 임계각 만큼 구부릴 수 있다. 상기 제1 임계치는 지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제1 임계치는 60°일 수 있다.

모바일 디바이스(1000)는 각도 센서를 포함할 수 있다. 상기 각도 센서는 지면 상에서 또는 사용자가 파지한 상태에서 상기 모바일 디바이스(1000)가 어느 정도의 각도로 구부려진 것인지 판단할 수 있다. 상기 각도 센서는 예를 들어, 지자기 센서, 중력 센서, 자이로 센서 및 가속도 센서 중 적어도 하나를 포함할 수 있다. 상기 각도 센서는 상기 지자기 센서, 중력 센서, 자이로 센서 및 가속도 센서 중 적어도 하나를 사용하여 상기 모바일 디바이스(1000)가 어느 정도로 구부려졌는지를 판단할 수 있다.

단계 S210에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 포함하는 카메라를 이용하여 실제 공간의 객체를 촬영한다. 상기 실제 공간은 상기 모바일 디바이스(1000)가 위치하는 주변 공간을 의미할 수 있다. 상기 카메라는 상기 모바일 디바이스(1000)를 사용하는 사용자의 시선 전방을 향하는 실제 공간을 촬영할 수 있도록 상기 모바일 디바이스(1000)에 장착 또는 내장될 수 있다.

카메라는 상기 모바일 디바이스(1000) 주변의 실제 공간에 포함된 객체 를 촬영하고, 촬영된 객체의 이미지를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호 처리부를 포함할 수 있다. 상기 카메라 센서는 CCD 또는 CMOS센서일 수 있고, 상기 신호 처리부는 DSP(Digital Signal Processor)로 구현될 수 있다. 카메라의 카메라 센서는, 상기 모바일 디바이스(1000)의 주변 실제 공간을 촬영하고, 신호 처리부는 객체 이미지를 획득할 수 있다. 일 실시예에서, 상기 신호 처리부는 획득된 객체 이미지에서 상기 모바일 디바이스(1000)가 위치한 공간을 인식하거나, 상기 모바일 디바이스(1000)의 주변에 위치하는 객체를 인식하거나, 또는 상기 모바일 디바이스(1000)의 주변에 위치하는 다른 주변 기기를 인식할 수 있다.

단계 S220에서 모바일 디바이스(1000)의 화면 상의 제1 영역(110)에 촬영된 객체의 이미지를 디스플레이할 수 있다. 상기 모바일 디바이스(1000)는, 단계 S210에서 카메라가 촬영한 실제 공간의 객체에 대한 이미지를 실시간으로 수신할 수 있다. 상기 모바일 디바이스(1000)가 실시간으로 수신한 실제 공간의 객체 이미지는 동영상과 같은 형태로 화면 상의 제1 영역(110)에 표시될 수 있다.

단계 S230에서 모바일 디바이스(1000)는 설치된 애플리케이션의 서비스들 중 촬영된 객체 이미지와 관련된 서비스를 제공한다.

상기 모바일 디바이스(1000)는 기설치된 적어도 하나의 애플리케이션을 포함할 수 있다. 예를 들어, 상기 모바일 디바이스(1000)는 웹 브라우징 애플리케이션, 검색 애플리케이션, 모바일 쇼핑 애플리케이션, 네비게이션 애플리케이션, 텍스트 인식 애플리케이션, 번역 애플리케이션 및 동영상 재생 애플리케이션 중 적어도 하나를 포함할 수 있다. 상기 모바일 디바이스(1000)는 상기 나열된 적어도 하나의 애플리케이션을 실행하고 있는 상태일 수 있다.

상기 모바일 디바이스(1000)는 실제 공간을 카메라로 촬영하여 제1 영역(110)에 디스플레이되고 있는 객체 이미지를 인식하여 상기 적어도 하나의 애플리케이션 중 관련된 애플리케이션을 실행하여 서비스를 제공할 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)는 상기 객체 이미지를 인식하는 것 외에 위치 센서를 이용하여 상기 인식된 객체 이미지와 관련된 공간 및 위치 정보를 획득하고, 획득된 공간 및 위치 정보에 기초하여 관련된 애플리케이션을 실행하여 서비스를 제공할 수 있다. 또한, 일 실시예에서, 상기 모바일 디바이스(1000)는 상기 객체 이미지 중 특정 객체를 인식하여 인식된 객체에 관한 상세 정보를 웹에서 검색하는 검색 애플리케이션을 실행하여 검색 서비스를 제공할 수 있다. 또한, 일 실시예에서, 상기 모바일 디바이스(1000)는 상기 객체 이미지 중 텍스트를 인식하여 텍스트 인식 또는 번역 애플리케이션을 실행하여 텍스트와 관련된 상세 정보 검색 서비스 또는 번역 서비스를 제공할 수 있다. 이에 대한 상세한 설명은 후술하기로 한다.

도 3(a) 및 도 3(b)는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신하여 구부려지는 것을 설명하기 위한 도면이다.

도 3(a)를 참조하면, 모바일 디바이스(1000)는 디스플레이 화면(100)을 포함할 수 있다. 도 3(a)에 도시되어 있는 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신받지 않은 상태로서, 구부려지지 않고 평평하게 펴져 있는 상태이다. 상기 디스플레이 화면(100)은 터치 스크린으로 형성될 수 있다. 상기 디스플레이 화면(100)은 부팅 화면, 잠금 화면, 메뉴 화면, 홈 스크린 및 애플리케이션 활성화 화면 중 어느 하나의 화면을 출력할 수 있다. 상기 디스플레이 화면(100)은 구부릴 수 있는 플렉서블(Flexible)한 소재로 이루어질 수 있다. 예를 들어, 상기 디스플레이 화면(100)은 플렉서블 능동 유기 발광 다이오드 디스플레이(Flexible Active Matrix Organic Light Emitting Diode, F-AMOLED) 또는 FLCD(Flexible Liquid Crystal Display)로 이루어질 수 있다. 상기 모바일 디바이스(1000)의 디스플레이 화면(100)을 제외한 나머지 본체 부분도 구부릴 수 있는 플렉서블 소재로 이루어질 수 있다. 상기 모바일 디바이스(1000)는, 디스플레이 화면(100)이 형성되고, 상기 디스플레이 화면(100)을 지지하는 프레임(130)을 포함할 수 있다. 상기 프레임(130)은, 디스플레이 화면(100) 뿐만 아니라, 도 24에서 설명하는 제어부와 저장부, 오디오 입출력부 및 통신부를 포함하는 인쇄 회로 기판이 안착되는 공간을 제공할 수 있다. 상기 지지 프레임은 설계자의 의도에 따라 구부려질 수 있는 새시 재질이나 플렉서블 플라스틱 재질로 형성될 수 있다.

도 3(b)를 참조하면, 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신하여 소정의 각도로 구부려질 수 있다. 상기 모바일 디바이스(1000)는 상기 사용자 입력으로 인해 구부려지지 않은 부분과 제1 임계각(θ)을 형성하도록 구부려질 수 있다. 상기 제1 임계각(θ)은 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제1 임계각(θ)은 60°일 수 있다.

상기 모바일 디바이스(1000)의 디스플레이 화면(100)은 상기 사용자 입력을 수신하여 제1 영역(110) 및 제2 영역(120)으로 분할될 수 있다. 상기 제1 영역(110)과 제2 영역(120)으로 나누어져서 서로 분리되는 개념으로 이해되는 것은 아니고, 일체형으로 구부려지는 것으로 이해될 수 있다. 일 실시예에서, 상기 제1 영역(110)의 면적은 상기 제2 영역(120)의 면적의 1/2일 수 있으나, 이에 한정되는 것은 아니다.

모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 제1 임계각(θ) 만큼 구부리는 사용자 입력을 수신하는 경우, 디스플레이 화면(100, 도 3(a) 참조)이 제1 영역(110) 및 제2 영역(120)으로 분할될 수 있고, 디스플레이 화면(100)이 구부려지고 분할됨에 따라 프레임(130)도 구부려지고 분할될 수 있다. 상기 프레임(130)은 상기 제1 영역(110)을 감싸고 지지하는 제1 프레임(132), 상기 제2 영역(120)을 감싸고 지지하는 제2 프레임(134)으로 분할될 수 있다. 상기 제1 프레임(132)의 연장 선상인 제1 연장선(132l)과 상기 제2 프레임(134)의 연장 선상인 제2 연장선(134l)은 제1 임계각(θ)을 형성할 수 있다.

상기 모바일 디바이스(1000)가 구부려지는 사용자 입력을 수신함에 따라 사용자가 상기 제1 영역(110)을 통해 실제 공간이 촬영된 객체 이미지를 시각적으로 보는데 있어서 편의를 제공할 수 있다. 즉, 일 실시예에서, 상기 제1 임계각(θ)은 60°일 수 있는데, 이 경우 제1 영역(110)이 사용자를 향하여 구부러져 있어 사용자의 눈 높이, 시선의 각도 등에서 편리할 수 있다. 또한, 일 실시예에서, 상기 모바일 디바이스(1000)가 상기 제1 영역(110)을 통해 가상 현실 네비게이션 서비스 등을 제공할 수 있는데, 제1 영역(110)이 사용자를 향하여 구부러질 수 있어 사용자가 실제 공간을 걸어다는 경우 시선을 바닥에 두지 않고 정면을 향할 수 있어 시선 처리에도 편리한 효과가 있을 수 있다.

도 4는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 분할된 화면의 각 영역에 서비스를 제공하는 방법의 흐름도이다.

단계 S400에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 제1 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 제1 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제1 임계치는 60°일 수 있다. 상기 모바일 디바이스(1000)는 각도 센서를 포함할 수 있고, 상기 각도 센서는 지자기 센서, 중력 센서, 자이로 센서 및 가속도 센서 중 적어도 하나를 이용하여 상기 모바일 디바이스(1000)가 어느 정도의 각도로 구부려졌는지를 판단할 수 있다.

단계 S410에서 모바일 디바이스(1000)의 화면 영역을 제1 영역(110, 도 3 참조) 및 제2 영역(120, 도 3 참조)으로 분할한다. 상기 화면 영역이 제1 영역(110)과 제2 영역(120)으로 분할된다는 것은, 서로 나누어져서 분리되는 것이 아니고, 일체형으로 구부려지는 것으로 이해될 수 있다. 일 실시예에서, 상기 제1 영역(110)의 면적은 상기 제2 영역(120)의 면적의 1/2일 수 있다.

단계 S420에서 상기 모바일 디바이스(1000)가 포함하는 카메라를 이용하여 실제 공간의 객체를 촬영하고, 촬영된 객체의 이미지를 제1 영역(110)에 디스플레이한다. 상기 카메라는 상기 모바일 디바이스(1000)를 사용하는 사용자의 시선 전방을 향하는 실제 공간을 촬영하고, 상기 촬영된 객체 이미지는 실시간으로 모바일 디바이스(1000)로 전송될 수 있으며, 상기 제1 영역(110)에 동영상 형태로 실시간 디스플레이될 수 있다.

단계 S430에서 모바일 디바이스(1000)에 설치된 애플리케이션의 서비스들 중 제1 영역(110)에 디스플레이되는 객체 이미지와 관련된 정보를 제공하는 서비스를 제공한다. 일 실시예에서, 상기 모바일 디바이스(1000)는 상기 제1 영역(110)에 디스플레이되는 객체 이미지 중 특정 객체를 인식하여 인식된 객체에 관한 상세 정보를 웹에서 검색하는 검색 애플리케이션을 실행하여 검색 서비스를 제공할 수 있다. 상기 모바일 디바이스(1000)는 검색 서비스를 제공하는 애플리케이션을 설치하고 있거나 혹은 포함하고 있을 수 있다.

단계 S440에서 모바일 디바이스(1000)는 인식된 객체 이미지와 관련된 정보를 제2 영역(120)에 디스플레이한다. 일 실시예에서, 단계 S430에서 인식한 특정 객체에 대한 상세 정보를 웹 등에서 검색하는 서비스를 제공하는 검색 애플리케이션을 실행하고, 상기 검색 애플리케이션의 실행 화면은 제2 영역(120)에 표시될 수 있다. 이는, 단계 S420에서 카메라로 촬영한 실제 공간의 객체 이미지는 제1 영역(110)에 디스플레이하고, 상기 객체 이미지에서 인식한 특정 객체에 대한 상세 정보를 검색하는 검색 애플리케이션은 제2 영역(120)에 디스플레이함으로써, 화면을 분할하여 많은 정보를 한번에 확인할 수 있는 효과가 있다.

도 5는 본 개시의 일 실시예에 따른, 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 분할된 화면의 각 영역에 서비스를 제공하는, 도 4에 흐름도에 설명된 일례를 나타낸 도면이다.

도 5를 참조하면, 모바일 디바이스(1000)의 사용자는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 통해 실제 공간의 객체(2010)를 촬영할 수 있다. 상기 촬영된 실제 공간의 객체(2010)는 모바일 디바이스(1000)의 화면 상의 제1 영역(110)에 디스플레이될 수 있다. 상기 촬영되고 제1 영역(110)에 디스플레이되는 객체(2010)에 관한 상세한 정보를 검색하는 검색 애플리케이션 실행 화면이 제2 영역(120)에 디스플레이될 수 있다.

도 5에 도시된 일 실시예에서, 상기 모바일 디바이스(1000)의 사용자는 백화점 등 구두를 구입할 수 있는 위치로 이동하여 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 하여 상기 구두(2010)를 촬영할 수 있다. 이 경우, 실제 공간의 객체(2010)는, 구두(2010)일 수 있다. 상기 촬영된 구두(2010)는 상기 모바일 디바이스(1000)의 제1 영역(110)에 이미지로써, 실시간으로 디스플레이될 수 있다. 상기 모바일 디바이스(1000)는 상기 촬영된 구두(2010)의 이미지에서 상기 구두(2010)를 인식하여, 상기 모바일 디바이스(1000)에 설치된 검색 애플리케이션 중 상기 구두(2010)와 관련된 애플리케이션을 실행할 수 있다. 예를 들어, 상기 모바일 디바이스(1000)는 구두와 관련된 애플리케이션으로 검색 애플리케이션 또는 모바일 쇼핑 애플리케이션 중 어느 하나를 선택할 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)의 위치 정보를 인식하여 상기 사용자의 현재 위치가 백화점인 것을 인식하고, 모바일 쇼핑 애플리케이션을 선택하여 실행할 수 있다. 상기 모바일 쇼핑 애플리케이션의 실행 화면은 제2 영역(120)에 표시될 수 있다.

도 6은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 위치를 결정하고, 상기 결정된 위치 정보를 이용하여 서비스를 제공하는 방법의 흐름도이다.

단계 S600에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 제1 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 제1 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제1 임계치는 60°일 수 있다. 상기 모바일 디바이스(1000)는 각도 센서를 포함할 수 있고, 상기 각도 센서는 지자기 센서, 중력 센서, 자이로 센서 및 가속도 센서 중 적어도 하나를 이용하여 상기 모바일 디바이스(1000)가 어느 정도의 각도로 구부려졌는지를 판단할 수 있다.

단계 S610에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 포함하는 카메라를 이용하여 실제 공간의 객체를 촬영한다. 상기 카메라는 상기 모바일 디바이스(1000)를 사용하는 사용자의 시선 전방을 향하는 실제 공간을 촬영하고, 상기 촬영된 객체의 이미지는 실시간으로 모바일 디바이스(1000)로 전송될 수 있다.

단계 S620에서 모바일 디바이스(1000)는 카메라를 통해 촬영한 실제 공간의 객체 이미지를 이용하여 상기 모바일 디바이스(1000)의 현재 위치를 결정한다. 일 실시예에서, 상기 모바일 디바이스(1000)는 이미지 센서를 포함할 수 있고, 상기 이미지 센서를 이용하여 촬영된 객체 이미지를 센싱하고, 분석하여 객체 이미지 중에서 특정 개체를 인식하고, 특정 개체와 관련된 위치 정보를 수집하여 상기 모바일 디바이스(1000)의 현재 위치를 파악할 수 있다. 또한, 일 실시예에서, 상기 모바일 디바이스(1000)는 위치 정보 센서, GPS 및 측위 센서 중 적어도 하나를 포함할 수 있고, 상기 위치 정보 센서, GPS 또는 측위 센서를 통해 획득한 위치 정보와 상기 촬영된 객체 이미지로부터 획득한 공간 정보를 조합하여 상기 모바일 디바이스(1000)의 현재 위치를 파악할 수 있다. 또 다른 일 실시예에서, 상기 모바일 디바이스(1000)는 통신부를 포함할 수 있고, 실제 공간에 배치되어 있는 통신망 제공자의 AP(Access Point)와의 통신을 통해 현재 위치를 파악할 수도 있다.

단계 S630에서 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)에 설치된 애플리케이션의 서비스들 중 단계 S620에서 결정된 위치와 관련된 서비스를 제공한다. 일 실시예에서, 상기 모바일 디바이스(1000)는 지도 애플리케이션, 길 안내 애플리케이션, 네비게이션 애플리케이션 등이 설치되어 있을 수 있고, 상기 결정된 모바일 디바이스(1000)의 현재 위치를 출발지로 하는 경로 정보를 제공하는 네비게이션 애플리케이션을 실행할 수 있다. 일 실시예에서, 상기 네비게이션 애플리케이션은 단계 S610에서 촬영된 실제 공간의 객체 이미지 내에 가상의 길 안내 이미지를 추가하여 화면 상의 제1 영역(110, 도 1 참조)에 디스플레이할 수 있다. 상세한 설명은 도 7의 설명 부분에서 후술하도록 한다.

도 7은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 위치를 결정하고, 상기 결정된 위치 정보를 이용하여 네비게이션 서비스를 제공하는 일례를 설명하기 위한 도면이다.

도 7을 참조하면, 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신하고, 상기 사용자 입력을 수신함에 따라 실제 공간을 촬영하여 객체 이미지를 제1 영역(110)에 표시하고, 상기 객체 이미지를 이용하여 상기 모바일 디바이스(1000)의 위치를 결정한 이후, 상기 결정된 위치와 관련된 애플리케이션을 실행할 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라, 카메라를 통해 실제 공간인 지하철 역(2020) 주변의 위치를 촬영하여 지하철 역(2020)의 이미지를 제1 영역(110)에 디스플레이할 수 있다. 또한, 상기 모바일 디바이스(1000)는 상기 객체 이미지, 즉 지하철 역(2020)의 객체 이미지를 이용하여 검색 애플리케이션을 실행하거나 또는 위치 센서, GPS 등을 활성화하여 상기 모바일 디바이스(1000)가 어느 지하철 역(2020) 주변에 위치하고 있는지를 결정할 수 있다. 예를 들어, 상기 모바일 디바이스(1000)의 현재 위치가 명동역 주변이라고 결정된 경우, 상기 모바일 디바이스(1000)는 명동역 주변을 출발지로 하여 사용자가 기설정한 도착지로 길을 안내하는 네비게이션 애플리케이션이 실행할 수 있다. 일 실시예에서, 상기 네비게이션 애플리케이션이 제공하는 서비스는 상기 모바일 디바이스(1000)의 화면 상의 제1 영역(110)에 촬영된 지하철 역(2020)의 객체 이미지와 기설정된 도착지로 길을 안내하도록 하는 가상의 길 안내 표지(200)를 디스플레이할 수 있다. 즉, 일 실시예에서, 상기 네비게이션 애플리케이션은 가상 현실 서비스를 제공하는 애플리케이션일 수 있다. 상기 네비게이션 애플리케이션이 제공하는 서비스는, 사용자가 기설정된 도착지로 이동함에 있어서, 실제 이동 거리를 촬영하여 상기 제1 영역(110)에 실시간으로 디스플레이하고, 상기 기설정된 도착지로 길을 안내하는 가상의 길 안내 표지(200)를 실시간으로 디스플레이할 수 있다.

도 8은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 위치 정보를 저장하고, 저장된 위치까지의 경로 정보를 제공하는 방법의 흐름도이다.

단계 S800에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 제1 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 제1 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제1 임계치는 60°일 수 있다. 상기 모바일 디바이스(1000)는 각도 센서를 포함할 수 있고, 상기 각도 센서는 지자기 센서, 중력 센서, 자이로 센서 및 가속도 센서 중 적어도 하나를 이용하여 상기 모바일 디바이스(1000)가 어느 정도의 각도로 구부려졌는지를 판단할 수 있다.

단계 S810에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 포함하는 카메라를 이용하여 실제 공간의 객체를 촬영하고, 촬영된 객체의 이미지를 이용하여 모바일 디바이스(1000)의 현재 위치를 결정한다. 상기 카메라는 상기 모바일 디바이스(1000)를 사용하는 사용자의 시선 전방을 향하는 실제 공간을 촬영하고, 상기 촬영된 객체 이미지는 실시간으로 모바일 디바이스(1000)로 전송될 수 있다. 상기 촬영된 객체 이미지는 제1 영역(110, 도 1 참조)에 실시간으로 동영상처럼 디스플레이될 수 있다. 상기 모바일 디바이스(1000)는 이미지 센서, 위치 센서 또는 GPS 센서 등을 이용하여 촬영된 객체 이미지와 관련하여 현재 모바일 디바이스(1000)의 위치를 결정할 수 있다.

단계 S820에서 모바일 디바이스(1000)는 단계 S810에서 결정된 위치에 대한 정보값을 저장한다. 상기 모바일 디바이스(1000)는 위치 정보 센서, GPS 및 측위 센서 중 적어도 하나를 포함할 수 있고, 상기 위치 정보 센서, GPS 또는 측위 센서를 통해 획득한 위치 정보와 상기 촬영된 객체 이미지로부터 획득한 공간 정보를 조합하여 상기 모바일 디바이스(1000)의 현재 위치의 좌표값을 포함하는 정보값을 파악하고, 수치화 된 좌표값으로 저장할 수 있다. 또 다른 일 실시예에서, 상기 모바일 디바이스(1000)는 통신부를 포함할 수 있고, 실제 공간에 배치되어 있는 통신망 제공자의 AP(Access Point)와의 통신을 통해 현재 위치를 파악하고, 상기 파악된 현재 위치에 대한 정보를 수치화하여 저장할 수 있다.

단계 S830에서 모바일 디바이스(1000)의 위치가 이동됨에 따라, 이동된 위치로부터 단계 S820에서 저장된 위치까지의 경로 정보를 제공하는 서비스를 제공한다. 상기 모바일 디바이스(1000)를 사용하는 사용자가 단계 S820에서 위치 정보값이 저장된 제1 위치에서부터 이동하여 현재 위치가 제2 위치인 경우, 상기 모바일 디바이스(1000)는 현재의 제2 위치를 인식하여 상기 제1 위치를 도착지로 지정하고 길을 안내하는 네비게이션 서비스를 제공할 수 있다.

도 9(a) 및 도 9(b)는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 제1 위치의 위치 정보를 저장하고, 상기 모바일 디바이스(1000)의 위치가 제2 위치로 이동됨에 따라 상기 제1 위치로의 경로 정보를 제공하는 네비게이션 서비스를 설명하기 위한 도면이다.

도 9(a)를 참조하면, 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 주변 공간(2030)의 제1 위치를 인식하고, 인식한 위치 정보를 수치적으로 저장할 수 있다. 일 실시예에서, 상기 주변 공간(2030)의 제1 위치는 지하 주차장에서 사용자의 차량이 주차되어 있는 지하 2층 B-24 (2030)일 수 있다. 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 사용자의 차량이 주차되어 있는 “지하 2층 B-24” 공간(2030)을 촬영하여 객체 이미지화 하여 제1 영역(110)에 디스플레이할 수 있다. 상기 모바일 디바이스(1000)는 상기 객체 이미지의 “지하 2층 B-24” 텍스트를 인식하거나, 또는 GPS, 위치 센서 등을 이용하여 지하 주차장의 “지하 2층 B-24” (2030)의 위치 정보를 인식하고, 저장할 수 있다. 상기 모바일 디바이스(1000)의 화면 상의 제2 영역(120)에는 현재의 위치 정보, 즉 지하 주차장의 “지하 2층 B-24” 정보가 저장되었다는 알림 화면이 디스플레이될 수 있다.

도 9(b)를 참조하면, 모바일 디바이스(1000)를 파지하고, 사용하는 사용자(10)가 제1 위치(2030, 도 9(a) 참조)에서 제2 위치로 이동할 수 있다. 상기 사용자(10)가 제2 위치로 이동하고, 모바일 디바이스(1000)를 구부리는 입력을 하는 경우, 상기 모바일 디바이스(1000)는 카메라를 통해 제2 위치에서의 주변 공간을 촬영하여 촬영된 이미지를 제1 영역(110)에 디스플레이할 수 있다. 또한, 상기 모바일 디바이스(1000)는 제1 영역(110)에 디스플레이되는 제2 위치의 이미지로부터 현재의 위치를 알아내고, 현재 위치를 시작점으로 하고, 제1 위치를 도착점으로 하는 경로 정보를 제공하는 가상의 길 안내 표지(210)를 디스플레이할 수 있다.

일 실시예에서, 사용자(10)가 백화점 등에서 쇼핑을 마치고 나와 상기 사용자(10)의 차량이 주차되어 있는 주변 공간(2030)의 제1 위치, 예를 들어, 지하 주차장의 “지하 2층 B-24(2030)”로 이동하려고 하는 경우, 상기 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신하여 저장된 지하 2층 B-24(2030)의 위치 정보를 사용하여 “지하 2층 B-24(2030)”으로 이동하는 길 안내 서비스를 제공할 수 있다. 상기 길 안내 서비스는, 상기 모바일 디바이스(1000)의 화면 상의 제1 영역(110)에 가상의 길 안내 표지(210)를 디스플레이하는 가상 현실 애플리케이션일 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)의 화면 상의 제2 영역(120)에는 지도 애플리케이션이 실행될 수 있고, 상기 지도 애플리케이션은 사용자(10)의 현재 위치를 디스플레이할 수 있다. 상기 지도 애플리케이션은, 모바일 디바이스(1000)에 포함되어 있는 GPS 센서를 사용하여 상기 모바일 디바이스(1000)의 위치를 파악할 수 있다.

도 10은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 객체 이미지를 인식하고, 인식된 객체 이미지와 관련된 서비스를 제공하는 방법의 흐름도이다.

단계 S1000에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 제1 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 제1 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제1 임계치는 60°일 수 있다. 상기 모바일 디바이스(1000)는 각도 센서를 포함할 수 있고, 상기 각도 센서는 지자기 센서, 중력 센서, 자이로 센서 및 가속도 센서 중 적어도 하나를 이용하여 상기 모바일 디바이스(1000)가 어느 정도의 각도로 구부려졌는지를 판단할 수 있다.

단계 S1010에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 포함하는 카메라를 이용하여 실제 공간의 객체를 촬영한다. 상기 카메라는 상기 모바일 디바이스(1000)를 사용하는 사용자의 시선 전방을 향하는 실제 공간을 촬영하고, 상기 촬영된 객체의 이미지는 실시간으로 모바일 디바이스(1000)로 전송될 수 있다.

단계 S1020에서 모바일 디바이스(1000)는 카메라를 통해 촬영한 실제 공간의 객체 이미지 내의 특정 개체를 인식한다. 상기 모바일 디바이스(1000)는 이미지 센서를 포함할 수 있고, 상기 이미지 센서를 사용하여 촬영된 객체 이미지를 센싱하고, 분석하여 객체 이미지 중에서 특정 개체를 인식할 수 있다.

단계 S1030에서 모바일 디바이스(1000)는 인식된 객체 이미지와 관련된 정보를 제공하는 서비스를 제공한다. 일 실시예에서, 상기 모바일 디바이스(1000)는 설치된 적어도 하나의 애플리케이션 중 인식된 특정 개체에 관한 애플리케이션을 실행하여 상기 특정 개체에 관한 상세 정보를 상기 모바일 디바이스(1000)의 제2 영역(120)에 디스플레이 할 수 있다. 일 실시예에서, 상기 제2 영역(120)에는 단계 S1300에서 인식한 특정 객체에 대한 상세 정보를 웹 등에서 검색하는 서비스를 제공하는 검색 애플리케이션을 실행되고, 상기 검색 애플리케이션의 실행 화면이 디스플레이될 수 있다.

도 11은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 객체 이미지를 인식하고, 인식된 객체 이미지와 관련된 검색 서비스를 제공하는 일례를 설명하기 위한 도면이다.

도 11을 참조하면, 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 구부려지는 사용자 입력을 수신함에 따라 실제 공간을 촬영하여 획득한 객체 이미지를 제1 영역(110)에 디스플레이하고, 상기 촬영된 객체 이미지 중 특정 개체를 인식하여 상기 특정 개체와 관련된 상세 정보를 검색하는 검색 서비스를 제공할 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)은 상기 모바일 디바이스(1000)가 구부려지는 사용자 입력을 수신함에 따라 텀블러(2040)를 포함하는 실제 공간을 촬영하여 화면 상의 제1 영역(110)에 디스플레이 할 수 있다. 또한, 상기 모바일 디바이스(1000)는 촬영한 실제 공간에서 특정 개체인 텀블러(2040)를 인식할 수 있다. 상기 모바일 디바이스(1000)는 이미지 센서를 포함할 수 있고, 상기 이미지 센서는 실제 공간의 객체 이미지를 분석하여 텀블러(2040) 형상을 인식하고, 인식된 텀블러(2040)에 관한 객체 정보를 모바일 디바이스(1000)에 전송할 수 있다. 상기 모바일 디바이스(1000)는 특정 개체인 텀블러(2040)에 관한 상세 정보를 검색하는 애플리케이션을 실행할 수 있다. 상기 검색 애플리케이션은 웹에서 “텀블러”를 검색하여 상세 정보를 획득하는 애플리케이션일 수 있다. 상기 검색 애플리케이션의 실행 화면은 제2 영역(120)에 디스플레이될 수 있다.

도 12는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 실제 공간의 객체 이미지를 인식하고, 인식된 객체 이미지와 관련된 텍스트 인식 및 번역 서비스를 제공하는 일례를 설명하기 위한 도면이다.

도 12를 참조하면, 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 구부려지는 사용자 입력을 수신함에 따라 실제 공간을 촬영하여 객체 이미지를 제1 영역(110)에 디스플레이하고, 상기 촬영된 객체 이미지 중 텍스트를 인식하고, 상기 인식된 텍스트와 관련된 검색 서비스, 또는 번역 서비스를 제공할 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)은 상기 모바일 디바이스(1000)가 구부려지는 사용자 입력을 수신함에 따라 “세 종 대 왕”이라는 텍스트를 포함하는 실제 공간의 객체(2050)를 촬영하여 화면 상의 제1 영역(110)에 디스플레이 할 수 있다. 또한, 상기 모바일 디바이스(1000)는 제1 영역(110)에 디스플레이되는 객체 이미지에서 “세 종 대 왕”이라는 텍스트를 인식할 수 있다. 상기 모바일 디바이스(1000)는 이미지 센서를 포함할 수 있고, 상기 이미지 센서는 객체 이미지를 분석하여 “세 종 대 왕”의 텍스트를 인식하고, 상기 인식된 텍스트의 정보를 모바일 디바이스(1000)에 전송할 수 있다. 상기 모바일 디바이스(1000)는 “세 종 대 왕”이라는 텍스트를 사용자가 기설정한 언어로 번역하는 서비스를 제공할 수 있다. 사용자가 기설정한 언어로 번역된 번역 결과(220)는 상기 화면 상의 제1 영역(110)에 가상 이미지화되어 디스플레이될 수 있다. 즉, 상기 번역 결과(220)는 실제 공간의 객체(2050)와 중첩되어 제1 영역(110)에 디스플레이될 수 있다. 또한, 일 실시예에서, 모바일 디바이스(1000)는 상기 번역 결과(220)에 대한 정보를 검색하는 애플리케이션을 실행하여 검색 서비스를 제공할 수 있다. 상기 번역 결과(220)에 대한 상세한 검색을 수행하는 애플리케이션의 화면은 제2 영역(120)에 디스플레이될 수 있다.

도 13은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 주변 기기를 인식하고, 인식된 주변 기기와 관련된 서비스를 제공하는 방법의 흐름도이다.

단계 S1300에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 제1 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 제1 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제1 임계치는 60°일 수 있다. 상기 모바일 디바이스(1000)는 각도 센서를 포함할 수 있고, 상기 각도 센서는 지자기 센서, 중력 센서, 자이로 센서 및 가속도 센서 중 적어도 하나를 이용하여 상기 모바일 디바이스(1000)가 어느 정도의 각도로 구부려졌는지를 판단할 수 있다.

단계 S1310에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 포함하는 카메라를 이용하여 실제 공간의 객체를 촬영한다. 상기 카메라는 상기 모바일 디바이스(1000)를 사용하는 사용자의 시선 전방을 향하는 실제 공간을 촬영하고, 상기 촬영된 객체의 이미지는 실시간으로 모바일 디바이스(1000)로 전송될 수 있다.

단계 S1320에서 모바일 디바이스(1000)는 카메라를 통해 촬영한 실제 공간의 객체 이미지 내의 주변 기기를 인식한다. 상기 모바일 디바이스(1000)는 이미지 센서를 포함할 수 있고, 상기 이미지 센서를 사용하여 촬영된 객체 이미지를 센싱하고, 분석하여 객체 이미지 중에서 주변 기기를 인식할 수 있다.

단계 S1330에서 모바일 디바이스(1000)는 인식된 주변 기기의 기기 정보를 획득한다. 상기 모바일 디바이스(1000)는 단계 S1320에서 인식한 주변 기기의 디바이스 식별값(SSID), 또는 기기 모델 넘버 등을 포함하는 기기 정보를 획득할 수 있다.

단계 S1340에서 모바일 디바이스(1000)는 획득한 기기 정보를 이용하여 인식된 주변 기기와 관련된 서비스를 제공한다. 일 실시예에서, 상기 모바일 디바이스(1000)는 상기 인식된 주변 기기와 통신할 수 있는 것인지를 판단하고, 상기 인식된 주변 기기와 통신을 형성할 수 있다. 또한, 일 실시예에서, 상기 모바일 디바이스(1000)는 상기 인식된 주변 기기와 사진, 음악, 동영상과 같은 콘텐트를 상호 공유할 수 있다.

도 14는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 주변 기기를 인식하고, 인식된 주변 기기와 연결하는 서비스를 제공하는 일례를 설명하기 위한 도면이다.

도 14를 참조하면, 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 카메라를 통해 실제 공간의 객체(3000)를 촬영하고, 촬영된 객체의 이미지를 화면 상의 제1 영역(110)에 디스플레이할 수 있다. 상기 모바일 디바이스(1000)는 상기 객체(3000)의 이미지 내에 포함되는 주변 기기(3000)를 인식할 수 있다. 상기 인식할 수 있는 주변 기기(3000)는, 예를 들어, TV, 태블릿 PC, 냉장고, 가스레인지 등을 포함할 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)는 상기 객체 이미지 내에 포함되는 TV(3000)를 인식할 수 있다. 상기 모바일 디바이스(1000)는 객체 이미지에서 인식한 TV(3000)와 통신을 형성하여 서로 통신망을 통해 연결될 수 있다. 상기 모바일 디바이스(1000)는 통신부를 포함할 수 있고, 상기 통신부를 이용하여 주변 기기와 통신을 형성하고, 연결될 수 있다.

일 실시예에서, 상기 모바일 디바이스(1000)는 화면 상의 제2 영역(120)에서 동영상을 시청하는 애플리케이션을 실행하고 있을 수 있다. 상기 동영상 재생 애플리케이션은 동영상 재생 화면(132) 및 재생 중인 동영상 정보 제공 화면(124)을 포함할 수 있다. 상기 모바일 디바이스(1000)는 상기 동영상 재생 애플리케이션을 실행하고 있는 경우, TV(3000)와 통신을 형성할 수 있고, 별도의 사용자 입력을 수신받아 상기 TV(3000)와 동영상 콘텐트를 공유할 수 있다. 즉, 상기 모바일 디바이스(1000)는 별도의 사용자 입력, 예를 들어 스와이프 입력을 수신하는 경우, 동영상 재생 화면(132)에서 재생 중인 동영상 콘텐트를 상기 모바일 디바이스(1000)와 통신을 형성한 TV와 공유할 수 있다. 상기 TV(3000)에서는 상기 공유받은 동영상 콘텐트, 즉 모바일 디바이스(1000)의 동영상 재생 화면(132)에서 재생 중인 동영상이 미러링되어 디스플레이되고, 재생될 수 있다.

도 15 및 도 16은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 웨어러블 기기를 인식하고, 인식된 웨어러블 기기와 관련된 서비스를 제공하는 일례를 설명하기 위한 도면이다.

도 15를 참조하면, 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 상기 모바일 디바이스(1000) 주변에 위치하는 웨어러블 디바이스(3010)의 기기 정보를 획득하고, 상기 웨어러블 디바이스와 통신을 형성하여, 서로 연결할 수 있다.

모바일 디바이스(1000)는 상기 모바일 디바이스(1000) 주변에 위치하는 웨어러블 디바이스(3010)를 인식하고 화면 상의 제1 영역(110)에 디스플레이할 수 있다. 상기 모바일 디바이스(1000)는 상기 웨어러블 디바이스(3010)의 디바이스 식별값(SSID) 또는 기기 모델 넘버 등에 관한 정보를 획득하여 상기 웨어러블 디바이스(3010)를 인식할 수 있다. 상기 웨어러블 디바이스(3010)은 통신 기능 및 데이터 프로세싱 기능을 구비한 안경일 수 있다. 상기 웨어러블 디바이스(3010)는 사용자에 의해 착용되고, 사용자의 전방을 향하는 카메라를 이용하여 실제 공간의 객체를 촬영할 수 있다.

상기 모바일 디바이스(1000)는 제2 영역(120)에는 상기 웨어러블 디바이스를 사용하여 실행할 수 있는 애플리케이션을 통한 서비스 목록이 디스플레이될 수 있다. 사용자는 상기 제2 영역(120)에 디스플레이되는 목록 중 어느 하나를 선택하여 상기 웨어러블 디바이스를 사용하는 서비스를 제공받을 수 있다.

도 16을 참조하면, 웨어러블 디바이스(3010)와 연결되어 있는 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 카메라로 촬영한 주변의 실제 공간(2060)에 대한 이미지를 웨어러블 디바이스(3010)에 전송할 수 있다. 상기 웨어러블 디바이스(3010)는 전송 받은 실제 공간(2060)의 이미지에 가상의 표지(2072, 2074)를 디스플레이하고, 상기 실제 공간(2060)과 관련된 서비스를 제공할 수 있다. 상기 웨어러블 디바이스(3010)는 상기 웨어러블 디바이스(3010)가 포함하는 디스플레이부(3012)에 상기 전송 받은 실제 공간(2060)의 객체 이미지에 가상의 표지(2072, 2074)를 더한 가공된 가상의 이미지(2070)을 디스플레이할 수 있다. 일 실시예에서, 상기 웨어러블 디바이스(3010)는 네비게이션 서비스를 제공할 수 있고, 상기 네비게이션 서비스는 사용자가 기설정한 장소로 이동하는데 길 안내를 할 수 있는 가상의 안내 표지(2072) 및 목적지 표지(2074)를 디스플레이부(3012)에 디스플레이하는 서비일 수 있다.

도 17은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 주변 기기를 인식하고, 인식된 주변 기기와 콘텐트를 공유하는 일례를 설명하기 위한 도면이다.

도 17을 참조하면, 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신하여 카메라로 촬영한 객체 중 주변 기기(3020)를 인식하여 상기 주변 기기(3020)와 상기 모바일 디바이스(1000) 내에 저장된 콘텐트를 공유할 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)는 이미지 센서를 포함할 수 있고, 상기 이미지 센서를 이용하여 촬영된 객체 이미지를 센싱하고, 분석하여 객체 이미지 중에서 주변 기기(3020)를 인식하고, 상기 주변 기기(3020)에서 기기 정보를 획득할 수 있다. 상기 획득한 기기 정보는 주변 기기(3020)의 디바이스 식별값(SSID), 기기 모델 넘버 등을 포함할 수 있다. 상기 모바일 디바이스(1000)는 상기 획득한 주변 기기(3020)의 식별 정보를 기초로 하여 상기 주변 기기(3020)와 통신을 형성하고, 상기 주변 기기(3020)와 콘텐트를 공유할 것인지를 결정하게 하는 사용자 인터페이스를 제2 영역(120)에 디스플레이할 수 있다.

일 실시예에서, 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신함에 따라 주변 기기(3020), 예를 들어 모바일 폰(3020)과 근거리 무선 통신으로 연결할 수 있다. 상기 모바일 디바이스(1000)와 상기 모바일 폰(3020)이 서로 연결되는 근거리 무선 통신은, 예를 들어 비콘(Beacon), NFC(Near Field Communication), 지그비(Zigbee) 통신, RFID(Radio Frequency IDentification) 통신, UWB(Ultra Wide Band) 통신, 및 블루투스(Bluetooth) 통신을 포함할 수 있으나, 이에 제한되지 않는다. 상기 모바일 디바이스(1000)는 상기 모바일 폰(3020)의 디바이스 식별값(SSID), 또는 상기 모바일 폰(3020)의 사용자 인증 정보(예를 들어, 통신망 가입 정보, 사용자 ID 등)를 획득하고, 상기 획득된 사용자 인증 정보에 기초하여 상기 모바일 폰(3020)과 콘텐트를 공유할 것인지를 결정할 수 있다. 상기 모바일 디바이스(1000)는 화면 상의 제2 영역(120)에 공유할 콘텐트를 디스플레이할 수 있다. 사용자는 상기 모바일 디바이스(1000)의 제2 영역(120)에 디스플레이되는 콘텐트 중 상기 모바일 폰(3020)과 공유하기를 원하는 콘텐트를 선택하여 공유할 수 있다.

도 18은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 서로 다른 각도로 구부리는 사용자 입력을 수신함에 따라 실행 중인 애플리케이션과 관련된 서비스들 중 어느 하나를 제공하는 방법의 흐름도이다.

단계 S1800에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 제1 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 제1 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다.

일 실시예에서, 상기 제1 임계치는 30°일 수 있다.

단계 S1810에서 모바일 디바이스(1000)는, 상기 모바일 디바이스의 위치 및 실행 중인 애플리케이션과 관련된 상세 정보를 화면 상의 제1 영역(110, 도 1 참조)에 디스플레이한다.

일 실시예에서, 상기 모바일 디바이스(1000)는 위치 정보 센서, GPS 및 측위 센서 중 적어도 하나를 포함할 수 있고, 상기 위치 정보 센서, GPS 또는 측위 센서를 통해 상기 모바일 디바이스(1000)의 현재 위치 정보를 파악할 수 있다. 또 다른 일 실시예에서, 상기 모바일 디바이스(1000)는 통신부를 포함할 수 있고, 실제 공간에 배치되어 있는 통신망 제공자의 AP(Access Point)와의 통신을 통해 현재 위치를 파악할 수 있다.

상기 모바일 디바이스(1000)는 적어도 하나의 애플리케이션이 설치되고, 상기 설치된 적어도 하나의 애플리케이션을 실행하고 있을 수 있다. 상기 모바일 디바이스(1000)는, 실행 중인 적어도 하나의 애플리케이션 중 상기 모바일 디바이스(1000)의 현재 위치 정보와 관련된 애플리케이션을 실행하여, 상기 위치 정보와 관련된 서비스를 제공할 수 있다. 일 실시예에서, 상기 관련된 서비스는, 상기 모바일 디바이스(1000) 위치가 지하철 역 또는 길 거리인 경우 위치 정보를 검색하는 애플리케이션, 지도 애플리케이션이 실행되는 네비게이션 서비스일 수 있고, 상기 모바일 디바이스(1000)의 위치가 백화점 등 쇼핑할 수 있는 공간이라면, 상품 정보 및 상품 가격 등을 검색하는 애플리케이션이 실행되는 검색 서비스일 수 있다.

단계 S1820에서, 모바일 디바이스(1000)가 제2 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 제2 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제1 임계치는 60°일 수 있다.

일 실시예에서, 상기 모바일 디바이스(1000)를 구부리는 제2 임계치는 단계 S1800에서의 모바일 디바이스(1000)를 구부리는 제1 임계치에 비해 큰 각도로 구부리는 사용자 입력일 수 있다. 예를 들어, 상기 제1 임계치가 30°이고, 상기 제2 임계치가 60°일 수 있다.

단계 S1820에서, 상기 모바일 디바이스(1000)를 제2 임계치 만큼 구부리는 사용자 입력은, 단계 S1800에서 상기 모바일 디바이스(1000)를 제1 임계치 만큼 구부리는 사용자 입력에 이어 시간 간격을 두고 순차적으로 수신될 수 있다. 즉, 일 실시예에서, 상기 모바일 디바이스(1000)는 단계 S1800에서 제1 임계치 만큼 구부려지고, 다시 펴져서 평평하게 되는 단계를 거치지 않고, 순차적으로 단계 S1820에서 제2 임계치 만큼 구부려질 수 있다. 다만, 이에 한정되는 것은 아니고, 상기 모바일 디바이스(1000)는 단계 S1800에서 제1 임계치 만큼 구부려지고, 다시 펴졌다가 단계 S1820에서 제2 임계치 만큼 구부려질 수도 있다.

단계 S1830에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 포함하는 카메라를 이용하여 실제 공간의 객체를 촬영한다. 상기 카메라는 상기 모바일 디바이스(1000)를 사용하는 사용자의 시선 전방을 향하는 실제 공간을 촬영하고, 상기 촬영된 객체의 이미지는 실시간으로 모바일 디바이스(1000)로 전송될 수 있다.

단계 S1840에서 모바일 디바이스(1000)는 실행 중인 애플리케이션의 서비스들 중 촬영된 객체 이미지와 관련된 서비스를 제공한다. 일 실시예에서, 상기 모바일 디바이스(1000)는 촬영된 객체 이미지에서 현재 모바일 디바이스(1000)의 위치 정보를 획득할 수 있다. 상기 모바일 디바이스(1000)는 상기 획득한 위치 정보를 기초로 하여, 단계 S1810에서 실행 중인 정보 검색 애플리케이션에서 상기 위치 정보 관련된 서비스를 실행할 수 있다. 예를 들어, 상기 위치 정보 관련 서비스는 네비게이션 애플리케이션, 또는 지도 애플리케이션을 실행하여 길을 안내하는 서비스일 수 있다. 일 실시예에서, 상기 위치 정보와 관련된 서비스는, 상기 모바일 디바이스(1000)의 제1 영역(110)에 가상의 이미지를 결합하여 디스플레이하는 가상 현실 관련 서비스일 수 있다.

도 19는 본 개시의 일 실시에에 따른 모바일 디바이스(1000)가 서로 다른 제1 임계각(α) 및 제2 임계각(β)로 구부리는 사용자 입력을 수신하여 구부려지는 일례를 설명하기 위한 도면이다.

도 19를 참조하면, 모바일 디바이스(1000)는, 제1 영역(110)과 제2 영역(120)을 포함하는 복수개로 구분되는 디스플레이 영역을 포함할 수 있다. 상기 디스플레이 영역은 상기 제1 영역(110) 및 제2 영역(120)으로 구분되나, 상기 각 영역이 서로 연접하여 일정 각도로 구부려지거나, 또는 접히거나 펴질 수 있는 형태를 가지며, 상기 각 영역은 터치 스크린으로 형성될 수 있다.

상기 모바일 디바이스(1000)는, 디스플레이 화면이 제1 영역(110) 및 제2 영역(120)으로 구분되어 분할됨에 따라, 상기 디시플레이 화면이 형성되고, 상기 디스플레이 화면을 지지하는 프레임도 구부려지고 분할될 수 있다. 상기 프레임은 상기 제1 영역(110)을 감싸고 지지하는 제1 프레임(132), 상기 제2 영역(120)을 감싸고 지지하는 제2 프레임(134)으로 분할될 수 있다. 모바일 디바이스(1000)가 구부려진 정도에 따라 상기 제1 프레임(134)이 제2 프레임(132)과 이루는 각도가 달라질 수 있다. 상기 제1 프레임(134-1)이 제1 임계각(α) 만큼 구부려지면 상기 제1 영역(110)과 제2 영역(120) 역시 제1 임계각(α) 만큼 구부려질 수 있다. 마찬가지로, 상기 제1 프레임(134-2)이 제1 임계각(α) 만큼 구부려지면 상기 제1 영역(110)과 제2 영역(120) 역시 제2 임계각(β) 만큼 구부려질 수 있다. 일 실시예에서, 상기 제1 임계각(α)은 30°이고, 상기 제2 임계각(β)은 60°일 수 있다.

도 20(a) 및 도 20(b)는 모바일 디바이스(1000)를 서로 다른 제1 임계치(α) 및 제2 임계치(β)로 구부리는 사용자 입력을 수신함에 따라 서비스를 제공하는 일례를 설명하기 위한 도면이다.

도 20(a)를 참조하면, 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)를 제1 임계각만큼 구부리는 사용자 입력을 수신하는 경우 상기 모바일 디바이스(1000)의 현재 위치를 결정하고, 실행 중인 애플리케이션에서 상기 결정된 위치와 관련된 상세 정보를 검색하여 화면 상의 제1 영역(110)에 디스플레이하는 서비스를 제공할 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)가 공항 입구(2080)에 위치하여 상기 모바일 디바이스(1000)를 30° 구부리는 사용자 입력을 수신하는 경우, 상기 모바일 디바이스(1000)는 공항 입구(2080)의 위치를 파악하여, 위치 정보값을 저장할 수 있다. 상기 모바일 디바이스(1000)는 GPS 또는 위치 센서를 사용하여 상기 공항 입구(2080)의 위치 정보를 파악하여 현재의 위치를 결정할 수 있다. 또한, 일 실시예에서, 상기 모바일 디바이스(1000)는, 통신부에서 통신망 제공자의 AP 사용 정보에 기초하여 현재 위치를 결정할 수도 있다. 상기 모바일 디바이스(1000)는 예를 들어 공항 정보 애플리케이션을 실행하고 있는 경우, 현재의 위치, 즉 공항 입구(2080)에 관련된 상세 정보를 제1 영역(110)에 디스플레이할 수 있다. 상기 상세 정보는, 공항의 명칭, 상기 공항에서 출발하는 비행기 편명, 비행기 출발 시각 등에 관한 정보를 포함할 수 있고, 상기 정보는 웹 상에서 검색될 수 있다.

도 20(b)를 참조하면, 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)를 제2 임계각 만큼 구부리는 사용자 입력을 수신함에 따라 카메라로 실제 공간의 객체를 촬영하고, 실행 중인 애플리케이션의 서비스들 중 상기 촬영된 객체의 이미지와 관련된 서비스를 제공할 수 있다. 일 실시예에서, 상기 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)를 60° 구부리는 사용자 입력을 수신함에 따라, 공항 입구(2080)를 촬영하여 객체의 이미지를 획득하고, 상기 객체 이미지를 제1 영역(110)에 디스플레이할 수 있다. 상기 모바일 디바이스(1000)는 도 20(a)에서 실행 중인 공항 정보 애플리케이션의 서비스들 중 상기 제1 영역(110)에 디스플레이되는 공항 입구(2080)에 관한 객체 이미지와 관련된 서비스를 제공할 수 있다. 상기 모바일 디바이스(1000)는 사용자가 기설정한 장소, 예를 들어 출국 체크인 장소를 도착지로 설정하는 네비게이션 서비스를 제공할 수 있다. 상기 네비게이션 서비스는 상기 제1 영역(110)에 디스플레이되는 공항 입구(2080)의 객체 이미지에 가상의 안내 표지(230)를 표시하여 사용자를 안내하는 가상 현실 서비스일 수 있다.

일 실시예에서, 모바일 디바이스(1000)는 화면 상의 제2 영역(120)에 현재 위치를 표시하는 지도 애플리케이션을 디스플레이할 수 있다.

도 21은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 서로 다른 제1 임계치(α) 및 제2 임계치(β)로 구부리는 사용자 입력을 수신함에 따라 서비스를 제공하는 방법의 흐름도이다.

단계 S2100에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 제1 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 제1 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다.

일 실시예에서, 상기 제1 임계치는 60°일 수 있다.

단계 S2110에서 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)가 포함하는 카메라를 이용하여 실제 공간의 객체를 촬영하고, 상기 객체 이미지를 화면 상의 제1 영역(110)에 디스플레이한다. 상기 카메라는 상기 모바일 디바이스(1000)를 사용하는 사용자의 시선 전방을 향하는 실제 공간을 촬영하고, 상기 촬영된 객체의 이미지는 실시간으로 모바일 디바이스(1000)로 전송될 수 있다.

단계 S2120에서 모바일 디바이스(1000)는 설치된 애플리케이션의 서비스들 중 촬영된 객체 이미지와 관련된 서비스를 제공한다. 상기 모바일 디바이스(1000)는 단계 S2110에서 카메라를 통해 촬영한 실제 공간의 객체 이미지 내의 특정 개체를 인식하고, 상기 인식된 객체와 관련된 애플리케이션을 실행할 수 있다.

단계 S2130에서 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 제2 임계치 만큼 구부리는 사용자 입력을 수신한다. 상기 제2 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제2 임계치는 30°일 수 있다. 즉, 단계 S2100에서 상기 모바일 디바이스(1000)를 60° 만큼 구부린 이후 순차적으로 30° 만큼 구부리는 사용자 입력을 수신할 수 있다.

단계 S2140에서 모바일 디바이스(1000)는 객체 이미지 내에 포함된 객체에 관련된 부가 정보를 화면 상의 제2 영역에 디스플레이한다. 상기 모바일 디바이스(1000)는 이미지 센서를 포함할 수 있고, 상기 이미지 센서를 사용하여 촬영된 객체 이미지를 센싱하고, 분석하여 객체 이미지 중에서 특정 개체를 인식할 수 있다. 상기 모바일 디바이스(1000)는 설치된 적어도 하나의 애플리케이션 중 인식된 특정 개체에 관한 애플리케이션을 실행하여 상기 특정 개체에 관한 상세 정보를 상기 모바일 디바이스(1000)의 제2 영역(120)에 디스플레이 할 수 있다.

도 22(a) 및 도 22(b)는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 서로 다른 제1 임계치(α) 및 제2 임계치(β)로 구부리는 사용자 입력을 수신함에 따라 서비스를 제공하는 일례를 설명하기 위한 도면이다.

도 22(a)를 참조하면, 상기 모바일 디바이스(1000)는 상기 모바일 디바이스(1000)의 사용자는 백화점, 신발 가게 등 운동화를 구입할 수 있는 위치로 이동하여 상기 모바일 디바이스(1000)를 60° 만큼 구부리는 사용자 입력을 수신함에 따라 상기 운동화(2090)를 촬영할 수 있다. 상기 촬영된 운동화(2090)는 상기 모바일 디바이스(1000)의 제1 영역(110)에 실시간으로 디스플레이될 수 있다. 상기 모바일 디바이스(1000)는 상기 촬영된 운동화(2090)의 이미지에서 상기 운동화(2090)를 인식하여, 상기 모바일 디바이스(1000)에 설치된 검색 애플리케이션 중 상기 운동화(2090)와 관련된 애플리케이션을 실행하여 화면 상의 제2 영역(120)에 디스플레이할 수 있다. 예를 들어, 상기 모바일 디바이스(1000)는 운동화와 관련된 애플리케이션으로 검색 애플리케이션 또는 모바일 쇼핑 애플리케이션 중 어느 하나가 상기 제2 영역(120)에 디스플레이될 수 있다.

도 22(b)를 참조하면, 60°로 구부려진 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)를 30° 만큼 구부리는 사용자 입력을 수신함에 따라 실제 공간에 위치하는 객체(2090)인 운동화(2090)를 인식하여 상기 운동화에 대한 상세 정보를 검색하는 애플리케이션을 실행할 수 있다. 상기 모바일 디바이스(1000)는 이미지 센서를 포함할 수 있고, 상기 이미지 센서를 이용하여 촬영된 운동화(2090)의 이미지를 센싱하고, 분석하여 객체 이미지 중에서 운동화(2090)의 종류, 제조사 등을 인식할 수 있다. 상기 검색 애플리케이션은, 예를 들어 상기 운동화(2090)의 사이즈, 제고 수량, 가격 정보, 할인 정보 및 구매자 평가 등을 포함하는 정보를 웹 상에서 검색하여 디스플레이하는 애플리케이션일 수 있다. 상기 검색 애플리케이션의 실행 화면은 제2 영역(120)에 디스플레이될 수 있다.

도 23은 본 개시의 일 실시예에 따른 모바일 디바이스(1000)가 특정 위치를 지정하는 사용자 입력과 상기 모바일 디바이스(1000)를 구부리는 사용자 입력을 순차적으로 수신함에 따라 서비스를 제공하는 방법의 흐름도이다.

단계 S2300에서 모바일 디바이스(1000)는, 특정 위치를 지정하는 사용자 입력을 수신하고, 상기 특정 위치의 정보값을 저장한다. 상기 모바일 디바이스(1000)는 위치 센서, GPS 센서, 측위 센서 등을 포함할 수 있는바, 상기 사용자 입력에 따른 위치 정보값을 수치화하여 저장할 수 있다.

단계 S2310에서 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)가 제1 임계치만큼 구부려지는 사용자 입력을 수신한다. 상기 제1 임계치는 상기 모바일 디바이스(1000)의 지지면으로부터 구부려진 정도가 0°, 30°, 60°, 90° 등으로 기설정된 특정 각도일 수 있다. 일 실시예에서, 상기 제1 임계치는 60°일 수 있다.

단계 S2320에서 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)가 특정 위치에 있는지 판단한다. 일 실시예에서, 상기 모바일 디바이스(1000)는 단계 S2300에서 수신한 사용자 입력에 따라 저장한 특정 위치와 현재 위치의 좌표값을 비교하여 현재 위치가 상기 저장된 특정 위치와 동일한지 결정할 수 있다.

단계 S2330에서 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)의 위치가 단계 S2300에서 수신한 특정 위치와 동일하다고 판단하는 경우, 사용자가 지정한 특정 데이터를 서버에 업로드 하거나, 서버로부터 다운로드 한다. 상기 모바일 디바이스(1000)는 특정 장소, 예를 들어 강의실의 위치 정보를 지정하는 사용자 입력과 상기 모바일 디바이스(1000)를 제1 임계치 만큼 구부리는 사용자 입력을 순차적으로 수신하는 경우, 상기 모바일 디바이스(1000)는 기 저장된 과제 정보를 서버에 업로드할 수 있다. 또는 일 실시예에서, 상기 모바일 디바이스(1000)가 상기 모바일 디바이스(1000)를 제1 임계치 만큼 구부리는 사용자 입력을 수신하고, 상기 특정 위치가, 예를 들어 강의실이라고 인식하는 경우 서버에 저장된 과제 정보를 다운로드 할 수 있다.

단계 S2340에서 모바일 디바이스(1000)는, 상기 모바일 디바이스(1000)의 위치가 단계 S2300에서 수신한 특정 위치와 다르다고 판단하는 경우, 상기 모바일 디바이스(1000)를 펴는 사용자 입력을 수신할 수 있다.

도 24는 본 개시의 일 실시예에 따른 모바일 디바이스(1000)의 블록도이다.

도 24를 참조하면, 본 개시의 일 실시예에 따른 모바일 디바이스(1000)는, 사용자 입력부(1100), 출력부(1200), 카메라부(1300), 통신부(1400), 메모리(1500) 및 제어부(1600)를 포함한다.

사용자 입력부(1100)는 사용자 입력을 수신한다. 사용자 입력부(1100)는 모바일 디바이스(1000)를 구부리는 사용자 입력을 수신할 수 있다. 상기 사용자 입력부(1100)는 센서부(1110) 및 음향 입력부(1120)를 포함할 수 있다. 사용자 입력부(1100)는 모바일 디바이스(1000) 내의 센서부(1110)를 이용하여 사용자 입력을 감지할 수 있다. 상기 센서부(1110)는, 예를 들어, 진동 센서, 각도 센서, 자이로 센서, 가속도 센서, 압력 센서, 중력 센서 및 터치 센서를 포함할 수 있다. 상기 센서부(1110)는, 상기 모바일 디바이스(1000)의 프레임(130, 도 3 참조) 및 디스플레이 화면(100, 도 3 참조)이 구부러지는 각도를 산출하고, 산출된 각도 값을 제어부(1600)에 전달할 수 있다. 상기 센서부(1110)는 지표면을 기준으로 얼마만큼의 각도가 기울어져 있는지를 검출할 수 있는 지자기 센서 또는 자이로 센서, 가속도 센서 등을 사용하여 상기 모바일 디바이스(1000)가 제1 임계치 또는 제2 임계치로 구부려져 있는지 결정할 수 있다. 또한, 상기 센서부(1110)는, 상기 모바일 디바이스(1000)가 펴져 있는 상태를 결정할 수도 있다. 예를 들어, 사용자 입력부(1100)는 음향 입력부(1120)를 이용하여 사용자 입력을 감지할 수 있다.

출력부(1200)는 모바일 디바이스(1000)의 데이터를 출력한다. 출력부(1200)는 이미지, 동영상 및 텍스트 중 적어도 하나를 포함하는 객체를 디스플레이할 수 있다. 또한, 출력부(1200)는 음성을 출력할 수 있다. 디스플레이부(1210)는 모바일 디바이스(1000)의 데이터를 디스플레이한다. 상기 디스플레이부(1210)는 도 1 내지 도 23에서 디스플레이 화면(100), 화면 상의 제1 영역(110), 제2 영역(120)을 포함할 수 있다. 디스플레이부(1210)는 이미지, 동영상 및 텍스트 중 적어도 하나를 포함하는 객체를 디스플레이할 수 있다. 상기 디스플레이부(1210)은 터치 스크린으로 형성될 수 있다. 상기 디스플레이부(1210)은 부팅 화면, 잠금 화면, 메뉴 화면, 홈 스크린 및 애플리케이션 활성화 화면 중 어느 하나의 화면을 출력할 수 있다. 상기 디스플레이부(1210)은 구부릴 수 있는 플렉서블(Flexible)한 소재로 이루어질 수 있다. 예를 들어, 상기 디스플레이부(1210)은 플렉서블 능동 유기 발광 다이오드 디스플레이(Flexible Active Matrix Organic Light Emitting Diode, F-AMOLED) 또는 FLCD(Flexible Liquid Crystal Display)로 이루어질 수 있다.

음향 출력부(1220)는 모바일 디바이스(1000)에서 재생되는 음성을 출력한다. 상기 음향 출력부(1220)는 상기 모바일 디바이스(1000)로 통화 시 송수신 되는 오디오 데이터를 재생하기 위한 스피커(SPK)를 포함할 수 있다. 상기 음향 출력부(1220)는 상기 모바일 디바이스(1000)가 구부려지는 사용자 입력을 수신함에 따라 실행되는 애플리케이션을 위한 오디오 신호를 재생하여 출력할 수 있다.

카메라부(1300)는 모바일 디바이스(1000)의 전면 및 후면에 위치할 수 있으며, 모바일 디바이스(1000)의 주변의 실제 공간을 촬영하여 객체 이미지를 획득할 수 있다. 상기 카메라부(1300)는 카메라 센서(1310), 신호 처리부(1320) 및 이미지 센서(1330)을 포함할 수 있다. 상기 카메라 센서(1310)는 상기 모바일 디바이스(1000) 주변의 실제 공간에 포함된 객체를 촬영하고, 촬영된 객체의 이미지를 전기적 신호로 변환할 수 있다. 상기 신호 처리부(1320)는 상기 카메라 센서(1310)로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환할 수 있다. 상기 카메라 센서(1310)는 CCD 또는 CMOS센서일 수 있고, 상기 신호 처리부(1320)는 DSP(Digital Signal Processor)로 구현될 수 있다. 상기 이미지 센서(1330)는 상기 카메라 센서(1310)로 촬영된 객체 이미지를 센싱하고, 분석하여 객체 이미지 중에서 특정 개체를 인식하거나, 특정 개체와 관련된 위치 정보를 수집하여 상기 모바일 디바이스(1000)의 현재 위치를 파악하여 제어부(1600)에 전송할 수 있다.

통신부(1400)는 이동 통신부(1410) 및 근거리 통신부(1420)를 포함할 수 있다. 상기 이동 통신부(1410) 및 근거리 통신부(1420)를 이용하여 다른 주변 기기 및 서버(미도시)와 통신을 형성할 수 있다. 구체적으로, 상기 이동 통신부(1410)는, 통신망 서비스 제공자의 AP(Access Point)와의 모바일 디바이스(1000)가 통신을 할 수 있게 하고, 상기 AP의 위치 정보를 전송하여 상기 모바일 디바이스(1000)의 현재 위치를 파악할 수 있다. 상기 근거리 통신부(1420)는 예를 들어 비콘(Beacon), NFC(Near Field Communication), 지그비(Zigbee) 통신, RFID(Radio Frequency IDentification) 통신, UWB(Ultra Wide Band) 통신, 및 블루투스(Bluetooth) 통신을 사용하여 모바일 디바이스(1000)가 주변 기기와 통신을 형성하거나, 콘텐트를 공유하도록 할 수 있다.

메모리(1500)는 모바일 디바이스(1000)의 특정 위치 정보를 수치값으로 저장하거나, 인식된 객체 정보를 저장하는 등 상기 모바일 디바이스(1000)가 애플리케이션을 실행시켜 서비스를 제공하는데 필요한 정보들을 저장한다.

제어부(1600)는 모바일 디바이스(1000)가 구부려지는 사용자 입력을 수신함에 따라 기설정된 서비스를 제공하도록 사용자 입력부(1100), 출력부(1200), 카메라부(1300), 통신부(1400) 및 메모리(1500)를 전반적으로 제어한다.

제어부(1600)는 모바일 디바이스(1000)에 설치된 애플리케이션의 서비스들 중에서 카메라부(1300)를 통해 촬영된 객체 이미지와 관련된 서비스를 제공한다. 또한, 제어부(1600)는, 상기 촬영된 객체 이미지를 이용하여, 모바일 디바이스(1000)의 위치를 결정하고, 상기 결정된 위치에 기초하여, 상기 객체 이미지에 포함된 객체와 관련된 서비스를 제공할 수 있다.

또한, 제어부(1600)는, 카메라부(1300)를 통해 촬영된 객체 이미지 중에서 특정 개체를 인식하고, 인식된 특정 개체에 포함된 텍스트 및 이미지 중 적어도 하나를 입력값으로 하여 검색된 정보를 제공할 수 있다. 제어부(1600)는 상기 인식된 특정 개체에 포함된 텍스트를 기설정된 언어로 번역하여 제공할 수 있다.

또한, 상기 제어부(1600)는 모바일 디바이스(1000) 내의 센서부(1110)를 이용하여, 모바일 디바이스(1000)가 구부려진 정도를 판단할 수 있다. 제어부(1600)는, 센서부(1110)에서 상기 모바일 디바이스(1000)가 제1 임계치 또는 상기 제1 임계치보다 작은 제2 임계치 만큼 구부러졌다고 인식하는 경우, 서로 다른 서비스를 제공할 수 있다. 예를 들어, 제어부(1600)는 상기 모바일 디바이스(1000)가 제2 임계치 만큼 구부려졌다고 인식하는 경우, 상기 모바일 디바이스(1000)의 위치 정보를 인식하고, 상기 인식된 위치와 관련된 상세 정보를 검색하는 서비스를 제공할 수 있다.

또한, 제어부(1600)는, 카메라부(1300)를 통해 촬영된 객체 이미지 중 상기 촬영된 객체 이미지에 포함되는 주변 기기를 인식하고, 상기 인식된 주변 기기의 기기 정보를 획득할 수 있다.

또한, 제어부(1600)는 모바일 디바이스(1000)를 구부리는 사용자 입력에 기초하여, 상기 모바일 디바이스(1000) 주변에 위치하는 주변 기기와 통신을 형성하고, 상기 모바일 디바이스(1000)의 메모리(1500)에 저장되어 있는 콘텐트 또는 상기 주변 기기의 콘텐트를 상기 주변 기기와 공유할 수 있다.

본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

100: 디스플레이 화면
110: 제1 영역
120: 제2 영역
130: 프레임
132: 프레임
134: 프레임
200: 가상의 길 안내 표지
210: 가상의 길 안내 표지
220: 번역 결과
230: 객체 이미지에 가상의 안내 표지
1000: 모바일 디바이스
1100: 사용자 입력부
1110: 센서부
1120: 음향 입력부
1200: 출력부
1210: 디스플레이부
1220: 음향 출력부
1300: 카메라부
1310: 카메라 센서
1320: 신호 처리부
1330: 이미지 센서
1400: 통신부
1410: 이동 통신부
1420: 근거리 통신부
1500: 메모리
1600: 제어부
2000: 실제 공간
3000: TV
3010: 웨어러블 디바이스
3012: 디스플레이부
3020: 주변 기기

Claims

모바일 디바이스가 상기 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법에 있어서,
상기 모바일 디바이스가 제1 임계치만큼 구부려지는 제1 사용자 입력을 수신하는 단계;
상기 제1 사용자 입력이 수신됨에 따라, 상기 모바일 디바이스에 포함된 카메라를 통하여 실제 공간의 객체를 촬영하는 단계;
상기 모바일 디바이스가 구부려짐에 따라 분할된 디스플레이 화면의 제1 영역에 상기 촬영된 객체의 객체 이미지를 디스플레이하는 단계; 및
상기 모바일 디바이스에 설치된 애플리케이션의 서비스들 중에서 상기 촬영된 객체 이미지와 관련된 서비스를 제공하는 단계;
를 포함하고,
상기 서비스를 제공하는 단계는, 상기 분할된 디스플레이 화면의 제2 영역에 상기 서비스의 서비스 정보를 디스플레이하는, 방법.
제1 항에 있어서,
상기 촬영된 객체 이미지를 이용하여, 상기 모바일 디바이스의 위치를 결정하는 단계;
를 더 포함하며,
상기 서비스를 제공하는 단계는, 상기 결정된 위치에 기초하여, 상기 객체이미지와 관련된 서비스를 제공하는 것인, 방법.
제2 항에 있어서,
상기 애플리케이션은 네비게이션 애플리케이션이며,
상기 서비스를 제공하는 단계는 상기 결정된 위치를 출발지로 하는 경로 정보를 제공하는 것인, 방법.
제2 항에 있어서,
상기 애플리케이션은 네비게이션 애플리케이션이며,
상기 결정된 위치의 위치 정보를 저장하는 단계;
를 더 포함하며,
상기 서비스를 제공하는 단계는, 상기 모바일 디바이스의 위치가 이동되는 경우, 상기 이동된 모바일 디바이스의 위치로부터 상기 저장된 위치까지의 경로 정보를 제공하는 것인, 방법.
제1 항에 있어서,
상기 촬영된 객체 이미지 내의 객체를 인식하는 단계;
를 더 포함하며,
상기 서비스를 제공하는 단계는, 상기 인식된 객체에 관련된 정보를 제공하는 것인, 방법.
제5 항에 있어서,
상기 인식된 객체는 상기 객체 이미지 내에 포함된 텍스트 및 이미지 중 적어도 하나를 포함하며,
상기 서비스를 제공하는 단계는, 상기 텍스트 및 이미지 중 적어도 하나를 입력값으로 하여 검색된 정보를 제공하는 것인, 방법.
제5 항에 있어서,
상기 인식된 객체는 상기 객체 이미지 내의 텍스트를 포함하며,
상기 서비스를 제공하는 단계는, 상기 텍스트를 기 설정된 언어로 번역하여 제공하는 것인, 방법.
제5 항에 있어서,
상기 인식된 객체는 상기 모바일 디바이스 주변의 주변 기기이며,
상기 객체 이미지를 이용하여 상기 주변 기기의 기기 정보를 획득하는 단계;
를 더 포함하며,
상기 서비스를 제공하는 단계는, 상기 모바일 디바이스와 상기 주변 기기 간의 통신을 형성하는 것인, 방법.
제8 항에 있어서,
상기 서비스를 제공하는 단계는, 상기 모바일 디바이스 내의 콘텐트 또는 상기 주변 기기의 콘텐트를, 상기 주변 기기와 공유하는 것인, 방법.
제8 항에 있어서,
상기 서비스를 제공하는 단계는, 상기 모바일 디바이스의 화면의 적어도 일부를 상기 주변 기기에게 미러링하는 것인, 방법.
삭제
삭제
제1 항에 있어서,
상기 제1 사용자 입력을 수신하는 단계 이전에, 상기 모바일 디바이스가 제2 임계치만큼 구부려지는 제2 사용자 입력을 수신하는 단계; 및
상기 모바일 디바이스의 위치 및 상기 모바일 디바이스에서 실행 중인 애플리케이션에 관련된 상세 정보를 상기 제1 영역에 디스플레이하는 단계;
를 더 포함하는 것인, 방법.
제1 항에 있어서,
상기 제1 사용자 입력을 수신하는 단계 이후에, 상기 모바일 디바이스가 제2 임계치만큼 구부려지는 제2 사용자 입력을 수신하는 단계; 및
상기 객체 이미지 내에 포함된 객체에 관련된 부가 정보를 상기 제2 영역에 디스플레이하는 단계;
를 더 포함하는 것인, 방법.
제13 항 및 제14 항 중 어느 한 항에 있어서,
상기 제2 임계치는 상기 제1 임계치보다 작은 각도인 것인, 방법.
사용자 입력에 따라 기설정된 서비스를 제공하는 모바일 디바이스에 있어서,
상기 모바일 디바이스를 제1 임계치 만큼 구부리는 사용자 입력을 수신하는 사용자 입력부;
상기 사용자 입력이 수신됨에 따라 실제 공간의 객체를 촬영하는 카메라부;
상기 촬영된 객체의 객체 이미지를 화면 상에 디스플레이하는 디스플레이부; 및
상기 모바일 디바이스에 설치된 애플리케이션의 서비스들 중에서 상기 촬영된 객체 이미지와 관련된 서비스를 제공하는 제어부;
를 포함하고,
상기 제어부는, 상기 모바일 디바이스가 구부려짐에 따라 분할된 상기 디스플레이부의 제1 영역에 상기 촬영된 객체의 객체 이미지를 디스플레이하고, 분할된 상기 디스플레이부의 제2 영역에 상기 서비스의 서비스 정보를 디스플레이하는, 모바일 디바이스.
제16 항에 있어서,
상기 제어부는,
상기 촬영된 객체 이미지를 이용하여, 상기 모바일 디바이스의 위치를 결정하고,
상기 결정된 위치에 기초하여, 상기 객체 이미지와 관련된 서비스를 제공하는 것인, 모바일 디바이스.
제17 항에 있어서,
상기 제어부는, 인식된 특정 개체에 포함된 텍스트 및 이미지 중 적어도 하나를 입력값으로 하여 검색된 정보를 제공하는 것인, 모바일 디바이스.
제17 항에 있어서,
상기 제어부는, 인식된 특정 개체에 포함된 텍스트를 기설정된 언어로 번역하여 제공하는 것인, 모바일 디바이스.
제16 항에 있어서,
상기 제어부는, 상기 촬영된 객체 이미지에 포함되는 주변 기기를 인식하고, 상기 인식된 주변 기기의 기기 정보를 획득하는 것인, 모바일 디바이스.
제20 항에 있어서,
상기 인식된 주변 기기와 상기 모바일 디바이스 간 통신을 형성하는 통신부; 를 더 포함하는 것인, 모바일 디바이스.
제21 항에 있어서,
상기 제어부는, 상기 모바일 디바이스 내의 콘텐트 또는 상기 주변 기기의 콘텐트를 상기 주변 기기와 공유하는 것인, 모바일 디바이스.
제16 항에 있어서,
상기 모바일 디바이스가 제1 임계 각도 및 제2 임계 각도로 구부러지는 각도를 인식하는 각도 센서; 를 더 포함하는 것인, 모바일 디바이스.
제23 항에 있어서,
상기 제어부는, 상기 각도 센서가 상기 모바일 디바이스가 상기 제1 임계치보다 작은 제2 임계치 만큼 구부러졌다고 인식하는 경우, 상기 모바일 디바이스의 위치 정보를 인식하고, 상기 인식된 위치와 관련된 상세 정보를 검색하는 서비스를 제공하는 것인, 모바일 디바이스.
제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.