KR20160026482A - 모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법 - Google Patents

모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법 Download PDF

Info

Publication number
KR20160026482A
KR20160026482A KR1020140115474A KR20140115474A KR20160026482A KR 20160026482 A KR20160026482 A KR 20160026482A KR 1020140115474 A KR1020140115474 A KR 1020140115474A KR 20140115474 A KR20140115474 A KR 20140115474A KR 20160026482 A KR20160026482 A KR 20160026482A
Authority
KR
South Korea
Prior art keywords
mobile device
projected area
image
projected
area
Prior art date
Application number
KR1020140115474A
Other languages
English (en)
Inventor
마치에이 보즈이크
안토니 자쿠비아크
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140115474A priority Critical patent/KR20160026482A/ko
Priority to US14/836,133 priority patent/US20160062486A1/en
Priority to EP15182834.0A priority patent/EP2991323B1/en
Priority to CN201510546070.1A priority patent/CN105388686A/zh
Publication of KR20160026482A publication Critical patent/KR20160026482A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0272—Details of the structure or mounting of specific components for a projector or beamer module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법이 개시된다. 모바일 디바이스에서 실행 중인 애플리케이션에 대응하는 이미지 중 기설정된 영역을 포인터 이미지와 함께 투사하고, 모바일 디바이스의 이동을 감지하여, 애플리케이션에 대응하는 이미지 중 투사되는 영역을 변경하여 투사하고 사용자 입력을 수신하여 사용자 입력에 따라 변경된 투사되는 영역에서의 포인터 이미지의 위치를 변경하는 모바일 디바이스에서 이미지를 투사하는 방법이 개시된다.

Description

모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법 {MOVILE DEVICE AND PROJECING METHOD FOR THE SAME}
본 발명은 모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법에 관한 것이다.
모바일 디바이스의 기능이 다양화됨에 따라, 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송 수신 등의 복합적인 기능들을 갖춘 단말기들이 구현되고 있다. 최근에는 대형 프로젝터를 사용해야 가능했던 이미지 투사 기능 역시 모바일 디바이스를 통해 수행하는 것이 가능해졌다.
모바일 디바이스에서 이미지를 투사하는 경우, 공간에 제약을 받지 않고 자유롭게 사용자가 원하는 지점에 이미지를 투사할 수 있다는 장점이 있다. 그러나 모바일 디바이스에서 이미지 투사 기능을 제공하는 경우, 투사되는 이미지를 제어하기 위한 인터페이스가 제한적이라는 한계가 있다.
본 발명의 실시예들은 모바일 디바이스에서 재생 또는 실행 중인 컨텐츠를 표현하는 전체 이미지 중 사용자가 원하는 영역의 이미지를 용이하게 투사할 수 있고, 직관적으로 투사된 이미지를 변경하여 조작할 수 있는 모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법을 제공하는데 목적이 있다.
본 발명의 일 실시예에 따른 모바일 디바이스에서 이미지를 투사하는 방법은 모바일 디바이스에서 재생 또는 실행 중인 컨텐츠를 표현하는 전체 이미지 중 모바일 디바이스에 표시된 이미지 영역을 투사 이미지로 결정하는 단계; 투사 이미지 및 투사 이미지에 배치된 포인터를 투사하는 단계; 및 모바일 디바이스의 이동을 감지하여, 전체 이미지 내에서 투사 이미지를 변경하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 모바일 디바이스는 모바일 디바이스에서 재생 또는 실행 중인 컨텐츠를 표현하는 전체 이미지 중 모바일 디바이스에 표시된 이미지 영역을 투사 이미지로 결정하고 모바일 디바이스의 이동을 감지하여, 전체 이미지 내에서 투사 이미지를 변경하는 영상 처리부; 및 투사 이미지 및 투사 이미지에 배치된 포인터를 투사하는 프로젝터를 포함할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 모바일 디바이스에서 이미지를 투사하는 개략적인 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 모바일 디바이스가 객체에 투사하는 영역을 변경하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 모바일 디바이스로부터 객체에 투사되는 영역과 투사되는 영역에 표시되는 포인터 이미지를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 객체에 투사되는 영역에 포인터 이미지를 표시하는 모바일 디바이스의 블록도를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라 모바일 디바이스가 사용자 입력에 기초하여, 객체에 투사되는 영역에서의 포인터 이미지의 위치를 변경하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 모바일 디바이스를 이동시켜서 객체에 투사되는 영역에 표시되는 포인터 이미지의 위치를 변경하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 모바일 디바이스를 이동시켜서 포인터 이미지의 위치를 변경하는 구체적인 방법에 대해 설명하기 위한 도면이다.
도 8은 각각 x축, y축 및 z축을 기준으로 회전한 모바일 디바이스를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 모바일 디바이스가 이동하는 경우, 객체에 투사되는 영역이 변경됨에 따른 포인터 이미지의 위치 변화를 설명하기 위한 도면이다.
도 10 내지 도 11은 본 발명의 일 실시예에 따른 모바일 디바이스가 투사 이미지의 왜곡을 보정하는 방법을 설명하기 위해 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1 은 본 발명의 일 실시예에 따른 모바일 디바이스(100)에서 이미지를 투사하는 개략적인 방법을 설명하기 위한 개념도이다.
일 실시예에 따른 모바일 디바이스(100)는 객체(5)에 모바일 디바이스(100)에서 렌더링 가능한 이미지의 일부 영역 또는 전체 영역을 투사할 수 있다. 예를 들어, 모바일 디바이스(100)는 모바일 디바이스(100)에서 실행 중인 애플리케이션에 대응하는 전체 이미지(10) 중 모바일 디바이스(100)에 표시된 이미지를 객체(5)에 투사할 수 있다. 모바일 디바이스(100)에서 렌더링 가능한 이미지는 모바일 디바이스(100)에서 실행 가능한 애플리케이션 등의 실행 화면, 영상 콘텐츠의 재생 화면, 방송 화면 등을 포함한다.
도 1의 (a)를 참조하면, 모바일 디바이스(100)에서 표시 가능한 웹 페이지의 이미지 중 일부 영역이 객체(5)에 투사될 수 있다. 예를 들어, 모바일 디바이스(100)에 도 1의 (b)와 같이 웹 페이지의 전체 이미지 중 일부 영역을 표시되는 경우, 모바일 디바이스(100)는 실행 중인 웹 페이지의 전체 이미지 중에서 모바일 디바이스(100)의 화면에 표시되는 일부 영역의 웹 페이지를 투사할 수 있다. 객체(5)는 투사되는 영역이 표현될 수 있는 면을 의미하며, 예를 들면, 벽, 롤 스크린, 칠판 등을 포함한다. 객체(5)는 평면, 곡면 등 다양한 형태로 구현될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 모바일 디바이스(100)가 이동하는 경우, 모바일 디바이스(100)의 이동 방향에 따라, 객체(5)에 투사되는 영역(20a, 20b)이 변경될 수 있다. 예를 들면, 도 1에 도시된 바와 같이, 모바일 디바이스(100)의 이동에 따라 객체(5)에 투사되는 영역이 제 1 투사 영역(20a)으로부터 제 2 투사 영역(20b)으로 변경될 수 있다. 여기에서, 모바일 디바이스(100)가 이동하는 경우는, 모바일 디바이스(100)의 위치값이 변경되거나 모바일 디바이스(100)의 기설정된 회전축에 대한 기울기 값이 변경되는 경우를 포함할 수 있다.
예를 들어, 도 1에 도시된 바와 같이, 모바일 디바이스(100)는 객체에 현재 실행중인 웹 페이지에서 화면에 표시되는 제 1 영역을 투사하여 제 1 투사 이미지(20a)를 생성할 수 있다. 만약, 모바일 디바이스(100)가 이동하여, 모바일 디바이스(100)의 투사 방향이 좌측 상단을 향하도록 변경되는 경우, 객체(5)에 투사되는 제 1 투사 영역(20a)이 변경될 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 모바일 디바이스(100)의 이동과 투사되는 영역이 대응될 수 있도록, 화면에 표시된 전체 웹 페이지 내에서, 제 1 영역의 좌측 상단에 존재하는 이미지 영역을 투사하여 제 2 투사 영역(20b)을 결정할 수 있다.
도 2는 본 발명의 일 실시예에 따른 모바일 디바이스(100)가 객체(5)에 투사하는 영역을 변경하는 방법을 설명하기 위한 흐름도이다.
단계 210에서, 모바일 디바이스(100)는 모바일 디바이스(100)에서 실행 중인 애플리케이션에 대응하는 이미지 중 기설정된 영역을 투사한다. 예를 들어, 모바일 디바이스(100)는 어플리케이션 실행시 모바일 디바이스(100)의 화면에 표시되는 이미지를 투사되는 영역으로 결정할 수 있다. 여기에서, 모바일 디바이스(100)에 표시된 이미지 영역은 모바일 디바이스(100)의 화면에 표시된 이미지 영역일 수 있다.
모바일 디바이스(100)에 웹 브라우저가 실행되고 있는 경우, 모바일 디바이스(100)의 화면에는 사용자가 선택한 웹 페이지가 표시될 수 있다. 모바일 디바이스(100)는 화면에 표시된 웹 페이지를 투사되는 영역으로 결정할 수 있다.
한편, 사용자는 모바일 디바이스(100)의 화면에 표시되는 이미지의 종류 뿐만 아니라 이미지의 크기를 결정할 수도 있다. 예를 들어, 사용자는 모바일 디바이스(100)의 화면에 표시된 웹 페이지를 확대하거나 축소할 수 있다. 모바일 디바이스(100)의 화면에 표시된 웹 페이지가 확대되는 경우, 화면에는 확대된 웹 페이지의 일부 영역만이 표시되게 된다. 이러한 경우, 모바일 디바이스(100)는 전체 웹 페이지 중에서 화면에 표시된 웹 페이지의 일부 영역을 투사되는 영역으로 결정할 수 있다.
단계 220에서, 모바일 디바이스(100)는 투사되는 영역(20a)에 포인터 이미지를 투사할 수 있다. 포인터 이미지는 객체(5)에 투사되는 영역(20a, 20b)에서 특정 지점을 가리키는 역할을 수행한다. 예를 들면, 포인터 이미지는 투사되는 영역(20a)을 보는 사용자의 시선을 끌기 위하여 이용될 수 있다.
다른 실시예에 따르면, 포인터 이미지는 명령어를 입력할 지점을 선택하는 커서의 역할을 할 수 있다. 예를 들면, 포인터 이미지를 이용하여 사용자는 웹 사이트의 로그인창, 검색창 등에 명령어를 입력할 수 있는 상태로 진입하거나, 웹 사이트의 특정 객체를 클릭하는 신호를 입력할 수 있다.
포인터 이미지는 다양한 형태를 가질 수 있다. 예를 들면, 포인터 이미지는 화살표, 원형, 사각형, 삼각형 등 다양한 형태를 가질 수 있다. 일 실시예에 따르면, 사용자 선택에 따라, 또는 모바일 디바이스(100)의 제어에 따라 포인터 이미지의 형태가 변화될 수 있다.
일 실시예에 따르면, 객체(5)에 투사되는 영역(20a)에서의 포인터 이미지의 위치는 미리 설정된 기준점에 기초하여 결정될 수 있다. 예를 들어, 사용자가 투사되는 영역(20a)의 중심을 기준점으로 설정하는 경우, 모바일 디바이스(100)는 투사되는 영역(20a)의 중심에 포인터 이미지를 투사할 수 있다. 모바일 디바이스(100)가 객체(5)에 투사하는 영역과 투사되는 영역에 표시되는 포인터 이미지에 대해서는 도 3을 참고하여 보다 구체적으로 후술하도록 한다.
단계 230에서, 모바일 디바이스(100)는 모바일 디바이스(100)의 이동을 감지하여, 애플리케이션에 대응하는 이미지 중 투사되는 영역(20a)을 변경하여 투사한다. 여기에서, 모바일 디바이스(100)가 이동하는 경우, 모바일 디바이스(100)의 위치와 기울기가 변경될 수 있다. 일 실시예에 따르면, 모바일 디바이스(100)의 위치값은 수평 및 수직 방향의 이동에 따라 변경되는 좌표값에 의해 결정될 수 있다. 또한, 일 실시예에 따르면, 모바일 디바이스(100)의 기울기 값은 3차원의 축을 기준으로 각각의 축에 대해 회전한 정도를 나타내는 회전 각도값에 의해 결정될 수 있다.
예를 들어, 모바일 디바이스(100)의 화면에 웹 페이지의 전체 영역 중 제 1 이미지 영역이 제 1 투사 영역으(20a)로서 객체(5)에 투사된 이후 모바일 디바이스(100)가 이동할 수 있다. 모바일 디바이스(100)는 이동에 따라 변경된 위치값 또는 기울기 값에 기초하여 투사되는 영역을 제 1 투사 영역(20a)에서 제 2 투사 영역(20b)으로 변경할 수 있다.
예를 들면, 모바일 디바이스(100)는, 모바일 디바이스(100)가 현재의 투사 방향보다 좌측를 향하도록 이동하는 경우, 전체 웹 페이지 상에서 제 1 이미지 영역의 좌측에 위치한 제 2 이미지 영역을 투사하여, 제 2 투사 영역(20b)을 객체(5)에 표시할 수 있다.
모바일 디바이스(100)의 이동을 감지하여, 애플리케이션에 대응하는 이미지 중 투사되는 영역(20a)을 변경하여 투사하는 방법에 대해서는 도 9 및 도 10을 참고하여 구체적으로 후술하도록 한다.
단계 240에서, 모바일 디바이스(100)는 사용자 입력을 수신한다.
모바일 디바이스(100)는 변경된 투사되는 영역(20b)에서의 포인터 이미지의 위치를 결정하기 위한 사용자 입력을 수신할 수 있다. 여기에서, 사용자 입력은 터치 입력 및 호버링 입력 등을 포함할 수 있다. 다만, 이는 본 발명의 일 실시예일 뿐, 본 발명이 이에 한정되는 것은 아니다.
단계 250에서, 모바일 디바이스(100)는 사용자 입력에 따라 변경된 투사되는 영역(20b)에서의 포인터 이미지의 위치를 결정한다.
일 실시예에 따르면, 객체(5)에 투사되는 영역이 제 1 투사 영역(20a)에서 제 2 투사 영역(20b)으로 변경되는 경우, 포인터 이미지가 사용자의 의도와 다른 곳에 위치할 수 있다. 모바일 디바이스(100)는 수신한 사용자 입력에 기초하여, 제 2 투사 영역(20b)에 위치한 포인터 이미지의 위치를 변경할 수 있다.
예를 들어, 포인터 이미지가 객체(5)에 투사되는 영역이 제 1 투사 영역(20a)에서 제 2 투사 영역(20b)으로 변경됨에 따라, 제 1 투사 영역(20a)에서는 투사되는 영역의 중심에 위치했던 포인터 이미지가 제 2 투사 영역(20b)에서는 좌측 상단에 위치할 수 있다. 모바일 디바이스(100)는 단계 240에서, 수신한 사용자 입력을 기초로, 제 2 투사 영역(20b)에서의 포인터 이미지를 결정할 수 있다.
예를 들어, 화면 상의 특정 지점에서 터치한 채로 우측으로 드래그 하는 사용자 입력이 획득되는 경우, 모바일 디바이스(100)는 제 2 투사 영역(20b)의 좌측에 표시는 포인터 이미지의 위치를 우측 방향으로 이동시킬 수 있다. 포인터 이미지의 위치가 우측 방향으로 이동하는 정도는 사용자로부터 획득한 드래그 입력의 길이에 의해 결정될 수 있다.
도 3은 본 발명의 일 실시예에 따른 모바일 디바이스(100)로부터 객체(5)에 투사되는 영역(20)과 투사되는 영역(20)에 표시되는 포인터 이미지(25)를 도시한 도면이다.
모바일 디바이스(100)는 웹 페이지의 전체 이미지 영역(10) 중, 화면에 표시된 일부 영역을 투사되는 영역(20)으로 결정할 수 있다. 모바일 디바이스(100)는 결정된 투사되는 영역(20)을 객체(5)에 투사할 수 있다.
또한, 모바일 디바이스(100)는 결정된 투사되는 영역(20)에 대해 미리 설정된 기준점(105)에 기초하여 객체(5)에 투사되는 영역(20)에 포인터 이미지(25)를 표시할 수도 있다. 예를 들어, 모바일 디바이스(100)는 모바일 디바이스(100)의 화면의 중심을 기준점(105)으로 미리 설정할 수 있다. 모바일 디바이스(100)는 미리 설정된 기준점(105)과 대응되는 위치인 투사되는 영역(20)의 중심에 포인터 이미지(25)를 표시할 수도 있다.
일 실시예에 따르면, 사용자는 투사되는 영역(20) 내에서 포인터 이미지(25)의 위치를 변경할 수 있다. 포인터 이미지(25)의 위치를 변경하는 구체적인 방법에 대해서는 도 5 내지 도 11을 참고하여 구체적으로 후술하도록 한다.
도 4는 본 발명의 일 실시예에 따라 객체(5)에 투사되는 영역(20)에 포인터 이미지(25)를 표시하는 모바일 디바이스(100)의 블록도를 도시한 도면이다.
도 4에 도시된 모바일 디바이스(100)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 4을 참조하면, 모바일 디바이스(100)는 영상 처리부(110), 프로젝터(120), 표시부(130) 및 이동 검출부(140)를 포함할 수 있다.
영상 처리부(110)는 모바일 디바이스(100)에서 애플리케이션 실행 시, 애플리케이션 실행에 대응되는 이미지를 렌더링하여, 표시부(130)로 출력할 수 있다. 영상 처리부(110)는 애플리케이션 실행 시, 표시 가능한 전체 이미지 중에서, 표시부(130)에 출력할 일부 또는 전체 영역을 결정할 수 있다.
일 실시예에 따른, 영상 처리부(110)는 실행 중인 애플리케이션에 대응하는 이미지 중 기설정된 영역을 투사한다. 또한, 영상 처리부(110)는 모바일 디바이스(100)의 이동을 감지하여, 전체 이미지 중에서, 객체(5)에 투사되는 영역을 변경할 수 있다.
프로젝터(120)는 영상 처리부(110)에서 결정된 투사되는 영역(20)을 객체(5)에 투사할 수 있다. 또한, 프로젝터(120)는 객체(5)에 투사되는 영역(20)에 포인터 이미지(25)를 투사할 수 있다. 일 실시예에 따르면, 투사되는 영역(20)에 표시되는 포인터 이미지(25)의 위치는 미리 설정된 기준점에 기초하여 결정될 수 있다. 예를 들어, 사용자가 투사되는 영역(20)의 중앙을 기준점으로 설정하는 경우, 프로젝터(120)는 투사되는 영역(20)의 중심에 포인터 이미지(25)를 투사할 수 있다. 이미지의 중앙에 포인터를 배치시키고, 포인터가 배치된 투사 이미지를 객체(5)에 투사할 수 있다.
프로젝터(120)는 모바일 디바이스(100)의 이동에 따라 투사되는 영역(20)이 변경되는 경우, 영상 처리부(110)로부터 변경된 투사 영역(20b)지를 수신하여, 객체(5)에 투사할 수 있다.
표시부(130)는 모바일 디바이스(100)에서 실행 중인 애플리케이션에 대응하는 이미지 중 기설정된 영역을 표시한다. 표시부(130)는 영상 처리부(110)로부터 출력되는 화상 데이터에 기초하여, 상기 컨텐츠의 화면을 표시한다.
이동 검출부(140)는 모바일 디바이스(100)의 이동을 검출하여, 모바일 디바이스(100)의 변경된 위치값과 기울기값을 획득한다. 이동 검출부(140)는 모바일 디바이스(100)의 위치값과 기울기값을 영상 처리부(110)로 출력한다. 예를 들면, 이동 검출부(140)는 모바일 디바이스(100)의 이동이 검출된 경우, 위치값과 기울기값의 변화를 영상 처리부(110)로 출력할 수 있다.
이동 검출부(140)는 예를 들면, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor) 및 자이로스코프(gyroscope) 중 적어도 하나가 포함될 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
도 5는 본 발명의 일 실시예에 따라 모바일 디바이스(100)가 사용자 입력에 기초하여, 객체(5)에 투사되는 영역(20)에서의 포인터 이미지(25)의 위치를 변경하는 방법을 설명하기 위한 도면이다.
모바일 디바이스(100)는 실행 중인 애플리케이션에 대응하는 이미지 중 기설정된 영역을 객체(5)에 투사할 수 있다. 일 실시예에 따라, 객체(5)에 투사되는 영역(20)에는 모바일 디바이스(100)의 화면 상에서, 미리 결정된 기준점에 대응되는 위치에 포인터 이미지(25)가 표시될 수 있다. 예를 들어, 모바일 디바이스(100)는 화면에 표시되는 이미지를 객체(5)에 투사하는 경우, 투사되는 영역(20)에서, 화면에 표시되는 이미지의 중심 위치와 대응되는 지점에 포인터 이미지(25)를 표시할 수 있다.
한편, 모바일 디바이스(100)는 사용자 입력을 획득할 수 있다. 사용자는 터치 펜 등의 입력 도구나 손가락을 이용하여 모바일 디바이스(100)의 화면을 터치함으로써, 객체(5)에 투사되는 영역(20)상에서 표시하고자 하는 포인터 이미지(25)의 위치에 대한 정보를 모바일 디바이스(100)에 입력할 수 있다. 다만, 이는 본 발명의 일 실시예일 뿐, 사용자는 모바일 디바이스(100)로부터 기설정된 거리 이내에서 입력 도구나 손가락을 이동시킴으로써 객체(5)에 투사되는 영역 에서의 이동시키고자 하는 포인터 이미지(25)의 위치에 관한 정보를 모바일 디바이스(100)에 입력할 수도 있다.
도 5를 참조하면, 모바일 디바이스(100)는 사용자 입력에 기초하여, 객체(5)에 투사되는 영역(20)의 특정 위치에 표시되는 포인터 이미지(25)를 투사되는 영역(20) 상에서 오른쪽 상단으로 이동시킬 수 있다. 예를 들어, 모바일 디바이스(100)는 화면 상의 임의의 지점을 터치한 채, 오른쪽 상단으로 드래그 하는 사용자 입력을 수신하는 경우 포인터 이미지(25)를 미리 설정된 지점으로부터 오른쪽 상단 방향으로 이동시킬 수 있다. 사용자는 포인터 이미지(25)를 이동시켜 객체(5)에 투사되는 영역(20)의 오른쪽 상단에 위치한, 웹 페이지의 더보기 메뉴(35)를 선택할 수 있다.
도 6은 본 발명의 일 실시예에 따라 모바일 디바이스(100)를 이동시켜서 객체(5)에 투사되는 영역(20)에 표시되는 포인터 이미지(25)의 위치를 변경하는 방법을 설명하기 위한 흐름도이다.
단계 610에서, 모바일 디바이스(100)는 모바일 디바이스(100)에서 실행 중인 애플리케이션에 대응하는 이미지 중 기설정된 영역을 투사한다. 예를 들어, 모바일 디바이스(100)는 어플리케이션 실행시 모바일 디바이스(100)의 화면에 표시되는 이미지를 투사되는 영역으로 결정할 수 있다. 여기에서, 모바일 디바이스(100)에 표시된 이미지 영역은 모바일 디바이스(100)의 화면에 표시된 이미지 영역일 수 있다.
한편, 단계 610은 도 2의 단계 210과 대응될 수 있다.
단계 620에서, 모바일 디바이스(100)는 투사되는 영역(20a)에 포인터 이미지(25)를 투사할 수 있다. 포인터 이미지(25)는 객체(5)에 투사되는 영역(20a, 20b)에서 특정 지점을 가리키는 역할을 수행한다. 예를 들면, 포인터 이미지(25)는 투사되는 영역(20a)을 보는 사용자의 시선을 끌기 위하여 이용될 수 있다.
한편, 단계 620은 도 2의 단계 220과 대응될 수 있다.
단계 630에서, 모바일 디바이스(100)는 모바일 디바이스(100)의 기울기 또는 위치의 변화를 감지할 수 있다.
모바일 디바이스(100)는 모바일 디바이스(100)에 포함된 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor) 및 자이로스코프(gyroscope) 중 적어도 하나를 이용하여, 모바일 디바이스(100)의 기울기 또는 위치의 변화를 감지할 수 있다.
사용자는 모바일 디바이스(100)를 이동시켜서, 객체(5)에 투사되는 영역(20)을 변경할 수 있다. 모바일 디바이스(100)는 기울기 또는 위치의 변화가 미리 설정된 임계값을 초과하는 경우 사용자가 투사 이미지(5)를 변경하기 위해 모바일 디바이스(100)를 이동시킨 것으로 판단할 수 있다. 다른 실시예에 따르면, 모바일 디바이스(100)는 기울기 또는 위치의 변화가 기설정된 시간 이상 유지되는 경우, 사용자가 투사 이미지(20)를 변경하기 위해 모바일 디바이스(100)를 이동시켰다고 판단할 수 있다.
단계 640에서, 모바일 디바이스(100)는 모바일 디바이스(100)의 기울기 또는 위치의 변화값을 검출할 수 있다.
예를 들어, 모바일 디바이스(100)는 기울기 또는 위치의 변화가 미리 설정된 임계값을 초과하고 기설정된 시간 이상 유지되는 경우 변환된 기울기 또는 위치의 변화값을 검출할 수 있다.
일 실시예에 따르면, 모바일 디바이스(100)는 검출된 모바일 디바이스(100)의 일정 시간 동안의 기울기 또는 위치의 변화값이 기설정된 임계값을 초과하는 경우, 모바일 디바이스(100)의 위치 정보 또는 기울기 정보를 초기화할 수 있다. 모바일 디바이스(100)가 변경된 투사되는 영역(20b)을 생성하는 경우, 모바일 디바이스(100)의 이동 정도가 크면, 변경된 투사되는 영역(20b)에 왜곡이 생길 가능성이 높아질 수 있다. 따라서, 이러한 경우, 모바일 디바이스(100)는 이동한 지점에서의 위치 정보 또는 기울기 정보를 초기화하여, 객체(5)에 투사되는 영역을 새롭게 결정할 수 있다.
단계 650에서, 모바일 디바이스(100)는 검출된 기울기 또는 위치의 변화값에 기초하여 객체(5)에 투사되는 영역(20)을 재결정할 수 있다.
모바일 디바이스(100)는 검출된 기울기 또는 위치의 변화값을 이용하여, 모바일 디바이스(100)에서 실행 중인 애플리케이션에 대응하는 이미지 중 투사되는 영역(20)을 재결정할 수 있다. 예를 들어, 모바일 디바이스(100)가 이동하기 전에 투사된 제 1 투사 영역을 기준으로, 전체 이미지 내에서 기울기 또는 위치의 변화값에 대응되는 영역만큼 이동된 제 2 투사 영역이 재결정될 수 있다.
본 발명의 다른 실시예에 따른 모바일 디바이스(100)는 모바일 디바이스(100)의 이동에 따라 투사되는 영역(20)을 재결정하는 경우, 투사되는 영역(20)의 왜곡을 보정할 수 있다. 모바일 디바이스(100)의 기울기 값이 변하는 경우, 객체(5)에 투사되는 영역(20)은 이미지의 퍼짐 현상 등으로 인해 왜곡이 발생할 수 있다. 모바일 디바이스(100)가 왜곡을 보정하는 방법에 대해서는 도 10 내지 도 12를 참고하여 구체적으로 후술하도록 한다.
단계 660에서, 모바일 디바이스(100)는 변경된 투사되는 영역을 객체(5)에 투사할 수 있다.
한편, 변경된 투사되는 영역이 기설정된 시간 내에 객체(5)에 투사되지 않는 경우, 모바일 디바이스(100)는 변경된 투사되는 영역을 초기화하고, 이동된 지점에서 새롭게 투사되는 영역을 결정할 수 있다. 여기에서, 모바일 디바이스(100)는 카메라로부터 촬영된 객체(5)의 이미지를 통해, 기설정된 시간 내에 객체(5)에 재결정된 투사 이미지가 투사되었는지 여부를 확인할 수 있다.
한편, 모바일 디바이스(100)는 포인터 이미지(25)가 투사 이미지(20) 내에서 항상 동일한 위치에 존재하도록 설정할 수 있다. 예를 들어, 모바일 디바이스(100)는 포인터 이미지(25)가 객체(5)에 투사되는 영역ㅇ(20) 내에서 항상 중심점에 존재하도록 설정할 수 있다. 사용자는 모바일 디바이스(100)에서 재생 또는 실행 중인 컨텐츠를 표현하는 전체 이미지 중에서 포인터 이미지(25)로 선택하고자 하는 특정 지점이 존재하는 경우, 모바일 디바이스(100)를 이동시켜서 특정 지점과 포인터 이미지(25)를 대응시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 모바일 디바이스(100)를 이동시켜서 포인터 이미지(25)의 위치를 변경하는 구체적인 방법에 대해 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 모바일 디바이스(100)는 객체(5)에 투사되는 영역(20)에서 미리 설정된 지점에 포인터 이미지(25)를 표시할 수 있다. 사용자는 실행 중인 애플리케이션에 대응되는 전체 이미지 중 원하는 지점을 포인터 이미지(25)로 특정하기 위해 모바일 디바이스(100)를 이동시킬 수 있다. 예를 들어, 포인터 이미지(25)가 객체(5)에 투사되는 영역(20)의 중심을 가리키도록 미리 설정될 수 있다. 사용자는 특정하고자 하는 지점에 포인터 이미지(25)가 대응될 수 있도록, 모바일 디바이스(100)를 이동시켜서 투사되는 영역(20)을 변경할 수 있다.
도 7에서 (a)를 참조하면, 도 7의 (a)에서 객체(5)에 대해 수직하게 투사 이미지(20)를 투사하고 있는 모바일 디바이스(100)는 사용자의 입력에 의해 수평 방향 또는 수직 방향으로 위치값이 변하거나, x축, y축 및 z축 어느 하나의 축을 기준으로 기울기 값이 변할 수 있다. 모바일 디바이스(100)의 위치값 이나 기울기 값이 변하는 경우, 전체 이미지 중에서 결정되는 투사 이미지 역시 변경될 수 있다.
도 7의 (a)는 모바일 디바이스(100)가 이동한 결과, 변경되는 포인터 이미지(25)의 위치를 전역 좌표계(world coordinate)에서 도시한 도면이다. 또한, 도 7의 (b)는 모바일 디바이스(100)가 이동한 결과, 변경되는 포인터 이미지(25)의 위치를 모델 좌표계(model coordinate)에서 도시한 도면이다. 모바일 디바이스(100)는 변경된 모바일 디바이스(100)의 위치값 또는 기울기 값에 따라, 커서(25)를 객체(5)에 투사되는 영역(20)에 배치하기 위해 아래의 수학식들에 개시된 변환 과정을 수행할 수 있다.
하기의 수학식 1에는 x축, y축 및 z축을 기준으로 모바일 디바이스(100)가 회전한 회전 각도를 이용하여, x축, y축 및 z 축에 대한 모바일 디바이스(100)의 기울기값 Rr, Ry 및 Rp 를 획득할 수 있다.
Figure pat00001
상기의 수학식 1에서 roll, yaw 및 pitch는 각각 x축, y축 및 z축을 기준으로 회전한 회전 각도값을 나타낼 수 있다.
도 8은 각각 x축, y축 및 z축을 기준으로 회전한 모바일 디바이스를 도시한 도면이다.
도 8을 참조하면, 도 8에는 각각 x축, y축 및 z축을 기준으로 회전한 모바일 디바이스(100)가 도시되어 있다.
도 8의 (a)는 x축을 기준으로 회전한 모바일 디바이스(100)가 도시되어 있다. x축을 기준으로 하여 회전한 모바일 디바이스(100)의 각도값은 상기 수학식 1에 표시되어 있는 roll에 대응되는 값이다.
도 8의 (b)는 y축을 기준으로 회전한 모바일 디바이스(100)가 도시되어 있다. y축을 기준으로 하여 회전한 모바일 디바이스(100)의 각도값은 상기 수학식 1에 표시되어 있는 yaw에 대응되는 값이다.
도 8의 (c)는 z축을 기준으로 회전한 모바일 디바이스(100)가 도시되어 있다. z축을 기준으로 하여 회전한 모바일 디바이스(100)의 각도값 pitch라고 한다.
한편, 모바일 디바이스(100)는 상기의 수학식 1에서 획득한 모바일 디바이스(100)의 기울기 값과 다음의 수학식 2 및 수학식 3에 기초하여, 객체(5)에 투사되는 영역(20)를 생성하는데 이용되는 변환 행렬 M을 획득할 수 있다.
Figure pat00002
Figure pat00003
상기의 수학식 2에서, Dist는 모바일 디바이스(100)로부터 객체(5)에 투사되는 영역(20)까지의 거리, O는 기울기값에 대한 정보를 포함하는 매트릭스이고, M은 투사 이미지(20)를 생성하는데 필요한 변환 값들의 정보를 포함하는 변환 매트릭스이다.
한편, 투사 이미지(20)를 생성하는데 필요한 변환 값들이 결정되면, 이를 기초로 객체(5)에 투사되는 영역(20)에 포인터 이미지(25)를 표시하기 위한 연산이 수행될 수 있다. 이는 하기의 수학식 4에 따라 결정될 수 있다.
Figure pat00004
상기의 수학식 4에서 X 및 Y는 모바일 디바이스(100)로부터 객체(5)에 투사되는 영역(20)내에 기설정된 포인터 이미지(25)의 위치까지의 수평 방향 거리 및 수직 방향 거리일 수 있다. 또한, 수학식 4에서 Tc는 포인터 이미지(25)의 변환 행렬을 나타내고, Mc는 객체(5)에 투사되는 영역(20)을 가상 세계의 좌표로 변환하기 위한 모델 행렬이다. 모델 행렬은 변환 행렬과 기울기 값을 곱하여 획득할 수 있다.
한편, 모바일 디바이스(100)는 모델 행렬을 투사 행렬 P와 곱하여, 포인터 이미지(25)를 투사되는 영역(20) 상에 표시하기 위한 최종 행렬 변환값 PPc를 획득할 수 있다. 여기에서, 투사 행렬 P에 대한 식은 후술할 도 9에서 구체적으로 설명하도록 한다.
한편, 하기의 수학식 5 및 수학식 6은 모바일 디바이스(100)의 이동에 따라 객체(5)에 투사되는 영역이 변경되는 경우 표시되는 포인터 이미지(25)의 위치를 결정하기 위한 식이다.
Figure pat00005
Figure pat00006
상기 수학식 5에서 c'은 모델 좌표계에서 카메라 좌표를 의미한다. Tcs는 변화된 위치에서, 모바일 디바이스(100)로부터 미리 설정된 포인터 이미지(20)의 위치까지의 거리에 대한 정보를 포함하는 변환 행렬이고 pw는 전역 좌표계에서 회전되지 않은 평면 상의 포인터 이미지의(25) 좌표이다.
모바일 디바이스(100)는 상기 수학식 5에 기초하여, 모바일 디바이스(100)가 이동하기 전에 결정된 객체(5)에 투사되는 영역(20)으로부터 변경된 전역 좌표계에서의 포인터 이미지(25)의 위치 정보를 획득할 수 있다.
한편, 모바일 디바이스(100)는 전술한 수학식 6에 기초하여, 모바일 디바이스(100)가 이동하기 전에 결정된 객체(5)에 투사되는 영역(20)으로부터 변경된 모델 좌표계에서의 포인터 이미지(25)의 위치 정보를 획득할 수 있다. 상기의 수학식 6에서 p'은 모델 좌표계에서 회전되지 않은 평면 상의 포인터 이미지(25)의 좌표이고, v는 모바일 디바이스(100)의 카메라와 객체(5)에 투사되는 영역(20)에 표시된 포인터 이미지(25)와의 거리 및 P''은 변경된 객체(5)에 투사되는 영역(20)에서의 포인터 이미지(25)의 위치를 나타낼 수 있다.
도 9는 본 발명의 일 실시예에 따른 모바일 디바이스(100)가 이동하는 경우, 객체(5)에 투사되는 영역(20)이 변경됨에 따른 포인터 이미지(25)의 위치 변화를 설명하기 위한 도면이다.
도 9의 (a)에는 모바일 디바이스(100)가 이동하기 전의 객체(5)에 투사되는 영역(20a)이 도시되어 있다. 여기에서, 포인터 이미지(25a)의 위치는 미리 설정된 기준점에 대응되도록 투사 이미지(20a)의 중앙에 배치될 수 있다.
한편, 도 9의 (b)에는 모바일 디바이스(100)의 이동 후에 생성된 투사 이미지(20b)가 도시되어 있다. 여기에서, 포인터 이미지(25b)의 위치는 미리 설정된 기준점에 대응되도록 변경된 객체(5)에 투사되는 영역(20b)의 중앙에 배치될 수 있다..
한편, 변경된 객체(5)에 투사되는 영역(20b)에서도 포인터 이미지(25b)는 미리 설정된 바와 같이 변경된 객체(5)에 투사되는 영역(20b)의 중심에 위치한다. 사용자는 원하는 지점을 가리키기 위해, 모바일 디바이스(100)를 이동시켜, 투사되는 영역(20a, 20b)의 중심이 원하는 지점에 위치하도록 모바일 디바이스(100)를 제어할 수 있다. 도 10 내지 도 11은 본 발명의 일 실시예에 따른 모바일 디바이스(100)가 객체(5)에 투사되는 영역(20)의 왜곡을 보정하는 방법을 설명하기 위해 도시한 도면이다.
모바일 디바이스(100)는 모바일 디바이스(100)로부터 이미지가 투사되는 기울기 값 또는 위치 값이 변경되는 경우 발생하는 객체(5)에 투사되는 영역(20)의 왜곡 현상을 보정할 수 있다. 예를 들어, 모바일 디바이스(100)의 기울기 또는 위치가 변하는 경우, 모바일 디바이스(100)로부터 객체(5)까지 수직 방향으로 투사가 일어나지 않을 수 있다. 이러한 경우, 객체(5)에 투사되는 영역(20)이 퍼져서 왜곡이 발생할 수 있다.
본 발명의 일 실시예에 따른 모바일 디바이스(100)는 모바일 디바이스(100)가 이동한 정도를 측정하여, 변경된 모바일 디바이스(100)의 위치에서 왜곡 없이 이미지의 투사가 일어나는 경우, 객체(5)에 투사되는 영역(20)을 예측할 수 있다.
도 10 내지 도 11은 본 발명의 일 실시예에 따른 모바일 디바이스가 투사 이미지의 왜곡을 보정하는 방법을 설명하기 위해 도시한 도면이다.
도 10을 참조하면, 도 10(a)에는 모바일 디바이스(100)가 보정을 수행하기 전에 투사되는 영역(20a)이 도시되어 있다. 모바일 디바이스(100)가 x축을 기준으로 회전 운동하는 경우, 기울기 값이 변화하면서 객체(5)에 투사되는 영역(20a)이 퍼지는 현상이 일어날 수 있다.
모바일 디바이스(100)는 모바일 디바이스(100)의 위치 변화값 또는 기울기 변화값과 같은 이동 정보에 기초하여, 변경된 모바일 디바이스(100)의 위치에서, 왜곡 없이 이미지의 투사가 일어나는 경우의 투사 영역을 예측할 수 있다. 즉, 모바일 디바이스(100)는 이동에 따라 변경된 위치에서, 수직 방향으로 객체(5)에 이미지를 투사하는 경우, 객체(5)에 생성되는 투사되는 영역(20)을 예측할 수 있다.
도 10(b)에는 모바일 디바이스(100)의 이동으로 인한 투사되는 영역(20a)의 왜곡 현상이 보정된 결과 생성된 투사되는 영역(20b)이 도시되어 있다. 도 10(b)를 참조하면, 투사 지점과 수직한 위치에서 모바일 디바이스(100)가 투사하여 생성된 투사 이미지와 같이 왜곡된 투사 이미지(20a)가 보정되는 것을 확인할 수 있다.
도 11 에 도시된 모바일 디바이스(100)로부터 생성된 투사 이미지(20a)가 왜곡되는 경우 역시, 모바일 디바이스(100)가 이동한 정도에 대한 정보, 예를 들어 모바일 디바이스(100)는 위치 변화값 또는 각도 변화값을 기초로 해당 위치에서, 왜곡 없이 객체(5)에 이미지가 투사된 결과 생성되는 투사되는 영역을 예측할 수 있다.
한편, 이러한, 투사 이미지의 왜곡을 보정하는 것은 하기의 수학식 7 내지 수학식 9를 이용하여 수행될 수 있다. 하기의 수학식 7 및 수학식 8은 모바일 디바이스(100)의 화면에 표시된 이미지 영역을 객체(5)에 투사하는데 이용되는 변환식이고, 수학식 9는 객체(5)에 투사되는 영역(20)의 왜곡을 보정하는데 이용되는 변환식이다.
Figure pat00007
Figure pat00008
Figure pat00009
상기의 수학식 7 및 8에서, f는 최대 시점 거리, n은 최소 시점 거리, Dist는 모바일 디바이스(100)로부터 투사된 투사 이미지와의 거리 및 t, b, r, l은 이미지의 중심으로부터 위, 아래, 좌, 우 모서리까지의 거리를 나타낸다. 수학식 7에서 VAOV 및 HAOV는 수직 및 수평 각각에 대한 화각(angle of view)을 나타낸다.
전술한 수학식 3에서 도출되는 모델 매트릭스 M과 모바일 디바이스(100)의 회전 정보를 포함하는 기울기 값 P를 기초로, 객체(5)에 투사되는 영역(20a)에 대한 변환식이 결정된다.
한편, 객체에 투사되는 영역(20a)에 왜곡이 발생할 수 있으므로, 모바일 디바이스(100)는 왜곡 현상을 보정해 줄 수 있어야 한다. 모바일 디바이스(100)의 이동 정도에 따라, 객체(5)의 어느 위치에 투사 이미지(100)가 투사될 것인지를 예측하고, 예측된 위치에서 투사되는 영역(20a)의 꼭지점 좌표에 디바이스(100)의 이동으로 인한 왜곡을 보정할 수 있는 프로그램을 설치하면 왜곡을 보정할 수 있다.
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.　 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다.　 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다.　 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.　 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다.　 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다.　 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다.　 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.　 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.　 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.　 “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.　 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다.　 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.　 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.　 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
100: 모바일 디바이스
110: 영상 처리부
120: 프로젝터
130: 표시부
140: 이동 검출부

Claims (17)

  1. 모바일 디바이스에서 실행 중인 애플리케이션에 대응하는 이미지 중 기설정된 영역을 투사하는 단계;
    상기 투사되는 영역에 포인터 이미지를 투사하는 단계;
    상기 모바일 디바이스의 이동을 감지하여, 상기 애플리케이션에 대응하는 이미지 중 상기 투사되는 영역을 결정하여 투사하는 단계
    사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 따라 상기 변경된 투사되는 영역에서의 상기 포인터 이미지의 위치를 변경하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서 이미지를 투사하는 방법.
  2. 제 1 항에 있어서, 상기 투사되는 영역을 변경하여 투사하는 단계는,
    상기 모바일 디바이스의 기울기의 변화를 감지하는 단계;
    상기 기울기의 변화값을 검출하는 단계;
    상기 검출된 기울기의 변화값에 기초하여 상기 투사되는 영역을 재결정하는 단계; 및
    상기 재결정된 투사되는 영역을 투사하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서 이미지를 투사하는 방법.
  3. 제 1 항에 있어서, 상기 투사되는 영역을 변경하여 투사하는 단계는,
    상기 모바일 디바이스의 기울기 변화에 따라 상기 투사되는 영역의 왜곡을 예측하는 단계; 및
    상기 예측된 투사되는 영역의 왜곡을 보정하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서 이미지를 투사하는 방법.
  4. 제 1 항에 있어서, 상기 투사되는 영역을 변경하여 투사하는 단계는,
    상기 모바일 디바이스의 위치의 변화를 감지하는 단계;
    상기 위치의 변화값을 검출하는 단계;
    상기 검출된 위치의 변화값에 기초하여 상기 투사되는 영역을 재결정하는 단계; 및
    상기 재결정된 투사되는 영역 및 상기 재결정된 투사되는 영역에 배치된 포인터 이미지를 투사하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서 이미지를 투사하는 방법.
  5. 제 1항에 있어서,
    상기 사용자의 입력에 따라 상기 모바일 디바이스의 위치 정보를 초기화하는 단계; 및
    상기 초기화된 위치 정보에 기초하여 상기 투사되는 영역을 재결정하는 단계를 더 포함하는 것을 특징으로 하는 모바일 디바이스에서 이미지를 투사하는 방법.
  6. 제 1항에 있어서, 상기 투사되는 영역을 변경하여 투사하는 단계는,
    상기 모바일 디바이스의 위치 변화값이 기설정된 임계값을 초과하는 경우, 상기 모바일 디바이스의 위치 정보를 초기화하는 단계; 및
    상기 초기화된 위치 정보에 기초하여 상기 투사되는 영역을 재결정하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서 이미지를 투사하는 방법.
  7. 제 1 항에 있어서,
    기설정된 시간 내에 상기 재결정된 투사되는 영역이 투사되지 않는 경우, 상기 재결정된 투사되는 영역을 초기화하는 단계를 더 포함하는 것을 특징으로 하는 모바일 디바이스에서 이미지를 투사하는 방법.
  8. 제 1 항에 있어서, 상기 포인터 이미지를 투사하는 단계는,
    상기 투사되는 영역에서 미리 결정된 위치에 포인터 이미지를 투사하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서 이미지를 투사하는 방법.
  9. 모바일 디바이스에서 실행 중인 애플리케이션에 대응하는 이미지 중 기설정된 영역을 포인터 이미지와 함께 투사하는 프로젝터;
    상기 모바일 디바이스의 이동을 감지하는 이동 검출부; 및
    상기 감지된 모바일 디바이스의 이동에 기초하여, 상기 애플리케이션에 대응하는 이미지 중 상기 투사되는 영역을 변경하는 영상 처리부를 포함하고,
    상기 영상 처리부는 사용자 입력에 따라 상기 투사되는 영역에서의 상기 포인터 이미지의 위치를 변경하는 것을 특징으로 하는 모바일 디바이스.
  10. 제 9 항에 있어서, 상기 영상 처리부는,
    상기 모바일 디바이스의 기울기의 변화값을 검출하고, 상기 검출된 기울기 변화값에 기초하여, 상기 투사되는 영역을 재결정하고,
    상기 프로젝터는, 상기 재결정된 투사되는 영역 및 상기 재결정된 투사되는 영역에 배치된 포인터 이미지를 투사하는 것을 특징으로 하는 모바일 디바이스.
  11. 제 9 항에 있어서, 상기 영상 처리부는,
    상기 모바일 디바이스의 기울기 변화에 따라 상기 투사되는 영역의 왜곡을 예측하고, 상기 예측된 투사되는 영역의 왜곡을 보정하는 것을 특징으로 하는 모바일 디바이스.
  12. 제 9 항에 있어서, 상기 영상 처리부는,
    상기 모바일 디바이스의 위치의 변화값을 검출하고, 상기 검출된 위치의 변화값에 기초하여 상기 투사되는 영역을 재결정하고,
    상기 프로젝터는,
    상기 재결정된 투사되는 영역 및 상기 재결정된 투사되는 영역에 배치된 포인터 이미지를 투사하는 것을 특징으로 하는 모바일 디바이스.
  13. 제 9항에 있어서,
    상기 사용자의 입력을 수신하는 사용자 입력부를 더 포함하고,
    상기 이동 검출부는,
    상기 사용자의 입력에 따라 상기 모바일 디바이스의 위치 정보를 초기화하고,
    상기 영상 처리부는,
    상기 초기화된 위치 정보에 기초하여 상기 투사되는 영역을 재결정하는 것을 특징으로 하는 모바일 디바이스.
  14. 제 9항에 있어서, 상기 이동 검출부는,
    상기 모바일 디바이스의 위치 변화값이 기설정된 임계값을 초과하는 경우, 상기 모바일 디바이스의 위치 정보를 초기화하고,
    상기 영상 처리부는,
    상기 초기화된 위치 정보에 기초하여 상기 투사되는 영역을 재결정하는 것을 특징으로 하는 모바일 디바이스.
  15. 제 9 항에 있어서, 상기 영상 처리부는,
    기설정된 시간 내에 상기 재결정된 투사되는 영역이 투사되지 않는 경우, 상기 재결정된 투사되는 영역을 초기화하는 것을 특징으로 하는 모바일 디바이스.
  16. 제 9 항에 있어서, 상기 프로젝터는,
    상기 투사되는 영역에서 미리 결정된 위치에 포인터 이미지를 투사하는 것을 특징으로 하는 모바일 디바이스.
  17. 제 1 항 내지 제 8항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020140115474A 2014-09-01 2014-09-01 모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법 KR20160026482A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140115474A KR20160026482A (ko) 2014-09-01 2014-09-01 모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법
US14/836,133 US20160062486A1 (en) 2014-09-01 2015-08-26 Mobile device and method of projecting image by using the mobile device
EP15182834.0A EP2991323B1 (en) 2014-09-01 2015-08-27 Mobile device and method of projecting image by using the mobile device
CN201510546070.1A CN105388686A (zh) 2014-09-01 2015-08-31 移动装置和使用移动装置投射图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140115474A KR20160026482A (ko) 2014-09-01 2014-09-01 모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법

Publications (1)

Publication Number Publication Date
KR20160026482A true KR20160026482A (ko) 2016-03-09

Family

ID=54150222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140115474A KR20160026482A (ko) 2014-09-01 2014-09-01 모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법

Country Status (4)

Country Link
US (1) US20160062486A1 (ko)
EP (1) EP2991323B1 (ko)
KR (1) KR20160026482A (ko)
CN (1) CN105388686A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293036B (zh) * 2015-06-12 2021-02-19 联想(北京)有限公司 一种交互方法及电子设备
CN106293037B (zh) * 2015-06-12 2023-05-02 联想(北京)有限公司 一种交互方法及电子设备
US10499026B1 (en) * 2016-06-27 2019-12-03 Amazon Technologies, Inc. Automation correction of projection distortion
CN106657951A (zh) * 2016-10-20 2017-05-10 北京小米移动软件有限公司 投影控制方法及装置、移动设备、投影仪
CN106506739A (zh) * 2016-11-18 2017-03-15 广西大学 一种手机投影盒
US10564425B2 (en) 2017-02-27 2020-02-18 Snap Inc. Processing a media content based on device movement
CN110769216B (zh) * 2018-08-28 2021-08-17 成都极米科技股份有限公司 一种投影仪热跑焦判断方法及投影仪
US11822225B2 (en) * 2021-03-08 2023-11-21 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101520689B1 (ko) * 2008-10-22 2015-05-21 엘지전자 주식회사 이동 단말기 및 이를 이용한 화면 스크롤 방법
JP5287984B2 (ja) * 2009-05-20 2013-09-11 三菱電機株式会社 加工シミュレーション方法およびその装置並びにその方法をコンピュータに実行させるプログラム
EP2437488A4 (en) * 2009-05-27 2016-12-14 Kyocera Corp PORTABLE ELECTRONIC DEVICE
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
JP5679803B2 (ja) * 2010-12-24 2015-03-04 京セラ株式会社 携帯電子機器
KR20130088104A (ko) * 2013-04-09 2013-08-07 삼성전자주식회사 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법

Also Published As

Publication number Publication date
CN105388686A (zh) 2016-03-09
EP2991323B1 (en) 2020-04-29
EP2991323A1 (en) 2016-03-02
US20160062486A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
KR20160026482A (ko) 모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법
JP6186415B2 (ja) 立体画像表示方法及び携帯端末
US9001208B2 (en) Imaging sensor based multi-dimensional remote controller with multiple input mode
KR100851977B1 (ko) 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
EP3050030B1 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US20160334884A1 (en) Remote Sensitivity Adjustment in an Interactive Display System
US8769409B2 (en) Systems and methods for improving object detection
JP6534974B2 (ja) 画面制御のための効率的なインタフェースを提供するシステムおよび方法
JP2015507783A (ja) ディスプレイ装置及びそれを用いた画面モード変更方法
US11477432B2 (en) Information processing apparatus, information processing method and storage medium
TWI660290B (zh) 資源分享裝置及其控制方法
JP2012022632A (ja) 情報処理装置およびその制御方法
US10979700B2 (en) Display control apparatus and control method
CN104317398A (zh) 一种手势控制方法、穿戴式设备及电子设备
CN105912101B (zh) 一种投影控制方法和电子设备
JP6360509B2 (ja) 情報処理プログラム、情報処理システム、情報処理方法、および情報処理装置
JP2006031342A (ja) ポインティングデバイス、情報表示システム及びポインティングデバイスを用いた入力方法
JP5461782B2 (ja) カメラ映像シミュレータプログラム
US10073614B2 (en) Information processing device, image projection apparatus, and information processing method
CN104811639A (zh) 信息处理方法及电子设备
JP2006018444A (ja) 画像処理システム及び付加情報指示装置
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
CN104580967A (zh) 一种基于便携式投影仪的地图投影方法和用于投影的装置
CN111886567B (zh) 操作输入装置、操作输入方法及计算机可读的记录介质
JP6065433B2 (ja) 投影装置、投影システム、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application