KR101303939B1 - 디스플레이 장치 및 컨텐츠 디스플레이 방법 - Google Patents

디스플레이 장치 및 컨텐츠 디스플레이 방법 Download PDF

Info

Publication number
KR101303939B1
KR101303939B1 KR1020110105852A KR20110105852A KR101303939B1 KR 101303939 B1 KR101303939 B1 KR 101303939B1 KR 1020110105852 A KR1020110105852 A KR 1020110105852A KR 20110105852 A KR20110105852 A KR 20110105852A KR 101303939 B1 KR101303939 B1 KR 101303939B1
Authority
KR
South Korea
Prior art keywords
information
mobile device
content
gesture
image
Prior art date
Application number
KR1020110105852A
Other languages
English (en)
Other versions
KR20130041537A (ko
Inventor
박지형
윤동욱
이중호
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020110105852A priority Critical patent/KR101303939B1/ko
Priority to PCT/KR2012/008487 priority patent/WO2013058546A1/en
Priority to US14/351,797 priority patent/US9594435B2/en
Publication of KR20130041537A publication Critical patent/KR20130041537A/ko
Application granted granted Critical
Publication of KR101303939B1 publication Critical patent/KR101303939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디스플레이 장치 및 컨텐츠 디스플레이 방법에 관한 것이다. 모바일 장치의 위치 정보 또는 방향 정보를 수신하고, 수신된 모바일 장치의 위치 정보 또는 방향 정보에 기반하여 모바일 장치 추적 정보를 생성하는 모바일 장치 추적 정보 처리부; 모바일 장치에 대한 입력 정보를 수신하고, 수신된 상기 입력 정보를 이용하여 컨텐츠의 출력 형태를 변경하는 제스쳐 정보를 생성하는 제스쳐 처리부; 모바일 장치 추적 정보, 제스쳐 정보에 기반하여 미리 설정된 컨텐츠의 이미지를 생성하는 랜더링부; 및 생성된 컨텐츠의 이미지를 디스플레이하는 디스플레이부를 포함하는 디스플레이 장치를 개시한다.

Description

디스플레이 장치 및 컨텐츠 디스플레이 방법{DISPLAY APPARATUS AND CONTENTS DISPLAY METHOD}
본 발명의 실시예들은 디스플레이 장치 및 컨텐츠 디스플레이 방법에 관한 것이며, 보다 상세하게는 모바일 장치를 활용한 디스플레이 장치 및 컨텐츠 디스플레이 방법에 관한 것이다.
전자형태의 컨텐츠 시장은 단말기 시장과 모두 상호 보완적으로, 폭발적으로 성장하고 있다. [International Digital Publishing Forum, Yankee group, 2010]. 컨텐츠 중 특히 전자 형태로 된 책, 즉 전자책 컨텐츠가 가장 양이 풍부하고 방대한 양을 자랑하며 가장 중요한 컨텐츠로 인식이 되고 있다. iPad와 iBookStore, Kindle과 Amazon, Biscuit과 Interpark의 단말기 대 컨텐츠 플랫폼 구도가 이를 예증한다. 하지만 전자책을 읽을 수 있는 단말기가 있어야 전자책 컨텐츠를 구매하므로 전자책 단말기 시장은 전자책 컨텐츠 시장의 핵심요소이다. 전자책 단말기의 평가 요소로는 가시성, 이동성, 가격, 네비게이션 기능, 주석기능 등이 있다. 이 중 네비게이션 기능은 전자책의 사용자 인터페이스 중 가장 기본적인 요소로서 전자책 단말기로 책의 읽는 사용자 경험의 만족도를 증대시키기 위해서 반드시 자연스럽고 효율적이어야 한다. 기존 시장에서 iBooks, Kindle, eDGe 등의 단말기가 독특한 사용자 인터페이스로 주목받고 있지만 아직 실제 책을 읽는 것처럼 자연스러운 기능을 지원하지는 못하고 있다. 주된 문제점은 책의 특정부위를 보다가 다른 부위를 보는 이동(Navigation)이 불편하다는데 있다.
첫째로 미국 공개 특허공보 US2010/017518의 Virtual Page Turn에 의한 전자책 구현은 디스플레이장치로 전자책 단말기, 컴퓨터 모니터 등의 디스플레이를 사용 해 왔다. 하지만 모바일 환경에서는 전자책 단말의 부피와 무게로 인한 신체적 부담이 가중된다.
둘째 미국 공개 특허공보 US2009/0237367에 의한 전자책 구현은 책갈피로 이동하기 위해서는 1)책갈피 매뉴를 호출하고, 2)책갈피 해 둔 페이지의 리스트 중 하나를 고르고, 3) 고른 책갈피를 터치/버튼 조작을 통해 선택해야 한다. 이런 3가지의 메뉴 선택 과정이 사용자의 인지적 부담을 증가시켜서 읽고 있던 독서의 흐름이 방해된다.
셋째, 종래 기술에 의한 전자책 구현은 확대/축소를 하려면 터치를 통해 Pinch 제스쳐등을 사용하거나 키보드, 마우스 등을 통해 조작해야 해서 부자연스러웠다.
넷째 기존의 전자책에서 멀리 떨어진 위치로 이동하기 위해서는 스크롤바를 활용하거나(iPad의 iBooks), 화면을 채우는 썸네일등의 Graphical User Interface를 활용해야 했다. 하지만 상기된 GUI 메뉴를 호출하고 나타나는 그래픽 객체들은 조작하는 과정에서 기존에 읽던 책의 내용에 대한 독서 흐름을 잃어버리게 된다.
다섯째 기존의 전자책에서는 실제 책이 넘어가는 것 같은 '가시적 피드백' 만 주었다. 따라서 1) 실제 책을 사용하는 것 같은 느낌이 들지 않는 인지적 문제와 2) 페이지를 빨리 넘기다가 정확한 위치에 멈추는 것이 힘든 기능적 문제가 발생하였다.
미국 공개 특허공보 US2010/0175018 미국 공개 특허공보 US2009/0271731
K. Shoemake, "Animating rotation with quaternion curves," ACM SIGGRAPH computer graphics, vol. 19, no. 3, pp. 245~254, 1985
본 발명의 일 태양에 따르면, 부피와 무게와 관련 없이, 넓은 크기의 디스플레이 화면을 구현할 수 있다.
본 발명의 다른 태양에 따르면, 콘텐츠의 자유로운 확대/축소기능을 구현할 수 있다.
본 발명의 또 다른 태양에 따르면, 전자책을 통하여 자연스럽고 단순한 형태의 책갈피 기능을 구현할 수 있다.
본 발명의 또 다른 태양에 따르면, 직관적으로 전자책을 빨리 넘길 수 있는 기능, 즉 훑어보기 기능을 구현할 수 있다.
본 발명의 또 다른 태양에 따르면, 소리와 진동을 통한 피드백을 통해 실감나는 전자책 인터페이스를 구현할 수 있다.
본 발명의 일 태양에 따르면, 모바일 장치의 위치 정보 또는 방향 정보를 수신하고, 수신된 상기 모바일 장치의 상기 위치 정보 또는 상기 방향 정보에 기반하여 모바일 장치 추적 정보를 생성하는 모바일 장치 추적 정보 처리부; 상기 모바일 장치에 대한 입력 정보를 수신하고, 수신된 상기 입력 정보를 이용하여 컨텐츠의 출력 형태를 변경하는 제스쳐 정보를 생성하는 제스쳐 처리부; 상기 모바일 장치 추적 정보, 상기 제스쳐 정보에 기반하여 미리 설정된 컨텐츠의 이미지를 생성하는 랜더링부; 및 생성된 상기 컨텐츠의 이미지를 디스플레이하는 디스플레이부를 포함하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 디스플레이장치의 위치로부터 모바일 장치의 위치를 추적하여 상기 모바일 장치의 상기 위치 정보를 생성하는 모바일 장치 추적부를 더 포함하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 모바일 장치의 상기 방향 정보는 상기 모바일 장치 내부의 가속도센서, 자기 센서 및 회전 센서 중 적어도 어느 하나로부터 생성되는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 모바일 장치 추적 정보 처리부는, 상기 모바일 장치 방향 정보의 노이즈를 제거하는 노이즈 감쇄부; 및 노이즈가 제거된 상기 모바일 장치 방향 정보에 기반하여 상기 모바일 장치의 초기 방향에서 현재 방향까지의 이동 변환을 기울기 3차원변환정보를 생성하는 3차원 변환 정보 계산부를 포함하며; 상기 위치 정보와 상기 생성된 기울기 3차원 변환 정보에 기반하여 상기 모바일 장치의 추적정보를 생성하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 모바일 장치 추적 정보 처리부는, 상기 모바일 장치 방향 정보에 기반하여 상기 모바일 장치의 초기 방향에서 현재 방향까지의 이동 변환을 계산함으로써 기울기 3차원 변환 정보를 생성하는 3차원 변환 정보 계산부; 및 상기 기울기 3차원 변환 정보의 노이즈를 제거하는 노이즈 감쇄부를 포함하며, 상기 위치 정보와 상기 생성된 기울기 3차원 변환 정보에 기반하여 상기 모바일 장치의 추적정보를 생성하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 랜더링부는, 상기 모바일 장치 추적 정보 및 상기 제스쳐 정보에 기반하여 미리 설정된 상기 컨텐츠를 공간상에서 변환하여 3차원 이미지 변환 정보를 생성하는 3차원 이미지 변환부; 랜더링될 상기 컨텐츠의 물성 및 랜더링 특성을 제어하는 랜더링 제어부; 및 상기 3차원 이미지 변환 정보, 상기 컨텐츠의 물성 및 상기 랜더링 특성에 기반하여 상기 컨텐츠 이미지를 생성하고 전송하는 랜더링 계산부를 포함하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 미리 설정된 상기 컨텐츠는 복수의 페이지를 포함하는 전자책 컨텐츠인 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 처리부는, 상기 모바일 장치와 상기 모바일 장치를 사용하는 사용자의 위치 정보에 기반하여 미리 설정된 제1비율로 상기 전자책 컨텐츠의 이미지의 크기를 변화시키는 제1제스쳐 정보를 생성하는 연속 줌 판단부를 포함하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 처리부는, 상기 모바일 장치에 대하여 미리 설정된 제2입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지의 제1페이지가 상기 전자책 컨텐츠의 이미지의 제2페이지로 전환되는 제2제스쳐 정보를 생성하는 페이지 넘기기 판단부를 포함하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 처리부는, 상기 모바일 장치에 대하여 미리 설정된 제3입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지의 제3페이지를 저장하고, 상기 페이지가 저장된 이후 미리 설정된 제4 입력 정보를 수신하여 상기 저장된 제3페이지를 표시하는 제3제스쳐 정보를 생성하는 책갈피 판단부를 포함하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 처리부는, 상기 모바일 장치에 대하여 미리 설정된 제4입력 정보를 수신하여 일반 모드에서 전자책 훑어보기 모드로 전환하고, 미리 설정된 제5입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지의 복수의 페이지를 연속적으로 넘기는 제4제스쳐 정보를 생성하는 책 훑어보기 판단부를 포함하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 책 훑어보기 판단부는 상기 전환된 전자책 훑어보기 모드에서, 미리 설정된 제6 입력 정보를 수신하여, 다시 상기 일반 모드로 전환되는 것을 특징으로 하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 정보에 기반하여, 상기 모바일 장치의 피드백부로 하여금 소리 또는 진동 피드백을 생성하는 피드백 제어 정보를 생성하여 상기 모바일 장치로 송신하는 피드백 제어부를 더 포함하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 제스쳐 정보에 따라 소리 피드백을 생성하는 소리 피드백부; 상기 제스쳐 정보에 기반하여, 상기 디스플레이 장치의 상기 피드백부로 하여금 소리 피드백을 생성하는 피드백 제어 정보를 생성하여 상기 피드백부를 제어하는 피드백 제어부를 더 포함하는 디스플레이 장치가 제공된다.
본 발명의 일 태양에 따르면, 모바일 장치의 이동 정보를 수신하고, 수신된 상기 모바일 장치의 이동 정보에 기반하여 모바일 장치 추적 정보를 생성하는 모바일 장치 추적 정보 처리부; 상기 모바일 장치에 대한 입력 정보를 수신하고, 수신된 상기 입력 정보를 이용하여 컨텐츠의 출력형태를 변경하는 제스쳐 정보를 생성하는 제스쳐 처리부; 상기 모바일 장치 추적 정보, 상기 제스쳐 정보에 기반하여 미리 설정된 컨텐츠의 이미지를 생성하는 랜더링부; 생성된 상기 컨텐츠 이미지를 디스플레이하는 디스플레이부를 포함하는 디스플레이 장치; 및 상기 디스플레이 장치와 통신하는 상기 모바일 장치를 포함하는 컨텐츠 디스플레이 시스템이 제공된다.
본 발명의 일 태양에 따르면, 모바일 장치의 위치정보 또는 방향정보를 수신하는 단계; 수신된 상기 모바일 장치의 위치 정보 또는 방향 정보에 기반하여 모바일 장치 추적 정보를 생성하는 단계; 상기 모바일 장치에 대한 입력 정보를 수신하는 단계; 수신된 상기 입력 정보를 이용하여 컨텐츠의 출력형태를 변경하는 제스쳐 정보를 생성하는 단계; 상기 모바일 장치 추적 정보, 상기 제스쳐 정보에 기반하여 미리 설정된 컨텐츠의 이미지를 생성하는 단계; 및 생성된 상기 컨텐츠 이미지를 디스플레이하는 단계를 포함한 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 컨텐츠 이미지를 디스플레이하는 단계는, 상기 컨텐츠 이미지를 상기 모바일 장치에 덧씌워서 디스플레이하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 이동 정보를 수신하는 단계는, 상기 디스플레이장치의 위치로부터 모바일 장치의 위치를 추적하여 생성된 상기 모바일 장치의 이동 정보를 수신하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 모바일 장치 추적 정보를 생성하는 단계는, 상기 모바일 장치 방향 정보에 기반하여 상기 모바일 장치의 초기 방향에서 현재 방향까지의 이동 변환 정보를 계산함으로써 기울기 3차원 변환 정보를 생성하는 단계; 상기 모바일 장치 추적 정보의 노이즈를 제거하는 단계; 및 상기 위치 정보와 상기 생성된 기울기 3차원 변환 정보에 기반하여 상기 모바일 장치의 추적정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 미리 설정된 컨텐츠의 이미지를 생성하는 단계는, 상기 모바일 장치 추적 정보 및 상기 제스쳐 정보에 기반하여 미리 설정된 상기 컨텐츠를 공간상에서 변환하여 3차원 이미지 변환 정보를 생성하는 단계; 랜더링될 상기 컨텐츠의 물성 및 랜더링 특성을 제어하는 단계; 및 상기 3차원 이미지 변환 정보, 상기 컨텐츠의 물성 및 상기 랜더링 특성에 기반하여 상기 컨텐츠 이미지를 생성하고 전송하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 미리 설정된 상기 컨텐츠는 복수의 페이지를 포함하는 전자책 컨텐츠인 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 정보를 생성하는 단계는, 상기 디스플레이 장치와 상기 모바일 장치를 사용하는 사용자의 위치정보에 기반하여 미리 설정된 제1비율로 상기 전자책 컨텐츠의 이미지의 크기를 변화시키는 제1제스쳐 정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 정보를 생성하는 단계는, 상기 모바일 장치에 대하여 미리 설정된 제2입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지 의 제1페이지가 상기 전자책 컨텐츠의 이미지의 제2페이지로 전환되는 제2제스쳐 정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 정보를 생성하는 단계는, 상기 모바일 장치에 대하여 미리 설정된 제3입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지의 제3페이지를 저장하고, 상기 페이지가 저장된 이후 미리 설정된 제4 입력 정보를 수신하여 상기 저장된 제3페이지를 표시하는 제3제스쳐 정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 정보를 생성하는 단계는, 상기 모바일 장치에 대하여 미리 설정된 제4입력 정보를 수신하여 전자책 훑어보기 모드로 전환하고, 미리 설정된 제5입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지의 복수의 페이지를 연속적으로 넘기는 제4제스쳐 정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 정보에 기반하여, 상기 모바일 장치의 피드백부로 하여금 소리 또는 진동 피드백을 생성하는 피드백 제어 정보를 생성하여 상기 모바일 장치로 송신하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 태양에 따르면, 상기 제스쳐 정보에 기반하여, 상기 디스플레이 장치로 하여금 소리 피드백을 생성하는 피드백 제어 정보를 생성하여 제어하는 단계를 더 포함하는 컨텐츠 디스플레이 방법이 제공된다.
본 발명의 일 측면에 의하면, 스마트폰의 작은 스크린으로 전자책을 읽는 것 보다 높은 해상도와 넓은 가시각(Field of View)으로 책을 읽을 수 있다는 장점이 있다.
본 발명의 다른 측면에 의하면, 간단한 조작을 통하여 전자책 이미지를 확대 또는 축소할 수 있는 효과가 있다.
본 발명의 다른 측면에 의하면, 단순한 책갈피 기능을 통하여, 사용자로 하여금 전자책을 직관적으로 책갈피 기능을 사용할 수 있는 효과가 있다.
본 발명의 다른 측면에 의하면, 기존에 읽던 전자책의 내용에 대한 독서 흐름을 잃어버리지 않으면서 동시에 자연스럽고 단순히 전자책을 빠르게 훑어볼 수 있는 효과가 있다.
도1는 본 발명의 실시예에 따른 디스플레이 장치와 모바일 장치를 도시한다.
도2는 본 발명의 실시예에 따른 모바일 장치의 내부 구성도를 도시한다.
도3은 본 발명의 실시예에 따른 디스플레이 장치의 내부 구성도를 도시한다.
도4a는 본 발명의 실시예에 따른 컨텐츠 이미지의 제1구현례를 도시한다.
도4b는 본 발명의 실시예에 따른 컨텐츠 이미지의 제2구현례를 도시한다.
도5는 본 발명의 실시예에 따른 제스쳐처리부의 내부 구성도를 도시한다.
도6a는 본 발명의 실시예에 따른 연속 줌 제스쳐를 표현한 도면을 도시한다.
도6b는 본 발명의 실시예에 따른 연속 줌 제스쳐를 표현한 도면을 도시한다.
도6c는 본 발명의 실시예에 따른 연속 줌 제스쳐에 대한 컨텐츠 이미지 변화의 제1 구현례를 도시한다.
도6d는 본 발명의 실시예에 따른 연속 줌 제스쳐에 대한 컨텐츠 이미지 변화의 제2 구현례를 도시한다.
도6e는 본 발명의 실시예에 따른 연속 줌 제스쳐에 대한 컨텐츠 이미지 변화의 제3 구현례를 도시한다.
도7a는 본 발명의 실시예에 따른 페이지 넘기기 제스쳐를 표현한 도면이다.
도7b는 본 발명의 실시예에 따른 페이지 넘기기 제스쳐를 표현한 도면이다.
도7c는 본 발명의 실시예에 따른 탭이라는 터치를 표현한 도면이다.
도7d는 본 발명의 실시예에 따른 플릭이라는 터치를 표현한 도면이다.
도7e는 본 발명의 실시예에 따른 드래그라는 터치를 표현한 도면이다.
도7f는 본 발명의 실시예에 따른 페이지 넘기기 제스쳐의 방향성을 표현하기 위한 도면이다.
도8a는 본 발명의 실시예에 따른 책갈피 제스쳐에 대한 이미지의 변화의 제1구현례를 도시한다.
도8b는 본 발명의 실시예에 따른 책갈피 제스쳐에 대한 이미지의 변화의 제2구현례를 도시한다.
도8c는 본 발명의 실시예에 따른 책갈피 제스쳐에 대한 이미지의 변화의 제3구현례를 도시한다.
도8d는 본 발명의 실시예에 따른 책갈피 제스쳐에 대한 이미지의 변화의 제4구현례를 도시한다.
도8e는 본 발명의 실시예에 따른 책갈피 제스쳐에 대한 이미지의 변화의 제5구현례를 도시한다.
도9a는 본 발명의 실시예에 따른 책 훑어보기 제스쳐를 표현한 도면이다.
도9b는 본 발명의 실시예에 따른 책 훑어보기 제스쳐를 표현한 도면이다.
도9c는 본 발명의 실시예에 따른 책 훑어보기 제스쳐에 대한 이미지의 변화의 제1구현례를 도시한다.
도9d는 본 발명의 실시예에 따른 책 훑어보기 제스쳐에 대한 이미지의 변화의 제2구현례를 도시한다.
도10은 디스플레이 장치를 이용하여, 컨텐츠의 이미지를 디스플레이하는 컨텐츠 디스플레이 방법에 대한 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
도1은 본 발명의 실시예에 따른 디스플레이 장치(200)와 모바일 장치(100)를 도시한다.
모바일 장치(100)는 다양한 형태로 실시될 수 있고, 다양한 특징을 포함할 수 있다. 예를 들면, 모바일 장치(100)는 셀룰러 장치, 개인용 정보 단말기(PDA), 디지털 카메라, 디지털 카메라 인에이블 모바일 전화, 휴대용 컴퓨터 등 기타 유형의 처리 장치일 수 있다. 특히 모바일 장치(100)는 디스플레이, 터치 센서, 모션센서, 진동기, 스피커, 통신모듈 등이 포함된 스마트폰 또는 경우에 따라 소형의 스마트패드일 수 있다. 또한 모바일 장치(100)는 예를 들면, 프로세서, 운영 체제 및 애플리케이션 프로그램 인터페이스(API)를 갖춰 하나 이상의 소프트웨어 애플리케이션 및 운영 체제간에 통신을 제공하는 처리 시스템을 포함할 수 있다. 나아가 모바일 장치(100)의 처리 시스템은 다양한 소프트웨어 애플리케이션을 실행하도록 구성될 수 있다. 모바일 장치(100)는 디스플레이 장치(200) 또는 다른 외부 장치(미도시)와 통신할 수 있으며, 통신을 할 수 있는 어떠한 하드웨어나 소프트웨어가 내부에 탑재될 수 있다. 모바일 장치(100) 내부의 각종 센서 정보, 음성 피드백 정보, 진동 피드백 정보를 포함한 송수신이 가능한 모든 정보는 모바일 장치(100)를 통해 디스플레이 장치(200) 또는 다른 외부 장치(미도시)로 전송되거나 수신될 수 있다. 통신방식은 WiFi, BlueTooth 일 수 있으며, 이에 제한되지는 아니한다.
디스플레이 장치(200)는 스크린 위에 화상이나 문자 또는 도형을 나타내주는 장치로 표시 장치라고도 불린다. 본 발명의 실시예에서는 모바일 장치(100)와 통신하여, 사용자의 각종 제스쳐에 의한 모바일 장치(100)의 움직임을 추적하여 이에 따라 컨텐츠의 이미지(300)를 표시하는 역할을 한다. 종류로 발광다이오드(LED; Light Emitting Diode), 유기발광소자(OLED; Organic Light Emitting Display), 발광중합체(LEP; Light Emitting Polymer), 전자발광소자(EL Element; Electro-Luminescence Element), 전계방출소자(FED; Field Emission Display), 또는 중합체발광소자(PLED; Polymer Light EmittingDisplay) 등이 적용될 수 있다. 하지만 본 명세서에서 정의하는 디스플레이 장치(200)는 소정의 컨텐츠를 표시할 수 있도록 해 주는 임의의 영상 표시 장치를 의미할 뿐, 그 형태가 제한되지 아니한다.
컨텐츠의 이미지(300)는 모바일 장치(100)의 움직임 및 사용자의 각종 제스쳐를 반영하여 디스플레이 장치(200)가 사용자에게 제공하는 디스플레이 화면이다. 그 과정을 간단하게 설명해보면 먼저 디스플레이 장치(200)는 모바일 장치(100)의 움직임을 6차원 또는 그 이상/이하의 자유도로 추적한다. 모바일 장치(200)의 움직임이 추적되면 디스플레이 장치(200)는 모바일 장치(100)의 움직임에 맞추어 랜더링하고 이를 디스플레이한다. 컨텐츠의 이미지(300)는 각종 제스쳐가 입력되는 경우 제스쳐 정보에 의해 변형되어서 표시된다.
도2는 본 발명의 실시예에 따른 모바일 장치(100)의 내부 구성도를 도시한다. 모바일 장치는 센서부(110), 피드백부 (120), 제1제어부(130), 제1통신부(140), 제1저장부(150)를 포함할 수 있다.
센서부(110)는 각종 외부 입력에 대한 정보들을 감지하는 역할을 하며, 터치 센서(111), 가속도 센서(112), 자기 센서(113), 회전 센서(114)를 포함할 수 있다. 터치센서(111)는 사용자의 모바일 장치(100)에 대한 터치 입력을 감지하는 역할을 한다. 터치 센서(111)는 싱글(single) 터치뿐 아니라 멀터(multi) 터치의 감지도 가능하다. 터치 입력의 형식은 터치한 점의 위치나 새로운 점, 이동한 점, 놓은(release) 점 등의 상태와 같은 것이거나, 탭(tab), 더블 탭(double tab), 패닝(panning), 플리킹(Flicking), 드래그 앤드 드랍(drag and drop), 핀칭(Pinching) 및 스트레칭(Stretching) 등의 터치를 통한 몇 가지 졔스쳐와 같은 것일 수 있다. 가속도센서(112)는 모바일 장치(100)의 이동 또는 중력에 따라 작용하는 가속도를 측정할 수 있다. 자기 센서(113)는 모바일 장치(100) 주변의 자기장 세기를 측정할 수 있다. 회전 센서(114)는 자이로 센서로 불리우기도 하며, 모바일 장치(100)의 3차원 운동을 인식하는 센서로서 2축만 있거나 3축만 있을 수도 있다. 일 실시예에서, 각 센서들은 3축 센서일 수 있으나, 1축 또는 2축 등의 축퇴된 형태일 수도 있다. 또한, 각 센서들은 각 축 별로 나뉘어져 있을 수도 있다.
피드백부(120)는 모바일 장치(100)에 부착된 진동 또는 소리를 통한 출력을 제어하는 역할을 한다. 피드백부는 진동출력을 생성하는 진동부(12), 소리출력을 생성하는 스피커부(122)를 포함할 수 있다. 디스플레이 장치(200)에서 특정 제스쳐가 처리되는 경우, 디스플레이 장치(100) 또는 외부 장치로부터 수신된 피드백 제어 정보에 의하여 진동부(12)는 진동 출력을 생성하거나, 스피커부(122)는 소리 출력을 생성한다. 경우에 따라 두 출력이 동시에 생성될 수도 있다.
제1통신부(140)는 무선 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법으로 통신할 수 있다. 다만 실시예에 따라 제1통신부(140)가 별도로 존재하지 않고, 모바일 장치(100)의 다른 구성요소부의 단일 기능으로 포함되어 있을 수도 있다. 예를 들어, 센서부(110)의 터치센서(111)가 터치 정보를 직접 외부의 장치로 송신하거나, 피드백부(12)의 스피커부(122)가 피드백제어정보를 직접 수신할 수도 있다.
제1저장부(140)는 모바일 장치(100)의 모든 구성요소가 제어 또는 구동을 위한 제반 정보를 저장하는 역할을 한다. 시간에 따른 구성요소부의 각종 활동정보들이 저장될 수 있다.
제1제어부(130)는 센서부(110), 피드백부(120), 제1통신부(140), 제1저장부(150)의 연산처리 및 제어역할을 한다.
도3은 본 발명의 실시예에 따른 디스플레이 장치(200)의 내부 구성도를 도시한다. 디스플레이 장치(200)는 모바일 장치 추적부(210), 모바일 장치 추적정보 처리부(220), 제스쳐 처리부(230), 랜더링부(240)를 포함할 수 있다.
모바일 장치 추적부(210)는 모바일 장치(100)를 6차원 또는 그 이상/이하의 자유도로 추적하여 모바일 장치(100)의 위치 정보 또는 방향 정보를 획득하는 역할을 한다. 모바일 장치(100)의 위치 정보는 모바일 장치(200)의 현재 위치에 관련된 정보이며, 모바일 장치(100)의 방향 정보는 모바일 장치가 3차원을 기준으로 어떻게 기울여져 있는지에 관한 정보라 할 수 있다.
일 실시예에서, 모바일 장치 추적부(210)는 초음파를 이용한 초음파 측정부(211), 적외선을 이용한 적외선 측정부(212), 동작 인식 카메라를 이용한 동작 인식 카메라부(213)를 포함할 수 있다. 도시하지는 않았지만, 마커를 카메라로 인식부도 포함이 가능하다. 이들로부터 모바일 장치(100)와 디스플레이 장치(200)와의 상대적 또는 절대적 위치에 대한 정보, 즉 위치 정보를 획득할 수 있다. 모바일 장치 추적부(210)는 또한 모바일 장치(100)의 가속도 센서(112), 자기 센서(113) 등으로부터 모바일 장치(100)가 3차원을 기준으로 어떻게 기울여져 있는지에 관한 정보, 즉 모바일 장치(100)의 방향 정보를 획득할 수 있다.
모바일 장치 추적정보 처리부(220)는 모바일 장치 추적부(210)에서 획득된 모바일 장치(100)의 이동 정보와 방향 정보를 통하여 실제로 컨텐츠의 이미지(300)를 표시할 위치 및 기울일 방향을 결정하는 역할을 한다. 즉 이동 정보와 방향 정보를 이용하여 모바일 장치의 추적 정보를 생성한다.
그러나 컨텐츠의 이미지(300)가 기울일 방향을 결정하는 것은 좀 더 복잡하다.
기울임 방향 결정을 위해서는 기울임 3차원 변환 정보가 필요하다. 기울임 3차원 변환 정보는 모바일 장치(100)의 3차원의 절대 방향과 컨텐츠의 이미지(300)의 3차원의 절대 방향을 일치시키도록 하는 정보이다. 즉 모바일 장치의 기울기 방향을 추종하도록 하게끔 하는 정보이다. 기울임 3차원 변환 정보는 모바일 장치의 초기 방향에서 현재 방향까지의 방향 변환을 계산함으로써 얻어진다.
일 실시예에서, 먼저 가속도 센서(112)와 자기 센서(113)로부터 가속도 센서(112)데이터 및 자기 센서(113)를 포함하는 현재의 방향 정보를 수신한다. 그 후 노이즈 감쇄부(222)를 통해 노이즈가 제거된 현재의 방향 정보를 얻는다. 노이즈 감쇄부(222)는 입력값에 대한 노이즈를 제거하는 역할을 하며, 저대역 통과 필터, 칼만 필터, 확장형 칼만 필터, 무향 칼만 필터 및 파티클 필터로 이루어지는 군으로부터 선택되는 하나 이상의 필터를 포함할 수 있다. 3차원 변환 정보 계산부(221)는 이와 같이 노이즈가 제거된 현재의 방향 정보를 미리 정의된 '초기 방향 정보'와 비교함으로써 기울임 3차원 변환 정보를 얻게 된다.
초기 방향 정보는 행렬 Dinit로 나타낼 수 있고, 노이즈가 제거된 현재의 방향 정보는 행렬 Dcur로 나타낼 수 있으며, 기울임 3차원 변환 정보는 회전 행렬 Rcur로 나타낼 수 있다. 이 때, Dcur를 Dinit와 비교하여 모바일 장치의 초기 방향에서 현재 방향까지의 회전 행렬 Rcur를 얻을 수 있을 것이다.
일 실시예로서, 간단한 저주파 대역 통과 필터를 활용하여 기울임 3차원 변환 정보를 얻는 방식을 설명하도록 한다.
초기 가속도 센서(112) 데이터를 Accinit, 현재 가속도 센서(112) 데이터를 Acccur, 필터링된 가속도 센서(112) 데이터를 Acccur _f라 할 때, 간단한 저주파 대역 통과 필터를 통과한 필터링된 가속도 센서(112) 데이터 Acccur _f는 다음의 수학식과 같이 나타난다.
Figure 112011080858588-pat00001
여기서, ca는 가속도 센서(112) 신호에 대한 민감도 상수를 나타낸다.
그리고 초기 자기 센서(113) 데이터를 Maginit, 현재 자기 센서(113) 데이터를 Magcur, 필터링된 자기 센서(113) 데이터를 Magcur _f라 할 때, 간단한 저주파 대역 통과 필터를 통과한 필터링된 자기 센서(113) 데이터 Magcur _f는 다음의 수학식과 같이 나타난다.
Figure 112011080858588-pat00002
여기서, cm은 나침반 신호에 대한 민감도 상수를 나타낸다.
이와 같이 주어진 필터링된 가속도 센서(112) 데이터 및 필터링된 자기 센서(113) 데이터를 활용하여 다음과 같이 회전 행렬을 구할 수 있다.
R(Acc, Mag)를 전체 좌표계(world coordinate system)에서 Mag의 방향이 x축이고 Nmrl0의 방향이 y축, Nmrl1의 방향이 z축인 좌표계로 변환하는 회전 행렬이라고 한다. 아래의 모든 연산에서 행렬 표기법은 열 우선(column major) 방식이다.
Nmrl0 및 Nmrl1은 다음과 같은 수학식으로 나타낼 수 있다.
Figure 112011080858588-pat00003
상기 수학식에서 unit()은 길이가 1인 단위 벡터로 정규화(normalize)하는 것을 나타내고 cross는 외적 연산을 나타낸다. 결과적으로, R(Acc, Mag)는 다음과 같은 수학식으로 나타낼 수 있다.
Figure 112011080858588-pat00004
주어진 초기 방향 정보와 현재의 방향 정보로, 초기 센서 데이터의 행렬인 R(Accinit, Maginit)(501) 및 필터링된 현재의 센서 데이터의 행렬인 R(Acccur _f, Magcur _f)(502)을 구한 다음, 컨텐츠의 이미지(300)의 회전 행렬로 사용하면 모바일 장치(100)의 절대 방향과 컨텐츠의 이미지(300)의 3차원 방향을 일치시킬 수 있게 된다. 즉, 회전 행렬을 Rcur _f로 나타내면, 다음과 같은 수식이 도출된다.
Figure 112011080858588-pat00005
전술한 실시예에서는 필터링을 통해 먼저 노이즈를 제거하고 기울임 3차원 변환 정보(회전 행렬)를 구하는 방식을 기술하고 있다. 이러한 방식과는 달리, 먼저 기울임 3차원 변환 정보를 구하고 노이즈를 제거하는 방식이 있을 수 있다. 이러한 방식의 경우에는 노이즈 제거에 쿼터니온(Quarternion)의 내삽(interpolation) 기법인 SLERP(spherical linear interpolation) 방식이 사용될 수 있다. (K. Shoemake, “Animating rotation with quaternion curves,” ACM SIGGRAPH computer graphics, vol. 19, no. 3, pp. 245~254, 1985)이 방식은 노이즈 제거를 먼저 수행하는 방식과 회전 행렬을 계산하는 과정은 동일하다.
이 방식을 기술하면 다음과 같다. 먼저 노이즈가 감쇄되지 않은 현재 방향 정보를 '초기 방향 정보'와 비교하여 회전 행렬을 구한다. 즉, 현재의 회전방향을 나타내는 행렬을 구한다. 아직 필터링을 거치지 않은 회전 행렬을 Rcur이라 할 때, 다음과 같은 수학식이 도출된다.
Figure 112011080858588-pat00006
이 식은 수학식 5와 거의 유사하지만 아직 필터링을 거치지 않았으므로, Acccur _f와 Magcur_f 대신 Acccur와 Magcur 가 바로 쓰였다. 이와 같이 회전 행렬을 구한 다음, 절대 방향을 나타내는 회전 행렬을 쿼터니온 형식으로 변환한다. 즉, 회전 행렬 Rcur를 쿼터니온 형식인 Qcur로 변환한다. 쿼터니온이란 회전 행렬에 있어서 축·각 표현을 개선한 것으로서 쿼터니온은 회전축 관련 변수 3개와 회전각 관련 변수 1개를 하나의 4차원 변수로 나타낸 것을 말한다.
이와 같이 쿼터니온 형식으로 변환된 회전 정보를 내삽 방식인 SLERP로 저주파 대역 필터링한다. 다음과 같은 수학식으로 나타내면, 쿼터니온 형식으로 변환된 Qcur를 필터링된 결과가 저장되는 쿼터니온 Qcur _f에 다음과 같이 섞어주어 저주파 대역 필터링한다.
Figure 112011080858588-pat00007
여기서, qa 는 가속도 센서(112) 신호에 대한 민감도 상수로서
Figure 112011080858588-pat00008
이다. 그 다음에, 필터링된 쿼터니온 Qcur _f를 회전 행렬로 변환하여 기울임 3차원 변환 정보인 회전행렬 Rcur _f를 구할 수 있다. 그리하여, 전술한 이미지의 위치 정보와 3차원 변환 정보를 포함한 모바일 장치의 추적 정보가 생성되게 된다.
도4a 및 도4b는 본 발명의 실시예에 따른 컨텐츠의 이미지의 제1구현례 및 제2구현례를 도시한다. 모바일 장치(100)가 놓여있는 방향을 따라 컨텐츠의 이미지(300)가 디스플레이 된다. 도4a에서 도시된 모바일 장치(100)를 도4b에서 도시된 모바일 장치(100)처럼 시계 반대방향으로 약 30도 가량 회전하면, 이에 따라 컨텐츠의 이미지(300)도 마찬가지로 회전하게 된다.
제스쳐 쳐리부((230)는 모바일 장치에 대한 입력 정보를 수신하고, 수신된 입력 정보를 이용하여 컨텐츠의 출력 형태를 변경하는 제스쳐 정보를 생성하는 역할을 한다. 제스쳐 처리부에 입력되는 입력 정보는 모바일 장치(100)에 대한 각종 터치, 모션 입력이 될 수 있다. 터치 입력의 형식은 전술한 터치 센서에서 터치된 센서 입력 즉, 싱글 터치뿐 아니라 멀티 터치도 가능하며, 터치한 점의 위치나 새로운 점, 이동한 점, 놓은(release) 점 등의 상태와 같은 것이거나, 탭(tab), 더블 탭(double tab), 패닝(panning), 플리킹(Flicking), 드래그 앤드 드랍(drag and drop), 핀칭(Pinching) 및 스트레칭(Stretching) 등의 터치를 통한 몇 가지 복합입력과 같은 것일 수 있다. 또한 모바일 장치(100)를 기울이거나, 흔드는 각종 모션 입력, 음성 입력 등이 모바일 장치(100)에 대한 입력 정보가 될 수 있다. 다만 이에 한정하는 것은 아니며, 입력기능을 할 수 있는 모든 입력이 스마트 장치에 대한 입력이 될 수 있다. 음성 입력의 경우, 모바일 장치(100)가 아닌 디스플레이 장치(300)에서 직접 입력정보를 취할 수도 있다. 상세 제스쳐의 경우 도5에서 후술한다.
랜더링부(240)는 모바일 장치 추적 정보, 제스쳐 정보에 기반하여 미리 설정된 컨텐츠의 이미지를 생성하는 역할을 한다. 생성된 컨텐츠의 이미지는 디스플레이부로 전송되게 된다. 랜더링부(240)는 3차원 이미지 변환부(241), 랜더링 제어부(242), 랜더링 계산부(243)를 포함할 수 있다. 3차원 이미지 변환부(241)는 모바일 장치 추적 정보 및 제스쳐 정보에 기반하여 미리 설정된 컨텐츠를 공간상에서 변환하여 3차원 이미지 변환 정보를 생성하는 역할을 한다. 랜더링 제어부(242)는 랜더링될 컨텐츠의 물성 및 랜더링 특성을 제어하는 역할을 한다. 랜더링 계산부(243)는 3차원 이미지 변환부(241)에서 생성된 3차원 이미지 변환 정보, 랜더링 제어부(242)에서 제어된 컨텐츠의 물성 및 랜더링 특성에 기반하여 컨텐츠 이미지를 생성하고 전송하는 역할을 한다. 전송 역할은 별도의 통신부를 통해서 이루어 질 수도 있다.
디스플레이부(280)는 랜더링부(240)에서 생성된 컨텐츠의 이미지를 디스플레이하는 역할을 한다. 디스플레이부(280)는 발광다이오드(LED; Light Emitting Diode), 유기발광소자(OLED; Organic Light Emitting Display), 발광중합체(LEP; Light Emitting Polymer), 전자발광소자(EL Element; Electro-Luminescence Element), 전계방출소자(FED; Field Emission Display), 또는 중합체발광소자(PLED; Polymer Light EmittingDisplay) 등이 적용될 수 있다.
제2통신부(260)는 무선 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법으로 통신할 수 있다. 다만 실시예에 따라 제2통신부(260)가 별도로 존재하지 않고, 디스플레이 장치(200)의 다른 구성요소부의 단일 기능으로 포함되어 있을 수도 있다.
피드백제어부(290)는 제스쳐 판단부에서 생성된 제스쳐 정보에 기반하여 모바일 장치의 피드백부로 하여금 소리 또는 진동 피드백을 생성하는 피드백 제어 정보를 생성하여 모바일 장치로 송신하는 역할을 한다. 실시예에 따라 피드백 제어 정보의 송신을 제2통신부(260)에서 담당할 수도 있다. 또 다른 실시예에서는 디스플레이 장치 자체에서 소리 피드백을 사용자에게 할 수 있는 소리 피드백부(미도시)를 포함할 수도 있다. 이 경우 피드백 제어부(290)는 제스쳐 정보에 기반하여 디스플레이 장치 내부의 소리 피드백부로 하여금 소리 피드백을 생성하는 피드백 제어 정보를 생성하여 소리 피드백부를 제어하는 역할을 한다.
제2저장부(270)는 디스플레이 장치(200)의 모든 구성요소가 제어 또는 구동을 위한 제반 정보를 저장하는 역할을 한다. 시간에 따른 구성요소부의 각종 활동정보들이 저장될 수 있다.
제2제어부(250)는 모바일 장치 추적부(200), 모바일 장치 추적정보 처리부(220), 제스쳐 처리부(230), 랜더링부(240), 제2통신부(260), 제2저장부(270), 디스플레이부의 연산처리 및 제어역할을 한다.
도5는 본 발명의 실시예에 따른 제스쳐처리부의 내부 구성도를 도시한다. 제스쳐처리부(230)는 연속 줌 판단부(231), 페이지 넘기기 판단부(232), 책갈피 판단부(233), 책 훑어보기 판단부(234)를 포함할 수 있다.
연속 줌 판단부(231)는 모바일 장치(100)와 사용자와의 위치정보에 기반하여 미리 설정된 비율로 컨텐츠, 특히 전자책 컨텐츠의 이미지의 크기를 변화시키는 제1제스쳐 정보를 생성하는 역할을 한다. 일 실시예에서, 디스플레이 장치(200) 내부 또는 외부의 사용자의 동작 인식 센서(미도시)를 이용하여 사용자, 구체적으로 사용자의 눈의 위치정보를 파악하여, 모바일 장치(100)와 사용자와의 거리를 측정할 수 있다. 일 실시예에서, 동작 인식 센서는 일 실시예에서, 깊이 측정 센서(Depth Sensor)일 수 있으며, 깊이 측정 센서는 CMOS 센서와 결합된 적외선 레이저 프로젝터(Infrared laser projector)로 구성될 수 있으며 하나의 카메라에서 무수한 적외선 빔을 쏘고 반사되는 적외선을 통하여 어떠한 밝기 조건에서도 3차원을 감지할 수 있다. 가로와 세로 방향뿐만 아니라 센서와 멀고 가까운 거리까지 감지해 온몸 특히 눈이 어디에 위치하고 있는지 파악할 수 있다. 적외선 카메라로 깊이 영상을 얻어내는 방법은 Time of Flight 방식이 일반적이나, 패턴(Structured light)을 대상물에 투영하고 스테레오 매칭(Stereo matching)을 통해 깊이를 계산할 수도 있다. 다른 실시예에서 Stream sequence에서 Blob labeling 기법을 이용하여 거리 단차가 발생하는 동적 물체에 대하여 피훈련자를 검출하며, 공간상의 위치를 추정하고 각 동적 물체에 대하여 id를 부여할 수도 있다.
일 실시예에서, 모바일 장치를 사용자의 눈 쪽으로 가까이 가져오면 디스플레이 장치(200)의 컨텐츠의 이미지(300)가 확대되고, 눈에서 멀리 가져가면 컨텐츠의 이미지(300)가 축소된다. 또한 특정 부위를 확대하고 싶은 경우, 모바일 장치(100)의 특정부위를 눈에 가깝게 끌어당기면 된다. 도6a, 6b, 6c는 본 발명의 실시예에 따른 연속 줌 제스쳐를 표현한 도면이다. 모바일 장치(100)를 뒤로 당기면 축소가 되며, 모바일 장치(100)를 앞으로 당기면 확대되게 된다. 실제로 본 발명의 실시예에 따른 연속 줌 제스쳐에 대한 이미지 변화에 대한 구현례로써 모바일 장치(100)를 눈 쪽으로 가까이 가져오는 경우를 도6a, 도6b 및 도6c 의 3단계로 시계열적으로 표현하였다. 모바일 장치(100)를 눈 쪽으로 가까이 가져오면 컨텐츠의 이미지가 확대된다. 또한 컨텐츠의 특정 부분을 확대하고 싶은 경우 특정 부분을 눈 쪽으로 가깝게 하면, 해당 특정 부분만 확대되게 할 수도 있다. 다른 실시예에서 모바일 장치(200)와 사용자의 제1제스쳐를 더 더욱 정확하게 파악하기 위하여 특정 입력이 들어오는 경우에만, 연속 줌 제스쳐로 판단하게 설정할 수 있다.
페이지 넘기기 판단부(232)는 모바일 장치에 대해 미리 설정된 제2입력 정보를 수신하여 컨텐츠, 특히 전자책 컨텐츠의 이미지의 제1페이지가 제2페이지로 전환되는 제2제스쳐 정보를 생성하는 역할을 한다. 즉 특정 입력이 들어오게 되면, 전자책의 페이지가 넘어가는 모습을 사용자에게 보여주고, 실제로 전자책의 페이지가 변경이 되는 것이다. 도7a와 도7b에서 도시된 것과 같이 페이지가 넘어가는 제스쳐를 판단하게 된다. 일 실시예에서, 도7b를 기준으로 전자책 컨텐츠의 왼쪽, 오른쪽 페이지를 통해 설명을 하면, 도7c에서처럼 오른쪽 페이지를 탭(Tap)하게 되면 페이지가 앞쪽으로 넘어가게 된다. 책을 정방향으로 읽을 때의 제스쳐라고 할 수 있다. 반대로 왼쪽 페이지를 탭하게 되면, 페이지가 뒤쪽으로 넘어가서 책을 역방향으로 볼 때의 제스쳐라고 할 수 있다. 다른 실시예에서, 도7d에서처럼 오른쪽 방향으로 플릭(Flick)하게되면 페이지가 뒤쪽으로 넘어가게 된다. 반대로 왼쪽 페이지를 플릭(Flick)하게되면, 페이지가 앞쪽으로 넘어가게 된다. 또 다른 실시예에서, 도7e처럼 페이지를 드래그(Drag)하여 오른쪽(또는 왼쪽) 방향으로 넘기면 페이지가 뒤(앞)쪽으로 넘어가는 것은 도7d와 같지만, 드래그하는 동안 페이지가 터치점을 따라서 접혀서, 뒷 페이지 또는 앞 페이지를 미리 보게 할 수도 있다. 도7b는 드래그 하는 순간에 대한 컨텐츠 이미지의 변화를 실제로 표현한 것이다. 실제로 책을 사용하는 경우는 페이지의 종단을 잡고 페이지를 이동하기 때문에, 오른쪽 페이지에서는 왼쪽 플릭, 왼쪽 페이지에서는 오른쪽 플릭이 주로 사용이 된다. 그렇기 때문에 잘 사용되지 않는 오른쪽 페이지에서의 오른쪽 플릭, 왼쪽 페이지에서의 왼쪽 플릭에 페이지 넘기기 외의 별도의 기능을 추가할 수도 있다.
책갈피 판단부(233)는 모바일 장치(100)에 대해 미리 설정된 제3입력 정보를 수신하여 컨텐츠, 특히 전자책 컨텐츠의 이미지의 제3페이지를 저장하고, 페이지가 저장된 이후 미리 설정된 제4입력 정보를 수신하는 경우 이미 저장된 제3페이지를 표시하는 제3제스쳐 정보를 생성하는 역할을 한다. 종이 책을 읽을 때 사람들은 손가락을 한 페이지에 끼워두고 다른 부분을 읽다가 한 번에 손가락이 끼워진 위치로 돌아갈 수 있다. 제3제스쳐는 이를 터치 제스쳐를 통해 모사한 기능이다. 일 실시예에서 미리 설정된 제3입력인 터치(터치A)를 모바일 장치의 한 쪽 편에 유지한 상태에서 페이지를 넘기면 터치A가 닿은 순간에 펼쳐져있던 페이지가 책갈피 된 것이다. 따라서 유지하고 있던 터치A를 차후에 미리 설정된 제4입력인 플릭하면 책갈피 되어있던 페이지로 한번에 쉽게 이동할 수 있다. 도8a 내지 8e는 이러한 책갈 피 기능의 간단한 설명을 위해 터치스크린을 통한 구현례를 보여준다. 도8a에서는 먼저 책 136페이지에 왼손의 엄지를 끼우고, 도8b, 8c에서는 오른손의 137페이지에서 도8c의 159페이지까지 페이지를 넘기고, 오른 손을 다시 끼운다. 다시 왼손의 엄지를 들어서 도8d처럼 136페이지로 돌아가며, 끼운 오른손을 들어서 도9e처럼 159페이지로 넘어갈 수도 있다. 본 발명의 경우는 도8a에서처럼 10페이지에 왼손 중지를 터치하고(제3입력), 도8b, 8c처럼 오른손으로 페이지를 11페이지에서 21페이지까지 넘기고, 도8d처럼 왼손의 중지를 플릭(제4입력)하게되면, 다시 아까 저장한 10페이지를 불러오게 된다. 플릭하기 전에 도8c처럼 21페이지를 오른손으로 터치하고, 플릭 후에 다시 도8e처럼 오른손을 플릭하면 21페이지로 돌아갈 수 있다. 제3입력, 제4입력은 제스쳐처리부에서 입력되는 입력정보와 마찬가지로 터치, 모션, 음성 등의 어떠한 제한도 받지 아니한다. 일 실시예에서 제3입력정보가 수신된 상태 즉 책갈피가 되어있는 상태라면 도8a 내지 도8e의 좌측 하단처럼 볼 수 있듯이 페이지가 접힌 상태의 제스쳐 정보를 생성할 수도 있다.
책 훑어보기 판단부(234)는 모바일 장치(100)에 대해 미리 설정된 제4입력 정보를 수신하여 일반 모드에서 전자책 훑어보기 모드로 전환하고, 미리 설정된 제5입력 정보를 수신하여 컨텐츠, 특히 전자책 컨텐츠의 복수의 페이지를 연속적으로 넘기는 제4제스쳐 정보를 생성하는 역할을 한다. 종이책을 읽을 때 사람들은 도9a처럼 페이지의 옆면을 잡고 빠르게 넘긴다. 책 훑어보기 제스쳐는 그 동작을 터치 제스쳐로 모방한 것이다. 책 훑어보기 제스쳐를 위한 드래깅 제스쳐와 일반 모드(페이지가 한 장씩 넘어가는 모드)에서의 드래깅 제스쳐를 구분하기 위해 책 훑어보기 모드(Flipping Through mode)를 일반 모드와 다르게 따로 정의한다. 일반 모드에서 플리킹, 드래깅, 태핑 등의 입력 정보를 통하여 컨텐츠, 특히 전자책 컨텐츠는 페이지를 한 장씩 넘어가게 하지만 책 훑어보기 모드에서 드래깅은 페이지를 빨리 넘어가도록 한다. 두 모드 사이의 전환은 도9c 내지 도9d에서 볼 수 있듯이 모바일 장치를 기울이는 모션 제스쳐를 통해 이루어질 수도 있고 모드 전환을 위한 특별한 버튼을 통해 입력을 받을 수도 있다. 입력정보와 마찬가지로 터치, 모션, 음성 등의 어떠한 제한도 받지 아니한다. 다른 실시예에서, 책 훑어보기 모드에서, 책갈피 제스쳐를 판단할 수도 있다. 또한 다른 실시예에서, 모바일 장치 터치스크린의 영역을 나누어 특정영역을 터치할하는 제스쳐만 FT모드로 동작하고 다른 영역을 터치하는 제스쳐는 일반모드로 동작할 수도 있다. 또 다른 실시예에서 책 훑어보기 판단부는 상기 전환된 전자책 훑어보기 모드에서, 미리 설정된 제6 입력 정보를 수신하여, 다시 상기 일반 모드로 전환될 수도 있다.
도10은 디스플레이 장치를 이용하여, 컨텐츠의 이미지를 디스플레이하는 컨텐츠 디스플레이 방법에 대한 흐름도이다.
먼저 디스플레이 장치(200)는 모바일 장치(100)의 이동 정보(위치정보 또는 방향 정보)를 수신한다(S1010). 수신한 이동 정보를 통하여 모바일 장치 추적 정보를 생성한다(S1020). 모바일 장치 입력 정보가 존재하지 않는 경우(S1030 아니오), 모바일 장치 추적정보에 따라 컨텐츠의 이미지를 생성한다(S1060). 모바일 장치 입력 정보가 존재하는 경우(S1030 예) 모바일 장치 입력 정보를 수신하고(S1040) 이를 분석하여, 제스쳐 정보를 생성한다. 제스쳐 정보는 상기 설명한대로 연속 줌 제스쳐, 페이지 넘기기 제스쳐, 책갈피 제스쳐, 책 훑어보기 제스쳐 등의 다양한 제스쳐가 있을 수 있다. 그 후 모바일 장치 추적정보와 제스쳐 정보를 이용하여 미리 설정된 컨텐츠의 이미지를 생성한다(S1060). 생성된 컨텐츠의 이미지를 디스플레이함으로써(S1070) 컨텐츠 디스플레이 방법이 완성된다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 모바일 장치
200: 디스플레이 장치
300: 컨텐츠의 이미지

Claims (27)

  1. 디스플레이 장치에 있어서,
    모바일 장치의 위치 정보 또는 방향 정보를 수신하고, 수신된 상기 모바일 장치의 상기 위치 정보 또는 상기 방향 정보에 기반하여 모바일 장치 추적 정보를 생성하는 모바일 장치 추적 정보 처리부;
    상기 모바일 장치에 대한 입력 정보를 수신하고, 수신된 상기 입력 정보를 이용하여 컨텐츠의 출력 형태를 변경하는 제스쳐 정보를 생성하는 제스쳐 처리부;
    상기 모바일 장치 추적 정보, 상기 제스쳐 정보에 기반하여 미리 설정된 컨텐츠의 이미지를 생성하는 랜더링부;
    생성된 상기 컨텐츠의 이미지를 디스플레이하는 디스플레이부; 및
    디스플레이 장치의 위치로부터 상기 모바일 장치의 위치를 추적하여 상기 모바일 장치의 상기 위치 정보를 생성하는 모바일 장치 추적부를 포함하는 디스플레이 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 모바일 장치의 상기 방향 정보는 상기 모바일 장치 내부의 가속도센서, 자기 센서 및 회전 센서 중 적어도 어느 하나로부터 생성되는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 모바일 장치 추적 정보 처리부는,
    상기 모바일 장치 방향 정보의 노이즈를 제거하는 노이즈 감쇄부; 및
    노이즈가 제거된 상기 모바일 장치 방향 정보에 기반하여 상기 모바일 장치의 초기 방향에서 현재 방향까지의 이동 변환을 기울기 3차원변환정보를 생성하는 3차원 변환 정보 계산부를 포함하며;
    상기 위치 정보와 상기 생성된 기울기 3차원 변환 정보에 기반하여 상기 모바일 장치의 추적정보를 생성하는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 모바일 장치 추적 정보 처리부는,
    상기 모바일 장치 방향 정보에 기반하여 상기 모바일 장치의 초기 방향에서 현재 방향까지의 이동 변환을 계산함으로써 기울기 3차원 변환 정보를 생성하는 3차원 변환 정보 계산부; 및
    상기 기울기 3차원 변환 정보의 노이즈를 제거하는 노이즈 감쇄부를 포함하며,
    상기 위치 정보와 상기 생성된 기울기 3차원 변환 정보에 기반하여 상기 모바일 장치의 추적정보를 생성하는 디스플레이 장치.
  6. 제 1항에 있어서,
    상기 랜더링부는,
    상기 모바일 장치 추적 정보 및 상기 제스쳐 정보에 기반하여 미리 설정된 상기 컨텐츠를 공간상에서 변환하여 3차원 이미지 변환 정보를 생성하는 3차원 이미지 변환부;
    랜더링될 상기 컨텐츠의 물성 및 랜더링 특성을 제어하는 랜더링 제어부; 및
    상기 3차원 이미지 변환 정보, 상기 컨텐츠의 물성 및 상기 랜더링 특성에 기반하여 상기 컨텐츠 이미지를 생성하고 전송하는 랜더링 계산부를 포함하는 디스플레이 장치.
  7. 제1항에 있어서,
    미리 설정된 상기 컨텐츠는 복수의 페이지를 포함하는 전자책 컨텐츠인 디스플레이 장치.
  8. 제 7항에 있어서,
    상기 제스쳐 처리부는, 상기 모바일 장치와 상기 모바일 장치를 사용하는 사용자의 위치 정보에 기반하여 미리 설정된 제1비율로 상기 전자책 컨텐츠의 이미지의 크기를 변화시키는 제1제스쳐 정보를 생성하는 연속 줌 판단부를 포함하는 디스플레이 장치.
  9. 제 7항에 있어서,
    상기 제스쳐 처리부는, 상기 모바일 장치에 대하여 미리 설정된 제2입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지 의 제1페이지가 상기 전자책 컨텐츠의 이미지의 제2페이지로 전환되는 제2제스쳐 정보를 생성하는 페이지 넘기기 판단부를 포함하는 디스플레이 장치.
  10. 제 7항에 있어서,
    상기 제스쳐 처리부는, 상기 모바일 장치에 대하여 미리 설정된 제3입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지의 제3페이지를 저장하고, 상기 페이지가 저장된 이후 미리 설정된 제4 입력 정보를 수신하여 상기 저장된 제3페이지를 표시하는 제3제스쳐 정보를 생성하는 책갈피 판단부를 포함하는 디스플레이 장치.
  11. 제7항에 있어서,
    상기 제스쳐 처리부는, 상기 모바일 장치에 대하여 미리 설정된 제4입력 정보를 수신하여 일반 모드에서 전자책 훑어보기 모드로 전환하고, 미리 설정된 제5입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지의 복수의 페이지를 연속적으로 넘기는 제4제스쳐 정보를 생성하는 책 훑어보기 판단부를 포함하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 책 훑어보기 판단부는 상기 전환된 전자책 훑어보기 모드에서, 미리 설정된 제6 입력 정보를 수신하여, 다시 상기 일반 모드로 전환되는 것을 특징으로 하는 디스플레이 장치.
  13. 제1항에 있어서,
    상기 제스쳐 정보에 기반하여, 상기 모바일 장치의 피드백부로 하여금 소리 또는 진동 피드백을 생성하는 피드백 제어 정보를 생성하여 상기 모바일 장치로 송신하는 피드백 제어부를 더 포함하는 디스플레이 장치.
  14. 제1항에 있어서,
    상기 제스쳐 정보에 따라 소리 피드백을 생성하는 소리 피드백부;
    상기 제스쳐 정보에 기반하여, 상기 디스플레이 장치의 상기 소리 피드백부로 하여금 소리 피드백을 생성하는 피드백 제어 정보를 생성하여 상기 소리 피드백부를 제어하는 피드백 제어부를 더 포함하는 디스플레이 장치.
  15. 디스플레이 장치와 모바일 장치를 이용한 컨텐츠 디스플레이 시스템에 있어서,
    모바일 장치의 이동 정보를 수신하고, 수신된 상기 모바일 장치의 이동 정보에 기반하여 모바일 장치 추적 정보를 생성하는 모바일 장치 추적 정보 처리부; 상기 모바일 장치에 대한 입력 정보를 수신하고, 수신된 상기 입력 정보를 이용하여 컨텐츠의 출력형태를 변경하는 제스쳐 정보를 생성하는 제스쳐 처리부; 상기 모바일 장치 추적 정보, 상기 제스쳐 정보에 기반하여 미리 설정된 컨텐츠의 이미지를 생성하는 랜더링부; 생성된 상기 컨텐츠 이미지를 디스플레이하는 디스플레이부 및 디스플레이 장치의 위치로부터 상기 모바일 장치의 위치를 추적하여 상기 모바일 장치의 상기 위치 정보를 생성하는 모바일 장치 추적부를 포함하는 디스플레이 장치; 및
    상기 디스플레이 장치와 통신하는 상기 모바일 장치를 포함하는 컨텐츠 디스플레이 시스템.
  16. 디스플레이 장치가 모바일 장치의 위치정보 또는 방향정보를 수신하는 단계;
    상기 디스플레이 장치가 수신된 상기 모바일 장치의 위치 정보 또는 방향 정보에 기반하여 모바일 장치 추적 정보를 생성하는 단계;
    상기 디스플레이 장치가 상기 모바일 장치에 대한 입력 정보를 수신하는 단계;
    상기 디스플레이 장치가 수신된 상기 입력 정보를 이용하여 컨텐츠의 출력형태를 변경하는 제스쳐 정보를 생성하는 단계;
    상기 디스플레이 장치가 상기 모바일 장치 추적 정보, 상기 제스쳐 정보에 기반하여 미리 설정된 컨텐츠의 이미지를 생성하는 단계; 및
    상기 디스플레이 장치가 생성된 상기 컨텐츠 이미지를 디스플레이하는 단계를 포함하되,
    상기 모바일 장치의 위치정보 또는 방향정보를 수신하는 단계는, 상기 디스플레이 장치가 상기 디스플레이 장치의 위치로부터 상기 모바일 장치의 위치를 추적하여 생성된 상기 모바일 장치의 이동 정보를 수신하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
  17. 제16항에 있어서,
    상기 컨텐츠 이미지를 디스플레이하는 단계는, 상기 디스플레이 장치가 상기 컨텐츠 이미지를 상기 모바일 장치에 덧씌워서 디스플레이하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
  18. 삭제
  19. 제16항에 있어서,
    상기 모바일 장치 추적 정보를 생성하는 단계는, 상기 디스플레이 장치가 상기 모바일 장치 방향 정보에 기반하여 상기 모바일 장치의 초기 방향에서 현재 방향까지의 이동 변환 정보를 계산함으로써 기울기 3차원 변환 정보를 생성하는 단계;
    상기 디스플레이 장치가 상기 모바일 장치 추적 정보의 노이즈를 제거하는 단계; 및
    상기 디스플레이 장치가 상기 위치 정보와 상기 생성된 기울기 3차원 변환 정보에 기반하여 상기 모바일 장치의 추적정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
  20. 제16항에 있어서,
    상기 미리 설정된 컨텐츠의 이미지를 생성하는 단계는, 상기 디스플레이 장치가 상기 모바일 장치 추적 정보 및 상기 제스쳐 정보에 기반하여 미리 설정된 상기 컨텐츠를 공간상에서 변환하여 3차원 이미지 변환 정보를 생성하는 단계;
    상기 디스플레이 장치가 랜더링될 상기 컨텐츠의 물성 및 랜더링 특성을 제어하는 단계; 및
    상기 디스플레이 장치가 상기 3차원 이미지 변환 정보, 상기 컨텐츠의 물성 및 상기 랜더링 특성에 기반하여 상기 컨텐츠 이미지를 생성하고 전송하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
  21. 제16항에 있어서,
    미리 설정된 상기 컨텐츠는 복수의 페이지를 포함하는 전자책 컨텐츠인 컨텐츠 디스플레이 방법.
  22. 제21항에 있어서,
    상기 제스쳐 정보를 생성하는 단계는, 상기 디스플레이 장치가 상기 디스플레이 장치와 상기 모바일 장치를 사용하는 사용자의 위치 정보에 기반하여 미리 설정된 제1비율로 상기 전자책 컨텐츠의 이미지의 크기를 변화시키는 제1제스쳐 정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
  23. 제21항에 있어서,
    상기 제스쳐 정보를 생성하는 단계는, 상기 디스플레이 장치가 상기 모바일 장치에 대하여 미리 설정된 제2입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지 의 제1페이지가 상기 전자책 컨텐츠의 이미지의 제2페이지로 전환되는 제2제스쳐 정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
  24. 제21항에 있어서,
    상기 제스쳐 정보를 생성하는 단계는, 상기 디스플레이 장치가 상기 모바일 장치에 대하여 미리 설정된 제3입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지의 제3페이지를 저장하고, 상기 페이지가 저장된 이후 미리 설정된 제4 입력 정보를 수신하여 상기 저장된 제3페이지를 표시하는 제3제스쳐 정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
  25. 제21항에 있어서,
    상기 제스쳐 정보를 생성하는 단계는, 상기 디스플레이 장치가 상기 모바일 장치에 대하여 미리 설정된 제4입력 정보를 수신하여 전자책 훑어보기 모드로 전환하고, 미리 설정된 제5입력 정보를 수신하여 상기 전자책 컨텐츠의 이미지의 복수의 페이지를 연속적으로 넘기는 제4제스쳐 정보를 생성하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
  26. 제16항에 있어서,
    상기 제스쳐 정보에 기반하여, 상기 디스플레이 장치가 상기 모바일 장치의 피드백부로 하여금 소리 또는 진동 피드백을 생성하는 피드백 제어 정보를 생성하여 상기 모바일 장치로 송신하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
  27. 제16항에 있어서,
    상기 제스쳐 정보에 기반하여, 상기 디스플레이 장치가 상기 디스플레이 장치로 하여금 소리 피드백을 생성하는 피드백 제어 정보를 생성하여 제어하는 단계를 더 포함하는 컨텐츠 디스플레이 방법.
KR1020110105852A 2011-10-17 2011-10-17 디스플레이 장치 및 컨텐츠 디스플레이 방법 KR101303939B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110105852A KR101303939B1 (ko) 2011-10-17 2011-10-17 디스플레이 장치 및 컨텐츠 디스플레이 방법
PCT/KR2012/008487 WO2013058546A1 (en) 2011-10-17 2012-10-17 Display apparatus and contents display method
US14/351,797 US9594435B2 (en) 2011-10-17 2012-10-17 Display apparatus and contents display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110105852A KR101303939B1 (ko) 2011-10-17 2011-10-17 디스플레이 장치 및 컨텐츠 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20130041537A KR20130041537A (ko) 2013-04-25
KR101303939B1 true KR101303939B1 (ko) 2013-09-05

Family

ID=48141114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110105852A KR101303939B1 (ko) 2011-10-17 2011-10-17 디스플레이 장치 및 컨텐츠 디스플레이 방법

Country Status (3)

Country Link
US (1) US9594435B2 (ko)
KR (1) KR101303939B1 (ko)
WO (1) WO2013058546A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189869A1 (en) * 2019-03-19 2020-09-24 Samsung Electronics Co., Ltd. Display apparatus and method for controlling the display apparatus

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315303B1 (ko) * 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
WO2014169225A1 (en) * 2013-04-12 2014-10-16 Iconics, Inc. Virtual touch screen
EP3001407A4 (en) * 2013-05-21 2017-01-25 Sony Corporation Display control device, display control method, and recording medium
JP6207240B2 (ja) * 2013-06-05 2017-10-04 キヤノン株式会社 情報処理装置及びその制御方法
KR101515454B1 (ko) * 2013-08-23 2015-04-30 전자부품연구원 듀얼 터치패드를 구비하는 리모콘 및 그를 이용한 제어 방법
US9395837B2 (en) * 2013-09-30 2016-07-19 Your Voice S.P.A. Management of data in an electronic device
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
JP6631181B2 (ja) * 2015-11-13 2020-01-15 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び、画像投射システムの制御方法
US10883831B2 (en) * 2016-10-28 2021-01-05 Yost Labs Inc. Performance of inertial sensing systems using dynamic stability compensation
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
JP6880984B2 (ja) * 2017-04-24 2021-06-02 コニカミノルタ株式会社 情報処理装置、情報処理システム、及びプログラム
CN107291343B (zh) * 2017-05-18 2020-01-24 网易（杭州）网络有限公司 笔记的记录方法、装置和计算机可读存储介质
KR102656461B1 (ko) 2019-03-20 2024-04-12 삼성전자주식회사 사용자의 움직임에 기반하여 객체의 속성을 제어하는 전자 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060130168A (ko) * 2006-08-04 2006-12-18 이-북 시스템즈 피티이 리미티드 가상의 책 제어 및 브라우징 방법, 시스템, 장치 및 컴퓨터프로그램 제품
WO2010064094A1 (en) * 2008-12-01 2010-06-10 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
KR100986619B1 (ko) * 2010-03-12 2010-10-08 이상훈 이동통신단말기를 이용한 멀티입출력장치 및 방법
KR20110110249A (ko) * 2009-01-27 2011-10-06 아마존 테크놀로지스, 인크. 햅틱 피드백을 구비한 전자 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3338777B2 (ja) * 1998-04-22 2002-10-28 日本電気株式会社 携帯端末、及びその画面表示方法
WO2000036376A1 (en) * 1998-12-17 2000-06-22 Tokin Corporation Orientation angle detector
JP2005165760A (ja) * 2003-12-03 2005-06-23 Canon Inc 表示システム、携帯通信機器、表示装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
CN101124623B (zh) * 2005-02-18 2011-06-01 富士通株式会社 语音认证系统及语音认证方法
US20080172203A1 (en) * 2007-01-16 2008-07-17 Sony Ericsson Mobile Communications Ab Accurate step counter
US7903166B2 (en) * 2007-02-21 2011-03-08 Sharp Laboratories Of America, Inc. Methods and systems for display viewer motion compensation based on user image data
US20090235162A1 (en) * 2008-03-11 2009-09-17 Disney Enterprises, Inc. Method and system for providing enhanced virtual books
US8593408B2 (en) * 2008-03-20 2013-11-26 Lg Electronics Inc. Electronic document reproduction apparatus and reproducing method thereof
US20090267909A1 (en) 2008-04-27 2009-10-29 Htc Corporation Electronic device and user interface display method thereof
US8499251B2 (en) * 2009-01-07 2013-07-30 Microsoft Corporation Virtual page turn
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
WO2011096203A1 (ja) * 2010-02-03 2011-08-11 任天堂株式会社 ゲームシステム、操作装置、およびゲーム処理方法
US8339364B2 (en) * 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
CN101894511B (zh) * 2010-07-15 2012-03-14 鸿富锦精密工业（深圳）有限公司 电子看板
US10150033B2 (en) * 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP5840386B2 (ja) * 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
KR101868623B1 (ko) * 2011-10-05 2018-06-18 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060130168A (ko) * 2006-08-04 2006-12-18 이-북 시스템즈 피티이 리미티드 가상의 책 제어 및 브라우징 방법, 시스템, 장치 및 컴퓨터프로그램 제품
WO2010064094A1 (en) * 2008-12-01 2010-06-10 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
KR20110110249A (ko) * 2009-01-27 2011-10-06 아마존 테크놀로지스, 인크. 햅틱 피드백을 구비한 전자 장치
KR100986619B1 (ko) * 2010-03-12 2010-10-08 이상훈 이동통신단말기를 이용한 멀티입출력장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189869A1 (en) * 2019-03-19 2020-09-24 Samsung Electronics Co., Ltd. Display apparatus and method for controlling the display apparatus
US11112822B2 (en) 2019-03-19 2021-09-07 Samsung Electronics Co., Ltd. Display apparatus and method for controlling the display apparatus
US11442500B2 (en) 2019-03-19 2022-09-13 Samsung Electronics Co., Ltd. Display apparatus and method for controlling the display apparatus

Also Published As

Publication number Publication date
KR20130041537A (ko) 2013-04-25
US9594435B2 (en) 2017-03-14
US20140232648A1 (en) 2014-08-21
WO2013058546A1 (en) 2013-04-25

Similar Documents

Publication Publication Date Title
KR101303939B1 (ko) 디스플레이 장치 및 컨텐츠 디스플레이 방법
KR101315303B1 (ko) 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
US12020380B2 (en) Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US10678340B2 (en) System and method for providing user interface tools
KR102540163B1 (ko) 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
EP2506118A1 (en) Virtual pointer
EP4300430A2 (en) Device, method, and graphical user interface for composing cgr files
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US10649616B2 (en) Volumetric multi-selection interface for selecting multiple objects in 3D space
US10990240B1 (en) Artificial reality system having movable application content items in containers
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
US11393164B2 (en) Device, method, and graphical user interface for generating CGR objects
KR102400085B1 (ko) 크리에이티브 카메라
KR102357342B1 (ko) 크리에이티브 카메라
KR20130041531A (ko) 전자책 장치 및 전자책 장치의 사용자 인터페이스 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 4