KR101528485B1 - 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법 - Google Patents

스마트 디바이스 기반 가상현실 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR101528485B1
KR101528485B1 KR1020140072782A KR20140072782A KR101528485B1 KR 101528485 B1 KR101528485 B1 KR 101528485B1 KR 1020140072782 A KR1020140072782 A KR 1020140072782A KR 20140072782 A KR20140072782 A KR 20140072782A KR 101528485 B1 KR101528485 B1 KR 101528485B1
Authority
KR
South Korea
Prior art keywords
virtual reality
information
menu
reality output
smart device
Prior art date
Application number
KR1020140072782A
Other languages
English (en)
Inventor
구기범
김민아
이중연
허영주
이세훈
황규현
원광연
Original Assignee
한국과학기술정보연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술정보연구원 filed Critical 한국과학기술정보연구원
Priority to KR1020140072782A priority Critical patent/KR101528485B1/ko
Application granted granted Critical
Publication of KR101528485B1 publication Critical patent/KR101528485B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법에 관한 것으로, 가상현실 출력장치에 접속된 상태에서 메뉴 모드가 선택된 경우, 상기 가상현실 출력장치로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하여 디스플레이하고, 사용자 메뉴 조작에 의한 메뉴 제어 정보를 상기 가상현실 출력장치로 전송하며, 3차원 객체 모드가 선택된 경우, 3차원 객체를 디스플레이하고, 상기 디스플레이된 3차원 객체의 조작 정보를 상기 가상현실 출력장치로 전송하며, 상기 가상현실 출력장치로부터 전송된 동작 수행 결과 메시지를 근거로 햅틱 또는 사운드를 출력하는 스마트 디바이스, 상기 스마트 디바이스로부터 전송된 메뉴 제어 정보 또는 3차원 객체 조작 정보에 따른 동작을 수행하고, 그 동작 수행의 성공 또는 실패를 포함하는 동작 수행 결과 메시지를 상기 스마트 디바이스로 전송하는 가상현실 출력장치를 포함한다.

Description

스마트 디바이스 기반 가상현실 서비스 시스템 및 방법{SYSTEM AND METHOD FOR VIRTUAL REALITY SERVICE BASED IN SMART DEVICE}
본 발명은 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법에 관한 것으로, 보다 상세하게는 스마트 디바이스를 이용하여 가상현실 출력장치의 메뉴, 3차원 객체를 조작하여 가상현실을 구현하는 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법에 관한 것이다.
스마트 디바이스가 대중화되면서 멀티 터치가 가능한 터치스크린은 대부분의 사용자에게 익숙한 장치가 되었다. 특히 터치 스크린의 다양한 조작방법은 직관적인 이미지 조작과 인터페이스 구현을 가능하게 했으며, 전문적인 지식을 갖추지 않은 사용자도 짧은 시간안에 능숙하게 사용할 수 있기 때문에 그 활용분야는 점점 더 넓어지고 있다.
한편, 가상현실 애플리케이션의 입력장치는 3차원 가상공간에서 사용자의 입력을 애플리케이션에게 전달해주는 장점을 가지고 있지만, 높은 가격과 calibration, 오차 등 사용을 어렵게 하는 단점을 안고 있다.
또한, 종래의 고성능 가상현실 입력장치는 높은 가격 및 익숙해지기까지의 시간이 오래 걸리고, 가상현실 입력장치의 피드백 기능 부재로 인한 동작의 성공 여부 확인이 어려운 단점이 있다.
또한, 다수의 청중을 대상으로 하는 가상현실 애플리케이션 시연 시 사용자가 청중의 시야를 방해하는 상황이 발생하는 문제가 있다.
한국등록특허 제10-1146091호, 발명의 명칭 '증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템'
본 발명의 목적은 스마트 디바이스를 이용하여 가상현실 출력장치의 가상공간에 있는 3차원 객체의 이동, 회전 등의 기본적인 조작을 쉽고 정확하게 수행할 수 있도록 하는 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법을 제공함에 있다.
본 발명의 다른 목적은 스마트 디바이스를 이용하여 가상현실 애플리케이션의 메뉴를 제어하고, 가상현실 출력장치는 스마트 디바이스로부터 전달받은 정보와 동일한 동작을 수행해서 원격으로 제어가 가능하도록 하는 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 스마트 디바이스를 이용한 가상 객체 또는 메뉴 조작의 성공 여부를 알려주는 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법을 제공함에 있다.
상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 가상현실 출력장치에 접속된 상태에서 메뉴 모드가 선택된 경우, 상기 가상현실 출력장치로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하여 디스플레이하고, 사용자 메뉴 조작에 의한 메뉴 제어 정보를 상기 가상현실 출력장치로 전송하며, 3차원 객체 모드가 선택된 경우, 3차원 객체를 디스플레이하고, 상기 디스플레이된 3차원 객체의 조작 정보를 상기 가상현실 출력장치로 전송하며, 상기 가상현실 출력장치로부터 전송된 동작 수행 결과 메시지를 근거로 햅틱 또는 사운드를 출력하는 스마트 디바이스, 상기 스마트 디바이스로부터 전송된 메뉴 제어 정보 또는 3차원 객체 조작 정보에 따른 동작을 수행하고, 그 동작 수행의 성공 또는 실패를 포함하는 동작 수행 결과 메시지를 상기 스마트 디바이스로 전송하는 가상현실 출력장치를 포함하는 스마트 디바이스 기반 가상현실 서비스 시스템이 제공된다.
본 발명의 다른 측면에 따르면, 통신망을 통해 가상현실 출력장치와의 통신을 위한 통신부, 사용자 인터페이스부, 가상현실 애플리케이션을 실행하여 3차원 객체 모드가 선택된 경우, 3차원 객체를 상기 사용자 인터페이스부에 디스플레이하고, 상기 디스플레이된 3차원 객체의 조작 정보를 상기 통신부를 통해 가상현실 출력장치로 전송하는 객체 조작부, 상기 가상현실 출력장치로부터 3차원 객체 조작 정보에 대한 동작 수행 결과 메시지를 수신하고, 상기 동작 수행 결과 메시지의 분석 결과에 따라 햅틱 또는 사운드를 출력하도록 제어하는 피드백 처리부를 포함하는 스마트 디바이스가 제공된다.
상기 스마트 디바이스는 상기 가상현실 애플리케이션을 실행하여 메뉴 모드가 선택된 경우, 상기 가상현실 출력장치로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하여 상기 사용자 인터페이스부에 디스플레이하고, 사용자에 메뉴 조작에 의한 메뉴 제어 정보를 상기 통신부를 통해 가상현실 출력장치로 전송하는 메뉴 제어부를 더 포함하고, 상기 피드백 처리부는 상기 가상현실 출력장치로부터 메뉴 제어 정보에 대한 동작 수행 결과 메시지를 수신하고, 상기 동작 수행 결과 메시지의 분석 결과에 따라 햅틱 또는 사운드를 출력하도록 제어한다.
또한, 스마트 디바이스는 상기 피드백 처리부의 제어에 따라 촉각 효과를 발생시키는 햅틱부, 상기 피드백 처리부의 제어에 따라 사운드를 발생시키는 사운드 출력부를 더 포함할 수 있다.
상기 객체 조작부는 상기 3차원 객체의 터치 조작에 대응하는 이동정보 또는 회전정보를 생성하고, 상기 이동정보 또는 회전정보를 포함하는 3차원 객체 조작 정보를 상기 가상현실 출력장치로 전송할 수 있다.
본 발명의 또 다른 측면에 따르면, 디스플레이부, 통신망을 통해 스마트 디바이스와의 통신을 위한 통신부, 상기 통신부를 통해 스마트 디바이스로부터 3차원 객체 조작 정보가 수신된 경우, 상기 3차원 객체 조작 정보의 이동정보 또는 회전 정보에 기초하여 상기 디스플레이부에 디스플레이된 가상객체의 움직임 또는 크기를 변경하여 가상현실을 구현하고, 상기 3차원 객체 조작 정보에 대응하는 동작 수행의 성공 또는 실패를 포함하는 동작 수행 결과 메시지를 상기 스마트 디바이스로 전송하는 가상현실 구현부를 포함하는 가상현실 출력장치가 제공된다.
상기 가상현실 구현부는 상기 스마트 디바이스로부터 메뉴 제어 정보가 수신된 경우, 상기 메뉴 제어 정보에 해당하는 동작을 수행하고, 그 동작 수행의 성공 또는 실패를 포함하는 동작 수행 결과 메시지를 상기 스마트 디바이스로 전송할 수 있다.
본 발명의 또 다른 측면에 따르면, 스마트 디바이스는 가상현실 출력장치에 접속된 상태에서 메뉴 모드가 선택된 경우, 상기 가상현실 출력장치로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하여 디스플레이하는 단계, 상기 디스플레이된 메뉴 정보에서 사용자 메뉴 조작에 의한 메뉴 제어 정보를 상기 가상현실 출력장치로 전송하는 단계, 상기 가상현실 출력장치는 상기 메뉴 제어 정보와 동일한 동작을 수행하고, 동작 수행 결과 메시지를 상기 스마트 디바이스로 전송하는 단계, 상기 스마트 디바이스는 동작 수행 결과 메시지를 분석하고, 그 분석결과 성공 메시지인 경우 상기 메뉴 제어 정보에 대응하는 햅틱 또는 사운드를 출력하는 단계를 포함하는 스마트 디바이스 기반 가상현실 서비스 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 스마트 디바이스는 3차원 객체 모드가 선택된 경우, 3차원 객체를 사용자 인터페이스부에 디스플레이하는 단계, 스마트 디바이스는 상기 3차원 객체의 터치 조작에 대응하는 이동정보 또는 회전정보를 생성하고, 상기 생성된 이동정보 또는 회전정보를 포함하는 3차원 객체 조작 정보를 가상현실 출력장치로 전송하는 단계, 상기 가상현실 출력장치는 상기 3차원 객체 조작 정보에 대응하는 동작을 가상공간의 3차원 객체에 적용하고, 동작 수행 결과 메시지를 스마트 디바이스로 전송하는 단계, 상기 스마트 디바이스는 동작 수행 결과 메시지를 분석하고, 그 분석결과 성공 메시지인 경우, 상기 3차원 객체 조작 정보에 대응하는 햅틱 또는 사운드를 출력하는 단계를 포함하는 스마트 디바이스 기반 가상현실 서비스 방법이 제공된다.
본 발명에 따르면, 스마트 디바이스를 이용하여 가상현실 출력장치의 가상공간에 있는 3차원 객체의 이동, 회전 등의 기본적인 조작을 쉽고 정확하게 수행할 수 있다.
또한, 스마트 디바이스를 이용하여 가상현실 애플리케이션의 메뉴를 제어하고, 가상현실 출력장치는 스마트 디바이스로부터 전달받은 정보와 동일한 동작을 수행해서 원격으로 메뉴 제어가 가능하다.
또한, 스마트 디바이스를 이용한 가상 객체 또는 메뉴 조작의 성공 여부를 햅틱 또는 사운드로 알려줌으로써, 사용자의 시스템 사용 만족도를 향상시킬 수 있고, 입력 효용성이 증대되는 효과가 있다.
도 1은 본 발명의 실시예에 따른 스마트 디바이스 기반 가상현실 서비스 시스템을 나타낸 도면.
도 2는 본 발명의 실시예에 따른 스마트 디바이스의 구성을 개략적으로 나타낸 블럭도.
도 3은 본 발명의 실시예에 따른 스마트 디바이스를 이용하여 3차원 객체를 조작하는 방법을 설명하기 위한 예시도.
도 4는 본 발명의 실시예에 따른 스마트 디바이스를 이용하여 가상현실 출력장치의 메뉴를 제어하는 방법을 설명하기 위한 예시도.
도 5는 본 발명의 실시예에 따른 가상현실 출력장치의 구성을 개략적으로 나타낸 블럭도.
도 6은 본 발명의 실시예에 따른 스마트 디바이스를 이용하여 가상현실 출력장치의 메뉴를 제어하는 방법을 나타낸 도면.
도 7은 본 발명의 실시예에 따른 스마트 디바이스를 이용하여 가상현실 출력장치에 디스플레이된 3차원 객체를 조작하는 방법을 나타낸 도면.
본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
본 명세서에서 표현되는 각 기능부는 본 발명 구현에 대한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능부가 사용될 수 있다. 또한, 각 기능부는 순전히 하드웨어 또는 소프트웨어의 구성으로만 구현될 수도 있지만, 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다.
도 1은 본 발명의 실시예에 따른 스마트 디바이스 기반 가상현실 서비스 시스템을 나타낸 도면이다.
도 1을 참조하면, 스마트 디바이스 기반 가상현실 서비스 시스템은 가상현실 출력 장치(200)에 디스플레이된 가상객체의 조작 또는 메뉴의 원격 제어를 수행하는 스마트 디바이스(100)를 포함한다.
스마트 디바이스(100)는 가상현실 출력장치(200)에 접속된 상태에서 메뉴 모드가 선택되면, 가상현실 출력장치(200)로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하여 디스플레이하고, 사용자 메뉴 조작에 의한 메뉴 제어 정보를 가상현실 출력장치(200)로 전송한다.
스마트 디바이스(100)는 3차원 객체 모드가 선택된 경우, 3차원 객체를 디스플레이하고, 상기 디스플레이된 3차원 객체의 조작 정보를 가상현실 출력장치(200)로 전송한다. 여기서, 3차원 객체는 구형, 사각형, 특정 모양 등 다양한 형상일 수 있다.
스마트 디바이스(100)는 가상현실 출력장치(200)로부터 메뉴 제어 정보 또는 3차원 객체 조작 정보에 대한 동작 수행 결과 메시지를 수신하고, 그 동작 수행 결과 메시지를 분석하여 햅틱 또는 사운드를 출력한다. 이때, 스마트 디바이스(100)는 동작 수행 결과 메시지가 성공 메시지이면, 해당 메뉴 제어 정보 또는 3차원 객체 조작 정보에 대응되는 햅틱 또는 사운드를 출력한다.
스마트 디바이스(100)는 가상현실 애플리케이션을 실행하는 사용자가 구비한 단말로, 가상현실 출력장치(200)와 통신이 가능하다면 그 어떠한 단말기도 가능하며, 스마트폰(smart phone), 노트패드, 랩톱(laptop) 컴퓨터, 태플릿(tablet) 컴퓨터 등의 모든 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념으로, 통신망을 통한 통신이 가능하다면 어느 특정한 단말에 국한될 필요는 없다.
스마트 디바이스(100)에 대한 상세한 설명은 도 2를 참조하기로 한다.
가상현실 출력장치(200)는 스마트 디바이스(100)로부터 전송된 메뉴 제어 정보 또는 3차원 객체 조작 정보에 따른 동작을 수행하고, 그 동작 수행의 성공 또는 실패를 포함하는 동작 수행 결과 메시지를 스마트 디바이스(100)로 전송한다.
가상현실 출력장치(200)는 스마트 다바이스(100)보다 큰 화면(디스플레이부)를 가지고 있고, 스마트 디바이스(100)와 통신망을 통해 통신이 가능한 장치일 수 있다.
가상현실 출력장치(200)는 디스플레이하기 위한 콘텐츠를 화면에 제공하는 임의의 전자 장치일 수 있다. 콘텐츠는, 예를 들어, 미디어(예를 들어, 음악, 비디오 및 이미지), 안내 화면(예를 들어, 안내 애플리케이션 화면), 소프트웨어 디스플레이(예를 들어, Adobe Illustrator 화면), 사용자 입력을 위한 프롬프트, 또는 임의의 다른 적당한 콘텐츠를 포함할 수 있다. 어떤 실시예들에서, 가상현실 출력장치(200)는 화면에 제공될 수 있는 콘텐츠 또는 디스플레이를 발생하는 동작을 할 수 있다. 이러한 가상현실 출력장치(200)는 데스크톱 컴퓨터, 랩톱 또는 노트북 컴퓨터, 개인 미디어 장치, 셀룰러 전화, 이동 통신장치, 포켓-크기 퍼스널 컴퓨터, 카메라, 비디오 레코더, 또는 임의의 다른 적당한 전자 장치를 포함할 수 있다.
가상현실 출력장치(200)에 대한 상세한 설명은 도 5를 참조하기로 한다.
도 2는 본 발명의 실시예에 따른 스마트 디바이스의 구성을 개략적으로 나타낸 블럭도, 도 3은 본 발명의 실시예에 따른 스마트 디바이스를 이용하여 3차원 객체를 조작하는 방법을 설명하기 위한 예시도, 도 4는 본 발명의 실시예에 따른 스마트 디바이스를 이용하여 가상현실 출력장치의 메뉴를 제어하는 방법을 설명하기 위한 예시도이다.
도 2를 참조하면, 스마트 디바이스(100)는 통신부(110), 사용자 인터페이스부(120), 저장부(130), 햅틱부(140), 사운드 출력부(150), 객체 조작부(160), 메뉴 제어부(170), 피드백 처리부(180), 제어부(190)를 포함한다.
통신부(110)는 스마트 디바이스(100)와 가상현실 출력장치를 통신망을 통해 상호 연결시키는 통신 수단으로서, 예를 들어 이동통신, 위성통신 등의 무선 통신모듈, 인터넷 등의 유선 통신모듈, 와이파이 등의 근거리 무선 통신모듈 등을 포함할 수 있다.
사용자 인터페이스부(120)는 스마트 디바이스(100)의 동작과 관련된 다양한 정보를 표시한다. 이러한 사용자 인터페이스부(120)는 시각적으로 확인 가능한 디스플레이의 형태가 될 수다.
사용자 인터페이스부(120)는 스마트 디바이스(100)의 동작 제어를 위한 사용자 요청을 입력받기 위한 수단으로서, 사용자의 조작에 따라서 사용자의 요청을 전기 신호로 변환한다.
이러한 사용자 인터페이스부(120)는 예컨대, 터치 스크린의 형태로 구현될 수 있다.
저장부(130)는 스마트 디바이스(100)의 동작 제어 시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장한다. 저장부(130)에는 가상현실 애플리케이션이 저장되어 있다.
햅틱부(140)는 피드백 처리부(180)의 제어에 따라 촉각 효과를 발생한다. 즉, 햅틱부(140)는 피드백 처리부(180)로부터 3차원 객체 조작 정보 또는 메뉴 조작 정보를 포함하는 햅틱 발생 요청 신호가 수신되면, 3차원 객체 조작 정보 또는 메뉴 조작 정보에 대응하는 진동을 발생시킨다. 햅틱부(140)가 발생시키는 촉각 효과의 대표적인 예로는 진동효과가 있다. 햅틱부(140)가 촉각 효과로 진동을 발생시키는 경우 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
스마트 디바이스(100)의 햅틱 피드백은 메뉴 조작와 3D 객체 조작의 두 가지 경우에 대해 각각 다른 피드백 방법을 정의한다.
메뉴 조작을 위한 햅틱 피드백은 표 1과 같이 정의한다. 이때, 햅틱 정보는 개별 가상 현실 애플리케이션의 특성을 반영하기 때문에 애플리케이션과 매우 밀접하게 연관되어야 한다.
Figure 112014055849538-pat00001
3차원 객체 조작을 위한 햅틱 피드백은 표 2와 같이 정의한다.
Figure 112014055849538-pat00002
햅틱부(140)는 진동 외에도 접촉 피부면에 대해 수직 운동하는 핀 배열에 의한 자극에 의한 효과, 분사구나 흡입구를 통한 공기의 흡입력을 통한 자극에 의한 효과, 피부 표면을 스치는 자극에 의한 효과, 전극의 접촉을 통한 자극에 의한 효과, 정전기력을 이용한 자극에 의한 효과, 흡열이나 발열이 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다. 햅티부(140)는 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자의 손가락이나 팔 등의 근감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다.
사운드 출력부(150)는 피드백 처리부(180)의 제어에 따라 사운드를 출력한다. 즉, 사운드 출력부(150)는 피드백 처리부(180)로부터 3차원 객체 조작 정보 또는 메뉴 조작 정보를 포함하는 사운드 발생 요청 신호가 수신되면, 3차원 객체 조작 정보 또는 메뉴 조작 정보에 대응하는 사운드를 발생시킨다. 이러한 사운드 출력부(150)는 예컨대, 스피커 등을 포함할 수 있다.
스마트 디바이스(100)의 사운드 피드백은 표 3과 같이 정의한다.
Figure 112014055849538-pat00003
사운드 피드백 역시 햅틱 피드백과 마찬가지로 선택의 오류를 줄이기 위한 도구로 사용할 수도 있지만, 기본적으로 소리는 사람에게 스테레오 정보이기 때문에 객체의 위치정보까지 직관적으로 전달할 수 있다. 예를 들어, 물체가 사용자에게 가까이 접근하면, 소리가 커지도록 하거나(도플러 효과), 좌우 이동에 따라 스피커 소리를 조절함으로써 패닝 효과를 구현할 수도 있다. 물체와 사용자 사이의 거리(음량 크기), 좌우 위치(패닝 효과), 회전 속도와 이동속도(음높이의 변화)등을 사운드 피드백으로 제공한다.
객체 조작부(160)는 가상현실 애플리케이션을 실행하여 3차원 객체 모드가 선택되면, 3차원 객체를 사용자 인터페이스부(120)에 디스플레이하고, 디스플레이된 3차원 객체의 조작 정보를 통신부(110)를 통해 가상현실 출력장치로 전송한다. 이때, 객체 조작부(160)는 3차원 객체의 터치 조작에 대응하는 이동정보 또는 회전정보를 생성하고, 이동정보 또는 회전정보를 포함하는 3차원 객체 조작 정보를 가상현실 출력장치로 전송한다. 여기서, 이동정보 또는 회전정보는 3차원 객체의 x,y,z 좌표 정보일 있다.
사용자가 3차원 객체 모드를 선택하면, 객체 조작부(160)는 도 3과 같이 사용자 인터페이스부에 단순한 3차원 객체(shpere)를 디스플레이한다. 사용자가 디스플레이된 3차원 객체를 손가락으로 터치해서 특정한 작업을 수행하면, 객체 조작부(160)는 특정 작업에 대응하는 3차원 객체의 이동정보 또는 회전정보를 생성하고, 생성된 이동정보 또는 회전 정보를 포함하는 3차원 객체 조작 정보를 가상현실 출력장치로 전송한다. 그러면, 가상현실 출력장치는 3차원 객체 조작 정보에 대응하는 동작을 가상공간의 3차원 객체에 적용시켜, 가상현실을 구현하게 된다.
예를 들어, 사용자가 손가락을 터치하여 3차원 객체를 이동 또는 회전시키는 조작 메타포는 표 4와 같다.
표 4를 참조하면, 두 손가락으로 터치하여 드래그할 경우 대응하는 3차원 객체는 x축, y축 방향으로 이동시킨다. 평면에서의 드래그로 해결할 수 없는 z축 방향의 이동은 두 손가락을 이용한 pinch, spread 등으로 구현한다. 한 손가락을 터치하여 드래그할 경우, 대응하는 3차원 객체는 x축, y축으로 회전하게 된다.
Figure 112014055849538-pat00004
메뉴 제어부(170)는 가상현실 애플리케이션을 실행하여 메뉴 모드가 선택되면, 가상현실 출력장치로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하여 사용자 인터페이스부에 디스플레이하고, 사용자에 메뉴 조작에 의한 메뉴 제어 정보를 통신부(110)를 통해 가상현실 출력장치로 전송한다.
스마트 디바이스(100)는 가상현실 출력장치에 접속하여 메뉴 정보를 다운받고, 다운받은 메뉴 정보를 사용자 인터페이스부(120)에 도 4와 같이 디스플레이한다. 이후 사용자가 스마트 디바이스(100)에서 메뉴 내비게이션을 하거나 특정 메뉴 항목을 선택하는 등의 메뉴를 제어하면, 메뉴 제어부(170)는 메뉴 제어 정보를 통신부를 통해 가상현실 출력장치로 전송한다. 그러면, 가상현실 출력장치는 전달받은 메뉴 제어 정보와 동일한 조작을 수행해서 원격으로 제어하는 효과를 구현한다.
피드백 처리부(180)는 가상현실 출력장치로부터 전송된 3차원 객체 조작 정보에 대한 동작 수행 결과 메시지를 분석하고, 그 분석 결과에 따라 햅틱 또는 사운드를 출력하도록 제어한다. 즉, 피드백 처리부(180)는 3차원 객체 조작 정보에 대한 동작 수행 결과 메시지를 분석한 결과, '성공' 메시지이면, 해당 3차원 객체 조작 정보에 대응하는 진동을 발생시키기 위해 해당 3차원 객체 조작 정보를 포함하는 햅틱 발생 요청 신호를 햅틱부(140)로 전송하거나, 해당 3차원 객체 조작 정보에 대응하는 사운드를 발생시키기 위해 해당 3차원 객체 조작 정보를 포함하는 사운드 발생 요청 신호를 사운드 출력부(150)로 전송하여, 사용자에게 성공을 알린다. 또한, 피드백 처리부(180)는 3차원 객체 조작 정보에 대한 동작 수행 결과 메시지가 실패 메시지이면, 햅틱 피드백 또는 사운드 피드백을 수행하지 않는다.
피드백 처리부(180)는 가상현실 출력장치로부터 전송된 메뉴 제어 정보에 대한 동작 수행 결과 메시지를 분석하고, 그 분석 결과에 따라 햅틱 또는 사운드를 출력하도록 제어한다. 즉, 피드백 처리부(180)는 메뉴 제어 정보에 대한 동작 수행 결과 메시지를 분석한 결과, '성공' 메시지이면, 해당 메뉴 제어 정보에 대응하는 진동을 발생시키기 위해 해당 메뉴 제어 정보를 포함하는 햅틱 발생 요청 신호를 햅틱부(140)로 전송하거나, 해당 메뉴 제어 정보에 대응하는 사운드를 발생시키기 위해 해당 메뉴 제어 정보를 포함하는 사운드 발생 요청 신호를 사운드 출력부(150)로 전송하여, 사용자에게 성공을 알린다. 또한, 피드백 처리부(180)는 메뉴 제어 정보에 대한 동작 수행 결과 메시지가 실패 메시지이면, 햅틱 피드백 또는 사운드 피드백을 수행하지 않는다.
이처럼 스마트 디바이스(100)를 입력 장치로 사용하면, 진동이나 소리를 이용한 정보전달이 가능하다. 특히 햅틱 정보는 시각에 비해 5배 이상 빠른 정보전달이 가능하고, 사용자의 시스템 사용 만족도를 향상시킬 수 있으며, 입력 효용성이 증대되는 효과가 있다. 따라서, 스마트 디바이스(100)로 메뉴 내비게이션을 수행할 때 잘못된 선택을 줄이기 위한 도구로 햅틱 피드백과 사운드 피드백을 제공하고, 객체 조작에서도 햅틱과 사운드를 보조 정보로 활용한다.
한편 사운드 출력부(150), 객체 조작부(160), 메뉴 제어부(170), 피드백 처리부(180) 각각은 컴퓨팅 장치 상에서 프로그램을 실행하기 위해 필요한 프로세서 등에 의해 각각 구현될 수 있다. 이처럼 사운드 출력부(150), 객체 조작부(160), 메뉴 제어부(170), 피드백 처리부(180)는 물리적으로 독립된 각각의 구성에 의해 구현될 수도 있고, 하나의 프로세서 내에서 기능적으로 구분되는 형태로 구현될 수도 있다.
제어부(190)는 사용자 인터페이스부(120)를 통해 입력되는 스마트 디바이스 사용자의 지시에 따라 저장부(130)에 저장된 구동 프로그램을 실행하여 스마트 다바이스(100)의 전반적인 기능을 제어한다.
제어부(190)는 통신부(110), 사용자 인터페이스부(120), 저장부(130), 햅틱부(140), 사운드 출력부(150), 객체 조작부(160), 메뉴 제어부(170), 피드백 처리부(180) 등 각 부의 동작을 제어한다.
제어부(190)는 적어도 하나의 연산 장치를 포함할 수 있는데, 이때 연산장치로는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
도 5는 본 발명의 실시예에 따른 가상현실 출력장치의 구성을 개략적으로 나타낸 블럭도이다.
도 5를 참조하면, 가상현실 출력장치(200)는 통신부(210), 디스플레이부(220), 가상현실 구현부(230), 제어부(240)를 포함한다.
통신부(210)는 가상현실 출력장치(200)와 스마트 디바이스를 통신망을 통해 상호 연결시키는 통신 수단으로서, 예를 들어 이동통신, 위성통신 등의 무선 통신모듈, 인터넷 등의 유선 통신모듈, 와이파이 등의 근거리 무선 통신모듈 등을 포함할 수 있다.
디스플레이부(220)는 가상현실 구현부(230)에서 구현된 가상현실을 디스플레이한다. 또한, 디스플레이부(220)는 가상현실 애플리케이션의 메뉴 정보를 디스플레이한다.
이러한 디스플레이부(220)는 텔레비전, 프로젝터, 모니터(예를 들어, 컴퓨터 모니터), 미디어 장치 디스플레이(예를들어, 미디어 플레이어 또는 비디오 게임 콘솔 디스플레이), 통신 장치 디스플레이(예를 들어, 셀룰러 전화 디스플레이), 그래픽 출력 장치와 결합된 컴포넌트, 이들의 임의의 조합 또는 임의의 다른 적당한 화면일 수 있다.
가상현실 구현부(230)는 통신부(210)를 통해 스마트 디바이스로부터 3차원 객체 조작 정보가 수신된 경우, 3차원 객체 조작 정보의 이동정보 또는 회전 정보에 기초하여 디스플레이부(220)에 디스플레이된 가상객체의 움직임 또는 크기를 변경하여 가상현실을 구현하고, 상기 3차원 객체 조작 정보에 대응하는 동작 수행의 성공 또는 실패를 포함하는 동작 수행 결과 메시지를 스마트 디바이스로 전송한다.
또한, 가상현실 구현부(230)는 스마트 디바이스로부터 메뉴 제어 정보가 수신된 경우, 상기 메뉴 제어 정보에 해당하는 동작을 수행하고, 그 동작 수행의 성공 또는 실패를 포함하는 동작 수행 결과 메시지를 스마트 디바이스로 전송한다.
제어부(240)는 통신부(210), 디스플레이부(220), 가상현실 구현부(230) 등 각 부의 동작을 제어한다.
가상현실 출력장치(200)가 포함할 수 있는 이러한 구성부들은 하드웨어, 소프트웨어 또는 이들의 결합으로 구현될 수 있으며, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 동시에 구현될 수도 있다.
도 6은 본 발명의 실시예에 따른 스마트 디바이스를 이용하여 가상현실 출력장치의 메뉴를 제어하는 방법을 나타낸 도면이다.
도 6을 참조하면, 스마트 디바이스가 가상현실 출력장치에 접속된 상태에서(S602), 메뉴 모드가 선택되면(S604), 스마트 디바이스는 가상현실 출력장치로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하고(S606), 다운로드된 메뉴 정보를 디스플레이한다(S608).
그런 후, 사용자가 스마트 디바이스에서 메뉴 내비게이션, 특정 메뉴 항목 선택 등의 메뉴 제어 동작을 수행하면(S610), 스마트 디바이스는 메뉴 제어 정보를 가상현실 출력장치로 전송한다(S612).
가상현실 출력장치는 메뉴 제어 정보와 동일한 동작을 수행하고(S614), 동작 수행 결과 메시지를 스마트 디바이스로 전송한다(S616).
스마트 디바이스는 동작 수행 결과 메시지를 분석하고(S618), 그 분석결과 성공 메시지이면(S620), 상기 메뉴 제어 정보에 대응하는 햅틱 또는 사운드를 출력한다(S622).
도 7은 본 발명의 실시예에 따른 스마트 디바이스를 이용하여 가상현실 출력장치에 디스플레이된 3차원 객체를 조작하는 방법을 나타낸 도면이다.
도 7을 참조하면, 사용자가 스마트 디바이스에서 3차원 객체 모드를 선택하면(S702), 스마트 디바이스는 3차원 객체를 사용자 인터페이스부에 디스플레이한다(S704).
사용자가 상기 디스플레이된 3차원 객체를 손가락으로 터치해서 조작을 하면(S706), 스마트 디바이스는 3차원 객체의 터치 조작에 대응하는 이동정보 또는 회전정보를 생성하고(S708), 이동정보 또는 회전정보를 포함하는 3차원 객체 조작 정보를 가상현실 출력장치로 전송한다(S710).
가상현실 출력장치는 스마트 디바이스로부터 전송된 3차원 객체 조작 정보에 대응하는 동작을 가상공간의 3차원 객체에 적용하고(S712), 동작 수행 결과 메시지를 스마트 디바이스로 전송한다(S714).
스마트 디바이스는 동작 수행 결과 메시지를 분석하고(S716), 그 분석결과 성공 메시지이면(S718), 상기 3차원 객체 조작 정보에 대응하는 햅틱 또는 사운드를 출력한다(S720).
한편, 스마트 디바이스 기반 가상현실 서비스 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 스마트 디바이스 110, 210 : 통신부
120 : 사용자 인터페이스부 130 : 저장부
140 : 햅틱부 150 : 사운드 출력부
160 : 객체 조작부 170 : 메뉴 제어부
180 : 피드백 처리부 190, 240 : 제어부
200 : 가상현실 출력장치 220 : 디스플레이부
230 : 가상현실 구현부

Claims (9)

  1. 가상현실 출력장치에 접속된 상태에서 메뉴 모드가 선택된 경우, 상기 가상현실 출력장치로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하여 디스플레이하고, 사용자 메뉴 조작에 의한 메뉴 제어 정보를 상기 가상현실 출력장치로 전송하며, 3차원 객체 모드가 선택된 경우, 3차원 객체를 디스플레이하고, 상기 디스플레이된 3차원 객체의 조작 정보를 상기 가상현실 출력장치로 전송하며, 상기 가상현실 출력장치로부터 전송된 동작 수행 결과 메시지를 근거로 햅틱 또는 사운드를 출력하는 스마트 디바이스; 및
    상기 스마트 디바이스로부터 전송된 메뉴 제어 정보 또는 3차원 객체 조작 정보에 따른 동작을 수행하고, 그 동작 수행의 성공 또는 실패를 포함하는 동작 수행 결과 메시지를 상기 스마트 디바이스로 전송하는 가상현실 출력장치;
    를 포함하는 스마트 디바이스 기반 가상현실 서비스 시스템.
  2. 통신망을 통해 가상현실 출력장치와의 통신을 위한 통신부;
    사용자 인터페이스부;
    가상현실 애플리케이션을 실행하여 3차원 객체 모드가 선택된 경우, 3차원 객체를 상기 사용자 인터페이스부에 디스플레이하고, 상기 디스플레이된 3차원 객체의 조작 정보를 상기 통신부를 통해 가상현실 출력장치로 전송하는 객체 조작부; 및
    상기 가상현실 출력장치로부터 3차원 객체 조작 정보에 대한 동작 수행 결과 메시지를 수신하고, 상기 동작 수행 결과 메시지의 분석 결과에 따라 햅틱 또는 사운드를 출력하도록 제어하는 피드백 처리부;
    를 포함하는 스마트 디바이스.
  3. 제2항에 있어서,
    상기 가상현실 애플리케이션을 실행하여 메뉴 모드가 선택된 경우, 상기 가상현실 출력장치로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하여 상기 사용자 인터페이스부에 디스플레이하고, 사용자에 메뉴 조작에 의한 메뉴 제어 정보를 상기 통신부를 통해 가상현실 출력장치로 전송하는 메뉴 제어부를 더 포함하고,
    상기 피드백 처리부는 상기 가상현실 출력장치로부터 메뉴 제어 정보에 대한 동작 수행 결과 메시지를 수신하고, 상기 동작 수행 결과 메시지의 분석 결과에 따라 햅틱 또는 사운드를 출력하도록 제어하는 것을 특징으로 하는 스마트 디바이스.
  4. 제2항에 있어서,
    상기 피드백 처리부의 제어에 따라 촉각 효과를 발생시키는 햅틱부;
    상기 피드백 처리부의 제어에 따라 사운드를 발생시키는 사운드 출력부를 더 포함하는 스마트 디바이스.
  5. 제2항에 있어서,
    상기 객체 조작부는 상기 3차원 객체의 터치 조작에 대응하는 이동정보 또는 회전정보를 생성하고, 상기 이동정보 또는 회전정보를 포함하는 3차원 객체 조작 정보를 상기 가상현실 출력장치로 전송하는 것을 특징으로 하는 스마트 디바이스.
  6. 삭제
  7. 삭제
  8. 스마트 디바이스는 가상현실 출력장치에 접속된 상태에서 메뉴 모드가 선택된 경우, 상기 가상현실 출력장치로부터 가상현실 애플리케이션의 메뉴 정보를 다운로드하여 디스플레이하는 단계;
    상기 디스플레이된 메뉴 정보에서 사용자 메뉴 조작에 의한 메뉴 제어 정보를 상기 가상현실 출력장치로 전송하는 단계;
    상기 가상현실 출력장치는 상기 메뉴 제어 정보와 동일한 동작을 수행하고, 동작 수행 결과 메시지를 상기 스마트 디바이스로 전송하는 단계;
    상기 스마트 디바이스는 동작 수행 결과 메시지를 분석하고, 그 분석결과 성공 메시지인 경우 상기 메뉴 제어 정보에 대응하는 햅틱 또는 사운드를 출력하는 단계;
    를 포함하는 스마트 디바이스 기반 가상현실 서비스 방법.
  9. 삭제
KR1020140072782A 2014-06-16 2014-06-16 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법 KR101528485B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140072782A KR101528485B1 (ko) 2014-06-16 2014-06-16 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140072782A KR101528485B1 (ko) 2014-06-16 2014-06-16 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101528485B1 true KR101528485B1 (ko) 2015-06-12

Family

ID=53503721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140072782A KR101528485B1 (ko) 2014-06-16 2014-06-16 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101528485B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460149A (zh) * 2018-10-31 2019-03-12 北京百度网讯科技有限公司 系统管理工具、显示方法、vr设备和计算机可读介质
WO2020059949A1 (ko) * 2018-09-20 2020-03-26 (주)리얼감 포스 피드백 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055054A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055054A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059949A1 (ko) * 2018-09-20 2020-03-26 (주)리얼감 포스 피드백 방법 및 시스템
CN109460149A (zh) * 2018-10-31 2019-03-12 北京百度网讯科技有限公司 系统管理工具、显示方法、vr设备和计算机可读介质
CN109460149B (zh) * 2018-10-31 2022-10-11 北京百度网讯科技有限公司 系统管理工具、显示方法、vr设备和计算机可读介质

Similar Documents

Publication Publication Date Title
US11221730B2 (en) Input device for VR/AR applications
US10761612B2 (en) Gesture recognition techniques
US11360558B2 (en) Computer systems with finger devices
EP3343329B1 (en) Haptic effect generation for space-dependent content
EP3639117B1 (en) Hover-based user-interactions with virtual objects within immersive environments
US20240281136A1 (en) Varying icons to improve operability
RU2672134C2 (ru) Портативный терминал и способ обеспечения тактильного эффекта для блока ввода
US20180246572A1 (en) Systems and Methods for Virtual Affective Touch
CN103502923B (zh) 用户与设备的基于触摸和非触摸的交互作用
CN108885521A (zh) 跨环境共享
US9430106B1 (en) Coordinated stylus haptic action
JP6165485B2 (ja) 携帯端末向けａｒジェスチャユーザインタフェースシステム
US20170315721A1 (en) Remote touchscreen interface for virtual reality, augmented reality and mixed reality devices
CN108474950B (zh) Hmd设备及其控制方法
JP2018113025A (ja) 触覚によるコンプライアンス錯覚のためのシステム及び方法
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US20190050132A1 (en) Visual cue system
EP3367216A1 (en) Systems and methods for virtual affective touch
CN108595010B (zh) 虚拟现实中虚拟物体的交互方法及装置
Katzakis et al. INSPECT: extending plane-casting for 6-DOF control
JP2020062179A (ja) 情報処理装置及びプログラム
KR101528485B1 (ko) 스마트 디바이스 기반 가상현실 서비스 시스템 및 방법
JP6088787B2 (ja) プログラム、情報処理装置、情報処理方法および情報処理システム
CN104035686A (zh) 一种文件传输方法及装置
CN102622178B (zh) 基于触屏电子设备使平面图像扭曲的方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 4