KR102157160B1 - 360도 가상영상 체험시스템 - Google Patents

360도 가상영상 체험시스템 Download PDF

Info

Publication number
KR102157160B1
KR102157160B1 KR1020180171057A KR20180171057A KR102157160B1 KR 102157160 B1 KR102157160 B1 KR 102157160B1 KR 1020180171057 A KR1020180171057 A KR 1020180171057A KR 20180171057 A KR20180171057 A KR 20180171057A KR 102157160 B1 KR102157160 B1 KR 102157160B1
Authority
KR
South Korea
Prior art keywords
unit
trackball
image
ball
track ball
Prior art date
Application number
KR1020180171057A
Other languages
English (en)
Other versions
KR20200080995A (ko
Inventor
박대원
심성섭
강한별
박진홍
Original Assignee
주식회사 다윈테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다윈테크 filed Critical 주식회사 다윈테크
Priority to KR1020180171057A priority Critical patent/KR102157160B1/ko
Publication of KR20200080995A publication Critical patent/KR20200080995A/ko
Application granted granted Critical
Publication of KR102157160B1 publication Critical patent/KR102157160B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physiology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 트랙볼을 통해 원형 또는 돔형태의 스크린에서 화면의 위치 제어를 실시할 수 있으며, 사용자의 상태를 감지해 영상의 출력 제어를 실시할 수 있는 360도 가상영상 체험시스템에 관한 것이다.
본 발명의 360도 가상영상 체험시스템은 360도로 영상을 출력하는 영상출력유닛과, 상기 영상출력유닛의 출력영상을 제어하기 위한 입력신호를 입력하는 트랙볼유닛과, 상기 트랙볼유닛의 입력신호에 따라 상기 영상출력유닛에서 출력되는 영상을 제어하는 영상제어부를 포함한다.

Description

360도 가상영상 체험시스템 {360°virtual image experience system}
본 발명은 360도 가상영상 체험시스템에 관한 것으로, 더욱 상세하게는 트랙볼을 통해 원형 또는 돔형태의 스크린에서 화면의 위치 제어를 실시할 수 있으며, 사용자의 상태를 감지해 영상의 출력 제어를 실시할 수 있는 360도 가상영상 체험시스템에 관한 것이다.
VR 즉, 가상현실은 사이버 공간(Cyber Space)에서 체험되는 현실을 가리키는데, 이때 사이버 공간이란 컴퓨터를 통해 생성된 가상의 공간으로, 3차원 시각 효과를 통해 현실성을 부여하는 공간을 말한다.
VR 환경은 사용자에게 실감나는 몰입감을 제공하여 실존하는 물체를 시뮬레이션할 수 있을 뿐만 아니라, 실제로 존재하지 않는 물체나 상황을 체험할 수 있도록 하며, 예를 들어 자동차 설계, 시뮬레이션 실험 등의 공학 분야에서부터 의료 분야, 문화 콘텐츠 분야 등에 이르기까지 실로 다양한 분야에 적용될 수 있다.
VR을 구현하기 위한 기술은, 멀티미디어를 뛰어 넘는 차세대 기술로서, 사용자의 입력을 실시간으로 처리하여 현실 세계에 있는 것과 같은 느낌을 받을 수 있도록 하는 기술이다.
VR과 유사한 개념으로 증강현실 즉, AR도 많이 사용되고 있는데, 증강현실은 가상의 이미지와 실제 현실 이미지 또는 영상을 병합하여 보여준다.
VR의 현실감을 높이기 위해 360도 전체에 대한 영상이 요구되는데, 종래에는 사용자의 머리에 고정하는 HMD(Head Mounted Display)가 VR의 디스플레이스 수단으로 많이 적용되었다.
그러나 HMD의 사용에 따른 어지러움과 불편을 호소하는 경우도 있어 원형 또는 돔형상의 스크린을 통해 360도의 영상을 출력하도록 하는 VR 시스템이 개발되었다.
그러나 종래의 VR 시스템은 사용자의 필요에 의해 원형 또는 돔형의 스크린 상에서 영상을 전환하거나 방향을 변경할 수 있는 수단이 구비되어 있지 않아 사용이 불편한 문제가 있었다.
한국공개특허 제10-2018-0124302호 : AR/VR 유무선 제어장치 한국등록특허 제10-1634966호 : ＶＲ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
본 발명은 상기 문제점을 해결하기 위해 창출된 것으로, 가상현실에 대한 영상을 출력하는 원형 또는 돔형 스크린에 대하여 출력되는 영상의 방향 전환을 용이하게 실시할 수 있는 360도 가상영상 체험시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 사용자의 생체정보를 인식하고, 생체정보에 따라 가상현실 영상의 출력을 제어하는 360도 가상영상 체험시스템을 제공하는 것이다.
본 발명의 360도 가상영상 체험시스템은 360도로 영상을 출력하는 영상출력유닛과, 상기 영상출력유닛의 출력영상을 제어하기 위한 입력신호를 입력하는 트랙볼유닛과, 상기 트랙볼유닛의 입력신호에 따라 상기 영상출력유닛에서 출력되는 영상을 제어하는 영상제어부를 포함한다.
상기 영상출력유닛은 복수개의 디스플레이패널이 원통형 또는 돔형상으로 배치되어 형성되는 것이 바람직하다.
상기 트랙볼유닛은 구 형상의 트랙볼과, 상기 트랙볼을 지지하는 볼지지부와, 상기 트랙볼의 회전상태를 감지하는 회전감지부를 포함하되, 상기 볼지지부의 상단에는 상기 트랙볼이 안착될 수 있도록 하방으로 소정깊이 인입되고, 상기 트랙볼의 곡면 형상에 대응하는 곡률을 갖는 안착홈이 형성되어 있는 것이 바람직하다.
상기 회전감지부는 상기 트랙볼의 내부에 내장되어 상기 트랙볼이 기준위치에서 회전하는 회전상태를 감지하는 자이로센서와, 상기 자이로센서의 감지정보를 외부로 전송하는 무선송신부와, 상기 무선송신부를 통해 전송되는 자이로센서의 감지정보를 수신하여 상기 영상제어부로 전달하는 무선수신부를 포함하는 것이 바람직하다.
상기 트랙볼에는 외주면에 소정의 패턴이 형성되어 있으며, 상기 회전감지부는 상기 볼지지부에 형성되며, 상기 안착홈 내에서 회전하는 상기 트랙볼의 표면 패턴을 인식하는 패턴인식부와, 상기 패턴인식부의 패턴인식정보를 통해 상기 트랙볼의 회전방향 및 회전량을 산출하는 회전량 산출부를 포함할 수 있다.
상기 트랙볼에는 사용자의 손과 접촉하여 상기 사용자의 체온, 심박수, 땀 발생여부 중 어느 하나 또는 둘 이상의 정보를 감지하는 생체신호감지부가 더 구비되고, 상기 생체신호감지부의 감지정보는 상기 영상제어부로 전송되며, 상기 영상제어부는 상기 생체신호감지부에 전송된 사용자의 생체신호에 따라 상기 영상출력유닛을 통해 출력되는 영상을 제어하는 것이 바람직하다.
아울러 사용자의 얼굴을 촬영하는 촬영부와, 상기 촬영부에서 촬영된 영상을 기초로 아바타 이미지를 생성하는 이미지 생성부를 더 구비하고, 상기 영상제어부는 이미지 생성부에서 생성된 아바타 이미지를 상기 영상출력유닛을 통해 출력되는 영상에 합성하여 출력할 수 있도록 형성될 수 있다.
상기 트랙볼이 상기 볼지지부로부터 분리되는 것을 감지하는 도난감지부를 더 포함하며, 상기 도난감지부는 상기 트랙볼과 상기 볼지지부에 각각 설치되어 상호 설정된 거리 이내에서 통신이 가능한 제1 통신부 및 제2 통신부와, 상기 제1 통신부 및 제2 통신부 사이의 통신정보를 주기적으로 전송받고, 상기 제1 통신부 및 제2 통신부가 상호 통신이 이루어지지 않으면 도난상태로 인지하고 경보신호를 출력하는 정보처리부를 포함할 수 있다.
상기 도난감지부는 상기 안착홈의 표면에 형성되어 상기 트랙볼의 표면에 형성된 패턴과 접촉하는 제1 전극 및 제2 전극을 포함하며, 상기 패턴은 미세전류가 흐를 수 있는 도체로 형성되고, 상기 트랙볼의 표면에 형성된 패턴은 상기 트랙볼이 상기 볼지지부의 안착홈에 안착된 상태에서는 어느방향으로 회전하더라도 상기 제1 전극 및 제2 전극에 모두 접촉하도록 형성되되, 상기 도난감지부는 제1 전극 및 제2 전극을 통해 전류가 통전되지 않으면 상기 트랙볼이 도난상태인 것으로 판단하도록 형성될 수 있다.
그리고 상기 트랙볼에 내장된 배터리를 충전하기 위한 충전유닛을 더 구비할 수 있는데, 상기 충전유닛은 상기 안착홈의 표면에 노출되어 있는 제1 충전단자와, 상기 제1 충전단자를 통해 전원을 공급하는 전원공급부와, 상기 트랙볼에 내장되는 배터리로 전원공급이 이루어지도록 상기 제1 충전단자와 접촉할 수 있도록 상기 트랙볼에 형성되는 제2 충전단자와, 상기 제2 충전단자가 제1 충전단자와 접촉할 수 있게 상기 트랙볼을 자동으로 회전시켜 충전상태가 되도록 유도하는 충전유도부를 포함할 수 있다.
상기 충전유도부는 상기 패턴인식부를 통해 상기 제1 충전단자에 제2 충전단자가 접촉하기 위해 트랙볼이 회전해야 하는 회전방향 및 회전량을 산출하는 충전유도산출부와, 상기 충전유도산출부의 산출정보에 따라 상기 트랙볼을 회전구동하는 볼회전구동부를 포함하고,
상기 볼회전구동부는 상기 안착홈의 표면에 노출되도록 형성되고 상기 트랙볼을 x축을 중심으로 회전하게 하는 제1 구동부재와, 상기 트랙볼을 y축을 중심으로 회전하게 하는 제2 구동부재와, 상기 트랙볼을 z축을 중심으로 회전하게 하는 제3 구동부재를 포함하고, 상기 제1 구동부재와 제2 구동부재 및 제3 구동부재는 각각 필요에 따라 상기 트랙볼과 접촉하거나 접촉이 해제될 수 있도록 승강액추에이터에 의해 승강 가능하도록 형성될 수 있다.
본 발명에 따른 360도 가상영상 체험시스템은 가상현실의 영상을 사용자의 의도에 따라 편리하게 전환할 수 있어 사용편의성이 증진되고, 사용자의 생체정보에 따라 가상현실 영상의 출력을 제어할 수 있어 사강현실 체험을 더욱 효율적으로 수행할 수 있는 이점이 있다.
도 1은 본 발명의 360도 가상영상 체험시스템의 일 실시예의 사시도,
도 2는 본 발명의 360도 가상영상 체험시스템의 구성을 표시한 블럭도,
도 3은 도 1의 트랙볼유닛을 도시한 개념도,
도 4는 도 1의 트랙볼유닛의 회전감지부의 구성 및 연결관계를 표시한 블럭도,
도 5는 트랙볼유닛의 다른 실시예의 개념도,
도 6은 도 5의 트랙볼유닛의 회전감지부의 구성을 표시한 블럭도,
도 7은 도 5의 트랙볼유닛의 충전유도부의 구성을 표시한 블럭도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 360도 가상영상 체험시스템에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도면을 참조하면, 본 발명의 360도 가상영상 체험시스템(10)은 영상출력유닛(100)과, 출력영상을 제어하기 위해 입력신호를 입력하는 트랙볼유닛(300)과, 입력신호에 따라 출력되는 영상을 제어하는 영상제어부(200)를 포함한다.
상기 영상출력유닛(100)은 360도로 영상을 출력할 수 있는 것으로 본 실시예와 같이 사용자를 중심으로 그 주변을 둘러싸는 원통형으로 형성될 수도 있고, 또는 돔형상으로 형성되어 천장부까지도 화면이 출력되도록 할 수 있다.
아울러 상기 영상출력유닛(100)은 소정 크기를 갖는 복수개의 디스플레이패널들을 상호 결합하여 형성하는데, 원형의 스크린을 효율적으로 제작할 수 있게 평판형 보다는 소정의 곡률을 갖는 커브드(curved) 디스플레이패널이 적용되는 것이 바람직하다.
물론 본 실시예와는 달리 영상출력유닛(100)이 원통형 또는 돔 형상의 스크린으로 형성되고, 이 스크린에 영상을 출력할 수 있는 별도의 프로젝터를 포함하도록 구성될 수도 있다.
상기 영상제어부(200)는 후술하는 트랙볼유닛(300)의 입력신호에 따라 영상출력유닛(100)에서 출력되는 영상을 제어하는 것이다.
영상제어부(200)는 저장되어 있는 영상물을 출력하는데, 트랙볼유닛(300)에서 입력되는 신호에 따라 출력되는 영상을 정지하거나 전환할 수 있으며, 출력 영상의 방향을 바꿀 수도 있다. 예를 들어 사용자가 뒤편 영상을 확인하기 위해 사용자 스스로가 뒤로 돌아 후방 영상을 볼 수도 있지만 트랙볼유닛(300)을 통해 화면의 출력방향을 바꿔 사용자 스스로는 정지해 있으나, 고개나 몸을 돌려 다른 방향을 보는 것과 같은 효과를 거두도록 한다.
상기 트랙볼유닛(300)은 사용자의 의도에 따라 영상제어부(200)를 통해 출력되는 영상을 제어할 수 있는 입력신호를 입력하기 위한 것이다. 이를 위해 트랙볼유닛(300)은 트랙볼(310)과, 트랙볼(310)을 지지하는 볼지지부(320) 및 트랙볼(310)의 회전상태를 감지하는 회전감지부(330)를 포함한다.
상기 트랙볼(310)은 소정 직경의 구형상으로 형성되어 있다. 트랙볼(310)은 금속 또는 합성수지재로 형성될 수 있으며, 트랙볼(310)을 회전시키기 용이하도록 외주면에 우레탄이나 실리콘 등의 코팅재를 코팅할 수도 있다.
상기 볼지지부(320)는 트랙볼(310)을 지지하는 것으로 상단에 상기 트랙볼(310)이 안착되는 안착홈(321)이 형성되어 있고, 트랙볼(310)이 사용자의 허리 높이 정도에 지지될 수 있도록 상기 안착홈(321)이 형성된 볼지지부(320)의 상단부 높이는 약 1m 내지 1.3m 정도가 되도록 형성되는 것이 바람직하다. 도시되지는 않았으나, 상기 볼지지부(320)의 상단부 높이를 조절할 수 있도록 볼지지부(320)가 신축 가능하게 형성될 수 있다.
상기 안착홈(321)은 트랙볼(310)의 곡률에 대응하는 곡률을 가지며, 안착홈(321)의 표면에는 트랙볼(310)이 회전 가능하게 지지될 수 있도록 다수의 볼베어링(322)들이 형성되어 있다. 따라서 트랙볼(310)은 사용자에 의해 회전이 이루어진다.
상기 회전감지부(330)는 사용자에 의해 트랙볼(310)이 회전할 때 회전되는 방향과 회전량을 감지하기 위한 것이다.
본 실시예의 회전감지부(330)는 트랙볼(310)의 내부에 내장되어 있는데, 트랙볼(310)의 내부에는 회전감지부(330)의 구동을 위한 전원공급을 하는 배터리(334)가 내장되어 있고, 일측에는 자이로센서(331)가 구비되어 있다. 그리고 자이로센서(331)의 감지정보를 외부로 전송하기 위한 무선송신부(332)가 트랙볼(310)의 내부에 마련되어 있다.
상기 볼지지부(320)에는 상기 무선송신부(332)에서 송신된 자이로센서(331)의 측정정보를 수신하는 무선수신부(333)가 구비되어 있고, 무선수신부(333)는 상기 영상제어부(200)과 연결되어 수신된 정보를 전달한다.
상기 영상제어부(200)는 수신된 자이로센서(331)의 감지정보를 기반으로 사용자가 트랙볼(310)을 회전시킨 회전방향 및 회전량을 기반으로 영상출력유닛(100)으로 출력되는 영상의 방향을 바꾸거나 전환하도록 제어한다.
아울러 상기 트랙볼(310)에는 사용자의 생체신호를 측정하는 생체신호감지부(340)와, 트랙볼(310)이 볼지지부(320)로부터 분리되는 것을 감지하는 도난감지부(350)가 더 마련되어 있다.
상기 생체신호감지부(340)는 상기 트랙볼(310)의 표면에 사용자가 손을 접촉하면 접촉된 손을 통해 사용자의 체온, 심박수 또는 땀의 발생 여부를 감지하며, 감지된 정보는 상기 무선송신부(332)를 통해 외부로 전송된다.
생체신호감지부(340)의 감지정보는 무선수신부(333)를 통해 영상제어부(200)으로 전송되며, 영상제어부(200)는 생체신호감지부(340)에서 감지된 생체신호에 따라 영상의 출력을 제어한다. 예를 들어 사용자의 생체신호 감지 결과를 바탕으로 사용자의 긴장도나 스트레스 정도를 판단하고, 일정 기준치 이상의 스트레스나 긴장도를 보이는 경우 영상의 출력을 잠시 멈추거나 다른 영상으로 전환을 유도하는 방식으로 출력 영상을 제어할 수 있다.
상기 도난감지부(350)는 트랙볼(310)의 도난사고를 미연에 방지하기 위한 것으로, 상기 트랙볼(310)과 상기 볼지지부(320)에 각각 설치되어 상호 설정된 거리 이내에서 통신이 가능한 제1 통신부(351) 및 제2 통신부(352)와, 상기 제1 통신부(351) 및 제2 통신부(352) 사이의 통신정보를 주기적으로 전송받고, 상기 제1 통신부(351) 및 제2 통신부(352)가 상호 통신이 이루어지지 않으면 도난상태로 인지하고 경보신호를 출력하는 정보처리부(353)를 포함한다.
트랙볼(310)이 볼지지부(320)에 안착되어 있는 상태에서는 제1 통신부(351)와 제2 통신부(352)가 지속적으로 통신을 하면서 트랙볼(310)이 볼지지부(320) 상에 있는 것으로 판단되지만, 트랙볼(310)이 볼지지부(320)로부터 이탈하여 일정거리 이상 떨어지게 되면 상기 제1 통신부(351)와 제2 통신부(352) 사이의 통신이 중단되며, 상기 정보처리부(353)가 도난 상태로 인지한다. 상기 경보신호는 알람을 울리거나 경광등을 점멸 시키는 방식으로 구현될 수 있다.
아울러 사용자의 얼굴을 촬영하는 촬영부(361)와, 상기 촬영부(361)에서 촬영된 영상을 기초로 아바타 이미지를 생성하는 이미지 생성부(362)를 더 구비한다.
촬영부(361)는 볼지지부(320)의 일측에 마련되어 사용자의 얼굴 이미지를 촬영할 수 있는데, 영상 출력 준비단계나 초기단계에서 촬영부(361)가 사용자의 얼굴 이미지를 촬영하고, 촬영된 이미지를 기초로 이미지 생성부(362)에서 아바타 이미지를 생성한후, 생성된 아바타 이미지를 영상제어부(200)으로 전달한다.
영상제어부(200)는 출력되는 영상에 아바타 이미지가 합성될 수 있는 경우 생성된 아바타 이미지가 포함된 가상현실 영상을 출력하도록 할 수 있다.
도 5 내지 도 7에는 트랙볼유닛(400)의 다른 실시예가 도시되어 있다.
본 실시예의 트랙볼유닛(400)은 트랙볼(410)과 볼지지부(420)를 포함하는데, 회전감지부(430)가 상기 트랙볼(410)의 외주면에 형성된 소정의 패턴(411)형상을 인지하는 패턴인식부(431)와, 패턴인식부(431)의 인식정보를 통해 트랙볼(410)의 회전량과 회전방향을 산출하는 회전량 산출부(432)를 포함한다.
상기 트랙볼(410)의 외주면에 형성된 패턴(411)은 다양한 형태로 형성될 수 있으며, 패턴인식부(431)는 볼지지부(420)에 장착되어 안착홈(321)에 안착되는 트랙볼(410)의 외주면을 촬영하면서 패턴(411)을 인식한다.
회전량 산출부(432)는 패턴인식부(431)에서 인식된 패턴(411)정보를 기반으로 트랙볼(410)이 회전한 회전방향과 회전량을 산출하며, 산출된 회전방향 및 회전량 정보를 영상제어부(200)으로 전달하여 출력되는 영상을 제어하도록 한다.
본 실시예의 트랙볼유닛(400)도 생체신호감지부(340)가 구비되어 생체신호를 감지 및 전송하며, 사용자의 얼굴을 촬영하고 아바타 이미지를 생성하는 촬영부(441) 및 이미지 생성부(442)가 구비된다.
본 실시예의 트랙볼유닛(400)도 트랙볼(410)의 도난 방지를 위한 도난감지부(450)가 구비된다.
본 실시예의 도난감지부(450)는 안착홈(321)의 표면에 형성되는 제1 전극(451) 및 제2 전극(452)을 포함한다.
상기 트랙볼(410)에 형성된 패턴(411)은 전기가 통전될 수 있는 도체로 되거나 도체로 표면이 코팅되어 있으며, 제1 전극(451) 및 제2 전극(452)은 패턴(411)과 접촉되어 있고, 트랙볼(410)의 패턴(411)들은 전류가 이동할 수 있도록 연결되어 있는 상태이다. 상기 패턴(411)은 트랙볼(410)이 어느 방향으로 얼마나 회전하든 제1 전극(451) 및 제2 전극(452)과 접촉된 상태를 유지할 수 있는 폭과 모양으로 형성되어 있다. 따라서 트랙볼(410)이 볼지지부(420)에 안착된 상태에서는 제1 전극(451)과 제2 전극(452)이 패턴(411)에 의해 통전되는데, 트랙볼(410)이 볼지지부(420)로부터 이탈하게 되면 제1 전극(451)과 제2 전극(452)을 통해 전류가 흐를 수 없게 되므로 이 경우 도난 상태로 인지하여 경보신호를 발생한다.
또한 본 실시예의 트랙볼유닛(400)은 트랙볼(410)에 내장된 배터리(470)를 충전하기 위한 충전유닛(460)을 더 구비한다.
상기 충전유닛(460)은 볼지지부(420)의 안착홈(321) 표면에 형성되어 있는 제1 충전단자(461)와, 트랙볼(410)의 일측 표면에 형성되어 있는 제2 충전단자(462)를 포함하고, 상기 제1 충전단자(461)와 제2 충전단자(462)가 접촉하면 전원공급에 의해 트랙볼(410)에 내장되어 있는 배터리(470)가 충전된다.
상기 제1 충전단자(461)와 제2 충전단자(462)가 상호 접촉한 상태에서 충전이 이루어질 수 있으므로, 트랙볼유닛(400)의 비 사용시에 상기 제1 충전단자(461)와 제2 충전단자(462)가 상호 접촉할 수 있게 상기 트랙볼(410)을 회전시키는 충전유도부(480)가 더 마련된다.
충전유도부(480)는 상기 패턴인식부(431)를 통해 트랙볼(410)의 제2 충전단자(462) 위치를 확인하고, 제2 충전단자(462)가 제1 충전단자(461)와 접촉하기 위해 트랙볼(410)이 회전해야 하는 회전방향 및 회전량을 산출하는 충전유도산출부(481)와, 충전유도산출부(481)의 산출정보에 따라 트랙볼(410)을 회전구동하는 볼회전구동부(482)를 포함한다.
볼회전구동부(482)는 상기 트랙볼(410)을 지지하는 볼베어링(322)들과 함께 볼지지부(420)에 형성되어 있는데, 트랙볼(410)을 x축을 중심으로 회전하게 하는 제1 구동부재(483)와, 상기 트랙볼(410)을 y축을 중심으로 회전하게 하는 제2 구동부재(484)와, 상기 트랙볼(410)을 z축을 중심으로 회전하게 하는 제3 구동부재(485)를 포함한다.
상기 제1 구동부재(483)와 제2 구동부재(484) 및 제3 구동부재(485)는 하나만 형성될 수도 있으나, 원활한 회전 구동을 위해 두 개 이상이 형성될 수도 있다.
다른 볼베어링(322)들은 사용자에 의해 트랙볼(410)이 회전할 때, 트랙볼(410)의 원활한 회전이 가능하도록 트랙볼(410)을 단순 지지하는 것이지만, 제1 구동부재(483)와 제2 구동부재(484) 및 제3 구동부재(485)는 모터와 같은 동력수단에 의해 회전하면서 트랙볼(410)을 회전시킨다.
원활한 회전력의 전달을 위해 제1 구동부재(483)와 제2 구동부재(484) 및 제3 구동부재(485)의 표면에는 마찰력을 높일 수 있는 재질의 코팅층이 형성되거나, 마찰계수를 높이기 위한 표면처리가 될 수도 있다.
아울러 상기 제1 구동부재(483)와 제2 구동부재(484) 및 제3 구동부재(485)는 승강액추에이터(486)에 의해 소정거리 승강 가능하도록 형성되는데, 트랙볼(410)이 사용자에 의해 회전되는 상태에서는 제1 구동부재(483)와 제2 구동부재(484) 및 제3 구동부재(485)가 트랙볼(410)의 표면에 접촉하지 않도록 소정거리 하강한다.
그리고 제2 충전단자(462)가 제1 충전단자(461)와 접촉할 수 있게 트랙볼(410)을 자동으로 회전시킬 때에는 승강액추에이터(486)가 제1 구동부재(483)와 제2 구동부재(484) 및 제3 구동부재(485)를 상승시켜 상기 트랙볼(410)의 표면에 접촉하게 한 다음 회전구동한다. 이때 제1 구동부재(483)와 제2 구동부재(484) 및 제3 구동부재(485)는 동시에 트랙볼(410)과 접촉할 수도 있고, 트랙볼(410)이 회전하는 회전방향에 따라 해당 방향으로 회전력을 전달하기 위한 구동부재만 선택적으로, 또는 순차적으로 상승하여 트랙볼(410)과 접촉할 수 있다.
이상에서 설명한 본 발명의 360도 가상영상 체험시스템(10)은 트랙볼유닛(300,400)을 통해 사용자가 필요에 따라 화면의 전환, 제어 기능을 수행할 수 있어 사용 편의성이 높으며, 용이하게 출력되는 영상을 제어하기 위한 입력신호를 입력할 수 있다.
아울러 사용자의 생체정보를 감지하여 생체신호에 따라 영상제어를 실시함으로써 사용자의 신체 상태에 맞도록 영상제어를 할 수 있으며, 트랙볼(310)의 도난을 방지할 수 있다.
더욱이 사용자의 얼굴이미지를 촬영하고 촬영된 이미지를 이용해 아바타 이미지를 생성한뒤, 생성된 아바타 이미지를 출력되는 영상에 합성하여 출력함으로써 가상현실 영상의 몰입도를 더욱 높일 수 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
10: 360도 가상영상 체험시스템
100: 영상출력유닛 200: 영상제어부
300: 트랙볼유닛 310: 트랙볼
320: 볼지지부 321: 안착홈
322: 볼베어링 330: 회전감지부
331: 자이로센서 332: 무선송신부
333: 무선수신부 334: 배터리
340: 생체신호감지부 350: 도난감지부
351: 제1 통신부 352: 제2 통신부
353: 정보처리부 361: 촬영부
362: 이미지 생성부
400: 트랙볼유닛 410: 트랙볼
411: 패턴 420: 볼지지부
430: 회전감지부 431: 패턴인식부
432: 회전량 산출부 441: 촬영부
442: 이미지 생성부 450: 도난감지부
451: 제1 전극 452: 제2 전극
460: 충전유닛 461: 제1 충전단자
462: 제2 충전단자 470: 배터리
480: 충전유도부 481: 충전유도산출부
482: 볼회전구동부 483: 제1 구동부재
484: 제2 구동부재 485: 제3 구동부재
486: 승강액추에이터

Claims (9)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 360도로 영상을 출력하는 영상출력유닛과;
    상기 영상출력유닛의 출력영상을 제어하기 위한 입력신호를 입력하는 트랙볼유닛과;
    상기 트랙볼유닛의 입력신호에 따라 상기 영상출력유닛에서 출력되는 영상을 제어하는 영상제어부를 포함하며,
    상기 트랙볼유닛은 구 형상의 트랙볼과,
    상기 트랙볼을 지지하는 볼지지부와,
    상기 트랙볼의 회전상태를 감지하는 회전감지부를 포함하되,
    상기 볼지지부의 상단에는 상기 트랙볼이 안착될 수 있도록 하방으로 소정깊이 인입되고, 상기 트랙볼의 곡면 형상에 대응하는 곡률을 갖는 안착홈이 형성되어 있고,
    상기 회전감지부는 상기 트랙볼의 내부에 내장되어 상기 트랙볼이 기준위치에서 회전하는 회전상태를 감지하는 자이로센서와,
    상기 자이로센서의 감지정보를 외부로 전송하는 무선송신부와,
    상기 무선송신부를 통해 전송되는 자이로센서의 감지정보를 수신하여 상기 영상제어부로 전달하는 무선수신부를 포함하고,
    상기 트랙볼에는 사용자의 손과 접촉하여 상기 사용자의 체온, 심박수, 땀 발생여부 중 어느 하나 또는 둘 이상의 정보를 감지하는 생체신호감지부가 더 구비되고,
    상기 생체신호감지부의 감지정보는 상기 영상제어부로 전송되며,
    상기 영상제어부는 상기 생체신호감지부에 전송된 사용자의 생체신호에 따라 상기 영상출력유닛을 통해 출력되는 영상을 제어하고,
    사용자의 얼굴을 촬영하는 촬영부와,
    상기 촬영부에서 촬영된 영상을 기초로 아바타 이미지를 생성하는 이미지 생성부를 더 구비하고,
    상기 영상제어부는 이미지 생성부에서 생성된 아바타 이미지를 상기 영상출력유닛을 통해 출력되는 영상에 합성하여 출력할 수 있도록 형성된 것을 특징으로 하는
    360도 가상영상 체험시스템.
  8. 제 7항에 있어서,
    상기 트랙볼이 상기 볼지지부로부터 분리되는 것을 감지하는 도난감지부를 더 포함하며,
    상기 도난감지부는 상기 트랙볼과 상기 볼지지부에 각각 설치되어 상호 설정된 거리 이내에서 통신이 가능한 제1 통신부 및 제2 통신부와,
    상기 제1 통신부 및 제2 통신부 사이의 통신정보를 주기적으로 전송받고, 상기 제1 통신부 및 제2 통신부가 상호 통신이 이루어지지 않으면 도난상태로 인지하고 경보신호를 출력하는 정보처리부를 포함하는 것을 특징으로 하는
    360도 가상영상 체험시스템.
  9. 360도로 영상을 출력하는 영상출력유닛과;
    상기 영상출력유닛의 출력영상을 제어하기 위한 입력신호를 입력하는 트랙볼유닛과;
    상기 트랙볼유닛의 입력신호에 따라 상기 영상출력유닛에서 출력되는 영상을 제어하는 영상제어부를 포함하며,
    상기 트랙볼유닛은 구 형상의 트랙볼과,
    상기 트랙볼을 지지하는 볼지지부와,
    상기 트랙볼의 회전상태를 감지하는 회전감지부를 포함하되,
    상기 볼지지부의 상단에는 상기 트랙볼이 안착될 수 있도록 하방으로 소정깊이 인입되고, 상기 트랙볼의 곡면 형상에 대응하는 곡률을 갖는 안착홈이 형성되어 있고,
    상기 트랙볼에는 외주면에 소정의 패턴이 형성되어 있으며,
    상기 회전감지부는 상기 볼지지부에 형성되며, 상기 안착홈 내에서 회전하는 상기 트랙볼의 표면 패턴을 인식하는 패턴인식부와,
    상기 패턴인식부의 패턴인식정보를 통해 상기 트랙볼의 회전방향 및 회전량을 산출하는 회전량 산출부를 포함하고,
    상기 트랙볼에 마련되며, 사용자의 손과 접촉하여 상기 사용자의 체온, 심박수, 땀 발생여부 중 어느 하나 또는 둘 이상의 정보를 감지하는 생체신호감지부와,
    사용자의 얼굴을 촬영하는 촬영부와,
    상기 촬영부에서 촬영된 영상을 기초로 아바타 이미지를 생성하는 이미지 생성부와,
    상기 트랙볼이 상기 볼지지부로부터 분리되는 것을 감지하는 도난감지부와,
    상기 트랙볼에 내장된 배터리를 충전하기 위한 충전유닛을 더 구비하고,
    상기 생체신호감지부의 감지정보는 상기 영상제어부로 전송되며, 상기 영상제어부는 상기 생체신호감지부에 전송된 사용자의 생체신호에 따라 상기 영상출력유닛을 통해 출력되는 영상을 제어하도록 형성되고,
    상기 영상제어부는 상기 이미지 생성부에서 생성된 아바타 이미지를 상기 영상출력유닛을 통해 출력되는 영상에 합성하여 출력할 수 있도록 형성되며,
    상기 도난감지부는 상기 안착홈의 표면에 형성되어 상기 트랙볼의 표면에 형성된 패턴과 접촉하는 제1 전극 및 제2 전극을 포함하며,
    상기 패턴은 미세전류가 흐를 수 있는 도체로 형성되고, 상기 트랙볼의 표면에 형성된 패턴은 상기 트랙볼이 상기 볼지지부의 안착홈에 안착된 상태에서는 어느방향으로 회전하더라도 상기 제1 전극 및 제2 전극에 모두 접촉하도록 형성되되,
    상기 도난감지부는 제1 전극 및 제2 전극을 통해 전류가 통전되지 않으면 상기 트랙볼이 도난상태인 것으로 판단하고,
    상기 충전유닛은 상기 안착홈의 표면에 노출되어 있는 제1 충전단자와,
    상기 제1 충전단자를 통해 전원을 공급하는 전원공급부와,
    상기 트랙볼에 내장되는 배터리로 전원공급이 이루어지도록 상기 제1 충전단자와 접촉할 수 있도록 상기 트랙볼에 형성되는 제2 충전단자와,
    상기 제2 충전단자가 제1 충전단자와 접촉할 수 있게 상기 트랙볼을 자동으로 회전시켜 충전상태가 되도록 유도하는 충전유도부를 포함하고,
    상기 충전유도부는 상기 패턴인식부를 통해 상기 제1 충전단자에 제2 충전단자가 접촉하기 위해 트랙볼이 회전해야 하는 회전방향 및 회전량을 산출하는 충전유도산출부와,
    상기 충전유도산출부의 산출정보에 따라 상기 트랙볼을 회전구동하는 볼회전구동부를 포함하고,
    상기 볼회전구동부는 상기 안착홈의 표면에 노출되도록 형성되고 상기 트랙볼을 x축을 중심으로 회전하게 하는 제1 구동부재와, 상기 트랙볼을 y축을 중심으로 회전하게 하는 제2 구동부재와, 상기 트랙볼을 z축을 중심으로 회전하게 하는 제3 구동부재를 포함하고,
    상기 제1 구동부재와 제2 구동부재 및 제3 구동부재는 각각 필요에 따라 상기 트랙볼과 접촉하거나 접촉이 해제될 수 있도록 승강액추에이터에 의해 승강 가능하도록 형성된 것을 특징으로 하는
    360도 가상영상 체험시스템.
KR1020180171057A 2018-12-27 2018-12-27 360도 가상영상 체험시스템 KR102157160B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180171057A KR102157160B1 (ko) 2018-12-27 2018-12-27 360도 가상영상 체험시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180171057A KR102157160B1 (ko) 2018-12-27 2018-12-27 360도 가상영상 체험시스템

Publications (2)

Publication Number Publication Date
KR20200080995A KR20200080995A (ko) 2020-07-07
KR102157160B1 true KR102157160B1 (ko) 2020-09-17

Family

ID=71602669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180171057A KR102157160B1 (ko) 2018-12-27 2018-12-27 360도 가상영상 체험시스템

Country Status (1)

Country Link
KR (1) KR102157160B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100209871B1 (ko) * 1995-02-21 1999-07-15 엘리 웨이스 , 알 비 레비 트랙 볼의 방향을 직접 감지하는 시스템
JP2001175411A (ja) * 1999-12-17 2001-06-29 Tokin Corp 画像コントロール装置
JP2005500721A (ja) * 2001-06-25 2005-01-06 リチャーズ アンガス Ｖｔｖシステム
JP2014166215A (ja) * 2013-02-28 2014-09-11 Rohm Co Ltd 脈波センサ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634966B1 (ko) 2016-04-05 2016-06-30 삼성지투비 주식회사 Ｖｒ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
KR20180124302A (ko) 2017-05-11 2018-11-21 박인철 Ar/vr 유무선 제어장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100209871B1 (ko) * 1995-02-21 1999-07-15 엘리 웨이스 , 알 비 레비 트랙 볼의 방향을 직접 감지하는 시스템
JP2001175411A (ja) * 1999-12-17 2001-06-29 Tokin Corp 画像コントロール装置
JP2005500721A (ja) * 2001-06-25 2005-01-06 リチャーズ アンガス Ｖｔｖシステム
JP2014166215A (ja) * 2013-02-28 2014-09-11 Rohm Co Ltd 脈波センサ

Also Published As

Publication number Publication date
KR20200080995A (ko) 2020-07-07

Similar Documents

Publication Publication Date Title
EP3616040B1 (en) Augmented reality system comprising light-emitting user input device
US10353460B2 (en) Eye and head tracking device
JP5186723B2 (ja) コミュニケーションロボットシステムおよびコミュニケーションロボットの視線制御方法
KR101827912B1 (ko) 보행 가능한 가상 현실 장치
US10860103B2 (en) Enhancing virtual reality with physiological sensing
KR20130031120A (ko) 올바른 기기사용자세 유도 장치 및 방법
US11835727B2 (en) Information processing apparatus and information processing method for controlling gesture operations based on postures of user
KR102055677B1 (ko) 이동 로봇 및 그 제어방법
Bian et al. Facial position and expression-based human–computer interface for persons with tetraplegia
Hu et al. Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering
KR102430067B1 (ko) 운동 병합형 가상현실 기반 인지재활 훈련 시스템 및 방법
Bouguila et al. Virtual locomotion system for large-scale virtual environment
US20240134449A1 (en) Eye detection methods and devices
KR102157160B1 (ko) 360도 가상영상 체험시스템
Jovanov et al. Avatar—A multi-sensory system for real time body position monitoring
Sahadat et al. Simultaneous multimodal access to wheelchair and computer for people with tetraplegia
KR101580317B1 (ko) 스마트폰을 이용한 자세 인식 장치
KR20170038461A (ko) 스마트 기기를 기반으로 한 감성 로봇 시스템 및 동작 모드 제어 방법
KR102444924B1 (ko) 가상 현실 장치 및 그 제어 방법
JP6855561B1 (ja) 透析患者運動支援システムおよび透析患者運動支援装置ならびにその方法およびプログラム
CN113995416A (zh) 用于显示眼镜中的用户界面的装置和方法
KR20190113453A (ko) 가상현실 시스템에서 머리 장착형 전자장치 및 라이더 장치를 제어하는 방법 및 장치
US11983337B1 (en) Information handling system mouse with strain sensor for click and continuous analog input
US11983061B1 (en) Information handling system peripheral device sleep power management
Whitton et al. Locomotion interfaces

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right