KR20200076178A - 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터 - Google Patents

가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터 Download PDF

Info

Publication number
KR20200076178A
KR20200076178A KR1020180165034A KR20180165034A KR20200076178A KR 20200076178 A KR20200076178 A KR 20200076178A KR 1020180165034 A KR1020180165034 A KR 1020180165034A KR 20180165034 A KR20180165034 A KR 20180165034A KR 20200076178 A KR20200076178 A KR 20200076178A
Authority
KR
South Korea
Prior art keywords
fragrance
sound
augmented reality
projector
amplitude
Prior art date
Application number
KR1020180165034A
Other languages
English (en)
Inventor
박준석
방준학
이해룡
장성준
최종우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180165034A priority Critical patent/KR20200076178A/ko
Priority to US16/288,445 priority patent/US10551050B1/en
Publication of KR20200076178A publication Critical patent/KR20200076178A/ko

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V33/00Structural combinations of lighting devices with other articles, not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61LMETHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00Disinfection, sterilisation or deodorisation of air
    • A61L9/14Disinfection, sterilisation or deodorisation of air using sprayed or atomised substances including air-liquid contact processes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61LMETHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00Disinfection, sterilisation or deodorisation of air
    • A61L9/015Disinfection, sterilisation or deodorisation of air using gaseous or vaporous substances, e.g. ozone
    • A61L9/02Disinfection, sterilisation or deodorisation of air using gaseous or vaporous substances, e.g. ozone using substances evaporated in the air by heating or combustion
    • A61L9/03Apparatus therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61LMETHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00Disinfection, sterilisation or deodorisation of air
    • A61L9/015Disinfection, sterilisation or deodorisation of air using gaseous or vaporous substances, e.g. ozone
    • A61L9/04Disinfection, sterilisation or deodorisation of air using gaseous or vaporous substances, e.g. ozone using substances evaporated in the air without heating
    • A61L9/12Apparatus, e.g. holders, therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61LMETHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2209/00Aspects relating to disinfection, sterilisation or deodorisation of air
    • A61L2209/10Apparatus features
    • A61L2209/12Lighting means
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2115/00Light-generating elements of semiconductor light sources
    • F21Y2115/10Light-emitting diodes [LED]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

향기 프로젝터를 이용해 가상증강현실을 제공하는 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 가상증강현실 제공 방법은, 입력되는 가상증강현실 미디어 관련 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출하는 단계; 상기 소리의 진폭을 냄새 농도 신호로 변환하는 단계; 상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하는 단계; 및 상기 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향기 프로젝터를 제어하는 단계를 포함할 수 있다.

Description

가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터{METHOD FOR PROVIDING VIRTUAL AUGMENTED REALITY, APPARATUS AND SCENT PROJECTOR USING THE METHOD}
본 발명은 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터에 관한 것으로, 더욱 상세하게는 멀티모탈 융합 가상증강현실을 제공하는 방법 및 이러한 방법을 이용하는 가상증강현실 제공 장치 및 향기 프로젝터에 관한 것이다.
가상 현실은 현실 세계를 실사 혹은 그래픽 기술을 활용하여 실제와 같은 가상 공간 환경을 제공하여 현실 공간처럼 가상 체험을 제공하는 기술이다. 360도로 펼쳐지는 영상과 음향을 통해 실제와 유사한 가상공간을 생성하여 실재감과 몰입도를 높이고 외부 장치를 활용해 가상현실에 존재하는 상황과 상호작용할 수 있는 특징을 갖는다.
가상현실 장치는 머리에 착용하는 투구형 가상현실 헤드업디스플레이(HMD) 제품이 대표적이며, 대표적인 상용 제품으로는 삼성의 VR(Virtual Reality) 헤드셋, 오큘러스 리프트, HTC의 바이브, 소니의 플레이스테이션 VR 등이 있다. 증강현실은 현실 공간의 영상에 가상의 정보를 실시간으로 결합하여 사용자가 가상 정보와 상호작용할 수 환경을 제공하며, 글래스 형태의 제품이 대표적이며, 상용 제품으로는 뷰직스의 ‘Vuzix M100’, 구글의 구글 글래스 등이 있다.
가상현실과 증강현실이 융합된 가상증강현실(혼합현실) 제품으로는 마이크로소프트의 홀로렌즈가 대표적이다. 이와 같이 다양한 가상 현실과 증강 현실 장치가 개발되고 있으며. 이러한 장치는 대부분 얼굴에 착용하는 고글 형태로 개발되어 고성능 디스플레이, 헤드포지셔닝과 트래킹, 공간 스캐닝, 인지 기술 등을 중심으로 3-D 비디오 스트림과 서라운드 스테레오 사운드 등 보다 향상된 오디오 및 비디오 효과를 제공하는 기능을 갖추고 있다.
이처럼 종래의 가상, 증강 현실에서 오감을 체험할 수 있도록 하는 기존의 기술들은 가상 현실 시스템의 3-D 고글에 부착된 마스크를 통해 냄새, 진동, 냉온 공기, 물 스프레이 등 복수의 감각 자극을 제공하여 가상 현실에서 감각 체험 자극을 제공하는 시스템이 일반적이다.
이러한 기존의 방법은 공기의 자연스런 흐름에 따라 냄새를 출력하며, 다양한 감각 자극을 실행함에 있어서, 감각 자극 이벤트 마커를 사전에 콘텐츠에 삽입하여야 한다는 제약이 존재한다. 또한, 이러한 종래의 휴대형 가상 및 증강 현실 장치는 인간의 주요 감각인 시각과 청각에만 영향을 주는 한계를 가진다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 멀티모탈 융합 가상증강현실을 제공하는 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 가상증강현실을 제공하는 향 프로젝터를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 향기 프로젝터를 포함하는 가상증강현실 제공 장치에 의해 수행되는 가상증강현실 제공 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 가상증강현실 제공 장치는 향기 프로젝터를 이용해 가상증강현실을 제공하며, 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고, 상기 적어도 하나의 명령은, 입력되는 가상증강현실 미디어 관련 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출하도록 하는 명령; 상기 소리의 진폭을 냄새 농도 신호로 변환하도록 하는 명령; 상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하도록 하는 명령; 및 상기 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향기 프로젝터를 제어하도록 하는 명령을 포함할 수 있다.
상기 소리의 진폭을 냄새 농도 신호로 변환하도록 하는 명령은, 상기 소리에 대한 전체 진폭 범위를 복수의 구간으로 분할하도록 하는 명령; 및 분할된 각 구간별로 서로 다른 냄새 농도를 설정하도록 하는 명령을 포함할 수 있다.
상기 분할된 각 구간별로 서로 다른 냄새 농도를 설정하도록 하는 명령은, 상기 복수의 구간 중 진폭이 작은 구간에 대해서는 냄새 농도를 약하게 설정하고, 진폭이 큰 구간에 대해서는 냄새 농도를 진하게 설정하도록 하는 명령을 포함할 수 있다.
상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하도록 하는 명령은, 상기 소리의 주파수 범위 중 가청 주파수 범위를 복수의 구간으로 분할하도록 하는 명령; 및 분할된 각 구간별로 서로 다른 냄새의 질을 매핑하도록 하는 명령을 포함할 수 있다.
상기 분할된 각 구간별로 서로 다른 냄새의 질을 매핑하도록 하는 명령은, 낮은 주파수 대역을 포함하는 구간에 대해서는 무겁거나 중후한 향을 매핑하고, 높은 주파수 대역을 포함하는 구간에 대해서는 달콤하거나 상큼한 향을 매핑하도록 하는 명령을 포함할 수 있다.
상기 향 프로젝터는, 개별 향을 저장하는 복수의 향 저장 모듈을 포함하는 향 저장소; 상기 향 저장소에 저장된 향을 가열하여 기화를 촉진하는 LED 램프; 외부로부터 공기를 흡입하여 공기 탱크에 압축 저장하는 공기 펌프; 상기 공기 탱크 및 개별 향 저장 모듈에 연결된 복수의 입력 밸브; 개별 향 저장 모듈에 연결되어 상기 개별 향 저장 모듈로부터 출력되는 향기 분자를 해당 분사 노즐로 가이드하는 출력 밸브를 포함할 수 있다.
상기 향 프로젝터는 위치에 따라 경사각이 다르게 설정되는 복수의 분사 노즐을 더 포함할 수 있으며, 상기 복수의 노즐에 의해 분사되는 향기 분자는 공간 내에서 동일한 위치를 향한다.
또한 상기 적어도 하나의 명령은, 사용자 단말로부터 향기 발산 제어 신호를 수신하고, 상기 제어 신호에 대응하는 상기 향기 프로젝터 내 모듈을 선택하고, 상기 제어 신호에 따라 상기 향기 프로젝터 내 모듈을 제어하도록 하는 명령을 더 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따라 가상증강현실을 제공하는 향 프로젝터는, 개별 향을 저장하는 복수의 향 저장 모듈을 포함하는 향 저장소; 상기 향 저장소에 저장된 향을 가열하여 기화를 촉진하는 LED 램프; 외부로부터 공기를 흡입하여 공기 탱크에 압축 저장하는 공기 펌프; 상기 공기 탱크 및 개별 향 저장 모듈에 연결된 복수의 입력 밸브; 및 개별 향 저장 모듈에 연결되어 상기 개별 향 저장 모듈로부터 출력되는 향기 분자를 해당 분사 노즐로 가이드하는 출력 밸브; 및 입력되는 가상증강현실 미디어 관련 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출하고, 상기 소리의 진폭을 냄새 농도 신호로 변환하고, 상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하며, 상기 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향 저장소, 상기 LED 램프, 상기 공기 펌프, 상기 입력 밸브, 및 상기 출력 밸브 중 적어도 하나를 제어하는 프로세서를 포함할 수 있다.
상기 향 프로젝터는 또한, 상기 향 저장소에 저장된 향을 가열하여 기화를 촉진하는 LED 램프; 현실 공간의 장면 관련 영상 및 공간 내 객체의 깊이 관련 데이터 중 적어도 하나를 획득하는 복수의 영상 입력 장치; 상기 영상 입력 장치로부터 입력되는 영상 및 가상 객체 중 적어도 하나를 시각적으로 표현하는 디스플레이부; 및 상기 프로세서의 제어에 따라 출력되는 멀티미디어 콘텐츠에 동기하여 해당하는 소리를 출력하는 스피커를 더 포함할 수 있다.
상기 향 프로젝터는 위치에 따라 경사각이 다르게 설정되는 복수의 분사 노즐을 더 포함할 수 있으며, 상기 복수의 노즐에 의해 분사되는 향기 분자는 공간 내에서 동일한 위치를 향할 수 있다.
상기 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따라 향기 프로젝터를 이용해 가상증강현실을 제공하는 방법은, 입력되는 가상증강현실 미디어 관련 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출하는 단계; 상기 소리의 진폭을 냄새 농도 신호로 변환하는 단계; 상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하는 단계; 및 상기 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향기 프로젝터를 제어하는 단계를 포함할 수 있다.
상기 소리의 진폭을 냄새 농도 신호로 변환하는 단계는, 상기 소리에 대한 전체 진폭 범위를 복수의 구간으로 분할하는 단계; 및 분할된 각 구간별로 서로 다른 냄새 농도를 설정하는 단계를 포함할 수 있다.
상기 분할된 각 구간별로 서로 다른 냄새 농도를 설정하는 단계는, 상기 복수의 구간 중 진폭이 작은 구간에 대해서는 냄새 농도를 약하게 설정하고, 진폭이 큰 구간에 대해서는 냄새 농도를 진하게 설정하는 단계를 포함할 수 있다.
상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하는 단계는, 상기 소리의 주파수 범위 중 가청 주파수 범위를 복수의 구간으로 분할하는 단계; 및 분할된 각 구간별로 서로 다른 냄새의 질을 매핑하는 단계를 포함할 수 있다.
상기 분할된 각 구간별로 서로 다른 냄새의 질을 매핑하는 단계는, 낮은 주파수 대역을 포함하는 구간에 대해서는 무겁거나 중후한 향을 매핑하고, 높은 주파수 대역을 포함하는 구간에 대해서는 달콤하거나 상큼한 향을 매핑하는 단계를 포함할 수 있다.
상기 가상 증강현실 제공 방법은, 사용자 단말로부터 향기 발산 제어 신호를 수신하는 단계; 상기 제어 신호에 대응하는 상기 향기 프로젝터 내 모듈을 선택하는 단계; 상기 제어 신호에 따라 상기 향기 프로젝터 내 모듈을 제어하는 단계를 더 포함할 수 있다.
상기 향기 프로젝터 내 모듈은, 향 저장소, 입력 밸브, 출력 밸브, 공기 펌프, 공기 탱크, LED 램프, 및 압력 센서 중 적어도 하나를 포함할 수 있다.
상기 가상 증강현실 제공 방법은 또한, 입력되는 사용자 상호작용에 대응하는 향기를 결정하는 단계; 및 상기 결정된 향기를 발산하도록 상기 향 프로젝터를 제어하는 단계를 더 포함할 수 있다.
상기 사용자 상호작용은, 냄새와 연관되는 가상 공간 또는 가상 공간 내 객체와 관련한 사용자의 시선 및 사용자의 동작 중 적어도 하나를 포함할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 오디오/비디오 중심의 기존 가상 현실과 증강 현실에 냄새를 생성하고, 소리를 이용하여 냄새의 세기와 질을 제어하며, 사용자의 동작에 기반하여 후각 발향을 체험하는 방법을 제공함으로써 기존의 가상증강현실 장치에서 경험하지 못하는 새로운 사용자 경험을 제공하는 방법을 제시한다.
즉, 본 발명의 실시예들에 따르면 종래의 가상, 증강 현실 장치에서 제공하는 멀티미디어(오디오/비디오)에 추가적으로 냄새 모달리티를 융합하여 제공함으로써, 소리, 영상, 냄새를 통한 동시 자극을 통해 사용자의 현실감을 증대시키고 사용자 감성 경험의 질을 향상시킨다.
도 1은 본 발명의 일 실시예에 따른 가상증강현실 장치의 개념도이다.
도 2은 본 발명의 일 실시예에 따른 향 프로젝터의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 향 프로젝터의 향 배출 노즐 구조를 도시한다.
도 4는 본 발명의 일 실시예에 따라 소리를 이용해 향의 출력을 제어하는 방법의 개념을 도시한다.
도 5는 본 발명의 일 실시예에 따른 사용자 상호작용에 기반한 향기 발산 제어의 개념도이다.
도 6은 본 발명의 다른 실시예에 따른 사용자 상호작용에 기반한 향기 발산 제어의 개념도이다.
도 7은 본 발명의 또 다른 실시예에 따른 사용자 상호작용에 기반한 향기 발산 제어의 개념도이다.
도 8은 본 발명의 일 실시예에 따른 가상증강현실 제공 방법의 동작 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은, 가상증강 현실 환경에서 사용자에게 실재감과 몰입감을 생성하기 위해 시각, 청각과 함께 후각 자극을 제공하는 향 프로젝터가 융합된 가상증강현실 헤드셋 장치 및 조작에 관한 발명으로, 가상현실 및 증강현실시스템 기술과 관련된다.
본 발명에서는 오디오/비디오 중심의 기존 가상 현실과 증강 현실에 냄새를 생성하고, 소리를 이용하여 냄새의 세기와 질을 제어하며, 사용자의 동작에 기반하여 후각 발향을 체험하는 방법을 제공함으로써 기존의 가상증강현실 장치에서 경험하지 못하는 새로운 사용자 경험을 제공하는 방법을 제시한다.
본 발명은 시각(영상), 청각(소리), 후각(냄새)이 융합된 멀티모달을 제공하는 가상증강현실 장치와 이를 기반으로 가상증강현실 공간에서 실재감과 몰입감의 경험을 제공하는 조작 방법을 제시한다. 이를 위해 본 발명에서는 멀티모달 융합의 가상증강현실 제공 장치와 이에 부속된 헤드셋 형태의 향 프로젝터, 소리 신호를 이용한 향 프로젝터의 냄새 출력 제어 신호 생성, 사용자 동작 기반의 향기 발산 방법을 제시하여 기존의 가상현실, 증강현실에서 제공하는 시청각 중심의 사용자 경험을 확장하여 대화식의 시각, 청각, 후각 감성 가상증강현실 플랫폼 제공을 목표로 한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 가상증강현실 장치의 개념도이다.
본 발명의 일 실시예에 따른 가상증강현실 제공 장치는, 냄새, 소리, 영상을 출력하여 사용자에게 전달하기 위한 멀티모달(multi-modal) 장치이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상증강현실 제공 장치는 사용자 착용 장치(100) 및 사용자 단말(200)을 포함할 수 있다.
본 발명의 일 실시예에 따른 가상증강현실 제공 장치는 또한 사용자 착용 장치만을 포함할 수도 있고, 사용자 착용 장치 내에 모듈 형태로 존재할 수도 있다.
사용자 착용 장치(100)는 안경 형태의 장치, 헤드셋, HMD(Head Mount Display), HUD(Head Up Display) 등이 될 수 있다. 또한, 사용자 단말(200)은 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), 스마트워치(Smart Watch) 등이 될 수 있다.
사용자는 사용자 단말(200)이 제공하는 사용자 인터페이스를 통해 가상증강현실 제공 장치 또는 사용자 착용 장치에 대한 제어를 수행할 수 있다.
구체적으로, 사용자 착용 장치(100)는 향 프로젝터(110), 제1 영상 입력장치(120), 제2 영상 입력장치(130), 스피커(140), 프로세서(150), 및 디스플레이부(160)를 포함할 수 있다.
향 프로젝터(110)는 다양한 종류의 향을 저장하며 제어 신호에 따라 해당하는 향을 발산한다. 향 프로젝터(110)의 세부 구조와 관련해서는 아래 도 2를 통해 상세히 설명한다.
제1 영상 입력장치(120)는 현실 공간의 장면을 획득하는 광각 카메라, 즉 일반적인 카메라로서, 복수의 카메라 모듈을 포함할 수 있다.
제2 영상 입력장치(130)는 현실 공간의 피사체에 빛을 쏘아 반사되어 오는 시간을 측정해 카메라 렌즈와 피사체 간 거리를 계산함으로써 피사체, 즉 객체의 깊이(depth)를 측정하는 AR(Augmented Reality) 카메라, 깊이 카메라(depth camera)일 수 있다.
스피커(140)는 프로세서의 제어에 따라 가상증강현실 장치가 출력하는 멀티미디어 콘텐츠에 동기하여 해당하는 소리를 출력한다.
프로세서(150)는 무선 통신을 통해 사용자 단말(200)로부터 수신한 제어신호에 따라 향 프로젝터를 구동한다. 프로세서(150)는 또한 스피커의 입출력 전처리를 수행할 수 있다. 또한, 프로세서(150)는 제1 영상 입력장치 및 제2 영상 입력장치로부터 입력된 영상으로부터 냄새와 연관된 객체를 식별하고 세그멘테이션할 수 있으며, 입력된 영상을 가상증강현실 관련 3D영상으로 변환하는 역할을 수행할 수 있다.
한편, 냄새 관련 객체 식별 및 입력된 영상을 3D로 변환하는 작업은 사용자 단말(200)에 의해 수행될 수도 있으며, 이 경우 해당 작업의 결과는 사용자 착용 장치로 전달되어 디스플레이부를 통해 표현될 수 있다.
디스플레이부(160)는 카메라로부터 입력되는 영상을 출력할뿐만 아니라, 프로세서(150) 또는 사용자 단말(200)에 의해 처리된 가상 객체를 카메라로부터 입력된 영상과 중첩하여 디스플레이한다.
한편, 도 1에 도시되지는 않았으나 사용자 착용 장치(100)는 무선통신 모듈을 더 포함할 수 있으며, 무선통신 모듈은 무선통신, 특히 근거리 무선 통신 방식을 통해 사용자 단말과 통신할 수 있다.
도 1의 실시예를 통해 살펴본 바와 같이 본 발명에 따른 가상증강현실 제공 장치는 사용자 착용 장치, 사용자 착용 장치 내 모듈, 사용자 착용 장치 및 사용자 단말을 포함하는 개념 등 다양한 형태로 구현될 수 있다.
정리하면, 본 발명에 따른 가상증강현실 제공 장치는 향기 프로젝터를 이용해 가상증강현실을 제공하는 장치로서, 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함할 수 있다.
상기 적어도 하나의 명령은, 입력되는 가상증강현실 미디어 관련 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출하도록 하는 명령; 상기 소리의 진폭을 냄새 농도 신호로 변환하도록 하는 명령; 상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하도록 하는 명령; 및 상기 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향기 프로젝터를 제어하도록 하는 명령을 포함할 수 있다.
도 2은 본 발명의 일 실시예에 따른 향 프로젝터의 블록 구성도이다.
본 발명의 일 실시예에 따른 향 프로젝터(300)는 냄새를 출력하여 사용자에게 전달하는 역할을 수행하며, 도 1을 통해 살펴본 바와 같이 사용자 착용 장치에 부착 또는 탑재될 수 있다.
도 2에 도시된 실시예에 따른 향 프로젝터(300)는 프로세서(310), LED 제어기(320), LED 램프(330), 공기펌프(340), 공기 탱크(350), 압력 센서(360), 입력 밸브(370), 향 저장소(380), 및 출력 밸브(390)를 포함하여 구성될 수 있다.
본 실시예에서 프로세서(310)는 도 1에서 살펴본 프로세서(110)와 동일한 기능을 수행할 수도 있고 사용자 착용 장치 전체가 아닌 향 프로젝터만을 제어하기 위한 기능을 수행할 수도 있다.
우선 향 저장소(380)는 다양한 종류의 향을 저장하여 향 팔레트를 구성한다. 여기서, 향 저장소(380)는 도 2에 도시된 바와 같이, 각각의 향을 저장하는 복수의 개별 저장 모듈을 포함하며, 각 저장 모듈은 해당 모듈을 위한 별개의 입력 밸브 및 출력 밸브와 연결된다.
여기서, 복수의 향은 시트러스, 바닐라, 아몬드, 허브, 향신료, 우드향 등 다양한 향 노트, 즉 인상 표현을 나타내는 다양한 종류의 향을 포함할 수 있다.
LED 램프(330)는 향 저장소에 저장된 고체 향을 가열하여 기화를 촉진하고 동작 상태를 표시한다. 입력 밸브(370)과 출력 밸브(390)는 공기 탱크(350)에 저장된 공기의 압력을 이용해 향 저장소의 헤드 공간에 분포된 향 공기분자(odorants)를 외부로 배출하기 위한 개폐기 역할을 수행한다. 공기 펌프(340)는 외부로부터 공기를 흡입하여 공기 탱크(350)에 압축 저장하며, 압력 센서(360)는 공기 탱크(350)의 압력 값을 체크한다.
프로세서(310)는 향 프로젝터 내 모듈들, 특히 LED 제어기(320), 공기펌프(340), 압력 센서(360), 및 입출력 밸브(370, 390)를 제어할 수 있다. 이를 위해, 향 프로젝터는 프로세서를 통해 실행되는 적어도 하나의 명령 및 명령 수행의 결과를 저장하는 메모리를 포함할 수 있다.
여기서, 적어도 하나의 명령은, 상기 프로세서로 하여금, 입력되는 가상증강현실 미디어 관련 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출하도록 하는 명령; 상기 소리의 진폭을 냄새 농도 신호로 변환하도록 하는 명령; 상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하도록 하는 명령; 및 상기 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향기 프로젝터를 제어하도록 하는 명령을 포함하는하는 명령을 포함할 수 있다.
여기서, 상기 소리의 진폭을 냄새 농도 신호로 변환하도록 하는 명령은, 상기 소리에 대한 전체 진폭 범위를 복수의 구간으로 분할하도록 하는 명령; 및 분할된 각 구간별로 서로 다른 냄새 농도를 설정하도록 하는 명령을 포함할 수 있다.
상기 분할된 각 구간별로 서로 다른 냄새 농도를 설정하도록 하는 명령은, 상기 복수의 구간 중 진폭이 작은 구간에 대해서는 냄새 농도를 약하게 설정하고, 진폭이 큰 구간에 대해서는 냄새 농도를 진하게 설정하도록 하는 명령을 포함할 수 있다.
상기 적어도 하나의 명령은 또한, 사용자 단말로부터 향기 발산 제어 신호를 수신하고, 상기 제어 신호에 대응하는 상기 향기 프로젝터 내 모듈을 선택하고, 상기 제어 신호에 따라 상기 향기 프로젝터 내 모듈을 제어하도록 하는 명령을 더 포함할 수 있다.
본 발명의 일 실시예에 따른 향 프로젝터는 아래 서술하는 절차에 따라 동작할 수 있다.
프로세서(310)는 압력 센서(360)를 통해 공기 탱크(350)의 기압을 항시 또는 주기적으로 체크한다. 프로세서(310)는 공기 탱크(350)의 기압이 일정수준 이하로 떨어지면 공기 펌프(340)를 가동하여 공기 탱크(350)로 공기를 주입함으로써 공기 탱크 내 기압을 일정하게 유지한다.
한편, 스마트폰이나 스마트워치 등으로 구현될 수 있는 사용자 단말(200)은 사용자 명령에 따라 향 프로젝터를 제어하기 위한 제어 명령을 향 프로젝터로 송신한다.
향 프로젝터의 프로세서(310)는 사용자 단말로부터 제어 명령을 수신하면 명령의 유효성을 검사하고 해당 명령에 대응하는 밸브를 제어한다. 여기서, 제어 명령은 ‘기압 읽기’, ‘가압하기’, ‘향 발산’, ‘LED PWM 제어’, ‘멈춤’ 등의 명령을 포함한다.
예를 들어, 사용자 단말로부터'가압하기’ 명령을 수신하는 경우, 프로세서(310)는 향 저장소(380)에 내장된 여러 향기 모듈들 중 해당 명령에 대응하는 모듈과 연결된 입력 밸브(370)를 열어 설정된 펌프 속도로 출력 압력(0 ~ 44 kPa)을 채워 넣는다.
또한, 예를 들어, 프로세서(310)가 ‘LED PWM(Pulse Width Modulation) 제어’ 명령을 수신하면 LED 밝기를 설정된 값으로 조절하여 별도의 히터 없이 향 저장소를 가열함으로써 향의 기체화를 돕는다.
추가적으로, 프로세서(310)가‘향 발산’ 명령을 수신하는 경우에는 선택된 향기 모듈과 연결된 출력 밸브를 설정된 시간 동안 열어, 공기와 함께 향기 분자를 분사한다. 향기 분자의 분사는 본 발명의 일 실시예에 따른 노즐의 경사 구조에 의해 임의의 출력 밸브에 관계없이 향기 분자가 항상 일정한 위치에 분사되도록 이루어진다.
프로세서(310)가 사용자 단말로부터 ‘기압 읽기' 명령을 수신하면 현재 공기 탱크(350)의 압력 값을 읽어옴으로써 현재 공기 탱크의 압력 상태를 검사한다.
도 3은 본 발명의 일 실시예에 따른 향 프로젝터의 향 배출 노즐 구조를 도시한다.
도 3은 향 프로젝터에서 향이 출력밸브로부터 출력될 때 향기 배출구의 상세 구조를 도시한다.
도 3을 참조하면, 공기 탱크(350)에 연결된 본 발명의 일 실시예에 따른 향기 배출구는 개별 향기 모듈과 연결된 향기 배출관(391)을 포함하며, 추가적으로 각 향기 배출관(391)에 대응하는 공기 주입관(392)를 포함한다. 그에 따라 향기 배출구의 향기 배출관(391)을 통해 분사되는 향기 분자는 공기 주입관(392)을 통해 분사되는 공기와 섞여 배출구를 통해 배출된다.
이때, 최종적으로 향기 분자를 배출하는 배출 노즐은 각 노즐마다 경사각이 다르게 설정될 수 있다. 즉, 배출구 내 노즐이 배치된 상대적인 위치에 따라 노즐의 경사각이 설정될 수 있으며, 바람직하게는 복수의 노즐이 동일한 공간 위치(도 3에서 포인트 P)에 향의 공기분자를 배출하도록 구성될 수 있다.
한편, 본 발명의 다른 실시예에 따른 멀티모달 가상증강현실 장치는 소리, 영상, 냄새를 융합하여 표현할 수 있다. 본 발명은 사용자의 감성을 증대하기 위해 소리와 냄새의 크로스모달(crossmodal) 영향을 최대화하여 소리의 주파수와 진폭에 맞추어 냄새 출력 제어 신호를 생성한다. 본 발명에서는 또한, 소리를 이용해 냄새 신호의 출력을 제어하기 위해 소리의 세기(진폭)와 높이(주파수)를 이용하여 향의 세기와 향의 질을 제어한다. 여기서, 향의 세기는 냄새의 강함과 약함의 정도를 나타내며, 향의 질은 향에 의해 표현될 수 있는, 부드러운, 차가운, 무거운 등 특정 향에 대한 인간의 감각에 기반한 인상 표현을 제공한다.
이러한 향의 질은, 향을 표현할 때 향의 노트에 따라 상큼한(시트러스)향, 고소하고 달콤한(바닐라, 아몬드)향, 차갑고 상큼한(허브)향, 맵고 자극적인(향신료)향, 무겁고 중후한(우디)향 등으로 표현할 수 있다. 본 발명에서는 이러한 개념에 기초하여 일정한 간격으로 소리의 세기와 높이를 측정하고 이를 냄새의 세기와 냄새의 질을 제어하는 신호로 변경할 수 있다.
도 4는 본 발명의 일 실시예에 따라 소리를 이용해 향의 출력을 제어하는 방법의 개념을 도시한다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 향 출력 제어 방법은, 입력된 소리의 주파수와 진폭을 분석하여 냄새 신호로 매핑하는 방법을 나타낸다.
우선, 입력된 소리에 대해 소음을 제거한 후 주파수와 진폭을 분석한다(S410). 소리의 주파수 및 진폭 분석이 완료되면, 소리의 진폭, 즉 소리의 크기는 냄새 농도로 변환하고, 소리의 주파수에 의해 표현되는 소리의 높낮이를 나타내는 피치(pitch)는 냄새의 질 신호로 변환한다(S420).
여기서, 소리의 주파수 및 진폭 분석, 그에 이어지는 냄새 신호로의 매핑은 입력되는 연속적인 소리 신호를 일정 시간 구간에서 이산 신호로 변환한 상태에서 해당 구간마다 이루어질 수 있다.
소리의 진폭을 냄새 농도로 매핑하는 방법의 일 실시예로서, 통상적으로 발생하는 소리의 가능한 진폭 범위를 0~60 dB 대역이라고 할때, 전체 진폭의 범위를 3등분하여 0~20dB, 21~40dB, 41~60dB의 3단계의 구간으로 구분하고 각 구간별로 냄새 농도를 다르게 적용할 수 있다. 예를 들어, 진폭이 가장 낮은 구간에 대해서는 향의 분사 세기를 최소 세기로 설정하고, 진폭이 가장 높은 구간에 대해서는 향의 분사 세기를 최대 세기로 설정할 수 있다.
여기서, 전체 소리 구간으로부터 분할된 하나의 시간 구간에서 진폭을 결정하는 방법은 해당 시간 구간의 진폭 값들 중 최대 값을 선택하는 방법, 해당 시간 구간에 존재하는 복수의 진폭 값들의 평균을 산출하여 활용하는 방법 등이 활용될 수 있다.
또한, 소리의 높이를 냄새의 질로 매핑하는 방법의 일 실시예로서, 인간의 가청주파수(16Hz ~ 20kHz)를 일정 주파수 범위의 단위로 분할하고, 각 주파수 레벨에 대해 서로 다른 냄새의 질을 매핑한다. 예를 들어, 전체 가청 주파수 범위를 2kHz 단위로 10 등분하고 구분된 주파수 구간별로 서로 다른 냄새의 질을 매핑할 수 있다. 구분된 구간들 중 낮은 주파수 구간에는 무겁고 중후한 향(예를 들어, 우드 향)을 매핑하고, 높은 주파수를 갖는 구간에 대해서는 달콤하고 시큼한 향을 매핑할 수 있다.
상술한 바와 같은 소리-냄새 간 매핑이 완료되면 변환된 냄새 농도 레벨과 냄새의 질 정보를 이용하여 향을 발산하도록 향 프로젝터를 제어한다(S430).
본 발명의 또 다른 실시예에 따른 멀티모달 가상증강현실 장치는, 사용자에게 영상 디스플레이에 출력되는 화면에 존재하는 영상 객체와 연관된 향을 경험하도록 하기 위해서 사용자의 동작에 기반한 향 발산 제어를 수행할 수 있다. 즉, 본 발명에 따른 멀티모달 가상증강현실 장치는 사용자 동작 중 특정 시점에 영상과 연관된 향을 발산할 수 있다.
도 5는 본 발명의 일 실시예에 따른 사용자 상호작용에 기반한 향기 발산 제어의 개념도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 가상증강현실 장치를 착용한 사용자가 가상증강현실 장치의 디스플레이 및 스피커를 통해 제시되는 멀티미디어에 반응하여 자연스럽게 손을 내밀어 가상 공간의 객체를 터치하거나 해당 객체를 손으로 쥐어 코 근처로 가까이 움직여 올 때마다 가상증강현실 장치가 향을 발산하도록 제어할 수 있다. 이때, 가상증강현실 장치는 사용자와 향을 발산하는 객체와의 거리를 측정하여 측정된 거리에 따라 향의 농도를 조절할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 사용자 상호작용에 기반한 향기 발산 제어의 개념도이다.
도 6에 도시된 실시예에 따른 가상증강현실 장치는 사용자가 가상 공간의 특정 환경으로 이동하여 특정 공간에 진입할 때 배경에 적합한 향을 발산할 수 있다. 도 6에 도시된 실시예에 따른 가상증강현실 장치는 또한, 사용자와 배경 화면과의 거리를 측정하여 향의 농도를 조절할 수 있다. 본 실시예에서 해당 가상 공간들은 특정한 냄새와 연관될 수 있으며, 따라서, 예를 들어, 숲속, 바다, 폭포수, 잔디, 수목원, 꽃집, 음식점 등을 포함할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 사용자 상호작용에 기반한 향기 발산 제어의 개념도이다.
도 7에 도시된 실시예에 따르면, 가상증강현실 장치는 사용자가 가상 공간의 특정 방향을 응시하거나 특정 객체를 응시할 때 특정 배경 혹은 객체에 맞는 향을 발산하도록 제어할 수 있다.
도 8은 본 발명의 일 실시예에 따른 가상증강현실 제공 방법의 동작 순서도이다.
도 8의 실시예에 도시된 가상증강현실 제공 방법은 본 발명의 일 실시예에 따른 가상증강현실 제공 장치, 향 프로젝터, 또는 가상증강현실 제공 장치 또는 향 프로젝터 내 프로세서에 의해 수행될 수 있다. 다만, 본 발명의 일 실시예 따른 가상증강현실 제공 방법의 동작 주체가 이들에 한정되는 것은 아니다. 이하에서는 동작 주체를 가상증강현실 제공 장치로 가정하고 설명한다.
본 발명의 일 실시예에 따른 가상증강현실 제공 장치는 사용자 단말로부터 향기 발산 제어 신호가 입력되는지 체크하고(S810), 제어 신호에 대응하는 상기 향기 프로젝터 내 모듈을 선택한다(S811). 향기 프로젝터가 포함하는 내부 모듈은 향 저장소, 입력 밸브, 출력 밸브, 공기 펌프, 공기 탱크, LED 램프, 및 압력 센서 등을 포함할 수 있다.
가상증강현실 제공 장치는 제어 신호에 따라 상기 향기 프로젝터 내 모듈을 제어한다(S812). 이때 제어되는 향기 프로젝터 내 모듈은 적어도 하나의 모듈일 수 있다.
한편, 가상증강현실 제공 장치는, 가상증강현실 미디어 관련 소리가 입력되는 경우(S820의 예), 해당 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출한다(S821).
가상증강현실 제공 장치는 분석된 소리의 진폭을 냄새 농도 신호로 변환한다(S822). 여기서, 소리의 진폭을 냄새 농도 신호로 변환하는 단계는, 상기 소리에 대한 전체 진폭 범위를 복수의 구간으로 분할하는 단계 및 분할된 각 구간별로 서로 다른 냄새 농도를 설정하는 단계를 포함할 수 있다.
가상증강현실 제공 장치는 또한 분석된 소리의 주파수를 냄새의 질(Quality) 신호로 변환하고(S823), 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향기 프로젝터를 제어한다(S824).
한편, 본 발명에 따른 가상증강현실 제공 장치는 사용자 상호작용이 입력되는지 체크하고(S830), 입력되는 사용자 상호작용에 대응하는 향기를 결정한다(S831).
사용자 상호작용에 대응하는 향기가 결정되면, 가상증강현실 제공 장치는 결정된 향기를 발산하도록 향 프로젝터를 제어한다(S832). 여기서, 상기 사용자 상호작용은, 냄새와 연관되는 가상 공간 또는 가상 공간 내 객체와 관련한 사용자의 시선 및 사용자의 동작 중 적어도 하나를 포함할 수 있다.
상기에서 설명한 바와 같이 본 발명의 멀티모달(냄새, 소리, 영상) 융합 기반의 가상증강현실 제공 장치 및 그 제어 방법에 따르면 냄새, 소리, 영상이 융합된 가상증강현실 정보를 표현할 수 있다. 그에 따라, 기존의 가상 증강현실 환경에서 체험해 보지 못한 후각 감성이 융합된 실감 효과를 기대할 수 있다. 그에 따라 사용자 동작 및 영상 화면의 유형에 따라 사용자의 자연스런 동작에 반응하여 실제 환경에서 체험하듯이 가상증강현실을 제공함으로써, 사용자로 하여금 가상증강현실 공간에서 새로운 감각 경험을 체험하도록 할 수 있다.
본 발명은 또한, 시각, 청각, 후각의 감각 자극을 생성하기 위해 헤드셋 형태의 새로운 가상증강현실 장치를 구성하고, 소리의 특성에 따라 자동으로 냄새를 제어 가능한 향 프로젝터를 제공한다.
추가적으로, 본 발명에서는 공기 압력과 온도를 이용하여 향 프로젝터로부터 냄새 출력을 제어함하여 신속하게 냄새를 출력할 수 있으며, 소리의 특성을 냄새 신호로 변경하여 소리와 냄새 융합을 자동으로 생성할 수 있다.
또한, 본 발명은 사용자의 동작에 기반하여 시각, 청각, 후각 체험의 상호작용을 할 수 있다. 이때, 본 발명은 사용자의 동작에 기반하여 냄새 출력 시점을 지정함으로써 인터랙티브한 가상증강현실 콘텐츠 환경을 제공한다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 사용자 착용 장치(100) 110, 300: 향 프로젝터
120: 광각 카메라 130: AR 카메라
140: 스피커 150: 프로세서
160: 디스플레이부 200: 사용자 단말
320: LED 제어기 330: LED 램프
340: 공기펌프 350: 공기탱크
360: 압력 센서 370: 입력 밸브
380: 향 저장소 390: 출력 밸브

Claims (20)

  1. 향기 프로젝터를 이용해 가상증강현실을 제공하는 장치로서,
    프로세서; 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고,
    상기 적어도 하나의 명령은,
    입력되는 가상증강현실 미디어 관련 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출하도록 하는 명령;
    상기 소리의 진폭을 냄새 농도 신호로 변환하도록 하는 명령;
    상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하도록 하는 명령; 및
    상기 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향기 프로젝터를 제어하도록 하는 명령을 포함하는, 가상증강현실 제공 장치.
  2. 청구항 1에 있어서,
    상기 소리의 진폭을 냄새 농도 신호로 변환하도록 하는 명령은,
    상기 소리에 대한 전체 진폭 범위를 복수의 구간으로 분할하도록 하는 명령; 및
    분할된 각 구간별로 서로 다른 냄새 농도를 설정하도록 하는 명령을 포함하는, 가상증강현실 제공 장치.
  3. 청구항 2에 있어서,
    상기 분할된 각 구간별로 서로 다른 냄새 농도를 설정하도록 하는 명령은,
    상기 복수의 구간 중 진폭이 작은 구간에 대해서는 냄새 농도를 약하게 설정하고, 진폭이 큰 구간에 대해서는 냄새 농도를 진하게 설정하도록 하는 명령을 포함하는, 가상증강현실 제공 장치.
  4. 청구항 1에 있어서,
    상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하도록 하는 명령은,
    상기 소리의 주파수 범위 중 가청 주파수 범위를 복수의 구간으로 분할하도록 하는 명령; 및
    분할된 각 구간별로 서로 다른 냄새의 질을 매핑하도록 하는 명령을 포함하는, 가상증강현실 제공 장치.
  5. 청구항 1에 있어서,
    상기 분할된 각 구간별로 서로 다른 냄새의 질을 매핑하도록 하는 명령은,
    낮은 주파수 대역을 포함하는 구간에 대해서는 무겁거나 중후한 향을 매핑하고, 높은 주파수 대역을 포함하는 구간에 대해서는 달콤하거나 상큼한 향을 매핑하도록 하는 명령을 포함하는, 가상증강현실 제공 장치.
  6. 청구항 1에 있어서,
    상기 향 프로젝터는,
    개별 향을 저장하는 복수의 향 저장 모듈을 포함하는 향 저장소;
    상기 향 저장소에 저장된 향을 가열하여 기화를 촉진하는 LED 램프;
    외부로부터 공기를 흡입하여 공기 탱크에 압축 저장하는 공기 펌프;
    상기 공기 탱크 및 개별 향 저장 모듈에 연결된 복수의 입력 밸브;
    개별 향 저장 모듈에 연결되어 상기 개별 향 저장 모듈로부터 출력되는 향기 분자를 해당 분사 노즐로 가이드하는 출력 밸브를 포함하는, 가상증강현실 제공 장치.
  7. 청구항 6에 있어서,
    상기 향 프로젝터는 위치에 따라 경사각이 다르게 설정되는 복수의 분사 노즐을 더 포함하며,
    상기 복수의 노즐에 의해 분사되는 향기 분자는 공간 내에서 동일한 위치를 향하는, 가상증강현실 제공 장치.
  8. 청구항 1에 있어서,
    상기 적어도 하나의 명령은,
    사용자 단말로부터 향기 발산 제어 신호를 수신하고, 상기 제어 신호에 대응하는 상기 향기 프로젝터 내 모듈을 선택하고, 상기 제어 신호에 따라 상기 향기 프로젝터 내 모듈을 제어하도록 하는 명령을 더 포함하는, 가상증강현실 제공 장치.
  9. 가상증강현실을 제공하는 향 프로젝터로서,
    개별 향을 저장하는 복수의 향 저장 모듈을 포함하는 향 저장소;
    상기 향 저장소에 저장된 향을 가열하여 기화를 촉진하는 LED 램프;
    외부로부터 공기를 흡입하여 공기 탱크에 압축 저장하는 공기 펌프;
    상기 공기 탱크 및 개별 향 저장 모듈에 연결된 복수의 입력 밸브;
    개별 향 저장 모듈에 연결되어 상기 개별 향 저장 모듈로부터 출력되는 향기 분자를 해당 분사 노즐로 가이드하는 출력 밸브; 및
    입력되는 가상증강현실 미디어 관련 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출하고, 상기 소리의 진폭을 냄새 농도 신호로 변환하고, 상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하며, 상기 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향 저장소, 상기 LED 램프, 상기 공기 펌프, 상기 입력 밸브, 및 상기 출력 밸브 중 적어도 하나를 제어하는 프로세서를 포함하는, 향 프로젝터.
  10. 청구항 9에 있어서,
    상기 향 저장소에 저장된 향을 가열하여 기화를 촉진하는 LED 램프;
    현실 공간의 장면 관련 영상 및 공간 내 객체의 깊이 관련 데이터 중 적어도 하나를 획득하는 복수의 영상 입력 장치;
    상기 영상 입력 장치로부터 입력되는 영상 및 가상 객체 중 적어도 하나를 시각적으로 표현하는 디스플레이부; 및
    상기 프로세서의 제어에 따라 출력되는 멀티미디어 콘텐츠에 동기하여 해당하는 소리를 출력하는 스피커를 더 포함하는, 향 프로젝터.
  11. 청구항 9에 있어서,
    상기 향 프로젝터는 위치에 따라 경사각이 다르게 설정되는 복수의 분사 노즐을 더 포함하며,
    상기 복수의 노즐에 의해 분사되는 향기 분자는 공간 내에서 동일한 위치를 향하는, 향 프로젝터.
  12. 향기 프로젝터를 이용해 가상증강현실을 제공하는 방법으로서,
    입력되는 가상증강현실 미디어 관련 소리를 분석하여 일정 시간 주기로 소리의 진폭 및 주파수를 추출하는 단계;
    상기 소리의 진폭을 냄새 농도 신호로 변환하는 단계;
    상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하는 단계; 및
    상기 냄새 농도 신호 및 냄새의 질 신호에 따라 향기를 발산하도록 상기 향기 프로젝터를 제어하는 단계를 포함하는, 가상 증강현실 제공 방법.
  13. 청구항 12에 있어서,
    상기 소리의 진폭을 냄새 농도 신호로 변환하는 단계는,
    상기 소리에 대한 전체 진폭 범위를 복수의 구간으로 분할하는 단계; 및
    분할된 각 구간별로 서로 다른 냄새 농도를 설정하는 단계를 포함하는, 가상 증강현실 제공 방법.
  14. 청구항 12에 있어서,
    상기 분할된 각 구간별로 서로 다른 냄새 농도를 설정하는 단계는,
    상기 복수의 구간 중 진폭이 작은 구간에 대해서는 냄새 농도를 약하게 설정하고, 진폭이 큰 구간에 대해서는 냄새 농도를 진하게 설정하는 단계를 포함하는, 가상 증강현실 제공 방법.
  15. 청구항 12에 있어서,
    상기 소리의 주파수를 냄새의 질(Quality) 신호로 변환하는 단계는,
    상기 소리의 주파수 범위 중 가청 주파수 범위를 복수의 구간으로 분할하는 단계; 및
    분할된 각 구간별로 서로 다른 냄새의 질을 매핑하는 단계를 포함하는, 가상 증강현실 제공 방법.
  16. 청구항 15에 있어서,
    상기 분할된 각 구간별로 서로 다른 냄새의 질을 매핑하는 단계는,
    낮은 주파수 대역을 포함하는 구간에 대해서는 무겁거나 중후한 향을 매핑하고, 높은 주파수 대역을 포함하는 구간에 대해서는 달콤하거나 상큼한 향을 매핑하는 단계를 포함하는, 가상 증강현실 제공 방법.
  17. 청구항 12에 있어서,
    사용자 단말로부터 향기 발산 제어 신호를 수신하는 단계;
    상기 제어 신호에 대응하는 상기 향기 프로젝터 내 모듈을 선택하는 단계;
    상기 제어 신호에 따라 상기 향기 프로젝터 내 모듈을 제어하는 단계를 더 포함하는, 가상 증강현실 제공 방법.
  18. 청구항 17에 있어서,
    상기 향기 프로젝터 내 모듈은,
    향 저장소, 입력 밸브, 출력 밸브, 공기 펌프, 공기 탱크, LED 램프, 및 압력 센서 중 적어도 하나를 포함하는, 가상 증강현실 제공 방법.
  19. 청구항 12에 있어서,
    입력되는 사용자 상호작용에 대응하는 향기를 결정하는 단계; 및
    상기 결정된 향기를 발산하도록 상기 향 프로젝터를 제어하는 단계를 더 포함하는, 가상 증강현실 제공 방법.
  20. 청구항 19에 있어서,
    상기 사용자 상호작용은,
    냄새와 연관되는 가상 공간 또는 가상 공간 내 객체와 관련한 사용자의 시선 및 사용자의 동작 중 적어도 하나를 포함하는, 가상 증강현실 제공 방법.

KR1020180165034A 2018-12-19 2018-12-19 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터 KR20200076178A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180165034A KR20200076178A (ko) 2018-12-19 2018-12-19 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터
US16/288,445 US10551050B1 (en) 2018-12-19 2019-02-28 Virtual augmented reality providing method and virtual augmented reality providing apparatus and scent projector using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180165034A KR20200076178A (ko) 2018-12-19 2018-12-19 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터

Publications (1)

Publication Number Publication Date
KR20200076178A true KR20200076178A (ko) 2020-06-29

Family

ID=69230340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180165034A KR20200076178A (ko) 2018-12-19 2018-12-19 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터

Country Status (2)

Country Link
US (1) US10551050B1 (ko)
KR (1) KR20200076178A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102398828B1 (ko) * 2021-12-15 2022-05-16 박준 인공 후각 인식 및 전달 방법
KR102402580B1 (ko) 2021-11-03 2022-05-26 주식회사 맥스트 메타버스 환경에서의 영상 처리 시스템 및 방법
KR102434084B1 (ko) 2021-12-13 2022-08-19 주식회사 맥스트 현실공간 기반 콘텐츠 저작 장치, 콘텐츠 저작 시스템 및 방법
KR20230027822A (ko) * 2021-08-20 2023-02-28 재단법인대구경북과학기술원 향기 발산 헤드 마운트 디스플레이 및 향기 발산 헤드 마운트 디스플레이의 구동 방법
KR20230046539A (ko) * 2021-09-30 2023-04-06 주식회사 센트프로 라이프 패턴 적응형 조향 시스템의 제어 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
JP2022156199A (ja) * 2021-03-31 2022-10-14 セイコーエプソン株式会社 音出力装置、音出力システム、及び制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101505060B1 (ko) 2010-08-24 2015-03-26 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
US20130191250A1 (en) 2012-01-23 2013-07-25 Augme Technologies, Inc. System and method for augmented reality using multi-modal sensory recognition from artifacts of interest
US10065113B1 (en) 2015-02-06 2018-09-04 Gary Mostovoy Virtual reality system with enhanced sensory effects
US10466790B2 (en) 2015-03-17 2019-11-05 Whirlwind VR, Inc. System and method for processing an audio and video input in a point of view program for haptic delivery
CN107847958B (zh) 2015-04-10 2024-01-16 加利福尼亚大学董事会 可切换的数字气味产生和释放以及蒸气和液体递送方法及系统
US20170112667A1 (en) * 2015-10-23 2017-04-27 Eye Labs, LLC Head-mounted device providing diagnosis and treatment and multisensory experience
KR20180047534A (ko) 2016-10-31 2018-05-10 한국전자통신연구원 패턴 인식 모델에 기반한 캘리브레이션이 가능한 후각 정보 생성 장치 및 생성 방법
US20180286351A1 (en) 2017-03-31 2018-10-04 Eye Labs, LLC Sensory stimuli delivery systems for head-mounted displays

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230027822A (ko) * 2021-08-20 2023-02-28 재단법인대구경북과학기술원 향기 발산 헤드 마운트 디스플레이 및 향기 발산 헤드 마운트 디스플레이의 구동 방법
KR20230046539A (ko) * 2021-09-30 2023-04-06 주식회사 센트프로 라이프 패턴 적응형 조향 시스템의 제어 방법
KR20230155407A (ko) * 2021-09-30 2023-11-10 주식회사 센트프로 사용자의 라이프 패턴 사이클을 분석하여 배합 비율을 산출하는 조향 시스템의 제어 방법
KR102402580B1 (ko) 2021-11-03 2022-05-26 주식회사 맥스트 메타버스 환경에서의 영상 처리 시스템 및 방법
KR102434084B1 (ko) 2021-12-13 2022-08-19 주식회사 맥스트 현실공간 기반 콘텐츠 저작 장치, 콘텐츠 저작 시스템 및 방법
KR102398828B1 (ko) * 2021-12-15 2022-05-16 박준 인공 후각 인식 및 전달 방법

Also Published As

Publication number Publication date
US10551050B1 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
KR20200076178A (ko) 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터
US11977670B2 (en) Mixed reality system for context-aware virtual object rendering
US11778398B2 (en) Reverberation fingerprint estimation
JP7041763B2 (ja) ユーザの感情状態を用いて仮想画像生成システムを制御するための技術
US10083363B2 (en) System and method for customizing content for a user
US10657727B2 (en) Production and packaging of entertainment data for virtual reality
US11978171B2 (en) Mixed reality musical instrument
JP2023022047A (ja) バイオメトリックセキュリティのための青色光調節
CN106625678B (zh) 机器人表情控制方法和装置
KR20210110620A (ko) 상호작용 방법, 장치, 전자 장치 및 저장 매체
KR20200130231A (ko) 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅
US20190196576A1 (en) Virtual reality device and a virtual reality server
US20170221273A1 (en) Calibration of virtual image displays
KR102469574B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
KR20150001038A (ko) 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법
US20140342344A1 (en) Apparatus and method for sensory-type learning
CN108052250A (zh) 基于多模态交互的虚拟偶像演绎数据处理方法及系统
JP6470387B1 (ja) ヘッドマウントデバイスを介して情報を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
CN109983784B (zh) 信息处理装置、方法和存储介质
CN111506198A (zh) 智能眼镜、智能眼镜控制方法及装置、存储介质
Casasanto et al. Virtual reality
US11417042B2 (en) Animating body language for avatars
KR102596322B1 (ko) 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102636480B1 (ko) 인공지능 영상생성 시스템
CN117036555A (zh) 数字人的生成方法、装置和数字人的生成系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal