KR102404707B1 - Hmd를 활용한 인공 미각 전달 방법 - Google Patents

Hmd를 활용한 인공 미각 전달 방법 Download PDF

Info

Publication number
KR102404707B1
KR102404707B1 KR1020210180030A KR20210180030A KR102404707B1 KR 102404707 B1 KR102404707 B1 KR 102404707B1 KR 1020210180030 A KR1020210180030 A KR 1020210180030A KR 20210180030 A KR20210180030 A KR 20210180030A KR 102404707 B1 KR102404707 B1 KR 102404707B1
Authority
KR
South Korea
Prior art keywords
hmd
taste
temperature
displaying
user
Prior art date
Application number
KR1020210180030A
Other languages
English (en)
Inventor
박준
Original Assignee
박준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박준 filed Critical 박준
Priority to KR1020210180030A priority Critical patent/KR102404707B1/ko
Application granted granted Critical
Publication of KR102404707B1 publication Critical patent/KR102404707B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

HMD(Head Mounted Display)를 활용한 인공 미각 전달 방법이 개시된다. 본 발명의 인공 미각 전달 방법은 복수의 서로 다른 맛(flavor)에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)를 입력받아 저장하는 단계, 복수의 서로 다른 맛에 대한 선택 메뉴를 디스플레이하는 단계, 선택 메뉴에서 어느 하나를 선택하는 단계 및, HMD를 착용하는 사용자의 입과 대응되는 안쪽 위치에 돌출되도록 형성된 온도자극부 및 전극을 통해, 선택된 맛에 대응되는 온도에 의한 온도 자극 및 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달한다.

Description

HMD를 활용한 인공 미각 전달 방법 { METHOD FOR TRANSMITTING ARTIFICIAL FLAVORS USING HMD }
본 발명은 HMD를 활용한 인공 미각 전달 방법에 관한 것으로, 더욱 상세하게는 전류, 온도 및 주파수를 조합하여 다양한 맛을 구현하는 인공 미각 생성 및 전달 방법에 관한 것이다.
메타버스(Metaverse)는 가상공간과 현실세계를 각각 의미하는 메타(Meta)와 유니버스(Universe)의 합성어로 현실세계와 같은 가상의 세계를 뜻하는데 현재는 가상세계에서도 오감(시각, 청각, 후각, 미각, 촉각)을 만족시키는 체험을 구현하기 위하여 다방면의 연구가 진행되고 있다.
현재 메타버스에서는 아바타를 통한 모든 경험을 시각과 청각으로만 느낄 수 있는데, 이를 확장시켜 촉각, 후각, 미각까지 전부 아바타와 동일하게 느낄 수 있느 가상세계를 리얼 메타버스라고 부른다. 이를 구현하기 위해서는 메타버스에서 적용할 수 있는 고차원적인 인공감각 기술이 적용되어야 한다.
지난 2011년 싱가포르 국립대학(NUS)의 니메샤 라나싱어(Nimesha Ranasinghe) 박사는 전기, 주파수, 열 등의 자극으로 가상의 음식의 맛을 구현하는 디지털 미각 인터페이스(Digital Taste Interface)에 관한 논문을 공개하였다. 이로부터, 다양한 레벨의 전류 및 온도로 혀를 자극함으로써 짠맛, 단맛, 쓴맛, 신맛을 포함한 다양한 맛에 대한 감각을 구현할 수 있음을 발견하였다.
혀의 미각 수용체 단백질에 맛 분자가 결합하면 세포에 흐르는 전류가 달라지면서 뇌로 신호가 전달된다. 이때, 맛 분자가 결합할 때 나오는 전기 신호를 인위적으로 만들어 음식을 먹지 않고도 맛을 느끼게 할 수 있다. 또한, 단맛 수용체 단백질은 온도에 민감하게 반응한다고 잘 알려져 있기 때문에 온도를 높여줌으로써 단맛을 더 강하게 느낄 수 있다.
그러나, 좀 더 다양하고 세분화된 맛을 구현하는 방법이나 인간에게 인공 미각 경험을 어떤 방식으로 제공할 것인지 등에 대한 논의가 미진한 상태였고, 본 발명의 내용은 이 같은 연구결과를 어떻게 실용화하고 활용할 수 있는지에 대한 아이디어에서 출발하였다.
본 발명은 상술한 니즈를 충족시키기 위한 것으로, 본 발명의 목적은 전류, 온도 및 주파수를 조합하여 구현되는 다양한 맛에 대한 인공적 감각을 경험하도록 하고, HMD(Head Mounted Display)를 활용하여 이러한 경험을 극대화시키기 위한 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 HMD(Head Mounted Display)를 활용한 인공 미각 전달 방법은 복수의 서로 다른 맛(flavor)에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)를 입력받아 저장하는 단계, 상기 복수의 서로 다른 맛에 대한 선택 메뉴를 디스플레이하는 단계,ㅍ상기 선택 메뉴에서 어느 하나를 선택하는 단계 및, 상기 HMD에 있어서 상기 HMD를 착용하는 사용자의 입과 대응되는 안쪽 위치에 돌출되도록 형성된 온도자극부 및 전극을 통해, 상기 선택된 맛에 대응되는 온도에 의한 온도 자극 및 상기 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달할 수 있다.
이때, 상기 인공 미각 전달 방법은 상기 HMD에 부착되는 동작 센서 또는 위치 센서를 통해, 상기 HMD의 동작이나 위치를 센싱하는 단계를 더 포함하고, 상기 선택하는 단계는 상기 HMD 외부에 마련된 사용자 인터페이스를 통한 조작, 상기 센싱된 상기 HMD의 동작 정보 또는 위치 정보에 기초하여 상기 복수의 서로 다른 맛 중 어느 하나를 선택할 수 있다.
또한, 상기 인공 미각 전달 방법은 상기 사용자 인터페이스로부터 자극 조절 명령을 수신하는 단계 및, 상기 수신된 자극 조절 명령, 상기 HMD의 동작 센서에 의해 센싱된 상기 HMD의 동작 정보 또는 상기 HMD의 위치 센서에 의해 센싱된 상기 HMD의 위치 정보에 따라 상기 온도자극부 및 전극을 통해 전달되는 상기 온도 자극의 온도, 상기 전기 자극의 전류의 세기 및 주파수를 조절하는 단계를 더 포함할 수 있다.
또한, 상기 인공 미각 전달 방법은 기 저장된 영상 중 상기 선택된 맛에 대응되는 영상을 상기 HMD를 통해 디스플레이하는 단계를 더 포함할 수 있다.
이때, 상기 디스플레이하는 단계는 상기 선택된 맛에 대응되는 음식의 영상을 디스플레이하되, 시간에 따라 또는 상기 사용자가 상기 전극에 접촉한 횟수에 따라 양이 점점 줄어드는 음식의 영상을 디스플레이할 수 있다.
또한, 상기 디스플레이하는 단계는 상기 선택된 맛에 대응되는 추천 음식 메뉴 및 상기 사용자의 위치로부터 기 설정된 반경 내 상기 추천 음식 메뉴를 판매하는 음식점 리스트를 디스플레이할 수 있다.
또한, 상기 전달하는 단계는 상기 복수의 서로 다른 맛 중 기 설정된 맛에 있어서, 온도 또는 전류의 세기 중 적어도 어느 하나가 기 설정된 범위 내에서 시간에 따라 가변하는 온도 자극 또는 전기 자극을 전달할 수 있다.
또한, 상기 복수의 서로 다른 맛에 대응되는 온도, 전류의 세기 및 주파수는 각각 0 내지 40℃ 범위, 0 내지 250μA 범위 및 0 내지 800Hz 범위 내일 수 있다.
한편, 본 발명의 일 실시 예에 따른 인공 미각을 전달하기 위한 HMD(Head Mounted Display)는 복수의 서로 다른 맛(flavor)에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)를 입력받아 저장하는 저장부, 사용자로부터 제어 명령을 입력받는 사용자 인터페이스, 상기 복수의 서로 다른 맛에 대한 선택 메뉴를 디스플레이하는 디스플레이부, 상기 HMD에 있어서 상기 HMD를 착용하는 사용자의 입과 대응되는 안쪽 위치에 돌출되도록 형성된 온도자극부 및 전극을 통해 온도 자극 및 전기 자극을 전달하는 전달부, 상기 사용자 인터페이스를 통해, 상기 디스플레이된 선택 메뉴에서 어느 하나가 선택되면, 상기 선택된 맛에 대응되는 온도에 의한 온도 자극 및, 상기 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달하도록 상기 전달부를 제어하는 프로세서를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자에게 전류의 세기, 주파수 및 온도가 융합된 자극을 전달하여 다양한 맛에 대한 인공적 감각을 느끼고 조절할 수 있도록 할 수 있다.
또한, HMD를 활용하여 인공적 미각 경험을 극대화할 수 있는 영상을 디스플레이하거나 그에 알맞은 서비스를 제공함으로써, 인공적 미각 경험으로부터 얻는 즐거움 또는 편의에 대한 사용자의 니즈를 충족시킬 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 HMD의 구성을 간략히 도시한 블록도,
도 2는 본 발명의 일 실시 예에 따른 인공 미각 전달 과정을 설명하기 위한 순서도를 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 HMD의 외관 및 구조를 나타낸 도면,
도 4 및 5는 본 발명의 일 실시 예에 따른 HMD를 통해 디스플레이되는 다양한 영상을 나타낸 도면,
도 6은 본 발명의 일 실시 예에 따른 인공 미각 전달 방법을 간략히 설명하기 위한 흐름도이다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 '제1', '제2' 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 HMD의 구성을 간략히 도시한 블록도이다.
본 발명의 HMD(100)는 저장부(110), 사용자 인터페이스(120), 디스플레이부(130), 전달부(140) 및 프로세서(150)를 포함한다.
저장부(110)는 HMD(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 특히, 저장부(110)는 복수의 서로 다른 맛(flavor)에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz) 를 저장할 수 있다.
아래 도시된 표 1과 같이, 미각의 종류 및 세분화된 맛의 종류에 따라 해당 맛이 발현되는 조건인 전류의 세기(μA), 주파수(Hz) 및 온도(℃)가 매핑된 매핑테이블이 저장되어 있을 수 있다.
미각의 종류 맛 전류크기(μA) 주파수(Hz) 온도(℃)


신맛		 Tuscan 오렌지맛 180 800 30
브라질 망고 자몽 맛 180 800 25
말리부 레몬 꽃 맛 180 800 18
라임 맛 60~180 800 20~30
매운맛 마다가스카르 향신료 맛 20 800 20~30
민트맛 말리부 레몬 꽃 맛 20 400 36
박하맛 박하사탕 맛 40 800 18
단맛 초콜릿 맛 180~60 하강 800 35~25 하강
짠맛 소금 맛 50 100 20~30 상승
쓴맛 한약 맛 60~140 400 20~30 상승
이때, 각각의 맛에 대응되는 온도는 0~40℃ 범위, 전류의 세기는 0~250μA 범위 및 주파수는 0~800Hz 범위 내에서 설정되는 것이 바람직하다.
저장부(110)는 저장된 위 매핑 테이블 외에도 사용자 인터페이스(120)를 통해 사용자로부터 입력받은 특정한 맛과 해당 특정한 맛에 매핑될 온도, 전류의 세기 및 주파수에 대한 설정 정보를 저장할 수 있다.
또한, 저장부(110)는 복수의 서로 다른 맛(flavor)에 대응되는 영상을 저장할 수 있다. 복수의 서로 다른 맛(flavor)에 대응되는 영상은 각각의 맛을 내는 음식에 대한 영상, 각각의 맛에 어울리는 풍경, 장소 또는 색상을 표시하는 영상을 포함할 수 있다.
사용자 인터페이스(120)는 HMD(100) 외부에 마련되는 것으로, 사용자로부터 HMD(100)를 제어하기 위한 제어 명령을 수신할 수 있다. 사용자 인터페이스(120)는 제어 명령을 입력하기 위한 적어도 하나 이상의 버튼 또는 휠을 포함할 수 있다.
디스플레이부(130)는 UI 화면을 디스플레이 하는 구성이다. 여기서, UI 화면은 이미지, 동영상, 텍스트 등을 포함하는 다양한 콘텐츠 재생 화면, 다양한 콘텐츠를 포함하는 어플리케이션 실행 화면, 웹 브라우저 화면, GUI(Graphic User Interface) 화면을 포함할 수 있다.
디스플레이부(130)는 LCD(liquid crystal display), OLED(organic light-emitting diode), LED(light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있으며, 투명 디스플레이로 구성될 수도 있다.
전달부(140)는 온도 자극 및 전류에 의한 전기 자극을 전달하는 구성이다.
구체적으로, 전달부(140)는 선택된 맛에 대응되는 온도에 의한 온도 자극 및, 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달할 수 있다. 전달부(140)는 온도 자극 및 전기 자극을 전달하여 사용자의 특정 부위에 전달할 수 있다면 그 소재는 무방하다. 다만, 전달부(140)는 HMD(100)에 있어서 사용자의 혀가 맞닿을 수 있는 배치형태 및 구조를 가지는 것이 바람직하며, 본 발명에서는 HMD(100)를 착용하는 사용자의 입에 대응되는 안쪽 위치의 돌출 부위에 전달부(140)가 배치되도록 하여 사용자가 HMD(100)를 머리에 착용한 상태에서 혀를 HMD(100)의 돌출 부위에 갖다대면 전달부(140)로부터 온도 자극 및 전기 자극이 혀에 전달되어 맛을 느낄 수 있도록 설계하였다.
전달부(140)는 온도 자극을 위한 온도자극부(141)와 전기 자극을 위한 전극(142)을 포함할 수 있다.
온도자극부(141)는 히팅 코일 또는 열전소자로 구현될 수 있다.
열전소자는 펠티에(peltier) 효과에 의한 흡열 또는 발열을 이용한 것으로, n형 반도체와 p형 반도체가 반복하여 직열로 접속되어, 전류가 흐르는 방향에 따라 흡열 또는 발열이 결정된다. 열원(heat source)이 가해지면, p형 반도체에서는 정공이, n형 반도체에서는 전자가 그 에너지를 가지고 열 방출원(hear sink)으로 이동하면서 외부의 부하에 일을 하면서 열에너지가 전기에너지로 변환될 수 있다.
전극(142)은 한 쌍의 전도부 및 전원 커넥터 및 리드선을 포함할 수 있는데, 한 쌍의 전도부는 전도성을 위하여 은, 염화은, 티타늄, 금 및 백금 중 어느 하나의 금속을 포함하여 형성될 수 있다.
전도부는 리드선 및 전원 커넥터를 통하여 전원이 공급되는 전원부와 전기적으로 연결되고, 전도부와 전원부를 연결하는 각각의 리드선은 외부로 노출되지 않도록 별도의 절연재료로 덮여질 수 있다.
HMD(100)에 있어서 전달부(140)의 구체적인 배치 방법은 도 3과 같이 후술하도록 한다.
프로세서(150)는 HMD(100)의 동작을 전반적으로 제어하는 구성이다.
일 실시 예에 따라, 프로세서(150)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(150)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(150)는 선택된 맛에 대응되는 온도에 의한 온도 자극 및, 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달하도록 전달부(140)를 제어할 수 있다.
이때, 프로세서(150)는 사용자 인터페이스를 통해 입력된 자극 조절 명령에 따라 전달부(140)에서 전달되는 온도 자극의 온도, 전기 자극의 전류의 세기 및 주파수를 조절하도록 전달부(140)를 제어할 수 있다. 이에 따라, 프로세서(150)는 온도 및 전류를 각각 제어할 수 있는 제어 모듈을 포함할 수 있다.
한편, 프로세서(150)는 표 1에 도시된 바와 같이, 복수의 서로 다른 맛 중 기 설정된 맛에 있어서는, 온도 또는 전류의 세기가 기 설정된 범위 내에서 시간에 따라 가변하는 온도 자극 도는 전기 자극을 전달할 수 있다.
예를 들어, 단맛 중 초콜릿 맛을 구현하기 위해서, 전류의 세기를 180μA에서 60μA로 하강시키고, 온도를 35℃로부터 25℃까지 하강시킬 수 있다. 쓴맛 중 한약 맛을 구현하기 위해서는, 60μA~140μA의 전류 범위 내에서 온도를 20℃로부터 30℃까지 상승시킬 수 있다.
이와 같이, 전달부(140)로부터 온도 자극 및 전기 자극이 전달되면, 사용자가 전달부(140)에 혀를 대어 온도 자극 및 전기 자극을 전달받을 수 있다. 미뢰를 통해 전달된 온도 자극 및 전기 자극은 두뇌를 통해 특정한 맛으로 느껴지게 된다.
한편, 도 2는 본 발명의 일 실시 예에 따른 인공 미각 전달 과정을 설명하기 위한 순서도를 도시한 도면이다.
먼저, 맛에 대응되는 설정 값을 저장한다(S210). 이 후, 저장된 복수의 서로 다른 맛 중 어느 하나에 대한 선택 명령을 수신하면(S220), 수신된 선택 명령에 대응되는 온도, 전류 세기 및 주파수를 조절할 수 있다(S240). 또한, 온도, 전류 세기 및 주파수를 직접 조절하기 위한 자극 조절 명령을 입력받을 수도 있고(S230), 이때는 자극 조절 명령에 따라 온도, 전류 세기 및 주파수를 조절할 수 있다.
이와 같이 조절된 온도, 전류 세기 및 주파수는 전달부(140)의 온도자극부(141) 및 전극(142)을 통해 온도 자극 및 전기 자극으로 사용자에게 전달된다(S250).
사용자가 전달부(140)를 구성하는 온도자극부(141) 및 전극(142)을 혀에 갖다 대면, 이와 같이 전달된 온도 자극 및 전기 자극이 사용자의 혀에 가해짐으로써 인공 미각이 생성 및 전달될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 HMD의 외관 및 구조를 나타낸 도면이다.
도 3에 도시된 바와 같이, 본 발명의 HMD는 헤드 밴드(31), 상하 길이 조절부(32), 둘레 길이 조절부(33), 오디오 출력부(34), 디스플레이부(130)가 포함된 몸통부(35), 전달부(140)가 포함된 마스크 형태의 보조 장치(36), 전달부(140)가 배치된 돌출부(37)를 포함할 수 있다.
헤드 밴드(31)는 몸통부(35)와 서로 연결되어 있으며, 상하 길이 조절부(32) 및 둘레 길이 조절부(33)에 의해 길이가 조절될 수 있다. 이때, 헤드 밴드(31)는 사용자의 머리에 착용되면서 회전될 수 있도록 몸통부(35)에 연결될 수 있다.
오디오 출력부(34)은 음성 또는 음향을 출력하기 위한 구성이다. 오디오 출력부(34)는 고막이 아닌 뼈를 통해 소리를 전달하는 골전도 방식의 헤드폰 형태로 구현될 수 있다.
몸통부(35)는 디스플레이부(130) 및 HMD(100)를 제어하기 위한 각종 버튼을 포함할 수 있다.
몸통부(35)의 하부에는 마스크 형태의 보조 장치(36)가 배치될 수 있다. 보조 장치(36)는 HMD(100)를 착용한 사용자의 입 및 그 주변을 가리도록 설계되며, 전달부(140) 및 마이크(미도시) 등을 포함할 수 있다. 전달부(140)는 도 3에 도시된 바와 같이, 보조 장치(36)에서 사용자의 입과 대응되는 안쪽 위치에 돌출되도록 형성된 돌출부(37)에 배치될 수 있다.
따라서, 사용자가 혀를 내밀어 돌출부(37)에 접촉시키거나 돌출부(37)를 입에 물면 전달부(140)의 온도자극부(141) 및 전극(142)이 혀에 닿음으로써 맛을 느끼도록 할 수 있다.
한편, HMD(100)는 몸통부(35)를 포함한 각 구성 중 어느 하나에 동작 센서(미도시) 또는 위치 센서(미도시)를 포함할 수 있다.
동작 센서는 3축 자이로스코프, 3축 가속도 센서, 3축 지자기센서 중 적어도 하나를 내장하여 사용자의 모션을 감지할 수 있다.
위치 센서는 GPS(Global Positioning System), 기지국(Cell-ID), Wi-Fi 등을 이용한 다양한 방식으로 기반으로 위치를 측위할 수 있다.
프로세서(150)는 HMD(100)의 동작 센서 또는 위치 센서를 통해 사용자의 동작이나 위치를 센싱하고, 센싱된 HMD(100)의 동작 정보 또는 위치 정보에 기초하여 복수의 서로 다른 맛 중 어느 하나를 선택할 수 있다.
예를 들어, 프로세서(150)는 센싱된 사용자의 동작이 특정 운동을 수행하는 것으로 인식된 경우, 몸의 체력이 소모되면 에너지가 부족해지므로 단맛인 초콜릿 맛에 대응되는 전기 자극(180μA에서 60μA로 하강, 800Hz) 및 온도 자극(35℃에서 25℃로 하강)을 전달하도록 제어하여 사용자가 단 맛을 느끼도록 할 수 있다.
또한, 프로세서(150)는 센싱된 사용자의 위치가 특정 식당으로부터 기 설정된 거리 내 인 경우, 해당 식당에서 판매하는 대표 메뉴에 대응되는 기 저장된 맛을 선택하고, 선택된 맛에 대응되는 전기 자극 및 온도 자극을 전달하도록 제어할 수도 있다. 이와 같은 대표 메뉴에 대응되는 맛과 그에 대응되는 전류의 세기, 주파수 및 온도의 설정 값은 해당 식당으로부터 제공되는 것일 수 있다.
한편, 프로세서(150)는 HMD(100)의 동작 센서에 의해 센싱된 HMD(100)의 동작 정보 또는 위치 센서에 의해 센싱된 HMD(100)의 위치 정보에 따라, 기 선택된 맛에 대응되는 온도 자극의 온도, 전기 자극의 전류의 세기 및 주파수를 세부적으로 조절할 수도 있다.
도 4 및 5는 본 발명의 일 실시 예에 따른 HMD를 통해 디스플레이되는 다양한 영상을 나타낸 도면이다.
본 발명의 HMD(100)는 기 저장된 영상 중 선택된 맛에 대응되는 영상을 디스플레이할 수 있다.
일례로, 선택된 맛이 초콜릿 맛인 경우, 프로세서(150)는 초콜릿 맛에 대응되는 초콜릿이 포함된 영상을 표시하도록 디스플레이부(130)를 제어할 수 있다.
이때, 도 4에 도시된 바와 같이, 선택된 맛에 대응되는 음식의 영상이 표시된 상태에서, 프로세서(150)는 시간에 따라 또는 사용자가 전극(142)에 접촉한 횟수에 따라 양이 점점 줄어든 음식의 영상으로 전환되도록 제어할 수 있다.
예를 들어, 프로세서(150)는 디스플레이부(130)에 표시된 음식의 영상을 10초가 지날 때마다 한번씩 점점 양이 줄어든 음식의 영상으로 전환하거나, 사용자가 전극(142)에 혀를 접촉한 상태를 감지하여, 접촉 횟수에 따라 점점 양이 줄어든 음식의 영상으로 전환할 수 있다. 이때, 혀를 접촉한 상태는 혀와 전극(142)의 접촉에 따른 임피던스(impedance)의 변화값을 통해 감지될 수 있다.
또한, 프로세서(150)는 선택된 맛에 어울리는 풍경이나 장소를 표시하거나 어울리는 색상을 표시하도록 제어할 수도 있다. 예를 들어, 선택된 맛이 박하사탕 맛인 경우, 시원한 바다를 장소로 하는 영상이나 파란색 계열의 색상이 디스플레이부(130)에 표시될 수 있다.
한편, 도 5에 도시된 실시 예에 따르면, 프로세서(150)는 선택된 맛에 대응되는 추천 음식 메뉴를 표시하도록 디스플레이부(130)를 제어할 수 있다. 예를 들어, 선택된 맛이 고수 맛인 경우, 프로세서(150)는 고수를 음식 재료로 하는 쌀국수 메뉴를 추천하는 메시지(51) 및 쌀국수의 이미지(52)를 표시하도록 제어하여 사용자의 입맛을 돋굴 수 있다.
이때, 프로세서(150)는 위치 센서를 통해 감지된 사용자의 위치로부터 기 설정된 반경 내 추천 음식 메뉴를 판매하는 식당 리스트(53)를 표시하도록 디스플레이부(130)를 제어할 수도 있다.
이에 따라, 사용자가 표시된 식당 리스트(53) 중 어느 하나의 식당을 선택하면, 해당 식당에 대한 정보 및 해당 식당으로 가는 길을 안내하는 지도 정보가 디스플레이부(130)에 표시될 수 있다.
이를 위하여, 저장부(110)는 복수의 서로 다른 맛에 각각 대응되는 음식에 대한 영상, 해당 음식을 판매하는 식당 정보 및 지도 정보를 미리 저장할 수 있다. 또는, 복수의 서로 다른 맛에 각각 대응되는 음식에 대한 영상, 해당 음식을 판매하는 식당 정보 및 지도 정보는 통신부(미도시)를 통해 네트워크로 연결된 외부 서버(미도시)로부터 실시간 수신될 수도 있다.
도 6은 본 발명의 일 실시 예에 따른 인공 미각 전달 방법을 간략히 설명하기 위한 흐름도이다.
먼저, 복수의 서로 다른 맛에 대응되는 온도, 전류의 세기 및 주파수를 입력받아 저장한다(S610).
이후, 복수의 서로 다른 맛에 대한 선택 메뉴를 디스플레이한다(S620).
이후, 선택 메뉴에서 어느 하나를 선택한다(S630).
이때, HMD에 부착되는 동작 센서 또는 위치 센서를 통해, HMD의 동작이나 위치를 센싱할 수 있으며, HMD 외부에 마련된 사용자 인터페이스를 통한 조작, 센싱된 HMD의 동작 정보 또는 위치 정보에 기초하여 복수의 서로 다른 맛 중 어느 하나를 선택할 수 있다.
이후, HMD에 있어서 HMD를 착용하는 사용자의 입과 대응되는 안쪽 위치에 돌출되도록 형성된 온도자극부 및 전극을 통해, 선택된 맛에 대응되는 온도에 의한 온도 자극 및, 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달한다(S640).
이때, 사용자 인터페이스로부터 자극 조절 명령을 수신할 수 있으며, 수신된 자극 조절 명령, HMD의 동작 센서에 의해 센싱된 HMD의 동작 정보 또는 HMD의 위치 센서에 의해 센싱된 HMD의 위치 정보에 따라 온도자극부 및 전극을 통해 전달되는 온도 자극의 온도, 전기 자극의 전류의 세기 및 주파수를 조절할 수 있다.
또한, 복수의 서로 다른 맛 중 기 설정된 맛에 있어서, 온도 또는 전류의 세기 중 적어도 어느 하나가 기 설정된 범위 내에서 시간에 따라 가변하는 온도 자극 또는 전기 자극을 전달할 수 있다.
또한, 기 저장된 영상 중 선택된 맛에 대응되는 영상을 HMD를 통해 디스플레이할 수 있다.
이때, 선택된 맛에 대응되는 음식의 영상을 디스플레이하되, 시간에 따라 또는 사용자가 전극에 접촉한 횟수에 따라 양이 점점 줄어드는 음식의 영상을 디스플레이할 수 있다.
또한, 선택된 맛에 대응되는 추천 음식 메뉴 및 사용자의 위치로부터 기 설정된 반경 내 추천 음식 메뉴를 판매하는 음식점 리스트를 디스플레이할 수도 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자에게 전류의 세기, 주파수 및 온도가 융합된 자극을 전달하여 다양한 맛에 대한 인공적 감각을 느끼고 조절할 수 있도록 할 수 있다.
또한, HMD를 활용하여 인공적 미각 경험을 극대화할 수 있는 영상을 디스플레이하거나 그에 알맞은 서비스를 제공함으로써, 인공적 미각 경험으로부터 얻는 즐거움 또는 편의에 대한 사용자의 니즈를 충족시킬 수 있다.
한편, 상술한 다양한 실시 예에 따른 인공 미각 전달 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 인공 미각 전달 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, ⅰ) 복수의 서로 다른 맛에 대응되는 온도, 전류의 세기 및 주파수를 입력받아 저장하는 단계, ⅱ) 복수의 서로 다른 맛에 대한 선택 메뉴를 디스플레이하는 단계, ⅲ) 선택 메뉴에서 어느 하나를 선택하는 단계, ⅳ) HMD에 있어서 HMD를 착용하는 사용자의 입과 대응되는 안쪽 위치에 돌출되도록 형성된 온도자극부 및 전극을 통해, 선택된 맛에 대응되는 온도에 의한 온도 자극 및, 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: HMD 110: 저장부
120: 사용자 인터페이스 130: 디스플레이부
140: 전달부 150: 프로세서

Claims (10)

  1. HMD(Head Mounted Display)를 활용한 인공 미각 전달 방법에 있어서,
    복수의 서로 다른 맛(flavor)에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)를 입력받아 저장하는 단계;
    상기 복수의 서로 다른 맛에 대한 선택 메뉴를 디스플레이하는 단계;
    상기 선택 메뉴에서 어느 하나를 선택하는 단계; 및
    상기 HMD에 있어서 상기 HMD를 착용하는 사용자의 입과 대응되는 안쪽 위치에 돌출되도록 형성된 온도자극부 및 전극을 통해, 상기 선택된 맛에 대응되는 온도에 의한 온도 자극 및 상기 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달하는 단계;를 포함하고,
    상기 인공 미각 전달 방법은,
    상기 HMD를 통해 기 저장된 영상 중 상기 선택된 맛에 대응되는 영상을 디스플레이하는 단계;를 더 포함하며,
    상기 선택된 맛에 대응되는 영상을 디스플레이하는 단계는,
    상기 선택된 맛에 대응되는 추천 음식 메뉴 및 상기 사용자의 위치로부터 기 설정된 반경 내 상기 추천 음식 메뉴를 판매하는 음식점 리스트를 디스플레이하는것을 특징으로 하는 인공 미각 전달 방법.
  2. 제1항에 있어서,
    상기 HMD에 부착되는 동작 센서 또는 위치 센서를 통해, 상기 HMD의 동작이나 위치를 센싱하는 단계;를 더 포함하고,
    상기 선택하는 단계는,
    상기 HMD 외부에 마련된 사용자 인터페이스를 통한 조작, 상기 센싱된 상기 HMD의 동작 정보 또는 위치 정보에 기초하여 상기 복수의 서로 다른 맛 중 어느 하나를 선택하는 것을 특징으로 하는 인공 미각 전달 방법.
  3. 제2항에 있어서,
    상기 사용자 인터페이스로부터 자극 조절 명령을 수신하는 단계; 및
    상기 수신된 자극 조절 명령, 상기 HMD의 동작 센서에 의해 센싱된 상기 HMD의 동작 정보 또는 상기 HMD의 위치 센서에 의해 센싱된 상기 HMD의 위치 정보에 따라 상기 온도자극부 및 전극을 통해 전달되는 상기 온도 자극의 온도, 상기 전기 자극의 전류의 세기 및 주파수를 조절하는 단계;를 더 포함하는 것을 특징으로 하는 인공 미각 전달 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 선택된 맛에 대응되는 영상을 디스플레이하는 단계는,
    상기 선택된 맛에 대응되는 음식의 영상을 디스플레이하되, 시간에 따라 또는 상기 사용자가 상기 전극에 접촉한 횟수에 따라 양이 점점 줄어드는 음식의 영상을 디스플레이하는 것을 특징으로 하는 인공 미각 전달 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 전달하는 단계는,
    상기 복수의 서로 다른 맛 중 기 설정된 맛에 있어서, 온도 또는 전류의 세기 중 적어도 어느 하나가 기 설정된 범위 내에서 시간에 따라 가변하는 온도 자극 또는 전기 자극을 전달하는 것을 특징으로 하는 인공 미각 전달 방법.
  8. 제1항에 있어서,
    상기 복수의 서로 다른 맛에 대응되는 온도, 전류의 세기 및 주파수는 각각 0 내지 40℃ 범위, 0 내지 250μA 범위 및 0 내지 800Hz 범위 내인 것을 특징으로 하는 인공 미각 전달 방법.
  9. 인공 미각을 전달하기 위한 HMD(Head Mounted Display)에 있어서,
    복수의 서로 다른 맛(flavor)에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)를 입력받아 저장하는 저장부;
    사용자로부터 제어 명령을 입력받는 사용자 인터페이스;
    상기 복수의 서로 다른 맛에 대한 선택 메뉴를 디스플레이하는 디스플레이부;
    상기 HMD에 있어서 상기 HMD를 착용하는 사용자의 입과 대응되는 안쪽 위치에 돌출되도록 형성된 온도자극부 및 전극을 통해 온도 자극 및 전기 자극을 전달하는 전달부; 및
    상기 사용자 인터페이스를 통해, 상기 디스플레이된 선택 메뉴에서 어느 하나가 선택되면, 상기 선택된 맛에 대응되는 온도에 의한 온도 자극 및, 상기 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달하도록 상기 전달부를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 HMD를 통해 상기 저장부에 기 저장된 영상 중 상기 선택된 맛에 대응되는 추천 음식 메뉴 및 상기 사용자의 위치로부터 기 설정된 반경 내 상기 추천 음식 메뉴를 판매하는 음식점 리스트를 디스플레이하는 것을 특징으로 하는 HMD.
  10. 제1항 내지 제3항, 제5항, 제7항 및 제8항 중 어느 한 항의 인공 미각 전달 방법을 실행시키는 기록매체에 저장된 컴퓨터 프로그램.
KR1020210180030A 2021-12-15 2021-12-15 Hmd를 활용한 인공 미각 전달 방법 KR102404707B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210180030A KR102404707B1 (ko) 2021-12-15 2021-12-15 Hmd를 활용한 인공 미각 전달 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210180030A KR102404707B1 (ko) 2021-12-15 2021-12-15 Hmd를 활용한 인공 미각 전달 방법

Publications (1)

Publication Number Publication Date
KR102404707B1 true KR102404707B1 (ko) 2022-06-02

Family

ID=81985553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210180030A KR102404707B1 (ko) 2021-12-15 2021-12-15 Hmd를 활용한 인공 미각 전달 방법

Country Status (1)

Country Link
KR (1) KR102404707B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034809A1 (ko) * 2022-08-10 2024-02-15 주식회사 케이티앤지 디지털 맛 및 디지털 향 구현을 위한 장치 및 방법
WO2024034805A1 (ko) * 2022-08-10 2024-02-15 주식회사 케이티앤지 디지털 맛 및 디지털 향 구현을 위한 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066301A (ko) * 2016-12-07 2018-06-19 주식회사 리얼햅틱스 가상현실의 물리 효과 통합 저작 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066301A (ko) * 2016-12-07 2018-06-19 주식회사 리얼햅틱스 가상현실의 물리 효과 통합 저작 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034809A1 (ko) * 2022-08-10 2024-02-15 주식회사 케이티앤지 디지털 맛 및 디지털 향 구현을 위한 장치 및 방법
WO2024034805A1 (ko) * 2022-08-10 2024-02-15 주식회사 케이티앤지 디지털 맛 및 디지털 향 구현을 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
KR102404707B1 (ko) Hmd를 활용한 인공 미각 전달 방법
KR102099086B1 (ko) 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
CN110996796B (zh) 信息处理设备、方法和程序
KR101703923B1 (ko) 가상 현실 기반의 개인 맞춤용 캡슐형 힐링 장치
CN110554772A (zh) 用于放松身心的引导式虚拟现实系统
Ranasinghe et al. Augmented flavours: Modulation of flavour experiences through electric taste augmentation
KR20180048194A (ko) 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
JP7364099B2 (ja) 出力制御装置、出力制御方法およびプログラム
Miyashita Taste display that reproduces tastes measured by a taste sensor
JPWO2018042799A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019087502A1 (ja) 情報処理装置、情報処理方法およびプログラム
TW201524467A (zh) 頭戴式裝置及其相關的模擬系統、模擬方法
KR102404705B1 (ko) 장갑을 활용한 인공 미각 전달 방법
KR102424787B1 (ko) 가상, 증강 및 혼합 현실 환경 속 인공 바람 및 온도와 공기 저항 전달 방법
KR102404728B1 (ko) 영상 및 그림의 인공 맛 구현과 전달 방법
KR102391177B1 (ko) 가상의 오감 감각 전달을 활용한 심리 변화 유도 방법
KR102404729B1 (ko) 가상현실, 증강현실 및 혼합현실 상황에서의 인공 미각 적용 방법
KR102404690B1 (ko) 전류 및 온도와 주파수를 활용한 인공 미각 생성 및 전달 방법
JP7113586B1 (ja) 温冷触覚提示装置、ウェアラブル端末、かゆみ抑制装置、アイシング装置、マッサージ装置、口内保持具、及び食器
KR102423905B1 (ko) Hmd 환경의 골전도 청각 전달 방법
KR102404730B1 (ko) 진동 구역 독립화를 활용한 인공 촉각 전달 방법
KR102398828B1 (ko) 인공 후각 인식 및 전달 방법
KR102385834B1 (ko) 오감 하드웨어 전달 방법
KR102385835B1 (ko) 오감 소프트웨어 전달 방법
KR102088345B1 (ko) 헤드마운트 디스플레이(hmd) 디바이스와 연동하는 작동형 기기에 대한 테마제어장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant