KR102404728B1 - 영상 및 그림의 인공 맛 구현과 전달 방법 - Google Patents

영상 및 그림의 인공 맛 구현과 전달 방법 Download PDF

Info

Publication number
KR102404728B1
KR102404728B1 KR1020210179997A KR20210179997A KR102404728B1 KR 102404728 B1 KR102404728 B1 KR 102404728B1 KR 1020210179997 A KR1020210179997 A KR 1020210179997A KR 20210179997 A KR20210179997 A KR 20210179997A KR 102404728 B1 KR102404728 B1 KR 102404728B1
Authority
KR
South Korea
Prior art keywords
taste
temperature
image
expressed
display device
Prior art date
Application number
KR1020210179997A
Other languages
English (en)
Inventor
박준
Original Assignee
박준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박준 filed Critical 박준
Priority to KR1020210179997A priority Critical patent/KR102404728B1/ko
Application granted granted Critical
Publication of KR102404728B1 publication Critical patent/KR102404728B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants

Abstract

인공 미각 전달 장치가 포함된 장갑을 활용한 영상 및 그림의 인공 맛 구현과 전달 방법이 개시된다. 본 발명의 영상 및 그림의 인공 맛 구현과 전달 방법은 영상 또는 그림과 영상 또는 그림에서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 수신하여 저장하는 단계, 디스플레이 장치를 통해 영상 또는 그림을 재생하는 단계 및, 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도에 의한 온도 자극을 장갑의 각 손가락 말단부에 마련되는 온도자극부를 통해 전달하고, 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 장갑의 각 손가락 말단부에 마련되는 전극을 통해 전달하는 단계를 포함한다.

Description

영상 및 그림의 인공 맛 구현과 전달 방법 { METHOD FOR IMPLEMENTING AND TRANSMITTING ARTIFICIAL FLAVORS OF VIDEO AND IMAGE }
본 발명은 영상 및 그림의 인공 맛 구현과 전달 방법에 관한 것으로, 더욱 상세하게는 전류, 온도 및 주파수를 조합하여 다양한 맛을 구현하는 인공 미각 구현과 그 전달 방법에 관한 것이다.
메타버스(Metaverse)는 가상공간과 현실세계를 각각 의미하는 메타(Meta)와 유니버스(Universe)의 합성어로 현실세계와 같은 가상의 세계를 뜻하는데 현재는 가상세계에서도 오감(시각, 청각, 후각, 미각, 촉각)을 만족시키는 체험을 구현하기 위하여 다방면의 연구가 진행되고 있다.
현재 메타버스에서는 아바타를 통한 모든 경험을 시각과 청각으로만 느낄 수 있는데, 이를 확장시켜 촉각, 후각, 미각까지 전부 아바타와 동일하게 느낄 수 있느 가상세계를 리얼 메타버스라고 부른다. 이를 구현하기 위해서는 메타버스에서 적용할 수 있는 고차원적인 인공감각 기술이 적용되어야 한다.
지난 2011년 싱가포르 국립대학(NUS)의 니메샤 라나싱어(Nimesha Ranasinghe) 박사는 전기, 주파수, 열 등의 자극으로 가상의 음식의 맛을 구현하는 디지털 미각 인터페이스(Digital Taste Interface)에 관한 논문을 공개하였다. 이로부터, 다양한 레벨의 전류 및 온도로 혀를 자극함으로써 짠맛, 단맛, 쓴맛, 신맛을 포함한 다양한 맛에 대한 감각을 구현할 수 있음을 발견하였다.
혀의 미각 수용체 단백질에 맛 분자가 결합하면 세포에 흐르는 전류가 달라지면서 뇌로 신호가 전달된다. 이때, 맛 분자가 결합할 때 나오는 전기 신호를 인위적으로 만들어 음식을 먹지 않고도 맛을 느끼게 할 수 있다. 또한, 단맛 수용체 단백질은 온도에 민감하게 반응한다고 잘 알려져 있기 때문에 온도를 높여줌으로써 단맛을 더 강하게 느낄 수 있다.
그러나, 좀 더 다양하고 세분화된 맛을 구현하는 방법이나 인간에게 인공 미각 경험을 어떤 방식으로 제공할 것인지 등에 대한 논의가 미진한 상태였고, 본 발명의 내용은 이 같은 연구결과를 어떻게 실용화하고 활용할 수 있는지에 대한 아이디어에서 출발하였다.
본 발명은 상술한 니즈를 충족시키기 위한 것으로, 본 발명의 목적은 전류, 온도 및 주파수를 조합하여 구현되는 다양한 맛에 대한 인공적 감각을 경험하도록 하고, 그에 맞는 영상이나 그림을 활용하여 이러한 경험을 극대화시키기 위한 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 인공 미각 전달 장치가 포함된 장갑을 활용한 영상 및 그림의 인공 맛 구현과 전달 방법은 상기 영상 또는 그림과 상기 영상 또는 그림에서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 수신하여 저장하는 단계, 디스플레이 장치를 통해 상기 영상 또는 그림을 재생하는 단계 및, 상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도에 의한 온도 자극을 상기 장갑의 각 손가락 말단부에 마련되는 온도자극부를 통해 전달하고, 상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 상기 장갑의 각 손가락 말단부에 마련되는 전극을 통해 전달하는 단계를 포함한다.
이때, 상기 저장하는 단계는 상기 디스플레이 장치를 통해 재생되는 영상의 타임라인(timeline) 중 적어도 하나의 기 설정된 시점에 있어서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 저장하고, 상기 전달하는 단계는 상기 영상의 재생 중 상기 기 설정된 시점에 도달하는 경우 상기 기 설정된 시점에 있어서 표현되는 맛에 대응되는 온도에 의한 상기 온도 자극 및 상기 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 상기 전기 자극을 전달하도록 상기 인공 미각 전달 장치와 상기 디스플레이 장치의 동작을 동기화할 수 있다.
또한, 상기 영상 및 그림의 인공 맛 구현과 전달 방법은 상기 재생되는 영상에서 표현되는 맛에 대한 책갈피 리스트를 상기 디스플레이 장치에 표시하는 단계 및, 상기 표시된 책갈피 리스트 중에서 어느 하나가 선택되면, 상기 선택된 맛이 표현되는 시점으로 상기 영상의 재생 위치를 이동시키는 단계를 더 포함할 수 있다.
또한, 상기 영상 및 그림의 인공 맛 구현과 전달 방법은 상기 선택된 맛에 대응되는 추천 음식 메뉴 및 상기 사용자의 위치로부터 기 설정된 반경 내 상기 추천 음식 메뉴를 판매하는 음식점 리스트를 디스플레이하는 단계를 더 포함할 수 있다.
또한, 상기 영상 및 그림의 인공 맛 구현과 전달 방법은 HMD(Head Mounted Display)로 구현된 상기 디스플레이 장치에 부착되는 동작 센서 또는 위치 센서를 통해, 상기 디스플레이 장치의 동작이나 위치를 센싱하는 단계를 더 포함하고, 상기 전달하는 단계는 상기 디스플레이 장치 외부에 마련된 사용자 인터페이스를 통한 조작, 상기 센싱된 상기 디스플레이 장치의 동작 정보 또는 위치 정보에 기반하여 상기 복수의 서로 다른 맛 중 어느 하나를 선택할 수 있다.
또한, 상기 영상 및 그림의 인공 맛 구현과 전달 방법은 상기 사용자 인터페이스로부터 자극 조절 명령을 수신하는 단계 및, 상기 수신된 자극 조절 명령, 상기 디스플레이 장치의 동작 센서에 의해 센싱된 상기 디스플레이 장치의 동작 정보 또는 상기 디스플레이 장치의 위치 센서에 의해 센싱된 상기 디스플레이 장치의 위치 정보에 따라 상기 온도자극부 및 전극을 통해 전달되는 상기 온도 자극의 온도, 상기 전기 자극의 전류의 세기 및 주파수를 조절하는 단계를 더 포함할 수 있다.
또한, 상기 전달하는 단계는 상기 재생되는 영상 또는 그림에서 표현되는 맛에 있어서, 온도 또는 전류의 세기 중 적어도 어느 하나가 기 설정된 범위 내에서 시간에 따라 가변하는 온도 자극 또는 전기 자극을 전달할 수 있다.
또한, 상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도, 전류의 세기 및 주파수는 각각 0 내지 40℃ 범위, 0 내지 250μA 범위 및 0 내지 800Hz 범위 내일 수 있다.
한편, 본 발명의 일 실시 예에 따른 장갑을 활용한 인공 미각 전달 장치는 영상 또는 그림과 상기 영상 또는 그림에서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 수신하여 저장하는 저장부, 상기 장갑의 각 손가락 말단부에 마련되는 열전소자를 통해 온도 자극을 전달하고, 상기 장갑의 각 손가락 말단부에 마련되는 전극을 통해 전기 자극을 전달하는 전달부 및, 디스플레이 장치를 통해 상기 영상 또는 그림이 재생되면, 상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도에 의한 온도 자극 및, 상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달하도록 상기 전달부를 제어하는 프로세서를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자에게 전류의 세기, 주파수 및 온도가 융합된 자극을 전달하여 다양한 맛에 대한 인공적 감각을 느끼고 조절할 수 있도록 할 수 있다.
또한, 인공적 미각 경험을 극대화할 수 있는 영상을 디스플레이하거나 그에 알맞은 서비스를 제공함으로써, 인공적 미각 경험으로부터 얻는 즐거움 또는 편의에 대한 사용자의 니즈를 충족시킬 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 인공 미각 전달 장치의 구성을 간략히 도시한 블록도,
도 2는 본 발명의 일 실시 예에 따른 인공 미각 전달 과정을 설명하기 위한 순서도를 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 인공 미각 전달 장치가 부착된 햅틱 장갑을 나타낸 도면,
도 4는 본 발명의 일 실시 예에 따른 햅틱 모듈 및 위치센서를 나타낸 도면,
도 5는 본 발명의 일 실시 예에 따른 전극의 형태를 나타낸 도면,
도 6은 본 발명의 일 실시 예에 따른 인공 미각 전달 장치와 디스플레이 장치의 동작을 동기화하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 디스플레이 장치가 HMD로 구현된 예에 있어, HMD의 외관 및 구조를 나타낸 도면,
도 8은 본 발명의 일 실시 예에 따른 인공 맛 구현과 그 전달 방법을 간략히 설명하기 위한 흐름도이다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 '제1', '제2' 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 인공 미각 전달 장치의 구성을 간략히 도시한 블록도이다.
본 발명의 인공 미각 전달 장치(100)는 저장부(110), 전달부(120), 통신부(130) 및 프로세서(140)를 포함한다.
저장부(110)는 인공 미각 전달 장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 특히, 저장부(110)는 복수의 서로 다른 맛(flavor)에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz) 를 저장할 수 있다.
아래 도시된 표 1과 같이, 미각의 종류 및 세분화된 맛의 종류에 따라 해당 맛이 발현되는 조건인 전류의 세기(μA), 주파수(Hz) 및 온도(℃)가 매핑된 매핑테이블이 저장되어 있을 수 있다.
미각의 종류 맛 전류크기(μA) 주파수(Hz) 온도(℃)


신맛		 Tuscan 오렌지맛 180 800 30
브라질 망고 자몽 맛 180 800 25
말리부 레몬 꽃 맛 180 800 18
라임 맛 60~180 800 20~30
매운맛 마다가스카르 향신료 맛 20 800 20~30
민트맛 말리부 레몬 꽃 맛 20 400 36
박하맛 박하사탕 맛 40 800 18
단맛 초콜릿 맛 180~60 하강 800 35~25 하강
짠맛 소금 맛 50 100 20~30 상승
쓴맛 한약 맛 60~140 400 20~30 상승
이때, 각각의 맛에 대응되는 온도는 0~40℃ 범위, 전류의 세기는 0~250μA 범위 및 주파수는 0~800Hz 범위 내에서 설정되는 것이 바람직하다.
저장부(110)는 저장된 위 매핑 테이블 외에도 사용자 인터페이스(미도시)를 통해 사용자로부터 입력받은 특정한 맛과 해당 특정한 맛에 매핑될 온도, 전류의 세기 및 주파수에 대한 설정 정보를 저장할 수 있다.
전달부(120)는 온도 자극 및 전류에 의한 전기 자극을 전달하는 구성이다.
구체적으로, 전달부(120)는 선택된 맛에 대응되는 온도에 의한 온도 자극 및, 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달할 수 있다. 전달부(120)는 온도 자극 및 전기 자극을 전달하여 사용자의 특정 부위에 전달할 수 있다면 그 소재는 무방하다. 다만, 전달부(120)는 인공 미각 전달 장치(100)에 있어서 사용자의 혀가 맞닿을 수 있는 배치형태 및 구조를 가지는 것이 바람직하며, 본 발명에서는 햅틱 장갑(1)의 각 손가락 말단부에 전달부(120)가 배치되도록 하여 사용자가 햅틱 장갑(1)을 착용한 상태에서 각 손가락을 혀에 갖다대면 전달부(120)로부터 온도 자극 및 전기 자극이 혀에 전달되어 맛을 느낄 수 있도록 설계하였다.
본 발명의 햅틱 장갑(1)은 기본적으로 내측에 손을 끼울 수 있는 공간부를 구비한 절연성 재질의 부재로 이루어질 수 있다.
전달부(120)는 온도 자극을 위한 온도자극부(121)와 전기 자극을 위한 전극(122)을 포함할 수 있다.
온도자극부(121)는 히팅 코일 또는 열전소자로 구현될 수 있다.
열전소자는 펠티에(peltier) 효과에 의한 흡열 또는 발열을 이용한 것으로, n형 반도체와 p형 반도체가 반복하여 직열로 접속되어, 전류가 흐르는 방향에 따라 흡열 또는 발열이 결정된다. 열원(heat source)이 가해지면, p형 반도체에서는 정공이, n형 반도체에서는 전자가 그 에너지를 가지고 열 방출원(hear sink)으로 이동하면서 외부의 부하에 일을 하면서 열에너지가 전기에너지로 변환될 수 있다.
전극(122)은 한 쌍의 전도부 및 전원 커넥터 및 리드선을 포함할 수 있는데, 한 쌍의 전도부는 전도성을 위하여 은, 염화은, 티타늄, 금 및 백금 중 어느 하나의 금속을 포함하여 형성될 수 있다.
전도부는 리드선 및 전원 커넥터를 통하여 전원이 공급되는 전원부와 전기적으로 연결되고, 전도부와 전원부를 연결하는 각각의 리드선은 외부로 노출되지 않도록 별도의 절연재료로 덮여질 수 있다.
햅틱 장갑(1)에 있어서 전극(122)의 구체적인 배치 방법은 도 5에서 후술하도록 한다.
통신부(130)는 디스플레이 장치(200) 또는 외부 장치와 네트워크를 통해 연결되어 통신을 수행하는 구성이다. 구체적으로 통신부(130)는 디스플레이 장치(200)와 동기화되어 동작하기 위한 현재 재생되는 영상의 재생 시점을 포함한 동기화 신호를 교환할 수 있다.
네트워크의 통신방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 온라인, 무선 온라인, 방송망)을 활용하는 통신 방식뿐만 아니라 근거리 무선 통신 역시 포함할 수 있다. 예를 들어, 네트워크는 WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband) 및/또는 Wimax(World Interoperability for Microwave Access) 등의 무선 인터넷 기술, 블루투스(Bluetooth), NFC(Near Field Communication) 및/또는 RFID(Radio Frequency Identification) 등의 근거리 통신 기술 CDMA(Code Division Multiple Access), GSM(Global System for Mobile communication), LTE(Long Tern Evolution) 및/또는 LTE-Advanced 등의 이동 통신 기술, 및/또는 V2I(Vehicle to Infra) 등의 V2X(Vehicle to Everything) 통신 기술에 기반한 네트워크로 구현될 수 있다.
프로세서(140)는 인공 미각 전달 장치(100)의 동작을 전반적으로 제어하는 구성이다.
일 실시 예에 따라, 프로세서(140)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(140)는 선택된 맛에 대응되는 온도에 의한 온도 자극 및, 선택된 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달하도록 전달부(120)를 제어할 수 있다.
이때, 프로세서(140)는 사용자 인터페이스를 통해 입력된 자극 조절 명령에 따라 전달부(120)에서 전달되는 온도 자극의 온도, 전기 자극의 전류의 세기 및 주파수를 조절하도록 전달부(120)를 제어할 수 있다. 이에 따라, 프로세서(140)는 온도 및 전류를 각각 제어할 수 있는 제어 모듈을 포함할 수 있다.
한편, 프로세서(140)는 표 1에 도시된 바와 같이, 복수의 서로 다른 맛 중 기 설정된 맛에 있어서는, 온도 또는 전류의 세기가 기 설정된 범위 내에서 시간에 따라 가변하는 온도 자극 도는 전기 자극을 전달할 수 있다.
예를 들어, 단맛 중 초콜릿 맛을 구현하기 위해서, 전류의 세기를 180μA에서 60μA로 하강시키고, 온도를 35℃로부터 25℃까지 하강시킬 수 있다. 쓴맛 중 한약 맛을 구현하기 위해서는, 60μA~140μA의 전류 범위 내에서 온도를 20℃로부터 30℃까지 상승시킬 수 있다.
이와 같이, 전달부(120)로부터 온도 자극 및 전기 자극이 전달되면, 사용자가 전달부(120)에 혀를 대어 온도 자극 및 전기 자극을 전달받을 수 있다. 미뢰를 통해 전달된 온도 자극 및 전기 자극은 두뇌를 통해 특정한 맛으로 느껴지게 된다.
한편, 도 2는 본 발명의 일 실시 예에 따른 인공 미각 전달 과정을 설명하기 위한 순서도를 도시한 도면이다.
먼저, 맛에 대응되는 설정 값을 저장한다(S210). 이 후, 저장된 복수의 서로 다른 맛 중 어느 하나에 대한 선택 명령을 수신하면(S220), 수신된 선택 명령에 대응되는 온도, 전류 세기 및 주파수를 조절할 수 있다(S240). 또한, 온도, 전류 세기 및 주파수를 직접 조절하기 위한 자극 조절 명령을 입력받을 수도 있고(S230), 이때는 자극 조절 명령에 따라 온도, 전류 세기 및 주파수를 조절할 수 있다.
이와 같이 조절된 온도, 전류 세기 및 주파수는 전달부(120)의 온도자극부(121) 및 전극(122)을 통해 온도 자극 및 전기 자극으로 사용자에게 전달된다(S250).
사용자가 전달부(120)를 구성하는 온도자극부(121) 및 전극(122)을 혀에 갖다 대면, 이와 같이 전달된 온도 자극 및 전기 자극이 사용자의 혀에 가해짐으로써 인공 미각이 생성 및 전달될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 인공 미각 전달 장치가 부착된 햅틱 장갑을 나타낸 도면이다.
도 3에 도시된 바와 같이, 본 발명의 인공 미각 전달 장치는 저장부(110) 및 프로세서(140)를 포함한 제어 모듈이 햅틱 장갑(1)의 손목 부분에 위치하고, 온도 자극 및 전기 자극을 전달하기 위한 전달부(120)는 햅틱 장갑(1)의 각 손가락 말단부에 마련될 수 있다.
전달부(120)는 각 손가락마다 5개의 전달 모듈(120-1~120-5)로 구성될 수 있다. 각 전달 모듈(120-1~120-5)과 프로세서(140)는 도전성 전극판을 통해 연결될 수 있고, 도전성 전극판의 일 측에는 외부 도선을 연결시키는 연결 부재가 형성될 수 있다.
각 전달 모듈(120-1~120-5)은 각각 온도자극부(121) 및 전극(122)을 포함할 수 있다.
온도자극부(121)가 열전소자로 구현될 경우의 예에 있어서, 햅틱 장갑(1)의 손목 부분에 위치하는 제어 모듈은 열전소자를 제어하기 위한 온도 조절 PCB를 포함할 수 있다. 온도 자극을 전달하기 위한 열전소자는 햅틱 장갑(1)의 손가락 말단부에 전극(122)과 같이 마련되며, 양극 및 음극의 각 전도성 금속으로 온도 조절 PCB와 연결될 수 있다.
전극(122)은 햅틱 장갑(1)의 각 손가락 말단부에 마련되는 전극용 FPCB(Flexible Printed Circuit Board) 기판으로 구현되거나 햅틱 장갑(1)의 각 손가락에 끼울 수 있는 링(ring) 타입으로 구현될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 햅틱 모듈 및 위치센서를 나타낸 도면이다.
도 4에 도시된 바와 같이, 햅틱 장갑(1)의 손바닥 쪽에는 선택된 맛에 대응되는 압력에 의한 압력 자극을 전달하기 위한 햅틱(haptic) 모듈(123)이 포함될 수 있고, 손등 내지 손가락 부위에는 햅틱 장갑(1)의 각 손가락 부분의 위치를 센싱하기 위한 적어도 하나의 위치 센서(124)가 포함될 수 있다.
햅틱 모듈(123)은 프로세서(140)의 제어에 따라, 압전소자 및 복수의 액츄에이터를 포함하여 사실적인 촉각을 전달할 수 있다. 햅틱 모듈(123)은 선택된 맛에 대응되는 압력 자극이 손바닥 부위에 가해지도록 동작될 수 있다.
다른 실시 예로서, 햅틱 모듈(123)은 기압을 사용하여 압력을 생성하고 이를 사용자의 손바닥의 근감각을 자극하도록 하는 공압식 액추에이터를 포함할 수도 있다.
위치 센서(124)는 3축 자이로스코프, 3축 가속도 센서, 3축 지자기센서 및 압전 센서 중 적어도 하나를 내장하여 햅틱 장갑(1)의 각 손가락 모션이나 위치를 감지할 수 있다.
이에 따라, 프로세서(140)는 위치 센서(124)에 의해 센싱된 각 손가락 부분의 위치 정보에 따라 손가락의 위치 또는 모션을 감지하고, 감지된 위치 또는 모션에 따라 햅틱 장갑(1)의 각 손가락 말단부에 전달되는 온도 자극의 온도, 전기 자극의 전류의 세기 및 주파수를 조절하여 사용자에게 전달되는 맛이 달라지도록 제어할 수 있다.
이때, 기 설정된 손가락의 위치 또는 모션에 각각 대응되는 맛과 그 맛을 구현하기 위한 온도, 전류의 세기 및 주파수가 매핑된 매핑 테이블이 저장되어 있을 수 있다.
한편, 도 5는 장갑이 손가락 말단부에 접촉되는 전극(122-1, 122-2)을 포함하는 골무 형태의 핑거 글로브(finger glove) 로 구현된 예를 도시한 것이다.
핑거 글로브(50)는 사용자의 각 손가락에 끼울 수 있는 내부 공간을 가지도록 설계되며, 손가락 굵기에 따라 탄성력이 작용할 수 있도록 신축성 있는 플라스틱 또는 고무 소재로 이루어질 수 있다.
각 전극(122-1, 122-2)는 4P 전선을 통해 손목에 마련되는 제어 모듈과 연결될 수 있다.
이때, 프로세서(140)는 복수의 손가락에 대응되는 복수의 핑거 글로브(50) 중 사용자에 의해 선택된 핑거 글로브(50)에 전기 자극 및 온도 자극을 전달하도록 제어할 수 있다. 예를 들어, 검지 손가락에 대응되는 핑거 글로브(50) 및 엄지 손가락에 대응되는 핑거 글로브(50) 중 사용자 인터페이스를 통해 검지 손가락에 대응되는 핑거 글로브(50)가 사용자에 의해 선택되는 경우, 프로세서(140)는 검지 손가락에 대응되는 핑거 글로브(50)에만 전기 자극 및 온도 자극을 전달할 수 있다.
또한, 프로세서(140)는 복수의 서로 다른 맛 중 둘 이상의 맛이 선택된 경우에 있어서, 복수의 핑거 글로브 중 사용자에 의해 선택된 둘 이상의 핑거 글로브에, 선택된 맛에 대응되는 전기 자극 및 온도 자극을 각각 전달할 수 있다. 예를 들어, 복수의 서로 다른 맛 중 특정한 단 맛과 특정한 짠 맛이 선택되었고, 사용자에 의해 검지 손가락에 대응되는 핑거 글로브(50) 및 엄지 손가락에 대응되는 핑거 글로브(50)가 선택된 경우, 검지 손가락에 대응되는 핑거 글로브(50)에는 상기 선택된 단맛에 대응되는 전기 자극 및 온도 자극을 전달하고, 엄지 손가락에 대응되는 핑거 글로브(50)에는 상기 짠 맛에 대응되는 전기 자극 및 온도 자극을 전달할 수 있다.
한편, 각 손가락에 대응되는 핑거 글로브(50)는 짠 맛, 단 맛, 쓴 맛, 매운 맛, 신 맛 등 미각의 종류에 따른 카테고리 별로 대응되는 온도 자극 및 전기 자극을 전달하도록 기분류될 수 있다. 예를 들어, 신맛 카테고리에 속하는 맛이 선택되는 경우에는 검지 손가락에 대응되는 핑거 글로브(50), 민트맛 또는 박하맛 카테고리에 속하는 맛이 선택되는 경우에는 중지 손가락에 대응되는 핑거 글로브(50)를 통해 각각의 맛에 대응되는 온도 자극 및 전기 자극이 전달될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 인공 미각 전달 장치와 디스플레이 장치의 동기화를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따르면, 디스플레이 장치(200)를 통해 영상 또는 그림이 재생되는 경우, 프로세서(140)는 디스플레이 장치(200)에서 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도에 의한 온도 자극을 햅틱 장갑(1)의 각 손가락 말단부에 마련되는 온도자극부(121)를 통해 전달하고, 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 햅틱 장갑(1)의 각 손가락 말단부에 마련되는 전극(122)을 통해 전달하고, 햅틱 장갑(1)의 손바닥 부위에 마련되는 햅틱 모듈(123)을 통해 사용자의 손바닥에, 재생되는 영상 또는 그림에 대응되는 압력 자극을 전달할 수 있다.
예를 들어, 디스플레이 장치(200)의 재생 영상에서 특정 음식을 섭취하는 장면이 나오는 경우, 해당 특정 음식의 맛에 대응되는 온도 자극, 전기 자극 및 압력 자극이 사용자에게 전달될 수 있다. 여기서, 압력 자극은 해당 특정 음식의 질감과 유사한 질감이 느껴지도록 인가될 수 있다.
도 6을 참조하면, 인공 미각 전달 장치(100)와 연계되어 제공되는 소프트웨어를 통해, 재생될 영상(61)의 타임라인(63) 중 적어도 하나의 기 설정된 시점에 있어서 표현되는 맛에 대응되는 온도, 전류의 세기 및 주파수의 값이 설정될 수 있다.
재생될 영상(61)의 타임라인(63)에서 특정한 맛이 표현되는 시점에, 설정 메뉴(62) 상의 "Sour", "Sweet", "Salty", "Spicy" 및 "Bitter" 중 해당 특정한 맛에 대응되는 어느 하나의 맛을 선택하여, 해당 특정한 맛이 표현되는 시점에 선택된 맛에 대응되는 온도, 세기 및 주파수의 전류에 의한 온도 자극 및 전기 자극이 전달되도록 설정할 수 있다.
또한, 재생될 영상(61)의 타임라인(63)에서 특정한 맛이 표현되는 시점에, 해당 특정한 맛에 대응되는 온도, 전류의 세기 및 주파수를 직접 설정할 수도 있다.
이러한 설정 정보는 디스플레이 장치(200)로 전송되고, 디스플레이 장치(200)는 인공 미각 전달 장치(100)와 서로 동기화 신호를 교환함으로써 타임라인(63) 중 특정한 맛이 표현되는 기 설정된 시점에 온도 자극 및 전기 자극이 햅틱 장갑(1)의 손가락 말단부로 전달될 수 있다.
예를 들어, 2시간 짜리 영상의 전체 타임라인 중 15분 20초의 재생 시점에 오렌지가 표시된 영상이 디스플레이 장치(200)를 통해 디스플레이되는 경우, 오렌지의 맛에 대응되는 온도에 의한 온도 자극, 오렌지의 맛에 대응되는 전류의 세기 및 주파수의 전류에 의한 전기 자극이 햅틱 장갑(1)의 손가락 말단부로 전달될 수 있다.
한편, 설정 메뉴(62)는 햅틱 장갑(1)의 각 손가락 말단부의 전극 중 온도 자극 및 전기 자극이 전달될 전극 및 그 세기를 선택하기 위한 메뉴, 햅틱 모듈(123)에 의한 압력 자극 및 그 세기를 선택하기 위한 메뉴를 포함할 수 있다.
또한, 프로세서(140)는 재생되는 영상에서 표현되는 맛에 대한 책갈피 리스트를 디스플레이 장치(200)에 표시하고, 표시된 책갈피 리스트 중에서 어느 하나가 선택되면, 선택된 맛이 표현되는 시점으로 영상의 재생 위치를 이동시킬 수 있다.
예를 들어, 프로세서(140)는 사용자가 영상의 타임라인 중 온도 자극 및 전기 자극이 전달되도록 설정한 복수의 시점마다 표현되는 맛을 별도로 리스트화시켜 저장하고, 재생되는 영상의 일부분에 해당 리스트를 표시하도록 제어할 수 있다. 해당 리스트에 표시된 맛 중 어느 하나가 선택되면, 선택된 맛이 표현되는 시점으로 영상의 재생 위치가 곧바로 이동될 수 있다.
나아가, 프로세서(140)는 선택된 맛에 대응되는 추천 음식 메뉴 및 사용자의 위치로부터 기 설정된 반경 내 추천 음식 메뉴를 판매하는 음식점 리스트를 디스플레이할 수도 있다.
이에 따라, 사용자가 표시된 음식점 리스트 중 어느 하나의 음식점을 선택하면, 해당 음식점에 대한 정보 및 해당 음식점으로 가는 길을 안내하는 지도 정보가 디스플레이 장치(200)에 표시될 수 있다.
이를 위하여, 저장부(110)는 복수의 서로 다른 맛에 각각 대응되는 음식에 대한 영상, 해당 음식을 판매하는 음식점 정보 및 지도 정보를 미리 저장할 수 있다. 또는, 복수의 서로 다른 맛에 각각 대응되는 음식에 대한 영상, 해당 음식을 판매하는 음식점 정보 및 지도 정보는 통신부(130)를 통해 네트워크로 연결된 외부 서버(미도시)로부터 실시간 수신될 수도 있다.
도 7은 본 발명의 디스플레이 장치가 HMD로 구현된 예에 있어, HMD의 외관 및 구조를 나타낸 도면이다.
본 발명의 HMD(200')는 헤드 밴드(71), 상하 길이 조절부(72), 둘레 길이 조절부(73), 오디오 출력부(74), 디스플레이부(210)가 포함된 몸통부(75), 전달부(120)가 포함된 마스크 형태의 보조 장치(76), 전달부(220)가 배치된 돌출부(37)를 포함할 수 있다.
헤드 밴드(71)는 몸통부(75)와 서로 연결되어 있으며, 상하 길이 조절부(72) 및 둘레 길이 조절부(73)에 의해 길이가 조절될 수 있다. 이때, 헤드 밴드(71)는 사용자의 머리에 착용되면서 회전될 수 있도록 몸통부(75)에 연결될 수 있다.
오디오 출력부(74)은 음성 또는 음향을 출력하기 위한 구성이다. 오디오 출력부(74)는 고막이 아닌 뼈를 통해 소리를 전달하는 골전도 방식의 헤드폰 형태로 구현될 수 있다.
몸통부(75)는 디스플레이부(210) 및 HMD(200')를 제어하기 위한 각종 버튼을 포함할 수 있다.
몸통부(75)의 하부에는 마스크 형태의 보조 장치(76)가 배치될 수 있다. 보조 장치(76)는 HMD(200')를 착용한 사용자의 입 및 그 주변을 가리도록 설계되며, 전달부(120) 및 마이크(미도시) 등을 포함할 수 있다. 전달부(120)는 도 7에 도시된 바와 같이, 보조 장치(76)에서 사용자의 입과 대응되는 안쪽 위치에 돌출되도록 형성된 돌출부(77)에 배치될 수 있다.
따라서, 사용자가 혀를 내밀어 돌출부(77)에 접촉시키거나 돌출부(77)를 입에 물면 전달부(120)의 온도자극부(121) 및 전극(122)이 혀에 닿음으로써 맛을 느끼도록 할 수 있다.
한편, HMD(200')는 몸통부(75)를 포함한 각 구성 중 어느 하나에 동작 센서(미도시) 또는 위치 센서(미도시)를 포함할 수 있다.
동작 센서는 3축 자이로스코프, 3축 가속도 센서, 3축 지자기센서 중 적어도 하나를 내장하여 사용자의 모션을 감지할 수 있다.
위치 센서는 GPS(Global Positioning System), 기지국(Cell-ID), Wi-Fi 등을 이용한 다양한 방식으로 기반으로 위치를 측위할 수 있다.
프로세서(140)는 HMD(200')의 동작 센서 또는 위치 센서를 통해 사용자의 동작이나 위치를 센싱하고, 센싱된 HMD(200')의 동작 정보 또는 위치 정보에 기초하여 복수의 서로 다른 맛 중 어느 하나를 선택할 수 있다.
예를 들어, 프로세서(140)는 센싱된 사용자의 동작이 특정 운동을 수행하는 것으로 인식된 경우, 몸의 체력이 소모되면 에너지가 부족해지므로 단맛인 초콜릿 맛에 대응되는 전기 자극(180μA에서 60μA로 하강, 800Hz) 및 온도 자극(35℃에서 25℃로 하강)을 전달하도록 제어하여 사용자가 단 맛을 느끼도록 할 수 있다.
또한, 프로세서(140)는 센싱된 사용자의 위치가 특정 식당으로부터 기 설정된 거리 내 인 경우, 해당 식당에서 판매하는 대표 메뉴에 대응되는 기 저장된 맛을 선택하고, 선택된 맛에 대응되는 전기 자극 및 온도 자극을 전달하도록 제어할 수도 있다. 이와 같은 대표 메뉴에 대응되는 맛과 그에 대응되는 전류의 세기, 주파수 및 온도의 설정 값은 해당 식당으로부터 제공되는 것일 수 있다.
한편, 프로세서(140)는 HMD(200')의 동작 센서에 의해 센싱된 HMD(200')의 동작 정보 또는 위치 센서에 의해 센싱된 HMD(200')의 위치 정보에 따라, 기 선택된 맛에 대응되는 온도 자극의 온도, 전기 자극의 전류의 세기 및 주파수를 세부적으로 조절할 수도 있다.
도 8은 본 발명의 일 실시 예에 따른 인공 맛 구현과 그 전달 방법을 간략히 설명하기 위한 흐름도이다.
먼저, 영상 또는 그림과, 영상 또는 그림에서 표현되는 맛에 대응되는 온도, 전류의 세기 및 주파수의 설정값을 수신하여 저장한다(S810). 이때, 디스플레이 장치를 통해 재생되는 영상의 타임라인(timeline) 중 적어도 하나의 기 설정된 시점에 있어서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 저장할 수 있다.
이후, 디스플레이 장치를 통해 영상 또는 그림을 재생한다(S820).
이후, 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도에 의한 온도 자극을 장갑의 각 손가락 말단부에 마련되는 온도자극부를 통해 전달하고, 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 장갑의 각 손가락 말단부에 마련되는 전극을 통해 전달한다(S830). 이때, 영상의 재생 중 기 설정된 시점에 도달하는 경우 기 설정된 시점에 있어서 표현되는 맛에 대응되는 온도에 의한 온도 자극 및 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달하도록 인공 미각 전달 장치와 디스플레이 장치를 동기화할 수 있다.
또한, 재생되는 영상에서 표현되는 맛에 대한 책갈피 리스트를 디스플레이 장치에 표시할 수 있으며, 표시된 책갈피 리스트 중에서 어느 하나가 선택되면, 선택된 맛이 표현되는 시점으로 영상의 재생 위치를 이동시킬 수 있다.
또한, 선택된 맛에 대응되는 추천 음식 메뉴 및 사용자의 위치로부터 기 설정된 반경 내 추천 음식 메뉴를 판매하는 음식점 리스트를 디스플레이할 수도 있다.
한편, 디스플레이 장치가 HMD(Head Mounted Display)로 구현되는 경우, 디스플레이 장치에 부착되는 동작 센서 또는 위치 센서를 통해, 디스플레이 장치의 동작이나 위치를 센싱할 수 있고, 디스플레이 장치 외부에 마련된 사용자 인터페이스를 통한 조작, 센싱된 디스플레이 장치의 동작 정보 또는 위치 정보에 기반하여 복수의 서로 다른 맛 중 어느 하나를 선택할 수 있다.
또한, 사용자 인터페이스로부터 자극 조절 명령을 수신하고, 수신된 자극 조절 명령, 디스플레이 장치의 동작 센서에 의해 센싱된 디스플레이 장치의 동작 정보 또는 디스플레이 장치의 위치 센서에 의해 센싱된 디스플레이 장치의 위치 정보에 따라 온도자극부 및 전극을 통해 전달되는 온도 자극의 온도, 전기 자극의 전류의 세기 및 주파수를 조절할 수 있다.
또한, 재생되는 영상 또는 그림에서 표현되는 맛에 있어서, 온도 또는 전류의 세기 중 적어도 어느 하나가 기 설정된 범위 내에서 시간에 따라 가변하는 온도 자극 또는 전기 자극을 전달할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자에게 전류의 세기, 주파수 및 온도가 융합된 자극을 전달하여 다양한 맛에 대한 인공적 감각을 느끼고 조절할 수 있도록 할 수 있다.
또한, 인공적 미각 경험을 극대화할 수 있는 영상을 디스플레이하거나 그에 알맞은 서비스를 제공함으로써, 인공적 미각 경험으로부터 얻는 즐거움 또는 편의에 대한 사용자의 니즈를 충족시킬 수 있다.
한편, 상술한 다양한 실시 예에 따른 인공 맛 구현과 그 전달 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 인공 맛 구현과 그 전달 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, ⅰ) 영상 또는 그림과 영상 또는 그림에서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 수신하여 저장하는 단계, ⅱ) 디스플레이 장치를 통해 영상 또는 그림을 재생하는 단계, ⅲ)재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도에 의한 온도 자극을 장갑의 각 손가락 말단부에 마련되는 온도자극부를 통해 전달하고, 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 장갑의 각 손가락 말단부에 마련되는 전극을 통해 전달하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 인공 미각 전달 장치 110: 저장부
120: 전달부 130: 통신부
140: 프로세서 200: 디스플레이 장치
200': HMD

Claims (10)

  1. 인공 미각 전달 장치가 포함된 장갑을 활용한 영상 및 그림의 인공 맛 구현과 전달 방법에 있어서,
    상기 영상 또는 그림과 상기 영상 또는 그림에서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 수신하여 저장하는 단계;
    디스플레이 장치를 통해 상기 영상 또는 그림을 재생하는 단계; 및
    상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도에 의한 온도 자극을 상기 장갑의 각 손가락 말단부에 마련되는 온도자극부를 통해 전달하고, 상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 상기 장갑의 각 손가락 말단부에 마련되는 전극을 통해 전달하는 단계;를 포함하고,
    상기 저장하는 단계는,
    상기 디스플레이 장치를 통해 재생되는 영상의 타임라인(timeline) 중 적어도 하나의 기 설정된 시점에 있어서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 저장하고,
    상기 전달하는 단계는,
    상기 영상의 재생 중 상기 기 설정된 시점에 도달하는 경우 상기 기 설정된 시점에 있어서 표현되는 맛에 대응되는 온도에 의한 상기 온도 자극 및 상기 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 상기 전기 자극을 전달하도록 상기 인공 미각 전달 장치와 상기 디스플레이 장치의 동작을 동기화하며,
    상기 인공 맛 구현과 전달 방법은,
    상기 재생되는 영상에서 표현되는 맛에 대한 책갈피 리스트를 상기 디스플레이 장치에 표시하는 단계;
    상기 표시된 책갈피 리스트 중에서 어느 하나가 선택되면, 상기 선택된 맛이 표현되는 시점으로 상기 영상의 재생 위치를 이동시키는 단계; 및
    상기 선택된 맛에 대응되는 추천 음식 메뉴 및 사용자의 위치로부터 기 설정된 반경 내 상기 추천 음식 메뉴를 판매하는 음식점 리스트를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 인공 맛 구현과 전달 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    HMD(Head Mounted Display)로 구현된 상기 디스플레이 장치에 부착되는 동작 센서 또는 위치 센서를 통해, 상기 디스플레이 장치의 동작이나 위치를 센싱하는 단계;를 더 포함하고,
    상기 전달하는 단계는,
    상기 디스플레이 장치 외부에 마련된 사용자 인터페이스를 통한 조작, 상기 센싱된 상기 디스플레이 장치의 동작 정보 또는 위치 정보에 기반하여 복수의 서로 다른 맛 중 어느 하나를 선택하는 것을 특징으로 하는 인공 맛 구현과 전달 방법.
  6. 제5항에 있어서,
    상기 사용자 인터페이스로부터 자극 조절 명령을 수신하는 단계; 및
    상기 수신된 자극 조절 명령, 상기 디스플레이 장치의 동작 센서에 의해 센싱된 상기 디스플레이 장치의 동작 정보 또는 상기 디스플레이 장치의 위치 센서에 의해 센싱된 상기 디스플레이 장치의 위치 정보에 따라 상기 온도자극부 및 전극을 통해 전달되는 상기 온도 자극의 온도, 상기 전기 자극의 전류의 세기 및 주파수를 조절하는 단계;를 더 포함하는 것을 특징으로 하는 인공 맛 구현과 전달 방법.
  7. 제1항에 있어서,
    상기 전달하는 단계는,
    상기 재생되는 영상 또는 그림에서 표현되는 맛에 있어서, 온도 또는 전류의 세기 중 적어도 어느 하나가 기 설정된 범위 내에서 시간에 따라 가변하는 온도 자극 또는 전기 자극을 전달하는 것을 특징으로 하는 인공 맛 구현과 전달 방법.
  8. 제1항에 있어서,
    상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도, 전류의 세기 및 주파수는 각각 0 내지 40℃ 범위, 0 내지 250μA 범위 및 0 내지 800Hz 범위 내인 것을 특징으로 하는 인공 맛 구현과 전달 방법.
  9. 장갑을 활용한 인공 미각 전달 장치에 있어서,
    영상 또는 그림과 상기 영상 또는 그림에서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 수신하여 저장하는 저장부;
    상기 장갑의 각 손가락 말단부에 마련되는 열전소자를 통해 온도 자극을 전달하고, 상기 장갑의 각 손가락 말단부에 마련되는 전극을 통해 전기 자극을 전달하는 전달부; 및
    디스플레이 장치를 통해 상기 영상 또는 그림이 재생되면, 상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 온도에 의한 온도 자극 및, 상기 재생되는 영상 또는 그림에서 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 전기 자극을 전달하도록 상기 전달부를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 디스플레이 장치를 통해 재생되는 영상의 타임라인(timeline) 중 적어도 하나의 기 설정된 시점에 있어서 표현되는 맛에 대응되는 온도(℃), 전류의 세기(μA) 및 주파수(Hz)의 설정 값을 상기 저장부에 저장하고,
    상기 영상의 재생 중 상기 기 설정된 시점에 도달하는 경우 상기 기 설정된 시점에 있어서 표현되는 맛에 대응되는 온도에 의한 상기 온도 자극 및 상기 표현되는 맛에 대응되는 세기 및 주파수의 전류에 의한 상기 전기 자극을 전달하도록 상기 인공 미각 전달 장치와 상기 디스플레이 장치의 동작을 동기화하며,
    상기 재생되는 영상에서 표현되는 맛에 대한 책갈피 리스트를 상기 디스플레이 장치에 표시하고, 상기 표시된 책갈피 리스트 중에서 어느 하나가 선택되면, 상기 선택된 맛이 표현되는 시점으로 상기 영상의 재생 위치를 이동시키며, 상기 선택된 맛에 대응되는 추천 음식 메뉴 및 사용자의 위치로부터 기 설정된 반경 내 상기 추천 음식 메뉴를 판매하는 음식점 리스트를 디스플레이하도록 상기 디스플레이 장치를 제어하는 것을 특징으로 하는 인공 미각 전달 장치.
  10. 제1항, 제5항 내지 제8항 중 어느 한 항의 인공 맛 구현과 전달 방법을 실행시키는 기록매체에 저장된 컴퓨터 프로그램.
KR1020210179997A 2021-12-15 2021-12-15 영상 및 그림의 인공 맛 구현과 전달 방법 KR102404728B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210179997A KR102404728B1 (ko) 2021-12-15 2021-12-15 영상 및 그림의 인공 맛 구현과 전달 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210179997A KR102404728B1 (ko) 2021-12-15 2021-12-15 영상 및 그림의 인공 맛 구현과 전달 방법

Publications (1)

Publication Number Publication Date
KR102404728B1 true KR102404728B1 (ko) 2022-06-02

Family

ID=81984988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210179997A KR102404728B1 (ko) 2021-12-15 2021-12-15 영상 및 그림의 인공 맛 구현과 전달 방법

Country Status (1)

Country Link
KR (1) KR102404728B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110033629A (ko) * 2009-09-25 2011-03-31 브로드밴드미디어주식회사 책갈피 기능을 제공하기 위한 방송 서비스 시스템 및 방법
KR20150043869A (ko) * 2013-10-15 2015-04-23 한국전자통신연구원 커피맛 제어 시스템 및 제어 방법
KR20160135072A (ko) * 2015-05-15 2016-11-24 삼성디스플레이 주식회사 이동 단말기 및 그 제어방법
KR20170101703A (ko) * 2016-02-29 2017-09-06 주식회사 엔큐브 가상 체험 제공 시스템 및 장치
KR101826911B1 (ko) * 2017-05-31 2018-02-07 주식회사 네비웍스 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법
KR20180066301A (ko) * 2016-12-07 2018-06-19 주식회사 리얼햅틱스 가상현실의 물리 효과 통합 저작 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110033629A (ko) * 2009-09-25 2011-03-31 브로드밴드미디어주식회사 책갈피 기능을 제공하기 위한 방송 서비스 시스템 및 방법
KR20150043869A (ko) * 2013-10-15 2015-04-23 한국전자통신연구원 커피맛 제어 시스템 및 제어 방법
KR20160135072A (ko) * 2015-05-15 2016-11-24 삼성디스플레이 주식회사 이동 단말기 및 그 제어방법
KR20170101703A (ko) * 2016-02-29 2017-09-06 주식회사 엔큐브 가상 체험 제공 시스템 및 장치
KR20180066301A (ko) * 2016-12-07 2018-06-19 주식회사 리얼햅틱스 가상현실의 물리 효과 통합 저작 시스템
KR101826911B1 (ko) * 2017-05-31 2018-02-07 주식회사 네비웍스 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법

Similar Documents

Publication Publication Date Title
US8952888B2 (en) Method and system for conveying an emotion
US11455041B2 (en) Haptic feedback device and method for providing haptic sensation based on video
EP2942931B1 (en) Mobile terminal with eyeglass display
KR102404707B1 (ko) Hmd를 활용한 인공 미각 전달 방법
KR20140104163A (ko) 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
JP2017176198A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2017175689A1 (ja) システム、端末装置、方法及び記録媒体
WO2018042799A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105630145A (zh) 虚拟感觉的方法和装置以及使用其的眼镜或头盔
KR102404728B1 (ko) 영상 및 그림의 인공 맛 구현과 전달 방법
KR102404729B1 (ko) 가상현실, 증강현실 및 혼합현실 상황에서의 인공 미각 적용 방법
KR102404705B1 (ko) 장갑을 활용한 인공 미각 전달 방법
KR102424787B1 (ko) 가상, 증강 및 혼합 현실 환경 속 인공 바람 및 온도와 공기 저항 전달 방법
WO2019087502A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR102391177B1 (ko) 가상의 오감 감각 전달을 활용한 심리 변화 유도 방법
US20230316685A1 (en) Information processing apparatus, information processing method, and program
KR102404690B1 (ko) 전류 및 온도와 주파수를 활용한 인공 미각 생성 및 전달 방법
US11809629B1 (en) Wearable electronic device for inducing transient sensory events as user feedback
WO2023167967A1 (en) Multi-band antenna architectures for a wearable device and related devices and methods
KR102385834B1 (ko) 오감 하드웨어 전달 방법
KR102404730B1 (ko) 진동 구역 독립화를 활용한 인공 촉각 전달 방법
KR102423905B1 (ko) Hmd 환경의 골전도 청각 전달 방법
KR102385835B1 (ko) 오감 소프트웨어 전달 방법
WO2023038559A1 (en) Methods and devices related to experience-appropriate extended reality notifications
KR102398828B1 (ko) 인공 후각 인식 및 전달 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant