KR20090003035A - 오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를이용한 실감 서비스 시스템 및 방법 - Google Patents

오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를이용한 실감 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR20090003035A
KR20090003035A KR1020070070175A KR20070070175A KR20090003035A KR 20090003035 A KR20090003035 A KR 20090003035A KR 1020070070175 A KR1020070070175 A KR 1020070070175A KR 20070070175 A KR20070070175 A KR 20070070175A KR 20090003035 A KR20090003035 A KR 20090003035A
Authority
KR
South Korea
Prior art keywords
senses
information
sense
taste
packet
Prior art date
Application number
KR1020070070175A
Other languages
English (en)
Inventor
정영규
한문성
박준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/516,471 priority Critical patent/US20100077261A1/en
Priority to PCT/KR2007/006216 priority patent/WO2008069529A1/en
Publication of KR20090003035A publication Critical patent/KR20090003035A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를 이용한 실감 서비스 시스템 및 방법에 관한 것으로, 원격지에서 융합 인터페이스를 통한 감각체험을 바탕으로 자신이 원하는 상품을 선택하기 위하여, 사용자에 의한 선택정보를 감지하여 객체를 인식하고, 인식되는 객체에 대한 정보를 네트워크를 통해 전달하는 융합인식부, 상기 객체에 대한 오감 데이터를 포함하는 오감정보패킷을 상기 네트워크를 통해 수신하고, 상기 오감정보패킷에 포함된 개별 감각에 대한 데이터를 추출하여 해석하는 오감 정보 해석부 및 상기 추출된 개별 감각에 대한 데이터를 이용하여 오감을 표현하는 오감융합 표현부를 포함하여 구성되어, 사이버 공간에서 현장감을 느낄 수 있다.
오감 패킷, 융합 인식, 융합 표현, 제스처

Description

오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를 이용한 실감 서비스 시스템 및 방법{APPARATUS AND METHOD FOR ENCODING THE FIVE SENSES INFORMATION, SYSTEM AND METHOD FOR PROVIDING REALISTIC SERVICE USING FIVE SENSES INTEGRATION INTERFACE}
본 발명은 오감 융합 인터페이스를 이용한 실감 서비스 기술에 관한 것으로, 더욱 상세하게는 후각, 미각 및 촉각 부호화 및 융합 인터페이스를 통해 사이버 공간에서 실질직인 감각체험을 통해 사용자의 인터넷 쇼핑의 만족을 위한 오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를 이용한 실감 서비스 시스템 및 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-031-01, 과제명 : 네트워크 기반 실감형 서비스를 위한 오감정보처리 기술개발].
일반적으로 웹과 같은 가상공간에서 사용자가 특정 물건을 선택하여 구매하 기 위해서는 대부분 시각정보에 의존하는 경향이 있다. 하지만, 이러한 시각 정보는 맛이 중요한 음식이나, 향이 중요한 향수 등과 같은 상품을 고르는 경우에 있어서는 실질적으로 중요한 정보는 전달하지 못한다.
이러한 문제를 해결하기 위해 새로이 조명되고 있는 기술이 정보통신을 이용한 오감정보서비스로 사이버 공간에서 기 개발된 후각 및 미각의 부호화 기술을 활용하는 서비스하는 기술이다. 이러한 오감 통신에 관한 연구는 2000년도 일본에서 오감연구회를 발족하는 것을 시작점으로 후각, 미각, 촉각에 관한 기술분석 및 활용방안을 도출하고 있으나 아직 오감에 관한 정보를 이용하여 실감나는 사이버 쇼핑을 제공하지는 못한다.
이에 따라, 사용자의 만족도를 높이기 위해서는 후각, 미각 및 촉각 부호화와 융합 인터페이스를 통해 실감나는 사이버 쇼핑을 할 수 있는 구체적인 기술개발이 필요하게 되었다.
따라서, 본 발명은 상기와 같은 문제를 해결하기 위해 사이버 공간에서 판매되는 상품에 대한 오감 정보를 각각의 감각별로 부호화하여 통합 패킷을 생성하여 사용자에게 전송하고, 다른 한편으로, 사이버 공간에서 사용자가 선택한 상품에 대한 오감 정보를 통합 패킷으로 전송하여 사용자가 오감 디바이스를 이용하여 상품을 실제 체험할 수 있도록 한다.
상기와 같은 본 발명의 과제를 해결하기 위하여, 본 발명의 오감정보 부호화 장치는 입력되는 대상물을 분석하여, 상기 대상물의 향에 포함된 화학성분의 비율, 상기 대상물의 맛에 포함된 미각 정보와 상기 대상물의 촉각 정보를 검출하는 감각분석부와 상기 감각분석부에 의해 분석된 향, 미각 그리고 촉각 정보를 이용하여 통합된 전송 패킷을 생성하는 오감 패킷 생성부를 포함하여 이루어지는 것을 특징으로 한다.
이때, 상기 감각분석부는 상기 대상물의 향을 중심향과 주변향으로 구별하여 각각의 화학성분의 비율을 분석하는 후각분석부, 상기 대상물의 단맛, 쓴맛, 짠맛, 신맛 그리고 매운맛의 비율을 분석하는 미각분석부, 상기 대상물의 굳기, 온감 그리고 질감을 분석하는 촉각분석부를 포함하여 이루어지는 것을 특징으로 한다.
또한, 상기 오감 패킷 생성부는 상기 후각분석부에 의한 중심향과 주변향의 화학성분의 비율을 코드화하고, 상기 미각분석부에 의한 단맛, 쓴맛, 짠맛, 신맛 그리고 매운맛의 비율을 코드화하고, 상기 촉각분석부의 굳기, 온감 그리고 질감을 코드화하여 통합 패킷을 생성하는 것을 특징으로 한다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 오감 정보 부호화 방법은 입력되는 대상물을 분석하는 대상물분석단계, 상기 대상물의 향을 추출하여 이에 포함된 화학성분의 비율을 분석하는 후각분석단계, 상기 대상물의 맛을 다섯 가지 맛의 비율로 분석하는 미각분석단계, 상기 대상물의 굳기, 질감, 온감을 분석하는 촉각분석단계, 상기 후각분석단계에 의해 분석된 화학성분의 비율을 코드화하고, 상기 미각분석단계에 의한 다섯 가지 맛의 비율을 코드화하고, 상기 촉각분석단계에 의한 굳기, 질감, 온감을 코드화하는 코드화단계, 상기 코드화단계에 의해 코드화된 각각을 통합된 형태의 패킷으로 생성하는 패킷생성단계를 포함하여 이루어지는 것을 특징으로 한다.
이때, 상기 후각분석단계는 상기 대상물의 향으로부터 화학성분을 추출하는 단계, 상기 추출된 화학성분을 양에 따라 분류하고, 가장 양이 많은 것을 중심향으로, 나머지 향을 주변향으로 설정하는 단계를 포함하여 이루어지는 것을 특징으로 하고, 상기 미각분석단계는 상기 다섯 가지 맛을 단맛, 쓴맛, 짠맛, 신맛, 매운맛으로 분석하는 것을 특징으로 한다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 오감 융합 인터페이스를 이용한 실감 서비스 시스템은 사용자에 의한 선택정보를 감지하여 객체를 인식하고, 인식되는 객체에 대한 정보를 네트워크를 통해 전달하는 융합인식부, 상기 객체에 대한 오감 데이터를 포함하는 오감정보패킷을 상기 네트워크를 통해 수신하고, 상기 오감정보패킷에 포함된 개별 감각에 대한 데이터를 추출하여 해석하는 오감 정보 해석부, 상기 추출된 개별 감각에 대한 데이터를 이용하여 오감을 표현하는 오감융합표현부를 포함하여 이루어지는 것을 특징으로 한다.
이때, 상기 융합인식부는 상기 사용자의 음성과 제스처에 의해 선택되는 객체를 인식하는 것을 특징으로 하고, 상기 제스처는 상기 사용자의 움직임 제스처와 포인트 제스처를 포함하는 것을 특징으로 한다.
또한, 상기 오감 정보 해석부에 의해 수신되는 오감정보패킷은 상기 선택되는 객체의 후각, 미각, 촉각에 대한 정보를 포함하는 것을 특징으로 한다.
또한, 상기 오감 정보 해석부는 상기 네트워크를 통해 전송되는 과정에서 발생되는 전송 에러를 처리하는 오감 전송 제어부를 더 포함하는 것을 특징으로 하고, 상기 오감융합표현부는 상기 오감 정보 해석부에 의해 해석된 개별 감각에 대한 데이터에 따라 오감 디바이스를 제어하는 오감 제어 명령을 생성하는 것을 특징으로 한다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명의 오감 융합 인터페이스를 이용한 실감 서비스 방법은 사용자에 의한 선택정보를 감지하여 객체를 인식하는 1 단계, 상기 인식되는 객체에 대한 정보를 네트워크를 통해 전달하는 2 단계, 상기 네트워크로부터 전송되는 상기 객체에 대한 오감정보패킷을 수신하는 3 단계, 상기 수신된 오감정보패킷에 포함된 개별 감각에 대한 데이터를 추출하여 해석하는 4 단계 및 상기 해석된 개별 감각에 대한 데이터를 이용하여 오감 디바이스를 통해 개별 감각을 출력하는 5 단계를 포함하여 이루어지는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따른 오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를 이용한 실감 서비스 시스템 및 방법은 인간이 느끼는 오감 정보를 정보통신을 통해 원거리 지역의 사용자에게 전송가능하도록 통합 패킷으로 구성하여 저장하고, 이를 이용하여 사용자가 사이버 공간에서 쇼핑을 하는 경우에도 현실과 같은 실제적인 감각을 느낄 수 있도록 하는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1 은 본 발명에 의한 오감 정보 부호화 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 오감 정보 부호화 장치는 입력되는 대상물(100), 상기 대상물을 분석하는 감각분석부(110), 감각분석부에 의해 분석된 각각의 감각을 부호화하여 오감 패킷을 생성하는 오감패킷 생성부(120) 그리고 상기 대상물에 대한 오감 패킷을 저장하는 오감 데이터 저장부(130)를 포함하여 이루어진다.
먼저, 오감 정보 부호화를 위해서는 대상이 되는 대상물(100)이 입력된다. 입력되는 대상물은 사이버 공간에서 판매하기 위한 각각의 상품이 될 수 있을 뿐만 아니라 실질적으로 오감에 의해 체험하고자 하는 모든 물건을 포함한다.
대상물(100)이 입력되면, 감각분석부(110)는 대상물에 대한 오감을 분석한다. 오감은 시각, 청각, 후각, 미각 그리고 촉각을 말한다. 다만, 본 발명에 있어서는 시각과 청각은 기존에 부호화하는 방법에 대한 기술이 많이 공개되어 있으므로 이에 대한 설명은 생략하고, 후각, 미각 그리고 촉각에 대한 감각분석과 오감 패킷 생성에 대한 부분을 설명하기로 한다.
오감 분석부(110)는 후각을 분석하는 후각분석부(111), 미각을 분석하는 미각분석부(112) 그리고 촉각을 분석하는 촉각분석부(113)를 포함하여 이루어진다.
후각분석부(111)는 향 화학성분 분석기를 이용하여 대상물(100)로부터 대상 으로 하는 향을 수집하여 향에 포함된 화학성분에 따라 화학성분을 나열한다. 이렇게 나열된 화학성분 중에서 가장 양이 많은 것을 중심향으로 하고, 나머지를 주변향으로 하여 데이터를 분석한다.
미각 분석부(112)는 맛분석기를 이용하여 다섯 가지 맛의 성분을 분석한 후 각각의 맛의 비율을 가지고 부호화한다. 다섯 가지 맛은 단맛, 쓴맛, 짠맛, 신맛, 매운맛이며, 맛분석기는 화학성분을 분석한 후 분석된 화학성분에 기초하여 5가지 맛의 비율을 계산하게 된다. 이를 통해 원격지에서 손으로 맛을 찍어보는 정도의 맛체험이 가능하다.
촉각분석부(113)는 세 가지 촉각 성분을 분석한다. 세 가지 촉각은 물질의 따뜻한 정도를 나타내는 온감과 물체의 질량이나 굳고 말랑말랑한 정도를 나타내는 굳기 그리고 표면의 부드럽고 거친 정도를 나타내는 질감으로 이루어진다. 촉각분석부(113)는 분석된 세 가지 촉각을 미리 설정된 기준값에 대한 비율로 측정한다.
감각분석부(110)에 의해 분석된 후각, 미각, 촉각에 대한 정보는 오감 패킷 생성부(120)에 전달되어 부호화되어 통합패킷으로 생성된다.
오감 패킷 생성부(120)는 후각분석부(111)에 의한 중심향과 주변향의 화학성분의 비율을 코드화하고, 미각분석부(112)에 의한 단맛, 쓴맛, 짠맛, 신맛 그리고 매운맛의 비율을 코드화하고, 촉각분석부(113)의 굳기, 온감 그리고 질감을 코드화하여 통합 패킷을 생성한다.
오감 패킷 생성부(120)에 의해 생성되는 통합 패킷은 도 2에서 구체적으로 설명한다.
오감 패킷 생성부(120)에 의해 생성된 각각의 대상물에 대한 오감 정보는 오감 패킷의 형태로 오감 데이터 저장부(130)에 저장된다. 오감 데이터 저장부(130)는 사용자에 의해 대상물이 선택되면 대응되는 정보를 네트워크를 통해 전송한다.
도 2 는 본 발명에 의해 생성된 통합된 전송 패킷의 구조를 나타내는 도면이다.
도 2 를 참조하면, 분석된 후각, 미각, 촉각에 대한 정보를 코드화하고, 이를 통합된 전송 패킷으로 구성하는 것을 나타낸다.
통합 패킷은 대상물을 식별할 수 있는 오브젝트 코드(ObjectCode, 200)와 미각, 후각, 촉각에 대한 정보를 담고 있는 테이스트 코드(TasteCode, 210), 스멜 코드(SmellCode, 220) 그리고 햅틱 코드(HapticCode, 230)로 구성된다.
테이스트 코드(TasteCode, 210)는 미각 코드의 유무와 하위코드영역을 지정한다. 테이스트 코드(TasteCode, 210)의 하위코드는 단맛의 비율을 나타내는 스위트필드(Sweetness, 211), 쓴맛의 비율을 나타내는 비터필드(Bitterness, 212), 짠맛의 비율을 나타내는 솔트필드(Saltness, 213), 신맛의 비율을 나타내는 쏘어필드(Soureness, 214) 그리고 매운맛의 비율을 나타내는 핫필드(Hot, 215)로 이루어진다.
스멜 코드(SmellCode, 220)는 후각 코드의 유무와 하위코드 영역을 지정한다. 스멜 코드(SmellCode, 220)의 하위코드는 중심향의 화학성분을 코드화한 중심 향 코드(CentSmCode, 221), 주변향 코드의 수를 나타내는 주변향 코드 수 필드(OtherSmNum, 222), 주변향 적용 임계치를 나타내는 코드(MinOtherSmNum, 223) 그리고 주변향의 화학성분을 나타내는 코드(OtherSmCode, 224)로 이루어진다.
햅틱 코드(HapticCode, 230)는 는 촉각 코드의 유무와 하위코드영역을 지정한다. 햅틱 코드(HapticCode, 230)의 하위영역은 힘의 크기와 방향을 나타내는 코드(230, 231, 232, 233)와 대상물의 따뜻한 정도를 온도로 나타내는 코드(234) 그리고 질감의 정도를 나타내는 코드(235)로 이루어진다.
도 3 은 본 발명에 의한 오감 정보 부호화 방법을 나타내는 흐름도이다.
도 3 을 참조하면, 입력되는 대상물을 분석하여 후각, 미각, 청각에 관한 정보로 데이터를 코드화하여 이를 통합형 패킷으로 생성하여 저장하는 과정으로 이루어진다. 이하, 오감 정보 부호화 방법에 대하여 구체적으로 알아본다.
오감 정보 부호화는 통합 패킷으로 생성하고자 하는 대상물을 먼저 분석한다.(S310)
대상물의 분석은 대상물의 향을 분석하는 단계(S320), 대상물의 맛을 분석하는 단계(S330) 그리고 대상물의 촉각을 분석하는 단계(S340)로 각각 진행된다.
대상물의 향을 분석하는 단계(S320)는 향분석기를 통해 대상물의 향을 수집하고, 향에 포함되어 있는 화학성분을 분석한다. 향이 분석되면 향에 포함된 화학성분을 양에 따라 순서를 정하여 분류한다.(S321)
향은 양이 가장 많은 화학성분을 중심향으로 나머지를 주변향으로 설정한 다.(S322) 중심향과 주변향이 설정되면, 도 2에서 설명한 바와 같이 중심향과 주변향을 각각의 화학성분의 비율에 따라 향을 코드화한다.(S323)
대상물의 맛을 분석하는 단계(S330)는 대상물을 맛 분석기를 이용하여 다섯 가지 맛의 비율로 분석한다.(S331) 다섯 가지 맛은 단맛, 쓴맛, 짠맛, 신맛 그리고 매운맛의 비율로 코드화한다.(S322)
대상물의 촉각을 분석하는 단계(S340)는 대상물의 말랑말랑한 정도에 관한 굳기를 분석하는 단계(S341), 표면의 부드럽고 거친 정도를 나타내는 질감을 분석하는 단계(S342) 그리고 대상물의 따뜻한 정도를 나타내는 온감을 분석하는 단계(S343)로 진행된다. 이렇게 굳기, 질감, 온감이 분석되면 이를 이용하여 촉각을 코드화한다.(S344)
후각, 미각, 촉각의 코드화가 이루어지고 나면 후각, 미각, 촉각을 통합한 통합형 패킷을 생성한다.(S350) 통합된 패킷은 도 2 에 나타나는 형태로 이루어진다.
대상물에 대한 통합 패킷이 생성되면, 오감 데이터 저장부에 대상물에 대응되게 저장한다.(S360)
도 4 는 본 발명에 의한 오감 융합 인터페이스를 이용한 실감 서비스 시스템의 구성을 나타내는 도면이다.
도 4 를 참조하면, 오감 융합 인터페이스를 이용한 실감 서비스 시스템은 사용자에 의해 입력된 음성, 제스처(410)를 융합 인식부(420)에서 인식하여 사용자가 선택하고자 하는 대상물을 인식한다. 이렇게 인식된 사용자의 대상물에 대한 선택정보를 네트워크(430)를 통해 전송한다. 네트워크를 통해 전송된 선택정보에 대하여 오감 데이터 검색부(440)는 오감 데이터 저장부(400)를 검색하여 선택정보에 해당하는 대상물의 오감 정보를 검색하여 네트워크(S430)를 통해 전달하면 오감 정보 제어부(450)는 이를 수신한다. 오감 정보 제어부(450)는 수신된 데이터로부터 전송 상에서 발생하는 에러를 처리하고, 선택된 대상물에 대한 오감 정보를 오감 정보 해석부(460)에 전달한다. 오감 정보 해석부(460)는 오감 정보에 포함된 후각, 미각, 촉각 등에 대한 정보를 분석하여 이를 오감 표현부(470)를 통해 오감 디바이스(480)로 출력한다. 이하, 구체적인 구성에 대하여 설명한다.
실감 서비스 시스템은 사용자에 의해 선택되는 대상물에 대한 선택정보를 인식해야 한다. 대상물의 선택은 사용자가 음성과 제스처(410)를 이용해 선택하는 의사를 먼저 표현한다. 사용자에 의해 선택행위가 이루어지면 융합 인식부(420)는 음성과 제스처를 통해 선택되는 대상물을 인식한다. 대상물을 인식함에 있어서, 음성은 마이크를 이용하여, 제스처는 카메라를 이용하여 사용자의 손과 얼굴 등의 움직임을 파악하여 대상물을 인식한다.
사용자의 음성은 음성의 명령어 구간을 탐색하고, 탐색된 명령어 구간으로 부터 특징 정보를 추출한다. 특징 정보의 추출은 일반적으로 이용되는 MFCC와 CMS 알고리즘을 이용하여 이루어진다.
또한, 제스처의 인식은 사용자의 손과 얼굴 등의 움직임을 추적하여 특징정보를 추출한다. 이러한 제스처는 움직임 제스처와 포인팅 제스처를 이용하여 구현 할 수 있다. 이때, 움직임 제스처는 손의 움직임을 카메라로 추적하여 이에 포함된 특징정보를 추출하고, 포인팅 제스처는 사용자에 의한 포인팅 좌표를 이용하여 화면상의 좌표를 계산하여 선택되는 대상물을 탐색한다. 또한, 움직임 제스처를 이용하는 경우에는 직관적인 제스처를 이용하여 특징정보를 추출할 수 있다.
다만, 본 발명에 있어서, 선택정보를 인식하는 방법은 다양한 방법으로 적용이 가능하다. 예를 들어, 마우스와 키보드 등의 장치를 이용하여 대상물을 선택하는 경우는 물론, 음성과 제스처를 분석하여 이에 포함된 특징정보를 파악하여 선택되는 대상물을 찾는 방법 등도 이용할 수 있다. 또한, 음성과 제스처를 융합하는 방법에 의해 특징정보를 파악하는 경우도 포함된다. 여기서 말하는 특징정보는 사용자가 선택하고자 하는 대상물에 대한 정보를 말한다.
융합 인식부(420)에 의해 사용자가 원하는 선택정보를 감지하여 인식하고, 인식되는 객체에 대한 정보를 네트워크(430)를 통해 전송한다.
오감 데이터 검색부(440)는 네트워크를 통해 전달되는 인식 객체에 대응되는 오감 정보를 오감 데이터 저장부(400)를 검색하여 찾는다. 여기서 말하는 인식 객체는 사용자에 의해 선택되는 대상물과 같은 의미로 사용된다.
오감 데이터 검색부(440)에 의해 이렇게 찾아진 오감 정보는 네트워크(430)를 통해 오감 전송 제어부(450)로 전달한다. 네트워크를 통해 전송된 오감 정보는 전송과정에서 전송 에러가 발생할 수 있으므로 오감 전송 제어부(450)는 전송 에러를 처리하고, 오감 정보를 오감 정보 해석부(460)로 전달한다.
오감 정보 해석부(460)는 오감 정보를 해석하여 오감 정보에 포함된 각각의 감각에 대한 정보를 분석한다. 네트워크를 통해 전송되는 오감 정보는 통합 패킷의 형태로 이루어지고, 통합 패킷은 후각, 미각, 촉각 등에 대한 정보를 포함한다. 특히, 본 발명에 있어서 통합 패킷은 다양한 방법으로 구성될 수 있지만, 특히, 도 2 에서 나타나는 것과 같이 후각은 향의 화학성분의 비율로, 미각은 다섯 가지 맛의 비율로, 촉각은 미리 설정되는 기준값에 대하여 질감, 온감, 굳기 등에 대한 비율로 나타내는 것이 바람직하다.
융합 표현부(470)는 오감 정보 해석부(460)에 의해 해석된 개별 감각에 대한 데이터를 이용하여 오감 디바이스(480)를 통해 각각의 감각을 출력하고, 사용자는 실질적인 감각으로 이를 체험할 수 있다.
오감 디바이스(480)는 시각에 관한 정보를 출력하는 디스플레이 장치, 청각을 출력하는 스피커, 후각을 표현하는 후각장치, 미각을 느낄 수 있도록 출력하는 미각 장치, 촉각을 표현하는 촉각장치로 이루어진다. 각각의 장치는 각각의 감각을 표현하기 위해 다양한 기술이 공개되어 있으므로 이에 대한 설명은 생략한다. 또한, 시각과 청각에 대한 감각은 본원발명에서 비록 통합 패킷에 표현되어 있지 않지만, 당업자가 적용할 수 있는 방법이라면 다양하게 적용할 수 있다.
도 5 는 본 발명에 의한 오감 융합 인터페이스를 이용한 실감 서비스 방법을 나타내는 흐름도이다.
도 5 를 참조하면, 오감 융합 인터페이스를 이용한 실감 서비스 방법은 먼저 사용자가 음성과 제스처를 이용해 오감으로 인식하고자 하는 대상물 혹은 객체를 선택한다. 사용자의 음성과 제스처가 입력되면 융합인식부(420)를 통해 입력된 음성과 제스처를 분석한다.(S500)
융합인식부(420)는 사용자의 음성과 제스처를 분석하여 음성과 제스처에 포함된 특징정보를 추출하여 사용자의 선택정보를 감지한다.(S510) 사용자의 선택정보가 감지되면 이에 해당하는 객체를 인식하고(S520)고, 객체정보를 네트워크를 통해 전송한다.(S530)
네트워크를 통해 전송된 객체정보에 대응하여 오감 데이터 검색부(440)는 오감 데이터 저장부(400)를 검색하여 객체정보에 대응되는 오감 정보 패킷을 추출하여 네트워크를 통해 다시 전달한다.
네트워크로부터 오감 정보 패킷이 전달되면 , 오감 전송 제어부(450)는 오감 정보 패킷을 수신하고,(S540) 전송과정에서 발생한 에러를 처리한다.(S550)
오감 전송 제어부(450)에 의해 에러가 처리된 오감 정보 패킷은 오감 정보 해석부(460)로 전송되고, 오감 정보 해석부(460)는 오감 정보 패킷에 포함된 개별 감각에 대한 데이터를 추출한다.(S560)
개별 감각이 추출되면, 오감 정보 해석부(460)는 후각 데이터를 해석하여 객체의 향에 대한 화학 성분을 분석하고(S570), 미각 데이터를 해석하여 객체의 맛을 분석하고(S571), 촉각 데이터를 해석하여 객체의 질감, 온감, 굳기에 대한 데이터를 분석한다.(S572)
후각, 미각, 촉각에 대한 데이터가 분석되면 융합 표현부는 오감 디바이스를 제어하기 위한 제어 명령을 생성한다.(S580)
제어 명령이 생성되면, 오감 디바이스에 제어 명령을 전달하여 오감 디바이스를 제어한다.(S590)
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다.
도 1 은 본 발명에 의한 오감 정보 부호화 장치의 구성을 나타내는 도면이다.
도 2 는 본 발명에 의해 생성된 통합된 전송 패킷의 구조를 나타내는 도면이다.
도 3 은 본 발명에 의한 오감 정보 부호화 방법을 나타내는 흐름도이다.
도 4 는 본 발명에 의한 오감 융합 인터페이스를 이용한 실감 서비스 시스템의 구성을 나타내는 도면이다.
도 5 는 본 발명에 의한 오감 융합 인터페이스를 이용한 실감 서비스 방법을 나타내는 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 대상물 110 : 감각 분석부
111 : 후각 분석부 112 : 미각 분석부
123 : 촉각 분석부 120 : 오감 패킷 생성부
130 : 오감 데이터 저장부 420 : 융합 인식부
440 : 오감 데이터 검색부 450 : 오감 전송 제어부
460 : 오감 정보 해석부 470 : 융합 표현부

Claims (26)

  1. 입력되는 대상물을 분석하여, 상기 대상물의 향에 포함된 화학성분의 비율, 상기 대상물의 맛에 포함된 미각 정보와 상기 대상물의 촉각 정보를 검출하는 감각분석부;
    상기 감각분석부에 의해 분석된 향, 미각 그리고 촉각 정보를 이용하여 통합된 전송 패킷을 생성하는 오감 패킷 생성부를 포함하여 이루어지는 것을 특징으로 하는 오감 정보 부호화 장치
  2. 제 1 항에 있어서, 상기 감각분석부는
    상기 대상물의 향을 중심향과 주변향으로 구별하여 각각의 화학성분의 비율을 분석하는 후각분석부;
    상기 대상물의 단맛, 쓴맛, 짠맛, 신맛 그리고 매운맛의 비율을 분석하는 미각분석부;
    상기 대상물의 굳기, 온감 그리고 질감을 분석하는 촉각분석부를 포함하여 이루어지는 것을 특징으로 하는 오감 정보 부호화 장치.
  3. 제 2 항에 있어서, 상기 오감 패킷 생성부는
    상기 후각분석부에 의한 중심향과 주변향의 화학성분의 비율을 코드화하고, 상기 미각분석부에 의한 단맛, 쓴맛, 짠맛, 신맛 그리고 매운맛의 비율을 코드화하고, 상기 촉각분석부의 굳기, 온감 그리고 질감을 코드화하여 통합 패킷을 생성하는 것을 특징으로 하는 오감 정보 부호화 장치.
  4. 제 2 항 또는 제 3 항에 있어서, 상기 미각분석부는
    상기 대상물로부터 수집된 향을 분석하여 추출된 화학성분 중에서 가장 양이 많은 것을 중심향으로, 그 외 나머지를 주변향으로 구별하는 것을 특징으로 하는 오감 정보 부호화 장치.
  5. 제 4 항에 있어서, 상기 통합 패킷은
    상기 대상물에 대한 후각, 미각, 촉각의 유무를 식별하는 코드를 포함하는 것을 특징으로 하는 오감 정보 부호화 장치.
  6. 제 5 항에 있어서,
    상기 오감 패킷 생성부에 의해 생성된 패킷을 상기 입력된 대상물에 대응되게 저장하는 오감 전송 데이터베이스를 더 포함하는 것을 특징으로 하는 오감 정보 부호화 장치.
  7. 입력되는 대상물을 분석하는 대상물분석단계;
    상기 대상물의 향을 추출하여 이에 포함된 화학성분의 비율을 분석하고, 상기 대상물의 맛을 다섯 가지 맛의 비율로 분석하고, 상기 대상물의 굳기, 질감, 온감을 분석하는 감각분석단계;
    상기 화학성분의 비율, 상기 다섯 가지 맛의 비율 그리고 상기 굳기, 질감, 온감을 코드화하는 코드화단계;
    상기 코드화단계에 의해 코드화된 각각을 통합된 형태의 패킷으로 생성하는 패킷생성단계를 포함하여 이루어지는 것을 특징으로 하는 오감 정보 부호화 방법.
  8. 제 7 항에 있어서, 상기 감각분석단계는
    상기 대상물의 향으로부터 화학성분을 추출하는 단계;
    상기 추출된 화학성분을 양에 따라 분류하고, 가장 양이 많은 것을 중심향으로, 나머지 향을 주변향으로 설정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 오감 정보 부호화 방법.
  9. 제 7 항에 있어서, 상기 감각분석단계는
    상기 다섯 가지 맛을 단맛, 쓴맛, 짠맛, 신맛, 매운맛으로 분석하는 것을 특징으로 하는 오감 정보 부호화 방법.
  10. 제 7 항에 있어서, 코드화단계는
    상기 후각, 미각, 촉각의 유무를 식별하는 코드를 생성하는 단계를 포함하는 것을 특징으로 하는 오감 정보 부호화 방법.
  11. 제 7 항에 있어서,
    상기 패킷생성단계에 의해 생성된 패킷을 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 오감 정보 부호화 방법.
  12. 사용자에 의한 선택정보를 감지하여 객체를 인식하고, 인식되는 객체에 대한 정보를 네트워크를 통해 전달하는 융합인식부;
    상기 객체에 대한 오감 데이터를 포함하는 오감정보패킷을 상기 네트워크를 통해 수신하고, 상기 오감정보패킷에 포함된 개별 감각에 대한 데이터를 추출하여 해석하는 오감 정보 해석부;
    상기 추출된 개별 감각에 대한 데이터를 이용하여 오감을 표현하는 오감융합표현부를 포함하여 이루어지는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 시스템.
  13. 제 12 항에 있어서, 상기 융합인식부는
    상기 사용자의 음성과 제스처에 의해 선택되는 객체를 인식하는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 시스템.
  14. 제 13 항에 있어서, 상기 제스처는
    상기 사용자의 움직임 제스처와 포인트 제스처를 포함하는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 시스템.
  15. 제 12 항에 있어서, 상기 오감 정보 해석부에 의해 수신되는 오감정보패킷은
    상기 선택되는 객체의 후각, 미각, 촉각에 대한 정보를 포함하는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 시스템.
  16. 제 15 항에 있어서, 상기 오감정보패킷에 포함된 후각에 대한 정보는
    상기 선택되는 객체의 향에 포함된 화학성분 중에서 가장 많은 양을 가진 화학 성분은 중심향으로, 나머지 화학성분은 주변향으로 코드화되어 있는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 시스템.
  17. 제 15 항에 있어서, 상기 오감정보패킷에 포함된 미각에 대한 정보는
    상기 선택되는 객체의 단맛, 쓴맛, 짠맛, 신맛 그리고 매운맛으로 코드화되어 있는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 시스템.
  18. 제 15 항에 있어서, 상기 오감정보패킷에 포함된 촉각에 대한 정보는
    상기 선택되는 객체의 질감, 온감 그리고 굳기로 코드화되어 있는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 시스템.
  19. 제 12 항에 있어서, 상기 오감 정보 해석부는 상기 네트워크를 통해 전송되는 과정에서 발생되는 전송 에러를 처리하는 오감 전송 제어부를 더 포함하는 것을 특징으로 오감 융합 인터페이스를 이용한 실감 서비스 시스템.
  20. 제 12 항에 있어서, 상기 오감융합표현부는
    상기 오감 정보 해석부에 의해 해석된 개별 감각에 대한 데이터에 따라 오감 디바이스를 제어하는 오감 제어 명령을 생성하는 오감 융합 인터페이스를 이용한 실감 서비스 시스템.
  21. 사용자에 의한 선택정보를 감지하여 객체를 인식하는 1 단계;
    상기 인식되는 객체에 대한 정보를 네트워크를 통해 전달하는 2 단계;
    상기 네트워크로부터 전송되는 상기 객체에 대한 오감정보패킷을 수신하는 3 단계;
    상기 수신된 오감정보패킷에 포함된 개별 감각에 대한 데이터를 추출하여 해석하는 4 단계;
    상기 해석된 개별 감각에 대한 데이터를 이용하여 오감 디바이스를 통해 개별 감각을 출력하는 5 단계를 포함하여 이루어지는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 방법.
  22. 제 21 항에 있어서, 제 1 단계는
    입력된 사용자의 음성과 제스처를 분석하여 사용자의 선택정보를 감지하는 A 단계;
    상기 감지된 선택정보에 대응되는 객체를 인식하는 B 단계를 포함하여 이루어지는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 방법.
  23. 제 22 항에 있어서, 상기 A 단계는
    입력된 사용자의 음성으로부터 추출되는 특징정보와 상기 제스처로부터 추출되는 특징정보를 융합하여 사용자의 선택정보를 감지하는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 방법.
  24. 제 21 항에 있어서, 상기 3 단계는
    상기 객체에 대한 오감정보패킷을 상기 네트워크로부터 수신하는 과정에서 발생하는 전송 에러를 처리하는 단계를 더 포함하는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 방법
  25. 제 21 항에 있어서, 상기 4 단계는
    상기 수신된 오감정보패킷에 포함된 개별 감각에 대한 데이터로 후각, 미각, 촉각에 대한 데이터를 추출하고, 상기 후각은 상기 객체의 향에 포함된 화학성분 중에서 가장 양이 많은 것을 중심향으로 그 외의 향을 주변향으로 하는 데이터를 추출하고, 상기 미각은 단맛, 쓴맛, 짠맛, 신맛, 매운맛의 비율에 관한 데이터를 추출하고, 상기 촉각은 굳기, 질감, 온감에 관한 데이터를 추출하는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 방법.
  26. 제 21 항에 있어서, 상기 5 단계는
    상기 오감 정보 해석부에 의해 해석된 개별 감각에 대한 데이터에 따라 오감 디바이스를 제어하는 오감 제어 명령을 생성하는 단계
    상기 생성된 오감 명령에 따라 오감 디바이스를 제어하는 단계를 포함하여 이루어지는 것을 특징으로 하는 오감 융합 인터페이스를 이용한 실감 서비스 방법.
KR1020070070175A 2006-12-04 2007-07-12 오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를이용한 실감 서비스 시스템 및 방법 KR20090003035A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/516,471 US20100077261A1 (en) 2006-12-04 2007-12-03 Apparatus and method for encoding the five senses information, system and method for providing realistic service using five senses integration interface
PCT/KR2007/006216 WO2008069529A1 (en) 2006-12-04 2007-12-03 Apparatus and method for encoding the five senses information, system and method for providing realistic service using five senses integration interface

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060121585 2006-12-04
KR20060121585 2006-12-04

Publications (1)

Publication Number Publication Date
KR20090003035A true KR20090003035A (ko) 2009-01-09

Family

ID=40485931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070070175A KR20090003035A (ko) 2006-12-04 2007-07-12 오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를이용한 실감 서비스 시스템 및 방법

Country Status (2)

Country Link
US (1) US20100077261A1 (ko)
KR (1) KR20090003035A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124994A2 (en) * 2011-03-17 2012-09-20 Samsung Electronics Co., Ltd. Method and apparatus for constructing and playing sensory effect media integration data files

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194597A (ja) * 2008-02-14 2009-08-27 Sony Corp 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
US8647122B2 (en) * 2008-06-28 2014-02-11 Wael Abouelsaadat System and method for enhancing prayer and healing rituals
WO2012078945A1 (en) * 2010-12-10 2012-06-14 Predictive Edge Technologies, Llc System and method to classify and apply behavioral stimuli potentials to data in real time
US20130191250A1 (en) * 2012-01-23 2013-07-25 Augme Technologies, Inc. System and method for augmented reality using multi-modal sensory recognition from artifacts of interest
US20130325567A1 (en) * 2012-02-24 2013-12-05 Augme Technologies, Inc. System and method for creating a virtual coupon
US9483771B2 (en) 2012-03-15 2016-11-01 At&T Intellectual Property I, L.P. Methods, systems, and products for personalized haptic emulations
US10101804B1 (en) 2017-06-21 2018-10-16 Z5X Global FZ-LLC Content interaction system and method
US10743087B2 (en) 2017-06-21 2020-08-11 Z5X Global FZ-LLC Smart furniture content interaction system and method
GB201911002D0 (en) * 2019-08-01 2019-09-18 Univ Warwick Flavour system
US11517814B2 (en) * 2020-09-03 2022-12-06 Alan Chalmers Flavour system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5760530A (en) * 1992-12-22 1998-06-02 The United States Of America As Represented By The Secretary Of The Air Force Piezoelectric tactile sensor
US6015792A (en) * 1993-05-26 2000-01-18 Bioresearch, Inc. Specific eatable taste modifiers
KR100187823B1 (ko) * 1996-11-27 1999-06-01 서평원 Cdma 이동데이타통신 제어시스템
KR100581060B1 (ko) * 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
US7676754B2 (en) * 2004-05-04 2010-03-09 International Business Machines Corporation Method and program product for resolving ambiguities through fading marks in a user interface

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124994A2 (en) * 2011-03-17 2012-09-20 Samsung Electronics Co., Ltd. Method and apparatus for constructing and playing sensory effect media integration data files
WO2012124994A3 (en) * 2011-03-17 2012-12-27 Samsung Electronics Co., Ltd. Method and apparatus for constructing and playing sensory effect media integration data files

Also Published As

Publication number Publication date
US20100077261A1 (en) 2010-03-25

Similar Documents

Publication Publication Date Title
KR20090003035A (ko) 오감정보 부호화 장치 및 방법과 오감 융합 인터페이스를이용한 실감 서비스 시스템 및 방법
CN110162698B (zh) 一种用户画像数据处理方法、装置及存储介质
US20130121591A1 (en) Systems and methods using observed emotional data
JP2019207720A (ja) 情報処理装置、情報処理方法及びプログラム
Nambu et al. Visual-olfactory display using olfactory sensory map
WO2014000645A1 (zh) 一种基于图片的交互方法、装置和服务器
US8341109B2 (en) Method and system using a processor for reasoning optimized service of ubiquitous system using context information and emotion awareness
CN113532464A (zh) 控制方法、个人认证装置和记录介质
CN110852793A (zh) 文案推荐方法及装置、电子设备
CN113255052B (zh) 一种基于虚拟现实的家装方案推荐方法、系统及存储介质
CN107491435A (zh) 基于计算机自动识别用户情感的方法及装置
EP4106337A1 (en) Video processing method and apparatus, computer device, and storage medium
Vincs et al. Snapshots of complexity: using motion capture and principal component analysis to reconceptualise dance
US20210248664A1 (en) Scent-presentation-information output system
US20170300768A1 (en) Method for determining and displaying products on an electronic display device
JP7329410B2 (ja) 情報処理装置
CN106651500B (zh) 基于空间反馈特征的视频图像识别技术和虚拟现实技术的网上购物系统
WO2008069529A1 (en) Apparatus and method for encoding the five senses information, system and method for providing realistic service using five senses integration interface
WO2020196100A1 (ja) 情報処理装置、情報処理方法及びプログラム
Jiang et al. A cheminformatic compression method for multiple odor label in intelligent perception
KR20230174986A (ko) 선호 향수 예측 장치 및 방법
KR20200060227A (ko) 사용자 맞춤 증강현실 서비스 제공 방법 및 이를 위한 장치
JP4397821B2 (ja) 空間制御システムおよびその構成装置
KR101647442B1 (ko) 비주얼 컨텐츠 제작 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
CN117611299B (zh) 一种个性化校服的定制方法、系统、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application