KR102454406B1 - 열화상을 이용한 온도 피드백 제공 시스템 및 방법 - Google Patents

열화상을 이용한 온도 피드백 제공 시스템 및 방법 Download PDF

Info

Publication number
KR102454406B1
KR102454406B1 KR1020210051211A KR20210051211A KR102454406B1 KR 102454406 B1 KR102454406 B1 KR 102454406B1 KR 1020210051211 A KR1020210051211 A KR 1020210051211A KR 20210051211 A KR20210051211 A KR 20210051211A KR 102454406 B1 KR102454406 B1 KR 102454406B1
Authority
KR
South Korea
Prior art keywords
image
temperature
temperature feedback
feedback
content execution
Prior art date
Application number
KR1020210051211A
Other languages
English (en)
Inventor
최동수
김태훈
허용해
김상연
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020210051211A priority Critical patent/KR102454406B1/ko
Application granted granted Critical
Publication of KR102454406B1 publication Critical patent/KR102454406B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 열화상을 이용한 온도 피드백 제공 시스템을 개시한다. 본 발명에 따른 온도 피드백 시스템은, 프로세서와, 프로세서에서 실행되는 프로그램을 저장하는 메모리를 포함하는 콘텐츠 실행장치; 콘텐츠 실행장치로부터 수신한 온도 피드백 지령에 따라 온도 피드백을 제공하는 온도 피드백 장치를 포함하며, 콘텐츠 실행장치는, 실화상 영상을 재생하여 디스플레이로 출력하는 한편 재생되는 실화상 영상과 동기화되어 저장된 열화상 영상을 이용하여 실화상 영상 속의 환경 또는 객체의 온도 정보를 확인하고, 확인된 온도 정보를 이용하여 생성한 온도 피드백 지령을 온도 피드백 장치로 전송하는 것을 특징으로 하는 온도 피드백 제공 시스템을 제공한다.
본 발명에 따르면, 상영 중인 영상 속 환경의 온도 정보와 온도 패턴을 동기된 열화상을 통해 실시간으로 확인하고 이를 이용하여 사용자에게 영상 속 환경의 온도에 대응하는 온도감각을 피드백 할 수 있다. 이를 통해 시청자는 영상 속 환경의 분위기를 훨씬 생생하게 실감할 수 있게 되므로 몰입감과 사용 만족도가 크게 높아질 수 있다.

Description

열화상을 이용한 온도 피드백 제공 시스템 및 방법{System and method of providing temperature feedback using thermal image}
본 발명은 온도 피드백에 관한 것으로서, 구체적으로는 영상 콘텐츠를 시청하는 사람에게 해당 영상과 관련된 온도 피드백을 제공하는 시스템과 방법에 관한 것이다.
일반적으로 가상현실 기기나 증강현실 기기는 사용자가 시각적으로 인지할 수 있는 콘텐츠를 재생하고 사용자의 동작이나 입력에 대응하는 인터랙션을 생성하는 콘텐츠 실행장치, 사용자가 제어신호를 입력하는 컨트롤러, 콘텐츠 실행장치로부터 제공된 영상을 출력하는 디스플레이 등을 포함한다.
콘텐츠 실행장치는 영상을 디스플레이로 출력하는 한편 사용자의 입력신호에 대응하여 재생 동작을 제어하거나 영상 내 객체의 위치, 방향, 속도 등을 제어한다.
또한 콘텐츠 실행장치는 사용자 신체의 전부 또는 일부(예, 손)에 대응하는 사용자 객체(예, 아바타)를 가상현실 영상 또는 증강현실 영상에 함께 표시하고, 사용자 객체를 영상 속의 객체와 상호 작용하도록 제어할 수 있다.
컨트롤러는 사용자의 조작에 대응하는 제어신호를 생성하는 장치로서, 예를 들어 가상현실 영상 또는 증강현실 영상 내에서 객체를 선택하거나 추적하기 위한 2차원 또는 3차원의 좌표신호 또는 벡터신호를 생성하여 콘텐츠 실행장치로 전송한다.
예를 들어 가상현실 기기의 사용자는 디스플레이에 표시된 가상현실 영상을 보면서 컨트롤러를 조작하여 자신이 의도하는 방향을 따라 가상현실 세계를 여행할 수 있다. 또한 사용자는 컨트롤러를 이용하여 가상현실 영상에 표시된 다양한 객체 중에서 원하는 객체를 선택하고, 선택된 객체와 상호작용을 할 수도 있다.
최근에는 사용자에게 보다 생생한 느낌을 제공하기 위하여 컨트롤러에 햅틱 액츄에이터를 설치하고, 사용자의 입력이나 상호작용에 대응하는 다양한 햅틱 피드백을 제공하는 경우도 늘어나고 있다.
그런데, 종래의 햅틱 피드백은 컨트롤러에 설치된 진동 액츄에이터를 이용하여 진동감을 제공하는 것이 대부분이고, 영상 속 환경의 실제 온도에 대응하는 온도감각(따뜻함, 더움, 서늘함, 추움 등)을 사용자가 실감할 수 있도록 피드백하기는 어려운 한계가 있다.
또한 영화관이나 집에서 영상을 시청하는 시청자의 경우에도 영상 속 환경의 실제 온도를 실감하고자 싶은 요구가 있으나 아직까지는 마땅한 방법이 없으므로 TV 시청자나 영화 관람객에게 이러한 온도감각을 피드백 할 수 있는 방법을 마련할 필요도 있다.
공개특허 제10-2017-0085670호(2017.07.25 공개)
본 발명은 이러한 배경에서 고안된 것으로서, 영상을 시청하는 사용자에게 영상 속 환경의 실제 온도에 가까운 온도 피드백을 제공함으로써 사용자의 몰입감을 강화하고 사용 만족도를 높이는데 그 목적이 있다.
이러한 목적을 달성하기 위하여, 본 발명의 일 양상은, 프로세서와, 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함하는 콘텐츠 실행장치; 콘텐츠 실행장치로부터 수신한 온도 피드백 지령에 따라 온도 피드백을 제공하는 온도 피드백 장치를 포함하며, 콘텐츠 실행장치는, 실화상 영상을 재생하여 디스플레이로 출력하는 한편 재생되는 실화상 영상과 동기화되어 저장된 열화상 영상을 이용하여 실화상 영상 속의 환경 또는 객체의 온도 정보를 확인하고, 확인된 온도 정보를 이용하여 생성한 온도 피드백 지령을 온도 피드백 장치로 전송하는 것을 특징으로 하는 온도 피드백 제공 시스템을 제공한다.
본 발명의 일 양상에 따른 온도 피드백 제공 시스템에서, 상기 온도 피드백 장치는, 웨어러블 장치 또는 컨트롤러에 구비된 냉열감 발생부 이거나 실내 온도를 조절하는 에어컨디셔너일 수 있다.
또한 본 발명의 일 양상에 따른 온도 피드백 제공 시스템에서, 실화상 영상과 동기화되어 저장된 열화상 영상의 프레임 레이트(fps)는 실화상 영상의 프레임 레이트 보다 작을 수 있다.
본 발명의 다른 양상은, 프로세서와, 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함하는 콘텐츠 실행장치; 콘텐츠 실행장치로부터 수신한 온도 피드백 지령에 따라 온도 피드백을 제공하는 온도 피드백 장치를 포함하며, 콘텐츠 실행장치는, 깊이 카메라에서 촬영한 3차원 영상과 동기화되어 저장된 열화상 영상을 이용하여 디스플레이에서 출력되는 영상 속의 관심영역과 고온 또는 저온 영역의 거리를 산출하여 온도 피드백 조건의 충족 여부를 판단하고, 온도 피드백 조건이 충족된 것으로 확인되면, 온도 피드백 지령을 온도 피드백 장치로 전송할 수 있다.
본 발명의 또 다른 양상은, 콘텐츠 실행장치가 실화상 영상을 재생하여 디스플레이로 출력하는 한편 실화상 영상과 동기화되어 저장된 열화상 영상을 이용하여 실화상 영상 속의 환경 또는 객체의 온도 정보를 확인하는 단계; 콘텐츠 실행장치가 확인된 온도 정보를 이용하여 생성한 온도 피드백 지령을 온도 피드백 장치로 전송하는 단계; 온도 피드백 장치가 수신한 온도 피드백 지령에 따라 온도 피드백을 제공하는 단계를 포함하는 온도 피드백 제공 방법을 제공한다.
본 발명에 따르면, 상영 중인 영상 속 환경의 온도 정보와 온도 패턴을 동기된 열화상을 통해 실시간으로 확인하고 이를 이용하여 사용자에게 영상 속 환경의 온도에 대응하는 온도감각을 피드백 할 수 있다.
이를 통해 시청자는 영상 속 환경의 분위기를 훨씬 생생하게 실감할 수 있게 되므로 몰입감과 사용 만족도가 크게 높아질 수 있다.
도 1은 본 발명의 제1 실시예에 따른 온도 피드백 제공 시스템의 개략 구성도
도 2는 콘텐츠 실행장치와 컨트롤러의 블록도
도 3은 메모리의 블록도
도 4는 웨어러블 피드백 장치의 블록도
도 5는 콘텐츠 실행장치와 착용형 컨트롤러의 사용 모습을 예시한 도면
도 6은 본 발명의 제1 실시예에 따른 온도 피드백 제공 방법을 나타낸 흐름도
도 7은 실화상과 열화상을 대비한 도면
도 8은 실화상의 영상 프레임과 열화상의 영상 프레임을 대비한 도면
도 9 및 도 10은 각각 냉감 피드백과 열감 피드백을 제공하는 과정을 예시한 도면
도 11a 내지 도 11c는 가상현실 영상에서 객체와의 인터랙션 과정을 순서대로 예시한 도면
도 12는 본 발명의 제2 실시예에 따른 온도 피드백 제공 시스템의 개략 구성도
도 13은 본 발명의 제2 실시예에 따른 온도 피드백 제공 시스템의 구현 사례를 예시한 도면
도 14는 본 발명의 제3 실시예에 따른 온도 피드백 제공 시스템의 개략 구성도
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
참고로 본 명세서에 첨부된 도면에는 실제와 다른 치수 또는 비율로 표시된 부분이 있으나 이는 설명과 이해의 편의를 위한 것이므로 이로 인해 본 발명의 범위가 제한적으로 해석되어서는 아니됨을 미리 밝혀 둔다. 또한 본 명세서에서 하나의 구성요소(element)가 다른 구성요소와 연결, 결합 또는 전기적으로 연결되는 경우는 다른 구성요소와 직접적으로 연결, 결합 또는 전기적으로 연결되는 경우뿐만 아니라 중간에 다른 요소를 사이에 두고 간접적으로 연결, 결합 또는 전기적으로 연결되는 경우도 포함한다. 또한 하나의 구성요소(element)가 다른 구성요소와 직접 연결 또는 결합되는 경우는 중간에 다른 요소 없이 연결 또는 결합되는 것을 의미한다. 또한 어떤 부분이 어떤 구성요소를 포함하는 것은 특별히 반대되는 기재가 없다면 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 본 명세서에서 전, 후, 좌, 우, 위, 아래 등의 표현은 보는 위치에 따라 달라질 수 있는 상대적인 개념이므로 본 발명의 범위가 반드시 해당 표현으로 제한되어서는 아니된다.
제 1 실시예
본 발명의 제1 실시예에 따른 온도 피드백 제공 시스템은, 도 1의 개략 구성도에 나타낸 바와 같이, 카메라(110), 열화상 카메라(120), 콘텐츠 실행장치(200), 컨트롤러(290), 웨어러블 피드백장치(300) 등을 포함한다.
카메라(110)는 렌즈, 조리개 등의 광학요소와 이미지센서를 포함하며, 이미지센서는 광학요소를 거쳐 입사된 영상을 전기적 신호로 변환한다. 카메라(110)에서 촬영된 영상은 콘텐츠 실행장치(200)의 디스플레이(240)를 통해 출력된다.
열화상 카메라(120)는 광학요소와 적외선센서를 포함하며, 적외선센서는 광학요소를 거쳐 입사되는 적외선을 감지하여 온도에 대응하는 전기적신호를 생성하고, 온도의 높낮이에 대응하는 색상으로 이미지화하여 출력한다.
카메라(110)와 열화상 카메라(120)는 각각 360도 카메라일 수도 있다.
본 명세에서는 카메라(110)에서 촬영한 영상과 열화상 카메라(120)에서 촬영한 영상을 구분하기 위하여, 카메라(110)에서 촬영한 영상뿐만 아니라 카메라(110)에서 촬영한 영상에 가상의 객체가 오버랩된 영상도 '실화상' 또는 '실화상 영상'으로 칭하고, 열화상카메라(120)에서 촬영한 영상은 '열화상' 또는 '열화상 영상'으로 칭하기로 한다,
본 발명의 실시예에서, 열화상은 실화상 속의 실제 온도를 파악하기 위한 용도이므로 카메라(110)로 실화상을 촬영할 때는 열화상 카메라(120)를 이용하여 동일한 대상을 동시에 촬영하고, 실화상이 동영상인 경우에는 열화상도 동영상으로 촬영하고 서로 동기화(synchronization)하여 저장하는 것이 바람직하다.
콘텐츠 실행장치(200)는 콘텐츠를 재생하고 컨트롤러(290)를 통해 입력된 사용자의 동작이나 명령에 대응하는 인터랙션을 생성한다.
도 2의 블록도를 참조하면, 콘텐츠 실행장치(200)는 프로세서(210), 메모리(220), 입력부(230), 디스플레이(240), 통신부(250), 전원공급부(260) 등을 포함할 수 있다.
프로세서(210)는 메모리(220)에 저장된 컴퓨터 프로그램을 실행하여 소정의 연산을 수행한다. 프로세서(210)와 메모리(220)는 단일 칩(one chip)으로 패키징될 수도 있다. 메모리(220)는 휘발성 메모리(RAM)과 비휘발성 메모리(ROM, 플래시 메모리 등)를 포함할 수 있다. 또한 메모리(220)의 범위에는 HDD, SSD 등의 대용량 저장장치가 포함될 수도 있다.
도 3을 참조하면, 메모리(220)에는 콘텐츠 실행장치(200)의 동작을 위한 컴퓨터 프로그램(221), 콘텐츠 데이터(225) 등이 저장된다.
콘텐츠 데이터(225)는 카메라(210)로 촬영한 실화상 영상과 열화상 카메라(220)로 촬영한 열화상 영상을 포함한다.
컴퓨터 프로그램(221)은, 기능적으로 구분하면, 콘텐츠 재생부(222), 피드백 판단부(223), 피드백 지령 생성부(224) 등을 포함할 수 있다.
콘텐츠 재생부(222)는, 컨트롤러(290)를 통해 입력된 명령에 의해 선택된 콘텐츠 데이터(225)를 재생한다.
콘텐츠 재생부(222)는, 메모리(220)에 저장된 실화상 영상을 재생할 때 실화상 영상에 동기된 열화상 영상을 함께 재생하되, 실화상 영상은 사용자가 볼 수 있도록 디스플레이(240)를 통해 실제 영상으로 출력하고 열화상 영상은 피드백 조건과 피드백 정도를 판단하기 위한 용도로 백그라운드에서만 실행할 수 있다.
피드백 판단부(223)는 콘텐츠 재생 중에 설정된 온도 피드백 조건을 충족하는지 여부를 주기적으로 판단한다.
일 예로서, 피드백 판단부(223)는 실행 중인 콘텐츠에 사전 설정된 온도 피드백 명령이 포함되어 있는지 여부를 지속적으로 확인하고, 온도 피드백 명령이 포함되어 있으면 대응하는 실화상 영상이 디스플레이(240)를 통해 출력되는 시점을 기준으로 온도 피드백을 제공할 수 있다.
온도 피드백 명령은 실화상 데이터 또는 열화상 데이터와 별도로 저장될 수도 있고, 실화상을 구성하는 다수의 영상 프레임 중에서 온도 피드백을 개시할 프레임과 연계하여 저장될 수도 있고, 열화상을 구성하는 다수의 영상 프레임 중에서 온도 피드백을 개시할 프레임과 연계하여 저장될 수도 있다.
다른 예로서, 피드백 판단부(223)는 실화상 영상을 분석하여 영상이 촬영된 지역, 계절, 날씨 등의 환경 정보를 확인하고, 이를 이용하여 온도 피드백 조건을 충족하는지 여부를 판단할 수도 있다. 예를 들어, 실화상 영상 속의 환경이 사막, 빙하, 설원 등과 같은 특정 환경인 경우에 한하여 온도 피드백을 제공하도록 설정할 수도 있다.
또 다른 예로서, 피드백 판단부(223)는 열화상 영상을 분석하여 설정 조건을 충족하는지 여부를 판단할 수도 있다.
일 예로서, 열화상 영상 속의 평균 온도가 제1 설정온도(예, 10℃) 이하이면 냉감 피드백 조건을 충족하는 것으로 판단할 수 있다.
다른 예로서, 열화상 영상 속의 평균 온도가 제2 설정온도(예, 30℃) 이상이면 열감 피드백 조건을 충족하는 것으로 판단할 수 있다.
또 다른 예로서, 피드백 판단부(223)는 실화상 영상 속에 표시된 사용자 객체(또는 아바타)가 실화상 영상 속의 특정 객체를 선택(접촉 또는 근접을 포함함)하면, 선택된 객체의 온도 정보를 동기된 열화상을 통해 분석하고 온도 피드백 조건을 충족하는지 여부를 판단할 수 있다.
이 경우에도, 선택된 객체의 온도가 제1 설정온도(예, 10℃) 이하이면 냉감 피드백 조건을 충족하는 것으로 판단하고, 제2 설정온도(예, 30℃) 이상이면 열감 피드백 조건을 충족하는 것으로 판단할 수 있다.
한편, 피드백 판단부(223)는 온도 피드백 조건을 충족하는 것으로 판단한 이후에 실화상 및/또는 열화상을 주기적으로 확인하여 온도 피드백 해제 여부도 계속 판단해야 한다.
또한 피드백 판단부(223)는, 온도 피드백 이외에 햅틱 피드백 조건을 충족하는지 여부도 주기적으로 판단할 수 있다.
피드백 지령 생성부(224)는 피드백 판단부(223)에서 온도 피드백 조건을 충족한 것으로 판단한 경우에, 영상 속의 환경 온도나 객체 온도를 기준으로 웨어러블 피드백장치(300)의 냉열감 발생부(320)에서 구현할 온도 지령을 생성하여 웨어러블 피드백장치(300)로 전송한다.
온도 지령을 생성할 때는 영상 속의 환경 온도나 객체 온도와 동일한 온도를 목표 온도로 지정하는 것이 바람직하지만 반드시 이에 한정되는 것은 아니다. 일 예로서, 영상 속의 다양한 환경 온도를 평균하여 목표온도로 지정할 수도 있고, 객체의 다양한 온도를 평균하여 목표온도로 지정할 수도 있다. 다른 예로서, 영상 속의 환경 온도나 객체 온도가 너무 높거나 낮아서 실제 구현이 어려운 경우에는 실제 구현 가능한 최근접 온도를 목표온도로 설정할 수도 있다.
또한 피드백 지령 생성부(224)는 피드백 판단부(223)에서 온도 피드백 해제를 판단한 경우에 피드백 해제 지령을 생성하여 웨어러블 피드백장치(300)로 전송해야 한다.
또한 피드백 지령 생성부(224)는 피드백 판단부(223)가 햅틱 피드백 조건을 충족하는 것으로 판단한 경우에, 대응하는 햅틱 피드백 지령을 생성하여 웨어러블 피드백장치(300)로 전송할 수 있다.
한편 본 발명의 실시예에서는, 콘텐츠 재생부(222), 피드백 판단부(223) 및 피드백 지령 생성부(224)를 전부 컴퓨터 프로그램(221)으로 구현하였으나, 반드시 이에 한정되는 것은 아니므로 이들 중에서 전부 또는 일부의 기능은 하드웨어로 구현되거나 소프트웨어와 하드웨어의 조합으로 구현될 수도 있다. 이때 하드웨어는 주문형 반도체(ASIC, Application Specific Integrated Circuit) 일 수도 있다.
다시, 도 2를 참조하면, 입력부(230)는 사용자가 기기 설정이나 동작 제어를 위하여 사용하는 것으로서, 종류나 유형은 특별히 한정되지 않으며 버튼, 키보드, 터치스크린, 터치패드 등일 수 있다. 디스플레이(240)는 실화상 영상을 시각적으로 표시하는 장치로서 종류나 크기는 특별히 제한되지 않는다.
통신부(250)는 외부 전자기기와의 유선 및/또는 무선 통신을 지원하는 것으로서, 인터넷망 등을 통해 원격의 서버와의 통신을 지원할 수도 있고, 카메라(110) 및 열화상 카메라(120)와의 유선 또는 무선 통신을 지원할 수도 있다. 또한 통신부(250)는 컨트롤러(290)의 통신부(296)와의 유선 또는 무선 통신을 지원할 수도 있다.
전원공급부(260)는 콘텐츠 실행장치(200)의 상기 각 구성요소의 동작 전원을 제공한다.
컨트롤러(290)는 사용자의 입력이나 동작에 대응하는 제어신호를 생성하여 콘텐츠 실행장치(200)으로 전송하는 장치로서, MCU(291), 모션센서(292), 생체신호센서(293), 지령생성부(294), 통신부(295) 등을 포함할 수 있다.
MCU(291)는 컨트롤러(290)의 동작전반을 제어하는 것으로서, 프로세서와 프로그램이 저장된 메모리를 포함할 수 있다.
모션센서(292)는 사용자의 움직임을 감지하는 것으로서, 3축 가속도센서(accelerometer), 3축 각속도센서(gyroscope), 지자계 센서, 또는 이들의 조합으로 구성될 수 있다.
생체신호센서(293)는 사용자의 생체신호를 감지하는 것으로서, 근전도(EMG), 뇌전도(EEG), 심전도(ECG), 안전도(EOG), 혈압, 맥박 등을 검출하는 센서 중에서 적어도 하나를 포함할 수 있다.
지령생성부(294)는 모션센서(292) 또는 생체신호센서(293)의 측정값을 이용하여 소정의 지령을 생성하고, 생성된 지령을 콘텐츠 실행장치(200)로 전송할 수 있다.
통신부(295)는 컨텐츠 실행장치(200)의 통신부(250)와의 통신을 지원한다.
도면에는 나타내지 않았지만, 컨트롤러(290)에는 온도 피드백을 제공하기 위한 냉열감 발생장치가 설치될 수도 있고, 햅틱 피드백을 제공하기 위한 햅틱 액츄에이터가 설치될 수도 있다.
웨어러블 피드백 장치(300)는 콘텐츠 실행장치(200)로부터 수신한 피드백 지령에 따라 사용자에게 소정의 온도 피드백을 제공한다,
도 4를 참조하면, 웨어러블 피드백 장치(300)는, MCU(310), 냉열감 발생부(320), 햅틱 액츄에이터(330), 통신부(340), 전원공급부(350), 착용수단(360) 등을 포함할 수 있다.
MCU(310)는 웨어러블 피드백 장치(300)의 동작전반을 제어하는 것으로서, 프로세서와 프로그램이 저장된 메모리를 포함할 수 있다.
냉열감 발생부(320)는 콘텐츠 실행장치(200)로부터 수신한 온도 피드백 지령에 따라 사용자가 느끼는 온도를 조절하는 장치로서, 히터, 펠티어(Peltier) 소자 등을 이용하여 열감 또는 냉감을 제공할 수 있다.
특히, 펠티어 소자는 전류 방향에 따라 발열부와 냉각부가 서로 바뀌는 특성이 있을 뿐만 아니라 매우 정밀한 온도제어가 가능하다. 따라서 펠티어 소자를 사용자의 피부에 직접 또는 간접적으로 접촉하도록 설치하고, 열감을 제공해야 하는 경우에는 제1 방향의 전류를 인가하고 냉감을 제공해야 하는 경우에는 제1 방향과 반대인 제2 방향의 전류를 인가하여 사용자에게 적절한 온도 피드백을 제공할 수도 있다.
이와 같이 펠티어 소자만으로 냉감과 열감을 동시에 제공할 수도 있지만 반드시 이에 한정되는 것은 아니다. 예를 들어, 열감을 제공할 때는 코일 히터를 이용하고, 냉감을 제공할 때는 펠티어 소자를 시용할 수도 있다.
또한, 반드시 펠티어 소자를 이용하여 냉열감을 제공해야 하는 것은 아니므로 사용자의 피부에 접촉 또는 인접하도록 설치된 급수파이프의 내부로 냉수 또는 온수를 유동시켜서 냉열감을 제공할 수도 있고, 기타 다른 방식으로 사용자에게 냉감 또는 열감을 제공할 수도 있다.
냉열감 발생부(320)는 온도센서를 이용하여 발생 온도를 측정하고, 측정된 온도를 피드백하여 정밀한 온도 제어를 수행할 수 있다.
햅틱 액츄에이터(330)는 사용자의 촉각을 자극하기 위한 것으로서, 그 종류는 특별히 한정되지 않으며 진동감, 역감, 재질감 등 다양한 유형의 촉각을 제공할 수 있다.
통신부(340)는 컨텐츠 실행장치(200)의 통신부(250)와의 통신을 지원한다.
전원공급부(350)는 웨어러블 피드백 장치(300)의 상기 각 구성요소의 동작 전원을 제공한다.
착용수단(360)은 사용자가 웨어러블 피드백 장치(300)를 착용하도록 지원하는 것으로서, 도 5에 예시한 바와 같이, 사용자가 손을 삽입하는 장갑 형상일 수도 있고, 사용자가 상체에 걸치는 조끼 형상일 수도 있다. 다만, 착용수단(360)의 형상이 이에 한정되는 것은 아니며, 손목, 발목, 팔뚝 등에 착용하는 밴드 형상일 수도 있고, 머리에 두르는 헤어 밴드 형상일 수도 있고, 기타 다른 신체 부위에 착용할 수 있는 형상일 수도 있다.
도 5는 본 발명의 일 실시예에 따른 온도 피드백 제공 시스템의 실제 구현 사례를 예시한 것으로서, 콘텐츠 실행장치(200)는 헤드 마운트 타입의 가상현실 기기이고, 사용자가 장갑 형상의 웨어러블 피드백 장치(300)와 조끼 형상의 웨어러블 피드백 장치(300a)를 착용하고 있는 모습을 예시한 것이다.
도면을 참조하면, 장갑 형상의 웨어러블 피드백 장치(300)에는 온도 피드백을 위한 다수의 냉열감 발생부(320)가 손가락 및 손바닥 부분에 설치되고, 햅틱 피드백을 위한 햅틱 액츄에이터(330)가 손가락 부분에 설치된다.
또한, 콘텐츠 실행장치(200)의 동작을 제어하는 컨트롤러(290)는 사용자의 손 움직임에 따른 근전도 신호를 감지하기 위하여 손목 부분에 팔찌 형태로 착용하는 근전도 센서를 포함할 수 있다.
따라서, 사용자가 손가락 및/또는 손목을 움직여서 소정의 근전도 신호를 생성하면, 컨트롤러(290)는 근전도 신호를 이용하여 소정의 지령을 생성하여 콘텐츠 실행장치(200)로 전송하고, 콘텐츠 실행장치(200)는 지령에 응하여 소정의 콘텐츠를 재생하게 된다.
또한 콘텐츠 실행장치(200)는 콘텐츠를 재생하는 중에 설정 조건이 충족되면 온도 피드백 지령을 생성하여 웨어러블 피드백 장치(300,300a)로 전송하고, 웨어러블 피드백 장치(300,300a)는 냉열감 발생부(320)를 제어하여 재생되는 실화상 영상 속의 환경이나 객체의 실제 온도에 대응하는 온도감각을 사용자에게 제공한다.
한편 이상에서는 웨어러블 피드백 장치(300)와 컨트롤러(290)가 서로 분리된 장치인 것으로 설명하였으나 반드시 이에 한정되지 않는다. 따라서, 웨어러블 피드백 장치(300)에 컨트롤러(290)의 기능이 통합될 수도 있다.
이하에서는, 도 6을 참조하여 본 발명의 제1 실시예에 따른 온도 피드백 제공 방법을 설명한다.
먼저 콘텐츠 실행장치(200)에서 실행할 영상을 제작하기 위하여, 실화상으로 상영할 대상을 일반 카메라(110)와 열화상 카메라(120)로 동시에 촬영한다.
도 7은 동일한 장소에서 동일한 대상을 동시에 촬영한 실화상 영상(a)과 열화상 영상(b)의 영상 프레임을 각각 나타낸 것이다. (ST11)
이와 같이 카메라(110)와 열화상 카메라(120)를 이용하여 동시에 촬영한 실화상 영상과 열화상 영상은 이후에 콘텐츠 실행장치(200)에서 동시에 실행될 수 있어야 하므로 서로 동기화하여 저장한다.
카메라(110)로 촬영한 실화상 영상은 디스플레이(240)를 통해 사용자가 볼 수 있도록 출력해야 하는 것이므로 실화상 영상을 구성하는 모든 프레임을 전부 저장하는 것이 바람직하다.
그런데, 열화상 카메라(120)로 촬영한 열화상 영상은 사용자가 보는 것이 아니라 실화상 영상 속의 환경이나 객체의 온도 정보를 확인하기 위한 것이므로 열화상 영상을 구성하는 모든 프레임을 전부 저장하지 않아도 된다.
예를 들어, 도 8에 예시한 바와 같이, 실화상 카메라(110)와 열화상 카메라(120)가 동일한 프레임 레이트(fps)로 영상을 촬영한다고 가정하고, 열화상 카메라(120)를 통해 획득한 열화상 영상의 프레임 중에서 매 n번째의 프레임만 추출하여 저장할 수도 있다. 이 경우에도, 실화상과 열화상을 서로 동기 시켜서 저장하는 것이 바람직함은 물론이다. (ST12)
이상의 과정을 거쳐 콘텐츠의 실화상 영상과 열화상 영상을 모두 저장한 상태에서, 콘텐츠 실행장치(200)는 사용자의 조작이나 설정 조건에 따라 특정 콘텐츠가 선택되면 해당 콘텐츠의 실화상 영상 데이터를 독출하여 디스플레이(240)를 통해 실화상 영상을 출력하는 한편 해당 실화상 영상에 대응하는 열화상 영상을 백그라운드에서 실행하여 실화상 영상 속의 환경이나 객체의 온도 정보를 분석한다.
또한 콘텐츠 실행장치(200)의 피드백 판단부(223)는 사전 설정된 온도 피드백 조건을 충족하는지 여부를 지속적으로 판단한다. (ST13, ST14)
콘텐츠 실행장치(200)의 피드백 판단부(223)에서 온도 피드백 조건이 충족된 것으로 판단하면, 피드백 지령 생성부(224)는 실화상 영상 속의 환경이나 객체의 온도 정보를 이용하여 온도 피드백 지령을 생성하고, 생성된 온도 피드백 지령을 웨어러블 피드백장치(300)로 전송한다.
예를 들어 도 9에 나타낸 바와 같이, 피드백 지령 생성부(224)는 실화상 영상 속에 포함된 사용자 객체(아바타)의 위치를 확인하고, 해당 실화상 영상과 동기된 열화상 영상에서 해당 위치의 온도를 확인하고, 확인된 온도에 해당하는 온도 피드백 지령을 생성하여 웨어러블 피드백장치(300)로 전송할 수 있다.
또한, 도 10에 나타낸 바와 같이, 피드백 지령 생성부(224)는 실화상 영상 속에 포함된 사용자 객체(아바타)가 이동한 경우에는 이동한 위치를 확인하고, 실화상 영상과 동기된 열화상 영상에서 이동한 위치의 온도를 확인한 후 확인된 온도에 해당하는 온도 피드백 지령을 생성하여 웨어러블 피드백장치(300)로 전송할 수 있다. (ST15)
웨어러블 피드백장치(300)는 수신한 온도 피드백 지령에 포함된 온도 정보를 이용하여 냉열감 발생부(320)를 제어하여 지령에 대응하는 온도를 발생시키고, 사용자는 이를 통해 실화상 영상 속의 환경이나 객체의 실제 온도에 대응하는 온도 감각을 느낄 수 있게 된다.
도 9의 경우에는 실화상 영상 속에서 사용자 객체(20)가 상대적으로 시원한 위치에 있으므로 웨어러블 피드백장치(300)는 이에 대응하는 냉감을 제공할 수 있다. 도 10의 경우에는 실화상 영상 속에서 사용자 객체(20)가 상대적으로 더운 위치에 있으므로 웨어러블 피드백장치(300)는 이에 대응하는 열감을 제공할 수 있다. (ST16)
한편, 도 9 및 도 10에서는, 실화상 영상 속에서 사용자 객체(20)가 위치한 지점의 실제 환경 온도를 이용하여 온도 피드백을 제공하는 경우를 나타내었으나 이에 한정되는 것은 아니다.
예를 들어 실화상 영상 속에서 사용자 객체(20)와 상호 작용(interaction)하는 객체의 실제 온도를 이용하여 온도 피드백을 제공할 수 있다.
도 11을 참조하면, 냉장고(50)의 내부에 비치된 객체(10)가 음료수인 경우에, 사용자 객체(20)가 냉장고(50)의 밖에 있는 경우(도 11a) 또는 사용자 객체(20)가 냉장고(50)의 내부로 진입하여 해당 객체(20)에 접근을 했지만 아직 접촉하지 않은 경우(도 11b)에는 온도 피드백을 제공하지 않고, 도 11c와 같이 사용자 객체(20)가 냉장고(50)의 내부에 비치된 객체(10)에 접촉하거나 잡은 경우에 한하여 장갑형 웨어러블 피드백 장치(300)를 통해 해당 객체(10)의 실제 온도에 대응하는 냉감을 사용자의 손바닥으로 제공할 수 있다.
제 2 실시예
본 발명의 제2 실시예에 따른 온도 피드백 제공 시스템은 웨어러블 피드백 장치(300)를 대신하여 에어컨디셔너(400)를 이용하여 사용자 주변의 환경 온도를 제어하는 점에서 제1 실시예와 차이가 있다.
구체적으로 살펴보면, 본 발명의 제2 실시예에 따른 온도 피드백 제공 시스템은, 도 12의 개략 구성도에 나타낸 바와 같이, 카메라(110), 열화상 카메라(120), 콘텐츠 실행장치(200), 컨트롤러(290), 에어컨디셔너(400) 등을 포함한다.
카메라(110), 열화상 카메라(120), 콘텐츠 실행장치(200), 및 컨트롤러(290)는 제1 실시예와 동일하므로 설명을 생략한다.
에어컨디셔너(400)는, 도 13에 예시한 바와 같이, 사용자가 영상을 시청하는 디스플레이(140)가 설치된 관람실(500)의 실내 온도를 조절하기 위한 것으로서 난방기, 냉방기, 열풍기, 냉풍기 등을 포함할 수 있다.
관람실(500)은 극장 등의 대형 공간일 수도 있고, 집이나 사무실의 방과 같은 소형 공간일 수도 있다.
에어컨디셔너(400)는 콘텐츠 실행장치(300)로부터 수신한 온도 피드백 지령에 따라 난방기 또는 냉방기를 작동시켜서, 실내 온도를 피드백 지령에 대응하는 온도에 맞추는 역할을 한다.
제 3 실시예
본 발명의 제3 실시예에 따른 온도 피드백 제공 시스템은, 도 14의 개략 구성도에 나타낸 바와 같이, 깊이 카메라(130), 열화상 카메라(120), 콘텐츠 실행장치(200), 컨트롤러(290), 웨어러블 피드백장치(300) 등을 포함한다.
깊이 카메라(130)는 피사체의 3차원 외형 정보를 측정할 수 있는 카메라로서, 스테레오 방식, TOF(Time of Flight) 방식, 구조화 패턴(Structured Pattern) 방식 등 다양한 원리의 카메라가 제한 없이 사용될 수 있다.
한편, 본 명세서에는 3차원 정보를 획득할 수 있는 레이더 스캐너와 라이다(LiDAR) 등도 깊이 카메라(130)에 포함되는 것으로 정의한다. 또한 본 명세에서는 깊이 카메라(130)에서 촬영한 영상이나 깊이 카메라(130)에서 촬영한 영상에 가상의 객체가 오버랩된 영상을 - 일반 카메라(110)에서 촬영한 실화상과 구분하기 위하여 -'3차원 영상' 이라 칭하기로 한다.
열화상 카메라(120), 콘텐츠 실행장치(200), 컨트롤러(290), 웨어러블 피드백장치(300) 등의 구성 및 기능은 제1 실시예와 큰 차이가 없다.
다만, 본 발명의 제3 실시예에 따른 시스템에서는, 콘텐츠 실행장치(200)의 피드백 판단부(223)가 콘텐츠 재생 중에 설정된 온도 피드백 조건 또는 햅틱 피드백 조건을 충족하는지 여부를 주기적으로 판단하되, 깊이 카메라(130)에서 촬영한 3차원 영상과 열화상을 기반으로 온도 피드백 조건 또는 햅틱 피드백 조건의 충족 여부를 판단한다.
예를 들어, 피드백 판단부(223)는 3차원 영상과 동기된 열화상 정보를 이용하여 온도 피드백 조건의 충족 여부를 판단하되, 3차원 영상과 열화상을 이용하여 화면 내의 관심 영역과 고온 영역 간의 거리 또는 관심 영역과 저온 영역 간의 거리를 산출한 후에 산출된 거리를 기준으로 관심 영역에 대한 온도 피드백 여부를 판단할 수 있다.
예를 들어, 사용자 객체(20)가 관심 영역에 접근하였을 때, 관심 영역과 고온 영역 간의 거리 또는 관심 영역과 저온 영역 간의 거리를 기준으로 사용자 객체(20)에게 온도 피드백을 제공할 지 여부를 판단할 수 있다.
이때, 화면 내의 관심 영역은 사전 설정된 객체(10)일 수도 있고, 사용자 객체(20)일 수도 있다. 또한 관심 영역은 실행되는 콘텐츠의 종류, 실행 상황 등에 따라 다양한 방식으로 설정될 수 있다.
또한 화면 내의 고온 영역은 열화상 영상을 이용하여 설정하되, 온도에 따라 제1 고온 영역, 제2 고온 영역 등과 같이 다단계로 설정할 수 있고, 온도 피드백의 강도나 시간도 이에 대응하여 차등화하여 제공할 수 있다. 화면 내의 저온 영역도 이와 같은 방식으로 다단계로 설정하고, 온도 피드백도 이에 대응하여 차등화할 수 있다.
또한 피드백 판단부(223)에서 온도 피드백 조건 또는 햅틱 피드백 조건이 충족된 것으로 판단하면, 피드백 지령 생성부(224)는 대응하는 온도 피드백 지령 또는 햅틱 피드백 지령을 생성하여 웨어러블 피드백장치(300)로 전송하고, 웨어러블 피드백장치(300)는 수신한 지령에 대응하는 온도 피드백 또는 햅틱 피드백을 생성한다.
도 14에는 깊이 카메라(130)와 열화상 카메라(120)만 나타내었으나, 이에 한정되는 것은 아니다. 예를 들어, 실화상 카메라(110)도 함께 설치하고 실화상 카메라(110)에서 촬영한 실화상은 사용자가 볼 수 있도록 디스플레이로 출력하고, 깊이 카메라(130)에서 촬영한 3차원 영상과 열화상 카메라(120)에서 촬영한 열화상은 각각 백그라운드에서 피드백 조건의 충족 여부를 판단하는 용도로만 활용할 수도 있다.
한편, 본 발명의 실시예에 따른 온도 피드백 제공 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 관련 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 판독 가능한 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM), 램(RAM), 플래시 메모리 등에서 적어도 하나를 포함할 수 있다.
또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서는 본 발명의 바람직한 실시예를 설명하였으나 본 발명은 전술한 실시예에 한정되지 않고 다양한 형태로 변형 또는 수정되어 실시될 수 있다.
일 예로서, 본 발명의 제1 실시예에서는 웨어러블 피드백장치(300)를 통해서 온도 피드백을 제공하는 것으로 설명하였으나 반드시 이에 한정되는 것은 아니다.
예를 들어, 사용자가 쥐는 컨트롤러(290)의 표면이나 내부에 히터, 펠티어 소자, 급수 파이프 등의 냉열감 발생수단을 설치하여 사용자의 손을 통해 냉열감을 제공할 수도 있다.
또한 의자의 좌대나 등받이 부분에 히터, 펠티어, 급수파이프 등의 냉열감 발생수단을 설치하여 사용자의 엉덩이나 허리에 냉열감을 제공할 수도 있다.
다른 예로서, 본 발명의 제1 및 제2 실시예에서는 열화상을 통해 확인된 온도 정보를 이용하여 냉열감 발생부(320)나 에어컨디셔너(400)를 제어하여 온도 피드백을 제공하였으나, 온도 피드백 방식이 반드시 이에 한정되는 것은 아니다.
예를 들어, 햅틱 액츄에이터(330)를 이용하여 온도에 대응하는 진동감, 역감, 재질감 등을 생성함으로써 사용자가 온도에 대응하는 감각을 느끼도록 구성할 수도 있다.
이와 같이 본 발명은 다양한 형태로 변형 또는 수정되어 실시될 수 있으며, 변형 또는 수정된 실시예도 후술하는 특허청구범위에 개시된 본 발명의 기술적 사상을 포함한다면 본 발명의 권리범위에 속함은 당연하다 할 것이다.
10: 객체 20: 사용자 객체 110: 카메라
120: 열화상 카메라 130: 깊이 카메라 200: 콘텐츠 실행장치
210: 프로세서 220: 메모리 210: 컴퓨터 프로그램
222: 콘텐츠 재생부 223: 피드백 판단부 224: 피드백 지령 생성부
225: 콘텐츠 데이터 230: 입력부 240: 디스플레이
250: 통신부 260: 전원공급부 290: 컨트롤러
291: MCU 292: 모션센서 293: 생체신호센서
294: 지령생성부 295: 통신부 300: 웨어러블 피드백 장치
310: MCU 320: 냉열감 발생부 330: 햅틱 액츄에이터
340: 통신부 350: 전원공급부 400: 에어컨디셔너
500: 관람실

Claims (4)

  1. 프로세서와, 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함하는 콘텐츠 실행장치;
    콘텐츠 실행장치로부터 수신한 온도 피드백 지령에 따라 온도 피드백을 제공하는 온도 피드백 장치
    를 포함하며,
    콘텐츠 실행장치는,
    동일한 대상의 실화상 영상과 열화상 영상을 동기화하여 저장하되, 열화상 영상의 프레임 레이트(fps)가 실화상 영상의 프레임 레이트 보다 작도록 저장하며,
    실화상 영상을 재생하여 디스플레이로 출력하는 한편 재생되는 실화상 영상과 동기화되어 저장된 열화상 영상을 이용하여 실화상 영상 속의 환경 또는 객체의 온도 정보를 확인하고,
    확인된 온도 정보를 이용하여 생성한 온도 피드백 지령을 온도 피드백 장치로 전송하는 것을 특징으로 하는 온도 피드백 제공 시스템
  2. 삭제
  3. 프로세서와, 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함하는 콘텐츠 실행장치;
    콘텐츠 실행장치로부터 수신한 온도 피드백 지령에 따라 온도 피드백을 제공하는 온도 피드백 장치
    를 포함하며,
    콘텐츠 실행장치는,
    동일한 대상을 깊이 카메라로 촬영한 3차원 영상과 열화상 카메라로 촬영한 열화상 영상을 동기화하여 저장하되, 열화상 영상의 프레임 레이트(fps)가 3차원 영상의 프레임 레이트 보다 작도록 저장하며,
    3차원 영상과 동기화되어 저장된 열화상 영상을 이용하여 디스플레이에서 출력되는 영상 속의 관심영역과 고온 또는 저온 영역의 거리를 산출하여 온도 피드백 조건의 충족 여부를 판단하고,
    온도 피드백 조건이 충족된 것으로 확인되면, 온도 피드백 지령을 온도 피드백 장치로 전송하는 것을 특징으로 하는 온도 피드백 제공 시스템
  4. 콘텐츠 실행장치가 동일한 대상의 실화상 영상과 열화상 영상을 동기화하여 저장하되, 열화상 영상의 프레임 레이트(fps)가 실화상 영상의 프레임 레이트 보다 작도록 저장하는 단계;
    콘텐츠 실행장치가 실화상 영상을 재생하여 디스플레이로 출력하는 한편 실화상 영상과 동기화되어 저장된 열화상 영상을 이용하여 실화상 영상 속의 환경 또는 객체의 온도 정보를 확인하는 단계;
    콘텐츠 실행장치가 확인된 온도 정보를 이용하여 생성한 온도 피드백 지령을 온도 피드백 장치로 전송하는 단계;
    온도 피드백 장치가 수신한 온도 피드백 지령에 따라 온도 피드백을 제공하는 단계
    를 포함하는 온도 피드백 제공 방법.
KR1020210051211A 2021-04-20 2021-04-20 열화상을 이용한 온도 피드백 제공 시스템 및 방법 KR102454406B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210051211A KR102454406B1 (ko) 2021-04-20 2021-04-20 열화상을 이용한 온도 피드백 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210051211A KR102454406B1 (ko) 2021-04-20 2021-04-20 열화상을 이용한 온도 피드백 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102454406B1 true KR102454406B1 (ko) 2022-10-12

Family

ID=83597957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210051211A KR102454406B1 (ko) 2021-04-20 2021-04-20 열화상을 이용한 온도 피드백 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102454406B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080682A1 (en) * 2014-09-13 2016-03-17 Vicente Diaz System and Method for haptic integration and generation in multimedia devices
KR20170085670A (ko) 2016-01-15 2017-07-25 한국전자통신연구원 촉감과 온도를 동시에 제공하는 하이브리드 디스플레이 제어 장치 및 방법
KR20170099157A (ko) * 2016-02-23 2017-08-31 삼성전자주식회사 온도 정보를 제공하는 방법 및 이를 지원하는 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080682A1 (en) * 2014-09-13 2016-03-17 Vicente Diaz System and Method for haptic integration and generation in multimedia devices
KR20170085670A (ko) 2016-01-15 2017-07-25 한국전자통신연구원 촉감과 온도를 동시에 제공하는 하이브리드 디스플레이 제어 장치 및 방법
KR20170099157A (ko) * 2016-02-23 2017-08-31 삼성전자주식회사 온도 정보를 제공하는 방법 및 이를 지원하는 전자 장치

Similar Documents

Publication Publication Date Title
US11599188B2 (en) System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings
JP6155448B2 (ja) ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
WO2018086224A1 (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
US10088896B2 (en) Queasiness management for virtual reality systems
WO2018150831A1 (ja) 情報処理装置、情報処理方法及び記録媒体
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
US12017351B2 (en) Remote control system, information processing method, and non-transitory computer-readable recording medium
WO2018225187A1 (ja) 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法
KR20120020045A (ko) 인터페이스 제어 장치 및 방법
US11422626B2 (en) Information processing device, and information processing method, for outputting sensory stimulation to a user
WO2019187862A1 (ja) 情報処理装置、情報処理方法、および記録媒体
KR20170062439A (ko) 제어 장치, 제어 방법 및 프로그램
US11334226B2 (en) Information processing device, information processing method, and program
US20230094522A1 (en) Devices, methods, and graphical user interfaces for content applications
JP2020087278A (ja) 動画合成装置、動画合成方法及び動画合成プログラム
US20180095532A1 (en) Virtual Reality Head-Mounted Device
CN118215903A (zh) 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面
KR101993836B1 (ko) 게임 제어장치 및 이를 포함하는 가상현실 게임 시스템
JP2020087277A (ja) 動画合成装置、動画合成方法及び動画合成プログラム
KR102701874B1 (ko) 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
KR102454406B1 (ko) 열화상을 이용한 온도 피드백 제공 시스템 및 방법
KR101842210B1 (ko) 시선 추적 기반 콘텐츠 제공 방법 및 장치
WO2019235106A1 (ja) ヒートマップ提示装置およびヒートマップ提示用プログラム
JP2020087429A (ja) 動画合成装置、動画合成方法及び動画合成プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant