KR101428401B1 - 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법 - Google Patents

영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법 Download PDF

Info

Publication number
KR101428401B1
KR101428401B1 KR1020130082120A KR20130082120A KR101428401B1 KR 101428401 B1 KR101428401 B1 KR 101428401B1 KR 1020130082120 A KR1020130082120 A KR 1020130082120A KR 20130082120 A KR20130082120 A KR 20130082120A KR 101428401 B1 KR101428401 B1 KR 101428401B1
Authority
KR
South Korea
Prior art keywords
user
tactile
information
signal
image
Prior art date
Application number
KR1020130082120A
Other languages
English (en)
Inventor
김회율
조훈
한세희
배현주
나문수
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020130082120A priority Critical patent/KR101428401B1/ko
Application granted granted Critical
Publication of KR101428401B1 publication Critical patent/KR101428401B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법이 개시된다. 적어도 하나의 센서를 이용하여 사용자 주변의 물체에 대한 영상 정보를 획득하는 영상 획득부, 물체에 대한 영상 정보를 처리하여 촉각 발생 정보를 생성하는 영상 처리부 및 촉각 발생 정보를 기반으로 촉각 신호를 생성하여 사용자에게 제공하는 촉각 제공부를 포함한다. 따라서, 주변의 장애물의 유무뿐만 아니라 물체의 위치와 굴곡, 형상에 대한 정보를 미리 파악할 수 있으므로 사용자에게 신속하고 효과적으로 이동 정보를 제공할 수 있으며, 체험형 시뮬레이터와 같은 가상 기술에 적용할 수 있다.

Description

영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법{APPARATUS FOR PROVIDING TACTILE SIGNALS CONVERTED FROM IMAGE INFORMATION AND METHOD THEREOF}
본 발명은 햅틱 인터페이스(Haptic interface) 기술에 관한 것으로, 더욱 상세하게는, 센서를 이용하여 획득한 주변에 대한 영상 정보를 촉각 신호로 변환하여 사용자에게 제공하는 장치 및 방법에 관한 것이다.
종래의 인간과 정보 처리 기기의 상호 작용에는 시청각 정보가 주로 이용되었다.
그러나, 최근 인간의 감각 중 시청각뿐만 아니라 촉각을 이용하여 정보 처리 기기와 상호 작용 하고자 하는 사용자의 요구 사항이 증가함에 따라 햅틱 인터페이스(Haptic interface) 기술이 탑재된 스마트폰, 태블릿 PC 등이 개발되어 상용화되었고, 이를 이용한 보행 안내 시스템 역시 발전하고 있는 추세이다.
보행을 안내하는 종래 기술로써 소리로 영상을 보조하는 태싯 프로젝트(Tacit Project)는 초음파를 이용하여 사용자가 물리적 장애물을 피할 수 있도록 하였다.
즉, 초음파를 방출한 후에 그 반향을 수신할 때까지 걸리는 시간을 측정하는 휴대용 무선기 또는 트랜스시버(transceiver)를 이용해 반경 10피트 내에 위치한 객체를 감지하여 해당 데이터를 가상의 지도로 변경한 후 사용자 손목에 압력을 가해 장애물이 있음을 사용자에게 알려주었다.
그러나, 태싯 프로젝트는 초음파 기술을 이용하여 주변의 장애물의 유무만을 판단할 수 있을 뿐, 물체가 가지는 구체적인 형태 또는 위치에 대한 정보를 얻을 수 없으며, 초음파를 송수신하는 경우 잡음으로 인한 움직임의 흔들림을 고려하지 않는 등의 문제가 있었다.
그리하여, 수신한 초음파 중 잡음으로 판단된 프레임의 거리 데이터를 해당 프레임의 전후 프레임의 거리 데이터의 평균값으로 대체하고, 방향 추적기를 사용하여 방향 변화량을 구하여 그 값이 소정의 임계값보다 크면 해당 프레임의 거리 데이터를 잡음으로 간주하도록 하여 장애물을 회피하는 방향 안내 시스템이 개발되었다.
그러나, 이 또한 전류 소비가 많고 같은 거리 대비 부피가 크기 때문에 회로 구성 시 많은 회로가 필요하다는 점에서 문제가 있었다.
오디오에 기반한 촉각 인터페이스는 오디오 데이터를 분석하여 촉각 피드백을 출력할 수 있는 햅틱 라이브러리를 제공하였다.
여기서, 햅틱 라이브러리는 안드로이드 플랫폼에서 동작하며 애플리케이션에서 발생하는 오디오 신호를 이용하여 촉각 효과를 생성하므로 기존의 애플리케이션의 수정 없이 촉각 효과를 제공할 수 있다. 또한, 복합적인 오디오 음원으로부터 사용자가 원하는 특정 주파수 대역을 선별하여 촉각 효과를 적용할 수 있다.
그러나, 오디오 입력과 촉각 출력의 주파수 범위가 상이하기 때문에 주파수 변환 과정이 필요하다는 점에서 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 주변의 장애물의 유무뿐만 아니라 물체의 위치와 굴곡, 형상에 대한 정보를 미리 파악하여 사용자에게 효과적인 이동 정보를 제공할 수 있도록 영상 정보를 촉각 신호로 변환하여 제공하는 장치를 제공하는데 있다.
또한, 본 발명의 다른 목적은, 거리 센서를 이용하여 특정 장소에 직접 가보지 않고도 사용자에게 물체의 위치 또는 형태를 촉감의 형태로 제공할 수 있도록 영상 정보를 촉각 신호로 변환하여 제공하는 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 정보를 촉각 신호로 변환하여 제공하는 장치는, 적어도 하나의 센서를 이용하여 사용자 주변의 물체에 대한 영상 정보를 획득하는 영상 획득부, 물체에 대한 영상 정보를 처리하여 촉각 발생 정보를 생성하는 영상 처리부 및 촉각 발생 정보를 기반으로 촉각 신호를 생성하여 사용자에게 제공하는 촉각 제공부를 포함한다.
여기서, 영상 획득부는, 이미지 센서, 초음파 센서 및 적외선 센서 중 적어도 하나의 센서를 이용하여 사용자와 물체 간의 거리 정보를 포함하는 영상 정보를 획득할 수 있다.
여기서, 영상 처리부는, 영상 정보에 포함된 사용자와 물체 간의 거리 정보에 기반하여 촉각의 발생 위치, 촉각의 강도 및 촉각의 지속 시간 중 적어도 하나를 포함하는 촉각 발생 정보를 생성하여 촉각 제공부로 전달할 수 있다.
여기서, 촉각 제공부는, 촉각 발생 정보에 기반하여 사용자의 위치를 기준으로 물체의 위치를 진동 패드를 이용하여 사용자에게 촉각 신호로 제공하는 위치 제공 모듈을 포함할 수 있다.
여기서, 위치 제공 모듈은, 사용자의 위치를 기준으로 좌, 우, 상, 하에 위치한 물체에 대한 위치 정보를 사용자의 신체에 착용한 조끼의 진동 패드를 진동시킴으로써 촉각 신호를 전달할 수 있다.
여기서, 촉각 제공부는, 촉각 발생 정보에 기반하여 사용자의 위치를 기준으로 물체의 형태를 격자 무늬의 셀을 이용하여 사용자에게 촉각 신호로 제공하는 형태 제공 모듈을 포함할 수 있다.
여기서, 형태 제공 모듈은, 사용자의 위치를 기준으로 물체의 크기, 높이 및 모양에 대한 정보를 사용자가 착용한 장갑의 격자 무늬 셀에 압력을 전달함으로써 촉각 신호를 전달할 수 있다.
또한, 상기 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 정보를 촉각 신호로 변환하여 제공하는 방법은, 디지털 신호 처리가 가능한 영상 정보를 촉각 신호로 변환하여 제공하는 장치에서 수행되는 영상 정보를 촉각 신호로 변환하여 제공하는 방법에 있어서, 적어도 하나의 센서를 이용하여 사용자 주변의 물체에 대한 영상 정보를 획득하는 단계, 물체에 대한 영상 정보를 처리하여 촉각 발생 정보를 생성하는 단계 및 촉각 발생 정보를 기반으로 촉각 신호를 생성하여 사용자에게 촉각 신호를 제공하는 단계를 포함한다.
상술한 바와 같은 본 발명의 실시예에 따른 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법에 따르면, 주변의 장애물의 유무뿐만 아니라 물체의 위치와 굴곡, 형상에 대한 정보를 미리 파악할 수 있으므로 사용자에게 신속하고 효과적으로 이동 정보를 제공할 수 있다.
또한, 거리 센서를 이용하여 특정 장소에 직접 가보지 않고도 원거리에 배치된 물체의 위치와 형태를 촉감의 형태로 사용자에게 제공할 수 있기 때문에 체험형 시뮬레이터와 같은 가상 기술에 적용할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 정보를 촉각 신호로 변환하여 제공하는 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 사용자의 전방에 놓인 물체의 위치와 형태를 인지하는 것을 설명하는 예시도이다.
도 3은 본 발명의 실시예에 따른 사용자와 물체 간의 위치 및 높이 정보를 설명하는 예시도이다.
도 4는 본 발명의 실시예에 따른 사용자의 신체에 착용한 조끼의 진동 패드를 이용하여 물체의 위치 정보를 전달하는 것을 설명하는 예시도이다.
도 5는 본 발명의 실시예에 따른 사용자가 착용한 장갑의 격자 무늬 셀을 이용하여 물체의 형태 정보를 전달하는 것을 설명하는 예시도이다.
도 6은 본 발명의 실시예에 따른 영상 정보를 촉각 신호로 변환하여 제공하는 방법을 설명하는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명의 실시예에서 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법은, 디지털 신호 처리를 수행할 수 있는 적어도 하나의 사용자 단말에 의해 구현될 수 있다.
사용자 단말은 적어도 하나의 센서를 탑재하고, 센서에 의해 입력된 정보를 처리할 수 있도록 정보 처리 기능을 구비하고 처리된 정보에 대하여 사용자에게 촉각 신호를 제공할 수 있는 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant)와 같은 휴대용 정보 처리 장치를 포함할 수 있으나 이에 한정되는 것은 아니다.
적어도 하나의 사용자 단말은 하나의 서버 또는 다른 사용자 단말과 직접적으로 연결될 수도 있고 USB, 블루투스, 지그비 및 와이파이와 같은 유무선 네트워크로 연결되어 정보를 주고받을 수 있다.
또한, 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법은, 영상을 획득할 수 있는 센서, 정보 처리 장치 및 촉각 신호를 제공하는 햅틱 장치가 각각 독립적으로 구성될 수 있으며 각각의 장치는 블루투스, 지그비와 같은 유무선 네트워크로 연결되어 정보를 주고받을 수 있다.
여기서, 사용자 단말 또는 각각 독립된 장치로 구성된 영상 정보를 촉각 신호로 변환하여 제공하는 장치는, 햅틱 인터페이스(Haptic interface) 기술을 지원할 수 있다.
햅틱 인터페이스는 사용자에게 촉감을 전달하는 기술로써 터치스크린을 탑재한 휴대 기기를 이용하여 사용자가 요구한 정보에 상응하는 진동을 제공하거나, 모델링되어 있는 가상 환경 또는 실제 환경의 물리적 특성을 햅틱 장치를 통해 실제 상황과 동등하게 느낄 수 있도록 사용자에게 가상 현실을 제공할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 영상 정보를 촉각 신호로 변환하여 제공하는 장치를 나타내는 블록도이다.
도 1을 참조하면, 영상 정보를 촉각 신호로 변환하여 제공하는 장치(10)는 영상 획득부(11), 영상 처리부(12) 및 촉각 제공부(13)를 포함할 수 있다.
이하, 영상 정보를 촉각 신호로 변환하여 제공하는 장치(10)는 설명의 편의상 "햅틱 제공 장치(10)"로 칭할 수 있다.
햅틱 제공 장치(10)는 적어도 하나의 센서를 탑재하고 센서에 의해 입력된 정보를 촉각 신호로 변환하여 사용자에게 제공할 수 있는 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant)와 같은 휴대용 정보 처리 장치를 포함할 수 있으나 이에 한정되는 것은 아니다.
또한, 영상을 획득할 수 있는 센서, 센서에서 획득한 정보를 처리하는 정보 처리 장치 및 처리된 정보에 기반하여 사용자에게 촉각으로 제공하는 햅틱 장치가 독립적으로 구성될 수 있다.
영상 획득부(11)는 적어도 하나의 센서를 이용하여 사용자와 물체 간의 거리 정보를 포함하는 사용자 주변의 물체에 대한 영상 정보를 획득할 수 있다.
여기서, 적어도 하나의 센서는 햅틱 제공 장치(10)에 탑재되어 물체에 대한 영상을 획득할 수 있는 TOF(Time of Flight) 기반의 깊이 카메라 또는 키넥트(kinect) 카메라와 같은 이미지 센서, 초음파 센서 및 적외선 센서를 이용하여 사용자와 물체 간의 거리 정보를 획득할 수 있다.
예를 들어, 이미지 센서에서 촬영한 물체에 대한 영상에서 근거리의 물체는 밝게 나타나고 원거리의 물체는 상대적으로 어둡게 나타난다는 것을 이용하여 사용자와 물체 간의 거리 정보를 측정할 수 있다.
또한, 초음파 센서를 이용하여 사용자의 전방에 초음파를 보낸 후 물체에 초음파가 반사되어 돌아오는 시간 또는 적외선 센서를 이용하여 사용자의 전방에 적외선을 보낸 후 반사되어 돌아오는 적외선의 양을 기반으로 사용자와 물체 간의 거리를 파악할 수 있다.
센서를 통해 획득된 정보는 햅틱 제공 장치(10)에 내장된 버퍼(buffer), 캐쉬(cache), 램(RAM; Random Access Memory), 롬(ROM; Read Only Memory) 및 플래시 메모리(Flash memory)에 저장되어 사용자의 이동 또는 가상 현실에 이용될 수 있다.
영상 처리부(12)는 물체에 대한 영상 정보에 포함된 사용자와 물체 간의 거리 정보에 기반하여 촉각의 발생 위치, 촉각의 강도 및 촉각의 지속 시간 중 적어도 하나를 포함하는 촉각 발생 정보를 생성하여 촉각 제공부(13)로 전달할 수 있다.
예를 들어, 촉각 발생 정보는 사용자의 위치를 기준으로 물체의 위치 또는 방향에 따라 사용자에게 제공되는 촉각의 위치에 대한 정보 또는 사용자와 물체 간의 거리에 따라 변화하는 진동 또는 압력의 세기에 대한 정보를 포함할 수 있다.
또한, 촉각 발생 정보는 사용자와 물체 간의 거리에 따라 촉각이 제공되는 시점 및 촉각이 지속되는 시간에 대한 정보를 포함할 수 있다.
촉각 제공부(13)는 촉각 발생 정보를 기반으로 촉각 신호를 생성하여 사용자에게 제공하는 위치 제공 모듈(14)과 형태 제공 모듈(15)을 포함할 수 있다.
위치 제공 모듈(14)은 촉각 발생 정보에 기반하여 사용자의 위치를 기준으로 물체의 위치를 진동 패드를 이용하여 사용자에게 진동을 제공할 수 있다.
예를 들어, 사용자의 위치를 기준으로 좌, 우, 상, 하에 위치한 물체에 대한 위치 또는 방향에 따라 사용자의 신체에 착용한 조끼의 진동 패드를 진동시킴으로써 물체의 위치를 촉각으로 전달할 수 있다.
또한, 사용자의 위치를 기준으로 근거리에 위치하는 물체에 대한 진동을 원거리에 위치하는 물체에 대한 진동보다 상대적으로 강하게 제공함으로써 물체의 위치를 촉각으로 전달할 수 있다.
여기서, 사용자의 신체에 착용한 조끼는 격자 무늬의 진동판들로 이루어진 진동 패드로 구성되며 각각의 진동판은 서로 독립적으로 진동할 수 있기 때문에 물체의 위치에 대한 보다 정확한 정보를 제공할 수 있다.
형태 제공 모듈(15)은 촉각 발생 정보에 기반하여 사용자의 위치를 기준으로 물체의 형태를 격자 무늬의 셀을 이용하여 사용자에게 촉각 신호로 제공할 수 있다.
예를 들어, 사용자의 위치를 기준으로 물체의 크기, 높이 및 모양에 대한 정보를 사용자가 착용한 장갑의 격자 무늬 셀에 압력을 전달함으로써 촉각 신호를 전달할 수 있다.
여기서, 사용자가 착용한 장갑은 격자 무늬의 셀로 구성되어 있으며, 장갑을 허공에 움직일 때마다 사용자의 전방에 존재하는 근거리의 물체의 형태에 따라 압력을 제공하기 때문에 물체의 크기, 높이 및 모양에 대한 정보를 제공받을 수 있다.
또한, 햅틱 제공 장치(10)에 미리 어느 장소에 대한 물체의 정보를 저장하여 장갑에 전달하면 그 장소에 가보지 않고도 장갑을 통해 그 장소에 대한 정보를 촉각적 형태로 변환하여 사용자에게 그 장소에 있는 물체의 위치와 형태를 인지할 수 있으므로 가상 현실을 제공할 수 있다.
여기서, 위치 제공 모듈(14)과 형태 제공 모듈(15)에 대한 구체적인 예로써 사용자가 착용할 수 있는 조끼와 장갑을 설명하였으나 이에 한정되는 것은 아니다.
도 2는 본 발명의 실시예에 따른 사용자의 전방에 놓인 물체의 위치와 형태를 인지하는 것을 설명하는 예시도이다.
도 2를 참조하면, 센서와 같은 영상 획득 장치(11)를 착용한 사용자가 전방에 놓인 물체(23)를 인지하고 물체의 위치와 형태를 촉각의 형태로 제공받을 수 있다.
사용자 전방에 놓인 물체가 포함된 실제 이미지(21)에 대한 영상을 획득하기 위해 이미지 센서, 초음파 센서 및 적외선 센서를 이용할 수 있다.
예를 들어, 이미지 센서로부터 획득한 영상(22)에서 실제 이미지(21) 상의 근거리에 놓인 물체(23)는 밝게 나타나고 상대적으로 원거리에 놓인 물체는 어둡게 나타난다는 것을 이용하여 물체의 위치를 파악할 수 있다.
또한, 초음파 센서를 이용하여 사용자의 전방에 초음파를 보낸 후 물체(23)에 초음파가 부딪혀 돌아오는 시간에 따라 물체(23)를 위치를 인지할 수 있으며 적외선 센서를 이용하여 사용자의 전방에 적외선을 보낸 후 반사되어 돌아오는 적외선의 양에 따라 물체(23)의 위치를 파악할 수 있다.
획득한 영상(22)을 통해 파악된 물체(23)의 위치는 사용자가 착용한 햅틱 장치를 통해 촉각의 형태로 제공될 수 있다.
예를 들어, 사용자의 위치를 기준으로 사용자의 전방의 물체(23)가 일직선 상에 존재하는 경우, 물체의 위치와 방향에 상응하여 사용자의 신체에 착용한 조끼의 진동 패드를 진동시킬 수 있다.
여기서, 사용자의 신체에 착용한 조끼는 격자 무늬의 진동판들로 이루어진 진동 패드로 구성되며 각각의 진동판은 서로 독립적으로 진동할 수 있다.
또한, 사용자 전방에 놓인 물체(23)에 대한 형태는 사용자가 착용한 햅틱 장치를 통해 촉각의 형태로 제공될 수 있다.
예를 들어, 사용자가 장갑을 착용한 채로 허공에 움직일 때마다 사용자의 전방에 존재하는 물체(23)의 형태에 상응하여 장갑을 착용한 손에 압력이 전달될 수 있다.
사용자가 착용한 장갑은 격자 무늬의 셀로 구성되어 있으며, 장갑을 허공에 움직일 때마다 사용자의 전방에 존재하는 물체의 형태에 따라 압력을 제공하기 때문에 장갑의 위치 변화를 이용하여 물체의 크기, 높이 및 모양에 대한 정보를 제공받을 수 있다.
여기서, 영상을 획득할 수 있는 센서(11), 센서에서 획득한 정보를 처리하는 정보 처리 장치 및 처리된 정보를 사용자에게 촉각의 형태로 제공하는 햅틱 장치는 하나의 장치에 구성될 수도 있고, 각각 독립적으로 구성될 수 있다.
각각의 장치는 하나의 서버 또는 다른 사용자 단말과 직접적으로 연결될 수도 있고 USB, 블루투스, 지그비 및 와이파이와 같은 유무선 네트워크로 연결되어 정보를 주고받을 수 있다.
도 3은 본 발명의 실시예에 따른 사용자와 물체 간의 위치 및 높이 정보를 설명하는 예시도이고, 도 4는 본 발명의 실시예에 따른 사용자의 신체에 착용한 조끼의 진동 패드를 이용하여 물체의 위치 정보를 전달하는 것을 설명하는 예시도이다.
또한, 도 5는 본 발명의 실시예에 따른 사용자가 착용한 장갑의 격자 무늬 셀을 이용하여 물체의 형태 정보를 전달하는 것을 설명하는 예시도이다.
도 3 내지 도 5를 참조하면, 사용자와 물체 간의 위치 및 높이 정보에 따라 사용자의 신체에 착용한 조끼(41)와 장갑(51)을 이용하여 물체의 위치 및 방향 또는 형태에 대한 정보를 촉각의 형태로 제공할 수 있다.
여기서, 사용자 전방의 물체에 대한 영상을 획득하는 센서, 획득한 정보를 처리하는 정보 처리 장치 및 촉각 신호를 사용자에게 제공할 수 있는 조끼(41) 또는 장갑(51)은 독립적으로 구성되어 블루투스와 같은 유무선 네트워크를 통해 정보를 주고 받을 수 있다.
예를 들어, 도 3과 같이 사용자와 물체(23)가 일직선상에 있고 물체가 D4와 D5 사이 영역에 놓여 있다면, 조끼(41)의 D4와 D5 사이 영역에 해당하는 진동 패드(45)를 구성하는 진동판(45C)을 진동시킴으로써 물체(23)의 위치를 사용자에게 전달할 수 있다.
또한, 사용자가 이동함으로써 D4와 D5 사이 영역에 놓여 있던 물체(23)가 D2와 D4 사이 영역으로 가까워지고 사용자를 기준으로 물체가 좌측에 놓여 있다면, 조끼(41)의 D2와 D3 사이 영역에 해당하는 진동 패드(43)의 진동판(43L, 43C)와 D3와 D4 사이 영역에 해당하는 진동 패드(44)를 구성하는 진동판(44L, 44C)을 진동시킴으로써 좌측으로 치우친 물체에 대한 위치를 사용자에게 전달할 수 있다.
물체의 높이에 대한 정보는 조끼(41)의 촉각의 강도를 통해서 제공할 수 있다. 예를 들어, 진동의 세기가 4단계로 나뉘어 있다고 가정하여, 물체가 높이 H1와 H2 사이 영역에 있으면 가장 센 진동, H2와 H3 사이 영역에 있으면 조금 강한 진동, H3과 H4 사이 영역에 있으면 조금 약한 진동, H4와 H5 사이 영역에 있으면 가장 약한 진동을 주어 대략적인 물체의 높이를 판단할 수 있다.
또한, 물체의 높이와 형태에 대한 정보는 장갑(51)의 위치 변화에 따라 제공받을 수 있다. 즉, 사용자의 위치를 기준으로 물체의 크기와 위치를 반영하여 장갑을 허공에 움직일 때마다 물체의 형태를 제공해 줄 수 있다.
예를 들어, 장갑(51)의 좌측의 버튼을 누르면 사용자의 장갑의 움직임을 통해 사용자 전방에 놓여 있는 물체를 가져와서 만지는 것 같은 가상 현실을 제공받을 수 있다.
여기서, 사용자가 물체의 형태를 느낄 수 있는 것은 장갑이 물체를 잡았을 때 사람의 손이 느끼는 압력을 격자 무늬 셀(52)을 통해 전달하기 때문이며, 육각형 또는 벽돌과 같은 다양한 모양을 지닌 격자 무늬 셀은 들어오는 신호에 따라 모양을 변화시킬 수 있다.
즉, 장갑(51)의 격자 무늬 셀(52) 각각이 모양 변화를 일으켜 사용자의 손에 촉감 형태의 압력을 전달하게 되고 이로 인해 사용자는 물체의 형태를 인식할 수 있는 것이다.
도 6은 본 발명의 실시예에 따른 영상 정보를 촉각 신호로 변환하여 제공하는 방법을 설명하는 흐름도이다.
도 6을 참조하면, 영상 정보를 촉각 신호로 변환하여 제공하는 방법은 사용자 주변의 물체에 대한 영상 정보를 획득하는 단계(S100), 물체에 대한 영상 정보를 처리하여 촉각 발생 정보를 생성하는 단계(S200) 및 촉각 발생 정보를 기반으로 촉각 신호를 생성하여 사용자에게 촉각 신호를 제공하는 단계(S300)를 포함할 수 있다.
여기서, 영상 정보를 촉각 신호로 변환하여 제공하는 방법은 디지털 신호 처리가 가능한 장치에서 수행될 수 있다.
영상 정보를 촉각 신호로 변환하여 제공하는 장치는 적어도 하나의 센서를 탑재하고 센서에 의해 입력된 정보를 촉각 신호로 변환하여 사용자에게 제공할 수 있는 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant)와 같은 휴대용 정보 처리 장치를 포함할 수 있으나 이에 한정되는 것은 아니다.
또한, 영상을 획득할 수 있는 센서, 센서에서 획득한 정보를 처리하는 정보 처리 장치 및 처리된 정보에 기반하여 사용자에게 촉각으로 제공하는 햅틱 장치가 독립적으로 구성될 수 있다.
적어도 하나의 센서를 이용하여 사용자 주변의 물체에 대한 영상 정보를 획득할 수 있다(S100). 여기서, 적어도 하나의 센서는 물체에 대한 영상을 획득할 수 있는 TOF(Time of Flight) 기반의 깊이 카메라 및 키넥트 카메라와 같은 이미지 센서, 초음파 센서 및 적외선 센서를 포함할 수 있으나 이에 한정되는 것은 아니다.
예를 들어, 이미지 센서로부터 획득한 물체에 대한 영상에서 근거리의 물체는 밝게 나타나고 원거리의 물체는 상대적으로 어둡게 나타난다는 것을 이용하여 사용자와 물체 간의 거리 정보를 측정할 수 있다.
또한, 초음파 센서는 사용자의 전방에 초음파를 보낸 후 물체에 초음파가 반사되어 돌아오는 시간을 이용하여 사용자와 물체 간의 거리를 측정하며 적외선 센서는 사용자의 전방에 적외선을 보낸 후 반사되어 돌아오는 적외선의 양에 따라 사용자와 물체 간의 거리를 파악할 수 있다.
물체에 대한 영상 정보에 포함된 사용자와 물체 간의 거리 정보에 기반하여 촉각의 발생 위치, 촉각의 강도 및 촉각의 지속 시간 중 적어도 하나를 포함하는 촉각 발생 정보를 생성할 수 있다(S200).
예를 들어, 촉각 발생 정보는 사용자의 위치를 기준으로 물체의 위치 또는 방향에 따라 사용자에게 제공되는 촉각의 위치에 대한 정보 또는 사용자와 물체 간의 거리에 따라 변화하는 진동 또는 압력의 세기에 대한 정보를 포함할 수 있다.
또한, 사용자가 보행하는 경우 촉각이 제공되기 시작하는 사용자와 물체 간의 거리 및 촉각이 지속되는 시간에 대한 정보를 포함할 수 있다.
촉각 발생 정보를 기반으로 촉각 신호를 생성하여 사용자에게 촉각 신호를 제공할 수 있다(S300).
여기서, 촉각 신호는 사용자의 위치를 기준으로 좌, 우, 상, 하에 위치한 물체에 대한 위치 정보를 사용자의 신체에 착용한 조끼의 진동 패드를 진동시킴으로써 사용자에게 제공될 수 있다.
또한, 사용자의 위치를 기준으로 근거리에 위치하는 물체에 대한 진동을 원거리에 위치하는 물체에 대한 진동보다 상대적으로 강하게 제공함으로써 물체의 위치를 촉각으로 전달할 수 있다.
사용자의 신체에 착용한 조끼는 격자 무늬의 진동판들로 이루어진 진동 패드로 구성되며 각각의 진동판은 서로 독립적으로 진동할 수 있기 때문에 물체의 위치에 대한 보다 정확한 정보를 제공할 수 있다.
사용자의 위치를 기준으로 물체의 크기, 높이 및 모양에 대한 정보를 사용자가 착용한 장갑의 격자 무늬 셀에 압력을 가함으로써 사용자에게 제공될 수 있다.
사용자가 착용한 장갑은 격자 무늬의 셀로 구성되어 있으며, 장갑을 허공에 움직일 때마다 사용자의 전방에 존재하는 근거리의 물체의 형태에 따라 압력을 제공하기 때문에 물체의 크기, 높이 및 모양에 대한 정보를 제공받을 수 있다.
또한, 어느 장소에 대한 물체의 정보를 미리 저장하여 장갑에 전달하면 그 장소에 가보지 않고도 장갑을 통해 그 장소에 대한 정보를 촉각적 형태로 변환하여 사용자에게 그 장소에 있는 물체의 위치와 형태를 인지할 수 있다.
여기서 촉각 신호를 제공하기 위한 장치로써 조끼와 장갑을 예로 들었으나 이에 한정되는 것은 아니다.
상술한 바와 같은 본 발명의 실시예에 따른 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법에 따르면, 주변의 장애물의 유무뿐만 아니라 물체의 위치와 굴곡, 형상에 대한 정보를 미리 파악할 수 있으므로 사용자에게 효과적으로 이동 정보를 제공할 수 있다.
또한, 거리 센서를 이용하여 전류 소비 및 부피를 줄일 수 있으며, 특정 주파수 성분을 검출하거나 주파수를 변환하지 않고도 사용자로부터 떨어져 있는 물체의 위치와 형태를 사용자에게 촉감의 형태로 제공할 수 있다.
영상 정보를 촉각 신호로 변환하여 제공하는 장치에 미리 어느 장소에 대한 물체의 정보를 저장하여 장갑에 전달하면 그 장소에 가보지 않고도 장갑을 통해 그 장소에 대한 정보를 촉각적 형태로 변환하여 사용자에게 그 장소에 있는 물체의 위치와 형태를 인지할 수 있다.
그리하여, 아동 및 청소년을 위한 각종 캠프, 생태 체험, 시각 장애인 보행 안내 시스템, 시각 장애인을 위한 스포츠, 게임과 같은 다양한 체험형 시뮬레이터에 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 햅틱 제공 장치 11: 영상 획득부
12: 영상 처리부 13: 촉각 제공부
14: 위치 제공 모듈 15: 형태 제공 모듈
21: 실제 이미지 22: 획득한 영상
23: 물체 41: 조끼
42: D1과 D2 사이 영역 43: D2와 D3 사이 영역
44: D3와 D4 사이 영역 45: D4와 D5 사이 영역
46: D5와 D6 사이 영역 51: 장갑
52: 격자 무늬 셀

Claims (12)

  1. 적어도 하나의 센서를 이용하여 사용자 주변의 물체에 대한 영상 정보를 획득하는 영상 획득부;
    상기 물체에 대한 영상 정보를 처리하여 촉각 발생 정보를 생성하는 영상 처리부; 및
    상기 촉각 발생 정보를 기반으로 촉각 신호를 생성하여 상기 사용자에게 제공하는 위치 제공 모듈 및 형태 제공 모듈을 포함하는 촉각 제공부를 포함하되,
    상기 위치 제공 모듈은, 사용자의 위치를 기준으로 좌, 우, 상, 하에 위치한 상기 물체에 대한 위치 정보를 상기 사용자의 신체에 착용한 조끼의 진동 패드를 진동시킴으로써 상기 촉각 신호를 전달하고,
    상기 형태 제공 모듈은, 상기 사용자의 위치를 기준으로 상기 물체의 크기, 높이 및 모양에 대한 정보를 상기 사용자가 착용한 장갑의 격자 무늬 셀에 압력을 전달함으로써 상기 촉각 신호를 전달하는 것을 특징으로 하는 영상 정보를 촉각 신호로 변환하여 제공하는 장치.
  2. 청구항 1에 있어서,
    상기 영상 획득부는,
    이미지 센서, 초음파 센서 및 적외선 센서 중 적어도 하나의 센서를 이용하여 상기 사용자와 상기 물체 간의 거리 정보를 포함하는 영상 정보를 획득하는 것을 특징으로 하는 영상 정보를 촉각 신호로 변환하여 제공하는 장치.
  3. 청구항 2에 있어서,
    상기 영상 처리부는,
    상기 영상 정보에 포함된 상기 사용자와 상기 물체 간의 거리 정보에 기반하여 촉각의 발생 위치, 촉각의 강도 및 촉각의 지속 시간 중 적어도 하나를 포함하는 촉각 발생 정보를 생성하여 상기 촉각 제공부로 전달하는 것을 특징으로 하는 영상 정보를 촉각 신호로 변환하여 제공하는 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 디지털 신호 처리가 가능한 영상 정보를 촉각 신호로 변환하여 제공하는 장치에서 수행되는 방법에 있어서,
    적어도 하나의 센서를 이용하여 사용자 주변의 물체에 대한 영상 정보를 획득하는 단계;
    상기 물체에 대한 영상 정보를 처리하여 촉각 발생 정보를 생성하는 단계; 및
    상기 촉각 발생 정보를 기반으로 촉각 신호를 생성하여 상기 사용자에게 촉각 신호를 제공하는 단계를 포함하되,
    상기 사용자에게 촉각 신호를 제공하는 단계는,
    사용자의 위치를 기준으로 좌, 우, 상, 하에 위치한 상기 물체에 대한 위치 정보를 상기 사용자의 신체에 착용한 조끼의 진동 패드를 진동시킴으로써 상기 촉각 신호를 전달하고,
    상기 사용자의 위치를 기준으로 상기 물체의 크기, 높이 및 모양에 대한 정보를 상기 사용자가 착용한 장갑의 격자 무늬 셀에 압력을 전달함으로써 상기 촉각 신호를 전달하는 것을 특징으로 하는 영상 정보를 촉각 신호로 변환하여 제공하는 방법.
  9. 청구항 8에 있어서,
    상기 물체에 대한 영상 정보를 획득하는 단계는,
    이미지 센서, 초음파 센서 및 적외선 센서 중 적어도 하나의 센서를 이용하여 상기 사용자와 상기 물체 간의 거리 정보를 포함하는 영상 정보를 획득하는 것을 특징으로 하는 영상 정보를 촉각 신호로 변환하여 제공하는 방법.
  10. 청구항 9에 있어서,
    상기 촉각 발생 정보를 생성하는 단계는,
    상기 영상 정보에 포함된 상기 사용자와 상기 물체 간의 거리 정보에 기반하여 촉각의 발생 위치, 촉각의 강도 및 촉각의 지속 시간 중 적어도 하나를 포함하는 촉각 발생 정보를 생성하는 것을 특징으로 하는 영상 정보를 촉각 신호로 변환하여 제공하는 방법.
  11. 삭제
  12. 삭제
KR1020130082120A 2013-07-12 2013-07-12 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법 KR101428401B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130082120A KR101428401B1 (ko) 2013-07-12 2013-07-12 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130082120A KR101428401B1 (ko) 2013-07-12 2013-07-12 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101428401B1 true KR101428401B1 (ko) 2014-08-14

Family

ID=51749957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130082120A KR101428401B1 (ko) 2013-07-12 2013-07-12 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101428401B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
KR100761022B1 (ko) 2006-08-14 2007-09-21 광주과학기술원 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템
KR20100010981A (ko) * 2008-07-24 2010-02-03 박선호 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
KR100761022B1 (ko) 2006-08-14 2007-09-21 광주과학기술원 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템
KR20100010981A (ko) * 2008-07-24 2010-02-03 박선호 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
전자신문 기사"[이머징 이슈]시각장애인 운전자"(2010.04.29. ) *
전자신문 기사"[이머징 이슈]시각장애인 운전자"(2010.04.29. )*

Similar Documents

Publication Publication Date Title
US11042221B2 (en) Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures
JP7090971B2 (ja) 画像融合方法、モデル訓練方法、画像融合装置、モデル訓練装置、端末機器、サーバ機器、及びコンピュータプログラム
CN108229332B (zh) 骨骼姿态确定方法、装置及计算机可读存储介质
JP7095602B2 (ja) 情報処理装置、情報処理方法及び記録媒体
KR102065687B1 (ko) 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법
CN108924438B (zh) 拍摄控制方法及相关产品
CN112513711A (zh) 用于使用位置向量解析半球模糊度的方法和系统
CN108700939A (zh) 用于增强现实的系统和方法
US11467670B2 (en) Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures
KR20200074609A (ko) 홈 트레이닝 제공 방법 및 시스템
KR20210138076A (ko) 측위 측정 정보 보고 방법, 단말 및 네트워크 장치
KR20090061179A (ko) 데이터 입력 장치 및 이를 이용한 데이터 처리 방법
CN104298340A (zh) 控制方法和电子设备
CN111061363A (zh) 一种虚拟现实系统
CN110554773A (zh) 用于产生定向声音和触觉感觉的触觉装置
KR20200028771A (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
US10318004B2 (en) Apparatus and method for providing feedback at a predetermined distance
US20230152084A1 (en) Height Measurement Method and Apparatus, and Terminal
CN110944112A (zh) 一种图像处理方法及电子设备
KR102336982B1 (ko) 이동 단말기 및 그 제어 방법
KR101428401B1 (ko) 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법
US20230005227A1 (en) Electronic device and method for offering virtual reality service
KR102130801B1 (ko) 손목 스탭 검출 장치 및 그 방법
KR102166719B1 (ko) 전자장치 및 전자장치를 이용한 정보교환 방법
GB2418974A (en) Data input from the relative position of devices on respective hands of a user

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee