KR20080032316A - 이미지 정보를 이용한 표면의 촉감정보 추출방법 - Google Patents

이미지 정보를 이용한 표면의 촉감정보 추출방법 Download PDF

Info

Publication number
KR20080032316A
KR20080032316A KR1020060097891A KR20060097891A KR20080032316A KR 20080032316 A KR20080032316 A KR 20080032316A KR 1020060097891 A KR1020060097891 A KR 1020060097891A KR 20060097891 A KR20060097891 A KR 20060097891A KR 20080032316 A KR20080032316 A KR 20080032316A
Authority
KR
South Korea
Prior art keywords
tactile
information
image
extracting
display device
Prior art date
Application number
KR1020060097891A
Other languages
English (en)
Other versions
KR100828185B1 (ko
Inventor
김승찬
경기욱
권동수
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020060097891A priority Critical patent/KR100828185B1/ko
Publication of KR20080032316A publication Critical patent/KR20080032316A/ko
Application granted granted Critical
Publication of KR100828185B1 publication Critical patent/KR100828185B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이 발명은 이미지 정보로부터 이미지 표면의 질감(texture)을 정량적으로 생성할 수 있는 사용자 인터페이스를 구동하기 위한 촉감정보를 추출하는 방법에 관한 것이다.
이 발명에 따른, 마우스와 촉감제시장치가 장착된 컴퓨터에 로딩된 이미지의 표면 촉감정보를 추출하는 방법은, 상기 마우스에 따른 마우스포인터가 위치한 이미지 영역을 다수의 셀로 나누는 제1단계와; 상기 각 셀의 그레이 레벨 대표값을 추출하는 제2단계와; 상기 그레이 레벨 대표값을 이용하여 상기 촉감제시장치의 입력 스펙에 따른 촉감정보를 추출하여 상기 촉감제시장치에게 제공하는 제3단계를 포함한다.
질감, 마우스포인터, 가상환경, 그래픽, 정량적, 컴퓨터인터페이스, 촉감

Description

이미지 정보를 이용한 표면의 촉감정보 추출방법 {graphic-to-tactile production method}
도 1은 이 발명의 한 실시예에 따른 이미지 정보를 이용한 표면의 촉감정보 추출방법을 도시한 동작 흐름도,
도 2a 내지 도 2c는 이 발명의 한 실시예에 따른 이미지 정보를 이용한 표면의 촉감정보 추출방법을 실행하는 과정을 도시한 도면이다.
이 발명은 이미지 정보로부터 이미지 표면의 질감(texture)을 정량적으로 생성할 수 있는 사용자 인터페이스를 구동하기 위한 촉감정보를 추출하는 방법에 관한 것으로서, 보다 상세하게는 마우스 커서가 위치한 부분의 이미지 표면을 다수의 셀로 나누고 각 셀로부터 촉감정보를 추출하여 촉감제시장치에게 제공하는 방법에 관한 것이다.
종래의 촉감정보 추출방법은, 촉감표시 위치와 관련된 수식을 활용하거나 데 이터 파일에 포함된 촉감 정보를 이용한다. 따라서, 이미지 파일이 촉감에 관련된 추가 정보를 포함하고 있지 않으면 해당 이미지의 표면 촉감을 표현하지 못하는 문제점이 있다.
그래픽 환경에서 임의의 물체의 기계적 성질 즉, 모양과 굳기, 재질이나 거칠기와 같은 표면성질, 표면의 결이나 무늬와 같은 작은 형상 등과 같은 촉감정보를 추출하는 방법이 개발될 필요성이 있다.
상기한 종래기술의 필요성을 충족시키기 위하여 안출된 이 발명의 목적은, 그래픽 환경에서 마우스 커서가 위치한 부분을 다수의 셀로 나누고, 각 셀의 평균 그레이값을 추출하여 촉감정보로 제시하는 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 이 발명에 따른 이미지 정보를 이용한 표면의 촉감정보 추출방법은,
마우스와 촉감제시장치가 장착된 컴퓨터에 로딩된 이미지의 표면 촉감정보를 추출하는 방법에 있어서,
상기 마우스에 따른 마우스포인터가 위치한 이미지 영역을 다수의 셀로 나누는 제1단계와;
상기 각 셀의 그레이 레벨 대표값을 추출하는 제2단계와;
상기 그레이 레벨 대표값을 이용하여 상기 촉감제시장치의 입력 스펙에 따른 촉감정보를 추출하여 상기 촉감제시장치에게 제공하는 제3단계를 포함한 것을 특징으로 한다.
이하, 첨부된 도면을 참조하며 이 발명에 따른 이미지 정보를 이용한 표면의 촉감정보 추출방법을 보다 상세하게 설명한다.
일반적으로 사람은 물체의 표면의 무늬나 물체의 재질을 인식할 때 압력분포(pressure distribution), 작은 굴곡의 깊이, 진동(vibration)의 변화 등을 사용한다. 이 발명은 이러한 사람의 일반적인 촉감 인식원리를 이용하여, 그래픽 환경에서 이러한 정보를 추출하는 방법을 제안한다.
이 발명은 마우스와 촉감제시장치가 장착된 컴퓨터에서 프로그램의 형태로 실행된다. 마우스와 촉감제시장치는 일체화되어 구성될 수도 있다. 사용자가 촉감을 느끼고자 하는 원본 이미지를 화면에 로딩하고, 마우스를 움직이면 컴퓨터는 이 발명을 실행함으로써 마우스포인터가 위치한 부분의 촉감을 추출하여 촉감제시장치에 출력한다. 그러면, 사용자는 촉감제시장치를 통해 원본 이미지의 해당 부분의 촉감을 느낄 수 있게 된다. 이 발명은 그래픽 환경 내의 게임이나 각종 인터페이스 등의 이미지를 활용하여, 그 느낌을 손가락을 통해 가상환경 내의 물체 표면의 형상, 거칠기, 점자 등의 촉감정보를 손가락에 전달하는 역할을 수행한다.
도 1은 이 발명의 한 실시예에 따른 이미지 정보를 이용한 표면의 촉감정보 추출방법을 도시한 동작 흐름도이다.
임의의 표면형상을 갖는 원본 이미지를 로딩한다(S11). 마우스포인터가 이 동하면(S12), 마우스포인터가 위치한 부분을 다수의 셀로 구분하고(S13), 각 셀별로 그레이 대표값을 계산한다(S14). 그리고, 각 셀의 그레이 대표값을 후단에 장착된 촉감제시장치에 따라 적절한 촉감정보로 변환하고(S15), 그 촉감정보를 그 촉감제시장치에게 출력한다(S16). 상기 단계 S12 내지 단계 S16을 반복 수행하다가 사용자가 프로그램을 종료시키면(S17), 상기의 과정을 종료한다.
도 2a 내지 도 2c는 이 발명의 한 실시예에 따른 이미지 정보를 이용한 표면의 촉감정보 추출방법을 실행하는 과정을 도시한 도면이다.
도 2a는 원본 이미지(20)에 대해 마우스포인터(21)가 임의의 위치에 위치한 상태를 도시한다.
도 2b는 마우스포인터가 위치한 부분의 원본 이미지를 다수의 셀로 구분한 상태를 확대한 도면이다. 도면에서는 마우스포인터가 위치한 부분을 6×5의 셀로 나눈 상태를 도시한다.
도 2c는 각 셀의 그레이 대표값(22)을 계산한 상태를 도시한다. 도 2c에서는 그레이 대표값으로서 평균 그레이값을 표시한 상태를 도시한다.
컴퓨터는 각 셀의 그레이 대표값을 촉감제시장치에 따라 적절한 촉감정보로 변환하는데, 이 촉감정보에는 표면의 진폭(수직높이) 정보, 물리적인 진동주파수 정보, 표면의 온감 정보가 포함된다. 따라서, 이 발명에 따른 방법이 실행되는 컴퓨터에 적절한 종류의 촉감제시장치를 장착하면, 이미지의 표면 촉감, 표면 거칠기, 표면 질감, 표면 형상, 점자, 표면 온감, 표면 탄성, 표면 굳기 등을 구현할 수 있다.
도 2c에서는 그레이 대표값으로서 평균 그레이값을 사용하나, 이 발명은 이에 한정되지 아니하며 그레이 대표값으로서 그레이 중앙값(median) 등과 같은 해당 셀의 그레이 특성을 대표할 수 있는 값을 사용하여도 무방하다.
이 발명이 실행되는 컴퓨터에 장착되는 촉감제시장치로는 압전 바이모프를 사용한 한국과학기술원의 촉감제시마우스(texture display mouse), 단순 진동모터를 이용한 촉감제시장치, 온도를 표현하는 촉감제시장치 등을 사용할 수 있다.
한국과학기술원의 촉감제시마우스는 8개 혹은 30개의 압전 바이모프를 사용한 촉감제시부를 구비하는 바, 컴퓨터는 각 셀마다 평균 그레이값에 비례한 크기의 값을 상기 촉감제시부의 압력 바이모프에 맵핑시켜 출력함으로써, 촉감을 제시할 수 있다.
촉감제시장치로서, 진동모터를 이용한 촉감제시장치가 장착되면 컴퓨터는 각 셀마다 계산된 평균 그레이값에 비례한 크기의 전압값 혹은 전류값을 추출하여 진동모터를 이용한 촉감제시장치에게 출력함으로써, 진동정보를 제시한다.
촉감제시장치로서, 온도를 표현하는 촉감제시장치가 장착되면 컴퓨터는 각 셀마다 계산된 평균 그레이값에 비례한 크기의 전류값을 추출하여 온도를 표현하는 촉감제시장치에게 출력함으로써, 온도정보를 제시한다.
또한 촉감제시장치로서, 힘 반향장치(force feedback device)를 이용하여 표면의 거칠기 등을 표현하는 장치를 구현할 수 있는 바, 컴퓨터가 각 셀마다 계산된 평균 그레이값에 비례하여 힘 반향장치의 주파수값을 출력한다.
또한 촉감제시장치로서 진동을 통한 촉감의 반향을 사용자에게 전해주는 마우스 혹은 힘 반향 조이스틱을 적용할 수도 있고, RC-서보모터를 이용한 촉감제시장치(미국 하버드 대학의 "BioRobotics" 연구실에서 개발)도 적용할 수 있다. 또한, 프랑스의 CEA/LIST에서 개발한 소형선형전자액츄에이터를 이용한 촉감제시장치도 적용할 수 있다.
즉, 이 발명에는 어떠한 종류의 촉감제시장치도 적용할 수 있으며, 이 발명의 방법이 실행되는 컴퓨터는 마우스포인터가 위치한 부분을 다수의 셀로 나누어 셀마다 평균 그레이값을 계산하고, 그 평균 그레이값을 해당 촉감제시장치의 입력 스펙에 따라 적절한 형태의 촉감정보로 변환하여 해당 촉감제시장치에게 출력한다.
이상에서 이 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 이 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 이 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 이 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
이상과 같이 이 발명에 따르면 그래픽 환경에서 비교적 간단한 비트맵 정보를 이용하여 촉감정보를 추출하기 때문에, 간단하고 빠르며 촉감과 관련된 추가정보를 포함하지 않더라도 원본 이미지의 표면 촉감을 느끼도록 할 수 있는 잇점이 있다.
이러한 이 발명은 고속 정보처리가 필요한 실제 게임 등의 가상환경의 능률을 높일 수 있으며, 정량적인 촉감제시장치와 연동하여 사용자에게 보다 사실감있는 촉감을 실시간으로 제공할 수 있다.

Claims (14)

  1. 마우스와 촉감제시장치가 장착된 컴퓨터에 로딩된 이미지의 표면 촉감정보를 추출하는 방법에 있어서,
    상기 마우스에 따른 마우스포인터가 위치한 이미지 영역을 다수의 셀로 나누는 제1단계와;
    상기 각 셀의 그레이 레벨 대표값을 추출하는 제2단계와;
    상기 그레이 레벨 대표값을 이용하여 상기 촉감제시장치의 입력 스펙에 따른 촉감정보를 추출하여 상기 촉감제시장치에게 제공하는 제3단계를 포함한 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  2. 제 1 항에 있어서, 상기 마우스포인터가 위치한 이미지 영역을 6×5개의 셀로 나누는 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  3. 제 1 항에 있어서, 상기 촉감정보는 상기 이미지 표면의 진폭 정보인 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  4. 제 1 항에 있어서, 상기 촉감정보는 상기 이미지 표면의 물리적인 진동주파수 정보인 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  5. 제 1 항에 있어서, 상기 촉감정보는 상기 이미지 표면의 온감 정보인 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  6. 제 1 항에 있어서, 상기 그레이 레벨 대표값은 상기 셀의 그레이 레벨 평균값인 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  7. 제 1 항에 있어서, 상기 그레이 레벨 대표값은 상기 셀의 그레이 레벨 중앙값인 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  8. 제 1 항에 있어서, 상기 촉감제시장치를 이용하여 상기 이미지의 표면 거칠기를 구현하는 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  9. 제 1 항에 있어서, 상기 촉감제시장치를 이용하여 상기 이미지의 표면 거칠기를 구현하는 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  10. 제 1 항에 있어서, 상기 촉감제시장치를 이용하여 상기 이미지의 표면 형상을 구현하는 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  11. 제 1 항에 있어서, 상기 촉감제시장치를 이용하여 상기 이미지의 표면 온감을 구현하는 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  12. 제 1 항에 있어서, 상기 촉감제시장치를 이용하여 상기 이미지의 표면 탄성을 구현하는 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  13. 제 1 항에 있어서, 상기 촉감제시장치를 이용하여 상기 이미지의 표면 굳기를 구현하는 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
  14. 제 1 항에 있어서, 상기 촉감제시장치를 이용하여 점자를 구현하는 것을 특징으로 하는 이미지 정보를 이용한 표면의 촉감정보 추출방법.
KR1020060097891A 2006-10-09 2006-10-09 이미지 정보를 이용한 표면의 촉감정보 추출방법 KR100828185B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060097891A KR100828185B1 (ko) 2006-10-09 2006-10-09 이미지 정보를 이용한 표면의 촉감정보 추출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060097891A KR100828185B1 (ko) 2006-10-09 2006-10-09 이미지 정보를 이용한 표면의 촉감정보 추출방법

Publications (2)

Publication Number Publication Date
KR20080032316A true KR20080032316A (ko) 2008-04-15
KR100828185B1 KR100828185B1 (ko) 2008-05-08

Family

ID=39533090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060097891A KR100828185B1 (ko) 2006-10-09 2006-10-09 이미지 정보를 이용한 표면의 촉감정보 추출방법

Country Status (1)

Country Link
KR (1) KR100828185B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101324687B1 (ko) * 2009-08-10 2013-11-04 한국과학기술원 이미지에 햅틱 정보를 인코딩하는 방법, 이미지로부터 햅틱 정보를 디코딩하는 방법 및 이를 위한 햅틱 정보 처리 장치
US10001422B2 (en) 2015-08-13 2018-06-19 Daegu Gyeongbuk Institute fo Science and Technology Method and device for sensing pain

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10042950A1 (de) * 2000-08-31 2002-03-21 Fujitsu Siemens Computers Gmbh Ausgabevorrichtung
DE10042949A1 (de) * 2000-08-31 2002-03-21 Fujitsu Siemens Computers Gmbh Ausgabevorrichtung und Eingabevorrichtung

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101324687B1 (ko) * 2009-08-10 2013-11-04 한국과학기술원 이미지에 햅틱 정보를 인코딩하는 방법, 이미지로부터 햅틱 정보를 디코딩하는 방법 및 이를 위한 햅틱 정보 처리 장치
US10001422B2 (en) 2015-08-13 2018-06-19 Daegu Gyeongbuk Institute fo Science and Technology Method and device for sensing pain
US10684180B2 (en) 2015-08-13 2020-06-16 Daegu Gyeongbuk Institute Of Science And Technology Method and device for sensing pain

Also Published As

Publication number Publication date
KR100828185B1 (ko) 2008-05-08

Similar Documents

Publication Publication Date Title
JP6545955B2 (ja) ストレッチ特性を組み込んだ触覚デバイス
JP6234364B2 (ja) 電気振動型タクタイル・ディスプレイ
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
Strohmeier et al. BARefoot: Generating virtual materials using motion coupled vibration in shoes
US10551924B2 (en) Mobile device configured to receive squeeze input
CN109478089A (zh) 多模态触觉效果
van Mensvoort What you see is what you feel: exploiting the dominance of the visual over the haptic domain to simulate force-feedback with cursor displacements
JP5364035B2 (ja) 仮想力覚提示装置及び仮想力覚提示プログラム
Tsimeris et al. ForceForm: a dynamically deformable interactive surface
Bouzbib et al. When tangibles become deformable: Studying pseudo-stiffness perceptual thresholds in a vr grasping task
Kyung et al. Texture display mouse: vibrotactile pattern and roughness display
Wang et al. A haptic memory game using the STReSS2 tactile display
KR100828185B1 (ko) 이미지 정보를 이용한 표면의 촉감정보 추출방법
Falcao et al. Applications of haptic devices & virtual reality in consumer products usability evaluation
Kyung et al. Texture display mouse kat: Vibrotactile pattern and roughness display
US20040239617A1 (en) Haptic interface
Kim et al. Frequency based tactile rendering method for pin-array tactile devices
KR102434473B1 (ko) 몰입형 가상 환경에서의 가상 재질감 제공 장치 및 그 동작 방법
McGee Investigating a multimodal solution for improving force feedback generated textures
Kim et al. Air-jet button effects in AR
Pihuit et al. Hands on virtual clay
Inoue et al. Haptic device using flexible sheet and air jet for presenting virtual lumps under skin
JPH11272157A (ja) 物体の把持動作シミュレーション装置
Han et al. Ar pottery: Experiencing pottery making in the augmented space
Lindeman Virtual contact: the continuum from purely visual to purely physical

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120404

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee