KR102312649B1 - 햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이 - Google Patents

햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이 Download PDF

Info

Publication number
KR102312649B1
KR102312649B1 KR1020130145272A KR20130145272A KR102312649B1 KR 102312649 B1 KR102312649 B1 KR 102312649B1 KR 1020130145272 A KR1020130145272 A KR 1020130145272A KR 20130145272 A KR20130145272 A KR 20130145272A KR 102312649 B1 KR102312649 B1 KR 102312649B1
Authority
KR
South Korea
Prior art keywords
touch
tactile
information
image
texture
Prior art date
Application number
KR1020130145272A
Other languages
English (en)
Other versions
KR20150061681A (ko
Inventor
손지은
황종희
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020130145272A priority Critical patent/KR102312649B1/ko
Publication of KR20150061681A publication Critical patent/KR20150061681A/ko
Application granted granted Critical
Publication of KR102312649B1 publication Critical patent/KR102312649B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Abstract

본 발명은 표시되는 영상 데이터로부터 추출된 온도와 질감 중 적어도 하나를 포함하는 촉감용 영상 정보와, 사용자의 터치에 의한 터치 센싱 데이터로부터 추출된 터치 위치를 포함하는 촉감용 터치 정보를 매칭하는 영상-터치 매칭부와; 상기 매칭된 정보에 대응되는 촉감 피드백 신호를 생성하는 신호 발생부를 포함하는 햅틱 렌더링 회로를 제공한다.

Description

햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이{Haptic rendering circuit and haptic display using the same}
본 발명은 햅틱 렌더링 회로에 관한 것으로서, 보다 상세하게는, 표시되는 영상에 대한 촉감 피드백(feedback)을 실시간으로 구현할 수 있는 햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이에 대한 것이다.
최근에, 디스플레이(display)에 대한 사용자의 직관적인 사용을 위해 터치 센싱(touch sensing) 기술이 적용된 디스플레이가 널리 사용되고 있다.
한편, 사용자 경험을 보다 풍부하게 제공하기 위한 요구가 커지고 있으며, 이에 부응하여 터치시 대상 객체의 촉감을 느낄 수 있도록 하는 햅틱(haptic) 기술을 디스플레이에 적용하기 위한 연구가 활발하게 진행되고 있다.
촉감 구현을 위해 소위 햅틱 렌더링(haptic rendering)이라고 불리워지는 과정이 수행된다. 햅틱 렌더링은 디스플레이에서 표시되는 가상의 객체와 촉감 피드백(tactile feedback) 장치 사이에서 사용자에게 전달할 힘을 계산하고 출력하는 과정으로서, 가상의 객체에 대한 사용자 터치시 대응되는 반응이 적절하게 촉감 정보로 출력될 수 있도록 하는 모델링 및 처리 방법을 포함하게 된다.
즉, 햅틱 렌더링에 의해 사용자 터치에 따른 촉감 피드백 신호가 생성되고, 이와 같이 생성된 촉감 피드백 신호는 촉감 피드백 장치에 전달된다. 이에 따라, 촉감 피드백 장치는 진동이나 정전기를 발생시켜, 사용자는 영상 내의 가상 객체에 대한 촉감을 느낄 수 있게 된다.
종래의 햅틱 렌더링에서는, 한정된 가상 객체와 이와 흡사한 촉감을 구현할 수 있는 피드백 신호를 매칭(matching)한 데이터베이스(database)를 사전에 만들어서 저장해 두고, 사용자가 객체를 선택하게 되면 데이터베이스를 참조하여 선택된 객체에 대응되는 피드백 신호를 출력하는 방식을 사용하였다.
이와 관련하여 예를 들면, 종이, 나무, 실크천 등 이들 각각에 대응하는 피드백 신호를 사전에 데이터베이스로 저장하고, 사용자가 이들 중 하나를 터치하여 선택하게 되면 선택된 객체에 대한 피드백 신호를 출력하게 된다.
이처럼, 종래의 햅틱 렌더링에서는, 피드백 신호를 데이터베이스화하여 제공하게 되므로, 데이터베이스로 구현된 객체에 대해서만 제한적으로 촉감 구현이 가능하게 된다. 이는 햅틱 기술 사용화의 치명적인 단점으로서, 사용자의 다양한 욕구를 충족시키는데 한계로서 작용하게 된다.
본 발명은, 종래의 제한적인 촉감 구현을 개선할 수 있는 방안을 제공하는 것에 과제가 있다.
전술한 바와 같은 과제를 달성하기 위해, 본 발명은 표시되는 영상 데이터로부터 추출된 온도와 질감 중 적어도 하나를 포함하는 촉감용 영상 정보와, 사용자의 터치에 의한 터치 센싱 데이터로부터 추출된 터치 위치를 포함하는 촉감용 터치 정보를 매칭하는 영상-터치 매칭부와; 상기 매칭된 정보에 대응되는 촉감 피드백 신호를 생성하는 신호 발생부를 포함하는 햅틱 렌더링 회로를 제공한다.
여기서, 상기 촉감용 터치 정보는 터치 압력을 포함할 수 있다.
상기 신호 발생부는, 상기 매칭된 정보에 따라 상기 촉감 피드백 신호를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절하도록 구성될 수 있다.
상기 표시되는 영상 데이터를 분석하여, 상기 온도와 질감 중 적어도 하나를 포함하는 촉감용 영상 정보를 생성하는 영상분석부와; 상기 사용자의 터치에 의한 터치 센싱 데이터를 분석하여, 상기 터치 위치를 포함하는 촉감용 터치 정보를 생성하는 터치분석부를 포함할 수 있다.
다른 측면에서, 본 발명은 영상-터치 매칭부에서, 표시되는 영상 데이터로부터 추출된 온도와 질감 중 적어도 하나를 포함하는 촉감용 영상 정보와, 사용자의 터치에 의한 터치 센싱 데이터로부터 추출된 터치 위치를 포함하는 촉감용 터치 정보를 매칭하는 단계와; 신호발생부에서, 상기 매칭된 정보에 대응되는 촉감 피드백 신호를 생성하는 단계를 포함하는 햅틱 렌더링 방법을 제공한다.
여기서, 상기 촉감용 터치 정보는 터치 압력을 포함할 수 있다.
상기 촉감 피드백 신호 생성시, 상기 매칭된 정보에 따라 상기 촉감 피드백 신호를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절할 수 있다.
상기 표시되는 영상 데이터를 분석하여, 상기 온도와 질감 중 적어도 하나를 포함하는 촉감용 영상 정보를 생성하는 단계와; 상기 사용자의 터치에 의한 터치 센싱 데이터를 분석하여, 상기 터치 위치를 포함하는 촉감용 터치 정보를 생성하는 단계를 포함할 수 있다.
또 다른 측면에서, 본 발명은 영상을 표시하는 표시장치와; 사용자의 터치를 감지하는 터치 센싱 장치와; 상기 표시장치를 통해 표시되는 영상 데이터로부터 추출된 온도와 질감 중 적어도 하나를 포함하는 촉감용 영상 정보와, 상기 사용자의 터치 센싱 장치에 대한 터치에 의해 발생된 터치 센싱 데이터로부터 추출된 터치 위치를 포함하는 촉감용 터치 정보를 매칭하는 영상-터치 매칭부와, 상기 매칭된 정보에 대응되는 촉감 피드백 신호를 생성하는 신호 발생부를 포함하는 햅틱 렌더링 회로와; 상기 촉감 피드백 신호에 응답하여 대응되는 촉감 피드백을 발생시키는 촉감 피드백 장치를 포함하는 햅틱 디스플레이를 제공한다.
여기서, 상기 촉감용 터치 정보는 터치 압력을 포함할 수 있다.
상기 신호 발생부는, 상기 매칭된 정보에 따라 상기 촉감 피드백 신호를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절하도록 구성될 수 있다.
상기 햅틱 렌더링 회로는, 상기 표시되는 영상 데이터를 분석하여, 상기 온도와 질감 중 적어도 하나를 포함하는 촉감용 영상 정보를 생성하는 영상분석부와; 상기 사용자의 터치에 의한 터치 센싱 데이터를 분석하여, 상기 터치 위치를 포함하는 촉감용 터치 정보를 생성하는 터치분석부를 포함할 수 있다.
또 다른 측면에서, 본 발명은 표시장치를 통해 영상을 표시하는 단계와; 터치 센싱 장치를 통해 사용자의 터치를 감지하는 단계와; 햅틱 렌더링 회로를 통해, 상기 표시장치를 통해 표시되는 영상 데이터로부터 추출된 온도와 질감 중 적어도 하나를 포함하는 촉감용 영상 정보와, 상기 터치 센싱 장치를 통해 감지된 터치 센싱 데이터로부터 추출된 터치 위치를 포함하는 촉감용 터치 정보를 매칭하고, 상기 매칭된 정보에 대응되는 촉감 피드백 신호를 생성하는 단계와; 촉감 피드백 회로를 통해, 상기 촉감 피드백 신호에 응답하여 대응되는 촉감 피드백을 발생시키는 단계를 포함하는 햅틱 디스플레이 구동방법을 제공한다.
여기서, 상기 촉감용 터치 정보는 터치 압력을 포함할 수 있다.
상기 촉감 피드백 신호 생성시, 상기 매칭된 정보에 따라 상기 촉감 피드백 신호를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절할 수 있다.
상기 표시되는 영상 데이터를 분석하여, 상기 온도와 질감 중 적어도 하나를 포함하는 촉감용 영상 정보를 생성하는 단계와; 상기 사용자의 터치에 의한 터치 센싱 데이터를 분석하여, 상기 터치 위치를 포함하는 촉감용 터치 정보를 생성하는 단계를 포함할 수 있다.
본 발명에서는, 영상 데이터 분석을 통해 촉감용 영상 정보를 추출하고, 터치 센싱 데이터 분석을 통해 촉감용 터치 정보를 추출하게 된다. 이와 같이 추출된 촉감용 영상 정보와 터치 정보를 매칭하고, 매칭된 정보에 따라 파형, 진폭, 주파수 중 적어도 하나를 조절하여 촉감 피드백 신호를 출력하게 된다.
이처럼, 영상정보와 터치정보를 사용하여 이에 대응하는 촉감 피드백 신호를 생성함에 따라 실질적으로 모든 형태의 가상 객체에 대해 현실감 있는 촉감을 실시간으로 구현할 수 있게 된다.
따라서, 종래의 데이터베이스를 기반으로 촉감 피드백 신호를 생성하는 경우에서의 제한적인 촉감 구현을 효과적으로 개선할 수 있게 된다.
도 1은 본 발명의 실시예에 따른 햅틱 렌더링 회로를 사용한 햅틱 디스플레이를 개략적으로 도시한 도면.
도 2는 본 발명의 실시예에 따른 디스플레이의 단면 구성의 일예를 개략적으로 도시한 도면.
도 3은 본 발명의 실시예에 따른 햅틱 렌더링 회로의 구성을 개략적으로 도시한 도면.
도 4는 본 발명의 실시예에 따른 햅틱 렌더링 과정을 개략적으로 도시한 흐름도.
도 5는 본 발명의 실시예에 따른 평면적으로 다수의 촉감 피드백 영역으로 분할된 촉감 피드백 장치의 일예를 개략적으로 도시한 도면.
이하, 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 햅틱 렌더링 회로를 사용한 햅틱 디스플레이를 개략적으로 도시한 도면이고, 도 2는 본 발명의 실시예에 따른 디스플레이의 단면 구성의 일예를 개략적으로 도시한 도면이다.
도 1 및 2를 참조하면, 본 발명의 실시예에 따른 햅틱 디스플레이(100)는 터치 기능 및 촉감 기능을 제공할 수 있는 디스플레이로서, 표시장치(200)와 터치 센싱 장치(300)와 촉감 피드백 장치(400)와 이들 구성의 동작을 제어하는 제어회로(500)를 포함할 수 있다.
표시장치(200)는 영상을 표시하는 기능을 하는 구성으로서, 다양한 종류의 표시장치가 사용될 수 있다. 예를 들면, 표시장치(200)로서 액정표시장치, 유기발광소자표시장치, 플라즈마표시장치 등이 사용될 수 있는데, 이에 한정되지는 않는다.
터치 센싱 장치(300)는 사용자의 터치를 감지하는 기능을 하는 인터페이스(interface)에 해당된다. 터치 센싱 장치(300)에 대해, 사용자는 손이나 터치용 펜(pen) 등의 도구를 사용하여 터치를 하게 되고, 이와 같은 터치에 따라 터치 센싱 신호가 발생하게 된다.
한편, 터치 센싱 장치(300)는 다양한 형태로 구성될 수 있다. 예를 들면, 도 2에 도시한 바와 같이, 터치 센싱 장치(300)는 표시장치(200)와 별개로 제조되어, 표시장치(200)의 상면 상에 애드온(add-on) 형태로 부착될 수 있다. 다른 예로서, 표시장치(200) 제조시에 함께 제조되어, 인셀(in-cell) 방식이나 온셀(on-cell) 방식으로 구성될 수도 있다.
촉감 피드백 장치(400)는 사용자에게 촉감을 전달하는 기능을 하는 인터페이스에 해당된다. 촉감 피드백 장치(400)는 촉감 피드백 신호(Vfb)를 입력받고, 이에 응답하여 대응되는 촉감을 발생하게 된다.
여기서, 촉감 피드백 장치(400)는 촉감 피드백 신호(Vfb)에 응답하여 진동을 발생시키거나 정전기를 발생시킴으로써, 촉감을 구현할 수 있게 된다.
이와 같은 촉감 피드백 장치(400)로서 다양한 방식의 촉감 피드백 장치가 사용될 수 있다. 예를 들면, 관성형 액추에이터(actuator) 방식, 압전 액추에이터 방식, 전기활성 폴리머 액추에이터 방식, 정전기력 액추에이터 방식 등의 장치가 촉감 피드백 장치(400)로 사용될 수 있다.
촉감 피드백 장치(400)는 다양한 형태로 구성될 수 있다. 예를 들면, 도 2에 도시한 바와 같이, 표시장치(200)나 터치 센싱 장치(300)와 별개로 구성되어, 터치 센싱 장치(300)의 상면 상에 애드온 형태로 부착될 수 있다. 다른 예로서, 표시장치(200)에 대해 인셀 방식이나 온셀 방식으로 구성될 수도 있다.
제어회로(500)는 전술한 표시장치(200), 터치 센싱 장치(300), 촉감 피드백 장치(400)의 동작을 제어하는 구성에 해당된다.
이와 같은 제어회로(500)는, 예를 들면, 표시제어회로(510), 터치제어회로(520), 햅틱 렌더링 회로(530)를 포함할 수 있다.
표시제어회로(510)는 표시장치(200)의 동작을 제어하는 기능을 하게 된다. 표시제어회로(510)는 영상 데이터(Di)를 표시장치(200)에 출력하며, 이에 따라 표시장치(200)는 해당 영상을 표시하게 된다. 또한, 표시제어회로(510)는 영상 데이터(Di)를 햅틱 렌더링 회로(530)에 전송하도록 구성될 수 있다.
터치제어회로(520)는 터치 센싱 장치(300)의 동작을 제어하는 기능을 하게 된다. 터치제어회로(520)는 터치 센싱 장치(300)로부터 사용자 터치에 따른 터치 센싱 데이터(Dt)를 입력받게 된다. 터치제어회로(520)는 터치 센싱 데이터(Dt)를 햅틱 렌더링 회로(530)에 전송하도록 구성될 수 있다.
햅틱 렌더링 회로(530)는 촉감 피드백 신호(Vfb)를 생성하고, 이를 촉감 피드백 장치(400)에 전송하여 촉감 피드백 장치(400)의 촉감 피드백 동작을 제어하는 기능을 하게 된다.
여기서, 촉감을 구현하기 위한 요소로서는 영상 내 객체의 온도 및 질감과, 터치 위치 및 압력 등이 사용될 수 있다. 이와 같은 요소들의 추출에 따라 사용자에게 보다 현실적인 촉감을 즉각적으로 전달할 수 있다. 이를 위해, 본 발명의 실시예에서는 햅틱 렌더링 회로(530)를 사용하여 위와 같은 요소들을 추출하고, 이에 대응되는 촉감 피드백 신호(Vfb)를 생성하게 된다.
이하, 햅틱 렌더링 회로(530)에 대해 도 3 및 4를 더욱 참조하여 보다 상세하게 설명한다. 도 3은 본 발명의 실시예에 따른 햅틱 렌더링 회로의 구성을 개략적으로 도시한 도면이고, 도 4는 본 발명의 실시예에 따른 햅틱 렌더링 과정을 개략적으로 도시한 흐름도이다.
햅틱 렌더링 회로(530)는 영상분석부(531)와 터치분석부(532)와 영상-터치매칭부(533)와 신호발생부(534)를 포함할 수 있다.
한편, 구체적인 설명에 앞서, 영상분석부(531)는 표시제어회로(510)에 포함되고, 터치분석부(532)는 터치제어회로(520)에 포함되도록 구성될 수도 있다.
영상분석부(531)는 입력된 영상 데이터(Dt)를 분석하여 촉감 피드백 신호(Vfb) 생성과 관련된 정보를 생성하게 된다.
이와 관련하여 예를 들면, 입력된 영상 데이터(Di)에 대해 패턴 인식(pattern recognition), 에지 검출(edge detection), 영상 분할(image segmenation), 색온도분석(color temperature analysis) 등을 수행하여 영상의 특징 추출(feature extraction)을 수행할 수 있다 (S11).
이와 같은 추출된 특징을 기초로 영상 분석을 수행할 수 있는데, 예를 들면 컬러 매핑(color mapping)과, 텍스처 매핑(texture mapping)과, 컬러 및 텍스쳐 인덱싱(color and texture indexing)을 통해, 표시 영상에 대한 인덱스된 컬러 정보와 텍스처 정보 등을 포함하는 촉감용 영상 정보(Ii)를 생성할 수 있게 된다 (S12).
여기서, 컬러 정보는 영상의 온도와 관련된 정보에 해당되고, 텍스처 정보는 영상의 질감 즉 표면 거칠기와 경도 등과 관련된 정보에 해당된다.
이처럼, 영상분석부(531)를 통해 촉감과 관련된 영상 정보(Ii)를 생성하게 된다.
한편, 터치분석부(532)는 입력된 터치 센싱 데이터(Dt)를 분석하여 터치 위치와 터치 압력 정보 등을 포함하는 촉감용 터치 정보(It)를 생성할 수 있게 된다 (S22).
여기서, 터치 압력 정보는 누르는 압력에 대한 정보로서, 예를 들면, 단위 면적 당 터치 밀도 등을 통해 산출될 수 있다.
더욱이, 터치분석부(532)는 멀티 터치(multi-touch) 여부 등을 판단하고 (S21), 멀티 터치들 각각에 대한 촉감용 터치 정보(It)를 생성할 수 있게 된다.
전술한 바와 같이, 영상분석부(531)와 터치분석부(532)를 통해, 촉감 발생을 위해 요구되는 인자로서, 온도, 텍스처, 터치 위치, 터치 압력 등에 대한 정보들이 생성될 수 있다.
영상-터치 매칭부(533)는, 영상분석부(531)와 터치분석부(532)로부터 전송된 촉감용 영상 정보(Ii)와 촉감용 터치 정보(It)를 영역별로 매칭하게 된다 (S31).
이와 관련하여 예를 들면, 도 5에 도시한 바와 같이, 촉감 피드백 장치(400)는 평면적으로 다수의 피드백 영역(FA)으로 분할될 수 있으며, 이와 같은 다수의 피드백 영역(FA)은 서로 독립적인 촉감 피드백을 구현할 수 있도록 구성될 수 있다.
이와 같은 경우에, 영역별 촉감 피드백 발생을 위해, 영상-터치 매칭부(533)는 피드백 영역별로 촉감용 영상 정보(Ii)와 촉감용 터치 정보(It)를 매칭할 수 있게 된다.
이와 같은 촉감용 영상-터치 매칭 정보(Im)는 신호 발생부(534)에 전송된다. 신호 발생부(534)는 촉감용 영상-터치 매칭 정보(Im)에 대응되는 촉감 피드백 신호(Vfb)를 발생시켜 이를 촉감 피드백 장치(400)에 출력할 수 있게 된다 (S32).
이와 관련하여, 촉감 피드백 신호(Vfb)는 이를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절함으로써 촉감을 조절할 수 있다.
이러한바, 영상-터치 매칭 정보(Im)에 따라 촉감 피드백 신호(Vfb)를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절하게 되고, 이에 따라 촉감 피드백 신호(Vfb)의 출력을 조절할 수 있게 된다.
이와 같이 생성된 촉감 피드백 신호(Vfb)는 촉감 피드백 장치(400)에 출력되고, 이에 따라 촉감 피드백 장치(400)는 대응되는 촉감 피드백을 구현함으로써 사용자는 자신이 터치한 영상 내 객체에 대한 현실적인 촉감을 실시간으로 느낄 수 있게 된다.
전술한 바와 같이, 본 발명의 실시예에 따르면, 영상 데이터 분석을 통해 촉감용 영상 정보를 추출하고, 터치 센싱 데이터 분석을 통해 촉감용 터치 정보를 추출하게 된다. 이와 같이 추출된 촉감용 영상 정보와 터치 정보를 매칭하고, 매칭된 정보에 따라 파형, 진폭, 주파수 중 적어도 하나를 조절하여 촉감 피드백 신호를 출력하게 된다.
이처럼, 영상정보와 터치정보를 사용하여 이에 대응하는 촉감 피드백 신호를 생성함에 따라 실질적으로 모든 형태의 가상 객체에 대해 현실감 있는 촉감을 실시간으로 구현할 수 있게 된다.
따라서, 종래의 데이터베이스를 기반으로 촉감 피드백 신호를 생성하는 경우에서의 제한적인 촉감 구현을 효과적으로 개선할 수 있게 된다.
전술한 본 발명의 실시예는 본 발명의 일예로서, 본 발명의 정신에 포함되는 범위 내에서 자유로운 변형이 가능하다. 따라서, 본 발명은, 첨부된 특허청구범위 및 이와 등가되는 범위 내에서의 본 발명의 변형을 포함한다.
100: 햅틱 디스플레이 200: 표시장치
300: 터치 센싱 장치 400: 촉감 피드백 장치
500: 제어회로 510: 표시제어회로
520: 터치제어회로 530: 햅틱 렌더링 회로

Claims (20)

  1. 표시되는 영상 데이터를 분석하여, 온도와 질감을 포함하는 촉감용 영상 정보를 생성하는 영상분석부와;
    사용자의 터치에 의한 터치 센싱 데이터를 분석하여, 멀티 터치 여부를 판단하고, 상기 사용자의 터치 위치를 포함하는 촉감용 터치 정보를 상기 멀티 터치 각각에 대하여 생성하는 터치분석부와;
    상기 촉감용 영상 정보와, 상기 촉감용 터치 정보를 영역별로 매칭하는 영상-터치 매칭부와;
    상기 매칭된 정보에 대응되는 촉감 피드백 신호를 생성하는 신호 발생부
    를 포함하고,
    상기 영상분석부는,
    상기 영상 데이터에 대해 패턴 인식(pattern recognition), 에지 검출(edge detection), 영상 분할(image segmentation), 색온도분석(color temperature analysis)을 수행하여 영상 특징을 추출하고,
    상기 영상 특징에 기초한 컬러 매핑(color mapping), 텍스처 매핑(texture mapping), 컬러 및 텍스처 인덱싱(color and texture indexing)을 통해 상기 온도와 상기 질감에 각각 대응되는 컬러 정보와 텍스처 정보를 포함하는 상기 촉감용 영상 정보를 생성하는 햅틱 렌더링 회로.
  2. 제 1 항에 있어서,
    상기 촉감용 터치 정보는 터치 압력을 포함하는
    햅틱 렌더링 회로.
  3. 제 1 항에 있어서,
    상기 신호 발생부는, 상기 매칭된 정보에 따라 상기 촉감 피드백 신호를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절하도록 구성된
    햅틱 렌더링 회로.
  4. 삭제
  5. 영상분석부에서, 표시되는 영상 데이터를 분석하여, 온도와 질감을 포함하는 촉감용 영상 정보를 생성하는 단계와;
    사용자의 터치에 의한 터치 센싱 데이터를 분석하여, 멀티 터치 여부를 판단하고, 상기 사용자의 터치 위치를 포함하는 촉감용 터치 정보를 상기 멀티 터치 각각에 대하여 생성하는 단계와;
    영상-터치 매칭부에서, 상기 촉감용 영상 정보와, 상기 촉감용 터치 정보를 영역별로 매칭하는 단계와;
    신호발생부에서, 상기 매칭된 정보에 대응되는 촉감 피드백 신호를 생성하는 단계
    를 포함하고,
    상기 촉감용 영상 정보를 생성하는 단계는,
    상기 영상 데이터에 대해 패턴 인식(pattern recognition), 에지 검출(edge detection), 영상 분할(image segmentation), 색온도분석(color temperature analysis)를 수행하여 영상 특징을 추출하는 단계와;
    상기 영상 특징에 기초한 컬러 매핑(color mapping), 텍스처 매핑(texture mapping), 컬러 및 텍스처 인덱싱(color and texture indexing)을 통해 상기 온도와 상기 질감에 각각 대응되는 컬러 정보와 텍스처 정보를 포함하는 상기 촉감용 영상 정보를 생성하는 단계
    를 포함하는 햅틱 렌더링 방법.
  6. 제 5 항에 있어서,
    상기 촉감용 터치 정보는 터치 압력을 포함하는
    햅틱 렌더링 방법.
  7. 제 5 항에 있어서,
    상기 촉감 피드백 신호 생성시, 상기 매칭된 정보에 따라 상기 촉감 피드백 신호를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절하는
    햅틱 렌더링 방법.
  8. 삭제
  9. 영상을 표시하는 표시장치와;
    사용자의 터치를 감지하는 터치 센싱 장치와;
    상기 표시장치를 통해 표시되는 영상 데이터를 분석하여, 온도와 질감을 포함하는 촉감용 영상 정보를 생성하는 영상분석부와, 사용자의 터치에 의한 터치 센싱 데이터를 분석하여, 멀티 터치 여부를 판단하고, 상기 사용자의 터치 위치를 포함하는 촉감용 터치 정보를 상기 멀티 터치 각각에 대하여 생성하는 터치분석부와, 상기 촉감용 영상 정보와, 상기 촉감용 터치 정보를 영역별로 매칭하는 영상-터치 매칭부와, 상기 매칭된 정보에 대응되는 촉감 피드백 신호를 생성하는 신호 발생부를 포함하는 햅틱 렌더링 회로와;
    상기 촉감 피드백 신호에 응답하여 대응되는 촉감 피드백을 발생시키는 촉감 피드백 장치
    를 포함하고,
    상기 영상분석부는,
    상기 영상 데이터에 대해 패턴 인식(pattern recognition), 에지 검출(edge detection), 영상 분할(image segmentation), 색온도분석(color temperature analysis)를 수행하여 영상 특징을 추출하고,
    상기 영상 특징에 기초한 컬러 매핑(color mapping), 텍스처 매핑(texture mapping), 컬러 및 텍스처 인덱싱(color and texture indexing)을 통해 상기 온도와 상기 질감에 각각 대응되는 컬러 정보와 텍스처 정보를 포함하는 상기 촉감용 영상 정보를 생성하고,
    상기 촉감 피드백 장치는, 영역별로 매칭되는 상기 촉감용 터치 정보에 대응하여 평면적으로 서로 독립적인 촉감 피드백을 구현하는 다수의 피드백 영역으로 분할되는 햅틱 디스플레이.
  10. 제 9 항에 있어서,
    상기 촉감용 터치 정보는 터치 압력을 포함하는
    햅틱 디스플레이.
  11. 제 9 항에 있어서,
    상기 신호 발생부는, 상기 매칭된 정보에 따라 상기 촉감 피드백 신호를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절하도록 구성된
    햅틱 디스플레이.
  12. 삭제
  13. 표시장치를 통해 영상을 표시하는 단계와;
    터치 센싱 장치를 통해 사용자의 터치를 감지하는 단계와;
    햅틱 렌더링 회로를 통해,
    상기 표시장치를 통해 표시되는 영상 데이터를 분석하여, 온도와 질감을 포함하는 촉감용 영상 정보를 생성하고,
    사용자의 터치에 의한 터치 센싱 데이터를 분석하여, 멀티 터치 여부를 판단하고, 상기 사용자의 터치 위치를 포함하는 촉감용 터치 정보를 상기 멀티 터치 각각에 대하여 생성하고,
    상기 촉감용 영상 정보와, 상기 촉감용 터치 정보를 영역별로 매칭하고,
    상기 매칭된 정보에 대응되는 촉감 피드백 신호를 생성하는 단계와;
    촉감 피드백 장치를 통해, 상기 촉감 피드백 신호에 응답하여 대응되는 촉감 피드백을 발생시키는 단계
    를 포함하고,
    상기 촉감용 영상 정보를 생성하는 단계는,
    상기 영상 데이터에 대해 패턴 인식(pattern recognition), 에지 검출(edge detection), 영상 분할(image segmentation), 색온도분석(color temperature analysis)를 수행하여 영상 특징을 추출하는 단계와;
    상기 영상 특징에 기초한 컬러 매핑(color mapping), 텍스처 매핑(texture mapping), 컬러 및 텍스처 인덱싱(color and texture indexing)을 통해 상기 온도와 상기 질감에 각각 대응되는 컬러 정보와 텍스처 정보를 포함하는 상기 촉감용 영상 정보를 생성하는 단계
    를 포함하고,
    상기 촉감 피드백 장치는, 영역별로 매칭되는 상기 촉감용 터치 정보에 대응하여 평면적으로 서로 독립적인 촉감 피드백을 구현하는 다수의 피드백 영역으로 분할되는 햅틱 디스플레이 구동방법.
  14. 제 13 항에 있어서,
    상기 촉감용 터치 정보는 터치 압력을 포함하는
    햅틱 디스플레이 구동방법.
  15. 제 13 항에 있어서,
    상기 촉감 피드백 신호 생성시, 상기 매칭된 정보에 따라 상기 촉감 피드백 신호를 구성하는 파형과 진폭과 주파수 중 적어도 하나를 조절하는
    햅틱 디스플레이 구동방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020130145272A 2013-11-27 2013-11-27 햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이 KR102312649B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130145272A KR102312649B1 (ko) 2013-11-27 2013-11-27 햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130145272A KR102312649B1 (ko) 2013-11-27 2013-11-27 햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이

Publications (2)

Publication Number Publication Date
KR20150061681A KR20150061681A (ko) 2015-06-05
KR102312649B1 true KR102312649B1 (ko) 2021-10-14

Family

ID=53499656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130145272A KR102312649B1 (ko) 2013-11-27 2013-11-27 햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이

Country Status (1)

Country Link
KR (1) KR102312649B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090074885A (ko) * 2008-01-03 2009-07-08 에스케이 텔레콤주식회사 촉감 출력 시스템 및 방법
KR20100051386A (ko) * 2008-11-07 2010-05-17 한국전자통신연구원 촉각 피드백 제공 장치 및 방법
US10564721B2 (en) * 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures

Also Published As

Publication number Publication date
KR20150061681A (ko) 2015-06-05

Similar Documents

Publication Publication Date Title
US10768747B2 (en) Haptic realignment cues for touch-input displays
US11029843B2 (en) Touch sensitive keyboard
KR102241618B1 (ko) 터치 입력의 압력 상태에 따라 동작하는 전자 장치 및 그 방법
CN105353877B (zh) 用于摩擦显示和附加触觉效果的系统和方法
CN105339872B (zh) 电子设备和识别电子设备中的输入的方法
US10120446B2 (en) Haptic input device
KR101885740B1 (ko) 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
Seo et al. Direct hand touchable interactions in augmented reality environments for natural and intuitive user experiences
KR101946986B1 (ko) 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
CN109582180A (zh) 用于分类触敏表面上的触摸事件的方法和设备
TW201447741A (zh) 對於手勢的回饋
JP2013037675A5 (ko)
WO2012154001A3 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
CN109643164A (zh) 信号处理装置、信号处理方法、程序以及电子器件
US9075438B2 (en) Systems and related methods involving stylus tactile feel
CN104898880A (zh) 一种控制方法及电子设备
US20150253918A1 (en) 3D Multi-Touch
JP2009009412A (ja) 情報提示装置及び情報提示方法
KR102312649B1 (ko) 햅틱 렌더링 회로 및 이를 사용한 햅틱 디스플레이
KR20160050972A (ko) 이미지 작업 히스토리 표시를 위한 장치, 방법 및 컴퓨터 프로그램
US10175825B2 (en) Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image
WO2015042444A1 (en) Method for controlling a control region of a computerized device from a touchpad
JP6399216B2 (ja) 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
WO2022222125A1 (zh) 一种解锁控制方法、装置、电子设备和计算机可读存储介质
JP4513620B2 (ja) 情報処理装置、情報処理装置におけるデータ呈示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant