KR101113731B1 - 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법 - Google Patents

디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법 Download PDF

Info

Publication number
KR101113731B1
KR101113731B1 KR1020110053602A KR20110053602A KR101113731B1 KR 101113731 B1 KR101113731 B1 KR 101113731B1 KR 1020110053602 A KR1020110053602 A KR 1020110053602A KR 20110053602 A KR20110053602 A KR 20110053602A KR 101113731 B1 KR101113731 B1 KR 101113731B1
Authority
KR
South Korea
Prior art keywords
display
haptic
specific area
analyzing
change
Prior art date
Application number
KR1020110053602A
Other languages
English (en)
Inventor
배한얼
안호필
한준섭
Original Assignee
(주)이미지스테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이미지스테크놀로지 filed Critical (주)이미지스테크놀로지
Priority to KR1020110053602A priority Critical patent/KR101113731B1/ko
Application granted granted Critical
Publication of KR101113731B1 publication Critical patent/KR101113731B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법에 관한 것으로서, 보다 구체적으로는 (1) UI(User Interface) Action에 대한 햅틱 반응을 정의하는 단계; (2) 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하는 단계; (3) 상기 분석된 변화분으로부터 UI Action을 판단하는 단계; 및 (4) 상기 판단된 UI Action에 대하여 정의된 햅틱 반응을 표현하는 단계를 포함하는 것을 구성상의 특징으로 한다.
또한, 본 발명은 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법에 관한 것으로서, 보다 구체적으로는 (1) 이미지의 표면감 또는 움직임에 대한 햅틱 반응을 정의하는 단계; (2) 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 성분을 분석하는 단계; (3) 상기 분석된 픽셀 성분에 의해 이미지의 표면감 또는 움직임을 판단하는 단계; 및 (4) 상기 판단된 이미지의 표면감 또는 움직임에 대하여 정의된 햅틱 반응을 표현하는 단계를 포함하는 것을 또 다른 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법에 따르면, 디스플레이 상의 미리 정의된 특정 영역, 또는 터치 포인터를 기준으로 정의된 처리할 영역의 위치 및 영역 크기에 대하여, 플랫폼별로 차등 정의하도록 함으로써, 플랫폼에 의존적이지 않을 수 있다.
또한, 본 발명에 따르면, 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하거나, 터치 포인터를 기준으로 정의된 처리할 영역 내의 픽셀들의 성분을 분석하고, 그에 대응하는 햅틱 반응을 표현하도록 함으로써, 햅틱 반응을 프레임 버퍼의 미리 정의된 일정 위치 및 크기 또는 터치된 일부 영역에 대한 데이터만으로 처리할 수 있고, 리얼리티 하면서도 빠르게 처리할 수 있다.

Description

디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법{METHOD FOR PRODUCING HAPTIC EFFECT BY ANALYSIS ABOUT DISPLAY'S PARTICULAR AREA}
본 발명은 햅틱 시스템 처리 방법에 관한 것으로서, 보다 구체적으로는 사용자 컨트롤에 의한 디스플레이 데이터 분석을 통해 자동으로 햅틱 이펙트를 생성하는 시스템 처리 방법에 관한 것이다.
햅틱스(Haptics)란, 컴퓨터의 기능 가운데 사용자의 입력 장치인 키보드와 마우스, 조이스틱, 터치스크린 등을 통해 촉각과 힘, 운동감 등을 느끼게 하는 기술을 말한다. 그리스어로 ‘만지는’이라는 뜻의 형용사 ‘haptesthai’에서 온 말로서, 컴퓨터 촉각기술이라고도 한다.
기존의 컴퓨터 기술은 인간과 컴퓨터가 정보를 주고받는 데 시청각 정보가 주로 이용되었다. 그러나 사용자는 가상현실을 통해 더욱 구체적이고 실감나는 정보를 원하게 되고, 이를 충족시키기 위해 개발된 것이 촉각과 힘까지 전달하는 햅틱 기술이다. 햅틱 기술은 컴퓨터의 터치스크린 등에도 이용되는 기술이며, 이밖에 햅틱 장치와 햅틱 렌더링은 의료 시뮬레이터와 항공기 및 전투기 시뮬레이터, 차량 시뮬레이터, 게임 시뮬레이터를 비롯한 여러 분야에 폭넓게 응용될 수 있다. 앞으로는 현재 컴퓨터의 출력 장치로 쓰이는 모니터, 스피커와 더불어 햅틱 장치도 기본으로 장착되어 갈 전망이다. 또한 여가 산업과 연계하면 그 경제적 잠재력이 매우 크기 때문에 햅틱 기술에 대한 연구가 매우 활발해질 것으로 보인다.
한편, 최근 각종 디스플레이 장치에 사용되는 터치스크린은, 사용자 인터페이스 액션에 의하여 화면이 변화되도록 구현할 수 있는데, 이는 화면의 변화뿐만 아니라, 햅틱 반응의 표현을 수반하도록 하기도 한다. 햅틱 반응의 표현 방식에 있어서, 종래에는 시스템 이벤트(System Event)를 소스(source)로 하여 처리하는 방식을 이용하거나, 프레임 버퍼 전체 데이터를 분석하였는데, 이는 플랫폼(Platform)에 의존적인 문제가 있고, 많은 이미지 데이터의 처리로 인해 발생하는 CPU 부하를 동반하는 문제점들이 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 디스플레이 상의 미리 정의된 특정 영역, 또는 터치 포인터를 기준으로 정의된 처리할 영역의 위치 및 영역 크기에 대하여, 플랫폼별로 차등 정의하도록 함으로써, 플랫폼에 의존적이지 않고, CPU 부하를 최소화하여 자동으로 햅틱 이펙트를 생성하는 시스템 처리 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하거나, 터치 포인터를 기준으로 정의된 처리할 영역 내의 픽셀들의 성분을 분석하고, 그에 대응하는 햅틱 반응을 표현하도록 함으로써, 햅틱 반응을 프레임 버퍼를 미리 정의함으로써 한정된 특정 위치 및 크기 또는 터치된 일부 영역에 대한 데이터만으로 처리할 수 있고, 리얼리티 하면서도 빠르게 처리할 수 있는, 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법을 제공하는 것을 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은,
(1) UI(User Interface) Action에 대한 햅틱 반응을 정의하는 단계;
(2) 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하는 단계;
(3) 상기 분석된 변화분으로부터 UI Action을 판단하는 단계; 및
(4) 상기 판단된 UI Action에 대하여 정의된 햅틱 반응을 표현하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1)에 앞서,
(0-1) 디스플레이 상의 특정 영역의 위치 및 크기를 플랫폼별로 해상도에 따라 차등 정의하는 단계를 더 포함할 수 있다.
더욱 바람직하게는,
(0-2) 상기 단계 (0-1)에 따라 가변하는 파라미터들에 대해 정의하는 단계를 더 포함하며,
상기 정의된 파라미터들은, 상기 단계 (2) 및 단계 (3)에서 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하고, UI Action을 판단하는 데에 이용할 수 있다.
바람직하게는, 상기 UI Action은,
줌인/아웃, 상하 좌우 스크롤, 드래그 중 적어도 하나 이상을 포함하는 것을 특징으로 하는, 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은,
(1) 이미지의 표면감 또는 움직임에 대한 햅틱 반응을 정의하는 단계;
(2) 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 성분을 분석하는 단계;
(3) 상기 분석된 픽셀 성분에 의해 이미지의 표면감 또는 움직임을 판단하는 단계; 및
(4) 상기 판단된 이미지의 표면감 또는 움직임에 대하여 정의된 햅틱 반응을 표현하는 단계를 포함하는 것을 또 다른 특징으로 한다.
바람직하게는, 상기 단계 (1)에 앞서,
(0-1) 디스플레이 상의 터치 포인터를 기준으로 처리할 영역의 위치 및 크기를 플랫폼별로 차등 정의하는 단계를 더 포함할 수 있다.
더욱 바람직하게는,
(0-2) 상기 단계 (0-1)에 따라 가변하는 파라미터들에 대해 정의하는 단계를 더 포함하며,
상기 정의된 파라미터들은, 상기 단계 (2) 및 단계 (3)에서 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 성분을 분석하고, 이미지의 표면감 또는 움직임을 판단하는 데에 이용할 수 있다.
바람직하게는,
상기 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 개수는 화면이 크기, 해상도에 따라 결정될 수 있다.
바람직하게는, 상기 햅틱 반응은,
표면감 및 움직임 중 적어도 하나 이상일 수 있다.
본 발명에서 제안하고 있는 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법에 따르면, 디스플레이 상의 미리 정의된 특정 영역, 또는 터치 포인터를 기준으로 정의된 처리할 영역의 위치 및 영역 크기에 대하여, 플랫폼별로 차등 정의하도록 함으로써, 플랫폼에 의존적이지 않을 수 있다.
또한, 본 발명에 따르면, 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하거나, 터치 포인터를 기준으로 정의된 처리할 영역 내의 픽셀들의 성분을 분석하고, 그에 대응하는 햅틱 반응을 표현하도록 함으로써, 햅틱 반응을 프레임 버퍼의 미리 정의된 일정 위치 및 크기 또는 터치된 일부 영역에 대한 데이터만으로 처리할 수 있고, 리얼리티 하면서도 빠르게 처리할 수 있다.
도 1은 본 발명의 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법이 적용될 수 있는 스마트폰을 도시한 도면.
도 2는 햅택 시스템 처리 방법이 적용될 수 있는 스마트폰에서 상하 스크롤링을 하거나, 줌인을 하는 UI Action의 예시를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법의 흐름을 도시한 도면.
도 4는 본 발명의 다른 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법의 흐름을 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법이 적용될 수 있는 스마트폰을 도시한 도면이다. 최근에는 종래의 휴대 전화기가 스마트폰의 형태로 널리 보급되고 있는 추세인데, 스마트폰은 디스플레이 상에 터치 또는 버튼을 통하여 상하 좌우 스크롤링 등의 UI(User Interface) Action을 통하여 Control이 가능하다.
도 2는 햅택 시스템 처리 방법이 적용될 수 있는 스마트폰에서 상하 스크롤링을 하거나, 줌인을 하는 UI Action의 예시를 도시한 도면이다. 도 2에 도시한 바와 같이, 터치스크린 상에 접촉된 손가락을 상하로 스크롤링 함으로써 화면이 위아래로 옮겨질 수 있다. 또한, 터치스크린 상에 접촉된 두 개의 손가락 간의 넓이를 넓힘으로써, 화면을 줌인할 수 있다. UI Action은 이외에도 화면을 드래그하거나 두드리는 등 다양한 형태가 있을 수 있다.
본 발명의 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은, 이와 같은 UI Action에 대한 햅틱 반응을 구현하는 것으로서, 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석함으로써 햅택 반응을 표현하는 방법에 관한 것이다. 따라서 스마트폰에 적용하는 것은 일실시예일 뿐으로, 그 외에도 햅틱 기능이 적용될 수 있고 디스플레이가 구비되어 있는 기기라면 모두 적용이 가능하다. 이하에서는 본 발명이 제안하는 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법의 흐름에 대하여 상세하게 살펴보기로 한다.
도 3은 본 발명의 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은, UI(User Interface) Action에 대한 햅틱 반응을 정의하는 단계(S300a), 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하는 단계(S400a), 분석된 변화분으로부터 UI Action을 판단하는 단계(S500a),및 판단된 UI Action에 대하여 정의된 햅틱 반응을 표현하는 단계(S600a)를 포함할 수 있다. 실시예에 따라서는, 단계 S300a에 앞서, 디스플레이 상의 특정 영역의 위치 및 크기를 플랫폼(Platform)별로 해상도에 따라 차등 정의하는 단계(S100a) 및 단계 S100a에 따라 가변하는 파라미터들에 대해 정의하는 단계(S200a) 중 적어도 하나 이상을 더 포함할 수 있다.
단계 S100a에서는, 디스플레이 상의 특정 영역의 위치 및 크기를 햅틱 기능이 구현되는 터치스크린의 디스플레이를 구비하는 햅틱 시스템들의 플랫폼별로 해상도에 따라 나누어 정의할 수 있다. 본 발명의 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은, 분석할 특정 영역의 위치 및 영역 크기 등을 햅틱 시스템들의 플랫폼별로 차등 정의할 수 있도록 함으로써, 기존의 System Event를 소스로 하여 처리하는 방식에 비해 플랫폼에 의존적이지 않게 구현할 수 있다.
단계 S200a에서는, 단계 S100a에 따라 햅틱 시스템들의 플랫폼별로 차등 정의를 통해 가변하는 디스플레이 상의 특정 영역의 위치 및 크기인 파라미터들에 대해 정의할 수 있다. 즉, 디스플레이 상의 특정 영역의 위치 및 크기인 가변하는 파라미터에 대하여 미리 정의하여 둠으로써, 정의된 파라미터들을 단계 S400a 및 단계 S500a에서 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하고, UI Action을 판단하는 데에 이용할 수 있다.
단계 S300a에서는, UI(User Interface) Action에 대한 햅틱 반응을 정의할 수 있다. UI Action은, 줌인/아웃, 상하 좌우 스크롤, 드래그 등을 포함할 수 있고, 햅틱 반응은, 매끄러움, 거친 느낌, 온도 등의 표면감 및 진동과 같은 움직임 중 적어도 하나 이상일 수 있다. UI Action에 대응하는 햅틱 반응을 정의하여 특정 UI Action으로 판단되면 그에 대응되는 햅틱 반응을 표현할 수 있도록 구현할 수 있다.
단계 S400a에서는, 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석할 수 있다. 실시예에 따라서는, 디스플레이 상의 미리 정의된 특정 영역의 변화분이란, 단계 S100a에서 정의된 특정 영역의 변화분이 될 수 있다. 본 단계는, 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하여 UI Action 판단에 이용할 수 있도록 하는 단계로서, 분석에는 다양한 알고리즘이 이용될 수 있다.
단계 S500a에서는, 단계 S400a에서 분석된 변화분으로부터 UI Action을 판단할 수 있다. 본 단계는, 단계 S400a에서 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석한 결과를 이용하여, 그에 대응되는 UI Action을 판단하는 단계로서, 그 결과를 단계 S600a에서 이용하도록 구현할 수 있다. UI Action에 따라 디스플레이 상의 특정 영역의 변화분이 달라질 것이므로, 이를 이용하여 분석된 변화분에 대응되는 UI Action을 도출할 수 있다.
단계 S600a에서는, 단계 S500a에서 판단된 UI Action에 대하여 정의된 햅틱 반응을 표현할 수 있다. 단계 S300a에서는 각각의 UI Action에 대응되는 햅틱 반응을 정의하였는바, 단계 S500a를 통해 판단된 UI Action과 대응되는 햅틱 반응을 표현하도록 구현할 수 있다.
본 발명의 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은, 이와 같이 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하도록 함으로써, Zoom-In/Out, 상하 좌우 Scrolling, Dragging 등의 UI control에 대한 햅틱 반응을 실감나면서도 빠르게 처리할 수 있다. 또한, 플랫폼에 의존적이지 않으며, 프레임 버퍼(LCD 화면에 표시될 데이터 저장소)에 있는 디스플레이 데이터만으로 처리가 가능할 수 있다.
도 4는 본 발명의 다른 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법의 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 다른 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은, 이미지의 표면감 또는 움직임에 대한 햅틱 반응을 정의하는 단계(S300b), 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 성분을 분석하는 단계(S400b), 분석된 픽셀 성분에 의해 이미지의 표면감 또는 움직임을 판단하는 단계(S500b), 및 판단된 이미지의 표면감 또는 움직임에 대하여 정의된 햅틱 반응을 표현하는 단계(S600b)를 포함할 수 있다. 실시예에 따라서는, 디스플레이 상의 터치 포인터를 기준으로 처리할 영역의 위치 및 크기를 플랫폼별로 차등 정의하는 단계(S100b),및 단계 S100b에 따라 가변하는 파라미터들에 대해 정의하는 단계(S200b) 중 적어도 하나 이상을 더 포함할 수 있다.
이와 같은 본 발명의 다른 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은, 터치 포인터를 기준으로 처리할 영역이 결정되므로, 디스플레이 창이 터치스크린이어야 한다. 따라서 본 발명의 다른 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은, 햅틱 기능이 적용될 수 있고 터치스크린이 구비되어 있는 기기에 적용될 수 있다. 이하에서는 본 발명이 제안하는 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법의 각 단계에 대하여 상세하게 살펴보기로 한다.
단계 S100b에서는, 디스플레이 상의 터치 포인터를 기준으로 처리할 영역의 위치 및 크기를 햅틱 기능이 구현되는 터치스크린의 디스플레이를 구비하는 햅틱 시스템들의 플랫폼별로 나누어 정의할 수 있다. 도 3과 관련하여 설명한 본 발명의 일실시예는 특정 영역의 변화분을 분석하는 것인 반면, 도 4에 도시된 본 발명의 다른 일실시예는 터치에 의해 발생하는 디스플레이 상의 터치 포인트 주변 픽셀 성분을 분석하는 것이다. 따라서 터치 포인터를 기준으로 처리할 영역의 위치 및 크기를 정의하되, 플랫폼에 의존적이지 않도록 하기 위해 햅틱 시스템들의 플랫폼별로 차등하여 정의할 수 있다.
단계 S200b에서는, 단계 S100b에 따라 햅틱 시스템들의 플랫폼별로 차등 정의를 통해 가변하는 디스플레이 상의 특정 영역의 위치 및 크기인 파라미터들에 대해 정의하도록 할 수 있다. 정의된 파라미터들은, 단계 S400b 및 단계 S500b에서 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 성분을 분석하고, 이미지의 표면감 또는 움직임을 판단하는 데에 이용할 수 있다.
단계 S300b에서는, 이미지의 표면감 또는 움직임에 대한 햅틱 반응을 정의할 수 있다. 이미지의 표면감 또는 움직임은, 디스플레이 상에서 이미지로 표현될 수 있는 다양한 느낌과 변화를 말한다. 햅틱 반응은, 매끄러움, 거친 느낌, 온도 등의 표면감 및 진동과 같은 움직임 중 적어도 하나 이상일 수 있다. 이미지의 표면감 또는 움직임에 대응하는 햅틱 반응을 정의하여, 특정 이미지 표면감 또는 움직임으로 판단되면 그에 대응되는 햅틱 반응을 표현할 수 있도록 구현할 수 있다.
단계 S400b에서는, 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 성분을 분석할 수 있다. 실시예에 따라서는, 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 성분이란, 단계 S100b에서 정의된 특정 영역의 변화분이 될 수 있다. 픽셀들의 성분을 분석하여 이미지의 표면감 또는 움직임을 판단하는데 이용할 수 있는데, 분석에는 다양한 알고리즘이 이용될 수 있다. 디스플레이 상의 미리 정의된 영역 내의 픽셀의 개수는 화면이 크기, 해상도에 따라 결정될 수 있다.
단계 S500b에서는, 단계 S400b에서 분석된 픽셀 성분에 의해 이미지의 표면감 또는 움직임을 판단할 수 있다. 본 단계는, 단계 S400b에서 터치 포인터 주변의 처리할 영역 내의 픽셀들의 성분을 분석한 결과를 이용하여 그에 대응되는 이미지의 표면감 또는 움직임을 판단하는 단계로서, 그 결과를 단계 S600b에서 이용하도록 구현할 수 있다. 각각의 이미지의 표면감 또는 움직임에 따라, 픽셀들의 성분이 달라질 것이므로, 이를 이용하여 대응되는 표면감 또는 움직임을 판단할 수 있다.
단계 S600b에서는, 단계 S500b에서 판단된 이미지의 표면감 또는 움직임에 대하여 정의된 햅틱 반응을 표현할 수 있다. 단계 S300b에서는 각각의 이미지 표면감 또는 움직임과 대응되는 햅틱 반응을 정의하였는바, 단계 S500b를 통해 판단된 이미지 표면감 또는 움직임에 대응되는 햅틱 반응을 표현할 수 있다. 즉, 본 발명이 제안하는 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은, 터치된 주변 영역의 영상의 표면감 또는 영상 이동 등의 움직임을 감지하여 햅틱 반응을 표현하도록 구현할 수 있다.
본 발명의 다른 일실시예에 따른 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법은, 앞서 설명한 바와 같이, 디스플레이 상에 발생한 터치 포인트를 기준으로 주위 픽셀들의 성분을 분석함으로써, 표면감 또는 움직임에 대한 햅틱 반응을 리얼리티 하면서도 빠르게 처리할 수 있으며, 프레임 버퍼에 있는 디스플레이 데이터만으로 처리가 가능할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
S100a: 디스플레이 상의 특정 영역의 위치 및 크기를 플랫폼별로 차등 정의하는 단계
S100b: 디스플레이 상의 터치 포인터를 기준으로 처리할 영역의 위치 및 크기를 플랫폼별로 차등 정의하는 단계
S200a: 가변하는 파라미터들에 대해 정의하는 단계
S200b: 가변하는 파라미터들에 대해 정의하는 단계
S300a: UI(User Interface) Action에 대한 햅틱 반응을 정의하는 단계
S300b: 이미지의 표면감 또는 움직임에 대한 햅틱 반응을 정의하는 단계
S400a: 상기 단계 S100a에서 정의된 특정 영역의 변화분을 분석하는 단계
S400b: 상기 단계 S100b에서 정의된 영역 내의 픽셀들의 성분을 분석하는 단계
S500a: 상기 분석된 변화분으로부터 UI Action을 판단하는 단계
S500b: 상기 분석된 픽셀 성분에 의해 이미지의 표면감 또는 움직임을 판단하는 단계
S600a: 상기 판단된 UI Action에 대하여 정의된 햅틱 반응을 표현하는 단계
S600b: 상기 판단된 이미지의 표면감 또는 움직임에 대하여 정의된 햅틱 반응을 표현하는 단계

Claims (9)

  1. 햅틱 시스템의 처리 방법으로서,
    (1) UI(User Interface) Action에 대한 햅틱 반응을 정의하는 단계;
    (2) 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하는 단계;
    (3) 상기 분석된 변화분으로부터 UI Action을 판단하는 단계; 및
    (4) 상기 판단된 UI Action에 대하여 정의된 햅틱 반응을 표현하는 단계를 포함하되,
    상기 단계 (1)에 앞서,
    (0-1) 디스플레이 상의 특정 영역의 위치 및 크기를 햅틱 기능이 구현되는 터치스크린의 디스플레이를 구비하는 햅틱 시스템들의 플랫폼별로 해상도에 따라 차등 정의하는 단계;
    (0-2) 상기 단계 (0-1)에 따라 햅틱 시스템들의 플랫폼별로 차등 정의를 통해 가변하는 디스플레이 상의 특정 영역의 위치 및 크기인 파라미터들에 대해 정의하는 단계 중 적어도 하나 이상을 더 포함하고,
    상기 정의된 파라미터들은, 상기 단계 (2) 및 단계 (3)에서 디스플레이 상의 미리 정의된 특정 영역의 변화분을 분석하고, UI Action을 판단하는 데에 이용하며,
    상기 UI Action은, 줌인/아웃, 상하 좌우 스크롤, 드래그 중 적어도 하나 이상을 포함하는 것을 특징으로 하는, 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 햅틱 시스템의 처리 방법으로서,
    (1) 이미지의 표면감 또는 움직임에 대한 햅틱 반응을 정의하는 단계;
    (2) 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 성분을 분석하는 단계;
    (3) 상기 분석된 픽셀 성분에 의해 이미지의 표면감 또는 움직임을 판단하는 단계; 및
    (4) 상기 판단된 이미지의 표면감 또는 움직임에 대하여 정의된 햅틱 반응을 표현하는 단계를 포함하되,
    상기 단계 (1)에 앞서,
    (0-1) 디스플레이 상의 터치 포인터를 기준으로 처리할 영역의 위치 및 크기를 햅틱 기능이 구현되는 터치스크린의 디스플레이를 구비하는 햅틱 시스템들의 플랫폼별로 차등 정의하는 단계;
    (0-2) 상기 단계 (0-1)에 따라 햅틱 시스템들의 플랫폼별로 차등 정의를 통해 가변하는 디스플레이 상의 특정 영역의 위치 및 크기인 파라미터들에 대해 정의하는 단계 중 적어도 하나 이상을 더 포함하고,
    상기 정의된 파라미터들은, 상기 단계 (2) 및 단계 (3)에서 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 성분을 분석하고, 이미지의 표면감 또는 움직임을 판단하는 데에 이용하는 것을 특징으로 하는, 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법.
  6. 삭제
  7. 삭제
  8. 제5항에 있어서,
    상기 디스플레이 상의 미리 정의된 영역 내의 픽셀들의 개수는 화면이 크기, 해상도에 따라 결정되는 것을 특징으로 하는, 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법.
  9. 제1항 또는 제5항에 있어서,
    상기 햅틱 반응은, 표면감 및 움직임 중 적어도 하나 이상인 것을 특징으로 하는, 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법.
KR1020110053602A 2011-06-03 2011-06-03 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법 KR101113731B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110053602A KR101113731B1 (ko) 2011-06-03 2011-06-03 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110053602A KR101113731B1 (ko) 2011-06-03 2011-06-03 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법

Publications (1)

Publication Number Publication Date
KR101113731B1 true KR101113731B1 (ko) 2012-02-27

Family

ID=45840320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110053602A KR101113731B1 (ko) 2011-06-03 2011-06-03 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법

Country Status (1)

Country Link
KR (1) KR101113731B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290572A (ja) 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
KR20100000742A (ko) * 2008-06-25 2010-01-06 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290572A (ja) 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
KR20100000742A (ko) * 2008-06-25 2010-01-06 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법

Similar Documents

Publication Publication Date Title
EP3180687B1 (en) Hover-based interaction with rendered content
JP6659644B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
EP2907020B1 (en) Multi-modal user expressions and user intensity as interactions with an application
CN109643212B (zh) 3d文档编辑系统
RU2429521C2 (ru) Индикатор для помощи пользователю в предсказании изменения скорости прокрутки
KR100971853B1 (ko) 비선형 포인터 이동을 이용하여 오브젝트들을 정렬하기위한 시스템 및 방법
US9685143B2 (en) Display control device, display control method, and computer-readable storage medium for changing a representation of content displayed on a display screen
WO2012145366A1 (en) Improving usability of cross-device user interfaces
TW201113804A (en) Using motion detection to process pan and zoom functions on mobile computing devices
JP5449403B2 (ja) 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法
JP2010026327A (ja) 表示装置の制御装置、制御方法、及びコンピュータプログラム
US20140191958A1 (en) Cursor control method for a touch screen
JP2016528612A (ja) 定義されたクロス制御挙動による制御応答レイテンシの短縮
US9823890B1 (en) Modifiable bezel for media device
US8769400B1 (en) Accelerating view transitions
Åkesson et al. Using 3D direct manipulation for real-time structural design exploration
EP2725469A2 (en) Information-processing device, program, information-processing method, and information-processing system
TW201504885A (zh) 電子裝置及人機交互方法
KR101113731B1 (ko) 디스플레이 특정 영역의 변화를 분석하여 햅틱 이펙트를 생성하는 방법
US11782548B1 (en) Speed adapted touch detection
US10838570B2 (en) Multi-touch GUI featuring directional compression and expansion of graphical content
Wang et al. The design and empirical evaluations of 3D positioning techniques for pressure-based touch control on mobile devices
WO2023210352A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101961338B1 (ko) 애플리케이션의 인터랙티비티를 디자인하는 방법 및 장치
CN113608659A (zh) 一种多窗口调整方法、可读存储介质和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150206

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170126

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190214

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 9