WO2017065403A1 - 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법 - Google Patents

질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법 Download PDF

Info

Publication number
WO2017065403A1
WO2017065403A1 PCT/KR2016/009284 KR2016009284W WO2017065403A1 WO 2017065403 A1 WO2017065403 A1 WO 2017065403A1 KR 2016009284 W KR2016009284 W KR 2016009284W WO 2017065403 A1 WO2017065403 A1 WO 2017065403A1
Authority
WO
WIPO (PCT)
Prior art keywords
haptic
texture
image
space
applying
Prior art date
Application number
PCT/KR2016/009284
Other languages
English (en)
French (fr)
Inventor
전석희
안상철
임화섭
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to EP16855621.5A priority Critical patent/EP3364271A4/en
Priority to CN201680060251.6A priority patent/CN108139809A/zh
Priority to US15/768,476 priority patent/US20180308246A1/en
Publication of WO2017065403A1 publication Critical patent/WO2017065403A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Definitions

  • Embodiments relate to an apparatus and method for applying a haptic property to a virtual object, and more particularly, to an apparatus and method for applying a haptic property to a virtual object using a haptic model disposed on a texture cognitive space using multidimensional scaling. do.
  • haptic application uses a method of librarying a haptic model for each haptic property, finding and matching the most cognitively suitable haptic model in the library with the metadata of the library and the metadata of the three-dimensional model, and have.
  • the above method has a problem that it takes a long time and lacks consistency because it cognitively searches with metadata of metadata and 3D model.
  • Apparatus for applying a haptic property using a texture recognition space is an image acquisition unit for obtaining an image of a part of a virtual object in a virtual space, by using a feature point for the acquired image, a plurality of haptic models
  • a haptic property applicator is applied to a part of the haptic model, wherein the haptic model includes a texture image and a haptic property of a specific object, respectively.
  • the plurality of haptic models may further include a database that stores information on the texture cognitive space disposed at a predetermined position.
  • the plurality of haptic models are arranged in the texture cognitive space by a multi-dimensional scaling experiment method based on the texture image and the haptic property. Can be.
  • the cognitive space position determiner generates a feature point axis using a feature point for a texture image of a haptic model in the texture cognitive space,
  • the coordinate on the feature point axis corresponding to the feature point may be determined, and the determined coordinate may be determined as the position of the image.
  • the cognitive space position determiner may generate a plurality of feature point axes associated with each of the plurality of feature points for the texture image of the haptic model.
  • the cognitive space position determiner may determine the direction of the axis in a direction in which dispersion of feature points of each haptic model increases.
  • the haptic property may include hardness information, friction force information, or roughness information.
  • the image acquirer may normalize the acquired part of the image.
  • a method of applying a haptic property using a texture cognitive space may include obtaining an image of a portion of a virtual object in a virtual space, and using a feature point of the acquired image, a plurality of haptic models may be selected. Determining the location of the image in the texture perception space disposed at a location, determining a haptic model closest to the location of the determined image, and applying a haptic property of the determined haptic model to a portion of the virtual object.
  • the plurality of haptic models may include a texture image and a haptic property for a specific object, respectively.
  • the plurality of haptic models are arranged in the texture cognitive space by a multi-dimensional scaling experiment based on the texture image and the haptic property. Can be.
  • the step of determining the position of the image generating a feature point axis using the feature points for the texture image of the haptic model in the texture cognitive space; Determining coordinates on the feature point axis corresponding to the feature point of the acquired image; And determining the determined coordinates as the location of the image.
  • the generating of the feature point axis may generate a plurality of feature point axes associated with each of the plurality of feature points for the texture image of the haptic model.
  • the generating of the feature point axis may include determining the direction of the axis in a direction in which the distribution of the feature points of each haptic model increases.
  • the haptic property may include hardness information, friction force information, or roughness information.
  • the method may further include normalizing the obtained part of the image.
  • the recording medium may store a program including a command for executing a method of applying a haptic attribute using the texture recognition space.
  • FIG. 1 is a block diagram of an apparatus 10 for applying a haptic attribute using a texture cognitive space according to an embodiment of the present invention.
  • FIG. 2 is a diagram for describing image acquisition from a virtual object.
  • 3A is a tree structure diagram for explaining a haptic model.
  • 3B is a diagram for explaining a texture cognitive space.
  • 3C shows that more various real objects and the haptic model of each object are disposed in the texture perception space as a point.
  • FIG. 4 is a view for explaining a feature axis in the texture recognition space 100 and the position in the texture recognition space for the acquired image according to an embodiment of the present invention.
  • FIG. 5 shows the positions 2 'in the texture recognition space 100 of the first to third feature point axes and the acquired image.
  • FIG. 6 is a flowchart illustrating a method of applying a haptic property using a texture cognitive space according to an embodiment of the present invention.
  • Embodiments described herein may have aspects that are wholly hardware, partly hardware and partly software, or wholly software.
  • unit “module”, “device” or “system” and the like refer to hardware, a combination of hardware and software, or a computer related entity such as software.
  • parts, modules, devices, or systems herein refer to running processes, processors, objects, executables, threads of execution, programs, and / or computers. computer, but is not limited thereto.
  • both an application running on a computer and a computer may correspond to a part, module, device, system, or the like herein.
  • Embodiments have been described with reference to the flowchart presented in the drawings. Although the method is shown and described in a series of blocks for the sake of simplicity, the invention is not limited to the order of the blocks, and some blocks may occur in different order or simultaneously with other blocks than those shown and described herein. Various other branches, flow paths, and blocks may be implemented in order to achieve the same or similar results. In addition, not all illustrated blocks may be required for the implementation of the methods described herein. Furthermore, the method according to an embodiment of the present invention may be implemented in the form of a computer program for performing a series of processes, which may be recorded on a computer-readable recording medium.
  • an apparatus 10 for applying a haptic attribute using a texture cognitive space includes an image acquirer 11, a cognitive space position determiner 12, a haptic model determiner 13, and a haptic attribute applyer 14. It may include. In another embodiment, the haptic attribute application apparatus 10 using the texture cognitive space may further include a database 15.
  • FIG. 2 is a diagram for describing image acquisition from a virtual object.
  • an image 2 of a portion of the virtual object 1 is obtained.
  • Image acquisition as described above may be implemented from a user command using a user interface device.
  • the surface image of the body part 2 of the tumbler 1, which is a virtual object, is obtained.
  • acquisition of a portion of the image may be performed on the portion having the same image information as the one point selected by the user. For example, in FIG. 2, when the user selects an arbitrary portion of the tumbler body, the entire body portion of the virtual object 1 may be selected. Accordingly, the same haptic information may be applied to the part having the same image information.
  • the image acquisition unit 10 may normalize the acquired part to facilitate subsequent image processing.
  • the cognitive space position determiner 12 may determine the position of the image in the texture cognitive space in which a plurality of haptic models are disposed at a predetermined position by using feature points of the acquired image 2.
  • each haptic model may include image information 1110 and a haptic property 1120 for a specific object (eg, 1100).
  • the image information 1110 may include a texture image 1111 of a corresponding object and feature points (or feature values) 1112, 1113,..., For the texture image.
  • Other objects may be structured in the same structure as that of the object 1100.
  • the haptic model may be a unit of information including a texture image and a haptic property.
  • the haptic property may include hardness information 1121, friction force information 1122, or roughness information 1123.
  • Image information and haptic properties of the specific object may be obtained through a sensor.
  • the sensor may include a camera, an acceleration sensor, a force sensor, or a slip sensor.
  • the user may acquire images and haptic properties of the actual specific object by using the sensor.
  • the specific object may be any object that exists in the real world.
  • a specific object may include all objects existing in the real space, such as an exterior surface of an automobile, an interior surface, a human skin, glass, a desk, plastic, leather, and the like.
  • the cognitive space position determiner 12 may extract a feature point for the acquired image 2, and determine the position of the acquired image in the texture cognitive space using the extracted feature point.
  • 3B is a diagram for explaining a texture cognitive space.
  • the texture recognition space 100 in which the haptic models 111, 121, 131..., Corresponding to the specific objects 1100, 1200, 1300.
  • the texture cognitive space 100 is expressed as being three-dimensional, but may be two-dimensional or another N-dimensional.
  • the haptic model for the surface of the specific object may be disposed on the texture recognition space 100.
  • the position where the haptic models are arranged may be determined by a position determined by a multi dimensional scaling method widely used in psychophysics.
  • the plurality of haptic models 111-131 may be applied to a multi-dimensional scaling experiment method based on a texture image and a haptic property of a specific object.
  • the position of each haptic model on the multi-dimensional may be determined based on the reaction information of the experimenters (eg, the intensity of the rough, smooth, soft, hard, etc.) touching the surface of the specific object.
  • 3C shows that more various real objects and the haptic model of each object are disposed in the texture perception space as a point. Referring to FIG. 3C, the correspondence relationship between the haptic models corresponding to each real object is indicated by a dotted line.
  • the cognitive space position determiner 12 may generate a feature point axis using the feature points of the texture image of the haptic model in the texture recognition space. Alternatively, a feature point axis for each feature point in the texture recognition space may be generated and exist.
  • the cognitive space position determiner 12 may determine coordinates on a feature point axis corresponding to a feature point of the acquired image 2, and determine the determined coordinates as the position of the image (a position in the texture cognitive space).
  • the cognitive space position determiner 12 may generate a plurality of feature point axes associated with each of the plurality of feature points of the texture image of the haptic model. That is, feature point axes for a plurality of feature points may be generated.
  • FIG. 4 is a view for explaining a feature axis in the texture recognition space 100 and the position in the texture recognition space for the acquired image according to an embodiment of the present invention.
  • the feature point axis generated based on the first to third feature points for the texture image of the haptic model is shown.
  • the cognitive space position determiner 12 generates the first feature point axis 201 based on the first feature point of the texture images of the haptic models 110-130 in the cognitive space 100, and generates the second feature point.
  • the second feature point axis 202 may be generated based on the third feature point axis 203, and the third feature point axis 203 may be generated based on the third feature point.
  • the cognitive space positioning unit 12 may generate a feature point axis for each feature point using the size of each feature point. have.
  • the first feature point axis is first.
  • the first haptic model 111 may be generated in the direction toward the second haptic model 121
  • the second feature point axis may be generated in the direction toward the first haptic model 111 in the second haptic model 121.
  • each feature point axis may not include the corresponding haptic model on the axis when considering the value of each feature point of the entire haptic model.
  • the positioning unit 12 generates the feature point axis in a direction in which the dispersion of the value of each feature point is increased.
  • the cognitive space position determiner 12 may align all objects according to the feature point values for each image feature point, and find a direction in which the variance is greatly distributed, and generate a feature point axis in that direction.
  • the image 2 obtained by 2) may be a position 2 'on the corresponding texture recognition space 100.
  • the first to third feature point axes may appear as shown in FIG. 5.
  • FIG. 5 shows the positions 2 'in the texture recognition space 100 of the first to third feature point axes and the acquired image.
  • the feature point axes 210-230 according to each feature point (eg, first to third feature points) of the haptic models 111-131 do not start at the same point without being perpendicular to each other as shown in FIG. 4. Nor do. That is, in some cases, each axis may be freely disposed on the space 100.
  • the positioning unit 12 determines one point 211 of the feature point axis corresponding to each feature point axis (eg, 210 of FIG. 5) corresponding to each feature point with respect to each feature point (eg, the first feature point) of the acquired image.
  • Each of the determined points may be determined as a position 2 ′ on the texture recognition space 100 with respect to the image 2 obtained by obtaining intersections of the planes 221 perpendicular to each axis.
  • FIG. 5 only a plane of one point 211 of the feature point axis 210 is illustrated, but in reality, the value of the feature point of the acquired image 2 corresponds to one point of each feature point axis 220 or 230. Plane) can be created.
  • the haptic model determiner 13 may determine the haptic model closest to the determined position of the image. Referring to FIG. 5, distances d1-d3 from the determined position 2 'of the image to the surrounding haptic models 111-131 may be calculated and the closest haptic model 121 may be determined.
  • the haptic property applying unit 14 may apply the haptic property of the determined haptic model 121 to a part 2 of the virtual object 1. For example, when the haptic property of the haptic model 121 is hardness 1, friction force 3, and roughness 10, the haptic property of the portion 2 of the virtual object 1 may be applied as hardness 1, friction force 3, and roughness 10. .
  • the haptic property applying apparatus 10 using the texture cognitive space further includes a database 15 that stores information on the texture cognitive space in which a plurality of haptic models are disposed at a predetermined position. You may.
  • FIG. 6 is a flowchart illustrating a method of applying a haptic property using a texture cognitive space according to an embodiment of the present invention.
  • a method of applying a haptic property using a texture cognitive space obtaining an image of a portion of a virtual object in a virtual space (S100), and using a feature point for the acquired image, a plurality of haptic models may be selected. Determining the position of the image in the texture recognition space disposed in the position (S200), Determining a haptic model closest to the position of the determined image (S300), The haptic properties of the determined haptic model portion of the virtual object It may include the step of applying to (S400).
  • the plurality of haptic models may include a texture image and haptic properties of a specific object, respectively.
  • the plurality of haptic models may be disposed in the texture recognition space by a multi-dimensional scaling experiment method based on the texture image and the haptic property.
  • the step of determining the position of the image (S200) is a step of generating a feature point axis using the feature points for the texture image of the haptic model in the texture recognition space and determine the coordinates on the feature point axis corresponding to the feature points of the acquired image And determining the determined coordinates as the location of the image.
  • generating the feature point axis may include generating a plurality of feature point axes associated with each of the plurality of feature points for the texture image of the haptic model.
  • the generating of the feature point axis may include determining the direction of the axis in a direction in which the variance of the feature points of each haptic model increases.
  • the haptic attribute may include hardness information, friction force information, or roughness information.
  • the method of applying the haptic attribute using the texture cognitive space may further include normalizing the obtained part of the image.
  • the computer-readable recording medium may include a command for executing the above-described haptic attribute application method using the texture recognition space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시예들은 가상 공간 내 가상객체의 일 부분의 이미지를 획득하는 이미지 획득부, 획득된 이미지에 대한 특징점을 이용하여, 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간 내 상기 이미지의 위치를 결정하는 인지공간 위치 결정부, 결정된 이미지의 위치와 가장 가까운 햅틱 모델을 결정하는 햅틱 모델 결정부, 결정된 햅틱 모델의 햅틱 속성을 상기 가상객체의 일 부분에 적용하는 햅틱 속성 적용부를 포함하되, 상기 햅틱 모델은 특정 물체에 대한 텍스쳐 이미지와 햅틱 속성을 각각 포함하는, 질감인지공간을 이용한 햅틱 속성 적용 장치 및 그 방법에 관련된다.

Description

질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법
실시예들은 가상객체에 대한 햅틱 속성 적용 장치 및 방법에 관련된 것으로서, 더욱 구체적으로 다차원스케일링을 이용하여 질감인지공간 상에 배치된 햅틱 모델을 이용하여 가상객체에 햅틱 속성을 적용하는 장치 및 방법에 관련된다.
종래 기술에 있어서, 햅틱적용은 각 햅틱 속성에 대하여 햅틱 모델을 라이브러리화 하고, 라이브러리의 메타 데이터와 3차원 모델의 메타 데이터를 가지고 인지적으로 가장 적합한 햅틱 모델을 라이브러리에서 찾아 정합하는 방식을 이용하고 있다.
그러나 위와 같은 방식은 메타 데이터와 3차원 모델의 메타 데이터를 가지고 인지적으로 찾기 때문에 시간이 오래 걸리고 일관성이 결여되는 문제점이 존재한다.
따라서 위와 같은 문제를 해결하기 위해서, 햅틱 속성을 사람이 직접하는 것이 아닌 기계에 의해 자동으로 적용하는 기술이 요구된다.
본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치는 가상 공간 내 가상객체의 일 부분의 이미지를 획득하는 이미지 획득부, 획득된 이미지에 대한 특징점을 이용하여, 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간 내 상기 이미지의 위치를 결정하는 인지공간 위치 결정부, 결정된 이미지의 위치와 가장 가까운 햅틱 모델을 결정하는 햅틱 모델 결정부, 결정된 햅틱 모델의 햅틱 속성을 상기 가상객체의 일 부분에 적용하는 햅틱 속성 적용부를 포함하되, 상기 햅틱 모델은 특정 물체에 대한 텍스쳐 이미지와 햅틱 속성을 각각 포함한다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치에 있어서, 상기 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간에 대한 정보를 저장하고 있는 데이터 베이스를 더 포함할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치에 있어서, 상기 복수의 햅틱 모델은, 상기 텍스쳐 이미지 및 햅틱 속성에 기반한 다차원 스케일링(Multi Dimensional Scaling) 실험 방법에 의해 상기 질감인지공간 내 배치될 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치에 있어서, 상기 인지공간 위치 결정부는, 상기 질감인지공간 내, 햅틱 모델의 텍스쳐 이미지에 대한 특징점을 이용하여 특징점 축을 생성하고, 획득한 이미지의 특징점이 해당되는 상기 특징점 축 상의 좌표를 결정하고, 상기 결정된 좌표를 상기 이미지의 위치로 결정할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치에 있어서, 상기 인지공간 위치 결정부는, 햅틱 모델의 텍스쳐 이미지에 대한 복수의 특징점 각각에 관련된 복수의 특징점 축을 생성할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치에 있어서, 상기 인지공간 위치 결정부는, 각 햅틱 모델의 특징점의 분산이 커지는 방향으로 축의 방향을 결정할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치에 있어서, 상기 햅틱 속성은 경도 정보, 마찰력 정보 또는 거칠기 정보를 포함할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치에 있어서, 상기 이미지 획득부는, 획득한 일 부분의 이미지를 정규화할 수 있다.
본 발명의 일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 방법은 가상공간 내 가상객체의 일 부분의 이미지를 획득하는 단계, 획득된 이미지에 대한 특징점을 이용하여, 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간 내 상기 이미지의 위치를 결정하는 단계, 결정된 이미지의 위치와 가장 가까운 햅틱 모델을 결정하는 단계, 결정된 햅틱 모델의 햅틱 속성을 상기 가상객체의 일 부분에 적용하는 단계를 포함하되, 상기 복수의 햅틱 모델은 특정 물체에 대한 텍스쳐 이미지와 햅틱 속성을 각각 포함할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 방법에 있어서, 상기 복수의 햅틱 모델은, 상기 텍스쳐 이미지 및 햅틱 속성에 기반한 다차원 스케일링(Multi Dimensional Scaling) 실험 방법에 의해 상기 질감인지공간 내 배치될 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 방법에 있어서, 상기 이미지의 위치를 결정하는 단계는, 상기 질감인지공간 내, 햅틱 모델의 텍스쳐 이미지에 대한 특징점을 이용하여 특징점 축을 생성하는 단계; 획득한 이미지의 특징점이 해당되는 상기 특징점 축 상의 좌표를 결정하는 단계; 및 상기 결정된 좌표를 상기 이미지의 위치로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 방법에 있어서, 상기 특징점 축을 생성하는 단계는, 햅틱 모델의 텍스쳐 이미지에 대한 복수의 특징점 각각에 관련된 복수의 특징점 축을 생성할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 방법에 있어서, 상기 특징점 축을 생성하는 단계는, 각 햅틱 모델의 특징점의 분산이 커지는 방향으로 축의 방향을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 방법에 있어서, 상기 햅틱 속성은 경도 정보, 마찰력 정보 또는 거칠기 정보를 포함할 수 있다.
일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 방법에 있어서, 상기 획득한 일 부분의 이미지를 정규화 하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 기록매체는 상기 질감인지공간을 이용한 햅틱 속성 적용 방법을 실행하기 위한 명령을 포함하는 프로그램을 저장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치(10)의 블록도이다.
도 2는 가상객체로부터의 이미지 획득을 설명하기 위한 도이다.
도 3a는 햅틱 모델을 설명하기 위한 트리구조도이다.
도 3b는 질감인지공간을 설명하기 위한 도이다.
도 3c는 보다 다양한 실제 물체들과 각 물체들의 햅틱모델이 한 점으로서 질감인지공간 상에 배치된 것을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 질감인지공간(100) 내 특징점 축 및 획득한 이미지에 대한 질감인지공간 내 위치를 설명하기 위한 도이다.
도 5는 제1 내지 제3 특징점 축과 획득한 이미지의 질감인지공간(100)내 위치(2')를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 방법의 순서도이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시 된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.
이하, 본 발명의 구성 및 특성을 실시예를 이용하여 설명하나, 이들 실시예는 본 발명을 예시하는 것일 뿐 한정하는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치(10)의 블록도이다. 도 1을 참조하면 질감인지공간을 이용한 햅틱 속성 적용 장치(10)는 이미지 획득부(11), 인지공간 위치 결정부(12), 햅틱 모델 결정부(13), 및 햅틱 속성 적용부(14)를 포함할 수 있다. 다른 일 실시예에서 질감인지공간을 이용한 햅틱 속성 적용 장치(10)는 데이터베이스(15)를 더 포함할 수도 있다.
도 2는 가상객체로부터의 이미지 획득을 설명하기 위한 도이다. 도 2를 참조하면 가상객체(1)의 일 부분의 이미지(2)가 획득된다. 위와 같은 이미지 획득은 사용자 인터페이스 장치를 이용한 사용자 명령으로부터 구현될 수 있다. 도 2에서는 가상객체인 텀블러(1)의 바디 부분(2)의 표면 이미지가 획득된다.
일 예에서 일 부분의 이미지에 대한 획득은 사용자에 의해 선택된 일 지점과 동일한 이미지 정보를 갖는 부분에 대하여 수행될 수도 있다. 예컨대 도 2에서 사용자가 텀블러 바디의 임의 일 부분을 선택하면 가상객체(1)의 바디 부분 전체가 선택될 수도 있다. 이에 따라서 동일한 이미지 정보를 갖는 부분에는 동일한 햅틱정보가 적용될 수 있다. 또한 이미지 획득부(10)는 획득된 일 부분을 정규화하여 이후 이미지 처리를 용이하게 할 수 있다.
인지공간 위치 결정부(12)는 획득된 이미지(2)에 대한 특징점을 이용하여, 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간 내 상기 이미지의 위치를 결정할 수 있다.
도 3a는 햅틱 모델을 설명하기 위한 트리구조도이다. 도 3a를 참조하면 각 햅틱 모델은 특정 물체(예컨대 1100)에 대한 이미지 정보(1110)과 햅틱 속성(1120)을 포함할 수 있다. 또한 이미지 정보(1110)은 해당 물체의 텍스쳐 이미지(1111)와 텍스쳐 이미지에 대한 특징점(또는 특징값)들(1112,1113...)을 포함할 수 있다. 다른 물체들도 물체1(1100)과 동일한 구조로 정보가 구조화될 수 있다. 즉 햅틱 모델은 텍스쳐 이미지와 햅틱 속성을 포함하는 정보의 단위체일 수 있다. 여기서 햅틱 속성은 경도 정보(1121), 마찰력 정보(1122) 또는 거칠기 정보(1123)를 포함할 수 있다.
상기 특정 물체에 대한 이미지 정보 및 햅틱 속성은 센서를 통해 획득될 수 있다. 예컨대 센서는 카메라, 가속도 센서, 힘 센서, 또는 슬립 센서를 포함할 수 있다. 사용자는 센서를 이용하여 실제 특정 물체에 대한 이미지 및 햅틱 속성을 획득할 수 있다. 상기 특정 물체는 현실 세계에 존재하는 임의의 물체일 수 있다. 예컨대 특정 물체는 자동차 외부 표면, 내부 표면, 사람의 피부, 유리, 책상, 플라스틱, 가죽 등 현실공간에 존재하는 모든 물체를 포함할 수 있다.
인지공간 위치 결정부(12)는 획득된 이미지(2)에 대한 특징점을 추출하고, 추출된 특징점을 이용하여 질감인지공간 내에 획득된 이미지의 위치를 결정할 수 있다.
도 3b는 질감인지공간을 설명하기 위한 도이다. 도 3b를 참조하면 특정 물체(1100, 1200, 1300...)에 각각 대응되는 햅틱 모델들(111,121,131...)이 소정 위치에 배치된 질감인지공간(100)이 나타난다.
또한 도 3에서 질감인지공간(100)은 3차원인 것으로 표현되었으나 2차원 또는 다른 N차원일 수 있다.
도 3b에 도시된 바와 같이 특정 물체의 표면에 대한 햅틱 모델은 질감인지공간(100) 상에 배치될 수 있다. 햅틱 모델들이 배치되는 위치는 정신물리학에서 널리 이용되는 다차원 스케일링(Multi Dimensional Scaling) 방법에 의해 결정된 위치로 정해질 수 있다. 일 예에서 상기 복수의 햅틱 모델(111-131)은 특정 물체의 텍스쳐 이미지 및 햅틱 속성에 기반하여 다차원 스케일링(Multi Dimensional Scaling) 실험 방법에 적용될 수 있다. 구체적으로, 특정 물체의 표면을 만진 실험자들의 반응 정보(예컨대 거칠다, 매끄럽다, 부드럽다, 딱딱하다 등에 대한 세기)을 기초로 다차원 상에 각 햅틱모델들의 위치가 결정될 수 있다.
도 3c는 보다 다양한 실제 물체들과 각 물체들의 햅틱모델이 한 점으로서 질감인지공간 상에 배치된 것을 나타낸다. 도 3c를 참조하면 각 실제 물체에 해당되는 햅틱모델의 대응관계가 점선으로 표시되어 있다.
인지공간 위치 결정부(12)는 질감인지공간 내, 햅틱 모델의 텍스쳐 이미지에 대한 특징점을 이용하여 특징점 축을 생성할 수 있다. 또는 질감인지공간 내 각 특징점에 대한 특징점 축이 생성되어 존재할 수도 있다.
인지공간 위치 결정부(12)는 획득한 이미지(2)의 특징점이 해당되는 특징점 축 상의 좌표를 결정하고, 결정된 좌표를 상기 이미지의 위치(질감인지공간상의 위치)로 결정할 수 있다.
또한 인지공간 위치 결정부(12)는, 햅틱 모델의 텍스쳐 이미지에 대한 복수의 특징점 각각에 관련된 복수의 특징점 축을 생성할 수도 이다. 즉 복수의 특징점에 대한 특징점 축이 생성될 수 있다.
도 4는 본 발명의 일 실시예에 따른 질감인지공간(100) 내 특징점 축 및 획득한 이미지에 대한 질감인지공간 내 위치를 설명하기 위한 도이다. 도 4를 참조하면 햅틱모델의 텍스쳐 이미지에 대한 제1 내지 제3 특징점을 기초로 생성된 특징점 축이 나타난다. 예컨대 인지공간 위치 결정부(12)는 인지공간(100) 내 햅틱모델들(110-130)의 텍스쳐 이미지에 대한 제1 특징점을 기초로 제1 특징점 축(201)을 생성하고, 제2 특징점을 기초로 제2 특징점 축(202)을 생성하고, 제3 특징점을 기초로 제3 특징점축(203)을 생성할 수 있다. 구체적으로 각각의 햅틱모델은 복수개의 특징점(예컨대 제1 내지 제3 특징점)을 가질 수 있으므로, 인지공간 위치 결정부(12)는 각각의 특징점의 크기를 이용하여 각 특징점에 대한 특징점 축을 생성할 수 있다.
제1 햅틱모델(111)의 제1특징점이 1이고, 제2 특징점이 8이고, 제2 햅틱모델(121)의 제1 특징점이 5이고, 제2 특징점이 3인 경우, 제1 특징점 축은 제1 햅틱모델(111)에서 제2 햅틱모델(121)을 향하는 방향으로 생성되고, 제2 특징점 축은 제2 햅틱모델(121)에서 제1 햅틱모델(111)을 향하는 방향으로 생성될 수 있다. 다만 실제로는 2가지 이상의 특징점이 이용되므로, 전체 햅틱모델의 각 특징점의 값을 고려하게 되면 각 특징점 축은 해당 햅틱 모델을 축상에 포함하지 않을 수 있다. 위치 결정부(12)는 각 특징점의 값의 분산이 커지는 방향으로 특징점 축을 생성하게 된다.
즉, 인지공간 위치 결정부(12)는 각 이미지 특징점에 대해 모든 물체를 특징점 값에 따라 정렬을 하고 가장 분산이 크게 분포되게 하는 방향을 찾아 그 방향으로 특징점 축을 생성할 수 있다.
한편 획득한 이미지(2)에 대한 제1특징점의 값이 2이고, 제2 특징점의 값이 3이고, 제3 특징점의 값이 2인 경우, 도 4에 도시된 바와 같이 좌표(2,3,2)가 획득한 이미지(2)가 해당되는 질감인지공간(100) 상의 위치(2')가 될 수 있다.
보다 실제적인 경우를 고려해보면, 제1 내지 제3 특징점 축은 도 5와 같이 나타날 수 있다. 도 5는 제1 내지 제3 특징점 축과 획득한 이미지의 질감인지공간(100)내 위치(2')를 나타낸다. 도 5를 참조하면 햅틱모델(111-131)들의 각 특징점(예컨대 제1 내지 제3 특징점)에 따른 특징점 축(210-230)은 도 4에 도시된 것처럼 서로 직각을 이루지 않고 동일한 지점에서 시작되지도 않는다. 즉 경우에 따라서 각 축은 자유롭게 공간(100) 상에 배치될 수 있다.
위치 결정부(12)는 획득한 이미지의 각 특징점(예컨대 제1 특징점)에 대하여 각 특징점이 해당되는 각 특징점 축(예컨대 도 5의 210)에 해당되는 특징점 축의 일 지점(211)들을 결정하고, 결정된 각 지점을 각축에 수직한 평면(221)을 추정하여 각 평면들의 교점을 획득한 이미지(2)에 대한 질감인지공간(100)상의 위치(2')로 결정할 수 있다. 도 5에서는 특징점 축(210)의 일 지점(211)에 대한 평면만 도시하였으나, 실제로는 각 특징점 축(220, 230)의 일 지점(즉, 획득한 이미지(2)의 특징점의 값이 해당되는 위치)에 대한 평면이 생성될 수 있다.
햅틱모델 결정부(13)는 결정된 이미지의 위치와 가장 가까운 햅틱 모델을 결정할 수 있다. 도 5를 참조하면, 결정된 이미지의 위치(2')에서 주변의 햅틱 모델을(111-131) 까지의 거리(d1-d3)를 각각 계산하고, 가장 가까운 햅틱 모델(121)을 결정할 수 있다.
햅틱 속성 적용부(14)는 결정된 햅틱 모델(121)의 햅틱 속성을 가상객체(1)의 일 부분(2)에 적용할 수 있다. 예컨대, 햅틱 모델(121)의 햅틱 속성이 경도 1, 마찰력 3, 거칠기 10인 경우, 가상객체(1)의 일 부분(2)에 대한 햅틱 속성이 경도 1, 마찰력 3, 거칠기 10으로 적용될 수 있다.
본 발명의 일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 장치(10)는 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간에 대한 정보를 저장하고 있는 데이터 베이스(15)를 더 포함할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 질감인지공간을 이용한 햅틱 속성 적용 방법의 순서도이다. 도 6을 참조하면 질감인지공간을 이용한 햅틱 속성 적용 방법 은 가상공간 내 가상객체의 일 부분의 이미지를 획득하는 단계(S100), 획득된 이미지에 대한 특징점을 이용하여, 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간 내 상기 이미지의 위치를 결정하는 단계(S200), 결정된 이미지의 위치와 가장 가까운 햅틱 모델을 결정하는 단계(S300), 결정된 햅틱 모델의 햅틱 속성을 상기 가상객체의 일 부분에 적용하는 단계(S400)를 포함할 수 있다. 여기서 복수의 햅틱 모델은 특정 물체에 대한 텍스쳐 이미지와 햅틱 속성을 각각 포함할 수 있다.
위 질감인지공간을 이용한 햅틱 속성 적용 방법에 있어서, 상기 복수의 햅틱 모델은 상기 텍스쳐 이미지 및 햅틱 속성에 기반한 다차원 스케일링(Multi Dimensional Scaling) 실험 방법에 의해 상기 질감인지공간 내 배치될 수 있다.
또한 이미지의 위치를 결정하는 단계(S200)는 상기 질감인지공간 내, 햅틱 모델의 텍스쳐 이미지에 대한 특징점을 이용하여 특징점 축을 생성하는 단계 및 획득한 이미지의 특징점이 해당되는 상기 특징점 축 상의 좌표를 결정하는 단계 및 상기 결정된 좌표를 상기 이미지의 위치로 결정하는 단계를 포함할 수 있다.
또한 특징점 축을 생성하는 단계는, 햅틱 모델의 텍스쳐 이미지에 대한 복수의 특징점 각각에 관련된 복수의 특징점 축을 생성하는 단계를 포함할 수 있다.
또한 특징점 축을 생성하는 단계는, 각 햅틱 모델의 특징점의 분산이 커지는 방향으로 축의 방향을 결정하는 단계를 포함할 수 있다.
또한 상기 햅틱 속성은 경도 정보, 마찰력 정보 또는 거칠기 정보를 포함할 수 있다.
다른 일 실시예에서 질감인지공간을 이용한 햅틱 속성 적용 방법은 획득한 일 부분의 이미지를 정규화 하는 단계를 더 포함할 수도 있다.
본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록 매체는 상술한 질감인지공간을 이용한 햅틱 속성 적용 방법을 실행하기 위한 명령을 포함할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. 가상 공간 내 가상객체의 일 부분의 이미지를 획득하는 이미지 획득부;
    획득된 이미지에 대한 특징점을 이용하여, 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간 내 상기 이미지의 위치를 결정하는 인지공간 위치 결정부;
    결정된 이미지의 위치와 가장 가까운 햅틱 모델을 결정하는 햅틱 모델 결정부;
    결정된 햅틱 모델의 햅틱 속성을 상기 가상객체의 일 부분에 적용하는 햅틱 속성 적용부를 포함하되,
    상기 햅틱 모델은 특정 물체에 대한 텍스쳐 이미지와 햅틱 속성을 각각 포함하는, 질감인지공간을 이용한 햅틱 속성 적용 장치.
  2. 제1항에 있어서,
    상기 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간에 대한 정보를 저장하고 있는 데이터 베이스를 더 포함하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 장치.
  3. 제1항에 있어서,
    상기 복수의 햅틱 모델은,
    상기 텍스쳐 이미지 및 햅틱 속성에 기반한 다차원 스케일링(Multi Dimensional Scaling) 실험 방법에 의해 상기 질감인지공간 내 배치되는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 장치.
  4. 제3항에 있어서,
    상기 인지공간 위치 결정부는,
    상기 질감인지공간 내, 햅틱 모델의 텍스쳐 이미지에 대한 특징점을 이용하여 특징점 축을 생성하고,
    획득한 이미지의 특징점이 해당되는 상기 특징점 축 상의 좌표를 결정하고,
    상기 결정된 좌표를 상기 이미지의 위치로 결정하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 장치.
  5. 제4항에 있어서,
    상기 인지공간 위치 결정부는,
    햅틱 모델의 텍스쳐 이미지에 대한 복수의 특징점 각각에 관련된 복수의 특징점 축을 생성하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 장치.
  6. 제4항에 있어서,
    상기 인지공간 위치 결정부는,
    각 햅틱 모델의 특징점의 분산이 커지는 방향으로 축의 방향을 결정하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 장치.
  7. 제1항에 있어서,
    상기 햅틱 속성은 경도 정보, 마찰력 정보 또는 거칠기 정보를 포함하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 장치.
  8. 제1항에 있어서,
    상기 이미지 획득부는,
    획득한 일 부분의 이미지를 정규화하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 장치.
  9. 가상공간 내 가상객체의 일 부분의 이미지를 획득하는 단계;
    획득된 이미지에 대한 특징점을 이용하여, 복수의 햅틱 모델이 소정의 위치에 배치된 질감인지공간 내 상기 이미지의 위치를 결정하는 단계;
    결정된 이미지의 위치와 가장 가까운 햅틱 모델을 결정하는 단계;
    결정된 햅틱 모델의 햅틱 속성을 상기 가상객체의 일 부분에 적용하는 단계를 포함하되,
    상기 복수의 햅틱 모델은 특정 물체에 대한 텍스쳐 이미지와 햅틱 속성을 각각 포함하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 방법.
  10. 제9항에 있어서,
    상기 복수의 햅틱 모델은,
    상기 텍스쳐 이미지 및 햅틱 속성에 기반한 다차원 스케일링(Multi Dimensional Scaling) 실험 방법에 의해 상기 질감인지공간 내 배치되는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 방법.
  11. 제10항에 있어서,
    상기 이미지의 위치를 결정하는 단계는,
    상기 질감인지공간 내, 햅틱 모델의 텍스쳐 이미지에 대한 특징점을 이용하여 특징점 축을 생성하는 단계; 및
    획득한 이미지의 특징점이 해당되는 상기 특징점 축 상의 좌표를 결정하는 단계;
    상기 결정된 좌표를 상기 이미지의 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 방법.
  12. 제11항에 있어서,
    상기 특징점 축을 생성하는 단계는,
    햅틱 모델의 텍스쳐 이미지에 대한 복수의 특징점 각각에 관련된 복수의 특징점 축을 생성하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 방법.
  13. 제11항에 있어서,
    상기 특징점 축을 생성하는 단계는,
    각 햅틱 모델의 특징점의 분산이 커지는 방향으로 축의 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 방법.
  14. 제9항에 있어서,
    상기 햅틱 속성은 경도 정보, 마찰력 정보 또는 거칠기 정보를 포함하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 방법.
  15. 제9항에 있어서,
    상기 획득한 일 부분의 이미지를 정규화 하는 단계를 더 포함하는 것을 특징으로 하는 질감인지공간을 이용한 햅틱 속성 적용 방법.
  16. 제9항 내지 제15항 중 어느 한 항에 따른 방법을 실행하기 위한 명령을 포함하는 프로그램이 저장된, 기록매체.
PCT/KR2016/009284 2015-10-14 2016-08-23 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법 WO2017065403A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16855621.5A EP3364271A4 (en) 2015-10-14 2016-08-23 APPARATUS AND METHOD FOR APPLYING HAPTIC ATTRIBUTES USING A PERCEPTIVE TEXTURE SPACE
CN201680060251.6A CN108139809A (zh) 2015-10-14 2016-08-23 利用纹理识别空间的触觉属性适用装置及方法
US15/768,476 US20180308246A1 (en) 2015-10-14 2016-08-23 Apparatus and method for applying haptic attributes using texture perceptual space

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0143315 2015-10-14
KR1020150143315A KR101678455B1 (ko) 2015-10-14 2015-10-14 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2017065403A1 true WO2017065403A1 (ko) 2017-04-20

Family

ID=57541391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009284 WO2017065403A1 (ko) 2015-10-14 2016-08-23 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법

Country Status (5)

Country Link
US (1) US20180308246A1 (ko)
EP (1) EP3364271A4 (ko)
KR (1) KR101678455B1 (ko)
CN (1) CN108139809A (ko)
WO (1) WO2017065403A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
KR102332318B1 (ko) * 2020-07-22 2021-12-01 이화여자대학교 산학협력단 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
CN113158493B (zh) * 2021-05-19 2022-11-18 苏州大学 纺织品虚拟触觉评价与预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080072332A (ko) * 2007-02-02 2008-08-06 한국전자통신연구원 촉각체험 서비스 방법 및 그 시스템
JP2010186288A (ja) * 2009-02-12 2010-08-26 Seiko Epson Corp 顔画像の所定のテクスチャー特徴量を変更する画像処理
KR20110051044A (ko) * 2009-11-09 2011-05-17 광주과학기술원 사용자에게 3차원 객체의 촉감 정보를 제공하는 방법 및 장치
KR20110066894A (ko) * 2009-12-11 2011-06-17 광주과학기술원 가상 환경의 햅틱 속성의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111577A (en) * 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US6211848B1 (en) * 1998-05-15 2001-04-03 Massachusetts Institute Of Technology Dynamic holographic video with haptic interaction
US8963958B2 (en) * 2003-12-10 2015-02-24 3D Systems, Inc. Apparatus and methods for adjusting a texture wrapped onto the surface of a virtual object
JP4795091B2 (ja) * 2006-04-21 2011-10-19 キヤノン株式会社 情報処理方法および装置
US11325029B2 (en) * 2007-09-14 2022-05-10 National Institute Of Advanced Industrial Science And Technology Virtual reality environment generating apparatus and controller apparatus
US8745536B1 (en) * 2008-11-25 2014-06-03 Perceptive Pixel Inc. Volumetric data exploration using multi-point input controls
US8344863B2 (en) * 2008-12-10 2013-01-01 Postech Academy-Industry Foundation Apparatus and method for providing haptic augmented reality
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US8988445B2 (en) * 2010-07-30 2015-03-24 The Trustees Of The University Of Pennsylvania Systems and methods for capturing and recreating the feel of surfaces
US9046925B2 (en) * 2012-09-11 2015-06-02 Dell Products L.P. Method for using the GPU to create haptic friction maps
WO2014041491A1 (en) * 2012-09-12 2014-03-20 Virtamed Ag A mixed reality simulation method and system
US9477909B2 (en) * 2013-01-09 2016-10-25 SynTouch, LLC Object investigation and classification
JP5852050B2 (ja) * 2013-05-27 2016-02-03 株式会社ジャパンディスプレイ タッチ検出装置、タッチ検出機能付き表示装置、及び電子機器
DE102013214148A1 (de) * 2013-07-18 2015-01-22 Technische Universität Dresden Verfahren und Vorrichtung zur haptischen Interaktion mit visualisierten Daten
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
GB2533572A (en) * 2014-12-22 2016-06-29 Nokia Technologies Oy Haptic output methods and devices
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080072332A (ko) * 2007-02-02 2008-08-06 한국전자통신연구원 촉각체험 서비스 방법 및 그 시스템
JP2010186288A (ja) * 2009-02-12 2010-08-26 Seiko Epson Corp 顔画像の所定のテクスチャー特徴量を変更する画像処理
KR20110051044A (ko) * 2009-11-09 2011-05-17 광주과학기술원 사용자에게 3차원 객체의 촉감 정보를 제공하는 방법 및 장치
KR20110066894A (ko) * 2009-12-11 2011-06-17 광주과학기술원 가상 환경의 햅틱 속성의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKBAR, NOMAN ET AL.: "Towards Automatic Haptic Texture Authoring Based on Image Texture Feature", JOURNAL OF COMPUTING SCIENCE AND ENGINEERING, June 2015 (2015-06-01), pages 1398 - 1400, XP055375734, Retrieved from the Internet <URL:http://www.dbpia.co.kr/Journal/ArticleDetail/NODE06394420> *
See also references of EP3364271A4 *

Also Published As

Publication number Publication date
EP3364271A4 (en) 2019-05-01
KR101678455B1 (ko) 2016-11-23
US20180308246A1 (en) 2018-10-25
EP3364271A1 (en) 2018-08-22
CN108139809A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
EP3226208B1 (en) Information processing device and computer program
US11928800B2 (en) Image coordinate system transformation method and apparatus, device, and storage medium
CN108197547B (zh) 人脸姿态估计方法、装置、终端及存储介质
CN110866977B (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
WO2017065403A1 (ko) 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
WO2013002473A1 (ko) 부피 특징 벡터와 3차원 하르-유사 필터를 이용한 물체 검출 방법 및 장치
WO2021232609A1 (zh) Rgb-d图像的语义分割方法、系统、介质及电子设备
CN110472582B (zh) 基于眼部识别的3d人脸识别方法、装置和终端
WO2016186236A1 (ko) 3차원 오브젝트의 색상 처리 시스템 및 방법
US20210134007A1 (en) Online learning for 3d pose estimation using simplified constellations
US11995254B2 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
CN110222651A (zh) 一种人脸姿态检测方法、装置、终端设备及可读存储介质
WO2023075493A1 (en) Method and apparatus for three-dimensional scene reconstruction and dense depth map
WO2016137080A1 (ko) 범용 그래픽 프로세싱 유닛을 이용한 3 차원 캐릭터 렌더링 시스템 및 그의 처리 방법
WO2021167586A1 (en) Systems and methods for object detection including pose and size estimation
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
CN110807379A (zh) 一种语义识别方法、装置、以及计算机存储介质
WO2015199470A1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
WO2020004740A1 (ko) 3차원 평면추출 방법 및 그 장치
CN113723164A (zh) 获取边缘差异信息的方法、装置、设备及存储介质
CN116090094B (zh) 一种基于红外热成像的船体热模型建立方法、装置及设备
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
CN115359265A (zh) 关键点提取方法、装置、设备及存储介质
CN111898489B (zh) 用于标注手掌位姿的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16855621

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15768476

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016855621

Country of ref document: EP