KR20180036327A - 표시 장치용 3차원 인터랙션 방법 - Google Patents

표시 장치용 3차원 인터랙션 방법 Download PDF

Info

Publication number
KR20180036327A
KR20180036327A KR1020160126768A KR20160126768A KR20180036327A KR 20180036327 A KR20180036327 A KR 20180036327A KR 1020160126768 A KR1020160126768 A KR 1020160126768A KR 20160126768 A KR20160126768 A KR 20160126768A KR 20180036327 A KR20180036327 A KR 20180036327A
Authority
KR
South Korea
Prior art keywords
coordinate information
dimensional coordinate
display device
user
targets
Prior art date
Application number
KR1020160126768A
Other languages
English (en)
Other versions
KR101847577B1 (ko
Inventor
김희진
오승재
한성호
정민근
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020160126768A priority Critical patent/KR101847577B1/ko
Publication of KR20180036327A publication Critical patent/KR20180036327A/ko
Application granted granted Critical
Publication of KR101847577B1 publication Critical patent/KR101847577B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사람의 자연스러운 움직임 특성이 반영된 표시 장치용 3차원 인터랙션 방법을 제공한다. 이 방법은, 표시 장치에 복수의 타겟을 하나씩 표시하고, 모션 캡쳐 시스템을 이용하여 복수의 참가자로부터 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 얻는 단계와, 복수의 참가자를 키에 따라 복수의 그룹으로 집단화하는 단계와, 직접 선형 변환법에 의한 수식을 이용하여 손 끝의 3차원 좌표 정보와 복수 타겟의 2차원 좌표 정보를 컨트롤-디스플레이 맵핑하여 집단화 그룹 별로 변환 행렬을 연산 및 저장하는 단계와, 표시 장치 앞에 위치한 사용자의 키에 따라 사용자에게 맞는 변환 행렬 값을 로딩하는 단계와, 모션 캡쳐 시스템을 이용하여 사용자 손 끝의 3차원 좌표 정보를 얻고, 전술한 수식을 이용하여 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 연산 후 표시 장치에 표시하는 단계를 포함한다.

Description

표시 장치용 3차원 인터랙션 방법 {3D INTERACTION METHOD FOR DISPLAY}
본 발명은 표시 장치용 3차원 인터랙션 방법에 관한 것으로서, 보다 상세하게는 사용자가 보다 쉽게 직관적으로 표시 장치와 상호작용할 수 있는 표시 장치용 3차원 인터랙션 방법에 관한 것이다.
최근, 표시 장치와 사용자의 3차원 인터랙션을 제공할 수 있는 3차원 사용자 인터페이스의 중요도가 높아지고 있다. 예를 들어, 사용자가 신체의 움직임을 이용하여 화면에 표시된 특정 메뉴나 특정 영역을 선택할 수 있도록 하는 3차원 사용자 인터페이스 기술이 다양하게 개발되고 있다.
또한, 최근 대형 표시 장치의 사용이 증가함에 따라, 대형 표시 장치용 3차원 인터랙션 또한 그 사용이 증가하고 있다. 그러나 아직까지는 사용자가 신체의 움직임을 이용하여 특정 메뉴나 특정 영역을 선택함에 있어서 정확도가 낮고, 이로 인해 사용자의 피로도가 높은 한계가 있다.
본 발명은 사용자의 자연스러운 행동 패턴을 반영하여 사용자가 보다 쉽고 직관적으로 표시 장치와 상호작용할 수 있는 표시 장치용 3차원 인터랙션 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 표시 장치용 3차원 인터랙션 방법은, 표시 장치에 복수의 타겟을 하나씩 표시하고, 모션 캡쳐 시스템을 이용하여 복수의 참가자로부터 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 얻는 단계; 복수의 참가자를 키에 따라 복수의 그룹으로 집단화하는 단계; 직접 선형 변환(Direct Linear Transformation)법에 의한 하기 수식 (1)을 이용하여 손 끝의 3차원 좌표 정보(X3d)와 복수 타겟의 2차원 좌표 정보(X2d)를 컨트롤-디스플레이 맵핑(CD mapping)하여 집단화 그룹 별로 변환 행렬(P)을 연산 및 저장하는 단계;
X2d = P×X3d --- (1)
표시 장치 앞에 위치한 사용자의 키에 따라 사용자에게 맞는 변환 행렬(P) 값을 로딩하는 단계; 모션 캡쳐 시스템을 이용하여 사용자 손 끝의 3차원 좌표 정보를 얻고, 전술한 수식 (1)을 이용하여 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 연산 후 표시 장치에 표시하는 단계를 포함한다.
복수의 타겟은 서로간 소정의 거리를 갖도록 설정될 수 있고, 표시 장치의 화면에 복수의 타겟이 하나씩 랜덤하게 표시될 수 있다.
참가자는 주로 사용하는 손의 팔을 뻗고, 손가락이 타겟을 가리킬 때 클릭 동작을 수행할 수 있다. 모션 캡쳐 시스템은 클릭 시점에서 타겟을 가리키는 참가자 손 끝의 3차원 좌표 정보를 생성할 수 있다.
복수의 참가자로부터 손 끝의 3차원 좌표 정보를 얻는 단계는 참가자마다 표시 장치와의 거리를 변화시키며 2회 이상 반복 수행될 수 있다.
수식 (1)에서 변환 행렬 P, 손 끝의 3차원 좌표 정보 X3d, 및 복수 타겟의 2차원 좌표 정보 X2d는 하기 수식 (2)로 표현될 수 있다.
Figure pat00001
,
Figure pat00002
,
Figure pat00003
--- (2)
여기서, f는 초점 거리이고, tx와 ty는 주점 오프셋(principal point offset)이며, u'x, u'y, u'z는 3차원 포인트 전이 오프셋(3D point transition offset)으로서 하기 수식 (3)으로 표현될 수 있다.
Figure pat00004
--- (3)
수식 (1)에서 변환 행렬 P, 손 끝의 3차원 좌표 정보 X3d, 및 복수 타겟의 2차원 좌표 정보 X2d는 하기 수식 (4)를 만족할 수 있다.
Figure pat00005
,
Figure pat00006
--- (4)
사용자에게 맞는 변환 행렬(P) 값을 로딩하는 단계는, 모션 캡쳐 시스템을 이용하여 표시 장치 앞에 위치한 사용자의 키와 더불어 표시 장치와 사용자 사이의 거리를 측정하고, 측정 데이터로부터 사용자의 키와 거리에 대응하는 변환 행렬(P) 값을 로딩하는 것으로 이루어질 수 있다.
모션 캡쳐 시스템을 이용하여 표시 장치와 사용자 사이의 거리를 실시간으로 측정할 수 있고, 표시 장치와 사용자 사이의 거리가 변할 때 변화된 거리에 대응하는 새로운 변환 행렬(P) 값을 로딩하여 포인팅 지점의 2차원 좌표 정보 연산에 사용할 수 있다.
본 실시예에 따른 3차원 인터랙션 방법은 사람의 자연스러운 움직임 특성을 반영한 것이므로, 사용자가 표시 장치 앞에서 특정 위치를 손가락으로 가리킬 때 사용자가 의도한 위치에 빠르고 정확하게 포인팅 지점을 표시하거나, 선택 동작을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 표시 장치용 3차원 인터랙션 방법을 도시한 순서도이다.
도 2는 제1 단계에서 표시 장치에 나타나는 복수의 타겟을 도시한 개략도이다.
도 3은 제1 단계에서 시작점과 특정 타겟을 표시하는 표시 장치와, 특정 타겟을 손가락으로 가리키고 있는 참가자를 보여주는 사진이다.
도 4는 제4 단계와 제5 단계를 설명하기 위해 도시한 개략도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 도면에 나타난 각 구성의 크기 및 두께 등은 설명의 편의를 위해 임의로 나타낸 것이므로, 본 발명은 도시한 바로 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 표시 장치용 3차원 인터랙션 방법을 도시한 순서도이다.
도 1을 참고하면, 표시 장치용 3차원 인터랙션 방법은 복수의 참가자로부터 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 획득하는 제1 단계(S10)와, 복수의 참가자를 복수의 그룹으로 집단화(clustering)하는 제2 단계(S20)와, 직접 선형 변환법을 이용하여 집단화 그룹 별로 변환 행렬을 연산하는 제3 단계(S30)와, 사용자에게 맞는 변환 행렬 값을 로딩하는 제4 단계(S40)와, 사용자 손 끝의 3차원 좌표 정보로부터 포인팅 지점의 2차원 좌표를 연산하여 표시 장치에 표시하는 제5 단계(S50)를 포함한다.
제1 단계(S10)는 표시 장치에 복수의 타겟을 하나씩 표시하고, 모션 캡쳐 시스템을 이용하여 복수의 참가자로부터 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 얻는 과정으로 이루어진다.
표시 장치는 벽걸이 텔레비전, 또는 프로젝터 스크린과 같은 대형 표시 장치일 수 있으며, 모션 캡쳐 시스템은 통상의 깊이 카메라일 수 있다. 복수의 참가자는 여성 참가자들과 남성 참가자들을 포함할 수 있고, 이들은 다양한 키를 가질 수 있다.
도 2는 제1 단계에서 표시 장치에 나타나는 복수 타겟의 일 실시예를 도시한 개략도이다.
제1 단계(S10)에서 서로간 소정의 거리를 갖는 복수의 타겟이 설정되고, 표시 장치의 화면에 첫번째 타겟부터 마지막 타겟까지 하나의 타겟이 랜덤하게 표시된다.
도 2를 참고하면, 제1 단계(S10)에서 표시 장치에는 복수의 타겟, 예를 들어 가로 방향(x)과 세로 방향(y)을 따라 서로간 일정한 거리를 두고 배열된 7×5개, 총 35개의 타겟이 지정될 수 있다. 복수의 타겟은 중앙에 위치하는 시작점(0)과, 시작점(0)을 제외한 나머지 타겟들(제1 타겟 내지 제34 타겟, 1~34)로 구분될 수 있다.
표시 장치에는 커서가 제공되지 않으며, 시작점은 항상 표시될 수 있다. 그리고 제1 타겟 내지 제34 타겟이 하나씩 랜덤하게 표시될 수 있다. 각각의 참가자는 주로 사용하는 손의 팔을 뻗고, 표시 장치에 표시된 시작점(0), 어느 하나의 타겟, 시작점(0), 다른 하나의 타겟, 시작점(0), 또 다른 하나의 타겟의 순서로 마지막 타겟까지 손가락으로 하나씩 가리킨다.
복수의 타겟을 랜덤하게 표시하는 것은, 타겟 제시 순서에 따른 학습 효과(learning effect)를 상쇄시키기 위한 것이다.
이때 참가자는 가능한 자연스럽게 타겟을 손가락으로 가리키며, 반대편 손에 클릭 장치를 쥐고 있다가 손가락이 타겟을 가리킬 때 클릭 버튼을 누를 수 있다. 그러면 모션 캡쳐 시스템이 클릭 시점에서 타겟을 가리키는 참가자 손 끝의 3차원 좌표 정보를 생성하고, 이 정보는 제어 장치에 저장된다.
다른 한편으로, 클릭 장치를 사용하지 않고 사용자의 손 끝 동작을 이용하여 클릭 동작을 수행할 수도 있다. 예를 들어, 사용자는 손가락으로 타겟을 가리킨 상태에서 검지를 잠시 구부리거나 검지를 살짝 앞으로 찌르는 동작 등을 이용하여 클릭 동작을 수행할 수 있다.
도 3은 제1 단계(S10)에서 시작점과 특정 타겟을 표시하는 표시 장치와, 특정 타겟을 손가락으로 가리키고 있는 참가자를 보여주는 사진이다. 도 3에서 시작점은 화면 중앙에 위치하는 회색 점이고, 특정 타겟은 적색 점이다.
제1 단계는 참가자마다 표시 장치와의 거리를 변화시키며 2회 이상 진행될 수 있다. 예를 들어, 참가자는 표시 장치로부터 1미터 거리, 2미터 거리, 3미터 거리, 및 4미터 거리에서 전술한 포인팅을 반복 수행할 수 있다. 제1 단계에서는 모션 캡쳐 시스템을 이용하여 복수의 참가자 각각에 대해 표시 장치와의 거리 별로 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 획득한다.
다시 도 1을 참고하면, 제2 단계는 복수의 참가자를 키에 따라 복수의 그룹으로 집단화(clustering) 하는 과정으로 이루어진다. 예를 들어 남자 20명과 여자 10명으로 이루어진 30명의 참가자 집단을 가정하는 경우, 30명의 참가자 집단은 제2 단계에서 아래 표와 같이 세 개의 그룹으로 집단화될 수 있다.
Figure pat00007
제3 단계는 직접 선형 변환(Direct Linear Transformation, DLT)법에 의한 하기 수학식 1을 이용하여 손 끝의 3차원 좌표 정보(X3d)와 복수 타겟의 2차원 좌표 정보(X2d)를 맵핑(컨트롤-디스플레이 맵핑, CD mapping)함으로써 집단화 그룹 별로 변환 행렬(P)을 연산 및 저장하는 과정으로 이루어진다.
Figure pat00008
이때, 복수 타겟의 2차원 좌표 정보(X2d)는 제1 단계에서 지정된 복수 타겟 각각의 x축, y축 상의 좌표 정보이고, 손 끝의 3차원 좌표 정보(X3d)는 제1 단계에서 모션 캡쳐 시스템을 이용하여 획득한 손 끝의 x축, y축, z축 상의 좌표 정보이다.
직접 선형 변환법은 핀홀 카메라 모델에 근거한 것으로서, 3차원 공간으로부터 2차원 공간을 맵핑하는 방법이며, 변환식은 아래 수학식 2와 같다.
Figure pat00009
여기서, Xm은 3차원 대상의 3차원 좌표계로서 동치(homogeneous) 4×1 행렬로 표현될 수 있고, P는 변환 행렬로서 동치 3×4 행렬로 표현될 수 있다. Xprojected는 Xm과 P의 행렬 곱으로 연산되는 2차원 투영 좌표계를 나타낸다.
전술한 수학식 1과 수학식 2는 실질적으로 같은 의미를 포함하고 있으며, 수학식 1에서 변환 행렬(P)과 손 끝의 3차원 좌표 정보(X3d) 및 복수 타겟의 2차원 좌표 정보(X2d)는 아래 수학식 3의 행렬로 표현될 수 있다.
Figure pat00010
Figure pat00011
,
Figure pat00012
여기서, f는 초점 거리이고, tx와 ty는 주점 오프셋(principal point offset)이다. u'x, u'y, u'z는 3차원 포인트 전이 오프셋(3D point transition offset)으로서 아래 수학식 4로 표현된다.
Figure pat00013
그리고 수학식 1에서 P×X3d는 하기 수학식 5로 표현되며, PX3d과 X2d의 행렬 곱은 하기 수학식 6과 같이 0이 되어야 한다.
Figure pat00014
Figure pat00015
하기 표 2와 표 3은 전술한 표 1에 나타낸 세 개의 집단화 그룹에 대하여 전술한 수학식 1 내지 6을 이용하여 연산된 변환 형렬(P)의 예시를 나타낸다. 표 2에 나타낸 변환 행렬(P)은 제1 단계에서 표시 장치와 참가자 사이의 거리가 2미터인 경우이고, 표 3에 나타낸 변환 행렬(P)은 제1 단계에서 표시 장치와 참가자 사이의 거리가 4미터인 경우이다.
Figure pat00016
Figure pat00017
도 4는 제4 단계와 제5 단계를 설명하기 위해 도시한 개략도이다.
도 4를 참고하면, 제4 단계(S40)는 표시 장치 앞에 위치한 사용자의 키에 따라 사용자에게 맞는 변환 행렬(P) 값을 로딩하는 과정이다. 구체적으로, 표시 장치(100) 앞에 사용자가 위치하면, 모션 캡쳐 시스템(도시하지 않음)이 사용자의 키와, 표시 장치(100)와 사용자 사이의 거리를 측정하고, 측정 데이터로부터 사용자의 키와 거리에 해당하는 변환 행렬(P) 값을 로딩한다.
제5 단계(S50)는 모션 캡쳐 시스템을 이용하여 사용자 손 끝의 3차원 좌표 정보를 얻고, 전술한 수학식 1 내지 6을 이용하여 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 연산한 다음 표시 장치(100)에 포인팅 지점(200)을 표시하는 과정으로 이루어진다.
전술한 수학식 1에서 타겟의 2차원 좌표 정보(X2d)는 변환 행렬 P과 사용자의 손 끝의 3차원 좌표 정보(X3d)의 행렬 곱이다. 따라서 제5 단계(S50)에서는 제3 단계(S30)와 반대로 제어 장치에서 변환 행렬(P)과 사용자 손 끝의 3차원 좌표 행렬의 곱 연산을 수행하여 사용자가 가리킨 포인팅 지점(200)의 2차원 좌표 정보를 생성한다. 생성된 좌표 정보는 표시 장치(100)로 전달되어 화면에 포인팅 지점(200)이 표시된다.
도 4에서는 포인팅 지점(200)이 커서 모양으로 표시된 경우를 예로 들어 도시하였으나, 포인팅 지점(200)의 시각적 표현은 도시한 예로 한정되지 않으며, 다양하게 변형 가능하다.
제5 단계(S50)에서 사용자가 앞, 뒤로 이동하여도 제어 장치에서 해당 거리에 맞는 변환 행렬 값을 다시 로딩하고, 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 실시간으로 연산하여 표시 장치에 포인팅 지점(200)을 표시할 수 있다.
이와 같이 본 실시예에 따른 3차원 인터랙션 방법은 사람의 자연스러운 움직임 특성을 반영한 것이므로, 사용자가 표시 장치 앞에서 특정 위치를 손가락으로 가리킬 때 사용자가 의도한 위치에 빠르고 정확하게 포인팅 지점(200)을 표시하거나, 선택 동작을 수행할 수 있다.
상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.
100: 표시 장치 200: 포인팅 지점

Claims (8)

  1. 표시 장치에 복수의 타겟을 하나씩 표시하고, 모션 캡쳐 시스템을 이용하여 복수의 참가자로부터 복수의 타겟 각각을 가리키는 손 끝의 3차원 좌표 정보를 얻는 단계;
    상기 복수의 참가자를 키에 따라 복수의 그룹으로 집단화하는 단계;
    직접 선형 변환(Direct Linear Transformation)법에 의한 하기 수식 (1)을 이용하여 상기 손 끝의 3차원 좌표 정보(X3d)와 상기 복수 타겟의 2차원 좌표 정보(X2d)를 컨트롤-디스플레이 맵핑(CD mapping)하여 상기 집단화 그룹 별로 변환 행렬(P)을 연산 및 저장하는 단계;
    X2d = P×X3d --- (1)
    상기 표시 장치 앞에 위치한 사용자의 키에 따라 사용자에게 맞는 변환 행렬(P) 값을 로딩하는 단계; 및
    상기 모션 캡쳐 시스템을 이용하여 사용자 손 끝의 3차원 좌표 정보를 얻고, 전술한 수식 (1)을 이용하여 사용자가 가리킨 포인팅 지점의 2차원 좌표 정보를 연산 후 상기 표시 장치에 표시하는 단계를 포함하는 표시 장치용 3차원 인터랙션 방법.
  2. 제1항에 있어서,
    상기 복수의 타겟은 서로간 소정의 거리를 갖도록 설정되고,
    상기 표시 장치의 화면에 복수의 타겟이 하나씩 랜덤하게 표시되는 표시 장치용 3차원 인터랙션 방법.
  3. 제2항에 있어서,
    상기 참가자는 주로 사용하는 손의 팔을 뻗고, 손가락이 상기 타겟을 가리킬 때 클릭 동작을 수행하며,
    상기 모션 캡쳐 시스템은 상기 클릭 시점에서 상기 타겟을 가리키는 상기 참가자 손 끝의 3차원 좌표 정보를 생성하는 표시 장치용 3차원 인터랙션 방법.
  4. 제1항에 있어서,
    상기 복수의 참가자로부터 손 끝의 3차원 좌표 정보를 얻는 단계는 참가자마다 상기 표시 장치와의 거리를 변화시키며 2회 이상 반복 수행되는 표시 장치용 3차원 인터랙션 방법.
  5. 제4항에 있어서,
    상기 수식 (1)에서 상기 변환 행렬 P, 상기 손 끝의 3차원 좌표 정보 X3d, 및 상기 복수 타겟의 2차원 좌표 정보 X2d는 하기 수식 (2)로 표현되는 표시 장치용 3차원 인터랙션 방법.
    Figure pat00018
    ,
    Figure pat00019
    ,
    Figure pat00020
    --- (2)
    여기서, f는 초점 거리이고, tx와 ty는 주점 오프셋(principal point offset)이며, u'x, u'y, u'z는 3차원 포인트 전이 오프셋(3D point transition offset)으로서 하기 수식 (3)으로 표현된다.
    Figure pat00021
    --- (3)
  6. 제5항에 있어서,
    상기 수식 (1)에서 상기 변환 행렬 P, 상기 손 끝의 3차원 좌표 정보 X3d, 및 상기 복수 타겟의 2차원 좌표 정보 X2d는 하기 수식 (4)를 만족하는 표시 장치용 3차원 인터랙션 방법.
    Figure pat00022
    ,
    Figure pat00023
    --- (4)
  7. 제4항에 있어서,
    상기 사용자에게 맞는 변환 행렬(P) 값을 로딩하는 단계는,
    상기 모션 캡쳐 시스템을 이용하여 상기 표시 장치 앞에 위치한 사용자의 키와 더불어 상기 표시 장치와 사용자 사이의 거리를 측정하고, 측정 데이터로부터 사용자의 키와 거리에 대응하는 변환 행렬(P) 값을 로딩하는 것으로 이루어지는 표시 장치용 3차원 인터랙션 방법.
  8. 제7항에 있어서,
    상기 모션 캡쳐 시스템을 이용하여 상기 표시 장치와 사용자 사이의 거리를 실시간으로 측정하고, 상기 표시 장치와 사용자 사이의 거리가 변할 때 변화된 거리에 대응하는 새로운 변환 행렬(P) 값을 로딩하여 상기 포인팅 지점의 2차원 좌표 정보 연산에 사용하는 표시 장치용 3차원 인터랙션 방법.
KR1020160126768A 2016-09-30 2016-09-30 표시 장치용 3차원 인터랙션 방법 KR101847577B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160126768A KR101847577B1 (ko) 2016-09-30 2016-09-30 표시 장치용 3차원 인터랙션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160126768A KR101847577B1 (ko) 2016-09-30 2016-09-30 표시 장치용 3차원 인터랙션 방법

Publications (2)

Publication Number Publication Date
KR20180036327A true KR20180036327A (ko) 2018-04-09
KR101847577B1 KR101847577B1 (ko) 2018-04-10

Family

ID=61974963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160126768A KR101847577B1 (ko) 2016-09-30 2016-09-30 표시 장치용 3차원 인터랙션 방법

Country Status (1)

Country Link
KR (1) KR101847577B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112771480A (zh) * 2020-06-28 2021-05-07 华为技术有限公司 交互方法及电子设备
CN114327058A (zh) * 2021-12-24 2022-04-12 海信集团控股股份有限公司 显示设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5032883B2 (ja) * 2007-05-14 2012-09-26 パナソニック株式会社 運動補助装置
KR101558094B1 (ko) * 2014-06-23 2015-10-12 세종대학교산학협력단 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법
JP6241401B2 (ja) * 2014-09-22 2017-12-06 京セラドキュメントソリューションズ株式会社 電子機器、及び画像形成装置
JP2016153996A (ja) * 2015-02-13 2016-08-25 株式会社リコー 座標取得システム、ディスプレイ装置、座標取得方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112771480A (zh) * 2020-06-28 2021-05-07 华为技术有限公司 交互方法及电子设备
CN112771480B (zh) * 2020-06-28 2022-04-12 华为技术有限公司 交互方法及电子设备
CN114327058A (zh) * 2021-12-24 2022-04-12 海信集团控股股份有限公司 显示设备
CN114327058B (zh) * 2021-12-24 2023-11-10 海信集团控股股份有限公司 显示设备

Also Published As

Publication number Publication date
KR101847577B1 (ko) 2018-04-10

Similar Documents

Publication Publication Date Title
Hilliges et al. HoloDesk: direct 3d interactions with a situated see-through display
CN105074617B (zh) 三维用户界面装置和三维操作处理方法
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
Debarba et al. Disambiguation canvas: A precise selection technique for virtual environments
Park et al. Design evaluation of information appliances using augmented reality-based tangible interaction
Andersen et al. Immersion or diversion: Does virtual reality make data visualisation more effective?
Khattak et al. A real-time reconstructed 3D environment augmented with virtual objects rendered with correct occlusion
KR100971667B1 (ko) 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
KR101847577B1 (ko) 표시 장치용 3차원 인터랙션 방법
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
Adcock et al. Visualization of off-surface 3D viewpoint locations in spatial augmented reality
Jáuregui et al. Design and evaluation of 3D cursors and motion parallax for the exploration of desktop virtual environments
Lages et al. Enhanced geometric techniques for point marking in model-free augmented reality
Valentini Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects
Weller et al. Lenselect: Object selection in virtual environments by dynamic object scaling
JP2013092888A (ja) データ処理装置
Bacim et al. Understanding touch selection accuracy on flat and hemispherical deformable surfaces
JP6564259B2 (ja) 画像処理装置、画像処理方法
Yoo et al. Mobile augmented reality system for in-situ 3D modeling and authoring
Onishi et al. Haptic AR dental simulator using Z-buffer for object deformation
Watanabe et al. A new 2D depth-depth matching algorithm whose translation and rotation freedoms are separated
Kokubun et al. ARAtouch: visuo-haptic interaction with mobile rear touch interface
Valentini Enhancing user role in augmented reality interactive simulations
Abdullah et al. A virtual environment with haptic feedback for better distance estimation
GarcÍa-PÉrez et al. A 3-D collision handling algorithm for surgery simulation based on feedback fuzzy logic

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant