KR20170136367A - 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법 - Google Patents

동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법 Download PDF

Info

Publication number
KR20170136367A
KR20170136367A KR1020160068364A KR20160068364A KR20170136367A KR 20170136367 A KR20170136367 A KR 20170136367A KR 1020160068364 A KR1020160068364 A KR 1020160068364A KR 20160068364 A KR20160068364 A KR 20160068364A KR 20170136367 A KR20170136367 A KR 20170136367A
Authority
KR
South Korea
Prior art keywords
unit
information
segments
color
boundary
Prior art date
Application number
KR1020160068364A
Other languages
English (en)
Other versions
KR101863275B1 (ko
Inventor
박민철
이영택
이동수
송병섭
강지훈
한재현
최동원
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020160068364A priority Critical patent/KR101863275B1/ko
Publication of KR20170136367A publication Critical patent/KR20170136367A/ko
Application granted granted Critical
Publication of KR101863275B1 publication Critical patent/KR101863275B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법에 관한 것으로서, 본 발명의 일 실시예에 따른 동적 형상 표시 장치는, 복수의 세그먼트로 구성되며, 상기 복수의 세그먼트 각각의 높이와 색에 따라 3차원의 동적 형상을 구현하는 동적 형상 표시부; 제스처, 음성 및 전기적 신호 중 하나 이상을 포함하는 사용자 입력 신호를 감지하기 위한 입력 센서부; 및 사용자 입력 신호에 따른 동적 형상을 구현하도록, 복수의 세그먼트 각각의 높이와 색을 제어하는 제어부를 포함하고, 상기 복수의 세그먼트는, 각각의 세그먼트의 높이와 색을 조절하는 구동부, 상기 구동부에 일단이 연결된 막대, 및 상기 막대의 타단에 연결된 광원을 포함한다.

Description

동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법 {Dynamic Shape Display System and Dynamic Shape Display Method using there of}
본 발명은 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법에 관한 것으로서, 높은 해상도로 형상의 표현이 가능한 동적 형상 표시 시스템 및 이를 이용한 동적 형상 표시 방법에 관한 것이다.
동적 형상 표시 장치는 사용자로 하여금, 실제 물체를 만지지 않고도 물체의 입체 형상을 디지털 정보로 바꿔 사용자가 디지털 정보와 상호 접촉할 수 있게 하는 장치이다. 하지만, 시스템의 낮은 해상도로 인해 물체의 경계 부분을 표현 하는데 있어 자연스러운 표현에 제약이 있었다. 종래의 동적 형상 표시 장치가 특허문헌 1 및 비특허문헌 1에 개시되어 있다. 특허문헌 1에서는 기계적인 방법 중 하나인 양각과 음각을 이용한 동적 형상을 표시하는 장치를 제안하였다.
이 경우, 단지 양각 또는 음각으로 동적 형상을 표현하므로, 표현할 수 있는 동적 형상의 유형이 제한되어 있다는 문제가 있었다. 비특허문헌 1의 경우, 기계적으로 표현되는 동적 형상에 프로젝터를 사용하여 컬러 표현을 더하는 것을 개시하고 있다. 비특허문헌 1의 경우, 사용자와의 상호 접촉 과정에서 음영 부분의 발생으로 인해 동적 형상에 음영 부분 또는 컬러 간섭 형상이 발생하므로, 동적 형상의 해상도가 떨어진다는 문제가 있었다.
EP2998947 A1
inFORM: Dynamic Physical Affordances and Constraints through Shape and Object Actuation, Proceedings of the 26th annual ACM symposium on User interface software and technology, ISBN 978-1-4503-2268-3, page 417-426
본 발명은 상술한 문제점들을 해결하기 위한 것으로, 동적 형상에서 색상 간섭이나 음영의 문제가 없이 동적 형상의 색 또는 명암을 표현할 수 있는 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법을 제공하는 것을 목적으로 한다.
또한, 동적 형상의 부자연스러운 경계 부분을 높이 차원과 색 차원으로 표현하여, 더욱 자연스러운 동적 형상의 표현이 가능한 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 동적 형상 표시 장치는, 복수의 세그먼트로 구성되며, 상기 복수의 세그먼트 각각의 높이와 색에 따라 3차원의 동적 형상을 구현하는 동적 형상 표시부; 제스처, 음성 및 전기적 신호 중 하나 이상을 포함하는 사용자 입력 신호를 감지하기 위한 입력 센서부; 및 사용자 입력 신호에 따른 동적 형상을 구현하도록, 복수의 세그먼트 각각의 높이와 색을 제어하는 제어부를 포함하고, 상기 복수의 세그먼트는, 각각의 세그먼트의 높이와 색을 조절하는 구동부, 상기 구동부에 일단이 연결된 막대, 및 상기 막대의 타단에 연결된 광원을 포함한다.
상기 제어부는, 타깃 형상을 구현하기 위해, 각각의 세그먼트를 대응하는 단위 셀들로 구획하고, 상기 타깃 형상의 경계에 대응하는 단위 셀들의 좌표를 추출하고, 상기 타깃 형상의 경계 상에 배치되는 단위 셀들 각각에서, 상기 타깃 형상의 경계 내부 면적에 따라 대응하는 세그먼트의 높이와 색을 제어할 수 있다.
상기 타깃 형상의 경계 상에 배치되는 단위 셀들 각각에 일정한 간격의 복수의 포인트들을 배치하고, 경계 상의 단위 셀 각각에서, 하나의 단위 셀 내에 배치된 포인트들의 수에 대한 상기 타깃 형상의 경계 내부에 배치되는 포인트들의 수의 비에 따라 대응하는 세그먼트의 높이와 색을 제어할 수 있다.
상기 입력 센서부는, 사용자의 제스처를 입력하는 기 설정된 입력 공간과 상기 세그먼트들이 움직이는 작동 공간의 깊이 이미지 정보를 측정하는 깊이 이미지 측정부; 및 상기 입력 공간과 작동 공간의 시각 이미지 정보를 측정하는 시각 이미지 측정부를 포함할 수 있다.
상기 깊이 이미지 측정부는, IR 이미터와 IR 깊이 센서로 구성될 수 있다.
상기 제어부가, 상기 작동 공간에 배치되는 물체와의 상호작용을 제어하도록, 상기 시각 이미지 측정부에 연결되어, 측정된 시각 이미지 내의 표시부 내의 단위 셀들의 격자점과 단위 셀 내의 일정한 간격으로 배치된 복수의 포인트들을 추출하는 특징 추출부, 및 상기 복수의 포인트들에 기초하여 상기 물체의 윤곽 정보를 보정하여 물체의 위치를 인식하는 물체 인식부를 포함하고, 상기 깊이 이미지 측정부에 연결되어, 측정된 깊이 이미지를 정규화하는 정규화부, 및 상기 정규화된 이미지에서 손가락의 손 영역의 위치 정보를 추적하는 손 추적부를 포함할 수 있다.
상기 물체 인식부는, 측정된 시각 이미지에서 캐니 에지 디텍터를 사용하여 물체의 에지 정보를 검출하고, 상기 에지 정보를 통하여 물체의 경계선을 추출하고 근사화하여 마커의 경계선을 추출하여 상기 시각 이미지에서의 마커의 위치 정보를 도출하고, 상기 3차원 정보 산출부에서, 상기 마커의 위치 정보에 따라 깊이 이미지에서의 가상객체의 위치 정보를 산출할 수 있다.
상기 손 추적부는, 상기 깊이 이미지에서, 깊이 키잉을 사용하여 손 영역을 추출하는 손 영역 추출부; 상기 손 영역에 대한 이진 이미지를 생성하는 이진 이미지 생성부; 상기 이진 이미지에서 손의 윤곽을 추출하는 손 윤곽 추출부; 상기 손의 윤곽에 대하여, 컨벡스 헐을 사용하여 외곽 지점을 산출하는 외곽 지점 산출부; 상기 외곽 지점에 따라 손가락 끝 위치를 산출하는 손가락 위치 산출부; 및 상기 손가락 끝 위치에 따라 손 영역의 경계볼륨을 생성하는 경계볼륨 생성부를 포함할 수 있다.
상기 제어부는, 깊이 이미지 내에 상기 물체의 위치 정보에 대응하는 가상객체의 위치 정보를 산출하는 3차원 정보 산출부; 상기 손 영역의 경계볼륨과 가상객체의 위치 정보에 기초하여 충돌검사를 수행하여 상호작용 정보를 도출하는 터치 정보 산출부; 및 상기 상호작용 정보에 기초하여, 각각의 세그먼트의 위치 및 색을 제어하는 세그먼트 위치 및 색 구동 제어부를 더 포함할 수 있다.
상기 광원은 발광 다이오드일 수 있다.
본 발명의 다른 실시예에 따른 복수의 세그먼트로 동적 형상을 표시하는 동적 형상 표시 방법은, 사용자의 제스처, 음성 및 전기적 신호 중 하나 이상을 포함하는 사용자 입력 신호를 입력 센서부를 통하여 입력하는 단계; 및 제어부를 통하여, 상기 사용자 입력 신호에 따라 복수의 세그먼트 각각의 높이와 색을 제어하여, 상기 복수의 세그먼트 각각의 높이와 색에 따라 동적 형상을 구현하는 단계를 포함하고, 상기 복수의 세그먼트는, 각각의 세그먼트의 높이와 색을 조절하는 구동부, 상기 구동부에 일단이 연결된 막대, 및 상기 막대의 타단에 연결된 광원을 포함한다.
상기 입력 센서부는, 사용자의 제스처를 입력하는 기 설정된 입력 공간과 상기 세그먼트들이 움직이는 작동 공간의 깊이 이미지 정보와 시각 이미지 정보를 측정할 수 있다.
상기 동적 형상을 구현하는 단계에서, 상기 제어부는, 상기 시각 이미지에서, 캐니 에지 추적 방법을 통하여 상기 세그먼트들 상에 배치된 물체의 윤곽을 추적하여 깊이 이미지에서의 가상객체의 위치를 산출하고, 상기 깊이 이미지에서, 깊이 키잉을 사용하여 손 윤곽을 추출하며, 상기 손의 윤곽에 대하여, 컨벡스 헐을 사용하여 외곽 지점을 산출하고, 상기 외곽 지점에 따라 손가락 끝 위치를 산출하며, 상기 손가락 끝 위치에 따라 손 영역의 경계볼륨을 생성하고, 상기 가상객체의 위치 정보와 손 영역의 경계볼륨의 충돌검사에 따라서 상기 물체를 조작하도록 상기 세그먼트들을 제어할 수 있다.
본 발명의 일 실시예에 따르면, 동적 형상의 색상 표현을 위하여 세그먼트 상에 조명 장치를 배치하여, 색상 간섭이나 음영의 문제가 없이 동적 형상의 색 또는 명암을 표현할 수 있는 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법을 제공할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 동적 형상의 부자연스러운 경계 부분을 높이 차원과 색 차원으로 표현하므로, 더욱 자연스러운 동적 형상의 표현이 가능한 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동적 형상 표시 장치를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 하나의 세그먼트를 확대하여 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 동적 형상 표시 장치에서 동적 형상의 높이 차원(a)과 색 차원(b)의 구현 방식을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 동적 형상 표시 장치에서 원형 형상에 대한 형태 경계의 구현 방식을 개략적으로 나타내는 도면이다.
도 5는 종래 기술과 본 발명의 일 실시예에 따른 타원형, 원형 및 하트 형상의 구현 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 동적 형상 표시 장치를 개략적으로 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 손 추적부를 개략적으로 나타낸 도면이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
실시예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하, 실시예를 첨부된 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 동적 형상 표시 장치를 개략적으로 나타낸 것으로서, 도 1을 참조하면 본 발명의 일 실시예에 따른 동적 형상 표시 장치는 동적 형상 표시부(10), 제어부(20) 및 입력 센서부(30)를 포함한다.
본 발명의 일 실시예에 따른 동적 형상 표시 장치에서, 상기 동적 형상 표시부는 복수의 세그먼트(segment)(100)로 구성되며, 상기 복수의 세그먼트(100) 각각의 높이와 색에 따라 3차원의 동적 형상을 구현한다. 상기 입력 센서부(30)는 제스처, 음성 및 전기적 신호 중 하나 이상을 포함하는 사용자 입력 신호를 감지하거나, 세그먼트들 상에 배치되는 물체의 위치 또는 움직임을 감지하도록 형성된다. 그리고 상기 제어부(20)는 사용자에 의한 입력 신호 또는 물체와의 상호작용에 의해 도출되는 입력 신호에 따른 동적 형상을 구현하도록, 복수의 세그먼트 각각의 높이와 색을 제어하도록 형성된다.
상기 사용자 입력 신호에는 사용자의 제스처, 음성 및 전기적 신호를 포함할 수 있다. 일 실시예에 따르면, 사용자의 (오른손 또는 왼손의) 손동작 또는 몸동작을 감지하여 대응하는 동적 형상을 표시하도록 형성될 수 있으며, 사용자의 음성에 반응한다거나, 사용자가 키보드 또는 태블릿과 같은 도구를 사용하여 전기적 신호를 입력함으로써 대응하는 동적 형상을 표시하게 할 수 있다. 그러나 반드시 이에 제한되는 것은 아니며 본 기술분야에서 사용될 수 있는 다양한 사용자 입력 신호가 이에 적용될 수 있다.
또한, 복수의 세그먼트들에 의해 구성되는 작업 공간 내에 배치되는 물체와 사용자의 상호작용을 위하여, 물체의 동작과 사용자의 손동작에 의해 발생하는 상호작용에 따라 도출되는 입력 신호에 따라 동적 형상을 구현할 수 있다.
본 명세서에서 "동적 형상"은 시간에 따라 움직이는 복수의 세그먼트들에 의해 높이와 색(명암과 색채)을 통하여 표현되는 형상을 의미한다.
구체적으로, 본 발명의 일 실시예에 따르면, "동적 형상"은 복수의 세그먼트들의 높이와 색으로 다양하게 표현될 수 있다. 일 예로, 도 1을 참조하면, 사용자가 오른쪽 아래에서 왼쪽 위로 쓸어올리는 동작을 취하면, 복수의 세그먼트들 중에서 왼쪽 윗부분이 올라오는 것과 같은 동적 형상이 표현될 수 있다.
또한, 도 5를 참조하면, 사용자의 손동작 또는 입력 신호가 특정 형상의 동적 형상을 나타내게 할 수 있으며, 도 5에 도시된 바와 같이 해당 세그먼트들의 명암 또는 색채를 달리하여 타원, 원형 및 하트 형상의 형상을 나타내게 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 복수의 세그먼트 들 중 하나의 세그먼트(100)를 나타낸 도면이고, 도 4는 복수의 세그먼트들에 의해 구현된 동적 형상 표시부(10)의 평면도이다.
도 2 및 4를 참조하면, 하나의 세그먼트는, 높이와 색을 조절하도록 형성된 구동부(미도시), 상기 구동부에 일단이 연결된 막대(101), 및 상기 막대(101)의 타단에 연결된 광원(105)을 포함한다.
본 발명의 일 실시예에 따르면, 상기 구동부는 상기 세그먼트의 높이를 조절하기 위해 선형 액추에이터, 피스톤, 모터, 압전 소자 등을 사용할 수 있다. 또한, 상기 구동부는 상기 막대(101)의 타단에 연결된 광원(105)의 명암 또는 색상을 조절하기 위한 컨트롤러를 포함할 수 있다.
상기 광원(105)은 도 2의 실시예의 경우 막대(101)의 타 단에 형성된 탑재 팁(tip)을 포함하고, 상기 팁(tip) 상에 광원(105)이 탑재되도록 형성될 수 있으나, 반드시 이에 제한되는 것은 아니며 팁과 같은 구성이 없이 바로 막대(101)에, 일 예로 정육면체와 같은 형상으로 탑재될 수 있다. 본 발명의 일 실시예에 따르면, 상기 광원(105)으로 발광 다이오드(LED: Light Emitting Diode)가 사용될 수 있다.
각각의 세그먼트(100)들은 도 4에 도시된 바와 같이, 각각의 단위 셀들을 구성하도록 형성될 수 있다. 그리고, 원하는 동적 형상을 구현하기 위하여 각각의 단위 셀의 높이 또는 색을 조절할 수 있다.
도 3은 본 발명의 일 실시예에 따른 단위 셀의 높이(a)와 색(b)의 표현 방법을 나타낸 것이다.
도 3의 (a)를 참조하면, 해상도의 한계점으로서 곡선 표현 부분, 즉 동적 형상의 경계선 상의 표현 부분을 표현함에 있어, 제1 단계의 제1 단위 셀(100a)의 높이를 제1 단계 높이(d1)로 가장 높게, 제2 단계의 제2 단위 셀(100b)의 높이를 제2 단계 높이(d2)로 중간 높이로, 그리고 제3 단계의 제3 단위 셀(100c)의 높이를 제3 단계 높이(d3)로 가장 낮게 함으로써 달리하여 표현할 수 있다. 본 실시예의 경우 3 단계로 높이를 달리하였으나, 반드시 이에 제한되는 것은 아니며 3개 이하 또는 이상의 단계들로 나누어 표현할 수도 있음은 물론이다.
또한, 단위 셀의 높이와 함께 단위 셀의 색도 달리하여 표현할 수 있다. 명암 또는 색상을 달리하여 표현할 수 있다.
도 3의 (b)를 참조하면, 해상도의 한계점으로서 곡선 표현 부분, 즉 동적 형상의 경계선 상의 표현 부분을 표현함에 있어, 제1 단계의 제1 단위 셀(100a)의 밝기를 제1 단계 밝기(C3)로 가장 밝게 표현하고, 제2 단계의 제2 단위 셀(100b)의 밝기를 제2 단계 밝기(C2)로 보통 밝기로 표현하고, 제3 단계의 제3 단위 셀(100b)의 제3 단계 밝기(C3)를 약한 밝기로 표현하여, 각 단계 별 단위 셀의 명암을 구별하여 표현할 수 있다. 또는, 각 단계 별 단위 셀의 높이와 명암을 함께 구현할 수도 있다.
그러나, 반드시 이에 제한되는 것은 아니며 명암 대신 색상을 달리하여 표현할 수도 있다. 색상 또는 명암만으로도 표현하거나, 높이만으로도 표현할 수도 있다.
상기 제어부(20)는 사용자 입력 신호에 따라 동적 형상을 구현하도록 각각의 세그먼트(100)의 높이와 색을 조절할 수 있다.
이하, 입력 센서부(30)와 제어부(20)에 대하여 보다 구체적으로 알아보자.
도 1을 참조하면, 상기 입력 센서부(30)는, 동적 형상 표시 장치에 대한 사용자 입력이 이뤄지는 입력 공간(S) 및 세그먼트들이 움직이는 작업 공간(W)의 깊이 이미지 정보를 측정하는 깊이 이미지 측정부(31, 35), 및 상기 입력 공간(S) 및 작업 공간(W) 내의 시각 이미지 정보를 측정하는 시각 이미지 측정부(33)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 사용자의 제스처를 입력하는 입력 공간(S)과 세그먼트들이 작동하는 작동 공간(W)은 서로 수직하게 배치되어, 하나의 입력 센서부(30)의 감지 영역 내에 배치될 수 있다. 그러나, 반드시 이에 제한되는 것은 아니며 입력 공간과 작업 공간에 각각 별도의 입력 센서부가 배치될 수 있다.
상기 입력 센서부(30)는 일 실시예에 따르면 키넥트(KinetTM)로 구성될 수 있으나, 반드시 이에 제한되는 것은 아니다.
상기 깊이 이미지 측정부는, IR 이미터(emitter)(31) 및 IR 깊이 센서(35)로 구성될 수 있고, 상기 시각 이미지 측정부(33)는 컬러 센서로 구성될 수 있다. IR 이미터(31)로 피사체에 광 형태의 적외선(IR)을 투사하고, IR 깊이 센서(35)에서 반사되는 적외선(IR)을 획득하여 IR 영상을 생성할 수 있다. 피사체의 깊이 이미지 맵은 컬러 센서를 이용한 시각 이미지 영상과 캘리브레이션을 통하여 융합될 수 있고, 융합된 깊이 맵과 컬러 영상을 이용하여, 3차원 입체 모델을 생성할 수 있다.
상기 제어부(20)는, 표현하고자 하는 동적 형상인, 타깃 형상을 구현하기 위해, 도 4에 도시된 바와 같이 각각의 세그먼트(100)에 대응하는 단위 셀들로 구획할 수 있다. 상기 타깃 형상의 경계에 대응하는 단위 셀들의 좌표를 추출하고, 상기 타깃 형상의 경계 상 단위 셀들 각각에 대해 일정한 간격의 복수의 포인트들을 배치하고, 상기 타깃 형상의 경계를 기준으로 상기 선택된 셀 내의 경계-내부 포인트들과 경계-외부 포인트들의 개수의 비율에 따라 상기 선택된 셀의 높이 또는 색을 제어할 수 있다.
즉, 동적 형상 표시 장치 위에 탐지된 물체 혹은 표현하고자 하는 타깃 형상은 윤곽(countours)을 기반으로 한 특징을 추출하게 되고, 추출된 윤곽 형태의 경계(perimeter)에 대응하는 단위 셀들의 좌표를 추출하게 된다. 그리고, 선택된 단위 셀 내의 윤곽 형태 내부의 면적, 즉 단위 셀 내부의 격자를 구획하고, 그 격자점에 일정한 간격으로 포인트들을 배치하여, 전체 포인트들의 개수에 대한 윤곽 형태 내부의 포인트들의 비율을 계산한다. 그리고, 계산된 비율은 이후, 동적 형상 표시 장치의 탐지 물체 혹은 표현하고자 하는 물체의 윤곽을 보정하게 된다.
즉, 타깃 형상의 경우 경계에 대응하는 단위 셀의 높이, 색(명암 또는 색채) 또는 둘 다를 제어하게 된다.
도 4를 참조하면, 보다 구체적으로, 일 실시예에 따르면, 각각의 세그먼트(100)들은 대응하는 단위 셀들로 구획하여, 가로 선(L1)과 세로 선(L2)으로 구성된 격자를 형성할 수 있다. 그리고, 각각의 단위 셀들은 하나의 좌표로서 표현될 수 있다.
일 예로, 원형 형상을 표현하고자 하는 경우, 즉 타깃 형상이 원형 형상(도 5 참조)인 경우, 원형 형상의 윤곽의 경계가 지나가는 단위 셀들의 좌표를 추출할 수 있다.
그리고, 도 4의 확대 도면을 참고하면, 경계(L3) 상의 단위 셀들 각각에 대해 일정한 간격의 복수의 포인트들을 배치할 수 있다. 즉, 단위 셀의 격자점(P1, P2, P3, P4)으로 구성된 공간을 가로 및 세로의 가상 선(l1, l2)을 그어 복수의 하위 격자점(r1, r2)을 구획할 수 있고, 이 경우 복수의 하위 격자점(r1, r2)과 단위 셀의 격자점(P1, P2, P3, P4)은 단위 셀들 내의 일정한 간격으로 배치된 복수의 포인트(P1, P2, P3, P4, r1, r2)가 될 수 있다.
그리고, 상기 원형 형상의 경계(L3)를 기준으로, 선택된 경계(L3) 상의 셀 내의 경계-내부 포인트들, 즉 단위 셀 내의 포인트들의 수에 대한 원형 형상의 내부 포인트들(P3, P4, r2)의 수의 비를 통하여, 해당 셀의 높이와 색을 제어할 수 있다.
일 실시예에 따르면, 단위 셀의 명암을 밝음, 보통 및 약함의 3단계로 구분하는 경우, 전체 셀에서 경계-내부 포인트들의 비가 80% 이상인 경우 제1 단계의 단위 셀로 가장 높고 밝게 표현하고, 경계-내부 포인트들의 비가 80% 미만 50% 이상인 경우 제2 단계의 중간 높이에 보통 밝기로, 경계-내부 포인트들의 비가 50% 미만인 경우 제3 단계의 가장 낮은 높이에 약한 밝기로 단위 셀을 제어할 수 있다.
도 5는 종래 기술(a)과 본 발명의 일 실시예(b)에 따른 동적 형상을 나타내는 평면도이다.
종래 기술(a)의 경우 타깃 형상이 원형 형상인 경우, 표현되는 동적 형상은 사각형으로 표현되어, 원하는 형상의 해상도가 떨어지는 문제가 있었으나, 본원발명의 경우 사각형과 그 주변의 경계 부분에 대한 표현이 단계적으로 표현되어 원하는 형상에 보다 가깝게 표현하는 것을 확인할 수 있다. 이러한 해상도 차이는, 다른 형상들인 타원 형상과 하트 형상의 경우에도 마찬가지임을 알 수 있다.
또한, 상기 제어부(20)는 획득된 시각 이미지와 깊이 이미지를 활용하여 3차원 물체의 추적 및 상호작용을 유도할 수 있다.
도 6은 본 발명의 일 실시예에 따른 동적 형상 표시 장치의 제어부(20)의 구성을 개략적으로 나타낸 도면이다.
제어부(20)는, 사용자 입력 측정부(30)에 연결되며, 상기 시각 이미지 측정부(31)에 연결되어, 측정된 시각 이미지 내의 표시부 내의 단위 셀들의 격자점(P)과 단위 셀 내의 일정한 간격으로 배치된 복수의 포인트들을 추출하는 특징 추출부(21), 및 상기 복수의 포인트들에 기초하여 상기 물체의 윤곽 정보를 보정하여 물체의 위치를 인식하는 물체 인식부(22)를 포함하고, 상기 깊이 이미지 측정부(35)에 연결되어, 측정된 깊이 이미지를 정규화하는 정규화부(23), 및 상기 정규화된 이미지에서 손가락의 손 영역의 위치 정보를 추적하는 손 추적부(24)를 포함할 수 있다.
상기 제어부는, 상기 물체 인식부와 상기 손 추적부에 연결되어, 3차원 공간상의 손 영역의 위치 정보와 상기 물체의 위치 정보에 대응하는 상기 3차원 공간상의 가상객체의 위치 정보를 도출하는 3차원 정보 산출부, 상기 3차원 정보 산출부에 연결되어, 상기 손 영역과 가상객체의 위치 정보를 통하여 손과 가상객체 사이의 충돌검사를 통해 터치 정보를 도출하는 터치 정보 산출부, 및 상기 터치 정보 산출부와 상기 동적 형상 디스플레이 부에 각각 연결되어, 상기 터치 정보에 기초하여 각각의 세그먼트의 위치 및 색을 제어하는 세그먼트 위치 및 색 구동 제어부를 포함할 수 있다.
추적 및 상호작용을 수행하기 위하여, 입력 센서부(30)는 동적 형상 표시 장치, 즉 작업 공간(W)과 입력 공간(S)의 탑뷰(top view)를 촬영할 수 있다.
먼저, 물체의 추적을 위하여, 시각 이미지 측정부(31)에서 탑뷰의 시각 이미지를 측정하고, 특징 추출부(21)에서 시각 이미지의 영상 분할을 수행하고, 세그먼트들에 의해 형성된 가로 선(L1) 및 세로 선(L2)에 의한 격자의 교점(P)들을 인식하여 단위 셀들을 인식할 수 있다(도 4 참조). 그리고, 다시 단위 셀들에 가로 선 및 세로 선의 가상 선(l1, l2)을 그어 복수의 포인트들을 추출할 수 있다. 그에 따라, 동적 형상 표시 장치는 작업 공간 및 입력 공간 내의 격자와 복수의 포인트들을 추출해 낼 수 있다.
또한, 상기 물체 인식부(22)에서 상호작용 하는 물체 또는 표현하고자 하는 물체의 영상에 대해, 윤곽을 기반으로 한 특징을 추출하고, 추출된 윤곽 형태의 경계 좌표를 추출하고, 추출된 단위 셀 별로 윤곽 내부에 포함되는 포인트들의 비율을 계산한다. 그리고, 계산된 비율에 따라 물체의 윤곽을 보정할 수 있다.
보다 구체적으로, 상기 물체 인식부(22)는, 측정된 시각 이미지에서 캐니 에지 디텍터를 사용하여 물체의 에지 정보를 검출하고, 상기 에지 정보를 통하여 물체의 경계선을 추출하고 근사화하여 마커의 경계선을 추출하여 상기 시각 이미지에서의 마커의 위치 정보를 도출할 수 있다. 그리고 나서, 이 후, 3차원 정보 산출부(25)에서, 상기 마커의 위치 정보에 따라 깊이 이미지에서의 가상객체의 위치 정보를 산출하는 데에 사용할 수 있다.
3차원 물체의 추적 및 상호작용을 위하여, 사용자의 손 영역 추출이 필요하다. 이를 위하여, 깊이 이미지 측정부(35)에서 측정된 깊이 이미지를 사용하여, 정규화부(23)에서 이미지를 정규화하고, 정규화된 이미지에서 상기 손 추적부(24)를 통하여 손 영역 정보를 추출한다.
보다 구체적으로, 손 추적부(24)의 구성을, 본 발명의 일 실시예에 따른 오른손 추적 이미지와 함께 구체적으로 나타낸 도 7을 참조하면, 상기 손 추적부(24)는, 상기 깊이 이미지에서, 깊이 키잉(keying)을 사용하여 손 영역을 추출하는 손 영역 추출부(210), 상기 손 영역에 대한 이진 이미지를 생성하는 이진 이미지 생성부(220), 상기 이진 이미지에서 손의 윤곽을 추출하는 손 윤곽 추출부(230), 상기 손의 윤곽에 대하여, 컨벡스 헐(Convex-hull)을 사용하여 외곽 지점을 산출하는 외곽 지점 산출부(240), 상기 외곽 지점에 따라 손가락 끝 위치를 산출하는 손가락 위치 산출부(250), 및 상기 손가락 끝 위치에 따라 손 영역의 경계볼륨을 산출하는 경계볼륨 생성부(260)를 포함할 수 있다.
추출된 깊이 이미지상의 손 영역 정보와 시각 이미지에 의해 인식된 물체의 위치 정보에 의하여 가상객체의 상호작용을 수행할 수 있다.
구체적으로, 3차원 정보 산출부(25)에서, 깊이 이미지 상에서 물체에 대응하는 가상객체의 위치를 설정할 수 있고, 그에 따라 3차원 공간 상에서 손과 가상객체의 상호작용을 도출해 낼 수 있다.
그리고, 터치 정보 산출부(26)에서 손 영역 정보 중, 경계볼륨 정보와 깊이 이미지에서의 가상객체에 대응하는 마커의 위치를 통해 가상물체와의 충돌검사를 통해 상호작용을 도출할 수 있다.
또한, 상호작용 결과에 따라 세그먼트 위치 및 색 제어부(27)에서 각각의 세그먼트들의 위치와 색을 제어하여 상기 동적 형상 표시부(10)의 작동을 제어할 수 있다.
본 발명의 일 실시예에 따르면, 상기 입력 센서부는 키넥트(KinetTM)일 수 있다. 키넥트를 사용하여, 다음과 같은 방식으로 경계볼륨과 가상객체의 사커 상호작용을 도출해 낼 수 있다.
먼저, 가상객체(마커)와 키넥트를 설정하고, 키넥트에 의하여 사용자의 손과 마커의 이미지를 측정할 수 있다. 그리고 나서, 시각 이미지에서 캐니 에지 디텍터(canny edge detector)를 사용하여 가상객체의 윤곽을 추적하여, 가상객체의 위치 정보를 획득할 수 있다. 그리고, 깊이 이미지에서 깊이 키잉을 적용하여 손 영역의 정보를 추출하고, 컨벡스 헐을 통하여 사용자의 손의 손끝 위치를 추출하고, 손끝 위치에 따라 손 영역의 경계볼륨을 구할 수 있다. 가상객체의 위치 정보와 경계볼륨의 충돌검사를 통하여 가상객체와 손의 상호작용을 도출하고, 이러한 상호작용이 동적 형상 표시장치의 작업 공간(W) 상에서 구현되게 할 수 있다.
도면에서는 작업 공간(W) 상에 입력 공간(S)이 구현되는 것을 도시하였다. 그에 따라, 입력 공간(S)상에 사용자의 손의 제스처를 입력하면, 작업 공간(W) 상의 물체와의 상호작용을 수행할 수 있다. 이 경우, 1개의 입력 센서부(30)를 통하여 작업 공간(W)의 동작과 입력 공간(S)의 사용자 제스처를 모두 인식할 수 있다.
그러나, 반드시 이에 제한되는 것은 아니며, 2개의 입력 센서부(30)를 서로 다른 공간에 배치하여, 멀리 떨어져 있는 입력 공간(S) 상에서 사용자의 제스처를 입력하면, 작업 공간(W) 내의 세그먼트들을 작동시키거나 작업 공간(W) 상의 물체와 세그먼트들의 상호작용을 도출해 낼 수 있다.
본 발명의 다른 실시예에 따른 복수의 세그먼트로 구성된 동적 형상 표시부로 동적 형상을 표시 방법은, 사용자 제스처, 음성 및 전기적 신호 중 하나 이상을 포함하는 사용자 입력 신호를 입력 센서부를 통하여 입력하는 단계, 및 제어부를 통하여, 상기 사용자 입력 신호에 따라 복수의 세그먼트 각각의 높이와 색을 제어하여, 상기 복수의 세그먼트 각각의 높이와 색에 따라 3차원의 동적 형상을 구현하는 단계를 포함하고, 상기 복수의 세그먼트는, 각각의 세그먼트의 높이와 색을 조절하는 구동부, 상기 구동부에 일단이 연결된 막대, 및 상기 막대의 타단에 연결된 광원을 포함할 수 있다.
본 발명의 일 실시예에 따른 동적 형상 표시 방법은, 상술한 동적 형상 표시 장치를 이용하여 구현될 수 있으며, 표시 장치에 관한 내용은 표시 방법에 대한 구성에도 또한 적용된다.
상기 입력 센서부에서, 상기 사용자 입력 신호를 입력하는 단계에서, 사용자의 제스처에 대한 깊이 이미지와, 물체에 대한 시각 이미지를 측정할 수 있다.
상기 동적 형상을 구현하는 단계에서, 상기 제어부는, 상기 시각 이미지에서, 캐니 에지 추적 방법을 통하여 물체의 윤곽을 추적하여 깊이 이미지에서의 가상객체의 위치를 산출하고, 상기 깊이 이미지에서, 깊이 키잉을 사용하여 손 윤곽을 추출하며, 상기 손의 윤곽에 대하여, 컨벡스 헐을 사용하여 외곽 지점을 산출하고, 상기 외곽 지점에 따라 손가락 끝 위치를 산출하며, 상기 손가락 끝 위치에 따라 손 영역의 경계볼륨을 생성하고, 상기 가상객체의 위치 정보와 손 영역의 경계볼륨의 충돌검사에 따라서, 물체를 조작하도록 상기 복수의 세그먼트 각각의 높이와 색을 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, LED와 같은 광원을 세그먼트에 배치하여 세그먼트들의 높이와 조명의 명암 또는 색채로 동적 형상을 구현하므로, 기존의 동적 형상 표시 장치들에서 프로젝션 방식을 사용하여 발생하였던, 음영 및 색 간섭 문제가 없는 동적 형상 표시 장치 및 표시 방법을 제공할 수 있다.
또한, 표시하고자 하는 타깃 형상의 곡선 경계 부분을 LED의 명암과 세그먼트의 위치로 표현하므로, 기존의 형상보다 더욱 자연스러운 경계를 구현할 수 있는 동적 형상 표시 장치 및 표시 방법을 제공할 수 있다.
10: 동적 형상 표시부
20: 제어부
30: 입력 센서부
100: 세그먼트
101: 로드
103: 탑재 팁
105: 광원
S: 입력 공간
W: 작업 공간

Claims (13)

  1. 복수의 세그먼트들로 구성되며, 상기 복수의 세그먼트 각각의 높이와 색에 따라 3차원의 동적 형상을 구현하는 동적 형상 표시부;
    제스처, 음성 및 전기적 신호 중 하나 이상을 포함하는 사용자 입력 신호를 감지하기 위한 입력 센서부; 및
    사용자 입력 신호에 따른 동적 형상을 구현하도록, 복수의 세그먼트 각각의 높이와 색을 제어하는 제어부를 포함하고,
    상기 복수의 세그먼트들은, 각각의 세그먼트의 높이와 색을 조절하는 구동부, 상기 구동부에 일단이 연결된 막대, 및 상기 막대의 타단에 연결된 광원을 포함하는 것을 특징으로 하는 동적 형상 표시 장치.
  2. 제 1 항에 있어서,
    상기 제어부는, 타깃 형상을 구현하기 위해,
    각각의 세그먼트를 대응하는 단위 셀들로 구획하고, 상기 타깃 형상의 경계에 대응하는 단위 셀들의 좌표를 추출하고,
    상기 타깃 형상의 경계 상에 배치되는 단위 셀들 각각에서, 상기 타깃 형상의 경계의 내부의 면적에 따라 대응하는 세그먼트의 높이와 색을 제어하는 것을 특징으로 하는 동적 형상 표시 장치.
  3. 제 2 항에 있어서,
    상기 타깃 형상의 경계 상에 배치되는 단위 셀들 각각에 일정한 간격의 복수의 포인트들을 배치하고,
    경계 상의 단위 셀 각각에서, 하나의 단위 셀 내에 배치된 포인트들의 수에 대한 상기 타깃 형상의 경계 내부에 배치되는 포인트들의 수의 비에 따라 대응하는 세그먼트의 높이와 색을 제어하는 것을 특징으로 하는 동적 형상 표시 장치.
  4. 제 1 항에 있어서,
    상기 입력 센서부는,
    사용자의 제스처를 입력하는 기 설정된 입력 공간과 상기 세그먼트들이 움직이는 작동 공간의 깊이 이미지 정보를 측정하는 깊이 이미지 측정부; 및
    상기 입력 공간과 작동 공간의 시각 이미지 정보를 측정하는 시각 이미지 측정부를 포함하는 것을 특징으로 하는 동적 형상 표시 장치.
  5. 제 4 항에 있어서,
    상기 깊이 이미지 측정부는, IR 이미터와 IR 깊이 센서로 구성되는 것을 특징으로 하는 동적 형상 표시 장치.
  6. 제 4 항에 있어서,
    상기 제어부가, 상기 작동 공간에 배치되는 물체와의 상호작용을 제어하도록,
    상기 시각 이미지 측정부에 연결되어, 측정된 시각 이미지 내의 표시부 내의 단위 셀들의 격자점과 단위 셀 내의 일정한 간격으로 배치된 복수의 포인트들을 추출하는 특징 추출부, 및 상기 복수의 포인트들에 기초하여 상기 물체의 윤곽 정보를 보정하여 물체의 위치를 인식하는 물체 인식부를 포함하고,
    상기 깊이 이미지 측정부에 연결되어, 측정된 깊이 이미지를 정규화하는 정규화부, 및 상기 정규화된 이미지에서 손가락의 손 영역의 위치 정보를 추적하는 손 추적부를 포함하는 것을 특징으로 하는 동적 형상 표시 장치.
  7. 제 6 항에 있어서,
    상기 물체 인식부는, 측정된 시각 이미지에서 캐니 에지 디텍터를 사용하여 물체의 에지 정보를 검출하고, 상기 에지 정보를 통하여 물체의 경계선을 추출하고 근사화하여 마커의 경계선을 추출하여 상기 시각 이미지에서의 마커의 위치 정보를 도출하고,
    상기 3차원 정보 산출부에서, 상기 마커의 위치 정보에 따라 깊이 이미지에서의 가상객체의 위치 정보를 산출하는 것을 특징으로 하는 동적 형상 표시 장치.
  8. 제 6 항에 있어서, 상기 손 추적부는,
    상기 깊이 이미지에서, 깊이 키잉을 사용하여 손 영역을 추출하는 손 영역 추출부;
    상기 손 영역에 대한 이진 이미지를 생성하는 이진 이미지 생성부;
    상기 이진 이미지에서 손의 윤곽을 추출하는 손 윤곽 추출부;
    상기 손의 윤곽에 대하여, 컨벡스 헐을 사용하여 외곽 지점을 산출하는 외곽 지점 산출부;
    상기 외곽 지점에 따라 손가락 끝 위치를 산출하는 손가락 위치 산출부; 및
    상기 손가락 끝 위치에 따라 손 영역의 경계볼륨을 생성하는 경계볼륨 생성부를 포함하는 것을 특징으로 하는 동적 형상 표시 장치.
  9. 제 6 항에 있어서, 상기 제어부는,
    깊이 이미지 내에 상기 물체의 위치 정보에 대응하는 가상객체의 위치 정보를 산출하는 3차원 정보 산출부;
    상기 손 영역의 경계볼륨과 가상객체의 위치 정보에 기초하여 충돌검사를 수행하여 상호작용 정보를 도출하는 터치 정보 산출부; 및
    상기 상호작용 정보에 기초하여, 각각의 세그먼트의 위치 및 색을 제어하는 세그먼트 위치 및 색 구동 제어부를 더 포함하는 것을 특징으로 하는 동적 형상 표시 장치.
  10. 제 1 항에 있어서,
    상기 광원은 발광 다이오드인 것을 특징으로 하는 동적 형상 표시 장치.
  11. 복수의 세그먼트들로 동적 형상을 표시하는 동적 형상 표시 방법으로,
    사용자 제스처, 음성 및 전기적 신호 중 하나 이상을 포함하는 사용자 입력 신호를 입력 센서부를 통하여 입력하는 단계; 및
    제어부를 통하여, 상기 사용자 입력 신호에 따라 복수의 세그먼트 각각의 높이와 색을 제어하여, 상기 복수의 세그먼트 각각의 높이와 색에 따라 동적 형상을 구현하는 단계를 포함하고,
    상기 복수의 세그먼트들은, 각각의 세그먼트의 높이와 색을 조절하는 구동부, 상기 구동부에 일단이 연결된 막대, 및 상기 막대의 타단에 연결된 광원을 포함하는 것을 특징으로 하는 동적 형상 표시 방법.
  12. 제 11 항에 있어서, 상기 입력 센서부는,
    사용자의 제스처를 입력하는 기 설정된 입력 공간과 상기 세그먼트들이 움직이는 작동 공간의 깊이 이미지 정보와 시각 이미지 정보를 측정하는 것을 특징으로 하는 동적 형상 표시 방법.
  13. 제 12 항에 있어서,
    상기 동적 형상을 구현하는 단계에서, 상기 제어부는,
    상기 시각 이미지에서, 캐니 에지 추적 방법을 통하여 상기 세그먼트들 상에 배치된 물체의 윤곽을 추적하여 깊이 이미지에서의 가상객체의 위치를 산출하고,
    상기 깊이 이미지에서, 깊이 키잉을 사용하여 손 윤곽을 추출하며,
    상기 손의 윤곽에 대하여, 컨벡스 헐을 사용하여 외곽 지점을 산출하고,
    상기 외곽 지점에 따라 손가락 끝 위치를 산출하며,
    상기 손가락 끝 위치에 따라 손 영역의 경계볼륨을 생성하고,
    상기 가상객체의 위치 정보와 손 영역의 경계볼륨의 충돌검사에 따라서 상기 물체를 조작하도록 상기 세그먼트들을 제어하는 것을 특징으로 하는 동적 형상 표시 방법.
KR1020160068364A 2016-06-01 2016-06-01 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법 KR101863275B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160068364A KR101863275B1 (ko) 2016-06-01 2016-06-01 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160068364A KR101863275B1 (ko) 2016-06-01 2016-06-01 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법

Publications (2)

Publication Number Publication Date
KR20170136367A true KR20170136367A (ko) 2017-12-11
KR101863275B1 KR101863275B1 (ko) 2018-05-31

Family

ID=60943616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160068364A KR101863275B1 (ko) 2016-06-01 2016-06-01 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법

Country Status (1)

Country Link
KR (1) KR101863275B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230152312A (ko) * 2022-04-27 2023-11-03 한국로봇융합연구원 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230152312A (ko) * 2022-04-27 2023-11-03 한국로봇융합연구원 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법

Also Published As

Publication number Publication date
KR101863275B1 (ko) 2018-05-31

Similar Documents

Publication Publication Date Title
CN107532885B (zh) 光图案中的强度变化用于体积中的物体的深度绘制
US11954808B2 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
US9842122B2 (en) Method and apparatus for searching images
US9927881B2 (en) Hand tracker for device with display
CN102799318B (zh) 一种基于双目立体视觉的人机交互方法及系统
US8890812B2 (en) Graphical user interface adjusting to a change of user's disposition
CN102541365B (zh) 产生多点触碰指令的系统与方法
US10060734B2 (en) Dimension measurement device, dimension measurement method, dimension measurement system, and program
US8786576B2 (en) Three-dimensional space touch apparatus using multiple infrared cameras
EP2645303A2 (en) Gesture recognition inrterface system
US20150002419A1 (en) Recognizing interactions with hot zones
TWI520036B (zh) 物件偵測方法以及用於光學觸控系統的校正裝置
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR101863275B1 (ko) 동적 형상 표시 장치 및 이를 이용한 동적 형상 표시 방법
JP2016218893A (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
KR20130055118A (ko) 싱글 적외선 카메라 방식의 공간 터치 장치
KR20160141023A (ko) 액션이벤트·실감미디어컨텐츠연동을 수행하는 비접촉 스마트제스처인식장치 및 방법
KR100969927B1 (ko) 사용자 지향적 비접촉식 상호 작용 디스플레이 장치
JP6068741B2 (ja) 表示システム
JP2022128087A (ja) 計測システム及び計測プログラム
Matsubara et al. Touch detection method for non-display surface using multiple shadows of finger
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
KR101904733B1 (ko) 3ｄ 카메라를 이용한 입력 위치 검출 장치
CN104915065A (zh) 物件检测方法以及用于光学触控系统的校正装置
JP2018037766A (ja) 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160601

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180316

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180521

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180525

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180528

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210426

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220425

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230424

Start annual number: 6

End annual number: 6