KR101082829B1 - 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법 - Google Patents

영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법 Download PDF

Info

Publication number
KR101082829B1
KR101082829B1 KR1020090094304A KR20090094304A KR101082829B1 KR 101082829 B1 KR101082829 B1 KR 101082829B1 KR 1020090094304 A KR1020090094304 A KR 1020090094304A KR 20090094304 A KR20090094304 A KR 20090094304A KR 101082829 B1 KR101082829 B1 KR 101082829B1
Authority
KR
South Korea
Prior art keywords
output screen
finger
image
point
indicator
Prior art date
Application number
KR1020090094304A
Other languages
English (en)
Other versions
KR20110037053A (ko
Inventor
백문기
Original Assignee
백문기
(주)휴비드씨엔에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 백문기, (주)휴비드씨엔에스 filed Critical 백문기
Priority to KR1020090094304A priority Critical patent/KR101082829B1/ko
Publication of KR20110037053A publication Critical patent/KR20110037053A/ko
Application granted granted Critical
Publication of KR101082829B1 publication Critical patent/KR101082829B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

본 발명은 영상센서를 이용한 3차원 공간 터치 입력장치에 관한 것이다. 본 발명은 출력화면의 일측에 설치되어 제1촬영영상을 생성하여 출력화면 제어장치에 전송하는 제1영상센서와 출력화면의 타측에 설치되어 제2촬영영상을 생성하여 출력화면 제어장치에 전송하는 제2영상센서, 출력화면을 제어하는 손가락 동작 데이터 및 지시봉 동작 데이터가 저장되는 저장부 및 상기 제1촬영영상 및 제2촬영영상을 전송받고, 상기 제1촬영영상 또는 제2촬영영상 중 어느 하나의 촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출한 뒤, 그 움직임을 인식하며, 그 움직임이 상기 저장부에 저장된 출력화면을 제어하는 동작 인가를 판단하고, 출력화면을 제어하는 동작인 경우 그 동작에 대응되는 출력화면 제어신호를 생성하며, 제1촬영영상 및 제2촬영영상에서 각각 눈 및 손가락 또는 지시봉을 추출하고, 그 눈 및 손가락 또는 지시봉의 위치에 근거하여 사용자가 가리키는 출력화면의 매핑포인트를 판단하고, 상기 출력화면 제어신호 및 매핑포인트 그리고 손가락 또는 지시봉에 의한 3차원 입력정보를 출력장치에 전송하는 출력화면 제어장치를 포함한다.
Figure R1020090094304
영상센서, 입력장치, 영상, 영상분석, 인식장치, 카메라

Description

영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법{The user interface apparatus and method for 3D space-touch using multiple imaging sensors}
본 발명은 영상센서를 이용한 3차원 공간 터치 입력장치에 관한 것으로, 보다 상세하게는 출력장치가 출력화면을 출력함에 있어서, 출력화면의 일측 및 그 타측에 영상센서를 구비하고, 출력화면 제어장치가 그 영상센서가 촬영한 촬영영상을 분석하여, 어느 사용자가 그 사용자의 손 또는 지시봉(예컨대, 볼펜, 나무막대 등)을 이용하여 출력화면을 제어하는 출력화면 제어신호(예컨대, 출력화면의 소정영역을 더블클릭 하는 동작 등)를 입력하는 동작을 수행하고 있다고 판단을 하면, 그 출력화면 제어신호와 매핑정보를 생성하여 출력장치에 전송함으로써, 사용자가 별도의 입력장치를 구비하지 않아도, 출력화면을 제어할 수 있고 3차원 입력정보를 제공할 수 있어 사용자에게 편의성을 제공하고, 사용자의 흥미를 배가시키는 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법에 관한 것이다.
본 발명은 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법에 관한 것이다.
종래에는 사용자가 프레젠테이션 중에 그 프레젠테이션 화면 중 어느 특정 지정위치를 가리키거나 컴퓨터의 모니터 화면 중 어느 특정 지정위치를 가리키기 위해서는 유무선 키보드와 마우스가 널리 사용된다.
이때, 마우스는 컴퓨터 화면 위의 어떤 특정 지정위치를 가리키거나, 그 위치로부터 다른 곳으로 이동하기 위해 사용되는 입력장치의 하나로서, 미국의 애플 컴퓨터사가 매킨토시의 표준 입력장치로 개발한 후 기능을 향상시켜가며 컴퓨터 하드웨어의 하나로 널리 사용된다.
그리고 최근에는 마우스와 같은 기능을 수행하는 포인팅(pointing) 장치들이 사용되기도 한다. 그러나 이러한 포인팅 장치들은 출력화면의 특정부분을 가리키기만 할 뿐 입력을 수행할 수는 없다.
또한, 최근에는 마우스와 같은 기능을 수행하기 위한 장갑 형태의 입력장치등이 개발되어 사용되기도 한다. 이 장갑 형태의 입력장치는 그 장갑형태의 입력장치를 사용한 사용자가 미리 설정된 공간 상에서 그 장갑형태의 입력장치를 착용하면, 그 장갑을 착용한 손의 움직임(예컨대, 손이 출력화면의 특정 위치를 가리키거나, 클릭하는 움직임 등)을 판단하여 손이 미리 설정된 동작을 하는 경우 포인팅 위치를 잡는 것이다.
상술된 바와 같이 종래의 마우스를 이용하여 작업을 수행하는 경우에는, 사용자의 움직임이 책상 위에서만 가능하여 공간상의 제약을 받는 문제점이 있다.
또한, 종래의 입력장치들은 유무선 마우스 키보드 그리고 장갑형태의 입력장치와 같은 별도의 장치가 꼭 구비되어야 가능하기 때문에 비용이 발생하고, 이러한 장치들은 무선일 경우, 별도의 통신 기능도 가져야 하기 때문에 비용이 발생하며, 사용자가 그 장치를 이용하여 별도의 입력작업을 수행해야 하기 때문에 장애가 있는 사용자가 있다거나, 장치가 없는 사용자는 사용할 수 없어 불편함을 겪는 문제점이 있다.
따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 출력화면의 일측 및 그 타측에 영상센서를 구비하고, 출력화면 제어장치가 그 영상센서가 촬영한 촬영영상을 분석하여, 어느 사용자가 그 사용자의 손가락 또는 지시봉(예컨대, 볼펜, 나무막대 등)을 이용하여 출력화면을 제어하는 출력화면 제어신호(예컨대, 출력화면의 소정영역을 더블클릭 하는 동작 등)를 입력하는 동작을 수행하고 있다고 판단을 하면, 그 출력화면 제어신호와 3차원 매핑정보를 생성하여 출력장치에 전송함으로써, 사용자가 별도의 입력장치를 구비하지 않아도, 출력화면을 제어할 수 있고 3차원 입력정보를 제공할 수 있어 사용자에게 편의성을 제공하고, 사용자의 흥미를 배가시키는 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법을 제공하는 데에 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 출력화면의 일측에 설치되어 미리 지정된 구역을 촬영하고, 제1촬영영상을 생성하여 출력화면 제어장치에 전송하는 제1영상센서; 출력화면의 타측에 설치되어 미리 지정된 구역을 촬영하고, 제2촬영영상을 생성하여 출력화면 제어장치에 전송하는 제2영상센서; 출력화면을 제어하는 손가락 동작 데이터 및 지시봉 동작 데이터가 저장되는 저장부; 및 상기 제1촬영영상 및 제2촬영영상을 전송받고, 상기 제1촬 영영상 또는 제2촬영영상 중 어느 하나의 촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출한 뒤, 그 손가락 또는 지시봉의 움직임을 인식하며, 그 손가락 또는 지시봉의 움직임이 상기 저장부에 저장된 출력화면을 제어하는 동작 인가를 판단하고, 출력화면을 제어하는 동작인 경우 그 동작에 대응되는 출력화면 제어신호를 생성하며, 제1촬영영상 및 제2촬영영상에서 각각 눈 및 손가락 또는 지시봉을 추출하고, 그 눈 및 손가락 또는 지시봉의 위치에 근거하여 사용자가 가리키는 출력화면의 매핑포인트를 판단하고, 상기 출력화면 제어신호, 매핑 포인트, 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 출력장치에 전송하는 출력화면 제어장치;를 포함한다.
이때, 상기 출력화면 제어장치는, 상기 출력화면을 제어하는 손가락 동작 또는 지시봉 동작이 입력되었다고 판단하는 경우, 상기 출력화면을 제어하는 손가락 동작 또는 지시봉 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져온 뒤, 상기 제1촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점의 2차원 좌표값을 구하며, 상기 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며, 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1 촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구하며, 오른쪽 눈의 3차원 위치좌표, 왼쪽 눈의 3차원 위치좌표 중 어느 하나를 제1포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트와 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 매핑포인트로 판단하는 것이 바람직하다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 다른 특징에 따르면, 본 발명은 (A)출력화면의 일측 및 타측에 설치된 제1영상센서 및 제2영상센서가 지정된 구역을 촬영하고 제1촬영영상 및 제2촬영영상을 출력화면 제어장치에 전송하는 단계; (B)출력화면 제어장치가 상기 (A)단계에 의해 전송받은 제1촬영영상 또는 제2촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출하는 단계; (C)출력화면 제어장치가 상기 (B)단계에 의해 추출된 손가락 또는 지시봉의 움직임을 인식하여 그 손가락 또는 지시봉의 움직임이 미리 설정된 출력화면을 제어하는 동작인지 판단하는 단계; (D)출력화면 제어장치가 상기 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 동작에 대응되는 출력화면 제어신호를 생성하는 단계; (E)출력화면 제어장치가 상기 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 동작인 경우, 그 동작을 한 시점의 제1촬영영상 및 제2촬영영상을 가져온뒤, 그 제1촬영영상 및 제2촬영영 상의 외곽선 및 RGB값을 분석하여 눈 및 손가락 또는 지시봉의 위치를 판단하고, 그 위치에 근거하여 사용자가 가리키는 출력화면의 매핑포인트를 생성하는 단계; 및 (F)출력화면 제어장치가 상기 출력화면 제어신호, 매핑 포인트, 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 출력장치에 전송하는 단계;를 포함한다.
이때, 상기 (E)단계는 (E1)출력화면 제어장치가 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 손가락 또는 지시봉의 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져오는 단계; (E2)출력화면 제어장치가 상기 (E1)단계에 의해 획득된 제1촬영영상 및 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하는 단계; (E3)출력화면 제어장치가 상기 (E2)단계에 의해 판단된 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점의 위치에 근거하여, 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며, (E2)단계에 의해 판단된 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 끝 지점의 위치에 근거하여, 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하는 단계; (E4)출력화면 제어장치가 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값 을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구하는 단계; 및 (E5)출력화면 제어장치가 오른쪽 눈, 왼쪽 눈의 3차원 위치좌표 중 어느 하나의 지점을 제1포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트와 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 매핑포인트로 판단하는 단계;를 포함하는 것이 바람직하다.
위에서 설명한 바와 같은 본 발명에 따르면, 본 발명은 출력화면의 일측 및 그 타측에 영상센서를 구비하고, 출력화면 제어장치가 그 영상센서가 촬영한 촬영영상을 분석하여, 어느 사용자가 그 사용자의 손가락 또는 지시봉(예컨대, 볼펜, 나무막대 등)을 이용하여 출력화면을 제어하는 출력화면 제어신호(예컨대, 출력화면의 소정영역을 더블클릭 하는 동작 등)를 입력하는 동작을 수행하고 있다고 판단을 하면, 그 출력화면 제어신호와 3차원 매핑정보를 생성하여 출력장치에 전송함으로써, 사용자가 별도의 입력장치를 구비하지 않아도, 출력화면을 제어할 수 있고 3차원 입력정보를 제공할 수 있어 사용자에게 편의성을 제공하고, 사용자의 흥미를 배가시키는 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법을 제공할 수 있다.
이하에서는 상기한 바와 같은 본 발명에 의한 영상센서를 이용한 입력장치 의 바람직한 실시예를 첨부된 도면을 참고로 하여 상세하게 설명한다.
도 1에는 본 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치의 전체구성을 도시한 시스템도가 도시되어 있고, 도 2에는 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치의 내부구성을 도시한 블럭도가 도시되어 있다.
도 1 및 도 2를 참조하면, 본 발명은 출력화면(100), 제1영상센서(111), 제2영상센서(113), 출력화면 제어장치(200) 그리고 출력장치(300)를 포함한다.
이때, 출력장치(300)는 출력화면(100)과 연결되고, 출력화면(100)에 소정 영상이 출력되도록 처리한다. 좀 더 구체적으로, 그 출력화면(100)은 스크린 일 수 있고, 출력장치(300)는 빔프로젝터 같은 장비를 이용하여 그 출력화면(100)에 출력장치(300)의 자기화면이 출력되도록 처리할 수 있다. 빔 프로젝터와 같은 장비를 사용하지 않고도, 출력장치(300)와 출력화면을 케이블과 같은 장비로 연결하여 사용할 수도 있다.
제1영상센서(111)는 출력화면(100)의 일측에 설치되어 미리 지정된 구역을 촬영하고, 그 촬영영상을 출력화면 제어장치의 영상수신부(210)에 전송한다.
그리고 제2영상센서(113)는 출력화면(100)의 타측에 설치되어 미리 지정된 구역을 촬영하고, 그 촬영영상을 출력화면 제어장치의 영상수신부(210)에 전송한다.
한편, 출력화면 제어장치(200)는 저장부(250), 영상수신부(210), 영상분석부(220), 좌표산출부(230), 제어신호 생성부(240)를 포함한다.
저장부(250)에는 출력화면을 제어하는 손가락동작 데이터 또는 지시봉(예컨대, 볼펜, 나무막대 등)동작 데이터가 저장된다. 예컨대, 출력화면을 제어하는 손동작 데이터는 "둘째 손가락만을 뻗은 손모양을 미리 설정된 시간(예컨대;1초)내에 두번 움직이는 경우 더블클릭으로 판단 또는 다섯개의 손가락을 모두 뻗은 손모양을 미리 설정된 시간(예컨대;1초)내에 다섯번 움직이는 경우 화면종료로 판단 또는 지시봉을 미리 설정된 시간(예컨대;1초)내에 두번 움직이는 경우 더블클릭으로 판단" 등이 될 수 있다. 상기 저장부(250)에는 저장되는 데이터의 용량에 따라, 이이피롬(EPROM), 플래쉬메모리, 외장형메모리와 같은 다양한 저장매체가 제공될 수 있다.
영상수신부(210)는 제1영상센서(111) 및 제2영상센서(113)로부터 각각의 촬영영상을 전송받는다. 이하에서는 설명의 이해를 돕고자 제1영상센서가 촬영한 영상을 제1촬영영상, 제2영상센서가 촬영한 영상을 제2촬영영상이라 하기로 한다.
그리고 영상분석부(220)는 제1촬영영상 또는 제2촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상 내 손가락 또는 지시봉을 추출한 뒤, 그 손가락 또는 지시봉의 움직임을 인식하며, 손가락 또는 지시봉의 움직임이 상기 저장부에 저장된 출력화면을 제어하는 손가락 또는 지시봉 동작인가를 판단한 뒤, 출력화면을 제어하는 손가락 또는 지시봉 동작인 경우 그 동작에 대응되는 출력화면 제어신호를 생성한 다. 이때, 영상분석부(220)는 촬영영상 내에서 미리 설정된 RGB값(예컨대, 피부색)을 가지고, 미리 설정된 형태(예컨대, 손의 형태)를 가지는 것을 손으로 판단한다. 또한, 영상분석부(220)는 촬영영상 내에서 미리 설정된 형태(예컨대, 가늘고 긴 막대기의 형태)를 가지는 것을 지시봉으로 판단한다. 여기서, 영상분석부(220)가 지시봉을 용이하게 판단하기 위하여, 사용자는 미리 지정된 형태의 지시봉만을 이용하는 것이 바람직하다. 여기서 지시봉은 가늘고 긴 막대기의 형태를 가지는 볼펜, 나무막대인 것이 바람직하나, 다양한 변형과 개작을 할 수 있다는 것이 자명하다.
그리고 좌표산출부(230)는 출력화면을 제어하는 손가락 또는 지시봉의 동작이 입력되었다고 판단하는 경우, 그 손가락 또는 지시봉 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져온 뒤, 그 제1촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며, 그 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 손가락 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구한다.
이후, 좌표산출부(230)는 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영 영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구한다.
그리고 좌표산출부(230)는 오른쪽 눈, 왼쪽 눈의 3차원 위치좌표 중 어느 하나의 지점을 제1포인트(101)로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트(103)로 판단하며, 상기 제1포인트, 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 3차원 매핑포인트(107)로 판단하는 것이 바람직하다.
도 4에는 좌표산출부(230)가 3차원 매핑포인트를 판단하는 것을 설명하는 설명도가 도시되어 있다.
도 4를 참조하면, 좌표산출부(230)는 제1촬영영상 및 제2촬영영상에서 획득한 상기 목표물(본 발명에서는 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝지점)의 각각의 2차원 좌표를 스테레오 사진측량법의 삼각측량법에 적용하여 변이영상의 깊이값을 포함하는 공간상의 하나의 3차원 좌표로 변환할 수 있는 것이다.
스테레오 사진측량법의 삼각측량법은 [수학식 1]이 사용된다.
Figure 112009060885325-pat00001
Figure 112009060885325-pat00002
여기서, 제1영상센서에 의해 영상이 맺히는 부분의 좌표를 P1(x1, y1)이라 하고, 제2영상센서에 의해 영상이 맺히는 부분의 좌표를 P2(x2, y2)이라 하며, 원점은 P1 이 위치한 제1영상센서의 중심점이고, Pt(X',Y',Z')는 눈 또는 손가락 끝의 좌표이다.
여기서 B는 제1영상센서와 제2영상센서간의 거리를 나타내고, f는 제1영상센서와 제2영상센서의 초점까지의 거리를 나타낸다.
이하에서는 도 4를 참조하여, 일 예를 들어 출력화면의 매핑포인트를 구하는 것을 설명하기로 한다.
우선, [수학식 1]의 (식 1)을 이용하면, Z1, Z2를 구할 수 있다. 또한 눈과 손가락 사이의 거리(이하에서는 'Zd'라고 함)는 [수학식 2]를 이용하여 구할 수 있다.
Figure 112009060885325-pat00003
도 4를 참조하여, Pt(X',Y',Z')를 입력평면(여기서, 입력평면은 가상화면을 의미한다.) 내의 손가락 끝의 좌표 Pt라고 가정하면, 이 3차원 좌표 Pt(X', Y', Z')를 출력평면(여기서, 출력평면은 출력화면을 의미한다.)에 투사시켜 Pt'(x,y)좌표를 구할 수 있는 것이다. 여기서, Pt'(x,y) 좌표값은 [수학식 3]를 이용하여 구할 수 있다.
이때, 이 Pt'의 좌표에 투사되는 입력평면 상의 점은 입력평면의 위치가 실시간으로 변하면서 Pt와 Pt' 직선상의 여러 점에 대응될 수 있으나, 각각의 대응점들의 Z'좌표는 다를 것이므로 이를 이용하여 사용자의 3차원 입력정보를 화면 출력장치에 전송하게 된다. 즉, Pt에 의해서 입력되는 2차원 정보인 Pt'로 투사되어 사용되고, 또한 3차원 입력정보인 Pt도 추가적인 활용이 가능해지는 것이다.
Figure 112009060885325-pat00004
제어신호 전송부(240)는 상기 영상분석부(220)에 의해 생성된 출력화면 제어신호 및 좌표산출부(230)에 의해 생성된 그 출력화면 제어신호가 발생한 시점의 매핑포인트를 출력장치(300)에 전송한다. 그러면 출력장치(300)는 그 출력화면 제어신호 및 매핑포인트에 따라 출력화면에 출력되는 출력화면이 변경되도록 할 수 있 는 것이다.
상기한 바와 같은 구성을 가지는 본 발명에 의하면, 본 발명은 출력화면을 제어하는 출력장치가 멀리 떨어져 있거나, 아예 접근이 차단된 공간에 설치되어 있는 경우에 용이하게 사용될 수 있는 장점이 있으며, 또한 출력화면을 제어하기 위한 출력화면 제어신호를 입력받는 입력장치(예컨대, 마우스 등)의 조작이 힘든 장애우에게도 용이하게 사용될 수 있는 장점이 있다.
이하에서는 본 발명에 따른 영상센서를 이용한 3차원 공간 터치 입력장치의 동작과정을 첨부된 도면을 참조하여 상세하게 설명하기로 한다.
출력화면(100)의 일측 및 타측에 설치된 제1영상센서(111) 및 제2영상센서(113)가 지정된 구역을 촬영하여 제1촬영영상 및 제2촬영영상을 생성하고(단계 S100), 그 제1촬영영상 및 제2촬영영상을 출력화면 제어장치(200)의 영상수신부(210)에 전송한다(단계 S110).
이후, 영상분석부(220)가 단계 S110에 의해 전송받은 제1촬영영상 또는 제2촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손을 추출하고, 그 추출된 손가락 또는 지시봉의 움직임을 인식하여 그 손가락 또는 지시봉의의 움직임이 미리 설정된 출력화면을 제어하는 동작인지 판단한다(단계 S130).
그리고 영상분석부(220)가 단계 S130의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 동작에 대응되는 출력화면 제어신 호를 생성한다.
한편, 좌표산출부(230)는 단계 S130의 판단결과, 미리 설정된 출력화면을 제어하는 손동작인 경우, 상기 출력화면을 제어하는 손동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져온 뒤, 상기 제1촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉의 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉의 끝 지점 2차원 좌표값을 구하며(단계 S140), 상기 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉의 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉의 끝 지점 2차원 좌표값을 구한다(단계 S150).
이후, 좌표산출부(230)는 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉의 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉의 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 구한다.
그리고 좌표산출부(230)는 오른쪽 눈, 왼쪽 눈의 3차원 위치좌표 중 어느 하나의 지점을 제1포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트, 제2포인트를 연결한 연장선과 출력화 면이 만나는 포인트를 매핑포인트로 판단한다(단계 S160).
이후, 제어신호 생성부(240)는 상기 출력화면 제어신호, 매핑포인트 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 그 출력화면을 제어하는 출력장치(300)에 전송한다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
도 1은 본 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치의 전체구성을 도시한 시스템도.
도 2는 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치의 내부구성을 도시한 블럭도.
도 3은 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치가 동작하는 모습을 도시한 순서도.
* 도면의 주요 부분에 대한 부호의 설명 *
100 : 출력화면 101 : 제1포인트
103 : 제2포인트 105 : 가상화면
110 : 영상센서 200 : 출력화면 제어장치
210 : 영상수신부 220 : 영상분석부
230 : 좌표산출부 240 : 제어신호 생성부
250 : 저장부 300 : 출력장치

Claims (4)

  1. 출력화면의 일측에 설치되어 미리 지정된 구역을 촬영하고, 제1촬영영상을 생성하여 출력화면 제어장치에 전송하는 제1영상센서;
    출력화면의 타측에 설치되어 미리 지정된 구역을 촬영하고, 제2촬영영상을 생성하여 출력화면 제어장치에 전송하는 제2영상센서;
    출력화면을 제어하는 손가락 동작 데이터 및 지시봉 동작 데이터가 저장되는 저장부; 및
    상기 제1촬영영상 및 제2촬영영상을 전송받고, 상기 제1촬영영상 또는 제2촬영영상 중 어느 하나의 촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출한 뒤, 그 손가락 또는 지시봉의 움직임을 인식하며, 그 손가락 또는 지시봉의 움직임이 상기 저장부에 저장된 출력화면을 제어하는 동작 인가를 판단하고, 출력화면을 제어하는 동작인 경우 그 동작에 대응되는 출력화면 제어신호를 생성하며, 제1촬영영상 및 제2촬영영상에서 각각 눈 및 손가락 또는 지시봉을 추출하고, 그 눈 및 손가락 또는 지시봉의 위치에 근거하여 사용자가 가리키는 출력화면의 매핑포인트를 판단하고, 상기 출력화면 제어신호, 매핑 포인트, 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 출력장치에 전송하는 출력화면 제어장치;를 포함하고,
    상기 출력화면 제어장치는,
    상기 출력화면을 제어하는 손가락 동작 또는 지시봉 동작이 입력되었다고 판단하는 경우,
    상기 출력화면을 제어하는 손가락 동작 또는 지시봉 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져온 뒤, 상기 제1촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈,손가락 또는 지시봉 끝 지점의 2차원 좌표값을 구하며,
    상기 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며,
    제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구하며,
    오른쪽 눈의 3차원 위치좌표, 왼쪽 눈의 3차원 위치좌표 중 어느 하나를 제1포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트와 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 매핑포인트로 판단하는 것을 특징으로 하는 영상센서를 이용한 3차원 공간 터치 입력장치.
  2. 삭제
  3. (A)출력화면의 일측 및 타측에 설치된 제1영상센서 및 제2영상센서가 지정된 구역을 촬영하고 제1촬영영상 및 제2촬영영상을 출력화면 제어장치에 전송하는 단계;
    (B)출력화면 제어장치가 상기 (A)단계에 의해 전송받은 제1촬영영상 또는 제2촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출하는 단계;
    (C)출력화면 제어장치가 상기 (B)단계에 의해 추출된 손가락 또는 지시봉의 움직임을 인식하여 그 손가락 또는 지시봉의 움직임이 미리 설정된 출력화면을 제어하는 동작인지 판단하는 단계;
    (D)출력화면 제어장치가 상기 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 동작에 대응되는 출력화면 제어신호를 생성하는 단계;
    (E)출력화면 제어장치가 상기 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 동작인 경우, 그 동작을 한 시점의 제1촬영영상 및 제2촬영영상을 가져온뒤, 그 제1촬영영상 및 제2촬영영상의 외곽선 및 RGB값을 분석하여 눈 및 손가락 또는 지시봉의 위치를 판단하고, 그 위치에 근거하여 사용자가 가리키는 출력화면의 3차원 매핑포인트를 생성하는 단계; 및
    (F)출력화면 제어장치가 상기 출력화면 제어신호, 매핑 포인트, 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 출력장치에 전송하는 단계;를 포함하고,
    상기 (E)단계는
    (E1)출력화면 제어장치가 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 손가락 또는 지시봉의 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져오는 단계;
    (E2)출력화면 제어장치가 상기 (E1)단계에 의해 획득된 제1촬영영상 및 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하는 단계;
    (E3)출력화면 제어장치가 상기 (E2)단계에 의해 판단된 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점의 위치에 근거하여, 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며, (E2)단계에 의해 판단된 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 끝 지점의 위치에 근거하여, 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하는 단계;
    (E4)출력화면 제어장치가 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구하는 단계; 및
    (E5)출력화면 제어장치가 오른쪽 눈, 왼쪽 눈의 3차원 위치좌표 중 어느 하나의 지점을 제1포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트와 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 매핑포인트로 판단하는 단계;를 포함하는 영상센서를 이용한 3차원 공간 터치 입력장치의 입력방법.
  4. 삭제
KR1020090094304A 2009-10-05 2009-10-05 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법 KR101082829B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090094304A KR101082829B1 (ko) 2009-10-05 2009-10-05 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090094304A KR101082829B1 (ko) 2009-10-05 2009-10-05 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110037053A KR20110037053A (ko) 2011-04-13
KR101082829B1 true KR101082829B1 (ko) 2011-11-11

Family

ID=44044587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090094304A KR101082829B1 (ko) 2009-10-05 2009-10-05 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101082829B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101453815B1 (ko) 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
US9886623B2 (en) 2015-05-13 2018-02-06 Electronics And Telecommunications Research Institute User intention analysis apparatus and method based on image information of three-dimensional space
AU2017200557B2 (en) * 2016-02-11 2018-11-29 Il Shik Yoon Apparatus and method for controlling operation of elevator using monitor

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120126508A (ko) * 2011-05-12 2012-11-21 김석중 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101364133B1 (ko) * 2011-06-15 2014-02-21 주식회사 브이터치 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
KR101235432B1 (ko) * 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR101335394B1 (ko) * 2012-02-06 2013-12-03 크레신 주식회사 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치
KR101533320B1 (ko) * 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
KR101343748B1 (ko) * 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR101321274B1 (ko) * 2012-05-29 2013-11-08 주식회사 브이터치 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
KR101985674B1 (ko) 2012-09-18 2019-06-04 삼성전자 주식회사 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
KR102191061B1 (ko) * 2019-03-11 2020-12-15 주식회사 브이터치 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2021118115A1 (ko) * 2019-12-10 2021-06-17 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:한국정보기술학회

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101453815B1 (ko) 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
WO2016017932A1 (ko) * 2014-08-01 2016-02-04 스타십벤딩머신 주식회사 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
US10365713B2 (en) 2014-08-01 2019-07-30 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view
US9886623B2 (en) 2015-05-13 2018-02-06 Electronics And Telecommunications Research Institute User intention analysis apparatus and method based on image information of three-dimensional space
AU2017200557B2 (en) * 2016-02-11 2018-11-29 Il Shik Yoon Apparatus and method for controlling operation of elevator using monitor

Also Published As

Publication number Publication date
KR20110037053A (ko) 2011-04-13

Similar Documents

Publication Publication Date Title
KR101082829B1 (ko) 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US10007351B2 (en) Three-dimensional user interface device and three-dimensional operation processing method
JP6723061B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP5871345B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
KR101556992B1 (ko) 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
US20170140552A1 (en) Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
JP5818857B2 (ja) 情報処理装置およびその制御方法
EP2977924A1 (en) Three-dimensional unlocking device, three-dimensional unlocking method and program
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
EP2879098A1 (en) Three-dimensional environment sharing system, and three-dimensional environment sharing method
JP2014501011A5 (ko)
JP2015505089A (ja) 姿勢を推定する方法及び装置
US20150339859A1 (en) Apparatus and method for navigating through volume image
TW201606574A (zh) 操作畫面顯示裝置、操作畫面顯示方法以及非暫時性之記錄媒體
US20130187890A1 (en) User interface apparatus and method for 3d space-touch using multiple imaging sensors
JP6501806B2 (ja) 情報処理装置、操作検出方法、及びコンピュータプログラム
JP6127465B2 (ja) 情報処理装置、情報処理システム及びプログラム
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
KR101542671B1 (ko) 공간 터치 방법 및 공간 터치 장치
US20200267365A1 (en) Information processing system, method for controlling same, and program
CN111158489B (zh) 一种基于摄像头的手势交互方法及手势交互系统
KR20200120467A (ko) Hmd 장치 및 그 동작 방법
JP2022011821A (ja) 情報処理装置、情報処理方法、移動ロボット

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151109

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee