KR101913319B1 - 깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치 - Google Patents

깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치 Download PDF

Info

Publication number
KR101913319B1
KR101913319B1 KR1020130083271A KR20130083271A KR101913319B1 KR 101913319 B1 KR101913319 B1 KR 101913319B1 KR 1020130083271 A KR1020130083271 A KR 1020130083271A KR 20130083271 A KR20130083271 A KR 20130083271A KR 101913319 B1 KR101913319 B1 KR 101913319B1
Authority
KR
South Korea
Prior art keywords
area
depth
region
user input
input detection
Prior art date
Application number
KR1020130083271A
Other languages
English (en)
Other versions
KR20150009158A (ko
Inventor
한승주
한재준
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130083271A priority Critical patent/KR101913319B1/ko
Priority to US14/302,908 priority patent/US9721151B2/en
Publication of KR20150009158A publication Critical patent/KR20150009158A/ko
Application granted granted Critical
Publication of KR101913319B1 publication Critical patent/KR101913319B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

깊이 영상에서 인터페이싱 영역을 검출하는 장치가 개시된다. 일 실시예 따른 장치는 깊이 영상에서 제1 영역에 대응되는 깊이와 제1 영역 외부의 제2 영역에 대응되는 깊이에 기초하여 인터페이싱 영역을 검출한다.

Description

깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치{MEHTOD AND APPARATUS FOR DETECTING AN INTERFACING RESION IN A DEPTH IMAGE}
아래 실시예들은 깊이 영상을 이용한 유저 인터페이싱 기법에 관한 것이다.
네츄럴 유저 인터페이스(natural user interface) 기술은 사람의 자연스러운 동작을 이용하는 사용자 입력 처리 기법이다. 예를 들어, 네츄럴 유저 인터페이스 기술을 이용하면 스마트 TV 앞에서 리모콘 없이 손 동작 만으로 볼륨을 조절하거나, 콘텐츠를 선택하는 등 다양한 형태의 입력이 가능하다.
일 측에 따른 사용자 입력 검출 방법은 깊이 영상에서 제1 영역에 대응되는 깊이와 상기 제1 영역 외부의 제2 영역에 대응되는 깊이를 비교하는 단계; 및 상기 제1 영역에 대응되는 깊이와 상기 제2 영역에 대응되는 깊이 사이의 깊이 차이에 기초하여 상기 제1 영역에 포함된 적어도 하나의 점을 인터페이싱 영역으로 분류하는 단계를 포함한다.
이 때, 상기 분류하는 단계는 상기 제1 영역에 포함된 복수의 점들 대비 상기 제1 영역에 포함된 복수의 점들 중 상기 제2 영역에 대응되는 깊이보다 임계 깊이 차이 이상 작은 점들의 비율이 임계 비율보다 큰지 여부를 판단하는 단계를 포함할 수 있다. 또한, 상기 분류하는 단계는 상기 제1 영역의 중심점을 상기 인터페이싱 영역으로 분류하는 단계를 포함할 수 있다.
또한, 상기 사용자 입력 검출 방법은 상기 깊이 영상에 포함된 복수의 점들 중 어느 한 점을 선택하는 단계; 및 상기 선택된 어느 한 점에서 상기 제1 영역 및 상기 제2 영역을 설정하는 단계를 더 포함할 수 있다.
또한, 상기 사용자 입력 검출 방법은 상기 깊이 영상에 포함된 오브젝트의 끝점을 검출하는 단계; 및 상기 검출된 끝점에서 상기 제1 영역 및 상기 제2 영역을 설정하는 단계를 더 포함할 수 있다.
또한, 상기 검출하는 단계는 상기 깊이 영상에 포함된 오브젝트의 중심을 산출하는 단계; 상기 오브젝트의 중심을 기준으로 상기 오브젝트에 포함된 복수의 점들 사이의 거리 정보를 산출하는 단계; 및 상기 거리 정보에 기초하여 상기 끝점을 검출하는 단계를 포함할 수 있다.
다른 일 측에 따른 사용자 입력 검출 장치는 깊이 영상에서 제1 영역에 대응되는 깊이와 상기 제1 영역 외부의 제2 영역에 대응되는 깊이를 비교하는 비교부; 및 상기 제1 영역에 대응되는 깊이와 상기 제2 영역에 대응되는 깊이 사이의 깊이 차이에 기초하여 상기 제1 영역에 포함된 적어도 하나의 점을 인터페이싱 영역으로 분류하는 분류부를 포함한다.
도 1은 일 실시예에 따른 사용자 입력 검출 장치를 설명하기 위한 도면.
도 2는 일 실시예에 따른 사용자 입력 검출 방법을 나타낸 동작 흐름도.
도 3은 일 실시예에 따른 제1 영역 및 제2 영역을 설명하기 위한 도면.
도 4는 일 실시예에 따른 제1 영역 및 제2 영역을 이용한 사용자 입력 검출 방법을 설명하기 위한 도면.
도 5 및 도 6은 일 실시예에 따른 스캐닝을 통해 인터페이싱 영역을 검출하는 방법을 나타낸 동작 흐름도.
도 7 및 도 8은 일 실시예에 따른 끝점 검출을 통해 인터페이싱 영역을 검출하는 방법을 나타낸 동작 흐름도.
도 9는 일 실시예에 따른 끝점 검출을 설명하기 위한 도면.
도 10은 일 실시예에 따른 깊이 영상으로부터 손 영역을 검출하는 과정을 설명하기 위한 도면.
도 11 내지 도 13은 일 실시예에 따른 사용자 입력 검출 방법의 원리를 설명하기 위한 도면.
도 14는 일 실시예에 따른 제1 영역 및 제2 영역의 크기를 제어하는 방법을 설명하기 위한 도면.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 사용자 입력 검출 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 사용자 입력 검출 장치(100)는 깊이 영상을 수신하고, 수신된 깊이 영상으로부터 인터페이싱 영역을 검출할 수 있다.
인터페이싱 영역은 깊이 영상에 포함된 오브젝트 중 사용자 입력에 대응되는 영역으로, 예를 들어 사람의 손 영역 등을 포함할 수 있다.
사용자 입력 검출 장치(100)가 사용자의 전신 또는 반신을 촬영한 깊이 영상을 수신하는 경우를 가정하자. 이 경우, 사용자 입력 검출 장치(100)는 사용자의 전신 또는 반신이 포함된 깊이 영상으로부터 사용자의 손 영역을 검출할 수 있다.
사용자 입력 검출 장치(100)는 검출된 인터페이싱 영역에 대응되는 깊이 영상을 출력할 수 있다.
도 2는 일 실시예에 따른 사용자 입력 검출 방법을 나타낸 동작 흐름도이다.
도 2를 참조하면, 일 실시예에 따른 사용자 입력 검출 방법은 깊이 영상에서 제1 영역에 대응되는 깊이와 제2 영역에 대응되는 깊이를 비교하는 단계(210) 및 제1 영역에 대응되는 깊이와 제2 영역에 대응되는 깊이 사이의 깊이 차이에 기초하여 제1 영역에 포함된 적어도 하나의 점을 인터페이싱 영역으로 분류하는 단계(220)를 포함한다.
제2 영역은 제1 영역의 외부 영역으로, 예를 들어 도 3을 참조하면, 제1 영역(310)은 미리 정해진 크기의 원 모양의 영역을 포함하고 제2 영역(320)은 제1 영역(310)을 둘러싸는 도넛 모양의 영역을 포함할 수 있다.
물론 제1 영역의 모양 및 제2 영역의 모양은 각각 원 모양 또는 도넛 모양으로 제한되지 않고, 다양하게 변형될 수 있다. 예를 들어, 제1 영역의 테두리 선이 제2 영역으로 설정될 수 있다.
설명의 편의를 위하여, 사용자가 깊이 영상을 촬영하는 이미지 센서 앞에서 양 손으로 사용자 입력을 위한 모션을 취한다고 가정하자. 이 경우, 사용자의 양 손은 다른 신체 부위들에 비하여 이미지 센서에 가깝게 위치된다.
제1 영역이 사용자의 양 손 중 어느 하나 위에 위치되는 경우, 제1 영역의 외부 영역인 제2 영역은 사용자의 팔 등 이미지 센서의 시점에서 사용자의 손 주변으로 보이는 신체 부위를 포함할 수 있다.
사용자의 팔 등 제2 영역에 포함되는 신체 부위에 비하여 사용자의 손은 이미지 센서에 더 가깝게 위치되므로, 이미지 센서와 제2 영역 사이의 거리보다 이미제 센서와 제1 영역 사이의 거리가 더 가까운 경우 제1 영역이 사용자의 손 영역으로 검출될 수 있다.
이하, 이미지 센서와 제2 영역 사이의 거리는 '깊이'라는 메트릭(metric)으로 표현될 수 있다. 이 경우, 이미지 센서로부터 제2 영역까지의 깊이보다 이미지 센서로부터 제1 영역까지의 깊이가 더 작은 경우 제1 영역이 사용자의 손 영역으로 검출될 수 있다.
보다 구체적으로, 도 4를 참조하면, 깊이 영상은 사용자의 전신(430)에 대응되는 복수의 점들을 포함할 수 있다. 일 실시예에 따르면, 제1 영역(410)과 제2 영역(420)을 이용한 스캔을 통하여 사용자의 전신(430)에 대응되는 복수의 점들 중 사용자의 손에 대응되는 점들이 검출될 수 있다. 예를 들어, 제1 영역(410)이 사용자의 오른손 위에 배치되는 경우, 제1 영역(410)의 중심점(pc, 440)이 인터페이싱 영역으로 분류될 수 있다.
제1 영역(410)과 제2 영역(420)을 이용한 스캔 도중, 제1 영역(410) 및 제2 영역(420)이 사용자의 오른손 위에 위치되는 중심점(pc, 440)을 기준으로 배치될 수 있다. 제1 영역(410)은 반지름이 RI인 원 모양의 영역이고, 제2 영역(420)은 외부 반지름이 RO이고 내부 반지름이 RI인 도넛 모양의 영역일 수 있다.
사용자는 오른손을 이용하여 사용자 입력을 위한 모션을 취하고 있고, 이 경우 사용자의 오른손은 주변의 다른 신체 부위들에 비하여 이미지 센서에 가깝게 위치된다. 예를 들어, 제1 영역(410)에 포함된 제1 점(pi, 415)의 깊이는 제2 영역(420)에 포함된 제2 점(po, 425)의 깊이보다 작다. 이 경우, 제1 영역(410)의 중심점(pc, 440)이 인터페이싱 영역으로 분류될 수 있다.
전술한 동작의 반복을 통하여, 사용자의 전신(430)에 대응되는 복수의 점들 중 사용자의 오른손에 대응되는 복수의 점들이 검출될 수 있다. 만약 사용자가 왼손도 함께 이용하여 사용자 입력을 위한 모션을 취하고 있다면, 사용자의 왼손에 대응되는 복수의 점들도 함께 검출될 수 있다.
다시 도 2로 돌아와서, 제1 영역에 대응되는 깊이는 제1 영역에 포함되는 복수의 점들 중 깊이 영상에 포함된 오브젝트에 해당하는 점들을 이용하여 계산될 수 있다. 예를 들어, 제1 영역에 포함되는 복수의 점들 중 사용자의 신체에 해당하는 점들만 이용되고, 배경 등 노이즈에 해당하는 점들은 이용되지 않을 수 있다.
제2 영역에 대응되는 깊이는 제2 영역에 포함되는 복수의 점들 중 깊이 영상에 포함된 오브젝트에 해당하는 점들을 이용하여 계산될 수 있다. 예를 들어, 제2 영역에 포함되는 복수의 점들 중 사용자의 신체에 해당하는 점들만 이용되고, 배경 등 노이즈에 해당하는 점들은 이용되지 않을 수 있다.
제2 영역에 대응되는 깊이는 제2 영역에 포함되는 복수의 점들의 깊이들 중 최소 깊이를 포함할 수 있다. 이 경우, 제1 영역에 포함된 복수의 점들의 깊이들 각각은 제2 영역의 최소 깊이와 비교될 수 있다.
제1 영역에 포함된 복수의 점들 중 제2 영역에 대응되는 깊이보다 임계 깊이 이상 작은 점들의 수가 일정 수준 이상인 경우, 제1 영역에 포함된 적어도 하나의 점이 인터페이싱 영역으로 분류될 수 있다.
일 실시예에 따르면, 인터페이싱 영역이 검출된 이후, 검출된 인터페이싱 영역을 이용하여 사용자 입력이 감지될 수 있다. 예를 들어, 인터페이싱 영역으로 사용자의 양 손에 대응되는 영역이 검출되면, 검출된 영역에 동작 인식 기법을 적용함으로써 사용자 입력이 감지될 수 있다.
도 5 및 도 6은 일 실시예에 따른 스캐닝을 통해 인터페이싱 영역을 검출하는 방법을 나타낸 동작 흐름도이다.
도 5를 참조하면, 일 실시예에 따른 사용자 입력 검출 장치는 단계 510에서 깊이 영상을 수신한다. 깊이 영상은 사용자의 전신을 포함할 수 있다.
사용자 입력 검출 장치는 단계 520에서 선 처리(pre-processing)를 수행할 수 있다. 예를 들어, 사용자 입력 검출 장치는 데이터를 보정하기 위한 노이즈 제거, 계산 속도를 향상시키기 위한 리사이징 등의 선 처리를 수행할 수 있다. 사용자 입력 검출 장치는 320 x 240의 깊이 영상의 해상도를 160 x 120으로 리사이징 함으로써, 이후 단계들에서 계산 속도를 향상시킬 수 있다.
사용자 입력 검출 장치는 단계 530에서 인터페이싱 영역을 검출한다. 인터페이싱 영역을 검출하는 동작에는 도 1 내지 도 4를 통하여 전술한 사항들이 그대로 적용될 수 있으며, 도 6을 통하여 추가적으로 상세히 설명한다.
사용자 입력 검출 장치는 단계 540에서 후 처리(post-processing)를 수행할 수 있다. 예를 들어, 사용자 입력 검출 장치는 해상도가 조정된 깊이 영상의 해상도를 원래대로 복원하는 후 처리를 수행할 수 있다.
도 6을 참조하면, 일 실시예에 따른 사용자 입력 검출 장치는 단계 601에서 깊이 영상을 수신한다. 사용자 입력 검출 장치는 단계 602에서 임계 깊이 δ를 설정할 수 있다. 사용자 입력 검출 장치는 단계 603에서 오브젝트, 예를 들어 사용자에 해당하는 점의 개수 N을 산출할 수 있다.
사용자 입력 검출 장치는 단계 604에서 이터레이션(iteration) 조건을 검사한 후, 단계 605에서 중심점 pc를 새로운 위치로 이동할 수 있다. 사용자 입력 검출 장치는 단계 606에서 새로운 위치로 이동된 중심점 pc를 기준으로 제1 영역 RI와 제2 영역 RO를 설정할 수 있다.
사용자 입력 검출 장치는 단계 607에서 제1 영역 RI에 포함된 점들 pi를 찾을 수 있다. 사용자 입력 검출 장치는 단계 608에서 제2 영역 RO에 포함된 점들 po를 찾을 수 있다.
사용자 입력 검출 장치는 단계 609에서 수학식 1을 이용하여 집합 Q를 구할 수 있다.
Figure 112013063780013-pat00001
여기서, D(x,y)는 (x,y) 좌표 위치의 점의 깊이이고, Dmin(po)는 제2 영역(O)에 포함된 점들의 깊이들 중 최소 깊이이다. pq는 집합 Q의 원소이며, pq는 제1 영역(I)에 포함된다. 집합 Q는 Dmin(po)에서 D(pq)를 차감한 값이 임계 깊이(δ)를 초과하는 점(pq)들의 집합이다.
집합 Q는 제2 영역(O)의 점들 중 최소 깊이의 점보다 깊이가 일정 값을 초과하여 더 작은 제1 영역(I)의 점들의 집합이다. 일정 값은 임계 깊이(δ)로 설정될 수 있으며, 임계 깊이(δ)는 제1 영역에 포함된 적어도 하나의 점(예를 들어, 제1 영역의 중심점)이 인터페이싱 영역으로 인식되기 위하여 제1 영역의 점들이 제2 영역의 최소 깊이보다 이미지 센서에 얼마나 더 가깝게 위치해야 하는지를 결정하는 파라미터이다.
사용자 입력 검출 장치는 단계 610에서 수학식 2를 이용하여 비율 bin(Q)를 구할 수 있다.
Figure 112013063780013-pat00002
비율 bin(Q)는 제1 영역의 전체 점 수 N(I)와 집합 Q에 포함된 원소들의 수 N(Q)의 비율을 나타낸다. 비율 bin(Q)는 0과 1 사이의 값을 가지며, 비율 bin(Q)가 클수록 제2 영역보다 이미지 센서에 가깝게 위치되는 점들이 제1 영역에 많이 포함됨을 나타낼 수 있다. 이 경우, 사용자 입력 검출 장치는 제1 영역에 포함된 적어도 하나의 점(예를 들어, 제1 영역의 중심점)을 인터페이싱 영역으로 분류할 수 있다.
반대로, 비율 bin(Q)가 작을수록 제2 영역보다 이미지 센서에 가깝게 위치되는 점들이 제1 영역에 적게 포함됨을 나타낼 수 있다. 이 경우, 사용자 입력 검출 장치는 제1 영역에 포함된 적어도 하나의 점(예를 들어, 제1 영역의 중심점)을 인터페이싱 영역으로 분류하지 않을 수 있다.
사용자 입력 검출 장치는 단계 611에서 이터레이션을 위한 변수 k의 값을 증가시킬 수 있다. 사용자 입력 검출 장치는 단계 604에서 이터레이션이 완료되었다고 판단되는 경우, 단계 612에서 검출된 손 영역 이미지를 출력할 수 있다.
일 실시예에 따른 인터페이싱 영역 검출 방법은 표 1과 같은 알고리즘을 통하여 수행될 수 있다.
1: Input a full-body depth image
2: Set depth threshold (depth difference) δ
3: for each point p c =(x c , y c ) ∈Human do
4: Translate the origin to p c
5: Set R I and R O
6: Find points p i =(x i , y i ) in an inner-circle with a radius R I :
Figure 112013063780013-pat00003

7: Find points p o =(x o , y o ) in a donut-circle with a radius R I and R O :
Figure 112013063780013-pat00004

8: Find points p q with the depth difference δ from the minimum depth of p o :
Figure 112013063780013-pat00005

which D maps each point of the image plane to the corresponding depth measure
(along the z-axis).
9: Compute the bin that correspond to p q :
Figure 112013063780013-pat00006

which N means the number of points.
10: end for
11: Output the hand region image
도 7 및 도 8은 일 실시예에 따른 끝점 검출을 통해 인터페이싱 영역을 검출하는 방법을 나타낸 동작 흐름도이다.
도 7을 참조하면, 일 실시예에 따른 사용자 입력 검출 장치는 단계 710에서 깊이 영상을 수신한다. 깊이 영상은 사용자의 전신을 포함할 수 있다.
사용자 입력 검출 장치는 단계 720에서 선 처리를 수행할 수 있다. 예를 들어, 사용자 입력 검출 장치는 데이터를 보정하기 위한 노이즈 제거, 계산 속도를 향상시키기 위한 리사이징 등의 선 처리를 수행할 수 있다. 사용자 입력 검출 장치는 320 x 240의 깊이 영상의 해상도를 160 x 120으로 리사이징 함으로써, 이후 단계들에서 계산 속도를 향상시킬 수 있다.
사용자 입력 검출 장치는 단계 730에서 끝점(end-point)을 검출할 수 있다. 끝점은 깊이 영상에 포함된 오브젝트에 해당하는 복수의 점들 중 인터페이싱 영역일 가능성이 높은 점으로, 예를 들어 오브젝트의 중심으로부터 가장 멀리 떨어진 점 등을 포함할 수 있다.. 일 실시예에 따르면, 오브젝트의 중심은 복부가 될 수 있고, 이 경우 끝점은 머리, 양 손, 양 발 등을 포함할 수 있다. 끝점을 검출하는 동작은 도 8을 참조하여 후술한다.
사용자 입력 검출 장치는 단계 740에서 인터페이싱 영역을 검출한다. 인터페이싱 영역을 검출하는 동작에는 도 1 내지 도 6을 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
사용자 입력 검출 장치는 단계 750에서 후 처리를 수행할 수 있다. 예를 들어, 사용자 입력 검출 장치는 해상도가 조정된 깊이 영상의 해상도를 원래대로 복원하는 후 처리를 수행할 수 있다.
도 8을 참조하면, 일 실시예에 따른 단계 810 내지 단계 860은 각각 도 7의 단계 710 내지 단계 760에 대응될 수 있다.
일 실시예에 따른 사용자 입력 검출 장치는 단계 821에서 깊이 영상의 좌표계를 투영 좌표계에서 직교 좌표계로 변환할 수 있다. 예를 들어, 깊이 영상에 포함된 복수의 점들은 해당 점들의 위치에 대응되는 깊이 정보를 포함한다. 사용자 입력 검출 장치는 해당 점들의 위치를 직교 좌표계의 (x, y)좌표로, 해당 점들의 깊이를 직교 좌표계의 z좌표로 설정할 수 있다.
사용자 입력 검출 장치는 단계 822에서 깊이 영상의 해상도를 리사이징할 수 있다. 예를 들어, 사용자 입력 검출 장치는 이후 단계들에서의 연산 속도를 향상시키기 위하여 깊이 영상의 해상도를 스케일-다운(scale-down)할 수 있다.
사용자 입력 검출 장치는 단계 831에서 깊이 영상에 포함된 오브젝트의 중심을 구할 수 있다. 예를 들어, 사용자 입력 검출 장치는 수학식 3을 이용하여 오브젝트의 깊이 중심을 산출할 수 있다.
Figure 112013063780013-pat00007
사용자 입력 검출 장치는 단계 832에서 연결 맵(connectivity map)을 생성할 수 있다. 예를 들어, 사용자 입력 검출 장치는 도 9의 왼쪽 그래프와 같은 연결 맵을 생성할 수 있다. 연결 맵은 깊이 영상에 포함된 복수의 점들 사이의 연결 관계에 대한 정보 및 연결 거리에 대한 정보를 포함할 수 있다.
사용자 입력 검출 장치는 단계 833에서 연결 맵을 이용하여 끝점을 검출할 수 있다. 예를 들어, 사용자 입력 검출 장치는 단계 831에서 산출된 중심점으로부터 가장 먼 거리에 위치된 끝점을 검출할 수 있다.
사용자 입력 검출 장치는 최단 거리 산출 알고리즘을 이용하여 끝점을 검출할 수 있다. 예를 들어, 사용자 입력 검출 장치는 Dijkstra algorithm을 이용할 수 있다. 사용자 입력 검출 장치는 Dijkstra algorithm을 이용하여 중심점인 A(910)로부터 다른 점들까지의 최단 거리를 구할 수 있다. 사용자 입력 검출 장치는 도 9의 오른쪽 그래프와 같은 거리 정보를 획득할 수 있다.
점 I(920)가 중심점 A(910)로부터 가장 멀리 떨어져 있으므로, 사용자 입력 검출 장치는 점 I(920)를 끝점으로 검출할 수 있다.
사용자 입력 검출 장치는 단계 834에서 미리 정해진 수의 끝점들이 검출되었는지 여부를 판단할 수 있다. 사용자 입력 검출 장치는 미리 정해진 이터레이션 횟수만큼의 끝점들을 검출할 수 있다.
사용자 입력 검출 장치는 깊이 영상에 포함되는 끝점들의 후보군의 수를 미리 설정할 수 있다. 보다 구체적으로, 사용자 입력 검출 장치는 끝점들의 후보군에 사용자의 양 손이 포함될 수 있도록 이터레이션 횟수를 설정할 수 있다.
예를 들어, 사용자 입력 검출 장치가 사용자의 전신을 촬영한 깊이 영상을 수신하는 경우 끝점은 머리, 양 손, 양 발을 포함할 수 있다. 이 경우, 사용자 입력 검출 장치는 양 손을 검출하기 위하여 이터레이션 횟수를 5로 설정할 수 있다. 경우에 따라, 끝점으로 머리, 양 손, 양 발이 아닌 다른 부분이 검출될 수 있으므로, 사용자 입력 검출 장치는 이터레이션 횟수를 5보다 큰 수로 설정할 수 있다.
또는, 사용자 입력 검출 장치가 사용자의 상반신을 촬영한 깊이 영상을 수신하는 경우 끝점은 머리, 양 손을 포함할 수 있다. 이 경우, 사용자 입력 검출 장치는 양 손을 검출하기 위하여 이터레이션 횟수를 3으로 설정할 수 있다. 경우에 따라, 끝점으로 머리, 양 손이 아닌 다른 부분이 검출될 수 있으므로, 사용자 입력 검출 장치는 이터레이션 횟수를 3보다 큰 수로 설정할 수 있다.
사용자 입력 검출 장치는 하나의 끝점이 검출되면, 이미 검출된 끝점과 중심점 사이의 거리를 0으로 설정할 수 있다. 이로 인하여, 사용자 입력 검출 장치는 이미 검출된 끝점 근처의 점들이 다음 번 끝점으로 검출되는 것을 방지할 수 있다.
사용자 입력 검출 장치는 단계 840에서 인터페이싱 영역, 예를 들어 손 영역을 검출할 수 있다. 사용자 입력 검출 장치는 깊이 영상에 포함된 복수의 점들 모두에 대하여 인터페이싱 영역 검출 기법을 적용하는 대신, 단계 830에서 검출된 끝점들에 대하여만 인터페이싱 영역 검출 기법을 적용할 수 있다.
경우에 따라, 사용자 입력 검출 장치는 검출된 끝점 주변의 영역들에 대하여 인터페이싱 영역 검출 기법을 적용할 수 있다. 인터페이싱 영역 검출 기법은 제1 영역 및 제2 영역의 깊이 차이를 이용하여 인터페이싱 영역을 검출하는 방법으로, 도 1 내지 도 7을 통하여 기술한 사항들이 그대로 적용될 수 있으므로 보다 상세한 설명은 생략한다.
사용자 입력 검출 장치는 단계 851에서 리사이징 된 깊이 영상의 해상도를 복원할 수 있다. 예를 들어, 사용자 입력 검출 장치는 깊이 영상의 해상도를 스케일-업(scale-up)할 수 있다.
사용자 입력 검출 장치는 단계 852에서 세그먼테이션(segmentation)을 수행할 수 있다. 예를 들어, 사용자 입력 검출 장치는 단계 852에서 손 영역과 팔 영역을 구분할 수 있다. 사용자 입력 검출 장치는 단계 853에서 손 영역을 추출할 수 있다.
도 10은 일 실시예에 따른 깊이 영상으로부터 손 영역을 검출하는 과정을 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시예에 따른 사용자 입력 검출 장치는 사용자의 전신이 촬영된 깊이 영상(1010)을 수신할 수 있다. 사용자 입력 검출 장치는 깊이 영상(1010)에 포함된 오브젝트의 중심으로부터의 거리 정보를 포함하는 거리 정보 영상(1020)을 생성할 수 있다.
사용자 입력 검출 장치는 거리 정보 영상(1020)을 이용하여 영상(1030)과 같이 끝점 영역들을 검출할 수 있다. 예를 들어, 오브젝트의 중심인 복부로부터 양 손과 머리가 가장 멀리 위치하므로, 사용자 입력 검출 장치는 머리 영역, 오른손 영역 및 왼손 영역을 끝점으로 검출할 수 있다.
사용자 입력 검출 장치는 머리 영역, 오른손 영역 및 왼손 영역 각각에 인터페이싱 영역 검출 기법을 적용할 수 있다. 머리 영역의 경우, 인터페이싱 영역이 검출되지 않는 영상(1040)이 도출된다. 머리 영역이 인터페이싱 영역으로 검출되지 않는 원리는 도 13을 참조하여 후술한다.
오른손 영역 및 왼손 영역의 경우, 인터페이싱 영역이 검출되며 영상(1051) 및 영상(1061)이 도출될 수 있다. 오른손 영역 및 왼손 영역이 인터페이싱 영역으로 검출되는 원리는 도 11 내지 도 12를 참조하여 후술한다.
사용자 입력 검출 장치는 인터페이싱 영역을 이용하여 사용자의 손에 대응되는 깊이 영상을 획득할 수 있으며, 영상(1052) 및 영상(1062)가 도출될 수 있다.
도 11 내지 도 13은 일 실시예에 따른 사용자 입력 검출 방법의 원리를 설명하기 위한 도면이다.
도 11을 참조하면, 제1 영역(1110)및 제2 영역(1120)이 사용자(1130)의 손을 중심으로 배치되는 경우, 제2 영역(1120) 내 최소 깊이인 점 A(1125)보다 제1 영역(1110) 내 점들이 대부분 더 작은 깊이를 가지므로 중심점 Pc(1140)는 인터페이싱 영역으로 선택된다.
도 12를 참조하면, 제1 영역(1210)및 제2 영역(1220)이 사용자(1230)의 팔을 중심으로 배치되는 경우, 제2 영역(1220) 내 최소 깊이인 점 A(1225)보다 제1 영역(1210) 내 점들이 대부분 더 큰 깊이를 가지므로 중심점 Pc(1240)는 인터페이싱 영역으로 선택되지 않는다.
도 13을 참조하면, 제1 영역(1310) 및 제2 영역(1320)이 사용자(1330)의 머리를 중심으로 배치되는 경우, 제2 영역(1320) 내 최소 깊이인 점 A(1325)보다 제1 영역(1310) 내 점들이 대부분 더 큰 깊이를 가지므로 중심점 Pc(1240)는 인터페이싱 영역으로 선택되지 않는다.
예를 들어, 제1 영역(1310) 및 제2 영역(1320)이 사용자(1330)의 이마를 중심으로 배치되는 경우, 제2 영역(1320) 내 최소 깊이인 점 A(1325)는 사용자(1330)의 코에 해당하는 점일 수 있다. 이 경우, 점 A(1325)보다 제1 영역(1310) 내 점들은 모두 더 큰 깊이를 가지므로 중심점 Pc(1240)는 인터페이싱 영역으로 선택되지 않는다.
또한, 도면에 표시하지 않았으나, 제1 영역 및 제2 영역이 사용자의 코를 중심으로 배치되는 경우에도, 중심점은 인터페이싱 영역으로 선택되지 않는다.
보다 구체적으로, 제1 영역의 크기는 사용자의 손 크기에 맞게 설정되므로, 제1 영역의 크기는 사용자의 머리부분의 영역 크기보다 작다. 제1 영역의 크기가 사용자의 머리부분의 영역 크기보다 작으므로, 제2 영역의 최소 깊이 점은 사용자의 머리부분의 영역에 포함된다. 이 경우, 제1 영역에 포함된 점들의 깊이와 제2 영역의 최소 깊이는 임계 깊이 이상 차이가 나지 않는다. 이를 위하여, 임계 깊이는 사용자의 코 높이보다 크게 설정될 수 있다. 따라서, 제1 영역 및 제2 영역이 사용자의 코를 중심으로 배치되는 경우에도, 중심점은 인터페이싱 영역으로 선택되지 않는다.
도 14는 일 실시예에 따른 제1 영역 및 제2 영역의 크기를 제어하는 방법을 설명하기 위한 도면이다.
도 14를 참조하면, 일 실시예에 따른 사용자 입력 검출 장치는 제1 영역과 제2 영역이 배치되는 위치에 따라 제1 영역과 제2 영역의 크기를 조절할 수 있다.
제1 영역의 크기는 사용자의 손 크기에 맞도록 설정될 수 있다. 다만, 이미지 센서로부터의 거리에 따른 원근감으로 인하여 깊이 영상에 포함된 손의 크기는 일정하지 않을 수 있다.
예를 들어, 동일한 사용자의 오른손이 왼손에 비하여 이미지 센서에 더 가깝게 위치되는 경우를 가정하자. 이 경우, 사용자의 손의 크기는 일정하나 이미지 센서로부터 가까운 곳에 위치한 오른손이 이미지 센서로부터 먼 곳에 위치한 왼손보다 큰 이미지로 촬영될 수 있다.
보다 구체적으로, 오른손의 실제 크기와 왼손의 실제 크기는 실질적으로 동일할 수 있다. 다만, 이미지 센서에 의하여 촬영된 깊이 영상에서는 원근감으로 인하여 사용자의 오른손이 왼손에 비하여 더 크게 보일 수 있다.
사용자 입력 검출 장치는 원근감으로 인하여 변하는 사용자의 손의 크기를 고려하여 제1 영역의 크기를 조절할 수 있다. 사용자 입력 검출 장치는 제1 영역과 제2 영역의 중심이 되는 점의 깊이를 알 수 있으므로, 그 깊이를 이용하여 원근감으로 인한 크기의 변화를 예측함으로써 제1 영역과 제2 영역의 크기를 제어할 수 있다.
예를 들어, 사용자 입력 검출 장치는 끝점으로 제1 점(1470), 제2 점(1480) 및 제3 점(1490)을 검출할 수 있다. 제1 점(1470)의 깊이가 가장 작고, 제3 점(1490)의 깊이가 가장 깊으며, 제2 점(1480)의 깊이가 중간일 수 있다.
사용자 입력 검출 장치는 제1 점(1470)을 기준으로 배치되는 제1 영역(1410) 및 제2 영역(1420)의 크기를 가장 크게 설정할 수 있다. 사용자 입력 검출 장치는 제3 점(1490)을 기준으로 배치되는 제1 영역(1450) 및 제2 영역(1460)의 크기를 가장 작게 설정할 수 있다. 사용자 입력 검출 장치는 제2 점(1480)을 기준으로 배치되는 제1 영역(1430) 및 제2 영역(1440)의 크기를 중간 크기로 설정할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 깊이 영상에서 제1 영역의 깊이를 획득하는 단계;
    상기 깊이 영상에서 제2 영역의 깊이를 획득하는 단계;
    상기 제1 영역에 대응되는 깊이와 상기 제2 영역에 대응되는 깊이를 비교하는 단계; 및
    상기 제1 영역에 대응되는 깊이가 상기 제2 영역에 대응되는 깊이보다 적어도 임계 깊이 차이 이상 작은 경우, 상기 제1 영역에 포함된 적어도 하나의 점을 인터페이싱 영역으로 분류하는 단계
    를 포함하고,
    상기 제2 영역은 상기 제1 영역을 둘러싸고, 상기 제2 영역의 깊이는 상기 제2 영역에 포함된 복수의 점들의 깊이들 중 가장 얕은 깊이인,
    사용자 입력 검출 방법.
  2. 제1항에 있어서,
    상기 제1 영역에 대응되는 깊이는 상기 제1 영역에 포함되는 복수의 점들 중 상기 깊이 영상에 포함된 오브젝트에 해당하는 점들을 이용하여 계산되고, 상기 제2 영역에 대응되는 깊이는 상기 제2 영역에 포함되는 복수의 점들 중 상기 오브젝트에 해당하는 점들을 이용하여 계산되는 사용자 입력 검출 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 분류하는 단계는
    상기 제1 영역에 포함된 복수의 점들 대비 상기 제1 영역에 포함된 복수의 점들 중 상기 제2 영역에 대응되는 깊이보다 임계 깊이 차이 이상 작은 점들의 비율이 임계 비율보다 큰지 여부를 판단하는 단계
    를 포함하는 사용자 입력 검출 방법.
  6. 제1항에 있어서,
    상기 분류하는 단계는
    상기 제1 영역의 중심점을 상기 인터페이싱 영역으로 분류하는 단계
    를 포함하는 사용자 입력 검출 방법.
  7. 제1항에 있어서,
    상기 제2 영역은 상기 제1 영역의 테두리 선을 포함하는 사용자 입력 검출 방법.
  8. 제1항에 있어서,
    상기 인터페이싱 영역을 이용하여 사용자 입력을 감지하는 단계
    를 더 포함하는 사용자 입력 검출 방법.
  9. 제1항에 있어서,
    상기 깊이 영상에 포함된 복수의 점들 중 어느 한 점을 선택하는 단계; 및
    상기 선택된 어느 한 점에서 상기 제1 영역 및 상기 제2 영역을 설정하는 단계
    를 더 포함하는 사용자 입력 검출 방법.
  10. 제9항에 있어서,
    상기 설정하는 단계는
    상기 선택된 어느 한 점의 깊이에 기초하여 상기 제1 영역의 크기 및 상기 제2 영역의 크기 중 적어도 하나를 결정하는 단계
    를 포함하는 사용자 입력 검출 방법.
  11. 제1항에 있어서,
    상기 깊이 영상에 포함된 오브젝트의 끝점을 검출하는 단계; 및
    상기 검출된 끝점에서 상기 제1 영역 및 상기 제2 영역을 설정하는 단계
    를 더 포함하는 사용자 입력 검출 방법.
  12. 제11항에 있어서,
    상기 검출하는 단계는
    상기 깊이 영상에 포함된 오브젝트의 중심을 산출하는 단계;
    상기 오브젝트의 중심을 기준으로 상기 오브젝트에 포함된 복수의 점들 사이의 거리 정보를 산출하는 단계; 및
    상기 거리 정보에 기초하여 상기 끝점을 검출하는 단계
    를 포함하는 사용자 입력 검출 방법.
  13. 제12항에 있어서,
    상기 오브젝트의 중심을 산출하는 단계는
    상기 오브젝트에 포함된 복수의 점들의 깊이 중심을 산출하는 단계
    를 포함하는 사용자 입력 검출 방법.
  14. 제11항에 있어서,
    상기 설정하는 단계는
    상기 끝점의 깊이에 기초하여 상기 제1 영역의 크기 및 상기 제2 영역의 크기 중 적어도 하나를 결정하는 단계
    를 포함하는 사용자 입력 검출 방법.
  15. 제1항, 제2항, 제5항 내지 제14항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  16. 깊이 영상에서 제1 영역의 깊이를 획득하고, 상기 깊이 영상에서 제2 영역의 깊이를 획득하고, 상기 제1 영역에 대응되는 깊이와 상기 제2 영역에 대응되는 깊이를 비교하고, 상기 제1 영역에 대응되는 깊이가 상기 제2 영역에 대응되는 깊이보다 적어도 임계 깊이 차이 이상 작은 경우 상기 제1 영역에 포함된 적어도 하나의 점을 인터페이싱 영역으로 분류하는 프로세서
    를 포함하고,
    상기 제2 영역은 상기 제1 영역을 둘러싸고, 상기 제2 영역의 깊이는 상기 제2 영역에 포함된 복수의 점들의 깊이들 중 가장 얕은 깊이인,
    사용자 입력 검출 장치.
  17. 제16항에 있어서,
    상기 프로세서는
    상기 제1 영역에 포함된 복수의 점들 대비 상기 제1 영역에 포함된 복수의 점들 중 상기 제2 영역에 대응되는 깊이보다 임계 깊이 차이 이상 작은 점들의 비율이 임계 비율보다 큰지 여부를 판단하는,
    사용자 입력 검출 장치.
  18. 제16항에 있어서,
    상기 프로세서는
    상기 깊이 영상에 포함된 복수의 점들 중 어느 한 점을 선택하고, 상기 선택된 어느 한 점에서 상기 제1 영역 및 상기 제2 영역을 설정하는,
    사용자 입력 검출 장치.
  19. 제16항에 있어서,
    상기 프로세서는
    상기 깊이 영상에 포함된 오브젝트의 끝점을 검출하고, 상기 검출된 끝점에서 상기 제1 영역 및 상기 제2 영역을 설정하는,
    사용자 입력 검출 장치.
  20. 제19항에 있어서,
    상기 프로세서는
    상기 깊이 영상에 포함된 오브젝트의 중심을 산출하고, 상기 오브젝트의 중심을 기준으로 상기 오브젝트에 포함된 복수의 점들 사이의 거리 정보를 산출하고, 상기 거리 정보에 기초하여 상기 끝점을 검출하는,
    사용자 입력 검출 장치.
KR1020130083271A 2013-07-16 2013-07-16 깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치 KR101913319B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130083271A KR101913319B1 (ko) 2013-07-16 2013-07-16 깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치
US14/302,908 US9721151B2 (en) 2013-07-16 2014-06-12 Method and apparatus for detecting interfacing region in depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130083271A KR101913319B1 (ko) 2013-07-16 2013-07-16 깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150009158A KR20150009158A (ko) 2015-01-26
KR101913319B1 true KR101913319B1 (ko) 2019-01-14

Family

ID=52343176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130083271A KR101913319B1 (ko) 2013-07-16 2013-07-16 깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치

Country Status (2)

Country Link
US (1) US9721151B2 (ko)
KR (1) KR101913319B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150185851A1 (en) * 2013-12-30 2015-07-02 Google Inc. Device Interaction with Self-Referential Gestures

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089949A1 (en) * 2010-10-08 2012-04-12 Po-Lung Chen Method and computing device in a system for motion detection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657825B (zh) * 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
JP2008165705A (ja) 2007-01-05 2008-07-17 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR101032533B1 (ko) 2009-10-14 2011-05-04 중앙대학교 산학협력단 특징값 정제를 통한 모양 기술 장치 및 방법
JP4967045B2 (ja) 2010-06-15 2012-07-04 ヤフー株式会社 背景判別装置、方法及びプログラム
US8406470B2 (en) 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
KR101305694B1 (ko) 2011-10-20 2013-09-09 엘지이노텍 주식회사 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089949A1 (en) * 2010-10-08 2012-04-12 Po-Lung Chen Method and computing device in a system for motion detection

Also Published As

Publication number Publication date
US20150022441A1 (en) 2015-01-22
KR20150009158A (ko) 2015-01-26
US9721151B2 (en) 2017-08-01

Similar Documents

Publication Publication Date Title
US10810734B2 (en) Computer aided rebar measurement and inspection system
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
US9519968B2 (en) Calibrating visual sensors using homography operators
KR101283262B1 (ko) 영상 처리 방법 및 장치
US9208395B2 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
US9020251B2 (en) Image processing apparatus and method
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101681538B1 (ko) 영상 처리 장치 및 방법
US9679384B2 (en) Method of detecting and describing features from an intensity image
US9727776B2 (en) Object orientation estimation
KR102285376B1 (ko) 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치
KR102455632B1 (ko) 스테레오 매칭 방법 및 장치
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
US20170287154A1 (en) Image processing apparatus and image processing method
US20160283792A1 (en) Information processing apparatus, information processing method, and storage medium
US9412012B2 (en) Z-axis determination in a 2D gesture system
US20140232696A1 (en) Information processing apparatus and information processing method
WO2018166276A1 (zh) 文字区域定位方法和装置、计算机可读存储介质
US20180122097A1 (en) Apparatus, method, and non-transitory computer-readable storage medium for storing program for position and orientation estimation
KR102001636B1 (ko) 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
JP6335695B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
KR101656618B1 (ko) 물리 객체에 대한 증강 현실 제공 방법 및 장치
US10146331B2 (en) Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
KR101913319B1 (ko) 깊이 영상에서 인터페이싱 영역을 검출하는 방법 및 장치
US20150063637A1 (en) Image recognition method and robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant