KR100818171B1 - 손 지시의 3차원 위치 인식 시스템 및 방법 - Google Patents

손 지시의 3차원 위치 인식 시스템 및 방법 Download PDF

Info

Publication number
KR100818171B1
KR100818171B1 KR1020060052056A KR20060052056A KR100818171B1 KR 100818171 B1 KR100818171 B1 KR 100818171B1 KR 1020060052056 A KR1020060052056 A KR 1020060052056A KR 20060052056 A KR20060052056 A KR 20060052056A KR 100818171 B1 KR100818171 B1 KR 100818171B1
Authority
KR
South Korea
Prior art keywords
hand
cameras
image
direction vector
camera
Prior art date
Application number
KR1020060052056A
Other languages
English (en)
Other versions
KR20070117877A (ko
Inventor
양승은
도준형
장효영
정진우
변증남
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020060052056A priority Critical patent/KR100818171B1/ko
Publication of KR20070117877A publication Critical patent/KR20070117877A/ko
Application granted granted Critical
Publication of KR100818171B1 publication Critical patent/KR100818171B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/10—Wheel alignment
    • G01B2210/14—One or more cameras or other optical devices capable of acquiring a two-dimensional image
    • G01B2210/146—Two or more cameras imaging the same area

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

이 발명은 두 대의 카메라를 이용하여 3차원 공간에서 사용자의 손 지시로부터 해당 3차원 위치를 인식하는 시스템 및 방법에 관한 것이다.
이 발명에 따른 손 지시의 3차원 위치 인식 시스템은, 2대의 카메라로부터 영상을 획득하는 영상획득부와, 상기 2대의 카메라간 상관정보를 저장하는 카메라상관정보DB와, 상기 영상획득부에서 획득된 영상과 상기 2대의 카메라간 상관정보를 이용하여 사용자가 손으로 지시하는 3차원 위치를 인식하는 중앙처리부와, 상기 인식된 결과를 표시하는 표시부를 포함한다.

Description

손 지시의 3차원 위치 인식 시스템 및 방법{3D position recognition through hand pointing command}
도 1은 이 발명의 손 지시의 3차원 위치 인식 시스템을 도시한 구성 블록도,
도 2는 초기화부의 동작을 도시한 흐름도,
도 3은 이 발명에서 사용하는 표식의 실시예,
도 4는 검출된 붉은 영역의 중심간 거리 특성을 도시한 그래프,
도 5는 표식을 이용한 두 카메라간 거리 측정 과정을 도시한 도면,
도 6은 표식을 이용한 두 카메라간 각도 측정 과정을 도시한 도면,
도 7은 두 카메라간 거리 및 각도의 관계를 도시한 도면,
도 8은 이 발명의 한 실시예에 따른 손 지시의 3차원 위치 인식 방법을 도시한 흐름도,
도 9는 2개의 평면영상으로 3차원 좌표를 구하는 원리를 도시한 도면,
도 10은 VCR의 3차원 위치를 인식하여 저장하는 상황을 도시한 도면,
도 11은 이 발명의 다른 실시예에 따른 손 지시의 3차원 위치 인식 방법을 도시한 흐름도,
도 12는 손 지시 명령으로 VCR을 선택하는 상황을 도시한 도면,
도 13은 사용자 기준으로 좌표값을 변환하여 사용자가 바라보는 시각에서 손 지시 방향을 수정하는 과정을 도시한다.
< 도면의 주요 부분에 대한 부호의 간단한 설명 >
110 : 영상획득부 120 : 중앙처리부
121 : 초기화부 122 : 얼굴영역추출부
123 : 손영역추출부 124 : 얼굴좌표계산부
125 : 손좌표계산부 126 : 위치인식부
127 : 피드백부 130 : 키입력부
141 : 카메라상관정보DB 142 : 위치저장DB
150 : 표시부
이 발명은 두 대의 카메라를 이용하여 3차원 공간에서 사용자의 손 지시로부터 해당 3차원 위치를 인식하는 시스템 및 방법에 관한 것이다.
가전기기를 원격 제어하는 종래의 방법으로서, 하나는 조작에 필요한 별도의 장비(리모콘 등)를 이용하는 방법과, 다른 하나는 별도의 장비 없이 제한된 영역 내에서 손이 가리키는 위치를 구하는 방법이 있다.
즉, 종래의 방법들은 가전기기를 원격 제어하려면 별도의 장치를 가지고 있 어야 하거나, 또는 설정된 영역 내로 이동해야만 하는 문제점이 있다.
이 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 별도의 장비 없이도 손이 지시하는 위치 및 해당 위치의 가전기기를 인식하는 손 지시의 3차원 위치 인식 시스템 및 방법을 제공하는 데 그 목적이 있다.
상기한 목적을 달성하기 위한 이 발명에 따른 손 지시의 3차원 위치 인식 시스템은, 2대의 카메라로부터 영상을 획득하는 영상획득부와,
상기 2대의 카메라간 상관정보를 저장하는 카메라상관정보DB와,
상기 영상획득부에서 획득된 영상과 상기 2대의 카메라간 상관정보를 이용하여 사용자가 손으로 지시하는 3차원 위치를 인식하는 중앙처리부와,
상기 인식된 결과를 표시하는 표시부를 포함한 것을 특징으로 한다.
또한, 이 발명에 따른 손 지시의 3차원 위치 인식 방법은, 2대의 카메라와, 2대의 카메라간 상관정보를 저장한 카메라상관정보DB를 포함한 시스템에서의 손 지시의 3차원 위치 인식 방법에 있어서,
상기 2대의 카메라가 사용자가 3차원 위치를 손으로 지시하는 영상을 획득하는 영상획득단계와,
상기 영상획득단계에서 획득된 영상과 상기 2대의 카메라간 상관정보를 이용하여 상기 3차원 위치를 인식하는 중앙처리단계와,
상기 인식된 결과를 표시하는 표시단계를 포함한 것을 특징으로 한다.
이하, 첨부된 도면을 참조하며 이 발명에 따른 손 지시의 3차원 위치 인식 시스템 및 방법의 실시예를 상세하게 설명하면 다음과 같다.
이 발명에서는 인식하고자 하는 위치에 대한 정보가 데이터베이스에 저장되어 있지 않은 상태에서 서로 다른 두 위치에서의 사용자의 손 지시를 해석하여 사용자가 지시하는 3차원 위치를 인식하는 방법과, 인식하고자 하는 위치에 대한 정보가 데이터베이스에 저장된 상태에서 한 위치에서의 사용자의 손 지시를 해석하여 데이터베이스에 저장된 위치 중 사용자가 지시하는 3차원 위치를 인식하는 방법을 제안한다.
이 발명에서는 가전기기의 위치를 인식하여 저장할 때에는 첫 번째 방법을 사용하고, 가전기기의 위치 정보가 저장된 상태에서 가전기기를 선택할 때에는 두 번째 방법을 사용한다.
도 1은 이 발명의 손 지시의 3차원 위치 인식 시스템을 도시한 구성 블록도이다.
이 손 지시의 3차원 위치 인식 시스템은, 2대의 카메라로부터 영상을 획득하는 영상획득부(110)와, 획득된 영상으로부터 사용자가 손으로 지시하는 3차원 위치를 인식하는 중앙처리부(120)와, 사용자로부터 필요한 정보를 수신하는 키입력부 (130)와, 2대의 카메라간 상관정보를 저장하는 카메라상관정보DB(141)와, 인식하고자 하는 3차원 위치(가전기기의 위치) 정보를 저장하는 위치저장DB(142)와, 인식된 결과를 표시하는 표시부(150)를 포함한다.
중앙처리부(120)는 그 기능에 따라 초기화부(121)와, 얼굴영역추출부(122)와, 손영역추출부(123)와, 얼굴좌표계산부(124)와, 손좌표계산부(125)와, 위치인식부(126)와, 피드백부(127)로 나누어진다.
초기화부(121)는 2대의 카메라간 거리 및 각도를 계산하여 카메라상관정보DB(141)에 저장한다. 2대의 카메라간 거리 및 각도 정보가 카메라상관정보DB(141)에 이미 저장된 상태에서는 초기화부(121)를 구동하지 않는다. 반면, 2대의 카메라를 설치한 후 초기 구동시 초기화부(121)를 구동하여 2대의 카메라간 거리 및 각도를 자동으로 인식하도록 한다. 이 발명은 이를 위해 2대의 카메라 중 우측카메라에 표식을 부착하고, 좌측카메라가 우측카메라에 부착된 표식을 촬영 및 검출하여 카메라간 거리 및 각도를 구하도록 한다.
얼굴영역추출부(122)는 영상획득부(110)에서 획득한 영상을 신호처리하여 얼굴영역을 추출하고, 손영역추출부(123)는 영상획득부(110)에서 획득한 영상을 신호처리하여 손영역을 추출한다.
얼굴좌표계산부(124)는 좌측카메라가 촬영한 좌측영상과 우측카메라가 촬영한 우측영상으로부터 얼굴 중심점의 3차원 좌표값을 계산한다. 손좌표계산부(125)는 좌측카메라가 촬영한 좌측영상과 우측카메라가 촬영한 우측영상으로부터 손 중심점의 3차원 좌표값을 계산한다.
위치인식부(126)는 제1방법에 의한 위치인식 또는 제2방법에 의한 위치인식을 하는데, 초기 가전기기의 위치를 저장할 때에는 제1방법에 의한 위치인식을 하여 가전기기의 위치정보를 위치저장DB(142)에 저장하고, 가전기기의 위치정보가 저장된 상태에서 가전기기를 원격 제어할 때에는 제2방법에 의한 위치인식을 한다.
피드백부(127)는 제2방법에 의한 위치인식 결과를 사용자에게 표시하고, 사용자의 손 지시가 잘못되었을 경우 수정방향을 제시한다.
도 2는 초기화부의 동작을 도시한 흐름도이다.
이 발명에서는 도 3에 도시된 바와 같이 동일 크기의 붉은색 원이 동일한 간격으로 이격되어 2차원으로 배열된 표식을 사용한다.
초기화부는 우측카메라를 고정한 상태에서, 좌측카메라가 우측카메라에 부착된 표식을 촬영한 영상을 입력받아, 그 입력받은 영상으로부터 우측카메라와의 거리와 각도를 계산한다. 좌측카메라가 촬영한 영상에는 표식을 이루는 붉은색 원들 외에 다른 붉은색 영역이 포함될 수 있는데, 초기화부는 촬영된 영상으로부터 표식을 인식하고, 표식 인식결과로부터 두 카메라간 거리 및 각도를 계산한다.
그 과정을 살펴보면, 먼저 초기화부는 입력된 영상의 RGB값을 YCrCb값으로 변환한다(S21). 이 YCrCb값을 Y, Cr, Cb로 분리하고 밝기 정보인 Y를 제거한 후, Cr과 Cb에 대해 문턱값을 이용하여 붉은 영역을 검출한다(S22).
이때 입력된 영상은 조명을 비롯한 외부 환경과 잡음 등의 영향으로 하나의 붉은 영역이 여러 개로 분리되거나 영역 중 일부가 검출되지 않을 수 있는데, 검출된 붉은 영역에 대해 크로징(closing)을 취하여 이러한 문제를 해결하고, 각 검출 된 붉은 영역의 넓이를 구하여 넓이가 극단적으로 넓거나 좁은 영역을 제외시키고, 나머지 붉은 영역의 넓이의 평균값을 계산한다(S23). 그리고, 붉은 영역의 넓이가 평균값과 차이가 많이 나는 붉은 영역들을 제외하고(S24), 나머지 붉은 영역에 대해 중심간 거리를 계산하고, 그 중심간 거리 특성을 이용하여 표식을 최종 설정한다(S25). 표식을 이루는 붉은 영역들은 도 4에 도시된 바와 같이 그 중심간 거리 특성이 유사하게 나타나지만(타원으로 표시된 부분 참조), 표식을 이루지 않은 붉은 영역들은 중심간 거리 특성이 표식과는 전혀 다르다. 따라서, 붉은 영역들의 중심간 거리 특성을 이용하여, 중심간 거리 특성이 유사한 붉은 영역들을 표식으로 최종 설정한다.
다음, 검출된 붉은 영역들을 이용하여 좌측카메라로부터 표식까지의 거리를 계산한다(S26). 도 5를 참조하며 그 원리를 설명한다. 원점에 좌측카메라가 위치한 경우, 좌측카메라가 획득한 영상평면은 좌측카메라와 실제 표식 사이에 위치한다. 이때, 좌측카메라와 영상평면 사이의 거리인 좌측카메라의 초점거리(a1)와, 실제 표식에서의 임의의 두 붉은 원 사이의 거리(b2)와, 영상평면에서 해당 두 붉은 원 사이의 거리(b1)는 알고 있는 값이기 때문에, 이 a1, b1, b2의 값을 비례식에 적용하면 좌측카메라와 실제 표식까지의 거리(a2)를 계산할 수 있다.
다음, 좌측카메라와 실제 표식까지의 거리 즉, 두 카메라간 거리를 계산한 다음에는 좌측카메라에 대한 표식의 각도를 구한다(S27). 도 6을 참조하며 그 원리를 설명한다. 표식은 2차원으로 배열된다. 도 6과 같이 표식에 붉은색 원이 2행 3열로 배열된 경우, 좌측카메라와 1열 붉은색 원과의 거리(d1, d1')와, 좌측카 메라와 3열 붉은색 원과의 거리(d2, d2')와, 1열 붉은색 원과 3열 붉은색 원과의 거리(d3)을 알 수 있으므로, 코사인 제2법칙을 이용하여 좌측카메라에 대한 표식의 각도를 계산할 수 있다.
도 7은 좌측카메라와 우측카메라간 거리와 각도 관계를 도시한다. 두 카메라 사이의 거리와 각도를 알면, 물리운동학을 이용하여 각 영상에서 얻어지는 픽셀값을 기준좌표계의 값으로 변환할 수 있다. 이때, 변환행렬을 이용하여 그 관계를 정의하게 되는데, 수학식 1과 같이 표현할 수 있다.
Figure 112006040664167-pat00001
여기서, 좌측카메라를 기준으로 할 경우,
Figure 112006040664167-pat00002
는 좌측카메라에서 얻어지는 영상에 대한 변환행렬이고, T는 우측카메라에서 얻어지는 영상을 기준좌표계로 변환하는 변환행렬이다. d와 w는 두 카메라간 거리와 각도이고, p1r와 t2r은 우측카메라의 팬(pan) 각도와 틸트(tilt) 각도이고, p1l과 t2l은 좌측카메라의 팬(pan) 각도와 틸트(tilt) 각도이다.
상술한 바와 같이 두 카메라간 거리와 각도 정보를 획득하여 카메라상관정보DB(141)에 저장한다.
다음에는 사용자가 서로 다른 2곳의 위치에서 동일한 3차원 위치를 손 지시하도록 하여, 그 3차원 위치를 인식한다. 즉, 3차원 공간에 설치된 가전기기를 서로 다른 2곳의 위치에서 사용자가 손 지시하도록 하고, 2곳의 위치에서의 사용자의 손 지시를 인식하여 해당 가전기기의 3차원 위치를 파악한다.
도 8을 참조하며 그 과정을 설명한다.
먼저, 영상획득부는 제1위치에서의 사용자를 촬영하여, 2대의 카메라를 통해 좌측영상과 우측영상을 획득한다(S81). 얼굴영역추출부와 손영역추출부는 각각의 영상을 신호 처리하여 각각의 영상으로부터 얼굴영역과 손영역을 추출한다(S82).
다음, 얼굴좌표계산부와 손좌표계산부는 각각 좌측영상과 우측영상에 대해 수학식 1을 적용하여 각 영상의 픽셀값을 기준좌표계로 변환한다(S83). 그리고, 얼굴영역의 중심점의 3차원 좌표값과, 손영역의 중심점의 3차원 좌표값을 계산한다(S84).
얼굴좌표계산부가 얼굴영역의 중심점의 3차원 좌표값을 계산하는 원리와, 손좌표계산부가 손영역의 중심점의 3차원 좌표값을 계산하는 원리는 Kohler에 의해 제시된 것으로서 동일하며, 이를 도 9를 참조하여 설명한다.
좌측카메라의 중점이 CM,1이고, 우측카메라의 중점이 CM,2이고, 좌측영상에서의 얼굴영역의 중심점 또는 손영역의 중심점이 P1이고, 우측영상에서의 얼굴영역의 중심점 또는 손영역의 중심점이 P2일 때, 실제 얼굴영역의 중심점 또는 손영역의 중 심점은, 좌측카메라의 중점 CM,1로부터 P1을 지나는 직선과 우측카메라의 중점 CM,2로부터 P2를 지나는 직선이 만나는 교차점에 위치한다. 따라서,
Figure 112006040664167-pat00003
와
Figure 112006040664167-pat00004
의 교차점을 얼굴영역의 중심점 또는 손영역의 중심점으로 설정한다.
그러나, 두 직선의 교차점을 구할 수 없으면, 근사값으로서 두 직선의 수선
Figure 112006040664167-pat00005
을 구하고, 그 수선의 중점을 얼굴영역의 중심점 또는 손영역의 중심점으로 설정한다.
다음, 위치인식부는 얼굴영역의 중심점의 좌표(얼굴좌표)로부터 손영역의 중심점의 좌표(손좌표)로의 방향벡터를 계산한다(S85). 제1위치에서의 방향벡터를 제1방향벡터라고 한다.
다음, 위치인식부는 제2위치에서의 방향벡터인 지를 판단하여(S86), 제2위치에서의 방향벡터가 아니면 사용자로 하여금 제2위치로 이동하도록 하여 제2위치에서의 사용자를 촬영하여 단계 S81부터 단계 S85를 반복수행하여 제2위치에서의 방향벡터인 제2방향벡터를 계산한다.
제1방향벡터와 제2방향벡터가 모두 얻어지면, 위치인식부는 제1방향벡터와 제2방향벡터의 교차점이 존재하는 지를 판단하여(S87), 교차점이 존재하면 그 교차점을 사용자의 손 지시 3차원 위치로 인식하고(S88), 교차점이 존재하지 않으면 두 방향벡터의 수선의 중점을 사용자의 손 지시 3차원 위치로 인식한다(S89). 이렇게 얻어진 사용자의 손 지시 3차원 위치를 가전기기와 매칭하여 위치저장DB에 저장한 다(S90).
도 10은 VCR의 3차원 위치를 인식하여 저장하는 상황을 도시한다.
다음 상술한 바와 같이 가전기기에 대한 3차원 위치가 위치저장DB에 저장된 상태에서, 사용자는 손 지시를 통해 자신이 동작시키고 싶은 가전기기를 선택한다.
도 11을 참조하며 그 과정을 설명한다.
먼저, 영상획득부는 제1위치에서의 사용자를 촬영하여, 2대의 카메라를 통해 좌측영상과 우측영상을 획득한다(S111). 얼굴영역추출부와 손영역추출부는 각각의 영상을 신호 처리하여 각각의 영상으로부터 얼굴영역과 손영역을 추출한다(S112).
다음, 얼굴좌표계산부와 손좌표계산부는 각각 좌측영상과 우측영상에 대해 수학식 1을 적용하여 각 영상의 픽셀값을 기준좌표계로 변환한다(S113). 그리고, 얼굴영역의 중심점의 3차원 좌표값과, 손영역의 중심점의 3차원 좌표값을 계산한다(S114).
얼굴좌표계산부가 얼굴영역의 중심점의 3차원 좌표값을 계산하는 원리와, 손좌표계산부가 손영역의 중심점의 3차원 좌표값을 계산하는 원리는 앞서 단계 S84에서 충분히 설명하였으므로, 여기서는 상세한 설명을 생략한다.
위치인식부는 얼굴좌표계산부와 손좌표계산부로부터 얼굴 좌표와 손 좌표가 얻어지면 얼굴 좌표로부터 손 좌표로의 방향벡터를 계산한다(S115). 그리고, 위치인식부는 위치저장DB에 저장된 가전기기들 중 하나의 후보가전기기를 선택하고 그 후보가전기기와 얼굴 좌표와의 거리를 계산한다(S116). 그리고, 단계 S115에서 구한 방향벡터를 단계 S116에서 계산한 거리만큼 연장하고, 연장점과 후보가전기기 위치 사이의 오차를 계산한다(S117).
단계 S117에서 구한 오차가 해당 후보가전기기의 선택범위에 포함되면, 해당 후보가전기기를 선택한다(119).
한편, 단계 S117에서 구한 오차가 해당 후보가전기기의 선택범위에 포함되지 않으면, 위치저장DB에 다른 후보가전기기가 존재하는 지를 판단한다(S120).
위치저장DB에 다른 후보가전기기가 존재하면(S120), 단계 S116으로 진행하여 다른 후보가전기기에 대해 단계 S116 내지 S118을 반복한다.
한편, 단계 S120에서 위치저장DB에 다른 후보가전기기가 존재하지 않으면, 오차가 가장 적은 후보가전기기를 선택하고(S121), 피드백부는 선택된 후보가전기기를 사용자에게 표시하며 해당 후보가전기기를 정확하게 선택하는 방향을 피드백시켜 준다(S122).
도 12는 손 지시 명령으로 VCR을 선택하는 상황을 도시한다.
단계 S122의 피드백에 대해 좀 더 상세하게 설명한다. 경우에 따라서는 사용자의 손 지시 명령이 정확하게 위치저장DB에 저장된 위치를 가리키지 못할 수도 있다. 사용자가 항상 동일한 지점에서 명령을 내리는 것이 아니고, 명령을 내릴 때마다 동일한 손 지시를 할 수도 없기 때문이다. 사용자는 계속해서 특정 가전기기를 선택하고자 하는데 시스템이 아무런 반응을 하지 않는다면, 사용자는 자신의 손 지시 명령이 잘못된 것인지 아니면 시스템 고장인지 모르고 당황할 수 있다. 따라서, 사용자가 잘못된 손 지시 명령을 하더라도 사용자에게 적절한 피드백을 제공할 필요가 있다.
이를 위해 이 발명의 시스템은 사용자의 손 지시 명령과 가장 가까운 위치에 있는 가전기기를 제시하고, 그 가전기기를 선택하기 위해서는 어느 방향으로 얼마만큼 손 지시 명령을 수정해야 할 런 지 알려준다.
이때, 사용자가 바라보는 시점은 항상 변하기 때문에, 절대좌표를 기준으로 피드백값을 제공한다면, 사용자는 그 피드백값은 사용자가 바라보는 방향에서는 틀린 값이 된다.
도 13은 사용자 기준으로 좌표값을 변환하여 사용자가 바라보는 시각에서 손 지시 방향을 수정하는 과정을 도시한다.
사용자 얼굴 F를 기준으로 사용자의 얼굴과 손의 3차원 좌표로 이루어지는 방향벡터를 해당 가전기기와의 거리만큼 연장하였을 때, 그 연장점과 가장 가까운 가전기기를 찾는다. 그리고, 해당 가전기기의 위치를 중심으로 기준좌표계를 좌표 변환하기 위한 변환행렬을 수학식 2와 같이 구한다.
Figure 112006040664167-pat00006
여기서, (a, b, c)는 기준좌표계에서 해당 가전기기의 위치를 표시한 좌표값이고, θ는 기준좌표계와 저장된 가전기기의 위치를 기준으로 하는 좌표값의 각도 이다.
위에서 구한 방향벡터의 연장점을 수학식 2의 변환행렬로 변환하면, 사용자의 시각에서 수정해야 할 손 지시의 방향 및 크기가 얻어진다.
이상에서 이 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 이 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 이 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 이 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
이상과 같은 이 발명에 따르면, 별도의 조작기기가 없이 간단한 사용자의 손 지시 만으로도 3차원 위치의 인식이 가능하므로, 노인이나 장애들이 간단한 손 지시와 손운동을 통해 가전기기를 선택하고 조작할 수 있는 환경을 제공할 수 있다. 이 발명은 '스마트 홈(smart home)'에서 가전기기를 선택하는 사용자의 명령수단과 지능적인 아이 놀이방 등 다양한 분야에 활용할 수 있다.

Claims (24)

  1. 삭제
  2. 2대의 카메라로부터 영상을 획득하는 영상획득부와, 상기 2대의 카메라간 상관정보를 저장하는 카메라상관정보DB와, 상기 영상획득부에서 획득된 영상과 상기 2대의 카메라간 상관정보를 이용하여 사용자가 손으로 지시하는 3차원 위치를 인식하는 중앙처리부와, 상기 인식된 결과를 표시하는 표시부를 포함하고,
    상기 중앙처리부는,
    상기 영상획득부에서 획득한 영상을 신호처리하여 얼굴영역을 추출하는 얼굴영역추출부와,
    상기 영상획득부에서 획득한 영상을 신호처리하여 손영역을 추출하는 손영역추출부와,
    상기 2대의 카메라가 촬영한 두 영상으로부터 얼굴영역의 중심점의 3차원 좌표값을 계산하여 얼굴 좌표를 설정하는 얼굴좌표계산부와,
    상기 2대의 카메라가 촬영한 두 영상으로부터 손 영역의 중심점의 3차원 좌표값을 계산하여 손 좌표로 설정하는 손좌표계산부와,
    상기 얼굴 좌표에서 손 좌표로의 방향벡터를 구하고, 인식하고자 하는 3차원 위치를 가리키는 2개의 방향벡터를 얻어서 상기 2개의 방향벡터로부터 상기 인식하고자 하는 3차원 위치를 인식하는 위치인식부를 포함한 것을 특징으로 하는 손 지시의 3차원 위치 인식 시스템.
  3. 삭제
  4. 2대의 카메라로부터 영상을 획득하는 영상획득부와, 상기 2대의 카메라간 상관정보를 저장하는 카메라상관정보DB와, 상기 영상획득부에서 획득된 영상과 상기 2대의 카메라간 상관정보를 이용하여 사용자가 손으로 지시하는 3차원 위치를 인식하는 중앙처리부와, 상기 인식된 결과를 표시하는 표시부와, 상기 인식하고자 하는 3차원 위치 정보를 저장한 위치정보DB를 포함하고,
    상기 중앙처리부는,
    상기 영상획득부에서 획득한 영상을 신호처리하여 얼굴영역을 추출하는 얼굴영역추출부와,
    상기 영상획득부에서 획득한 영상을 신호처리하여 손영역을 추출하는 손영역추출부와,
    상기 2대의 카메라가 촬영한 두 영상으로부터 얼굴영역의 중심점의 3차원 좌표값을 계산하여 얼굴 좌표를 설정하는 얼굴좌표계산부와,
    상기 2대의 카메라가 촬영한 두 영상으로부터 손 영역의 중심점의 3차원 좌표값을 계산하여 손 좌표로 설정하는 손좌표계산부와,
    상기 얼굴 좌표에서 손 좌표로의 방향벡터를 구하고, 상기 방향벡터를 연장하여 상기 방향벡터가 가리키는 상기 위치정보DB에 저장된 3차원 위치를 인식하는 위치인식부를 포함한 것을 특징으로 하는 손 지시의 3차원 위치 인식 시스템.
  5. 제 2 항 또는 제 4 항에 있어서,
    상기 2대의 카메라 중 한 카메라에 부착된 표식과,
    상기 2대의 카메라 중 나머지 카메라가 상기 표식을 촬영한 영상으로부터 카메라간 거리 및 각도를 계산하는 초기화부를 더 포함한 것을 특징으로 하는 손 지시의 3차원 위치 인식 시스템.
  6. 제 5 항에 있어서,
    상기 표식은 동일한 크기의 붉은 원이 동일한 간격으로 이격되어 2차원으로 배열되고,
    상기 초기화부는 상기 나머지 카메라가 촬영한 영상으로부터 상기 표식을 인식하고, 상기 나머지 카메라의 초점거리와 촬영된 영상에서의 상기 붉은 원의 사이 간격과 상기 붉은 원의 실제 사이 간격 정보로부터 상기 나머지 카메라와 표식간 거리를 계산하고, 상기 나머지 카메라와 한 표식간 거리와 상기 나머지 카메라와 다른 표식간 거리와 상기 한 표식과 다른 표식간 실제 간격 정보로부터 상기 나머지 카메라와 표식간 각도를 계산하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 시스템.
  7. 제 4 항에 있어서,
    상기 위치인식부의 인식 결과, 상기 사용자의 손 지시가 잘못되었을 경우 손 지시의 수정 방향을 표시하는 피드백부를 더 포함한 것을 특징으로 하는 손 지시의 3차원 위치 인식 시스템.
  8. 삭제
  9. 2대의 카메라와, 2대의 카메라간 상관정보를 저장한 카메라상관정보DB를 포함한 시스템에서의 손 지시의 3차원 위치 인식 방법에 있어서,
    상기 2대의 카메라가 사용자가 3차원 위치를 손으로 지시하는 영상을 획득하는 영상획득단계와, 상기 영상획득단계에서 획득된 영상과 상기 2대의 카메라간 상관정보를 이용하여 상기 3차원 위치를 인식하는 중앙처리단계와, 상기 인식된 결과를 표시하는 표시단계를 포함하고,
    상기 중앙처리단계는,
    상기 영상획득단계에서 획득한 영상을 신호처리하여 얼굴영역을 추출하는 얼굴영역추출단계와,
    상기 영상획득단계에서 획득한 영상을 신호처리하여 손영역을 추출하는 손영역추출단계와,
    상기 2대의 카메라가 촬영한 두 영상으로부터 얼굴영역의 중심점의 3차원 좌표값을 계산하여 얼굴 좌표를 설정하는 얼굴좌표계산단계와,
    상기 2대의 카메라가 촬영한 두 영상으로부터 손 영역의 중심점의 3차원 좌표값을 계산하여 손 좌표로 설정하는 손좌표계산단계와,
    상기 얼굴 좌표에서 손 좌표로의 방향벡터를 구하는 방향벡터계산단계와,
    상기 얼굴영역추출단계 내지 방향벡터계산단계를 반복 수행하여 인식하고자 하는 3차원 위치를 가리키는 2개의 방향벡터를 얻는 반복단계와,
    상기 2개의 방향벡터로부터 상기 3차원 위치를 인식하는 위치인식단계를 포함한 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  10. 제 9 항에 있어서, 상기 위치인식단계는,
    상기 2개의 방향벡터의 교점을 상기 3차원 위치로 인식하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  11. 제 9 항에 있어서, 상기 위치인식단계는,
    상기 2개의 방향벡터의 수선의 중점을 상기 3차원 위치로 인식하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  12. 2대의 카메라와, 2대의 카메라간 상관정보를 저장한 카메라상관정보DB를 포함한 시스템에서의 손 지시의 3차원 위치 인식 방법에 있어서,
    상기 2대의 카메라가 사용자가 3차원 위치를 손으로 지시하는 영상을 획득하는 영상획득단계와, 상기 영상획득단계에서 획득된 영상과 상기 2대의 카메라간 상관정보를 이용하여 상기 3차원 위치를 인식하는 중앙처리단계와, 상기 인식하고자 하는 3차원 위치 정보를 위치정보DB에 저장하는 저장단계와, 상기 인식된 결과를 표시하는 표시단계를 포함하고,
    상기 중앙처리단계는,
    상기 영상획득단계에서 획득한 영상을 신호처리하여 얼굴영역을 추출하는 얼굴영역추출단계와,
    상기 영상획득단계에서 획득한 영상을 신호처리하여 손영역을 추출하는 손영역추출단계와,
    상기 2대의 카메라가 촬영한 두 영상으로부터 얼굴영역의 중심점의 3차원 좌표값을 계산하여 얼굴 좌표를 설정하는 얼굴좌표계산단계와,
    상기 2대의 카메라가 촬영한 두 영상으로부터 손 영역의 중심점의 3차원 좌표값을 계산하여 손 좌표로 설정하는 손좌표계산단계와,
    상기 얼굴 좌표에서 손 좌표로의 방향벡터를 구하는 방향벡터계산단계와,
    상기 방향벡터를 연장하여 상기 방향벡터가 가리키는 상기 위치정보DB에 저장된 3차원 위치를 인식하는 위치인식단계를 포함한 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  13. 제 12 항에 있어서, 상기 위치인식단계는,
    상기 얼굴 좌표와 상기 인식하고자 하는 3차원 위치와의 거리를 계산하는 거리계산단계와,
    상기 방향벡터를 상기 거리만큼 연장하는 벡터연장단계와,
    상기 연장점과 상기 인식하고자 하는 3차원 위치와의 오차가 선택범위 내에 포함되는 지 판단하여 상기 방향벡터가 가리키는 상기 3차원 위치를 인식하는 단계를 포함한 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  14. 제 13 항에 있어서,
    상기 3차원 위치를 인식한 결과, 상기 사용자의 손 지시가 잘못되었을 경우 손 지시의 수정 방향을 상기 사용자에게 출력하는 피드백단계를 더 포함한 것을 특 징으로 하는 손 지시의 3차원 위치 인식 방법.
  15. 제 14 항에 있어서, 상기 피드백단계는,
    상기 위치정보DB에 저장된 3차원 위치 정보 중 상기 연장점과 가장 가까운 3차원 위치를 찾고,
    기준좌표계를 상기 찾아진 3차원 위치를 중심으로 좌표변환하는 아래와 같은 변환행렬을 구하고,
    상기 연장점을 상기 변환행렬에 적용하여, 그 결과값을 사용자에게 출력하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
    <변환행렬>
    Figure 112006040664167-pat00007
    여기서, (a, b, c)는 상기 3차원 위치의 좌표값이고, θ는 기준좌표계와 상기 3차원 위치를 중심으로 하는 좌표값의 각도이다.
  16. 제 9 항 또는 제 12 항에 있어서,
    상기 2대의 카메라 중 한 카메라에 부착된 표식을 나머지 카메라가 촬영한 영상으로부터 카메라간 거리 및 각도를 계산하여 상기 카메라상관정보DB에 저장하는 초기화단계를 더 포함한 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  17. 제 16 항에 있어서, 상기 초기화단계는,
    상기 나머지 카메라가 촬영한 영상으로부터 동일한 크기의 붉은 원이 동일한 간격으로 이격되어 2차원으로 배열된 표식을 인식하는 표식인식단계와,
    상기 나머지 카메라의 초점거리와, 촬영된 영상에서의 상기 붉은 원의 사이 간격과, 상기 붉은 원의 실제 사이 간격 정보로부터 상기 나머지 카메라와 표식간 거리를 계산하는 거리계산단계와,
    상기 나머지 카메라와 한 표식간 거리와, 상기 나머지 카메라와 다른 표식간 거리와, 상기 한 표식과 다른 표식간 실제 간격 정보로부터 상기 나머지 카메라와 표식간 각도를 계산하는 각도계산단계를 포함한 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  18. 제 17 항에 있어서, 상기 표식인식단계는,
    상기 나머지 카메라가 촬영한 영상의 RGB값을 YCrCb값으로 변환하여 붉은 영역을 검출하고,
    상기 검출된 붉은 영역에 대해 크로징(closing)을 하고 각 검출된 붉은 영역 중 넓이가 평균 정도인 붉은 영역만을 남기고,
    상기 나머지 붉은 영역에 대해 중심간 거리를 계산하여 상기 중심간 거리 특성을 이용하여 표식이 되는 붉은 원을 최종 설정하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  19. 제 9 항 또는 제 12 항에 있어서, 상기 얼굴좌표계산단계는,
    상기 2대의 카메라 중 한 카메라로부터 상기 한 카메라가 촬영한 영상의 얼굴영역의 중심점을 지나는 제1방향벡터를 구하고,
    상기 2대의 카메라 중 나머지 카메라로부터 상기 나머지 카메라가 촬영한 영상의 얼굴영역의 중심점을 지나는 제2방향벡터를 구하고,
    상기 제1방향벡터와 제2방향벡터를 이용하여 상기 얼굴영역의 중심점의 3차원 좌표를 구하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  20. 제 19 항에 있어서, 상기 제1방향벡터와 제2방향벡터의 교차점을 상기 얼굴영역의 중심점의 3차원 좌표로 설정하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  21. 제 19 항에 있어서, 상기 제1방향벡터와 제2방향벡터의 수선의 중점을 상기 얼굴영역의 중심점의 3차원 좌표로 설정하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  22. 제 9 항 또는 제 12 항에 있어서, 상기 손좌표계산단계는,
    상기 2대의 카메라 중 한 카메라로부터 상기 한 카메라가 촬영한 영상의 손영역의 중심점을 지나는 제1방향벡터를 구하고,
    상기 2대의 카메라 중 나머지 카메라로부터 상기 나머지 카메라가 촬영한 영상의 손영역의 중심점을 지나는 제2방향벡터를 구하고,
    상기 제1방향벡터와 제2방향벡터를 이용하여 상기 손영역의 중심점의 3차원 좌표를 구하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  23. 제 22 항에 있어서, 상기 제1방향벡터와 제2방향벡터의 교차점을 상기 손영역의 중심점의 3차원 좌표로 설정하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
  24. 제 22 항에 있어서, 상기 제1방향벡터와 제2방향벡터의 수선의 중점을 상기 손영역의 중심점의 3차원 좌표로 설정하는 것을 특징으로 하는 손 지시의 3차원 위치 인식 방법.
KR1020060052056A 2006-06-09 2006-06-09 손 지시의 3차원 위치 인식 시스템 및 방법 KR100818171B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060052056A KR100818171B1 (ko) 2006-06-09 2006-06-09 손 지시의 3차원 위치 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060052056A KR100818171B1 (ko) 2006-06-09 2006-06-09 손 지시의 3차원 위치 인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20070117877A KR20070117877A (ko) 2007-12-13
KR100818171B1 true KR100818171B1 (ko) 2008-04-03

Family

ID=39142899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060052056A KR100818171B1 (ko) 2006-06-09 2006-06-09 손 지시의 3차원 위치 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100818171B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381928B1 (ko) 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101235432B1 (ko) 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR101334585B1 (ko) 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
KR20150099670A (ko) * 2014-02-22 2015-09-01 주식회사 브이터치 가상터치를 이용한 이종 기기 간 컨텐츠 이동 장치 및 방법
KR101671784B1 (ko) * 2015-05-29 2016-11-03 인천대학교 산학협력단 물체 탐지 시스템 및 방법
CN113989636B (zh) * 2021-09-23 2024-05-28 深圳市联洲国际技术有限公司 家电设备的定位及识别方法、装置、存储介质及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940011498B1 (ko) * 1991-09-09 1994-12-19 삼성전자주식회사 수신호를 이용한 원격 제어장치
JP2002259989A (ja) 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
KR20030002937A (ko) * 2001-07-02 2003-01-09 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
KR20030037692A (ko) * 2001-11-05 2003-05-16 한국과학기술원 손 지시 인식을 이용한 원격제어 시스템 및 방법
KR20050074800A (ko) * 2004-01-14 2005-07-19 한국과학기술연구원 컴퓨터 시각 기반의 제스쳐 인식 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940011498B1 (ko) * 1991-09-09 1994-12-19 삼성전자주식회사 수신호를 이용한 원격 제어장치
JP2002259989A (ja) 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
KR20030002937A (ko) * 2001-07-02 2003-01-09 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
KR20030037692A (ko) * 2001-11-05 2003-05-16 한국과학기술원 손 지시 인식을 이용한 원격제어 시스템 및 방법
KR20050074800A (ko) * 2004-01-14 2005-07-19 한국과학기술연구원 컴퓨터 시각 기반의 제스쳐 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR20070117877A (ko) 2007-12-13

Similar Documents

Publication Publication Date Title
CN103252778B (zh) 用于估计机器人位置的设备及其方法
KR102399630B1 (ko) 굴착기의 버킷의 포즈 결정 방법 및 장치
KR100818171B1 (ko) 손 지시의 3차원 위치 인식 시스템 및 방법
CN109887040B (zh) 面向视频监控的运动目标主动感知方法及系统
TWI718150B (zh) 用於判定一攝像機之空間特徵的方法及系統
WO2015037178A1 (ja) 姿勢推定方法及びロボット
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
KR20080029548A (ko) 실사기반 이동기기 제어 방법 및 장치
US8179448B2 (en) Auto depth field capturing system and method thereof
KR101007409B1 (ko) 영상 융합 처리 장치 및 방법
Dos Santos et al. Mapping indoor spaces by adaptive coarse-to-fine registration of RGB-D data
KR101803705B1 (ko) 카메라와 거리 센서의 3차원 캘리브레이션 시스템 및 방법, 그리고 캘리브레이션 장치 및 캘리브레이션 지그
US20170177970A1 (en) Image processing method, image processing apparatus, image processing system, production apparatus, and recording medium
JP6044522B2 (ja) 緩徐変化検出システム
Kyriakoulis et al. Color-based monocular visuoinertial 3-D pose estimation of a volant robot
WO2017056757A1 (ja) 撮像装置および撮像方法
WO2015122658A1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
JP4906683B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP4193342B2 (ja) ３次元データ生成装置
KR101456172B1 (ko) 이동로봇의 위치인식 장치, 방법 및 이동로봇
KR101620580B1 (ko) 달리기 감지 방법 및 시스템
KR20150142475A (ko) 장애물 식별 장치 및 방법
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device
WO2009100778A1 (en) Improved rotation independent face detection.
KR101021015B1 (ko) 3차원 사용자 인터페이스 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120228

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee