KR20080032746A - 움직임 인식 방법 및 그 장치 - Google Patents

움직임 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR20080032746A
KR20080032746A KR1020060098512A KR20060098512A KR20080032746A KR 20080032746 A KR20080032746 A KR 20080032746A KR 1020060098512 A KR1020060098512 A KR 1020060098512A KR 20060098512 A KR20060098512 A KR 20060098512A KR 20080032746 A KR20080032746 A KR 20080032746A
Authority
KR
South Korea
Prior art keywords
image data
subject
reference point
outline
point information
Prior art date
Application number
KR1020060098512A
Other languages
English (en)
Inventor
정종식
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060098512A priority Critical patent/KR20080032746A/ko
Publication of KR20080032746A publication Critical patent/KR20080032746A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 움직임 인식 방법 및 그 장치에 관한 것으로, 특히 피사체의 움직임을 인식하는 방법 및 그 장치에 관한 것이다. 본 발명의 일 실시예에 따른 움직임을 인식하는 방법은 (a) 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계, (b) 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 단계, (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계, (d) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 단계 및 (e) 상기 단계 (a) 내지 상기 단계 (d)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되, 상기 제1 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것일 수 있다.
Figure P1020060098512
피사체, 움직임

Description

움직임 인식 방법 및 그 장치{Device and Method for Motion Recognition}
도 1은 본 발명의 바람직한 제1 실시예에 따른 움직임 인식 장치의 블록 구성도.
도 2는 본 발명의 바람직한 제1 실시예에 따른 움직임 인식 방법의 순서도.
도 3a 내지 도 4b는 본 발명의 바람직한 제1 실시예에 따른 영상 데이터 생성방법을 설명하기 위한 도면.
도 5는 본 발명의 바람직한 제1 실시예에 따른 움직임 인식 장치가 선명도 조절 및 감마 보정을 수행하는 동작을 설명하기 위한 도면.
도 6 내지 도 7은 본 발명의 바람직한 제1 실시예에 따른 배경의 명도가 큰 경우 및 작은 경우에 움직임 인식 방법에 의해 생성된 이미지를 도시한 도면.
도 8은 본 발명의 바람직한 제2 실시예에 따른 움직임 인식 장치의 블록 구성도.
도 9은 본 발명의 바람직한 제2 실시예에 따른 움직임 인식 방법의 흐름도.
도 10은 본 발명의 바람직한 제2 실시예에 따른 움직임 인식 방법에 의해 생성된 이미지를 도시한 도면.
도 11은 본 발명의 바람직한 제3 실시예에 따른 움직임 인식 장치의 블록 구성도.
도 12는 본 발명의 바람직한 제3 실시예에 따른 움직임 인식 방법의 흐름도.
도 13은 본 발명의 바람직한 제3 실시예에 따른 움직임 인식 방법을 설명하기 위한 도면.
<도면의 주요 부분에 대한 부호의 설명>
100: 촬상부 110: 필터부
120: 렌즈부 130: 이미지 센서부
140: 센서 제어부 200: 영상 처리부
210: 영상 데이터 생성부 220: 선명도 조절부
230: 외곽선 추출부 240: 감마 보정부
250: 기준점 판단부 260: 움직임 계산부
300: 저장부 1110: 피사체 추출부
본 발명은 움직임 인식 방법 및 그 장치에 관한 것으로, 특히 피사체의 움직임을 인식하는 방법 및 그 장치에 관한 것이다.
최근, 반도체 기술의 발전으로 저렴한 가격에 카메라 촬상 장치의 공급이 가능하게 되어 이를 장착한 컴퓨터, 이동 통신 단말기가 보급되어 카메라 촬상 장치가 구비된 전자기기를 쉽게 접할 수 있게 되었다.
또한, 컴퓨터를 이용한 영상 처리 기술 및 화상 인식 기술의 발달에 따라 이를 이용한 다양한 응용분야가 발전하고 있다. 이러한 다양한 응용분야 중 하나로 카메라 촬상 장치를 입력수단으로 이용하여 정보를 전달하는 기술개발이 진행되고 있다.
그러나, 기존의 키패드를 이용하여 메뉴 기능을 선택하여 방향키 및 선택키 등의 메뉴선택을 위한 부가적인 키(예를 들어, 이동통신 단말기의 경우 통화 버튼 및 무선 인터넷 접속 버튼, MP3 플레이어의 경우 파일 재생 버튼 및 파일 선택 버튼 등)가 포함되어 있다. 따라서, 디지털 가전기기나 이동 통신 단말기의 제조시 이에 대한 금형 작업이 필요하며, 이러한 이유로 전자 장비의 제조공정이 복잡해지고 그 제조 단가가 상승하게 되는 문제점이 있다.
한편, 이미지 인식 방법에서 단 1장의 이미지를 받아서 그 다음 1장의 이미지와 비교하여 피사체의 움직임 거리 및 방향을 계산하는 것은 그 시간적 차이가 짧고, 입력되는 영상에 순간적인 노이즈(Noise) 영상으로 인하여 정확하게 움직인 포인트를 찾기가 어려운 문제점이 있다.
본 발명은 피사체 주위의 명도에 관계없이 피사체의 움직임을 추출하는 움직 임 인식 방법 및 그 장치를 제공한다.
또한, 본 발명은 기존의 키패드의 일부를 생략할 수 있음으로써 전자 장치의 공간적인 활용도를 높일 수 있고, 전자 장치의 소형화가 가능한 움직임 인식 방법 및 그 장치를 제공한다.
또한, 본 발명은 전자장치 제조시 제조 공정이 간단해지고 그 제조 단가를 줄일 수 있는 움직임 인식 방법 및 그 장치를 제공한다.
또한, 본 발명은 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 움직임 인식 방법 및 그 장치를 제공한다.
또한, 본 발명은 여러 장의 이미지의 평균 이미지를 입력하여 피사체의 움직임을 계산하여 정확하게 움직임을 인식할 수 있는 움직임 인식 방법 및 그 장치를 제공한다.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 피사체의 움직임을 인식하는 방법은 (a) 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계, (b) 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 단계, (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계, (d) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 단계 및 (e) 상기 단계 (a) 내지 상기 단계 (d)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되, 상기 제1 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것일 수 있다.
여기서, 상기 단계 (c)는 상기 차분 값을 감마 보정하는 단계를 더 포함할 수 있다. 또한, 상기 단계 (c)에서 상기 제1 영상 데이터와 상기 제2 영상 데이터의 휘도값이 미리 설정된 기준 휘도값 보다 큰 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출할 수 있다.
상기 단계 (b)에서 상기 피사체의 이미지의 픽셀의 색상 대비, 명도 대비 및 채도 대비 중 어느 하나 이상을 증가함으로써 상기 제1 영상 데이터의 선명도를 조절할 수 있다.
상기 n은 2의 배수일 수 있다.
본 발명의 다른 측면에 따르면, 피사체의 움직임을 인식하는 방법은 (a) 상기 피사체를 촬상하여 영상 데이터를 생성하는 단계, (b) 상기 영상 데이터를 감마 보정하고 기준 휘도 이상의 데이터를 추출하여 상기 영상 데이터로부터 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계, (c) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 단계 및 (d) 상기 단계 (a) 내지 상기 단계 (c)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되, 상기 제1 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것일 수 있다.
상기 기준점 정보는 상기 소정의 외곽선의 무게 중심일 수 있다.
상기 기준점 정보는 상기 소정의 외곽선의 무게 중심은 하기 식에 의해 산출될 수 있다.
Figure 112006073168982-PAT00001
여기서,
Figure 112006073168982-PAT00002
은 무게 중심, M은 상기 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, n은 상기 기준 영역을 나타내는 픽셀의 개수, mi는 상기 외곽선을 나타내는 각 픽셀 휘도값,
Figure 112006073168982-PAT00003
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
상기 기준 영역의 무게 중심은 하기 식에 의해 산출될 수 있다.
Figure 112006073168982-PAT00004
여기서,
Figure 112006073168982-PAT00005
은 무게 중심, n은 상기 외곽선을 나타내는 픽셀의 개수,
Figure 112006073168982-PAT00006
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
상기 소정의 외곽선은 곡선형이며, 상기 기준점 정보는 상기 곡선형의 외곽선에 의해서 결정되는 기준점의 좌표값일 수 있다. 여기서, 상기 단계 (c)에서 상기 곡선형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하는 단계 및 상기 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값을 이용하여 상기 기준점의 좌표값 을 추출하는 단계를 더 포함할 수 있다.
상기 단계 (a)는 상기 움직임 인식 장치에 포함된 광원에서 조사되어 상기 피사체에 의해 반사되는 광을 이용하여 상기 피사체를 촬상할 수 있다.
상기 광원에서 조사되는 광은 적외 광일 수 있다.
본 발명의 또 다른 측면에 따른 피사체의 움직임을 인식하는 방법은 (a) 광원부가 활성화된 상태 및 비활성화된 상태에서 상기 피사체를 각각 촬상하여 제1 영상 데이터 및 제2 영상 데이터를 생성하는 단계, (b) 상기 제1 영상 데이터 및 상기 제2 영상 데이터의 각 픽셀의 휘도값 차이를 이용하여 제3 영상 데이터를 생성하는 단계, (c) 상기 제3 영상 데이터에서 기준 휘도 이상의 데이터를 추출하여 기준 영역을 산출하는 단계, (d) 상기 제3 영상 데이터에서 기준 휘도 이상의 데이터를 추출하여 기준 영역을 산출하는 단계, (e) 상기 기준 영역의 기준점 정보를 산출하는 단계 및 (f) 상기 단계 (a) 내지 단계 (e)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되, 상기 제1 영상 데이터 및 상기 제2 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것일 수 있다.
상기 단계 (c)에서 상기 기준 휘도는 상기 제3영상 데이터를 휘도값이 높은 순으로 나열한 경우 미리 설정된 순위에 해당하는 픽셀의 휘도값일 수 있다.
상기 단계 (c)에서 상기 제3 영상 데이터에서 상기 기준 휘도를 경계로 제3 영상 데이터의 제1 부분의 휘도값을 동일하게 조정하고 상기 제3 영상 데이터의 제2 부분의 휘도값을 상기 제1 부분과 다른 휘도값으로 동일하게 조정하는 이진화(binarization) 처리하여 기준 영역을 추출할 수 있다.
상기 단계 (d)에서 상기 기준 영역의 기준점 정보는 상기 기준 영역의 무게 중심 좌표일 수 있다.
상기 기준 영역의 무게 중심 좌표는 하기 식에 의해 산출될 수 있다.
Figure 112006073168982-PAT00007
여기서,
Figure 112006073168982-PAT00008
은 무게 중심, M은 상기 기준 영역을 나타내는 픽셀의 휘도값을 모두 더한 값, n은 상기 기준 영역을 나타내는 픽셀의 개수, mi는 상기 기준 영역을 나타내는 각 픽셀 휘도값,
Figure 112006073168982-PAT00009
는 상기 기준 영역을 나타내는 픽셀의 좌표값임.
상기 기준 영역의 무게 중심 좌표는 하기 식에 의해 산출될 수 있다.
Figure 112006073168982-PAT00010
여기서,
Figure 112006073168982-PAT00011
은 무게 중심, n은 상기 기준 영역을 나타내는 픽셀의 개수,
Figure 112006073168982-PAT00012
는 상기 기준 영역을 나타내는 픽셀의 좌표값임.
상기 기준 영역의 외곽선이 곡선형인 경우, 상기 기준점 정보는 상기 곡선형의 외곽선에 의해서 결정되는 기준점의 좌표값일 수 있다. 여기서, 상기 단계 (e) 는 상기 곡선형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하는 단계 및 상기 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값을 이용하여 상기 기준점의 좌표값을 추출하는 단계를 더 포함하여, 상기 기준 영역의 기준점 정보를 산출할 수 있다.
상기 기준 영역이 다각형인 경우, 상기 기준점 정보는 서로 마주보는 꼭지점을 이은 둘 이상의 선이 만나는 지점의 좌표값일 수 있다.
본 발명의 또 다른 측면에 따른 피사체의 움직임을 인식하는 장치는 상기 피사체를 촬상하여 영상 데이터를 생성하는 촬상부, 상기 촬상부에서 촬상한 n(2이상의 자연수)개의 상기 영상 데이터를 평균하여 제1 영상 데이터를 생성하는 영상 데이터 생성부, 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 선명도 조절부, 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 생성하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 외곽선 추출부, 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 기준점 판단부 및 상기 기준점 판단부로부터 미리 설정된 시간 간격으로 입력된 복수의 상기 피사체의 기준점 정보를 이용하여 상기 피사체의 움직임을 산출하는 움직임 계산부를 포함할 수 있다.
상기 외곽선 추출부에서 추출한 소정의 외곽선에 대해 감마 보정하는 감마 보정부를 더 포함할 수 있다.
상기 외곽선 추출부는 휘도값이 기준 휘도값 보다 큰 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출할 수 있다.
상기 선명도 조절부는 상기 제1 영상 데이터의 픽셀의 색상 대비, 명도 대비 및 채도 대비 중 어느 하나 이상을 증가시킴으로써 상기 제1 영상 데이터의 선명도를 조절할 수 있다.
본 발명의 또 다른 측면에 따른 피사체의 움직임을 인식하는 장치는 상기 피사체를 촬상하여 상기 피사체의 영상 데이터를 생성하는 촬상부, 상기 촬상부에서 촬상한 n(2이상의 자연수)개의 상기 영상 데이터를 평균하여 제1 영상 데이터를 생성하는 영상 데이터 생성부, 상기 영상 데이터를 감마 보정하고 기준 휘도 이상의 데이터를 추출하여 상기 영상 데이터로부터 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 외곽선 추출부, 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 기준점 판단부 및 상기 기준점 판단부로부터 미리 설정된 시간 간격으로 입력된 복수의 상기 피사체의 기준점 정보를 이용하여 상기 피사체의 움직임을 산출하는 움직임 계산부를 포함할 수 있다.
본 발명의 또 다른 측면에 따른 피사체의 움직임을 인식하는 장치는 미리 설정된 시간을 간격으로 점등되는 광원부, 상기 광원부가 활성화된 상태에서 상기 피사체를 촬상하여 제1 영상 데이터를 생성하고, 상기 광원부가 불활성화된 상태에서 상기 피사체를 촬상하여 제2 영상 데이터를 생성하는 이미지 센서부, n(2이상의 자연수)개의 상기 제1 영상 데이터를 평균하여 제1 평균 영상 데이터를 생성하고, n(2이상의 자연수)개의 상기 제2 영상 데이터를 평균하여 제2 평균 영상 데이터를 생성하는 영상 데이터 생성부, 상기 제1 영상 데이터 및 상기 제2 영상 데이터의 각 픽셀의 휘도값 차이를 이용하여 제3 영상 데이터를 생성하는 피사체 추출부, 상 기 제3 영상 데이터를 분석하여 촬상된 상기 피사체의 기준점 정보를 산출하여 출력하는 기준점 판단부 및 상기 기준점 판단부로부터 미리 설정된 시간 간격으로 입력된 복수의 상기 피사체의 기준점 정보를 이용하여 상기 피사체의 움직임을 산출하는 움직임 계산부를 포함할 수 있다.
상기 기준점 판단부는 상기 제3 영상 데이터에서 미리 설정된 기준 휘도 이상의 데이터를 추출한 기준 영역을 분리하기 위하여 제3 영상 데이터를 이진화(binarization)하고, 상기 기준 영역의 기준점 정보를 산출할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설 명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하에서는 첨부 도면을 참조하여, 피사체로부터 추출된 영상 데이터를 이용한 피사체의 일단의 특정 위치에 상응하는 좌표값(이하 '기준점 정보'라 칭한다)을 산출하여 피사체의 움직임을 인식하는 방법 및 그 장치를 설명한다. 본 발명에 따른 실시예는 크게 3가지로 구분되는데, 첫째, 피사체를 촬상하여 생성된 영상 데이터의 선명도를 조절하여 선명도가 서로 다른 프레임으로부터 피사체의 일단의 외곽선을 추출하여 기준점 정보를 산출하는 방법, 둘째, 피사체를 촬상하여 생성된 영상 데이터를 감마 보정하여 피사체의 일단의 외곽선을 추출하여 기준점 정보를 산출하는 방법 및 셋째, 광원을 활성화한 상태 및 비활성화한 상태에서 피사체를 각각 촬상하여 생성된 제1 영상 데이터 및 제2 영상 데이터의 픽셀 단위의 차이값을 이용하여 생성한 제3 영상 데이터를 이용하여 기준점 정보를 산출하는 방법 등으로 구분할 수 있다. 이하에서 차례대로 설명한다.
도 1은 본 발명의 바람직한 제1 실시예에 따른 움직임 인식 장치의 블록 구성도이다.
도 1를 참조하면, 움직임 인식 장치는 촬상부(100), 영상 처리부(200) 및 저 장부(300)를 포함할 수 있으며, 촬상부(100)는 필터부(110), 렌즈부(120) 및 이미지 센서부(130)를 포함할 수 있으며, 영상 처리부(200)는 영상데이터 생성부(210), 선명도 조절부(220), 외곽선 추출부(230), 감마 보정부(240), 기준점 판단부(250) 및 움직임 산부(260)를 포함할 수 있다.
피사체에서 반사되어 촬상부로 입사된 광은 필터부(110) 및 렌즈부(120)를 경유하여 이미지 센서부(130)로 조사될 수 있다. 필터부(110)는 특정 파장의 광만을 통과시킴으로써 피사체의 움직임을 정확히 측정할 수 있도록 한다.
즉, 본 발명의 일실시예에 따른 움직임 인식 장치가 광원(미도시)을 포함하는 경우 광원은 특정의 파장을 가지는 광을 외부로 방사할 수 있고, 외부의 피사체에 의해 반사된 광은 필터부(110)를 통과함으로서 주위의 노이즈로 작용할 수 있는 다른 파장의 광을 차단될 수 있는 효과가 있다. 예를 들면, 광원은 적외광을 출사하고, 필터부(110)는 적외광만을 투과할 수 있도록 하는 기능을 수행할 수 있다. 여기서, 본 발명에 이용될 수 있는 적외광은 태양광에서 상대적으로 비율이 작은 광이 될 수 있으며, 예를 들면, 적외광의 파장은 1375nm 정도가 될 수 있다.
여기서, 필터부(110)가 포함되는 경우를 설명하고 있으나 필터부(110)가 포함되지 않고 피사체로부터 조사되는 모든 광을 이용하여 본 발명이 적용될 수 있음은 당연하다. 렌즈부(120)는 필터부(110)를 통과한 광을 이미지 센서부(130)로 집속하는 기능을 수행할 수 있다.
이미지 센서부(130)는 CMOS(Complementary metal oxide semiconductor) 이미지 센서 또는 CCD(charge coupled device) 이미지 센서가 될 수 있다. CMOS(Complementary metal oxide semiconductor) 이미지 센서는 포토 다이오드(photo diode)를 포함하는 다수의 단위 픽셀로 구성되고, 센서에서 출력되는 신호는 디지털 전기 신호로서 이러한 단위 픽셀은 제어 회로 및 신호 처리에 의해 구동된다. CCD(charge coupled device) 이미지 센서는 다수개의 MOS 캐패시터를 포함하며, 이러한 MOS 캐패시터에 전하(캐리어)를 이동시킴으로써 아날로그 전기 신호를 출력하여 동작된다. 이러한 이미지 센서부(130)는 광을 감지할 수 있는 복수의 픽셀들을 가지고 있다. 따라서 피사체가 위치한 좌표값에 대응되는 광이 입사되는 위치를 감지하여 피사체의 기준점 정보를 산출할 수 있도록 한다.
영상 처리부(200)는 이미지 센서부(130)에서 인식한 피사체를 촬상한 영상 데이터를 이용하여 피사체의 기준점 정보를 산출하여 피사체의 움직임을 계산한다.
이를 자세히 살펴보면, 영상 데이터 생성부(210)는 이미지 센서부(130)로부터 피사체를 촬상한 n(2이상의 자연수)개의 영상 데이터가 연속적으로 입력되면, 이를 평균하여 평균 영상 데이터를 생성한다. 예를 들면, 연속적으로 입력된 4개의 영상 데이터로부터 산출된 제1 평균 영상 데이터를 생성하고 그 다음으로 연속적으로 입력된 4개의 영상 데이터로부터 산출된 제2 평균 영상 데이터를 산출할 수 있다. 영상 처리부(200)는 제1 평균 영상 데이터 및 제2 평균 영상 데이터를 영상 처리하여 각각의 기준점 정보를 산출하고 이를 비교하여 피사체의 움직임 방향 및 움직임 거리를 계산할 수 있다. 여기서, 입력되는 n개의 영상 데이터는 2의 배수인 것이 바람직하며, 영상 데이터가 입력되는 샘플링비율(sampling rate) 및 이미지 처리 장치의 처리속도에 따라 달라질 수 있다. 제1 평균 영상 데이터 및 제2 평균 영상 데이터를 산출하는 이유는 각각 단 하나의 이미지 프레임끼리 비교하는 경우, 순간적인 영상 데이터들의 입력에 의해 피사체의 움직임 계산의 오차가 발생될 수 있어 그 오류를 개선하고, 입력되는 모든 영상 데이터를 비교하는 경우 그 처리 속도가 느려지기 때문에 이를 방지하기 위함이다.
또한, 영상 데이터 생성부(210)는 제1 평균 영상 데이터 및 제2 평균 영상 데이터를 산출하는 데 있어서, 대상이 되는 각각의 n개의 영상 데이터 중 m(자연수, m < n)개의 영상 데이터가 중복될 수 있다. 예를 들면, 제1 평균 영상 데이터는 연속적으로 입력되는 1 내지 4번째 영상 데이터를 이용하여 산출하고 제2 평균 영상데이터 3 내지 6번째의 영상 데이터를 이용하여 산출하는 경우, 3 및 4번째 영상 데이터가 중복적으로 이용할 수 있다. 물론, 각 평균 영상 데이터를 산출하기 위한 영상 데이터는 중복되지 않도록 선택할 수도 있음은 자명하다. 또한, 제1 평균 영상 데이터 및 제2 평균 영상 데이터는 연속적으로 입력되는 영상 데이터를 이용할 수 있고, 연속적으로 입력되는 영상 데이터 중 미리 설정된 순번에 영상 데이터를 이용할 수 있다. 이에 대해서는 도 3a 내지 도 4b에서 더욱 상세하게 설명하기로 한다.
선명도 조절부(220)는 영상 데이터 생성부(210)에서 생성된 평균 영상 데이터인 제1 영상 데이터(제1 평균 영상 데이터 또는 제2 평균 영상 데이터일 수 있다)의 선명도를 조절하여 제1 영상 데이터와 다른 제2 영상 데이터를 생성한다. 즉, 선명도 조절부(220)는 촬상된 피사체의 제1 영상 데이터의 픽셀의 색상 대비, 명도 대비 및 채도 대비 중 어느 하나 이상을 증가시킴으로써 선명도를 조절할 수 있다.
여기서, 이미지의 선명도(鮮明度, sharpness)는 이미지의 명암 경계 부분의 명확도를 나타내는 것으로서, 피사체의 이미지의 선명도가 증가하면, 경계 부분의 명확도가 증가하기 때문에 피사체를 촬상한 이미지에서 소정의 피사체만의 외곽선(또는 윤곽(edge))을 파악하기 용이한 장점이 있다. 즉, 선명도가 높은 픽셀은 픽셀에 대해서 색상 대비, 명도 대비 및 채도 대비 중 어느 하나를 증가시킴으로써, 선명도를 증가시킬 수 있다. 여기서, 렌즈부(120)의 심도(depth of field)에 따라서, 즉, 렌즈부(120)에 의해 형성되는 피사체의 상이 뚜렷하게 보일 수 있는 범위 안에서 피사체의 이미지의 선명도가 달리 표현될 수 있다. 일반적으로, 렌즈부(120)의 초점 거리와 유사한 거리에 위치한 피사체의 외곽선은 선명도가 크지만, 렌즈부(120)의 초점 거리와 먼 거리에 위치한 배경은 선명도가 작게 된다.
본 발명의 제1 실시예에 따른 선명도 조절부(220)를 이용하는 경우 렌즈부(120)의 초점 거리와 유사한 거리에 위치한 피사체의 외곽선은 선명도가 더 증가할 것이나, 렌즈부(120)의 초점 거리와 먼 거리에 위치한 배경은 선명도가 더 작게 될 수 있다. 따라서, 선명도 조절부(220)에 의해 피사체의 외곽선은 배경보다 선명도가 더 커지게 되므로, 이를 파악하여 이용하기가 더 용이하게 될 수 있다.
외곽선 추출부(230)는 피사체를 촬상하여 생성한 제1 영상 데이터와 이를 영상 처리한 제2 영상 데이터의 차분 값을 추출하여 피사체의 외곽선을 추출한다. 즉, 선명도 조절부(220)에서 생성된 선명도가 높은 제2 영상 데이터와 촬상된 피사체의 제1 영상 데이터의 차분 값은 피사체의 외곽선을 나타낼 수 있다. 추출되는 피사체의 외곽선은 촬상부(100)에 인접한 피사체의 일단의 외곽선이 될 수 있다. 여기서, 휘도값이 미리 설정된 문턱값(또는 기준 휘도값) 보다 큰 차분 값을 추출하여 피사체의 일단에 상응하는 외곽선을 추출할 수 있다. 기준 휘도값은 피사체 외의 배경으로부터 촬상부(100)에 들어오는 광에 의해 발생하는 노이즈를 제거할 수 있게 한다. 즉, 선명도 조절부(220)에 의해 생성된 제2 영상 데이터의 선명도는 피사체의 영상 데이터뿐만 아니라 배경 영상 데이터에 대해서도 조절될 수 있으므로, 차분 값이 기준 휘도값 이상인 영상 데이터에 대해서만 외곽선으로 인식함으로써 피사체 인식 효율성을 높일 수 있다.
감마 보정부(240)는 피사체의 영상 데이터를 감마 보정한다. 여기서, 영상의 감마(Gamma)는 일반적으로 텔레비전, 카메라, 수상기, 팩스 송수신기 등의 광전 변환계 또는 전광(電光) 변환계에서 입출력 특성을 양(兩) 대수축으로 표시하였을 때 직선 부분의 경사이다. 즉, 텔레비전에서는 피사체 휘도에 대한 카메라 출력 전압과 수상부 입력 전압에 대한 음극선관 휘도와의 대수비를 표시한다. 본 발명의 실시예에 따른 감마 보정에 의해서 각 픽셀의 휘도값을 달리할 수 있으므로, 피사체의 선명도가 큰 부분만 표시되고, 나머지 선명도가 작음 부분은 흑색으로 남게 된다. 따라서, 피사체를 촬상한 이미지에서 소정의 피사체의 윤곽만 밝게 표시됨으로써 이를 이용하여 피사체의 이동 여부를 판단할 수 있다.
기준점 판단부(250)는 감마 보정된 이미지로부터 소정의 외곽선을 추적하고, 소정의 외곽선에 의해 정해지는 기준점 정보를 추출할 수 있다. 여기서, 소정의 외곽선은 다양한 형태를 가질 수 있으며, 예를 들면, 원형의 외곽선일 수 있고, 소정 의 외곽선에 의해 정해지는 기준점 정보는 원형의 외곽선에 의해서 결정되는 기준점, 즉, 원의 중심의 좌표값이 될 수 있다. 일반적으로 움직임 추출을 위해 사용되는 피사체가 사용자 손가락의 일단부일 수 있으며, 이 경우 손가락의 일단인 원형의 외곽선을 추출함으로써, 기준점 정보를 산출할 수 있다.
기준점 판단부(250)는 감마 보정부(240)에 의해 추출된 피사체의 외곽선이 형성하는 도형의 내부에 위치한 기준점 정보를 산출한다. 이러한 기준점 정보를 산출하는 방법은 여러 가지가 있을 수 있으며, 예를 들면, 무게 중심 또는 기준점의 좌표값을 산출할 수 있다.
피사체의 외곽선이 형성하는 도형의 내부에 위치한 특정 좌표인 무게 중심은 다음과 같은 수학식에 의해 산출될 수 있다.
Figure 112006073168982-PAT00013
(1)
Figure 112006073168982-PAT00014
(2)
Figure 112006073168982-PAT00015
(3)
여기서, R은 무게 중심, M은 피사체의 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, n은 상기 외곽선을 나타내는 픽셀의 개수, mi는 피사체의 외곽선을 나타내는 각 픽셀의 휘도값, ri는 상기 외곽선을 나타내는 픽셀의 좌표값이다. 아래 첨자 x, y는 각각 X축과 Y축에 해당하는 값임을 나타내며, 식 (3)은 식 (1)과 식 (2)에 대한 벡터 표현이다.
또한, 기준점 판단부(250)가 상술한 수학식에 의하여 피사체의 기준점을 판단하는 경우에는 기준 픽셀의 휘도값을 모두 반영하여야 하므로 연산량이 많아지게 되어 움직임 인식 장치의 전반적인 기능을 저하시키는 문제점이 발생할 수 있다. 따라서, 다른 실시예에 따르면, 피사체의 외곽선이 형성하는 도형의 내부에 위치한 특정 좌표인 무게 중심은 다음과 같은 수학식에 의해서도 산출될 수 있다.
Figure 112006073168982-PAT00016
(4)
Figure 112006073168982-PAT00017
(5)
Figure 112006073168982-PAT00018
(6)
여기서, R은 무게 중심, ri는 상기 외곽선을 나타내는 픽셀의 좌표값, n은 상기 외곽선을 나타내는 픽셀의 개수이다. 아래 첨자 x, y는 각각 X축과 Y축에 해당하는 값임을 나타내고, 식 (6)은 식 (4)와 식 (5)에 대한 벡터 표현이다. 즉, 기준점 판단부(250)는 픽셀의 휘도값을 반영하지 않고 피사체의 기준점을 판단할 수 있다. 이는 각 픽셀의 휘도값은 큰 차이가 없을 것이므로 기준점 판단부(250)는 이 에 대한 반영을 하지 아니하고 외곽선을 나타내는 픽셀의 좌표값의 평균값을 피사체의 기준점으로 산출할 수 있다.
또한 기준점 판단부(250)는 피사체의 외곽선이 곡선형인 경우 그 곡률 반경을 산출하고, 해당 곡률 반경에 상응하는 기준점의 좌표값을 추출할 수 있다. 만약, 소정의 외곽선이 사각형인 경우 사각형의 대각선이 만나는 좌표값이 소정의 외곽선에 의해 정해지는 좌표값이 될 수도 있으며, 다른 다각형인 경우에는 서로 마주보는 꼭지점을 이은 둘 이상의 선이 만나는 좌표값이 될 수도 있다. 예를 들면, 곡선형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하여, 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값을 상기 기준점의 좌표값으로 할 수 있다. 또한, 다른 예를 들면, 이러한 중간값은 2차원 디스플레이의 경우 X축과 Y축에 대한 좌표값으로 나타내질 수 있으며, X축 또는 Y축에 대한 좌표값의 차이가 가장 큰 두 픽셀간의 중간값을 기준점의 좌표값으로 할 수도 있다.
또한, 기준점 판단부(250)는 피사체를 촬상한 영상 데이터가 연속적으로 입력됨에 따라 복수의 피사체의 기준점 정보를 산출한다. 기준점 판단부(250) 역시 평균 영상 데이터 생성부(210)와 동일하게 복수의 기준점 정보 중 n(2이상의 자연수)개의 기준점 정보를 이용한 제1 평균 기준점 정보 및 다음 n(2이상의 자연수)개의 기준점 정보를 이용한 제2 평균 기준점 정보를 감산하여 피사체의 움직임의 방향 및 거리를 계산할 수 있다.
움직임 계산부(260)는 기준점 판단부(250)에서 산출된 복수의 피사체의 기준점 정보를 이용하여 피사체의 움직임을 인식할 수 있다. 또한, 움직임 계산부(260) 는 이외에 다양한 방법에 의해 산출된 제1 평균 기준점 정보 및 제2 평균 기준점 정보를 감산하여 피사체의 움직임 방향 및 거리를 계산할 수 있다. 즉, 움직임 계산부(260)는 미리 정해진 샘플링 비율에 의해 정해진 시간 간격으로 연속적으로 입력되는 복수의 제1 영상 데이터로부터 산출된 복수의 기준점 정보를 이용할 수 있으며, 더 나아가 n(2이상의 자연수)개의 기준점 정보를 평균한 복수의 평균 기준점 정보를 이용하여 피사체의 움직임을 인식할 수 있다.
저장부(300)는 촬상부(100)에서 연속적으로 입력되는 영상 데이터, 생성되는 기준점 정보 및 움직임 인식 장치를 구동하기 위한 프로그램 등을 저장한다. 저장부(300)는 예를 들면, 플래시 메모리 등 다양한 종류의 메모리를 이용하여 구성될 수 있음은 당업자에게 자명하다.
이하에서는, 소정의 외곽선이 원형의 외곽선인 경우를 중심으로 설명한다.
도 2은 본 발명의 바람직한 제1 실시예에 따른 움직임 인식 방법의 순서도이다.
단계 S210에서, 촬상부(100)는 피사체를 포함하는 이미지를 촬상하여 제1 영상 데이터를 생성한다. 여기서, 제1 영상 데이터는 촬상부(100)에 연속적으로 입력되는 n(2이상의 자연수)개의 영상 데이터를 평균한 평균 영상 데이터일 수 있다. 여기서, n은 2의 배수일 수 있으며, n개의 영상 데이터가 연속적으로 입력되는 것일 수 있으며, 연속적으로 입력되는 것들 중 미리 설정된 순번에 의해 선택되는 것일 수 있다. 이는 앞서 설명한 바와 같이, 피사체의 움직임을 인식하기 위하여 각 각 단 하나의 이미지 프레임끼리 비교하는 경우, 순간적인 영상 데이터들의 입력에 의해 피사체의 움직임 계산의 오차가 발생될 수 있어 그 오류를 개선하고, 입력되는 모든 영상 데이터를 비교하는 경우 그 처리 속도가 느려지기 때문에 이를 방지하기 위함이다.
단계 S220에서, 촬상된 피사체의 이미지에 대해 선명도를 조절하여 제2 영상 데이터를 생성한다. 여기서, 이미지의 심도에 따라서 선명도 조절이 달라질 수 있다. 즉, 렌즈부의 초점 거리에 가까운 위치에 있는 피사체 외곽선의 경우 배경이 되는 이미지에 비해 선명도가 크게 증가할 수 있다.
단계 S230에서, 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 산출하고, 단계 S240에서, 산출한 차분 값에 대해서 감마 보정하여 피사체 외곽선에 대한 휘도값을 증가시킬 수 있다. 따라서 감마 보정된 차분 값으로부터 피사체의 외곽선이 명확하게 될 수 있다. 여기서 차분 값은 모든 픽셀에 대해서 산출되며, 이하 단계들은 각 픽셀마다 개별적으로 수행된다.
단계 S250에서, 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값이 미리 설정된 기준 휘도값보다 큰지 여부를 체크한다. 차분 값이 미리 설정된 기준 휘도값 보다 큰 경우에는 이러한 픽셀은 피사체의 일단에 상응하는 외곽선으로 추출된다. 그러나 차분 값이 미리 설정된 기준 휘도값 보다 작은 경우에는 다음 픽셀에 대한 차분값에 대해서 미리 설정된 기준 휘도값보다 큰지 여부를 체크하며, 모든 픽셀들에 대해서 차분값에 대해서 미리 설정된 기준 휘도값보다 작은 경우 처음 단계로 돌아가서 모든 단계가 다시 반복될 수 있다. 단계 S260에서, 제1 영상 데이 터와 상기 제2 영상 데이터의 차분 값이 미리 설정된 기준 휘도값보다 큰 좌표값으로부터 피사체의 일단에 상응하는 외곽선을 추출한다.
단계 S270에서, 피사체의 외곽선을 이용해서 기준점 정보를 산출한다. 즉, 앞 서 설명한 바와 같이 피사체의 기준점 정보는 무게 중심을 구하거나, 추출된 피사체의 외곽선으로부터 곡률 반경을 산출하고 해당 곡률 반경에 상응하는 기준점의 좌표값을 추출할 수 있다. 또는 곡률 반경을 별도로 산출하지 않고, 피사체의 윤곽이 형성하는 원형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하고, 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값을 이용하여 현재 기준점의 좌표값을 추출할 수도 있다.
단계 S280에서, 복수의 산출된 기준점 정보를 이용하여 피사체의 움직임을 계산한다.
도 3a 내지 도 4b는 본 발명의 바람직한 제1 실시예에 따른 영상 데이터 산출 방법을 설명하기 위한 도면이다. 도 3a 내지 도 4b를 참조하면, 영상 데이터 생성부(210)는 이미지 센서부(130)로부터 입력된 n(2이상의 자연수)개의 영상 데이터가 연속적으로 입력되면, 이를 평균하여 평균 영상 데이터를 생성한다. 여기서, 영상 데이터는 피사체만을 추출하기 위하여 먼저 영상 데이터의 배경을 제거할 수 있다. 또한, 영상 데이터는 피사체의 미리 설정되어 기준이 되는 지점의 좌표 또는 외곽선 좌표를 산출하여 이 좌표들의 휘도값 평균일 수 있다. 실선으로 표시된 이미지는 피사체를 촬상한 실 영상 데이터이고, 점선으로 표시된 이미지는 이전 위치 의 영상 데이터이다.
영상 데이터 생성부(210)는 도 3a에 도시된 바와 같이, 8개의 영상 데이터(312 내지 326)가 연속적으로 입력되면, 4개의 영상 데이터(312 내지 318)로부터 제1 평균 영상 데이터(328)를 생성하고 그 다음으로 연속적으로 입력된 4개의 영상 데이터(320 내지 326)로부터 제2 평균 영상 데이터(330)를 산출할 수 있다. 영상 처리부(200)는 제1 평균 영상 데이터(328) 및 제2 평균 영상 데이터(330)를 영상 처리하여 각각의 기준점 정보를 산출하고 이를 비교하여 피사체의 움직임 방향 및 움직임 거리를 계산할 수 있다.
또한, 영상 데이터 생성부(210)는 도 3b에 도시된 바와 같이, 6개의 영상 데이터(332 내지 342)가 연속적으로 입력되면, 4개의 영상 데이터(332 내지 338)로부터 제1 평균 영상 데이터(344)를 생성하고 다른 4개의 영상 데이터(336 내지 342)로부터 제2 평균 영상 데이터(346)를 산출한다. 여기서, 평균 영상 데이터를 산출하기 위하여 2개의 영상 데이터(336, 338)가 중복되어 이용될 수 있다. 2개의 영상 데이터(336, 338)를 중복하여 이용하는 이유는 피사체의 움직임 인식을 더욱 정확하게 하기 위해서이다.
또한, 영상 데이터 생성부(210)는 도 4a에 도시된 바와 같이, 8개의 연속적으로 입력된 영상 데이터(412 내지 426) 중 2n(2이상의 자연수)-1 번째로 입력된 영상 데이터(412, 416, 420, 424) 만을 이용하여 평균 영상 데이터(428, 430)를 산출할 수 있으며, 도 4b에 도시된 바와 같이, 2n-1 번째(432, 436, 440, 444) 및 2n번째(434, 438, 442, 446) 입력된 영상 데이터들을 각각 이용하여 평균 영상 데이 터(448 내지 454)를 산출할 수 있다. 영상 데이터 생성부(210)는 이외의 다양한 방법에 의해 n개의 영상 데이터를 이용하여 평균 영상 데이터를 산출할 수 있으며, 산출 방법은 영상 데이터가 입력되는 샘플링비율(sampling rate) 및 이미지 처리 장치의 처리속도에 따라 달라질 수 있다.
도 5는 본 발명의 바람직한 제1 실시예에 따른 움직임 인식 장치가 선명도 조절 및 감마 보정을 수행하는 동작을 설명한 도면이다. 도 5를 참조하면, 원본 이미지(510), 선명도 조절된 이미지(520), 차분 값에 대해 감마 보정된 이미지(530), 추출된 기준점(540) 및 원형 외곽선(550)이 도시된다.
원본 이미지(510)에서 피사체인 사용자의 손가락 일단은 둥근 형상을 가지고 있다. 이후 심도에 따라서 선명도를 조절하면, 선명도 조절된 이미지(520)에서 보이는 바와 같이 초점 거리에 유사한 위치에 있는 피사체(사용자 손가락)의 외곽선은 선명도가 커지며, 그렇지 않은 배경은 선명도가 작아진다. 이후 원본 이미지(510)와 선명도 조절된 이미지(520)의 차분 값을 구한 후 전체적으로 감마값을 높게 하면, 감마 보정된 이미지(530)에서 선명도가 큰 사용자의 손가락 일단의 윤곽만 보이게 된다. 따라서, 피사체의 윤곽인 원형 외곽선으로부터 상술한 기준점의 정보를 산출할 수 있다.
도 6은 본 발명의 바람직한 제1 실시예에 따른 배경의 명도가 큰 경우 움직임인식 장치에 의해 생성된 이미지를 도시한 도면이며, 도 7은 본 발명의 바람직한 제1 실시예에 따른 배경의 명도가 작은 경우 움직임 인식 장치에 의해 생성된 이미지를 도시한 도면이다.
도 6 및 도 7을 참조하면, 원본 이미지(610, 710), 선명도 조절된 이미지(620, 720), 감마 보정된 이미지(630, 730), 추출된 기준점 및 원형 외곽선(640, 740)이 도시된다. 도 6과 도 7을 비교하면, 배경의 명도와 관계없이 피사체의 윤곽이 추출될 수 있다. 따라서, 본 발명의 실시예에 따르면, 이미지의 심도를 이용하여 피사체의 이동 여부 및 이동 위치의 좌표값을 구할 수 있다.
도 8은 본 발명의 바람직한 제2 실시예에 따른 움직임 인식 장치의 블록 구성도이다.
도 8을 참조하면, 움직임 인식 장치는 촬상부(100), 영상 처리부(200) 및 저장부(300)를 포함할 수 있으며, 촬상부(100)는 필터부(110), 렌즈부(200) 및 이미지 센서부(300)를 포함할 수 있으며, 영상 처리부(200)는 영상 데이터 생성부(210), 외곽선 추출부(230), 감마 보정부(240), 기준점 판단부(250) 및 움직임 계산부(260)을 포함할 수 있다. 상술한 제1 실시예와의 차이점을 위주로 설명한다.
피사체의 외곽선이 배경보다 선명도가 크게 촬상되는 경우에는 선명도 조절은 불필요할 수 있다. 예를 들면, 피사체의 배경이 어두운 경우에는 상대적으로 밝은 피사체의 외곽선은 선명도가 크기 때문에 별도의 선명도 조절이 필요 없을 수도 있다.
따라서, 이미지 센서부(130)에서 생성된 피사체의 영상 데이터에 대해 감마 보정부(240)에서 감마값을 작게 보정한다. 감마값이 작아지면 상대적으로 피사체를 포함하는 이미지 중에서 어두운 부분은 안보이게 되고, 밝은 부분인 피사체의 외곽선은 보이게 된다. 따라서 이 경우 영상 데이터의 선명도를 조절하지 않기 때문에 하나의 영상 데이터로부터 피사체의 외곽선을 추출한다.
여기서 피사체는 사용자의 손가락일 수도 있으며 소정의 광을 조사할 수 있는 광원이 구비된 물체(예를 들면, 연필, 볼펜 등)가 될 수도 있다. 본 발명의 다른 일 실시예에 따른 움직임 인식 장치에 피사체를 비출 수 있는 광원이 구비되는 경우 또는 후자와 같이 피사체가 직접적으로 소정의 광을 조사할 수 있는 경우에는 배경의 휘도값보다 피사체의 휘도값이 상대적으로 크기 때문에 영상 데이터의 선명도를 조절하지 않고 하나의 영상 데이터로부터 피사체의 외곽선을 추출할 수 있다.
이후 추출된 피사체의 외곽선으로부터 기준점을 산출하여 피사체의 움직임을계산하는 방법은 제1 실시예에 대해 상술한 바와 같다.
도 9는 본 발명의 바람직한 제2 실시예에 따른 움직임 인식 방법의 흐름도이다. 상술한 제1 실시예와의 차이점을 위주로 설명한다.
단계 S910에서, 피사체를 촬상하여 영상 데이터를 생성하고, 단계 S920에서, 생성된 영상 데이터의 감마값을 조절 하여 기준 휘도 이상의 데이터를 추출할 수 있도록 한다. 감마값을 조절하는 방법은 다양하게 제시될 수 있으며, 예를 들면, 움직임 인식 장치에 피사체를 비출 수 있는 광원이 구비되는 경우 또는 피사체가 직접적으로 소정의 광을 조사할 수 있는 경우에는, 피사체의 휘도값이 배경의 휘도 값보다 크기 때문에 휘도 값이 특정 값 이상인 경우에 대해서는 감마값을 크게 하고, 그 이하인 경우에는 감마값을 작게 해서 피사체의 외곽선을 추출할 수 있다.
단계 S930에서, 영상 데이터의 감마값이 작게 된 경우 기준 휘도 이상의 영상 데이터가 나타내는 피사체의 외곽선을 추출하고, 이후 피사체의 외곽선으로부터 기준점을 산출하여 피사체의 움직임을 계산할 수 있다.
도 10는 본 발명의 바람직한 제2 실시예에 따른 움직임 인식 장치의 감마 보정을 수행하는 동작을 설명하기 위한 도면이다.
도 10를 참조하면, 원본 이미지(1010), 보정된 감마값 그래프(1020) 및 감마 보정된 이미지(1030)가 도시된다.
원본 이미지(1010)에서 피사체는 사용자의 손가락이며, 피사체의 일단은 둥근 형상을 가지고 있다. 여기서, 전체적으로 감마값을 낮게 하고, 픽셀값이 높은 부분에서 감마값을 높게 하면, 감마 보정된 이미지(1030)에서 선명도가 큰 사용자의 손가락 일단의 윤곽만 보이게 된다. 따라서, 피사체의 윤곽으로부터 기준점의 좌표값을 추출하여 피사체의 움직임을 계산할 수 있다.
도 11은 본 발명의 바람직한 제3 실시예에 따른 움직임 인식 장치의 블록 구성도이다.
도 11을 참조하면, 움직임 인식 장치(200)는 촬상부(100), 영상 처리부(200), 저장부(300) 및 광원부(400)를 포함한다. 여기서, 촬상부(100)는 필터부(110), 렌즈부(120), 이미지 센서부(130) 및 센서 제어부(140)를 포함하고, 영상 처리부(200)는 영상 데이터 생성부(210), 피사체 추출부(1110), 기준점 판단부(250), 움직임 계산부(260)를 포함한다. 상술한 제1 실시예와의 차이점을 위주로 설명한다.
광원부(400)는 특정의 파장을 가지는 광(light)을 출력할 수 있고, 이러한 광은 피사체에서 반사되어 필터부(110)를 통과함으로써 주위의 노이즈(noise)로 작용할 수 있는 다른 파장의 광을 차단할 수도 있다. 특히, 광원부(400)는 센서 제어부(140)의 제어를 받아 미리 설정된 시간을 간격으로 점등될 수 있다. 이때, 촬상부(100)는 광원부(400)가 광을 출력하는 동안에 피사체를 촬상하여 제1 영상 데이터를, 광원부(400)가 광을 출력하지 아니하는 동안에 피사체를 촬상하여 제2 영상 데이터를 각각 생성하여 영상 처리부(200)로 출력할 수 있다. 이때, 광원부(400)는 센서 제어부(140)의 제어를 받아 미리 설정된 시간을 간격으로 점등될 수 있으며, 촬상부(100)는 제1 영상 데이터를 생성한 직후에 광원부(400)가 불활성화되면 제2 영상 데이터를 생성할 수 있다. 여기서, 미리 설정된 시간 간격은 촬상부(100)에서 피사체를 촬상하는 샘플링레이트(sampling rate) 및 영상 처리부(200)에서의 처리 속도에 따라 달라질 수 있다.
센서 제어부(140)는 이미지 센서부(130)에서 제1 영상 데이터 및 제2 영상 데이터를 생성할 수 있도록 광원부(400) 및 촬상부(100)를 제어하며, 또한, 입력되는 영상 데이터를 이용하여 피사체의 움직임을 계산할 수 있도록 영상 처리부(200)을 제어한다.
영상 처리부(200)는 이미지 센서부(130)에서 인식한 피사체의 영상 데이터로 부터 피사체의 기준점에 상응하는 좌표값을 산출하여 피사체의 움직임을 계산한다. 영상 처리부(200)는 영상 데이터 생성부(210), 피사체 추출부(1110), 기준점 판단부(250) 및 움직임 계산부(260)를 포함한다.
영상 데이터 생성부(210)는 이미지 센서부(130)으로부터 광원이 활성화된 상태에서 입력 받은 n(2이상의 자연수)개의 제1 영상 데이터 및 광원이 불활성화된 상태에서 입력 받은 n(2이상의 자연수)개의 제2 영상 데이터를 이용하여 제1 평균 영상 데이터 및 제2 평균 영상 데이터를 산출한다. 평균 영상 데이터를 산출하는 방법은 앞 서 설명한 바와 같다. 다만, 본 발명에 따른 제3 실시예가 제1 실시예 및 제2 실시예와 다른 점은 광원이 활성화된 상태에서 입력 받은 영상 데이터와 광원이 불활성화된 상태에서 입력 받은 데이터를 각각 동일한 순서의 영상 데이터를 대상으로 하여 동일한 방법에 의해 평균 영상 데이터를 생성해야 한다는 점이다.
피사체 추출부(1110)는 제1 평균 영상 데이터 및 제2 평균 영상 데이터를 이용하여 제3 영상 데이터를 생성한다. 피사체 추출부(1110)는 예를 들어, 제1 평균 영상 데이터의 휘도값에서 각 픽셀에 상응하는 제2 평균 영상 데이터의 휘도값을 감산하여 제3 영상 데이터를 생성한다. 즉, n개의 제1 영상 데이터를 평균한 제1 평균 영상 데이터는 광원부(400)가 활성화된 상태에서 촬상된 영상 데이터이므로 광원부(400)에서 가까운 위치에서 촬상된 피사체는 휘도값이 클 것이고, 광원부(400)에서 먼 위치에서 촬상된 배경 부분의 휘도값은 상대적으로 적을 것이다. 또한, n개의 제2 영상 데이터를 평균한 제2 평균 영상 데이터는 광원부(400)가 불활성화된 상태에서 촬상된 영상 데이터이므로 피사체 부분의 휘도값과 배경 부분의 휘도값은 제1 평균 영상 데이터에 비하여 그 차이가 적을 것이다. 또한, 제1 평균 영상 데이터와 제2 평균 영상 데이터의 각 배경 부분은 모두 광원부(400)와 피사체에 비하여 먼 거리에 위치할 것이므로 휘도값의 차이가 매우 적을 것이다. 따라서, 제1 평균 영상 데이터의 휘도값에서 각 픽셀에 상응하는 제2 평균 영상 데이터의 휘도값을 감산해주면 피사체를 제외한 배경 부분의 휘도값은 거의 '0(zero)'에 가까운 값이 될 것이고, 피사체에 상응하는 부분의 휘도값 만이 존재할 것이다. 이러한 방법에 의하여 피사체 추출부(1110)는 촬상된 영상 데이터에서 피사체가 촬상된 픽셀의 일부 영역을 추출한 제3 영상 데이터를 생성할 수 있다.
기준점 판단부(250)는 피사체 추출부(1110)에서 생성한 제3 영상 데이터를 분석하여 피사체가 촬상된 픽셀의 일부 영역(이하, '기준 영역'이라 칭함)을 추출하고, 피사체의 움직임을 계산하기 위하여 추출된 기준 영역의 기준점을 계산한다. 이를 위하여 기준점 판단부(250)는 제3 영상 데이터의 휘도값을 분석하여 기준 휘도를 설정하고 기준 휘도를 경계로 제3 영상 데이터의 모든 픽셀을 이진화(binarization)할 수 있다. 또한, 기준점 판단부(250)는 이진화된 픽셀 중 한 부분을 기준 영역으로 추출하고 기준 영역에서 기준점을 계산할 수 있다.
기준점 판단부(250)는 피사체 추출부(1110)에서 생성된 제3 영상 데이터의 모든 픽셀에 대하여 휘도 히스토그램을 작성한다. 예를 들어, 이미지 센서부(130)의 해상도가 640*480(가로*세로)인 경우, 640*480개의 모든 픽셀은 대응하는 휘도값에 따라 분류되어 휘도 히스토그램에 표현될 것이다. 여기서, 각 픽셀의 휘도값이 0 내지 255로 구분될 수 있으며, 휘도값이 '0'인 경우는 밝기가 '0' 이므로 검 정색이고, 휘도값이 '255'인 경우는 가장 밝은 경우일 수 있다.
기준점 판단부(250)는 휘도 히스토그램을 이용하여 기준 휘도를 설정한다. 기준점 판단부(250)는 휘도 히스토그램을 분석하여 기준 휘도를 예를 들어'100'으로 설정한 경우, 기준점 판단부(250)는 제3 영상 데이터에서 휘도값이 큰 픽셀 순서로 100개의 픽셀을 포함한 부분을 기준 영역으로 추출할 수 있다. 이때, 기준 휘도가 너무 크면 제3 영상 데이터의 대부분의 픽셀이 기준 영역으로 추출될 것이고, 기준 휘도가 너무 작으면 제3 영상 데이터의 극히 일부분만이 기준 영역으로 추출될 것이다. 이러한 경우 기준 영역에는 피사체가 촬상된 픽셀 외에 이와 무관한 배경 부분에 대한 픽셀(즉, 노이즈(noise) 픽셀)의 비율이 높아지게 될 것이다. 즉, 상술한 바와 같이 기준 휘도가 너무 크거나 너무 작으면 기준점 판단부(250)는 촬상된 피사체의 정확한 위치를 파악하기 힘들 것이다. 따라서, 기준점 판단부(250)는 휘도 히스토그램을 분석하여 적절한 기준 휘도를 설정할 수 있으며, 이는 광원부(400)에서 조사되는 광원 또는 피사체의 종류에 따라 달라질 수 있다. 또는 기준점 판단부(250)는 기준 휘도를 노이즈 픽셀의 비율이 무시될 수 있도록 기준 휘도의 상한값 및/또는 하한값을 설정할 수 있다. 예를 들어, 기준 휘도가 '1000' 이고, 하한값이 '50'인 경우, 기준점 판단부(250)는 제3 영상 데이터에서 휘도값이 50보다 큰 픽셀만을 대상으로 하여 휘도값이 큰 픽셀 순서로 1000개의 기준 영역을 추출할 수 있다. 즉, 기준점 판단부(250)는 제3 영상 데이터의 각 픽셀을 분석하여 휘도값이 큰 순서대로 1000개의 픽셀을 기준 영역으로 추출하되, 이들 중 휘도값이 50 미만(또는 이하)인 픽셀을 기준 영역에서 제외할 수 있다. 또한, 피사체가 인체 의 일부분인 경우 예를 들어, 사용자의 손가락일 경우에는 휘도값이 너무 큰 경우는 노이즈 픽셀에 해당할 가능성이 높다. 따라서, 기준 휘도가 '10000'이고 상한값이 '200'인 경우를 가정하면, 기준점 판단부(250)는 제3 영상 데이터에서 휘도값이 '200' 미만(또는 이하)인 픽셀만을 대상으로 하여 기준 영역을 추출할 수 있다.
또한, 기준 휘도는 휘도값이 큰 픽셀의 개수가 아닌 미리 설정된 휘도값일 수 있다. 즉, 기준점 판단부(250)는 제3 영상 데이터를 분석하여 기준 휘도를 넘는 픽셀을 모두 기준 영역으로 추출할 수 있다. 예를 들어, 기준 휘도가 '150'으로 설정되어 있는 경우, 기준점 판단부(250)는 제3 영상 데이터에서 휘도값이 '150'을 넘는 픽셀을 모두 기준 영역으로 추출할 수도 있다. 이 경우에도 상술한 바와 같이 기준 휘도가 너무 크거나 너무 작은 경우에는 기준 영역에서의 노이즈 픽셀의 비율이 높을 것이므로 기준 휘도에 대한 상한값 및/또는 하한값이 설정될 수 있음은 자명하다.
기준점 판단부(250)은 기준 휘도를 설정하여 제3 영상 데이터에서 기준 영역을 추출하고 그 기준 영역의 기준점 정보를 산출한다. 또한, 기준점 판단부(250)는 기준 영역의 기준점을 판단하기 위하여 기준영역의 픽셀들과 그 이외의 픽셀들의 휘도값을 조정하여 이진화(binarization) 처리할 수 있다. 이는 제3 영상 데이터의 기준 영역과 그 이외의 영역을 구별하여 처리하기 위함이다. 예를 들면, 기준점 판단부(250)는 기준 영역의 픽셀들의 휘도값을 동일하게 예를 들면, 1로 조정할 수 있으며, 기준 영역 이외의 픽셀들의 휘도값도 기준 영역의 픽셀들의 휘도값과 다른 휘도값으로 동일하게 예를 들면, 0으로 조정할 수 있다. 기준점 판단부(250)는 이 진화되어 분리된 기준 영역을 분석하여 기준 영역의 기준점 정보를 산출한다. 기준점 정보를 산출하는 방법은 앞 서 설명한 방법과 동일하므로 그에 대한 설명은 생략하기로 한다.
도 12는 본 발명의 바람직한 제3 실시예에 따른 움직임 인식 방법의 순서도이고, 도 13은 본 발명의 바람직한 제3 실시예에 따른 움직임 인식 방법을 설명하기 위한 도면이다.
단계 S1210에서, 이미지 센서부(130)는 광원부(400)가 활성화된 상태 즉, 광을 출력하는 동안에 피사체를 촬상하여 제1 영상 데이터를 생성하여 영상 처리부(200)로 출력한다.
단계 S1220에서, 이미지 센서부(130)는 광원부(400)가 불활성화된 상태 즉, 광을 출력하지 않는 동안에 피사체를 촬상하여 제2 영상 데이터(520)를 생성하여 영상 처리부(200)로 출력한다. 이때, 광원부(400)는 센서 제어부(140)의 제어를 받아 미리 설정된 시간을 간격으로 점등될 수 있으며, 이미지 센서부(130)는 제1 영상 데이터(510)를 생성한 직후에 광원부(400)가 불활성화되면 제2 영상 데이터를 생성할 수 있다.
단계 S1230에서, 영상 데이터 생성부(210)는 n개의 제1 영상 데이터 및 n개의 제2 영상 데이터를 이용하여 제1 평균 영상 데이터 및 제2 평균 영상 데이터를 생성한다.
단계 S1240에서, 피사체 추출부(1110)는 제1 평균 영상 데이터 및 제2 평균 영상 데이터를 비교하여 제3 영상 데이터를 생성한다. 도 13의 1310에 도시된 바와 같이, 제3 영상 데이터는 제1 영상 데이터의 휘도값에서 각 픽셀에 상응하는 제2 영상 데이터의 휘도값을 감산한 데이터일 수 있다. 제1 영상 데이터의 휘도값에서 각 픽셀에 상응하는 제2 영상 데이터의 휘도값을 감산해주면 피사체를 제외한 배경 부분의 휘도값은 거의 '0(zero)'에 가까운 값이 될 것이고, 피사체에 상응하는 부분의 휘도값 만이 존재할 것이다. 이러한 방법에 의하여 피사체 추출부(1110)는 촬상된 영상 데이터에서 피사체만을 추출한 제3 영상 데이터를 생성할 수 있다.
단계 S1250에서, 기준점 판단부(250)는 피사체 추출부(1110)에서 생성한 제3 영상 데이터의 모든 픽셀을 휘도값에 따라 분류한 휘도 히스토그램을 작성하고 이를 분석하여 기준 휘도를 설정한다. 도 13의 1320에 도시된 바와 같이 휘도 히스토그램은 예를 들면, 가장 어두운 휘도값을 '0'으로 설정할 수 있으며, 가장 밝은 휘도값을 '255'으로 설정하여 제3 영상 데이터(530)의 모든 픽셀을 대응하는 휘도값에 따라 분류하여 작성한다. 기준점 판단부(250)는 휘도 히스토그램을 분석하여 기준 휘도를 설정한다. 여기서, 기준 휘도는 휘도값이 높은 순서대로 또는 휘도값이 낮은 순서대로 나열된 휘도 히스토그램을 이용하여 기준 영역을 추출하기 위하여 설정된다.
단계 S1260에서, 도 13의 1330에 도시된 바와 같이, 기준점 판단부(250)는 추출된 기준 영역의 픽셀의 휘도값을 동일하게 하고 그 이외의 픽셀의 휘도값은 기준 영역의 픽셀의 휘도값과 다른 값으로 동일하게 조정하여 제3 영상 데이터의 모든 픽셀을 이진화한다. 제3 영상 데이터의 모든 픽셀을 이진화 하는 이유는 제3 영 상 데이터의 기준 영역과 그 이외의 영역을 구별하여 처리하기 위함이다.
단계 S1270에서, 도13의 1340에 도시된 바와 같이, 기준점 판단부(250)는 이진화된 제3 영상 데이터의 기준 영역의 기준점 정보를 계산한다.
단계 S1280에서, 움직임 계산부(260)는 단계 S410에서 단계 S460을 미리 정해진 시간 간격으로 반복하여 생성되는 복수의 기준 영역의 기준점 정보를 이용하여 시간적으로 피사체의 움직임을 계산한다.
상술한 본 발명의 실시예에 따른 움직임 인식 방법은 기록매체에 저장된 후 소정의 장치, 예를 들면, 이동 통신 단말기와 결합하여 수행될 수 있다. 여기서, 기록매체는 비디오 테이프, CD, VCD, DVD와 같은 자기 또는 광 기록매체이거나 또는 오프라인 또는 온라인 상에 구축된 클라이언트 또는 서버 컴퓨터의 데이터베이스일 수도 있다.
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.
상술한 바와 같이 본 발명에 따른 움직임 인식 방법 및 그 장치는 피사체 주위의 명도에 관계없이 피사체의 움직임을 인식할 수 있는 효과가 있다.
또한, 본 발명에 따른 움직임 인식 방법 및 그 장치는 기존의 키패드의 일부를 생략할 수 있음으로써 전자 장치의 공간적인 활용도를 높일 수 있고, 전자 장치 의 소형화가 가능한 효과가 있다.
또한, 본 발명에 따른 움직임 인식 방법 및 그 장치는 전자장치 제조시 제조 공정이 간단해지고 그 제조 단가를 줄일 수 있는 효과가 있다.
또한, 본 발명에 따른 움직임 인식 방법 및 그 장치는 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 효과가 있다.
또한, 본 발명에 따른 움직임 인식 방법 및 그 장치는 여러 장의 이미지의 평균 이미지를 입력하여 피사체의 움직임을 계산하여 정확하게 움직임을 인식할 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구 범위에 기재된 본 발명 및 그 균등물의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (32)

  1. 피사체의 움직임을 인식하는 방법에 있어서,
    (a) 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계;
    (b) 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 단계;
    (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계;
    (d) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 단계; 및
    (e) 상기 단계 (a) 내지 상기 단계 (d)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되,
    상기 제1 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것을 특징으로 하는 움직임 인식 방법.
  2. 제1항에 있어서,
    상기 단계 (c)는
    상기 차분 값을 감마 보정하는 단계를 더 포함하는 것을 특징으로 하는 움직 임 인식 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 단계 (c)에서,
    상기 제1 영상 데이터와 상기 제2 영상 데이터의 휘도값이 미리 설정된 기준 휘도값 보다 큰 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 것을 특징으로 하는 움직임 인식 방법.
  4. 제1항에 있어서,
    상기 단계 (b)에서,
    상기 피사체의 이미지의 픽셀의 색상 대비, 명도 대비 및 채도 대비 중 어느 하나 이상을 증가함으로써 상기 제1 영상 데이터의 선명도를 조절하는 것을 특징으로 하는 움직임 인식 방법.
  5. 제1항에 있어서,
    상기 n은 2의 배수인 것을 특징으로 하는 움직임 인식 방법.
  6. 피사체의 움직임을 인식하는 방법에 있어서,
    (a) 상기 피사체를 촬상하여 영상 데이터를 생성하는 단계;
    (b) 상기 영상 데이터를 감마 보정하고 기준 휘도 이상의 데이터를 추출하여 상기 영상 데이터로부터 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계;
    (c) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 단계; 및
    (d) 상기 단계 (a) 내지 상기 단계 (c)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되,
    상기 제1 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것을 특징으로 하는 움직임 인식 방법.
  7. 제1항 또는 제6항에 있어서,
    상기 기준점 정보는 상기 소정의 외곽선의 무게 중심인 것을 특징으로 하는 움직임 인식 방법.
  8. 제7항에 있어서,
    상기 기준점 정보는 상기 소정의 외곽선의 무게 중심은 하기 식에 의해 산출되는 것을 특징으로 하는 움직임 인식 방법.
    Figure 112006073168982-PAT00019
    여기서,
    Figure 112006073168982-PAT00020
    은 무게 중심, M은 상기 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, n은 상기 기준 영역을 나타내는 픽셀의 개수, mi는 상기 외곽선을 나타내는 각 픽셀 휘도값,
    Figure 112006073168982-PAT00021
    는 상기 외곽선을 나타내는 픽셀의 좌표값임.
  9. 제7항에 있어서,
    상기 기준 영역의 무게 중심은 하기 식에 의해 산출되는 것을 특징으로 하는 움직임 인식 방법.
    Figure 112006073168982-PAT00022
    여기서,
    Figure 112006073168982-PAT00023
    은 무게 중심, n은 상기 외곽선을 나타내는 픽셀의 개수,
    Figure 112006073168982-PAT00024
    는 상기 외곽선을 나타내는 픽셀의 좌표값임.
  10. 제1항 또는 제6항에 있어서,
    상기 소정의 외곽선은 곡선형이며, 상기 기준점 정보는 상기 곡선형의 외곽선에 의해서 결정되는 기준점의 좌표값인 것을 특징으로 하는 움직임 인식 방법.
  11. 제10항에 있어서,
    상기 기준 영역의 기준점 정보는 상기 곡선형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하고, 상기 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값인 것을 특징으로 하는 움직임 인식 방법.
  12. 제1항 또는 제6항에 있어서,
    상기 단계 (a)는,
    상기 움직임 인식 장치에 포함된 광원에서 조사되어 상기 피사체에 의해 반사되는 광을 이용하여 상기 피사체를 촬상하는 것을 특징으로 하는 움직임 인식 방법.
  13. 제12항에 있어서,
    상기 광원에서 조사되는 광은 적외 광인 것을 특징으로 하는 움직임 인식 방법.
  14. 피사체의 움직임을 인식하는 방법에 있어서,
    (a) 광원부가 활성화된 상태 및 비활성화된 상태에서 상기 피사체를 각각 촬상하여 제1 영상 데이터 및 제2 영상 데이터를 생성하는 단계;
    (b) 상기 제1 영상 데이터 및 상기 제2 영상 데이터의 각 픽셀의 휘도값 차이를 이용하여 제3 영상 데이터를 생성하는 단계;
    (c) 상기 제3 영상 데이터에서 기준 휘도 이상의 데이터를 추출하여 기준 영역을 산출하는 단계;
    (d) 상기 제3 영상 데이터에서 기준 휘도 이상의 데이터를 추출하여 기준 영역을 산출하는 단계;
    (e) 상기 기준 영역의 기준점 정보를 산출하는 단계; 및
    (f) 상기 단계 (a) 내지 단계 (e)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되,
    상기 제1 영상 데이터 및 상기 제2 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것을 특징으로 하는 움직임 인식 방법.
  15. 제14항에 있어서,
    상기 단계 (c)에서,
    상기 기준 휘도는 상기 제3영상 데이터를 휘도값이 높은 순으로 나열한 경우 미리 설정된 순위에 해당하는 픽셀의 휘도값인 것을 특징으로 하는 움직임 인식 방법.
  16. 제14항에 있어서,
    상기 단계 (c)에서,
    상기 제3 영상 데이터에서 상기 기준 휘도를 경계로 제3 영상 데이터의 제1 부분의 휘도값을 동일하게 조정하고 상기 제3 영상 데이터의 제2 부분의 휘도값을 상기 제1 부분과 다른 휘도값으로 동일하게 조정하는 이진화(binarization) 처리하여 기준 영역을 추출하는 것을 특징으로 하는 움직임 인식 방법.
  17. 제14항에 있어서,
    상기 단계 (d)에서
    상기 기준 영역의 기준점 정보는 상기 기준 영역의 무게 중심인 것을 특징으로 하는 움직임 인식 방법.
  18. 제17항에 있어서,
    상기 기준 영역의 무게 중심은 하기 식에 의해 산출되는 것을 특징으로 하는 움직임 인식 방법.
    Figure 112006073168982-PAT00025
    여기서,
    Figure 112006073168982-PAT00026
    은 무게 중심, M은 상기 기준 영역을 나타내는 픽셀의 휘도값을 모두 더한 값, n은 상기 기준 영역을 나타내는 픽셀의 개수, mi는 상기 기준 영역을 나타내는 각 픽셀 휘도값,
    Figure 112006073168982-PAT00027
    는 상기 기준 영역을 나타내는 픽셀의 좌표값임.
  19. 제17항에 있어서,
    상기 기준 영역의 무게 중심은 하기 식에 의해 산출되는 것을 특징으로 하는 움직임 인식 방법.
    Figure 112006073168982-PAT00028
    여기서,
    Figure 112006073168982-PAT00029
    은 무게 중심, n은 상기 기준 영역을 나타내는 픽셀의 개수,
    Figure 112006073168982-PAT00030
    는 상기 기준 영역을 나타내는 픽셀의 좌표값임.
  20. 제14항에 있어서,
    상기 기준 영역의 외곽선이 곡선형인 경우, 상기 기준점 정보는 상기 곡선형의 외곽선에 의해서 결정되는 기준점의 좌표값인 것을 특징으로 하는 움직임 인식 방법.
  21. 제20항에 있어서,
    상기 기준 영역의 기준점 정보는 상기 곡선형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하고, 상기 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값인 것을 특징으로 하는 움직임 인식 방법.
  22. 제14항에 있어서,
    상기 기준 영역이 다각형인 경우, 상기 기준점 정보는 서로 마주보는 꼭지점을 이은 둘 이상의 선이 만나는 지점의 좌표값인 것을 특징으로 하는 움직임 인식 방법.
  23. 피사체의 움직임을 인식하는 장치에 있어서,
    상기 피사체를 촬상하여 영상 데이터를 생성하는 촬상부;
    상기 촬상부에서 촬상한 n(2이상의 자연수)개의 상기 영상 데이터를 평균하여 제1 영상 데이터를 생성하는 영상 데이터 생성부;
    상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 선명도 조절부;
    상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 생성하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 외곽선 추출부;
    상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 기준점 판단부; 및
    상기 기준점 판단부로부터 미리 설정된 시간 간격으로 입력된 복수의 상기 피사체의 기준점 정보를 이용하여 상기 피사체의 움직임을 산출하는 움직임 계산부를 포함하는 움직임 인식 장치.
  24. 제23항에 있어서,
    상기 외곽선 추출부에서 추출한 소정의 외곽선에 대해 감마 보정하는 감마 보정부를 더 포함하는 움직임 인식 장치.
  25. 제23항 또는 제24항에 있어서,
    상기 외곽선 추출부는 상기 제1 영상 데이터와 상기 제2 영상 데이터의 휘도값이 미리 설정된 기준 휘도값 보다 큰 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 것을 특징으로 하는 움직임 인식 장치.
  26. 제23항에 있어서,
    상기 선명도 조절부는 상기 제1 영상 데이터의 픽셀의 색상 대비, 명도 대비 및 채도 대비 중 어느 하나 이상을 증가시킴으로써 상기 제1 영상 데이터의 선명도를 조절하는 것을 특징으로 하는 움직임 인식 장치.
  27. 피사체의 움직임을 인식하는 장치에 있어서,
    상기 피사체를 촬상하여 상기 피사체의 영상 데이터를 생성하는 촬상부;
    상기 촬상부에서 촬상한 n(2이상의 자연수)개의 상기 영상 데이터를 평균하여 제1 영상 데이터를 생성하는 영상 데이터 생성부;
    상기 영상 데이터를 감마 보정하고 기준 휘도 이상의 데이터를 추출하여 상기 영상 데이터로부터 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 외곽선 추출부;
    상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 기준점 판단부; 및
    상기 기준점 판단부로부터 미리 설정된 시간 간격으로 입력된 복수의 상기 피사체의 기준점 정보를 이용하여 상기 피사체의 움직임을 산출하는 움직임 계산부를 포함하는 움직임 인식 장치.
  28. 피사체의 움직임을 인식하는 장치에 있어서,
    미리 설정된 시간을 간격으로 점등되는 광원부;
    상기 광원부가 활성화된 상태에서 상기 피사체를 촬상하여 제1 영상 데이터를 생성하고, 상기 광원부가 불활성화된 상태에서 상기 피사체를 촬상하여 제2 영상 데이터를 생성하는 이미지 센서부;
    n(2이상의 자연수)개의 상기 제1 영상 데이터를 평균하여 제1 평균 영상 데이터를 생성하고, n(2이상의 자연수)개의 상기 제2 영상 데이터를 평균하여 제2 평균 영상 데이터를 생성하는 영상 데이터 생성부;
    상기 제1 영상 데이터 및 상기 제2 영상 데이터의 각 픽셀의 휘도값 차이를 이용하여 제3 영상 데이터를 생성하는 피사체 추출부;
    상기 제3 영상 데이터를 분석하여 촬상된 상기 피사체의 기준점 정보를 산출하여 출력하는 기준점 판단부; 및
    상기 기준점 판단부로부터 미리 설정된 시간 간격으로 입력된 복수의 상기 피사체의 기준점 정보를 이용하여 상기 피사체의 움직임을 산출하는 움직임 계산부를 포함하는 것을 특징으로 하는 움직임 인식 장치.
  29. 제28항에 있어서,
    상기 기준점 판단부는
    상기 제3 영상 데이터에서 미리 설정된 기준 휘도 이상의 데이터를 추출한 기준 영역을 분리하기 위하여 제3 영상 데이터를 이진화(binarization)하고, 상기 기준 영역의 기준점 정보를 산출하는 것을 특징으로 하는 것을 특징으로 하는 움직임 인식 장치.
  30. 피사체의 움직임을 인식하는 방법을 수행하기 위해 실행될 수 있는 명령어들이 유형적으로 구현된 프로그램을 기록한 기록 매체에 있어서,
    (a) 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계;
    (b) 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 단계;
    (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계;
    (d) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 단계; 및
    (e) 상기 단계 (a) 내지 상기 단계 (d)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되,
    상기 제1 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것을 특징으로 하는 움직임 인식 방법을 실행하는 프로그램을 기록한 기록매체.
  31. 피사체의 움직임을 인식하는 방법을 수행하기 위해 실행될 수 있는 명령어들이 유형적으로 구현된 프로그램을 기록한 기록 매체에 있어서,
    (a) 상기 피사체를 촬상하여 영상 데이터를 생성하는 단계;
    (b) 상기 영상 데이터를 감마 보정하고 기준 휘도 이상의 데이터를 추출하여 상기 영상 데이터로부터 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계; 및
    (c) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 기준점 정보를 산출하는 단계;
    (d) 상기 단계 (a) 내지 상기 단계 (c)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되,
    상기 제1 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것을 특징으로 하는 움직임 인식 방법을 실행하는 프로그램을 기록한 기록매체.
  32. 피사체의 움직임을 인식하는 방법을 수행하기 위해 실행될 수 있는 명령어들이 유형적으로 구현된 프로그램을 기록한 기록 매체에 있어서,
    (a) 광원부가 활성화된 상태에서 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계;
    (b) 상기 광원부가 비 활성화된 상태에서 상기 피사체를 촬상하여 제2 영상 데이터를 생성하는 단계;
    (c) 상기 제1 영상 데이터 및 상기 제2 영상 데이터의 각 픽셀의 휘도값 차이를 이용하여 제3 영상 데이터를 생성하는 단계;
    (d) 상기 제3 영상 데이터에서 기준 휘도 이상의 데이터를 추출하여 기준 영역을 산출하는 단계;
    (e) 상기 기준 영역의 기준점 정보를 산출하는 단계; 및
    (f) 상기 단계 (a) 내지 단계 (e)를 미리 정해진 시간 동안 반복하여 산출된 복수의 기준점 정보를 이용하여 상기 피사체의 움직임을 계산하는 단계를 포함하되,
    상기 제1 영상 데이터 및 상기 제2 영상 데이터는 상기 피사체를 촬상한 n(2 이상의 자연수)개의 영상 데이터를 평균한 것을 특징으로 하는 움직임 인식 방법을 실행하는 프로그램을 기록한 기록매체.
KR1020060098512A 2006-10-10 2006-10-10 움직임 인식 방법 및 그 장치 KR20080032746A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060098512A KR20080032746A (ko) 2006-10-10 2006-10-10 움직임 인식 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060098512A KR20080032746A (ko) 2006-10-10 2006-10-10 움직임 인식 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20080032746A true KR20080032746A (ko) 2008-04-16

Family

ID=39573128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060098512A KR20080032746A (ko) 2006-10-10 2006-10-10 움직임 인식 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20080032746A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101440441B1 (ko) * 2012-11-30 2014-09-17 경북대학교 산학협력단 제스처 인식 장치 및 그 방법
US8917906B2 (en) 2011-04-06 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
KR20150043145A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
KR20190082880A (ko) * 2016-12-08 2019-07-10 주식회사 소니 인터랙티브 엔터테인먼트 정보 처리 장치 및 정보 처리 방법
KR102150281B1 (ko) * 2019-02-26 2020-09-01 주식회사 엠아이티 솔더링 검사장치 및 이를 이용한 솔더링 검사방법
KR20200104259A (ko) * 2020-05-27 2020-09-03 주식회사 엠아이티 솔더링 검사장치 및 이를 이용한 솔더링 검사방법
KR20220023612A (ko) * 2020-08-21 2022-03-02 최종명 반사부를 통해 수신된 이미지를 딥러닝하여 측면 이미지 왜곡을 방지하는 솔더링 검사방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917906B2 (en) 2011-04-06 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
KR101440441B1 (ko) * 2012-11-30 2014-09-17 경북대학교 산학협력단 제스처 인식 장치 및 그 방법
KR20150043145A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
KR20190082880A (ko) * 2016-12-08 2019-07-10 주식회사 소니 인터랙티브 엔터테인먼트 정보 처리 장치 및 정보 처리 방법
US11282224B2 (en) 2016-12-08 2022-03-22 Sony Interactive Entertainment Inc. Information processing apparatus and information processing method
KR102150281B1 (ko) * 2019-02-26 2020-09-01 주식회사 엠아이티 솔더링 검사장치 및 이를 이용한 솔더링 검사방법
KR20200104259A (ko) * 2020-05-27 2020-09-03 주식회사 엠아이티 솔더링 검사장치 및 이를 이용한 솔더링 검사방법
KR20220023612A (ko) * 2020-08-21 2022-03-02 최종명 반사부를 통해 수신된 이미지를 딥러닝하여 측면 이미지 왜곡을 방지하는 솔더링 검사방법

Similar Documents

Publication Publication Date Title
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
CN105933589B (zh) 一种图像处理方法及终端
US8509482B2 (en) Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
KR20080032746A (ko) 움직임 인식 방법 및 그 장치
KR101642402B1 (ko) 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법
US20130034270A1 (en) Method and device for shape extraction, and size measuring device and distance measuring device
CN110519485A (zh) 图像处理方法、装置、存储介质及电子设备
CN104902182A (zh) 一种实现连续自动对焦的方法和装置
KR100853024B1 (ko) 디스플레이의 영상 제어 방법 및 그 장치
KR100860331B1 (ko) 포인터 이동 제어 장치를 포함하는 전자기기
KR20150059302A (ko) 촬상 이미지를 적합화 하여 문자를 인식하는 방법 및 그 방법을 실행하는 정보 처리 기기
JP2006259899A (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
CN115037867B (zh) 拍摄方法、装置、计算机可读存储介质及电子设备
CN110913143B (zh) 图像处理方法、装置、存储介质及电子设备
KR100869144B1 (ko) 피사체 회전 동작 감지 장치 및 방법
JP4151624B2 (ja) 瞳孔検出装置、虹彩認証装置及び瞳孔検出方法
CN114120362A (zh) 一种手势采集方法、装置、电子设备和可读存储介质
JP2021149691A (ja) 画像処理システム及び制御プログラム
KR20080079459A (ko) 피사체 움직임 감지 장치 및 그 방법
JP2011028322A (ja) 画像処理装置、画像処理プログラムおよび撮像装置
KR100807620B1 (ko) 포인터 이동 제어 방법 및 그 장치
KR100807625B1 (ko) 포인터 이동 제어 방법 및 그 장치
KR100799907B1 (ko) 피사체 움직임 감지 장치 및 그 방법
JP6727890B2 (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
KR100799766B1 (ko) 포인터 이동 제어 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee