KR101281461B1

KR101281461B1 - 영상분석을 이용한 멀티 터치 입력 방법 및 시스템

Info

Publication number: KR101281461B1
Application number: KR1020120042526A
Authority: KR
Inventors: 주영훈; 서효동
Original assignee: 군산대학교산학협력단
Priority date: 2012-04-24
Filing date: 2012-04-24
Publication date: 2013-07-03

Abstract

본 발명은 영상분석을 이용한 멀티 터치 입력 방법 및 시스템에 관한 것으로, 보다 구체적으로는 특정 영역을 터치하고자 하는 사용자의 신체 일부를 포함하는 영상을 획득하는 영상획득단계; 상기 영상으로부터 상기 사용자의 신체 일부와 배경영역을 구분하도록 상기 영상 내 피부영역을 검출하는 피부영역검출단계; 상기 피부영역 내 각 화소에 대하여 레이블링(labeling)을 수행하여 손영역을 검출하는 손영역검출단계; 상기 영상 내 노이즈를 모폴로지(morphology) 알고리즘에 기초하여 제거하는 노이즈필터링단계; 상기 손영역 내 무게중심점을 검출하는 무게중심검출단계; 상기 손영역의 무게중심점으로부터 적어도 하나의 동심원을 형성하고, 상기 적어도 하나의 동심원과 교차하는 적어도 하나의 특징점을 검출하는 특징점검출단계; 및 상기 손영역의 무게중심점과 상기 특징점간에 거리를 연산하고, 그 연산결과에 기초하여 사용자의 터치여부를 판단하는 터치여부판단단계;를 포함한다.
본 발명의 영상분석을 이용한 멀티 터치 입력 방법 및 시스템은 조도가 다양하게 변화하는 환경에서 촬영된 영상으로부터 조도의 변화여부와 상관없이 사용자의 손동작에 따른 터치여부를 정확하게 인식할 수 있는 효과가 있다.

Description

영상분석을 이용한 멀티 터치 입력 방법 및 시스템{Multi-touch input method and system using image analysis}

본 발명은 영상분석을 이용한 멀티 터치 입력 방법 및 시스템에 관한 것으로, 특히 영상 내 포함된 손의 무게중심 검출을 통해 움직임을 분석하여 사용자의 터치 여부를 확인하는 영상분석을 이용한 멀티 터치 입력 방법 및 시스템에 관한 것이다.

컴퓨터 정보기술의 발전으로 인하여 정보기기의 사용이 보편화됨에 따라, 정보기기와 사용자 사이에 상호작용에 대한 중요성이 점차 증가하고 있다. 이러한 정보기기와 사용자 간에 상호작용은 텍스트 위주의 인터페이스에서 인간의 다양한 제스처 등을 사용하며, 사용자 경험을 중요시하는 MMI(Man-Machine Interface) 방식으로 발전하는 추세이다. 이러한 정보기기와 사용자간에 상호작용을 위해 사용되는 터치스크린은 사용자의 경험을 고려한 대표적인 입력장치로서, 스마트폰, 태블릿 PC, 게임 등에 널리 적용되고 있다. 이러한 터치스크린 입력방식은 직관적인 도구인 사용자의 손을 이용하여 직접 입력하기 때문에, 별도의 입력장치가 필요하지 않고, 사용자의 훈련 정도와 상관없이 사용할 수 있는 장점을 갖는다.

이러한 터치스크린 입력방식은 크게 저항막(감압) 방식, 정전용량 방식, 적외선 방식, 초음파 방식 등으로 나누어진다. 먼저, 저항막 방식은 모든 도구를 이용하여 화면을 터치할 수 있는 장점을 가진 반면, 터치스크린의 화면 선명도가 감소하고, 충격에 약하는 단점을 가진다. 또한, 정전용량 방식은 화면을 살짝 스치듯 만져도 터치 입력이 가능하고, 화질의 저하 또한 발생하지 않는 장점을 가지나, 손가락과 같이 전자를 유도하는 물질이 아닌 다른 물체가 화면을 터치하는 경우, 터치 입력이 불가능하고, 내구성이 약하는 단점을 갖는다. 또한 이러한 단점 외에도 종래의 터치스크린이 점차 대형화되고, 높은 곳에 위치하는 경우에는 사용자의 손가락 등이 닿지 않는 사각지역이 발생하게 되는 문제점이 발생했다.

이러한 문제점을 해결하기 위해, 비전을 기반으로 하는 사용자의 손동작을 인식하는 기술이 연구되고 있다. 이러한 손동작 인식 기술은 글러브 데이터를 이용하는 기술과, 비전을 이용하는 기술로 나누어진다. 먼저, 글러브 데이터를 이용한 손동작 인식기술을 살펴보면, 손의 각 부위에 굴절계측기를 장착한 장갑을 사용자가 손에 착용하고, 자신의 손가락을 굴절시키면, 상기 굴절계측기를 통해 출력된 출력값에 의해 손동작에 대한 정확한 위치를 획득하는 기술이다. 하지만, 이러한 글러브 데이터를 이용한 손동작 인식기술은 사용자의 손가락에 대한 굴절여부를 확인하기 위하여, 고가의 센서가 사용되고, 사용자와 센서간의 연결선이 필요하기 때문에 사용에 불편이 따르며, 손동작을 수행하는데 있어서, 상기 연결선에 의해 행동반경이 제약된다는 문제점이 존재했다.

이와 달리, 비전을 이용하여 손동작을 인식하는 기술은 별도의 기계장치를 이용하지 않고도, 비전 카메라를 통해 손동작을 포함하는 영상을 획득하여 손동작을 분석한다. 하지만, 이러한 비전을 이용한 손동작 인식 기술은 주변 환경의 조도 변화에 따라 매우 민감하여 사용자의 피부 뿐만 아니라, 피부와 유사한 색상에 대해서도 사용자의 피부로 인식하여 노이즈를 발생함에 따라, 다양하고 복잡한 환경 속에서 사용자의 손 형상만을 정확하게 검출하여 인식하기 어려운 문제점이 발생했다.

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 조도변화에 영향을 받지 않고, 사용자의 손 동작을 정확하게 인식할 수 있는 영상분석을 이용한 멀티 터치 입력 방법 방법 및 시스템을 제공하고자 한다.

위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 영상분석을 이용한 멀티 터치 입력 방법은 특정 영역을 터치하고자 하는 사용자의 신체 일부를 포함하는 영상을 획득하는 영상획득단계; 상기 영상으로부터 상기 사용자의 신체 일부와 배경영역을 구분하도록 상기 영상 내 피부영역을 검출하는 피부영역검출단계; 상기 피부영역 내 각 화소에 대하여 레이블링(labeling)을 수행하여 손영역을 검출하는 손영역검출단계; 상기 영상 내 노이즈를 모폴로지(morphology) 알고리즘에 기초하여 제거하는 노이즈필터링단계; 상기 손영역 내 무게중심점을 검출하는 무게중심검출단계; 상기 손영역의 무게중심점으로부터 적어도 하나의 동심원을 형성하고, 상기 적어도 하나의 동심원과 교차하는 적어도 하나의 특징점을 검출하는 특징점검출단계; 및 상기 손영역의 무게중심점과 상기 특징점간에 거리를 연산하고, 그 연산결과에 기초하여 사용자의 터치여부를 판단하는 터치여부판단단계;를 포함한다.

특히, 상기 사용자의 신체 일부를 포함하는 영상으로부터 획득한 RGB정보를 HSV(Hue Saturation Value) 컬러모델로 변환하는 영상획득단계를 포함할 수 있다.

보다 바람직하게는 상기 영상 내 화소 중 인접하는 화소에 대하여 동일한 이진신호를 포함하는지 여부를 검출하는 화소검출과정; 동일한 이진신호를 포함하는 각 화소에 대하여 고유번호를 할당하는 레이블링과정; 고유번호가 할당되고, 인접하여 배치된 각 화소 그룹 영역의 크기가 기준 손영역의 크기 보다 작은지 여부를 판단하는 손영역판단과정; 및 상기 화소 그룹 영역의 크기가 기준 손영역의 크기 보다 작은 경우 상기 화소 그룹을 제거하여 상기 영상 내 손영역을 검출하는 손영역검출과정;을 포함하는 손영역검출단계를 포함할 수 있다.

보다 바람직하게는 상기 영상의 배경영역을 확장하고, 상기 피부영역을 축소하는 침식연산과정; 상기 영상의 배경영역을 축소하고, 상기 피부영역을 확장하는 팽창연산과정; 상기 영상의 미세 노이즈를 제거하는 열림연산과정; 및 상기 영상의 상기 피부영역 내 빈 화소를 채우는 닫힘연산과정; 중 적어도 하나의 과정을 수행하는 노이즈필터링단계를 포함할 수 있다.

보다 바람직하게는 상기 손영역의 추출된 특징점의 위치를 칼만필터(Kalman filter)를 이용하여 추적하는 특징점추적과정; 을 더 포함하는 특징점검출단계를 포함할 수 있다.

보다 바람직하게는 상기 손영역의 무게중심점으로부터 적어도 하나의 특징점까지의 거리를 각각 연산하는 거리연산과정; 및 거리연산결과가 기설정된 기준거리보다 짧은 경우, 해당 특징점을 터치하였다고 판단하는 터치여부판단과정;을 포함하는 터치여부판단단계를 포함할 수 있다.

위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 영상분석을 이용한 멀티 터치 입력 방법시스템은 특정 영역을 터치하고자 하는 사용자의 신체 일부를 포함하는 영상을 획득하는 영상획득부; 상기 영상으로부터 상기 사용자의 신체 일부와 배경영역을 구분하도록 상기 영상 내 피부영역을 검출하는 피부영역검출부; 상기 피부영역으로부터 각 화소별 레이블링(labeling)을 통해 손영역을 검출하는 손영역검출부; 상기 영상 내 노이즈를 모폴로지(morphology) 알고리즘에 기초하여 제거하는 노이즈필터링부; 상기 손영역 내 무게중심점을 검출하는 무게중심검출부; 상기 손영역의 무게중심점으로부터 적어도 하나의 동심원을 형성하고, 상기 적어도 하나의 동심원과 교차하는 적어도 하나의 특징점을 검출하는 특징점검출부; 및 상기 손영역의 무게중심점과 상기 특징점간에 거리를 연산하고, 그 연산결과에 기초하여 사용자의 터치여부를 판단하는 터치여부판단부;를 포함한다.

보다 바람직하게는 상기 사용자의 신체 일부를 포함하는 영상을 입력받는 영상입력모듈; 및 상기 영상으로부터 RGB정보를 획득하고, 상기 RGB정보를 HSV(Hue Saturation Value) 컬러모델로 변환하는 영상정보변환모듈;을 포함하는 영상획득부를 포함할 수 있다.

보다 바람직하게는 상기 영상 내 화소 중 인접하는 화소에 대하여 동일한 이진신호를 갖는 영역을 검출하는 이진신호검출모듈; 동일한 이진신호를 포함하는 각 화소에 대하여 고유번호를 할당하는 레이블링모듈; 상기 고유번호가 할당된 각 화소 그룹 영역의 크기가 기준 손영역의 크기 보다 작은지 여부를 판단하는 손영역판단모듈; 및 상기 화소 그룹 영역의 크기가 기준 손영역의 크기 보다 작다고 판단하는 경우, 상기 화소 그룹을 제거하여 상기 영상 내 손영역을 검출하는 검출모듈;을 포함하는 손영역검출부를 포함할 수 있다.

보다 바람직하게는 상기 영상의 배경영역을 확장하고, 상기 피부영역을 축소하는 침식연산모듈; 상기 영상의 배경영역을 축소하고, 상기 피부영역을 확장하는 팽창연산모듈; 상기 영상의 미세 노이즈를 제거하는 열림연산모듈; 및 상기 영상의 상기 피부영역 내 빈 화소를 채우는 닫힘연산모듈;을 포함하는 노이즈필터링부를 포함할 수 있다.

특히, 상기 손영역의 특징점의 위치를 추적하는 칼만필터(Kalman filter)를 포함하는 특징점추출부를 포함할 수 있다.

보다 바람직하게는 상기 손영역의 무게중심점으로부터 적어도 하나의 특징점까지의 거리를 각각 연산하는 거리연산모듈; 및 거리연산결과가 기설정된 기준거리보다 짧은 경우, 해당 특징점을 터치하였다고 판단하는 터치판단모듈;을 포함하는 터치여부판단부를 포함할 수 있다.

본 발명의 영상분석을 이용한 멀티 터치 입력 방법 및 시스템은 조도가 다양하게 변화하는 환경에서 촬영된 영상으로부터 조도의 변화여부와 상관없이 사용자의 손동작에 따른 터치여부를 정확하게 인식할 수 있는 효과가 있다.

또한 본 발명의 영상분석을 이용한 멀티 터치 입력 방법 및 시스템은 별도의 기계장치를 사용하지 않고도 비전 카메라를 통해 획득한 영상에 대한 분석을 통해 사용자의 손동작을 인식함에 따라, 시스템의 제조비용을 감소시킬 수 있는 효과가 있다.

더불어, 본 발명의 영상분석을 이용한 멀티 터치 입력 방법 및 시스템은 영상분석을 통해 사용자의 손동작에 따른 터치여부를 인식함에 따라, 터치여부 검출에 따른 소요시간을 감소시켜, 실시간으로 사용자의 터치 여부를 확인할 수 있는 효과가 있다.

이와 더불어, 본 발명의 영상분석을 이용한 멀티 터치 입력 방법 및 시스템은 사용자의 손동작에 대한 오차보정을 수행함에 따라, 보다 정확한 손동작을 확인할 수 있어, 사용자 만족도를 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 영상분석을 이용한 멀티 터치 입력 시스템의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 영상분석을 이용한 멀티 터치 입력 방법의 순서도이다.
도 3은 영상의 RGB 컬러모델 및 HSV 컬러모델에 따른 영상 내 피부영역 및 배경영역에 대한 색상분류를 나타낸 그래프이다.
도 4는 HSV 컬러모델에 따른 영상 내 피부영역을 검출하는 과정을 나타낸 도면이다.
도 5는 본 발명의 손영역검출단계에 대한 세부과정을 나타낸 순서도이다.
도 6은 영상 내 각 화소에 대한 레이블링과정을 나타낸 도면이다.
도 7은 영상 내 손영역을 검출하는 과정을 나타낸 도면이다.
도 8은 모폴로지 알고리즘 중 침식연산과정을 이용한 노이즈 제거과정을 나타낸 도면이다.
도 9는 모폴로지 알고리즘 중 팽창연산과정을 이용한 노이즈 제거과정을 나타낸 도면이다.
도 10은 손영역 내 검출된 무게중심점을 나타낸 도면이다.
도 11은 손영역 내 무게중심점을 기준으로 동심원이 형성된 도면이다.
도 12는 손영역 내 특징점 추출에 대한 일련의과정을 나타낸 도면이다.
도 13은 사용자의 각 손가락별 터치 동작감지를 나타내는 도면이다.

이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.

본 발명의 구성을 살펴보기에 앞서, 본 발명에서 사용되는 용어 중 '터치'란, 특정영역에 각종 수단을 통해 물리적으로 접촉하여 선택하는 상태를 나타내는 것외에도, 특정영역을 물리적으로 접촉하지는 않지만, 상기 특정영역을 선택하기 위한 사용자의 여러 행동(또는 각종 수단을 이용하는 행동)을 포함하는 것을 모두 통칭하여 '터치'로 사용하도록 한다.

이하, 도 1을 참조하여, 본 발명의 일 실시 예에 따른 영상분석을 이용한 멀티 터치 입력 시스템에 대하여 자세히 살펴보도록 한다.

도 1은 본 발명의 일 실시 예에 따른 영상분석을 이용한 멀티 터치 입력 시스템의 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 영상분석을 이용한 멀티 터치 입력 시스템(100)은 영상획득부(110), 피부영역검출부(120), 손영역검출부(132), 노이즈필터링부(140), 무게중심검출부(150), 특징점검출부(160) 및 터치여부판단부(170)를 포함한다.

영상획득부(110)는 터치를 수행하고자 하는 사용자의 신체 일부를 포함하는 영상을 촬영한 비전 카메라로부터 입력받아 획득하며, 영상입력모듈(112) 및 영상정보변환모듈(114)을 포함한다.

영상입력모듈(112)은 터치를 입력할 수 있는 상기 사용자의 신체 일부(예를 들면, 손)를 포함하는 영상을 입력받는다. 이때, 입력받은 영상은 사용자의 신체일부 뿐만 아니라, 배경과 같은 터치 입력과 관계없는 물체가 포함될 수 있다.

영상정보변환모듈(114)은 입력받은 상기 영상으로부터 RGB정보를 획득하고, 상기 RGB정보를 HSV(Hue Saturation Value) 컬러모델로 변환한다. 이때 변환되는 HSV 컬러모델이라 함은, 컴퓨터 공간에서 각 컬러를 규정지어 재현할 수 있는 색의 공간을 나타내는 것으로서, 색의 삼속성에 기인하여 H는 색상(Hue), S는 채도(Saturation), V는 명도(Value)를 나타낸 것을 말한다. 이처럼, 획득한 영상을 HSV 컬러모델로 변환함에 따라, 외부 요인 중 조도의 영향과 상관없이 사용자의 손영역을 보다 정확하게 확인할 수 있다.

피부영역검출부(120)는 입력받은 상기 영상 내 포함된 사용자의 신체 일부와 배경영역을 구분하기 위하여, 상기 영상으로부터 사용자의 신체를 나타내는 피부영역을 검출한다. 이때, 검출된 피부영역은 사용자가 터치 입력을 수행하고자 하는 손 뿐만 아니라, 사용자의 얼굴, 어깨, 전신의 일 부분 등이 포함될 수 있다.

손영역검출부(130)는 상기 피부영역검출부(120)를 통해 검출된 피부영역 중 각 화소별 레이블링(labeling)과정을 통해 터치 입력을 수행할 수 있는 손영역을 검출하며, 이진신호검출모듈(132), 레이블링모듈(134), 손영역판단모듈(136) 및 검출모듈(138)을 포함한다. 상기 레이블링과정이란, 배열구조로 이루어지는 영상(이미지)에 대하여 화소영역을 각각 구분하는 것이다.

이진신호검출모듈(132)은 HSV 컬러모델로 변환되어 이진신호를 갖는 영상 내 화소 중 특정화소를 기준으로 상기 특정화소와 상하, 좌우, 대각선에 인접하여 위치하는 화소가 상호 밀접한 연관이 존재하는지 즉, 상기 특정화소가 갖는 이진신호와 동일한 이진신호를 갖는지 여부를 확인하여, 동일한 이진신호를 갖는 적어도 하나의 화소를 검출한다.

레이블링모듈(134)은 상기 이진신호검출모듈(132)이 검출한 특정화소와 동일한 이진신호를 갖는 상하, 좌우, 대각선에 각각 인접하여 위치하는 화소에 서로 동일한 고유번호를 할당하여, 화소 그룹을 생성한다.

손영역판단모듈(136)은 동일한 고유번호가 할당된 각 화소 그룹의 크기가 기설정된 기준 손영역의 크기 보다 작은지 여부를 판단한다. 이러한 판단과정은 검출된 화소 그룹이 사용자의 터치 입력을 위한 손이 아닌 다른 신체 일부 예를 들면, 얼굴, 어깨와 같은 부분을 손으로 오인하여 검출하는 것을 방지하며, 또한 정확한 손영역을 검출하도록 한다. 이러한 손영역판단모듈(136)은 영상 내 존재하는 모든 화소 그룹에 대하여 기준 손영역의 크기보다 작은지 여부를 판단하는 과정을 수행한다.

검출모듈(138)은 상기 손영역판단모듈(136)이 해당 화소 그룹의 크기가 기준 손영역의 크기 보다 작다고 판단하는 경우에는, 영상 내 검출된 적어도 하나의 화소 그룹 중에서 해당하는 화소 그룹을 제거하며, 이러한 판단과정을 상기 손영역판단모듈(136)이 각 화소그룹마다 반복 수행함에 따라, 최종적으로 영상 내 존재하는 손영역을 검출한다.

노이즈필터링부(140)는 상기 영상 내 노이즈를 모폴로지(morphology) 알고리즘에 기초하여 제거하며, 침식연산모듈(142), 팽창연산모듈(144), 열림연산모듈(146) 및 닫힘연산모듈(148)을 포함한다.

침식연산모듈(142)은 상기 영상의 배경영역을 확장하고, 검출하고자 하는 상기 피부영역을 축소한다.

팽창연산모듈(144)은 상기 영상의 배경영역을 축소하고, 상기 피부영역을 확장한다.

열림연산모듈(146)은 상기 영상 내 존재하는 미세 노이즈를 제거한다.

닫힘연산모듈(148)은 상기 영상의 피부영역 내 빈 화소를 채운다.

무게중심검출부(150)는 모멘트(moment) 이론에 기초하여 상기 손영역 내 무게중심점(Center Of Gravity)을 검출한다.

특징점검출부(160)는 상기 손영역의 무게중심점으로부터 상기 손영역 내 손가락의 끝단까지 적어도 하나의 동심원을 형성하고, 손가락 마디와 상기 동심원이 교차하는 적어도 하나의 지점을 특징점으로서 검출한다. 이러한 특징점검출부(160)는 손영역 내 특징점의 위치를 추적하는 칼만필터(Kalman filter)를 포함하여, 상기 칼만필터를 통해 영상 내 손이 빠르게 움직이거나, 영상 내 존재하는 노이즈로 인하여 손영역의 특징점을 검출하기 어려운 경우에 손영역 내 추출된 특징점의 위치를 추적한다. 이러한 칼만필터는 시간변화, 비정상여부, 다중 채널 시스템을 포함하는 모든 선형시스템에 적용할 수 있는 순환필터로서, 인공위성 항법 자료의 실시간 처리에 주로 활용되고, 탐사자료의 필터링에도 사용된다.

터치여부판단부(170)는 영상 내 손영역의 무게중심점과 적어도 하나의 특징점간에 거리를 각각 연산하고, 그 연산결과에 기초하여 손에 의한 사용자의 터치여부를 판단하며, 거리연산모듈(172) 및 터치판단모듈(174)을 포함할 수 있다.

거리연산모듈(172)은 상기 손영역의 무게중심점으로부터 적어도 하나의 특징점까지의 거리를 각각 연산한다.

터치판단모듈(174)은 상기 무게중심점으로부터 각 특징점까지의 거리연산결과가 기설정된 기준거리보다 짧은 경우에는 손영역의 손가락부분이 터치 동작을 위해 접혔다고 보아, 해당 특징점이 사용자에 의해 터치되었다고 판단한다.

이하에서, 도 2를 참조하여, 본 발명의 다른 실시 예에 따른 영상분석을 이용한 멀티 터치 입력 방법에 대하여 자세히 살펴보도록 한다.

도 2는 본 발명의 다른 실시 예에 따른 영상분석을 이용한 멀티 터치 입력 방법의 순서도이다.

도 2에 도시된 바와 같이, 본 발명의 영상분석을 이용한 멀티 터치 입력방법은 먼저, 특정 영역을 터치하고자 하는 사용자의 신체 일부를 포함하는 영상을 촬영한 비전카메라로부터 촬영한 영상을 획득한다(S210). 이때, 상기 사용자의 신체 일부를 포함하는 영상으로부터 RGB정보를 획득한 후, 획득한 영상을 하기의 수학식 1에 따라 HSV(Hue Saturation Value) 컬러모델로 변환한다.

[수학식 1]

이때, 변환되는 상기 HSV 컬러모델은 색상의 분포(H), 순수한 색상에 하얀 빛이 포함된 정도를 나타낸 채도(S) 및 빛의 밝기를 나타내는 명도(V)를 나타내는 것으로서, 명도값을 제거 또는 조절하는 경우에는 외부 요인에 의한 조도변화로부터 영향을 받지 않는 색상모델을 생성할 수 있다.

도 3(a)는 영상의 RGB 컬러모델에 따른 영상 내 피부영역 및 배경영역에 대한 색상분류를 나타낸 그래프이고, 도 3(b)는 HSV 컬러모델에 따른 영상 내 피부영역 및 배경영역에 대한 색상분류를 나타낸 그래프이다.

도 3에 도시된 바와 같이, 비전 카메라로부터 획득한 영상을 RGB 컬러모델에 따라 나타낸 것을 외부 요인에 의한 조도 변화에 영향을 받지 않는 색상모델을 생성하기 위해, HSV 컬러모델로 변환한다.

이처럼, 영상의 색상표현 중 피부영역과 배경영역에 분리가 어려운 RGB컬러모델에서 HSV컬러모델로 변환함에 따라, 영상 내 사용자의 신체 일부를 나타내는 피부영역과 배경영역을 용이하게 분리할 수 있게 된다.

상술한 바와 같이, 원본영상을 HSV 컬러모델로 변환함에 따라 이진신호로 표현된 이진영상으로부터 피부영역을 검출한다(S220).

도 4(a)는 카메라로부터 획득한 원본영상을 나타낸 도면이고, 도 4(b)는 상기 원본영상에 대하여 HSV 컬러모델로 변환한 영상을 나타낸 도면이다.

도 4(a)에 도시된 바와 같이, 원본영상에서는 사용자의 손, 얼굴 뿐만 아니라, 배경까지 모두 포함되어 있으나, 도 4(b)에서는 배경영역은 모두 검은색으로 처리되어 있으며, 사용자의 피부영역을 나타내는 손과 얼굴에 대하여 하얀색으로 처리되는 것을 알 수 있다. 즉, 도 4(b)에서는 0과 1의 이진신호를 통해 영상이 표현됨에 따라 피부영역과 배경영역을 분리할 수 있다.

상기 피부영역 내 각 화소에 대하여 레이블링(labeling)을 수행하여 손영역을 검출한다(S230).

도 5를 참조하여, 피부영역 내 손영역 검출과정에 대하여 보다 자세히 살펴보도록 한다.

도 5는 도 2의 손영역검출단계의 세부과정을 나타낸 순서도이다.

도 5에 도시된 바와 같이, 상기 영상 내 화소 중 특정화소를 선별하고, 선별된 특정화소를 기준으로 상기 특정화소와 상하, 좌우, 대각선에 인접하여 위치하는 화소에 대하여 상기 특정화소가 갖는 이진신호와 동일한 이진신호를 포함하는지 여부를 검출한다(S231).

만약 상기 특정화소에 인접하여 위치하는 화소에 대하여 동일한 이진신호를 포함(S232)하는 경우, 동일한 이진신호를 갖는 적어도 하나의 화소에 대하여 고유번호를 할당한다(S233).

도 6은 영상 내 각 화소에 대한 레이블링과정을 나타낸 도면이다.

도 6(a)에 도시된 바와 같이, 각 화소가 0과 1로 표현되는 이진영상에 있어서, 특정화소에 대하여 0 또는 1 중 동일한 이진신호를 가지며, 인접하여 위치하는 화소가 존재하는 것을 알 수 있으며, 이러한 화소들은 하나의 화소 그룹으로 나누어지는 것을 알 수 있다. 예를 들어, 도 6(a)에는 1번부터 4번까지의 총 4개의 화소 그룹이 존재하며, 각 화소그룹별로 동일한 고유번호를 할당한다. 즉, 첫 번째 화소 그룹 내 화소들은 모두 동일한 '1'번을 할당받고, 두 번째 화소 그룹 내 화소들은 모두 고유번호 '2'번을 할당받는다.

이처럼 동일한 고유번호를 할당받은 각 화소 그룹의 크기가 기설정된 기준 손영역의 크기보다 작은지 여부를 판단한다(S234).

만약 각 화소 그룹의 크기가 기준 손영역의 크기보다 작다고 판단(S235)하는 경우, 해당하는 화소 그룹을 제거한다(S236). 하지만 영상 내 적어도 하나의 화소 그룹이 존재함에 따라, 존재하는 화소 그룹마다 기 설정된 손영역의 크기와 비교하는 과정을 반복하여 수행한다.

이에 따라, 영상 내 존재하는 화소 그룹의 크기가 기설정된 손영역의 크기 보다 같거나 큰 경우, 영상 내 손영역을 검출한다(S237).

도 7은 영상 내 손영역을 검출하는 과정을 나타낸 도면이다.

도 7(a)은 원본영상을 HSV 컬러모델로 변환하여 생성된 이진영상이다. 이러한 이진영상에 대하여 상술한 과정 S231 내지 S237을 수행함에 따라 도 7(b)에 도시된 바와 같이, 피부영역 중에서도 얼굴영역이 아닌 터치 입력이 가능한 손영역이 검출되는 것을 알 수 있다.

또한 HSV 컬러모델로 변환된 영상 내 노이즈를 모폴로지(morphology) 알고리즘에 기초하여 제거한다(S240). 이러한 모폴로지 알고리즘은 상기 영상의 배경영역을 확장하고 상기 피부영역을 축소하거나, 상기 영상의 배경영역을 축소하고 상기 피부영역을 확장하거나, 상기 영상의 미세 노이즈를 제거하거나, 상기 영상의 상기 피부영역 내 빈 화소를 채우는 과정 중 적어도 하나의 과정을 수행할 수 있다.

도 8은 모폴로지 알고리즘 중 침식연산과정을 이용한 노이즈 제거과정을 나타낸 도면이다.

예를 들어, 도 8(a)은 이진신호 '1'로 표현되는 피부영역과 '0'으로 표현되는 배경영역을 포함하는 이진영상에 대하여, 도 8(b)에 도시된 바와 같이, 이진신호 '1'로 표현되는 상기 피부영역을 원래의 영상크기보다 축소되고, '0'으로 표현되는 상기 배경영역을 원래의 영상크기보다 확장시킨 것을 알 수 있다. 이러한 과정을 침식연산과정이라 하며, 상기 침식연산과정을 통해 상기 피부영역과 배경영역 사이에 노이즈가 존재하는 경우에 이를 제거할 수 있고, 전체 영상 내 존재하는 미세한 물체를 용이하게 제거할 수 있다. 또한, 영상 내부에 돌출된 부분을 감소시키거나 증가시킴으로써, 서로 닿은 물체를 분리할 수도 있다.

도 9는 모폴로지 알고리즘 중 팽창연산과정을 이용한 노이즈 제거과정을 나타낸 도면이다.

도 9(a)에 도시된 바와 같이, '1'로 표현되는 피부영역과 '0'으로 표현되는 배경영역을 포함하는 이진영상에 대하여, 도 9(b)에 도시된 바와 같이, 이진신호 '1'로 표현되는 상기 피부영역이 원래의 영상크기보다 확대되고, 이진신호 '0'으로 표현되는 상기 배경영역이 원래의 영상크기보다 확장되는 것을 알 수 있다. 이러한 과정을 팽창연산과정이라 하며, 상기 팽창연산과정을 통해, 피부영역 내부의 돌출부는 감소시키고, 외부의 돌출부는 증가시킨다. 이에 따라, 피부영역 내부에 발생한 구멍과 같은 공간을 채우거나 짧게 끊어진 영역을 연결할 수 있다.

이후, 검출된 손영역으로부터 무게중심점을 검출한다(S250). 상기 무게중심점을 검출하기 위해, 모멘트 이론을 이용할 수 있다. 먼저, 손영역은 원과 비슷한 모양을 갖는 손바닥영역과 작고 긴 사각형 모양을 갖는 손가락영역으로 나누어지며, 하기의 수학식 2를 통해 2차원 공간에서 영상 I(x,y)에 대한 모멘트값을 연산할 수 있다.

[수학식 2]

이때, 상기 p.q는 외곽선 내부의 식별번호를 나타내며, m_pq는 p.q 위치에서 외곽선에 대한 총 모멘트값을 나타낸다.

이와 같이 연산된 영상 I(x,y)의 모멘트값 m₀₀에 대하여 하기의 수학식 3을 통해 각 화소들간의 합으로 연산할 수 있다.

[수학식 3]

또한, 하기의 수학식 4를 이용하여 손영역에 대한 1차 모멘트값을 연산할 수 있다.

[수학식 4]

이와 같이, 연산된 손영역의 1차 모멘트값을 하기의 수학식 5에 대입하면, 손영역의 무게중심점을 연산할 수 있다.

[수학식 5]

즉, x축에 해당하는 모멘트값(m₁₀)과 y축에 해당하는 모멘트값(m₀₁)을 각각 2차원 공간의 총 모멘트 값(m₀₀)으로 나눔으로써, 2차원 공간에서 외곽선정보를 이용하여 손영역의 무게중심값에 해당하는 위치좌표(x,y)를 연산할 수 있다.

도 10은 손영역 내 검출된 무게중심점을 나타낸 도면이다.

도 10에 도시된 바와 같이, 레이블링된 손영역(a)으로부터 상기 손영역 내 무게중심점이 검출된 영상(b)을 획득할 수 있게 된다.

앞서 무게중심점을 검출한 영상에 대하여, 상기 손영역의 무게중심점을 기준으로 하여 상기 무게중심점으로부터 적어도 하나의 동심원을 형성하고, 상기 적어도 하나의 동심원과 교차하는 적어도 하나의 특징점을 검출한다(S260).

도 11은 손영역 내 무게중심점을 기준으로 동심원이 형성된 도면이다.

도 11에 도시된 바와 같이, 과정 S250을 통해 손영역 내 무게중심점을 검출한 영상에서 상기 무게중심점을 중심으로 하는 동심원을 형성한다. 이때, 상기 동심원의 지름은 손영역 중 손바닥의 크기보다 큰 것이 바람직하며, 또한 상기 동심원은 손영역 중 손가락이 끝나는 부분까지 형성되도록 연속하여 형성한다. 이에 따라, 상기 동심원을 통해 손영역 중 손가락이 끝나는 지점을 확인할 수 있는데, 이때 형성된 동심원과 상기 손가락의 마디가 교차하는 지점을 특징점으로 검출할 수 있다.

이와 같이, 손영역의 특징점을 검출하는데 있어서, 영상 내 손이 빠르게 움직이거나, 영상 내 존재하는 노이즈로 인하여 손영역의 특징점을 검출하기 어려운 경우에는 칼만필터를 이용하여 손영역 내 추출된 특징점의 위치를 추적할 수 있다. 이때 사용되는 칼만필터는 시간변화, 비정상여부, 다중 채널 시스템을 포함하는 모든 선형시스템에 적용할 수 있는 순환필터로서, 인공위성 항법 자료의 실시간 처리에 주로 활용되고, 탐사자료의 필터링에도 사용된다.

이후, 상기 손영역 내 무게중심점과 각각 검출된 특징점간에 거리를 연산하고, 그 연산결과에 기초하여 사용자의 터치여부를 판단한다(S270).

도 12는 손영역 내 특징점 추출에 대한 일련의과정을 나타낸 도면이다.

결국 도 12(a)에 도시된 바와 같이, 사용자의 신체 일부가 포함되는 24bit RGB 원본영상을 도12(b)와 같이, HSV 컬러모델로 변환하고, 도 12(c)에 도시된 바와 같이, 상기 영상 중 피부영역으로 표시되는 영역에 대하여 레이블링 과정을 수행한 후, 손영역을 검출한다. 이후, 도 12(d)에 도시된 바와 같이, 상기 손영역 내 특징점을 검출하고, 도 12(e)와 같이, 동심원 형성을 통해 검출된 손영역 내 무게중심점과, 손영역의 끝단에 위치하는 특징점간 거리를 연산하여 도 12(f)에 도시된 바와 같이, 최종적인 손영역 내 무게중심점으로부터 특징점까지를 거리를 파악할 수 있게 된다.

또한, 손영역의 무게중심점으로부터 각각의 특징점까지의 거리연산을 통해 손가락별 터치 동작의 수행여부를 확인할 수 있다.

도 13은 사용자의 각 손가락별 터치동작의 감지를 나타낸 도면이다.

도 13(a)는 검지손가락의 터치동작을 도 13(b)는 중지손가락의 터치동작을 도 13(c)는 약지손가락의 터치동작을 도 13(d)는 새끼손가락의 터치동작을 각각 나타낸다.

또한, 이러한 영상분석을 이용한 멀티 터치 입력 방법은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.

110: 영상획득부 120: 피부영역검출부
130: 손영역검출부 140: 노이즈필터링부
150: 무게중심검출부 160: 특징점검출부
170: 터치여부판단부

Claims

영상획득부가 특정 영역을 터치하고자 하는 사용자의 신체 일부를 포함하는 영상을 획득하는 영상획득단계;
피부영역검출부가 상기 영상으로부터 상기 사용자의 신체 일부와 배경영역을 구분하도록 상기 영상 내 피부영역을 검출하는 피부영역검출단계;
손영역검출부가 상기 피부영역 내 각 화소에 대하여 레이블링(labeling)을 수행하여 손영역을 검출하는 손영역검출단계;
노이즈필터링부가 상기 영상 내 노이즈를 모폴로지(morphology) 알고리즘에 기초하여 제거하는 노이즈필터링단계;
무게중심검출부가 상기 손영역 내 무게중심점을 검출하는 무게중심검출단계;
특징점검출부가 상기 손영역의 무게중심점으로부터 적어도 하나의 동심원을 형성하고, 상기 손영역 내 손가락 마디와 상기 적어도 하나의 동심원과 교차하는 적어도 하나의 특징점을 검출하는 특징점검출단계; 및
터치여부판단부가 상기 손영역의 무게중심점과 상기 특징점간에 거리를 연산하고, 그 연산결과에 기초하여 사용자의 터치여부를 판단하는 터치여부판단단계;
를 포함하는 영상분석을 이용한 멀티 터치 입력 방법.
제1항에 있어서,
상기 영상획득단계는
상기 영상획득부가 상기 사용자의 신체 일부를 포함하는 영상으로부터 획득한 RGB정보를 HSV(Hue Saturation Value) 컬러모델로 변환하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 방법.
제1항에 있어서,
상기 손영역검출단계는
상기 손영역검출부가 상기 영상 내 화소 중 인접하는 화소에 대하여 동일한 이진신호를 포함하는지 여부를 검출하는 화소검출과정;
상기 손영역검출부가 동일한 이진신호를 포함하는 각 화소에 대하여 고유번호를 할당하는 레이블링과정;
상기 손영역검출부가 고유번호가 할당되고, 인접하여 배치된 각 화소 그룹 영역의 크기가 기준 손영역의 크기보다 작은지 여부를 판단하는 손영역판단과정; 및
상기 손영역검출부가 상기 화소 그룹 영역의 크기가 기준 손영역의 크기보다 작은 경우 상기 화소 그룹을 제거하여 상기 영상 내 손영역을 검출하는 손영역검출과정;
을 포함하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 방법.
제1항에 있어서,
상기 노이즈필터링단계는
상기 노이즈필터링부가 상기 영상의 배경영역을 확장하고, 상기 피부영역을 축소하는 침식연산과정;
상기 영상의 배경영역을 축소하고, 상기 피부영역을 확장하는 팽창연산과정;
상기 영상의 미세 노이즈를 제거하는 열림연산과정; 및
상기 영상의 상기 피부영역 내 빈 화소를 채우는 닫힘연산과정;
중 적어도 하나의 과정을 수행하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 방법.
제1항에 있어서,
상기 특징점검출단계는
상기 특징점검출부가 상기 손영역의 추출된 특징점의 위치를 칼만필터(Kalman filter)를 이용하여 추적하는 특징점추적과정;
을 더 포함하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 방법.
제1항에 있어서,
상기 터치여부판단단계는
상기 터치여부판단부가 상기 손영역의 무게중심점으로부터 적어도 하나의 특징점까지의 거리를 각각 연산하는 거리연산과정; 및
상기 터치여부판단부가 거리연산결과가 기설정된 기준거리보다 짧은 경우, 해당 특징점을 터치하였다고 판단하는 터치여부판단과정;
을 포함하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 방법.
제1항 내지 제6항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
특정 영역을 터치하고자 하는 사용자의 신체 일부를 포함하는 영상을 획득하는 영상획득부;
상기 영상으로부터 상기 사용자의 신체 일부와 배경영역을 구분하도록 상기 영상 내 피부영역을 검출하는 피부영역검출부;
상기 피부영역으로부터 각 화소별 레이블링(labeling)을 통해 손영역을 검출하는 손영역검출부;
상기 영상 내 노이즈를 모폴로지(morphology) 알고리즘에 기초하여 제거하는 노이즈필터링부;
상기 손영역 내 무게중심점을 검출하는 무게중심검출부;
상기 손영역의 무게중심점으로부터 적어도 하나의 동심원을 형성하고, 상기 손영역 내 손가락 마디와 상기 적어도 하나의 동심원과 교차하는 적어도 하나의 특징점을 검출하는 특징점검출부; 및
상기 손영역의 무게중심점과 상기 특징점간에 거리를 연산하고, 그 연산결과에 기초하여 사용자의 터치여부를 판단하는 터치여부판단부;
를 포함하는 영상분석을 이용한 멀티 터치 입력 시스템.
제8항에 있어서,
상기 영상획득부는
상기 사용자의 신체 일부를 포함하는 영상을 입력받는 영상입력모듈; 및
상기 영상으로부터 RGB정보를 획득하고, 상기 RGB정보를 HSV(Hue Saturation Value) 컬러모델로 변환하는 영상정보변환모듈;
을 포함하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 시스템.
제8항에 있어서,
상기 손영역검출부는
상기 영상 내 화소 중 인접하는 화소에 대하여 동일한 이진신호를 갖는 영역을 검출하는 이진신호검출모듈;
동일한 이진신호를 포함하는 각 화소에 대하여 고유번호를 할당하는 레이블링모듈;
상기 고유번호가 할당된 각 화소 그룹 영역의 크기가 기준 손영역의 크기보다 작은지 여부를 판단하는 손영역판단모듈; 및
상기 화소 그룹 영역의 크기가 기준 손영역의 크기보다 작다고 판단하는 경우, 상기 화소 그룹을 제거하여 상기 영상 내 손영역을 검출하는 검출모듈;
을 포함하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 시스템.
제8항에 있어서,
상기 노이즈필터링부는
상기 영상의 배경영역을 확장하고, 상기 피부영역을 축소하는 침식연산모듈;
상기 영상의 배경영역을 축소하고, 상기 피부영역을 확장하는 팽창연산모듈;
상기 영상의 미세 노이즈를 제거하는 열림연산모듈; 및
상기 영상의 상기 피부영역 내 빈 화소를 채우는 닫힘연산모듈;
을 포함하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 시스템.
제8항에 있어서,
상기 특징점검출부는
상기 손영역의 특징점의 위치를 추적하는 칼만필터(Kalman filter)를 포함하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 시스템.
제8항에 있어서,
상기 터치여부판단부는
상기 손영역의 무게중심점으로부터 적어도 하나의 특징점까지의 거리를 각각 연산하는 거리연산모듈; 및
거리연산결과가 기설정된 기준거리보다 짧은 경우, 해당 특징점을 터치하였다고 판단하는 터치판단모듈;
을 포함하는 것을 특징으로 하는 영상분석을 이용한 멀티 터치 입력 시스템.