KR20150039908A - 영상 인식 장치 및 방법 - Google Patents

Abstract

본 발명은 카메라에 들어오는 입사 영상 속에 지정된 이미지(마커이미지)가 입사되면 폰 화면 위에 가상적인 캐릭터(여자캐릭)가 폰 화면에 보이는 지정된 이미지 평면 위에 서 있다가 손가락의 터치가 일어나면 그에 해당한 애니메이션을 하도록 한 영상 인식 장치 및 방법에 관한 것으로, 실세계의 이미지를 촬영하는 폰 카메라부, 자동 특징 추출을 수행하는 전 처리부, 분류 알고리즘을 수행하는 차원 축소부, 분류된 데이터를 분석하는 인식 예측부, 데이터 검증을 수행하는 모델 선택부, 분석결과를 출력하는 분석결과 출력부를 포함한다.

Description

영상 인식 장치 및 방법 {Apparatus and method of recognizing image}

본 발명은 영상 인식 장치 및 방법에 관한 것으로, 특히 카메라에 들어오는 입사 영상 속에 지정된 이미지(마커이미지)가 입사되면 폰 화면 위에 가상적인 캐릭터(여자캐릭)가 폰 화면에 보이는 지정된 이미지 평면 위에 서 있다가 손가락의 터치가 일어나면 그에 해당한 애니메이션을 하도록 한 영상 인식 장치 및 방법에 관한 것이다.

컴퓨터의 발달은 사람들의 생활을 다양하게 변화시키고 있으며, 또한 컴퓨터 사용에 대한 인식이 높아지면서 컴퓨터의 초기 계산 목적에서 서류 작성이나 저장, 검색, 엔터테인먼트 및 게임 등 점차 그 활용 범위가 확대되고 있다. 특히, 가상현실의 구현은 게임, 교육 및 훈련 등에서 획기적인 성과를 거두고 있으며, 가상현실을 통해 저렴한 비용으로 실제 상황과 동일한 체험을 할 수 있고 효율적이고 안전하게 교육 및 훈련이 가능하다. 이미 해저탐험, 비행훈련 및 기관차 운전 등 여러 분야에서 사용되고 있다.

이러한 가상현실(Virtual Reality) 기술은 1980년대 이후 빠른 속도로 발전해 왔다. 특히, 대형스크린을 이용한 프로젝션(Projection) 타입의 가상환경을 구축하는 것은 가상현실의 기본적인 기능인 완전 몰입성(Immersion), 상호작용(Interactivity), 원격지와의 협업(Collaboration) 및 인터페이스(Interface)를 통한 증강현실 구현 등의 장점으로 인해 많은 분야에서 활용되고 있다. 또한, 가상현실은 그 응용 분야로 건축, 의료공학, 자동차 등 각종 디자인, 문화 콘텐츠 복원 및 개발, 생명공학, 지구환경 시뮬레이션 구현 등으로 매우 다양하다. 즉, 가상현실은 실제의 환경에서 사람들이 쉽게 접하지 못하는 환경을 가상으로 만들어 줄 수 있고, 또 복잡한 실제 환경을 사람들의 수준에 맞게 조정해 주어 실제의 자연 환경을 보완한 교육 환경을 구축하는데 효과적이다.

한국공개특허 제10-2010-0030404호(2010.03.18 공개)는 스크린 상에서 사용자의 다양한 상황 인지적 인식을 통해 보다 정확하고 간편하게 사용자 정보를 입력할 수 있으며, 스크린 상에서 입력된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있도록 한 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 관하여 기재되어 있다. 개시된 기술에 따르면, (a) 스크린에 접근한 사용자를 감지하여 사용자의 위치를 인식하는 단계; (b) 상기 스크린 상에 위치한 사용자의 접근상태를 감지하여 사용자 손의 위치를 인식하는 단계; (c) 상기 단계(a) 및 단계(b)에서 인식된 사용자의 위치 및 사용자 손의 위치에 따른 각도와 거리를 이용하여 사용자의 왼손 및 오른손을 인식하는 단계; (d) 상기 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계; (e) 실시간 이미지 프로세싱 방식을 이용하여 상기 스크린 상에 위치한 사용자 손가락의 형태를 인식하는 단계; 및 (f) 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식한 후, 상기 단계(c) 내지 단계(e)에서 인식된 사용자의 왼손 및 오른손, 사용자 손의 형상과 특정 움직임 또는 사용자 손가락의 형태 중 적어도 어느 하나를 바탕으로 상기 인식된 접촉 좌표에 특정 명령을 할당하는 단계를 포함하는 것을 특징으로 한다.

한국공개특허 제10-2013-0098509호(2013.09.05 공개)는 증강현실 서비스에서 활용 가능한 유저인터페이스로서 손끝 모델 인식과 트래킹된 모델의 좌표 범위설정을 수행하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템에 관하여 기재되어 있는데, 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체 추출시스템에 있어서, 카메라로부터 이미지를 캡쳐하여 해당 이미지의 페이지 및 도큐먼트 아이디를 인식하며, 원본 피디에프와 카메라 뷰 간의 좌표를 추적하며, 사용자가 화면에 손끝을 위치시키고 동작 변화가 특정 시간 동안 없으면 손끝 인식으로 설정하여 손끝의 선택 영역을 인식하게 되며, 선택된 영역을 상기 추적된 좌표에 의해 원본 좌표로 변환시키고, 인식된 도큐먼트 아이디와 선택 영역의 좌표 값을 획득하여 객체관리서버로 조회를 요청하여 객체관리서버로부터 제공되는 좌표범위의 오브젝트 추출 정보를 획득하기 위한 모바일단말기(100)와; 피디에프파일정보 디비를 포함하여 구성되며, 모바일단말기로부터 조회 요청 시, 송출되는 도큐먼트 아이디로 피디에프 원본 파일을 조회하여 피디에프 원본 파일의 해당 페이지를 로딩하며, 송출되는 선택 영역의 좌표 값을 참조하여 로딩된 피디에프 원본 파일의 해당 영역의 오브젝트를 추출하여 모바일단말기에 오브젝트 추출 정보를 제공하기 위한 객체관리서버(200)를 포함하여 구성되는 것을 특징으로 한다. 개시된 기술에 따르면, 증강현실 서비스에서 활용 가능한 유저인터페이스로서 손끝 모델 인식과 트래킹된 모델의 좌표 범위 설정 및 원본 PDF로부터의 좌표 지정된 객체 추출을 수행하는 증강화면에서의 사용자 손끝 인식을 이용한 서버기반 원본 객체를 추출하는 효과를 제공하는데, 카메라로 비추고 있는 인쇄면에 사용자의 손가락을 이용한 선택 동작으로 해당 부분의 실제 객체 값을 서버에서 추출하여 이를 사용자에게 제공하게 되어 별도의 키패드나 조작 버튼부를 조작할 필요 없이 손쉽게 손끝이 지정하는 지점의 정보를 증강현실로 확인할 수 있다.

한국공개특허 제10-2010-0030404호 한국공개특허 제10-2013-0098509호

본 발명이 이루고자 하는 기술적 과제는, 전술한 바와 같은 문제점 내지는 필요성을 해결하기 위한 것으로, 카메라에 들어오는 입사 영상 속에 지정된 이미지(마커이미지)가 입사되면 폰 화면 위에 가상적인 캐릭터(여자캐릭)가 폰 화면에 보이는 지정된 이미지 평면 위에 서 있다가 손가락의 터치가 일어나면 그에 해당한 애니메이션을 하도록 한 영상 인식 장치 및 방법을 제공한다.

이러한 과제를 해결하기 위해, 본 발명의 한 특징에 따르면, 실세계의 이미지를 촬영하는 폰 카메라부, 자동 특징 추출을 수행하는 전 처리부, 분류 알고리즘을 수행하는 차원 축소부, 분류된 데이터를 분석하는 인식 예측부, 데이터 검증을 수행하는 모델 선택부, 분석결과를 출력하는 분석결과 출력부를 포함한 영상 인식 장치 및 방법을 제공한다.

본 발명에 의하면, 카메라에 들어오는 입사 영상 속에 지정된 이미지(마커이미지)가 입사되면 폰 화면 위에 가상적인 캐릭터(여자캐릭)가 폰 화면에 보이는 지정된 이미지 평면 위에 서 있다가 손가락의 터치가 일어나면 그에 해당한 애니메이션을 할 수 있는 효과를 가진다.

도 1은 본 발명의 실시 예에 따른 영상 인식 장치를 설명하는 도면이다.
도 2는 도 1에 있어 컬러 영상과 깊이 영상을 설명하는 도면이다.
도 3은 도 1에 있어 손가락 모양 인식을 위한 처리를 설명하는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

이제 본 발명의 실시 예에 따른 영상 인식 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 영상 인식 장치를 설명하는 도면이다.

도 1을 참조하면, 영상 인식 장치(100)는, 실세계의 이미지를 촬영하는 폰 카메라부, 자동 특징 추출을 수행하는 전 처리부, 분류 알고리즘을 수행하는 차원 축소부, 분류된 데이터를 분석하는 인식 예측부, 데이터 검증을 수행하는 모델 선택부, 분석결과를 출력하는 분석결과 출력부를 포함한다.

지정된 화상을 카메라에서 인식에 대해 아래와 같이 살펴본다.

사용한 인식엔진은 Vuforia이다.

엔진 구조 작용 원리는 다음과 같다.

엔진은 유니티 플러그인이며 유니티 위에서 함께 연동한다.

엔진의 활용화는 엔진의 부분요소들에 대하여 엔진 인식율을 높일 수 있는 알고리즘 추가하는데, 구체적으로는 모양 인식 및 트래킹에 관한 코드를 추가해 준다.

Vuforia 엔진에 대해서 인식 정확도와 속도 증진시켜 인식율을 올리기 위해서, Vuforia에 기초한 인식 프로그램을 활용하고, vuforia 엔진과 개선된 모양 인식 및 트래킹 알고리즘을 결합하여 작성되며, 속도 증진을 위한 고속화 처리를 진행하도록 한다.

영상 인식 장치(100)는, 패턴 인식 시스템의 성능이 안정적이기 위해서는 인식률이 95%이상 요구되고, 화상의 평균 패턴 스케일이 결정 경계로 좋은 특징이 됨을 발견하고, 클래스 간의 분리 정도가 좋아지도록 "크기"와 "평균 밝기"를 조합하여 2차원 특징 벡터를 만들고, 선형 판별 함수를 사용하여 두 부류로 분류하여 95%의 인식률을 1차적으로 얻어도록 하며, 로지스틱스와 쌍곡선의 접선 활성 함수를 조합한 5개의 은닉 층을 가지고 Levenberg-Marquardt 알고리즘의 결과로 최종 99% 라는 인식율을 얻도록 한다.

지정된 화상 인식 시 캐릭터의 현시 및 애니메이션에 대해 다음과 같이 살펴본다.

샘플에서는 실제 공간에서 카메라의 위치변화에 따르는 target 이미지의 위치를 구하여 그 위에 캐릭터를 현시한다.

애니메이션은 현재 캐릭터의 해당 부분이 터치되는데 따라 구별하여 플레이 한다.

터치되는 캐릭터의 부분의 분할을 위해 해당 부분(머리, 몸, 팔, 다리 등)에 캐릭터의 모양과 비슷한 충돌감지용 콜 리더들을 추가로 배치한다.

손가락 패턴이 콜 리더와 충돌할 때 충돌 감지된 콜 리더의 이름이나 태그를 이용하여 현재 캐릭터의 어느 부분이 터치되었는가를 판정한다.

OnCollsionEnter() 함수나 OnTriggerEnter() 함수 등을 이용하여 터치되는 캐릭터의 콜 리더들을 감지한다.

다음 감지된 콜 리더의 태그에 따라 대응되는 애니메이션을 플레이하도록 한다. Animation.Play() 함수를 이용한다.

지정된 화상에서 손가락 패턴의 인식에 대해 다음과 같이 살펴본다.

영상 인식 장치(100)에서 사용하는 손 모양 인식 방법은 컬러 영상과 깊이 영상을 함께 사용한다.

양질의 컬러 영상을 실시간으로 획득할 수 있으며, Vuforia는 이러한 목적에 잘 부합하는 플러그인이다.

컬러 영상은 일반적인 카메라로 들어오는 빛의 양을 측정하는 수동적(passive) 획득 방식으로 얻어진다.

도 2는 도 1에 있어 컬러 영상과 깊이 영상을 설명하는 도면이다.

도 2를 참조하면, Vuforia를 사용하여 획득된 컬러 영상과 깊이 영상의 예를 보여준다.

컬러 영상과 깊이 영상이 주어졌을 때, 손가락 모양 인식을 위한 첫 번째 단계는 손가락 영역을 검출하는 것이다. 다만, 검출된 손가락 영역이 손 부분을 포함하게 되면 인식이 제대로 이루어질 수가 없기 때문에, 팔 부분은 제거하는 처리가 필요한데, 이는 손과 손가락의 기하학적인 차이를 이용한 방법을 이용한다.

도 3은 도 1에 있어 손가락 모양 인식을 위한 처리를 설명하는 도면이다.

도 3을 참조하면, 손 부분이 제외된 손가락 영역이 얻어지면, 다음으로 손가락 끝점을 찾는다. 이는 손가락 영역에 거리 변환을 적용하여 최대 값과 최소 값을 가지는 픽셀을 찾아 연관 끝점들과의 사귐각도를 대비하여 손가락 끝을 찾는다. 이를 위해 손의 외곽선을 검출하고 곽선의 기울기를 분석하여 기울기가 급격하게 변하는 지점을 찾아서 손가락 끝 후보를 찾는다.

이 후보에는 손가락 끝뿐만 아니라 손가락 골 등도 포함이 되는데, 손가락 골은 외적의 세 번째 요소가 양수가 되는 곳을 제외함으로써 제거한다.

남은 후보를 가까운 거리의 후보끼리 그룹으로 묶어서 각 그룹의 평균 위치를 찾으면 도 3의 b와 같이 손가락 끝을 정확히 찾아낸다.

지정된 화상에서 손 패턴의 터치 인식, 운동 방향과 운동 자리길, 힘의 세기 분석에 대해 다음과 같이 살펴본다.

터치 인식의 경우, 카메라에 비추어진 손가락은 이미 인식 엔진에 의하여 손 외곽선을 인식하고 있으며, 이에 유니티는 캐릭터의 터치를 느낄 수 있게 하는 인식 박스를 캐릭터에 배치한다.

터치는 인식된 손의 외곽선이 캐릭터의 터치박스를 클릭하는 것으로 된다.

운동 방향 및 자리길 분석의 경우, 손 패턴의 운동 방향과 자리길의 분석은 손가락 패턴의 프레임 당 손의 위치와 연결로 그어지는 특정 픽셀의 이동점들의 자리표 값으로 표현되는 그래피라인에 있다.

그래프라인이 그어지는 방향에 기초하여 오브젝의 운동 방향은 그래프라인이 표현될 수 있는 미정곡선 방향으로의 오브젝의 운동을 표현하게 된다.

그래프라인의 미정곡선은 특정 함수로 구하여 공의 방향을 구하게 된다. 즉, 공에 힘을 가하는 방향을 구한다. 방향을 얻고 작용이 이루어지면 공은 오브젝에 부딪친 운동을 하게 된다.

힘 크기의 경우, 힘의 크기는 특정 픽셀의 거리에 비례한다. 즉, 픽셀 좌표의 값들 사이 거리가 벌어질수록 속도는 높으며 가까울수록 속도는 낮다.

오브젝의 끌기와 밀기에 대해 다음과 같이 살펴본다.

현재 오브젝의 끌기와 밀기는 두 가지 방향에서 구현하며, 보다 정확도가 높은 방법을 선택하여 구현하도록 한다.

오브젝의 끌기와 밀기의 구분은 우선 두 손가락으로 캐릭터를 터치하였을 때에는 끌기, 기타는 밀기로 하는 방법과, 한 손가락으로 오브젝을 지긋이 터치하였을 때에는 끌기로 아니면 밀기로 설정하는 방법으로 한다.

인식율 제고를 위한 영상 인식 장치(100)에서 사용한 특수 기술에 대해 다음과 같이 살펴본다.

영상 인식 장치(100)에서는 인식율을 높일 수 있는 새로운 알고리즘을 구현함과 외곽선 인식의 속도화를 구현함으로써, 인식율의 딜레이를 제거하도록 한다.

영상 인식 장치(100)에서의 인식 알고리즘은 Vuforia와 공존하며, 보다 높은 인식율을 보장하도록 한다. 터치의 이상적 액션을 구현한다.

이상, 본 발명의 실시 예는 상술한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 영상 인식 장치

Claims (1)

1. 실세계의 이미지를 촬영하는 폰 카메라부, 자동 특징 추출을 수행하는 전 처리부, 분류 알고리즘을 수행하는 차원 축소부, 분류된 데이터를 분석하는 인식 예측부, 데이터 검증을 수행하는 모델 선택부, 분석결과를 출력하는 분석결과 출력부를 포함하는 영상 인식 장치.

Images