KR20110116422A - 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템 - Google Patents

Abstract

본 발명은 실제 훈련 환경에 마커를 두고 실제 공간에서는 사용하기 어려운 물체들을 가상 물체로 대체한 증강 현실 공간을 구성하여 발달 장애인이 안전하고 주변 환경의 제약 없이 반복 훈련할 수 있도록 하는 상황 훈련 시스템에 관한 것으로서, 본 발명에 의한 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템은, 훈련자의 시선 방향의 현실의 영상을 촬영하는 이동 카메라; 고정된 위치에 설치되고, 훈련자의 훈련 영역의 현실의 영상을 촬영하는 고정 카메라; 이동 카메라 및 고정 카메라에 의해 촬영된 영상을 입력하는 카메라 입력부와, 카메라 입력부에 의해 입력된 고정 카메라 영상 및 이동 카메라 영상에 포함된 모든 마커들을 검출하여 각각 위치좌표와 회전정보를 포함하는 마커 매트릭스를 생성하는 마커 검출부와, 카메라 입력부에 의해 입력된 고정 카메라 영상 및 이동 카메라 영상 중 적어도 어느 하나의 영상으로부터 훈련자의 손 끝점 위치정보와 손 축 방향정보를 추출하는 손 인식부와, 3차원 모델 데이터를 저장하는 모델 데이터 저장부와, 마커 검출부로부터 전달되는 마커 매트릭스를 이용하여 특정 마커의 가시성, 마커와 마커의 거리 및 이동 카메라의 시점과 마커 간의 거리를 생성하고 손 인식부로부터 전달되는 손 끝점 위치정보와 손 축 방향정보를 조합하여 훈련자의 행동 정보를 생성하고, 미리 정의된 시나리오에 따른 장면 정보에 훈련자의 행동 정보를 적용하여 훈련자에게 제공하는 장면 정보와 다음 장면으로의 이전 여부를 결정하는 상황 제어부와, 카메라 입력부에 의해 입력된 이동 카메라 영상을 백그라운드 이미지로 하고 마커 검출부로부터 전달되는 마커 매트릭스를 이용하여 마커 위치에 모델 데이터 저장부에서 대응하는 3차원 모델을 인출하여 정합하는 영상 정합부와, 영상 정합부에 의해 정합된 영상을 출력하는 HMD 출력부를 구비한 훈련제어장치; 및 이동 카메라와 일체로 결합되고, HMD 출력부에 의해 출력되는 영상을 디스플레이하는 두부장착형 디스플레이;를 포함하여 구성된다.

Description

마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템{An augmented reality situational training system by recognition of markers and hands of trainee}

본 발명은 증강 현실을 기반으로 한 상황 훈련 시스템에 관한 것으로, 보다 상세하게는 실제 훈련 환경에 마커를 두고 실제 공간에서는 사용하기 어려운 물체들을 가상 물체로 대체한 증강 현실 공간을 구성하여 발달 장애인이 안전하고 주변 환경의 제약 없이 반복 훈련할 수 있도록 하는 상황 훈련 시스템에 관한 것이다.

발달 장애인은 일반적으로 지적 능력이 해당 연령의 정상 기대치보다 25%이상 뒤져있는 이들을 말하며 전체 장애인의 80%를 차지할 정도로 장애인들 중 높은 비중을 차지하고 있다. 이들은 지적 기능이 제한되어 있고 적응 능력이 부족하기 때문에, 일상생활에 적응하고 직장생활을 영위하는 데는 많은 어려움이 있다.

발달장애인들이 이러한 어려움을 극복하기 위해서는 다양한 훈련을 해야 한다. 위험한 도구들을 다루는 훈련, 상점이나 음식점을 이용하는 훈련, 도로 교통안전 훈련 등이 그 예가 될 수 있다. 하지만, 실제 도구를 가지고 훈련을 하거나 현장에서 훈련을 행하는 것은 안전사고 발생의 가능성이 일반인에 비해 월등히 높기 때문에 또 다른 어려움이 있다.

증강 현실(Augmented Reality, AR)은 가상 현실(Virtual Reality)의 한 분야로 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다.

증강 현실 기술의 활용은 앞서 언급한 발달장애인들이 훈련을 수행하는데 있어서 어려운 점을 해소시켜 줄 수 있다. 교사의 도움 없이 직접 다루기 어려운 도구들을 다루는 법을 습득하거나 현장에서 경험해보기 어려운 장소들을 증강 현실을 기반으로 한 훈련을 통해 겪어볼 수 있다.

증강 현실 기술을 교육에 활용하는 연구는 국내외적으로 활발히 진행되고 있다. 국내에서는 한국전자통신연구원에서 상용화를 목적으로 실감형 e-러닝 기반 개인맞춤형 학습 시스템을 개발하였다. 이 시스템에 의하면 카메라를 사용하여 마커가 부착된 교재를 보게 되면, 사용자는 모니터를 통해 교재 내용과 함께 가상 콘텐츠를 볼 수 있다.

국외에서는 싱가포르의 난양기술대학교의 HIT lab에서 독자적인 마커인식 기술을 이용하여 3D 매직 큐브(magic cube), 3D 매직 랜드 등 AR기술을 적용한 에듀테인먼트용 콘텐츠를 개발하였다. 3D 매직 큐브는 실제 사용자가 카메라가 부착된 HMD(Head Mounted Display)를 착용하고 마커 기반의 큐브를 보면, 음성이 들리면서 가상 콘텐츠를 볼 수 있다.

이 같은 연구들은 증강 현실 기반의 사용자 체험 중심 교육 및 훈련 시스템을 제공하고 있으며, 미리 정의된 마커를 사용하여 영상을 기반으로 특정 위치를 추적하는 기술을 사용한다. 영상의 정보로 위치를 추적하기 때문에 카메라 이외에 특수 장비를 사용하지 않음으로써 적은 비용으로 쉽게 활용이 가능하며 미리 정의된 패턴의 마커를 사용함으로써 위치 추적의 성능과 정확도를 향상시킨다.

한편, 장애인들을 위한 교육 및 훈련 시스템에서는 이러한 활용성, 성능 및 정확도 문제뿐 아니라 장애인의 예측할 수 없는 돌발 상황에 대한 대응도 필요하며, 조작이 복잡한 기기를 사용하는 것은 인지 능력이 부족한 장애인들에게는 어려운 일이기 때문에 단순한 조작을 통해 장비를 사용할 수 있어야 한다.

그러나 종래 기술에 의한 마커의 인식만으로는 훈련자의 다양한 행동 정보를 정확히 파악하는 데에는 한계가 있다. 더불어, 조명의 영향이 고르지 못한 상태에서는 마커 검출을 용이하지 못하다는 문제점도 있다.

본 발명은 상기의 문제점들을 해결하기 위하여 창안된 것으로, 훈련자가 카메라가 부착된 HMD를 착용하고 증강 현실 공간을 움직이면서 미리 설정된 상황에 대해 훈련을 할 때, 마커뿐만 아니라 훈련자의 손 인식을 통해 획득된 정보를 기반으로 삽입된 가상의 물체들을 현실상의 물체와 동일하게 인지할 수 있으며, 조명의 영향이 고르지 못한 상태에서는 마커를 용이하게 검출할 수 있고, 훈련자의 시선과는 다른 위치에서의 훈련자의 행동도 파악할 수 있는 증강 현실 상황 훈련 시스템을 제공함을 그 목적으로 한다.

상기의 목적들을 달성하기 위하여, 본 발명에 의한 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템은, 훈련자의 시선 방향의 현실의 영상을 촬영하는 이동 카메라; 고정된 위치에 설치되고, 훈련자의 훈련 영역의 현실의 영상을 촬영하는 고정 카메라; 상기 이동 카메라 및 상기 고정 카메라에 의해 촬영된 영상을 입력하는 카메라 입력부와, 상기 카메라 입력부에 의해 입력된 고정 카메라 영상 및 이동 카메라 영상에 포함된 모든 마커들을 검출하여 각각 위치좌표와 회전정보를 포함하는 마커 매트릭스를 생성하는 마커 검출부와, 상기 카메라 입력부에 의해 입력된 고정 카메라 영상 및 이동 카메라 영상 중 적어도 어느 하나의 영상으로부터 훈련자의 손 끝점 위치정보와 손 축 방향정보를 추출하는 손 인식부와, 3차원 모델 데이터를 저장하는 모델 데이터 저장부와, 상기 마커 검출부로부터 전달되는 마커 매트릭스를 이용하여 특정 마커의 가시성, 마커와 마커의 거리 및 상기 이동 카메라의 시점과 마커 간의 거리를 생성하고 상기 손 인식부로부터 전달되는 손 끝점 위치정보와 손 축 방향정보를 조합하여 훈련자의 행동 정보를 생성하고, 미리 정의된 시나리오에 따른 장면 정보에 상기 훈련자의 행동 정보를 적용하여 훈련자에게 제공하는 장면 정보와 다음 장면으로의 이전 여부를 결정하는 상황 제어부와, 상기 카메라 입력부에 의해 입력된 이동 카메라 영상을 백그라운드 이미지로 하고 상기 마커 검출부로부터 전달되는 마커 매트릭스를 이용하여 마커 위치에 상기 모델 데이터 저장부에서 대응하는 3차원 모델을 인출하여 정합하는 영상 정합부와, 상기 영상 정합부에 의해 정합된 영상을 출력하는 HMD 출력부를 구비한 훈련제어장치; 및 상기 이동 카메라와 일체로 결합되고, 상기 HMD 출력부에 의해 출력되는 영상을 디스플레이하는 두부장착형 디스플레이;를 포함하여 구성된다.

상기 증강 현실 상황 훈련 시스템에서, 상기 마커 검출부는, 카메라 입력부에 의해 입력된 영상을 이진화하고, 레이블링하고, 마커의 윤곽선을 검출한 후, 미리 정의된 마커들과 패턴을 비교하여 검출된 마커의 패턴을 결정하고, 검출된 마커 이미지의 크기와 모양을 통해 이동 카메라를 원점으로 하였을 때의 마커의 위치좌표와 회전정보를 포함하는 마커 매트릭스를 생성하는 것을 특징으로 한다.

상기 증강 현실 상황 훈련 시스템에서, 상기 이진화는, 카메라 입력부에 의해 입력된 영상을 그레이스케일 영상으로 변환하고, 캐니 에지 검출 알고리즘을 이용하여 경계선을 검출하고, 모든 경계선 화소에 대하여 상하좌우 4방향 확장 연산을 수행하고, 모든 경계선을 대상으로 좌우 영역의 명도를 비교하여 낮은 영역은 검은색, 높은 영역은 흰색을 할당한 뒤 해당 영역에 대하여 씨앗 영역 확장 기법을 적용하여 이진 영상을 생성하는 것을 특징으로 한다.

상기 증강 현실 상황 훈련 시스템에서, 상기 손 인식부는, 카메라 입력부에 의해 입력된 영상을 HSV 영상으로 변환하고, 변환된 HSV 영상에서 H성분과 S성분의 이중 임계값을 이용하여 피부색 영역만을 추출한 이진 영상을 생성하고, 피부색 영역만의 이진 영상에서 연결 요소를 분석하여 가장 큰 영역을 손 영역으로 검출하는 것을 특징으로 한다.

상기 증강 현실 상황 훈련 시스템에서, 상기 손 인식부는, 상기 손 영역에 대한 좌표(x,y)를 판단하여 무게 중심점 (Cx, Cy)를 구하고, 무게 중심점으로부터 y값이 작은 영역들에 대하여 가장 먼 거리에 있는 점을 손 끝점 위치정보로 추출하고, 손 끝점과 무게 중심점으로 생성되는 벡터를 손 축 방향정보로 추출하는 것을 특징으로 한다.

상기 증강 현실 상황 훈련 시스템에서, 상기 손 인식부는, 손 끝점 위치정보와 손 축 방향정보에 대하여, 이전에 구한 소정 개수의 값들의 평균값과 현재 구한 값에 대하여 각각 소정의 가중치를 곱하여 합친 값으로 보정하는 것을 특징으로 한다.

상기 증강 현실 상황 훈련 시스템에서, 상기 손 인식부는, 검출된 손 영역을 스캔하여 손 영역을 포함하는 최소 크기의 사각형인 경계 상자를 생성하고, 프레임 속도에 대응하는 오프셋을 가하여 상기 경계 상자를 확장하여 다음 프레임에서의 손 영역 추적 정보로 사용하는 것을 특징으로 한다.

이상 설명한 바와 같이 본 발명에 따르면, 일상생활에서 훈련하기 어려운 특정 상황을 근거로 하여 시나리오를 구성하고 이러한 시나리오에 체험감을 증폭시키기 위하여 훈련 공간을 현실과 같이 느낄 수 있는 증강 현실 환경을 구성함으로써, 발달장애인들이 간편한 장비로 안전하게 훈련에 임할 수 있고, 다양한 가상 모델들을 사용함으로써 흥미유발이 가능하고, 반복 훈련을 통하여 훈련 결과를 개선할 수 있는 효과를 얻을 수 있다.

더불어, 본 발명에 의하면 추출된 손 끝점 위치정보를 증강 현실에 응용되어 포인팅과 손 오브젝트의 위치 등에 사용하고, 손 축 방향정보를 손 오브젝트의 회전 정보로 활용하여 훈련자의 손의 방향에 따라 정합되는 손 오브젝트가 동기화되어 움직이는 실감나는 표현이 가능해짐으로써 훈련자의 세밀한 행동 정보를 정확히 파악할 수 있게 된다.

또한, 본 발명에 의하면, 조명의 영향이 고르지 못한 상태에서는 마커를 용이하게 검출할 수 있고, 훈련자의 시선에 대응하는 이동 카메라와는 별도로 훈련 환경을 전체적으로 촬영할 수 있는 고정 카메라를 구비함으로써 훈련자의 시선과는 다른 위치에서의 훈련자의 행동도 파악할 수 있다는 효과를 얻을 수 있다.

도 1은 본 발명에 의한 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템의 전체적인 구성을 도시한 것이고,
도 2는 마커 검출부(32)에 의한 마커 검출 과정을 도시한 것이고,
도 3은 경계선 기반 이진화 과정을 도시한 것이고,
도 4는 경계선 기반 이진화의 실험 결과를 도시한 것이고,
도 5는 손 인식부가(33)에 의한 손 끝점 위치정보와 손 축 방향정보를 추출하는 과정을 도시한 것이고,
도 6은 이중 임계값을 결정하기 위한 다양한 샘플 영상들을 예시적으로 도시한 것이고,
도 7은 연결 요소 분석을 통한 영역 분할의 과정을 도시한 것이고,
도 8은 경계 상자를 통한 영상처리 가속화 기법을 설명하기 위한 것이고,
도 9는 음식 서빙을 해보는 상황에 의한 훈련 환경을 개략적으로 도시한 것이고,
도 10은 상황 제어부(35)에 의한 상황 제어 과정을 예시적으로 도시한 것이다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.

도 1에 의하면, 본 발명에 의한 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템(1)은 훈련제어장치(10), 이동 카메라(20), 고정 카메라(30) 및 이동 카메라(20)와 일체로 결합된 두부장착형 디스플레이(이하 HMD라 한다)(40)를 포함하여 구성된다.

이동 카메라(10)는 훈련자의 시선 방향의 현실의 영상을 촬영하여 훈련제어장치(30)로 제공하는데, 이동 카메라(10)가 촬영하는 현실 세계에는 하나 이상의 마커들이 부착되고, 이동 카메라(10)가 촬영하는 영상에는 이 마커들의 이미지와 훈련자의 손 영상이 함께 포함될 수 있다.

훈련자는 자신의 시선 방향과는 다른 위치에서 훈련에 필요한 동작을 수행할 수도 있다. 따라서 이동 카메라(10)만으로는 훈련자의 행동을 모두 파악할 수 없으므로, 고정된 위치에 설치되고 훈련이 이루어지는 공간의 현실의 영상을 촬영하는 고정 카메라(20)가 더 필요하다. 고정 카메라(20)가 촬영하는 영상에도 설치된 마커들의 이미지와 훈련자의 손 영상이 함께 포함될 수 있다.

훈련제어장치(20)는 대응하는 기능을 포함하는 소프트웨어를 장착한 정보처리장치에 의해 구현될 수 있는데, 본 발명의 바람직한 일 실시예에서는 정보처리장치로 개인용 컴퓨터(PC)가 사용된다. 개인용 컴퓨터에 구현된 훈련제어장치(20)는 기능적으로 카메라 입력부(21), 마커 검출부(22), 모델 데이터 저장부(23), 상황 제어부(24), 영상 정합부(25) 및 HMD 출력부(26)를 구비한다.

카메라 입력부(31)는 이동 카메라(10) 및 고정 카메라(20)에 의해 촬영된 영상을 훈련제어장치(30)로 입력하는데, USB(Universal Serial Bus) 포트와 이를 제어하는 드라이버로 구성된다.

마커 검출부(32)는 카메라 입력부(31)에 의해 입력된 고정 카메라 영상 및 이동 카메라 영상에 포함된 모든 마커들을 검출하여 각각 위치좌표와 회전정보를 포함하는 마커 매트릭스를 생성한다.

마커 검출부(32)가 마커를 검출하는 과정을 도 2를 참조하여 설명하면 다음과 같다. 도 2에서 좌측은 마커 검출 과정을 단계별로 도식화한 것이고, 우측은 각 단계에 대응하는 영상을 표현한 것이다.

먼저 기본 영상은 카메라 입력부에 의해 입력된 영상으로 RGB의 칼라 영상이다.

이진화 단계에서는 기본 칼라 영상을 흑백 영상으로 전환한다.

본 발명에서는 마커가 포함된 영상의 이진화를 위해 밝기의 변화에 민감하지 않은 경계선 정보를 영상 이진화에 이용한다. 도 3은 본 발명에서 제안하는 경계선 기반 이진화의 전체 과정을 보여준다.

먼저, 마커 영역의 경계선 검출과 영역별 명도 비교를 위해, 원 영상을 그레이스케일 영상으로 변환한 뒤, 잡음에 대한 민감도가 적은 Canny Edge 검출 알고리즘을 사용하여 색상의 대비가 뚜렷한 마커 영역만을 경계선으로 검출한다.

5*5 크기의 가우시안 마스크를 적용하여 블러 영상을 만들고, 3*3크기의 소벨 마스크를 적용하여 마커 영역의 경계선을 검출하고, 마커 영역의 경계선을 폐구간으로 만들기 위해 모든 경계선 화소에 대해서 상·하·좌·우 4방향 확장 연산을 수행하여 경계선 검출을 완료한다.

마지막으로 마커 영역을 이진화하기 위해, 모든 경계선을 대상으로 좌·우 영역의 명도를 비교하여 낮은 영역은 검은색(명도 0), 높은 영역은 흰색(명도 255)을 할당한 뒤 해당 영역에 대해 씨앗 영역 확장 기법( SRG : Seeded Region Growing )을 사용하여 경계선을 만날 때까지 모든 영역을 할당된 색으로 채운다. 이 때 유사한 명도 영역간의 비교를 막기 위해, 상·하 방향으로 최외곽에 존재하는 경계선에 대해서는 명도비교 및 SRG를 수행하지 않는다.

본 발명에서의 경계선 기반 이진화 방법을 실험하기 위해, 단계적 조명의 영향을 받은 경우(a, b), 그림자의 영향을 받은 경우(c, d) 등 조명의 영향이 고르지 못한 영상들을 선별 및 적용하여 도 4와 같은 결과를 얻을 수 있었다. 따라서, 본 발명의 경계선 기반 이진화 방법이 조명요소에 강인한 이진화임을 확인할 수 있다.

다시 도 2에 의하면, 레이블링 단계에서는 주변의 색상이 동일한 경우 확장해 나가면서 구역을 정하고, 독립적으로 정해진 구역에 대해서는 별도의 구역별 식별자(ID)를 부여하고, 마커일 가능성이 높은 구역을 추려낸다.

윤곽선 검출 단계에서는 마커일 가능성이 높은 구역에 대하여 영상의 x 축 또는 y 축으로 편미분하여 그 변화량을 기준으로 하여 윤곽선을 검출하여 사각형의 정점을 알아낸다.

패턴 비교 단계에서는 윤곽선 검출에 의해 검출된 마커를 미리 정의된 마커들(패턴 파일)과 패턴을 비교하여 검출된 마커의 패턴을 결정한다. 패턴 파일에는 마커의 내부의 모양이 그레이 영상값으로 표현되어 있다. 4방향으로 회전된 패턴 정보와 영상에서 검출한 사각형 비교하여 일치도를 산출하고, 일치도 값이 가장 높은 것을 해당 패턴으로 확정하게 된다. 또한, 이와 같이 결정된 마커의 패턴에 의해 마커마다 부여된 마커 식별자를 결정할 수 있다.

좌표 정규화 단계에서는 검출된 마커 이미지의 크기와 모양을 통해 이동 카메라(10)를 원점으로 하였을 때의 마커의 위치좌표와 회전정보를 포함하는 마커 매트릭스를 생성한다.

마커 매트릭스는 4x4 매트릭스로서, 다음과 같은 의미로 구성되어 있다.

수학식 1에서의 좌측 상단 3x3 매트릭스가 3차원에서의 회전 정보를 나타내며, 각각 한 열씩 3차원에서의 축을 나타내는 방향 벡터로 사용된다.

다음으로 수학식 2의 마지막 행은 회전 변환이 적용된 후, 원점으로부터의 이동좌표 tx, ty, tz 를 의미한다. 이 매트릭스는 이동 카메라(10)를 원점으로 하기에 카메라와 마커 간의 거리는 수학식 3과 같이 구할 수 있다.

또한 마커 비교에서 자주 사용하는 두 마커 간의 거리는 수학식 4와 같다.

다시 도 1을 살펴보면, 손 인식부(33)는 카메라 입력부(31)에 의해 입력된 고정 카메라 영상 및 이동 카메라 영상 중 적어도 어느 하나의 영상으로부터 훈련자의 손 끝점 위치정보와 손 축 방향정보를 추출한다.

손 인식부가(33)가 손 끝점 위치정보와 손 축 방향정보를 추출하는 과정을 도 5를 참조하여 설명하면 다음과 같다.

카메라에서 얻어지는 RGB 영상 정보는 카메라의 기종에 따라서 조금씩 차이를 보여주고 있기 때문에 RGB 영상 정보를 정규화해주는 작업이 필요하다. 그리고 RGB 컬러 영역은 조명의 영향에 따라 RGB 영상 정보값이 크게 변하기 때문에 조명의 영향을 덜 받는 HSV 컬러 영역으로의 색상 변환이 필요하다. 본 발명에서는 HSV 컬러 영역에서도 비교적 조명의 영향을 적게 받는 Hue(이하 H)와 Saturation(이하 S) 성분의 이중 임계값을 이용하여 카메라 이미지에서 피부색 영역을 추출한다. 먼저, 카메라에서 들어오는 비정규화된 RGB 영상 정보를 수학식 5를 적용하여 정규화하고, 정규화된 RGB 영상 정보를 이용하여 수학식 6을 적용하여 HSV 컬러 영역으로 변환한다.

이중 임계값은 다음과 같이 결정할 수 있다.

도 6과 같이 다양한 샘플 영상을 만들고, 배경을 임의적으로 제거하여 피부색에 대한 영상 정보만을 남긴다. 피부 영역만 포함된 샘플 영상들의 각 픽셀에 대해서 수학식 6을 적용하여 HSV 컬러 영역으로 변환하고, H와 S성분 영역의 피부색에 해당되는 픽셀 수를 누적시켜 H와 S에 대한 히스토그램을 생성하고, 이를 분석하여 임계값을 결정하였다. 도 6과 같은 100여개의 샘플 영상을 활용하여 H는 중에서 200~250(전체 0~360 중에서), S는 0.24~0.59(전체 0~1 중에서)의 값에서 피부색이 분포하는 것을 알 수 있다.

H와 S의 이중 임계값을 이용한 기법은 영상에서 피부색 영역을 추출할 수 있지만, 손 영역뿐만 아니라 주변의 잡음까지 함께 추출되어 정확한 손 영역 분할을 할 수는 없다. 따라서 본 발명에서는 RGB 정규화와 HSV 영상 변환, H와 S성분의 이중 임계값 적용 후 연결 요소를 분석하여 가장 큰 영역을 손 영역이라고 가정한다. 먼저, HSV 영상 변환과 H, S성분의 이중 임계값 적용 후 생성된 이진 영상을 스캔하여 주변 픽셀과의 관계를 고려하여 번호를 할당하고, 할당되는 번호의 등가 테이블을 작성한다. 그리고 작성된 등가 테이블을 참조하여 각 픽셀의 고유 번호를 할당한다. 마지막으로는 각 연결 요소의 픽셀 수를 파악하여 큰 영역부터 작은 영역까지 오름차순으로 번호를 재 할당함으로써 연결 요소 성분에서 가장 큰 영역을 찾아 낼 수 있다. 도 7은 연결 요소 분석을 통한 영역 분할의 과정을 나타낸다.

(a) 근접 픽셀의 레이블이 충돌이 될　때, 서로 다른 레이블 중 작은 숫자의 레이블을 할당

(b) (a)를 모든 픽셀에 수행한 뒤, 등가 테이블의 정리를 통해, 레이블 1과 4만 남게되고, 이를 픽셀에 적용

(c) 분리된 레이블의 픽셀 수를 기준으로 큰 영역에서 작은 영역으로 오름차순 정렬하여, 레이블을 다시 할당

(d) 연결 요소 분석을 통해 생성된 결과

입력 영상에서 손 영역이 차지하는 비율은 통상적으로 불과 20~30%에 지나지 않는다. 따라서 본 발명에서는 불필요한 영상처리 과정을 줄이기 위하여 경계 상자를 생성하여 영상처리를 가속화한다. 경계 상자를 통한 영상처리 가속화 기법은 도 8에 의해 설명한다. 먼저, 분할된 손 영역을 스캔하여 손 영역의 경계 정보(경계 좌표값)를 얻고, 경계 상자(경계 정보로 생성되는 이미지)를 생성한다. 경계 정보에 대해서는 프레임 속도에 적절한 오프셋을 주어 확장한 뒤, 다음 프레임의 영역 추적 정보로 활용한다. 다음 프레임에서의 손 끝점 위치정보 및 손 축 방향정보는 여기서 생성된 경계 상자를 활용한다.

본 발명에서는 경계 상자 내에서 손 영역에 대한 좌표(x,y)를 판단하여, 무게 중심점 (Cx, Cy)를 구하고, 무게 중심점으로부터 y값이 작은 영역들에 대하여 가장 먼 거리에 있는 점을 손 끝점 위치정보로 추출하고, 손 끝점과 무게 중심점으로 생성되는 벡터를 손 축 방향정보로 추출한다. 이렇게 추출된 손 끝점 위치정보는 증강 현실에 응용되어 포인팅과 손 오브젝트의 위치 등에 사용될 수 있고, 손 축 방향정보는 손 오브젝트의 회전 정보로 활용되어 훈련자의 손의 방향에 따라 정합되는 손 오브젝트가 동기화되어 움직이므로 실감나는 표현이 가능하다.

본 발명에서 제안하는 컬러를 이용한 영역 분할은 배경 영상의 복잡도, 조명, 환경 등에 매우 민감한 반응을 보이고 있다. 제안하는 기법이 비교적 정확한 영상 분할을 하여도 모든 영상 프레임에서 예외적인 부분이 발생할 수 있기 때문에 이러한 문제를 해결해야한다. 본 발명에서는 카메라의 움직임의 최적화를 위하여 각 프레임의 손 끝점 위치정보와 손 축 방향정보에 대한 히스토리 버퍼를 사용하여 떨림 현상을 제거하는 방법을 제안한다. 이 기법에 대하여 요약하자면, 이전의 값들(약 20여개 정도의 손 끝값 위치정보와 손 축 방향정보)을 저장하여 평균값을 구하고, 이 평균값에서 새로운 손끝 및 방향의 값이 크게 벗어나지 않도록(영상 오류로 인한 잘못된 인식결과일 확률이 높기 때문에 이러한 값들이 그대로 사용하지 않는다) 이전 값들로부터 구한 평균값과 새로운 인식 값에 가중치를 곱하여 보정된 위치의 값으로 결과를 도출해낸다.

다시 도 1에 의하면, 모델 데이터 저장부(34)는 3차원 모델 데이터를 저장하는데, 하드디스크, 플래시 메모리 등과 같은 비휘발성 저장수단이 사용된다.

상황 제어부(35)는 마커 검출부(32)로부터 전달되는 마커 매트릭스를 이용하여 특정 마커의 가시성, 마커와 마커의 거리 및 이동 카메라(10)의 시점과 마커 간의 거리를 생성하고, 손 인식부(33)로부터 전달되는 손 끝점 위치정보와 손 축 방향정보를 조합하여 훈련자의 행동 정보를 생성한다. 또한, 상황 제어부(35)는 미리 정의된 시나리오에 따른 장면 정보에 훈련자의 행동 정보를 적용하여 훈련자에게 제공하는 장면 정보와 다음 장면으로의 이전 여부를 결정한다.

영상 정합부(36)는 카메라 입력부(31)에 의해 입력된 이동 카메라 영상을 백그라운드 이미지로 하고, 마커 검출부(32)로부터 전달되는 마커 매트릭스를 이용하여 마커 위치에 모델 데이터 저장부(34)에서 대응하는 3D 모델을 인출하여 정합한다. 이때, 백그라운드 이미지는 직교 투영을 이용한 텍스쳐 매핑을 수행하고, 3D 모델은 원근 투영을 하여 마커 매트릭스를 기준으로 렌더링한다.

HMD 출력부(37)는 영상 정합부(36)에 의해 정합된 영상을 HMD(40)로 출력하는데, D-SUB 출력 단자, USB 포트와 이를 제어하는 드라이버로 구성된다.

HMD(40)는 이동 카메라(10)와 일체로 결합되고, HMD 출력부(36)에 의해 출력되는 영상을 디스플레이한다.

발달장애인들의 인지 능력을 향상시키고, 처한 상황에 맞는 적절한 대응 행동을 하는데 도움을 주기위한 훈련에는 교통안전훈련, 위험한 도구 사용법 학습, 상점이나 음식점 이용 훈련 등이 있다. 이러한 훈련 중 음식점의 종업원이 되어 음식을 서빙하기, 접시닦기 및 POS를 이용한 주문하기 등을 해보는 상황을 기반으로 한 기본적인 훈련 시나리오는 표 1과 같다. 훈련은 현재 단계를 성공하여야 다음 단계로 진행되며, 현재 단계를 실패하였을 시에는 반복적인 훈련을 취하게 된다.

상황훈련 시나리오에서 장애인의 잘못된 행동에 대한 처리가 필요하다. 다만, 모든 상황을 예측할 수 있는 것이 아니므로, 예측가능하며 시나리오 흐름에 영향을 미치는 돌발 상황을 정의하고, 이에 대한 피드백 처리를 한다. 시나리오 진행 중 돌발 상황 조건을 만족하였을 경우 돌발 상황으로 진입하여 사용자에게 잘못된 행동이라는 음성 멘트를 제공한다.

증강 현실 상황 훈련 시스템(1)은 이동 카메라(10)와 고정 카메라(20)를 기반으로 하는 증강 현실 환경에서 훈련을 수행하도록 지원한다. 증강 현실 상황 훈련 시스템(1)을 이용한 훈련은 훈련자가 HMD(40)를 쓰고 실제 공간에서 훈련을 수행하면, HMD(40)에 부착된 이동 카메라(10)가 훈련자의 정면을 촬영하여 획득된 실세계 영상과 가상의 3D 모델들을 정합한 혼합된 현실을 훈련자의 HMD(40)와 훈련제어장치(30)의 모니터(도시되지 않음) 상에 보여주어 상호작용을 하도록 이루어져 있다.

이러한 훈련 환경을 개략적으로 보이면 도 9와 같다.

주방 테이블(50)에는 가상의 음식 모델(도시되지 아니함)들이 보여 지고, 손님 테이블(70)에는 가상의 손님 모델(80)이 보여 진다. 훈련자(60)는 주방 테이블(50)과 손님 테이블(70) 사이를 이동하면서 시나리오에 정의된 훈련 과정에 따라 가상의 음식들을 서빙하는 것을 훈련한다.

본 발명에서는 사람의 시야를 카메라 영상으로 대체하기 위하여 HMD(40)와 이동 카메라(10)를 붙여서 사용한다. 또한, 훈련자(60)가 자신의 시선 방향과는 다른 위치에서 훈련과 관련된 동작을 수행하는 것을 감지하기 위하여 각 테이블마다 테이블 위의 상황을 촬영하기 위한 고정 카메라(20)를 설치한다. 따라서 훈련자 행동도 이동 카메라(10)와 고정 카메라(20)에 들어오는 영상 기반의 마커 매트릭스와 손 인식부에 의한 훈련자의 손 끝점 위치정보와 손 축 방향정보로 파악한다. 본 발명에서 사용하는 마커의 정보는 다음과 같다.

- 특정 마커의 가시성 : 현재 프레임에서 마커를 찾을 수 있는지 여부

- 마커 간의 거리 계산 : 현재 프레임에서 찾을 수 있는 마커 두 개 사이의 거리

- 시점과 마커 간의 거리 : 마커 매트릭스의 z 축 방향 이동 좌표

위에서 나타내어진 정보를 조합하여 훈련자(60)가 현재 시나리오에서 어떠한 행동을 하는지 유추할 수 있다. 예를 들어 훈련자(60)가 특정한 위치로 이동해야 하는 행동을 훈련한다고 가정한다면, 주변에 배치한 마커의 정보와 카메라 영상에서의 마커의 좌표를 통하여 훈련자가 현재 어디쯤에 위치하였는지를 알 수 있다. 또 물건을 이용하는 훈련의 경우, 마커 간의 거리 계산은 물건의 이동이나 움직임을 유추할 수 있는 정보로 사용되어 지며, 더 나아가 마커의 매트릭스 비교를 통하여 단순히 물체간 거리 추정이 아니라 물체들의 기울기나 방향 등을 구하는데 사용될 수 있다.

훈련이 준비된 공간에서 훈련자(60)는 HMD(40)를 착용하고 대기한다. 훈련이 시작되면 시나리오별로 정의된 데이터에 따라 음성멘트와, 동영상, 애니메이션 등을 통하여 훈련자(60)가 현재 단계에서 취해야하는 행동을 알려주게 된다. 도 10은 상황 제어부(35)에 의한 상황 제어 과정을 예를 들어 도시한 것이다. 상황 제어 과정은 시나리오 체크 단계(S10), 조건 검사 단계(S20), 조건 및 예외검사 단계(S30) 및 예외 처리 단계(S40)를 포함한다. 훈련자(60)는 장면별로 정의되어 있는 훈련 성공 조건을 충족해야 하며, 성공 조건을 충족시키면 다음 장면을 수행하도록 진행된다. 만약 성공 조건을 정해진 시간 내에 충족시키지 못했을 경우 반복하여 훈련하도록 한다.

본 발명에서는 시나리오를 표현하는 공통된 형식을 정하고 이를 수용하는 프로그램을 제작함으로써, 새로운 시나리오를 추가할 때 데이터 파일만 추가함으로서 쉽게 시나리오를 제작할 수 있다. 즉 프로그램과는 독립적으로 시나리오 컨텐츠 제작이 가능하며 프로그래밍을 모르는 시나리오 제작자들이 시나리오를 추가하는데 용이해진다.

본 발명에서 시나리오는 장면과 장면의 흐름을 기술함으로써 정의하는데, 각각의 장면에는 다음과 같은 특징들을 찾을 수 있다.

- 교육 컨텐츠이므로 훈련자에게 장면 설명이 필요하며 음성 또는 문자로 표현된다.

- 훈련 컨텐츠이므로 훈련자에게 특정 행동을 요구한다.

- 훈련 효과를 높이기 위하여 많은 특수 효과들을 사용하며, 그 중에는 증강 현실 구현, 3D 모델 애니메이션 사용, 동영상, 효과음 사용 등이 있다.

이러한 시나리오 특징들을 표 2와 같이 데이터 구조로 나타낸다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

1 : 증강 현실 상황 훈련 시스템
10 : 이동 카메라 20 : 고정 카메라
30 : 훈련제어장치 31 : 카메라 입력부
32 : 마커 검출부 33 : 손 인식부
34 : 모델 데이터 저장부 35 : 상황 제어부
36 : 영상 정합부 37 : HMD 출력부
40 : HMD

Claims (7)

1. 훈련자의 시선 방향의 현실의 영상을 촬영하는 이동 카메라;
   고정된 위치에 설치되고, 훈련자의 훈련 영역의 현실의 영상을 촬영하는 고정 카메라;
   상기 이동 카메라 및 상기 고정 카메라에 의해 촬영된 영상을 입력하는 카메라 입력부와, 상기 카메라 입력부에 의해 입력된 고정 카메라 영상 및 이동 카메라 영상에 포함된 모든 마커들을 검출하여 각각 위치좌표와 회전정보를 포함하는 마커 매트릭스를 생성하는 마커 검출부와, 상기 카메라 입력부에 의해 입력된 고정 카메라 영상 및 이동 카메라 영상 중 적어도 어느 하나의 영상으로부터 훈련자의 손 끝점 위치정보와 손 축 방향정보를 추출하는 손 인식부와, 3차원 모델 데이터를 저장하는 모델 데이터 저장부와, 상기 마커 검출부로부터 전달되는 마커 매트릭스를 이용하여 특정 마커의 가시성, 마커와 마커의 거리 및 상기 이동 카메라의 시점과 마커 간의 거리를 생성하고 상기 손 인식부로부터 전달되는 손 끝점 위치정보와 손 축 방향정보를 조합하여 훈련자의 행동 정보를 생성하고, 미리 정의된 시나리오에 따른 장면 정보에 상기 훈련자의 행동 정보를 적용하여 훈련자에게 제공하는 장면 정보와 다음 장면으로의 이전 여부를 결정하는 상황 제어부와, 상기 카메라 입력부에 의해 입력된 이동 카메라 영상을 백그라운드 이미지로 하고 상기 마커 검출부로부터 전달되는 마커 매트릭스를 이용하여 마커 위치에 상기 모델 데이터 저장부에서 대응하는 3차원 모델을 인출하여 정합하는 영상 정합부와, 상기 영상 정합부에 의해 정합된 영상을 출력하는 HMD 출력부를 구비한 훈련제어장치; 및
   상기 이동 카메라와 일체로 결합되고, 상기 HMD 출력부에 의해 출력되는 영상을 디스플레이하는 두부장착형 디스플레이;를 포함함을 특징으로 하는 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템.
2. 제1항에 있어서,
   상기 마커 검출부는
   카메라 입력부에 의해 입력된 영상을 이진화하고, 레이블링하고, 마커의 윤곽선을 검출한 후, 미리 정의된 마커들과 패턴을 비교하여 검출된 마커의 패턴을 결정하고, 검출된 마커 이미지의 크기와 모양을 통해 이동 카메라를 원점으로 하였을 때의 마커의 위치좌표와 회전정보를 포함하는 마커 매트릭스를 생성하는 것을 특징으로 하는 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템.
3. 제2항에 있어서,
   상기 이진화는
   카메라 입력부에 의해 입력된 영상을 그레이스케일 영상으로 변환하고, 캐니 에지 검출 알고리즘을 이용하여 경계선을 검출하고, 모든 경계선 화소에 대하여 상하좌우 4방향 확장 연산을 수행하고, 모든 경계선을 대상으로 좌우 영역의 명도를 비교하여 낮은 영역은 검은색, 높은 영역은 흰색을 할당한 뒤 해당 영역에 대하여 씨앗 영역 확장 기법을 적용하여 이진 영상을 생성하는 것을 특징으로 하는 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템.
4. 제1항에 있어서, 상기 손 인식부는
   카메라 입력부에 의해 입력된 영상을 HSV 영상으로 변환하고, 변환된 HSV 영상에서 H성분과 S성분의 이중 임계값을 이용하여 피부색 영역만을 추출한 이진 영상을 생성하고, 피부색 영역만의 이진 영상에서 연결 요소를 분석하여 가장 큰 영역을 손 영역으로 검출하는 것을 특징으로 하는 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템.
5. 제4항에 있어서, 상기 손 인식부는
   상기 손 영역에 대한 좌표(x,y)를 판단하여 무게 중심점 (Cx, Cy)를 구하고, 무게 중심점으로부터 y값이 작은 영역들에 대하여 가장 먼 거리에 있는 점을 손 끝점 위치정보로 추출하고, 손 끝점과 무게 중심점으로 생성되는 벡터를 손 축 방향정보로 추출하는 것을 특징으로 하는 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템.
6. 제5항에 있어서, 상기 손 인식부는
   손 끝점 위치정보와 손 축 방향정보에 대하여, 이전에 구한 소정 개수의 값들의 평균값과 현재 구한 값에 대하여 각각 소정의 가중치를 곱하여 합친 값으로 보정하는 것을 특징으로 하는 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템.
7. 제4항에 있어서, 상기 손 인식부는
   검출된 손 영역을 스캔하여 손 영역을 포함하는 사각형인 경계 상자를 생성하고, 프레임 속도에 대응하는 오프셋을 가하여 상기 경계 상자를 확장하여 다음 프레임에서의 손 영역 추적 정보로 사용하는 것을 특징으로 하는 마커와 훈련자 손 인식을 통한 증강 현실 상황 훈련 시스템.

Images