KR20100118943A - 증강 현실 외국어 체험 학습 시스템 - Google Patents

Abstract

마커를 부착한 사용자의 영상을 촬영하여 영상 정보를 출력하고, 촬영한 영상정보에서 스크린 배경을 제외시킨 사용자의 영상을 추출하여 출력한다. 그리고 나서, 상기 영상 정보에서 마커를 인지하고, 상기 마커의 위치정보 및 소품 정보를 추출한다. 이후, 사용자로부터 배경을 선택받고, 사용자가 선택한 배경에 상기 마커의 위치정보를 참조하여 상기 추출된 사용자의 영상과 상기 소품정보를 결합하여 표시한다. 이를 통해 공부가 아닌 놀이를 통해 영어 학습을 유도한다. 증강 현실에서는 작은 공간에서 매우 다양한 장소와 그 장소에 맞는 직업의 유니폼을 가상현실과 증강현실을 통해 제공한다.

Description

증강 현실 외국어 체험 학습 시스템{Augmented reality studio foreign language study system}

본 발명은 외국어 체험 학습 시스템에 관한 것으로, 특히, 외국어 등의 학습을 직접 체험하는 증강 현실 외국어 체험 학습 시스템에 관한 것이다.

일반적으로 학생들은 영어 공부를 잘하기 위해 상당한 노력을 들이고 있다. 방학때나 평소에 영어 공부를 위해 외국에 가는 경우도 다수이다. 외국에 가는 것은 많은 시간과 비용이 필요하므로 영어마을 등의 운영으로 이를 대신하기도 한다.

영어마을은 영어체험을 위해 많은 인테리어 비용과 유니폼을 착용한 외국인을 고용하여 은행이나 공항 그리고 경찰서같은 다양한 상황을 연출하지만 일반적인 학교나 교육기관들은 그러하지 못하다.

본 발명이 이루고자 하는 기술적 과제는 종래의 문제점을 해결하고자 하는 것으로 신기술을 이용하여 인터랙티브한 영어체험학습 교구를 제공하고 이를 통해 공부가 아닌 놀이를 통해 영어 학습을 유도하는 것이다. 또한, 증강현실 스튜디오(Augmented reality studio)를 이용하여 작은 공간에서 매우 다양한 장소와 그 장소에 맞는 직업의 유니폼, 모자 등의 소품을 사용자에게 제공하는 것이다.

이러한 과제를 해결하기 위한 본 발명의 특징에 따른 증강현실 외국어 체험 학습 시스템은,

배경이 되는 스크린;

사용자가 자신에게 부착하기 위한 적어도 하나의 마커;

상기 마커를 부착한 사용자의 영상을 촬영하여 출력하는 촬영부;

상기 촬영부가 촬영한 영상정보에서 배경을 제외시킨 사용자의 영상을 추출하여 출력하는 크로마키 처리부;

상기 마커에 대응되는 소품정보를 저장하는 데이터베이스부;

상기 촬영부가 촬영한 상기 영상 정보에서 마커를 인지하고 마커에 포함된 위치정보와 상기 마커에 대응되는 소품 정보를 읽어오기 위한 마커 처리부;

사용자의 선택을 입력받는 입력부;

사용자의 선택에 대응되는 배경에 상기 위치정보를 참조하여 상기 크로마키 처리부에서 추출한 사용자의 영상과 상기 소품정보를 결합하여 표시하도록 제어하는 제어부;

상기 제어부에서 출력되는 영상을 표시하는 표시부를 포함한다.

상기 촬영부는 음성 녹음 기능을 구비하며, 음성을 입력받는 마이크를 더 포함하고,

상기 촬영부가 녹음하는 음성을 처리하는 음성 처리부;

상기 음성 처리부에서 처리된 음성을 출력하며, 상기 표시부에 부착된 스피커를 더 포함한다.

이러한 과제를 해결하기 위한 본 발명의 특징에 따른 증강현실 외국어 체험 학습 방법은,

배경이 되는 스크린 앞에 적어도 하나의 마커를 부착한 사용자를 촬영하는 증강현실 외국어 체험 학습 방법으로서,

상기 마커를 부착한 사용자의 영상을 촬영하여 영상 정보를 출력하는 단계;

촬영한 영상정보에서 스크린 배경을 제외시킨 사용자의 영상을 추출하여 출력하는 단계;

상기 영상 정보에서 마커를 인지하고, 상기 마커의 위치정보 및 소품 정보를 추출하는 단계;

사용자로부터 배경을 선택받는 단계;

사용자가 선택한 배경에 상기 마커의 위치정보를 참조하여 상기 추출된 사용자의 영상과 상기 소품정보를 결합하여 표시하는 단계를 포함한다.

상기 사용자의 음성을 녹음하는 단계;

상기 녹음된 음성을 처리하여 출력하는 단계를 더 포함한다.

상기 표시하는 단계와 상기 음성을 처리하여 출력하는 단계는 동시에 수행되며, 이러한 단계에서 출력되는 정보를 별도의 저장부에 녹화 및 녹음하는 단계를 더 포함할 수 있다.

본 발명의 실시예에서는, 신기술을 이용하여 인터랙티브한 영어체험학습 교구를 제공하고 이를 통해 공부가 아닌 놀이를 통해 영어 등의 외국어 학습을 유도할 수 있다. 이러한 본 발명의 실시예에는 저렴한 비용으로 구현이 가능하고, 아이들의 흥미를 유발하므로 학습 효과를 높일 수 있다.

도 1은 본 발명의 실시예에 따른 증강현실 외국어 체험 학습 시스템의 구성도이다.
도 2는 마커의 패턴을 나타낸 도면이다.
도 3 내지 도 4는 머리 및 허리에 착용하는 마커의 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 증강현실 외국어 체험 학습 방법의 흐름도이다.
도 6내지 도 8은 스크린 앞에 있는 사용자와, 배경 및 소품이 배치되는 화면의 예를 각각 보인 도면이다.
도 9 내지 도 12는 옵션 메뉴 및 여러가지 설정 기능을 선택하는 화면의 예를 보인 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 실시예에 따른 증강현실 외국어 체험 학습 시스템의 구성도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 증강현실 외국어 체험 학습 시스템은, 스크린(110), 하나의 마커(120), 촬영부(130), 크로마키 처리부(140), 데이터베이스부(190), 입력부(195), 마커 처리부(150), 제어부(160), 표시부(180), 음성처리부(170)를 포함한다.

스크린(110)은 배경이 되며, 필요에 따라 생략할 수도 있고, 블루 또는 그린으로 하는 것이 제거하기가 용이하다.

마커(120)는 적어도 하나의 마커를 사용하며, 마커의 아이디 및 위치에 따라 소품의 종류 및 형태를 결정한다. 예를 들면 마커의 아이디에 따라 옷, 모자, 신발 등의 형태가 결정되고, 복수개의 위치를 나타내는 마커중 검출된 마커의 위치에 따라 정면인지, 후면인지, 측면인지, 아니면 얼마만큼의 각도로 비스듬히 서있거나 앉아 있는지 등을 판단할 수 있다. 마커는 각 소품에 대해 적어도 하나를 사용해야 하며, 각 소품에 대한 마커의 개수가 증가할수록 정확하게 사용자의 현재 위치 및 상태를 판단할 수 있다. 예를 들어 마커의 예를 도 2에 도시하였다.

도 2는 마커의 예를 나타내었으며, 검은 테두리 영역을 이용하여 트랙킹 연산을 수행하고, 테두리 내부의 이미지를 이용하여 마커를 종류를 식별한다.

그리고, 도 3은 머리에 착용하는 마커의 예를 나타내었고, 도 4는 허리에 착용하는 마커의 예를 나타내었다.

도 3 또는 도 4를 참조하면, 이러한 마커는 마커의 아이디를 포함하며, 복수 개의 마커를 일정한 각도로 배열하여 머리 좌표 정보를 여러 방향에서 인지할 수 있도록 해준다. 이에 대해 설명하면 다음과 같다.

촬영부(130)를 통해 인지된 이 마커는 마커처리부(150)에 머리의 우측면 좌표를 전달한다.

촬영부(130)를 통해 인지된 이 마커는 마커처리부(150)에 머리의 우측면 45도 대각선 좌표를 전달한다.

촬영부(130)를 통해 인지된 이 마커는 마커처리부(150)에 머리의 정면 좌표를 전달한다.

촬영부(130)를 통해 인지된 이 마커는 마커처리부(150)에 머리의 좌측면 45도 대각선 좌표를 전달한다.

촬영부(130)를 통해 인지된 이 마커는 마커처리부(150)에 머리의 좌측면 좌표를 전달한다.

따라서, 이중에서 어떠한 마커가 검출되었는지에 따라 머리의 방향이 정면, 측면 혹은 어느정도 비스듬히 위치해 있는지를 판단할 수 있다.

허리에 마커 착용하는 마커의 예는 다음과 같다.

도 4를 참조하면, 복수 개의 마커를 일정한 각도로 배열하여 몸통 좌표 정보를 여러 방향에서 인지 할 수 있도록 해준다.

촬영부(130)를 통해 인지된 이 마커는 마커처리부(150)에 허리의 우측면 45도 대각선 좌표를 전달한다.

촬영부(130)를 통해 인지된 이 마커는 마커처리부(150)에 허리의 정면 좌표를 전달한다.

촬영부(130)를 통해 인지된 이 마커는 마커처리부(150)에 허리의 좌측면 45도 대각선 좌표를 전달한다.

이러한 허리에 관한 마커도 필요에 따라 개수를 늘리거나 줄일 수도 있고, 경우에 따라서는 하나의 마커로 사용자의 상태를 판단하도록 할 수도 있다.

촬영부(130)는 마커(120)를 부착한 사용자의 영상을 촬영하여 출력하며, 필요시에 마이크(131)를 구비하여 음성을 입력받아 음성처리부(170)로 전달한다.

크로마키 처리부(140)는 상기 촬영부(130)가 촬영한 영상정보에서 배경을 제외시킨 사용자의 영상을 추출하여 출력하는데, 색상 인지부(141)와 이미지 추출부(142)를 포함한다. 색상 인지부(141)는 배경의 색상을 이지하고, 이미지 추출부(142)에서는 배경을 제외시키고 사용자의 이미지만을 추출한다.

데이터베이스부(19)는 상기 마커(120)의 아이디에 대응되는 모자, 옷 등의 소품정보를 저장하며, 필요에 따라 방향정보를 저장한다. 여기서, 마커의 방향정보는 정면, 후면, 측면 등의 상태 정보이며, 마크의 내부 도형 모양 아이디에 대응하도록 한다. 이러한 아이디의 종류는 다양한 방법으로 구현 가능하고, 경우에 따라 다양한 변형이 가능하다.

마커 처리부(150)는 상기 촬영부가 촬영한 상기 영상 정보에서 마커를 인지하고 마커의 테두리 영역을 트래킹하여 마커의 위치를 판단하고, 마커의 모양에 따라 소품 및 방향 정보를 읽어온다. 마커 처리부(150)는 마커 인지부(151), 마커 정보 검출부(152), 아이디 신호 분석부(153), 아이디 신호 변경부(154)를 포함한다. 마커 인지부(151)는 마커의 모양 아이디와 테두리를 인지하고, 마커 정보 검출부(152)는 테두리를 트랙킹하여 위치를 검출하고, 마커의 모양 아이디를 검출해낸다.

이때, 아이디 신호 분석부(153)는 모양이 올바른 것인지 분석하고, 오류가 있는 경우, 아이디 신호 변경부(154)를 통해 보정을 하도록 한다. 이러한 아이디 신호 분석부(153), 아이디 신호 변경부(154)는 생략도 가능하다.

입력부(195)는 사용자의 선택을 입력받으며, 합성된 이미지가 표현될 배경을 선택받고, 필요에 따라서는 색상, 소품의 크기, 녹화 기능 등을 선택받으며, 이러한 선택사항은 다양하게 추가나 삭제가 가능하다.

제어부(160)는 사용자의 선택에 대응되는 배경에 상기 위치정보를 참조하여 상기 크로마키 처리부에서 추출한 사용자의 영상과 상기 소품정보를 결합하여 표시하도록 제어한다. 제어부(160)는 배경이미지 투영부(161), 객체 배치부(162), 합성부(163)를 포함한다. 배경이미지 투영부(161)는 사용자가 선택한 배경 이미지를 투영하는데 필요에 따라서, 마커에 대응하는 배경이미지가 자동으로 선택되도록 할 수도 있다. 객체 배치부(162)는 사용자 이미지 및 마커의 아이디에 대응되는 소품을 방향 및 위치에 따라 배치한다.

그리고, 합성부(163)가 사용자 이미지와 소품을 방향 및 위치에 맞도록 합성하고, 음성 처리부(170)의 음성도 합성하여 표시부(180)로 출력한다.

표시부(180)는 제어부(160)에서 출력되는 영상을 표시하며, 스피커(181)를 구비하여 음성도 출력한다.

그러면, 이러한 본 발명의 실시예에 따른 증강현실 외국어 체험 학습 시스템의 동작에 관하여 상세히 설명하기로 한다.

도 5는 본 발명의 실시예에 따른 증강현실 외국어 체험 학습 시스템의 동작 흐름도이다.

도 5를 참조하면, 본 발명의 실시예에서는 영어 역할 상황극을 할 수 있다. (다양한 상황을 증강 현실 기술을 통해 연출하여 2사람 이상이 참여하는 영어 역할 상황극을 할 수 있다. 공항에서의 티켓팅을 하는 등의 일상적 상황 연출을 증강 현실 스튜디오를 통해 더욱 실감나게 연출이 가능하다)

먼저, 블루 혹은 그린 스크린(110) 앞에서 아이들이 적어도 하나의 마커 예를 들면, 머리 및 허리에 도 6과 같이 마커세트를 착용하고, 영어 등의 외국어 연극을 시작한다. 도 6에는 한명이 나타나지만 실제로는 여러명이 연극을 할 수 있다.

그러면, 촬영부(130)는 스크린과 스크린 앞에서 마커를 부착한 아이들의 영상을 촬영하고, 마이크(131)를 통해 음성을 입력받아 음성 처리부(170)로 출력한다.(S201)

그러면, 크로마키 처리부(140)의 색상 인지부(141)가 촬영한 영상정보에서 배경스크린과 아이들 영상을 인지하고(S203), 이미지 추출부(142)는 아이들 영상에서 스크린 배경을 제외시킨 이미지 영상을 추출하여 출력한다(S205).

한편, 마커 처리부(150)의 마커 인지부(151)는 상기 영상 정보에서 마커를 인지하고(S211), 마커정보 검출부(152)가 상기 복수개의 마커들의 아이디와 위치 정보를 추출한다(S213). 여기서 위치는 여러개의 마커로부터 정확한 아이의 방향 및 위치 등을 추출해낼 수 있다. 즉, 마커의 정보가 측면을 나타내는 것이 중앙이고, 다른 마커는 일부분만 트래킹 되었다면 측면으로 돌아서있는 상태로 판단하게 된다. 또한, 정면을 나타내는 마커가 검출되었다면 아이는 정면으로 서있는 것으로 판단한다. 따라서 추후에 그에 따라 소품을 배치하게 된다.

또한, 필요에 따라서는 아이디 신호 분석부(153)가 아이디 신호를 분석하여 오류가 있으면, 아이디 신호 변경부(154)를 통해 오류를 보정할 수도 있으며(SS215), 이러한 역할은 생략할 수 있다.

그리고 나서, 사용자로부터 입력부(195)배경을 선택받는데, 이러한 배경 이미지는 메뉴에서 다양한 배경을 선택할수 있다.

또한, 선생님들의 교재에 필요한 배경이 없을 경우 본인이 가지고 있는 사진을 직접 업로드하여 사용할 수도 있다. 예를 들어 뉴욕에 대해 가르칠경우 자유의 여신상 사진을 직접 업로드하여 증강현실 스튜디오의 배경으로 사용할수 있다.

그리고 나서, 배경 이미지 투영부(161)는 선생님이 선택한 배경을 투영한다(S209). 이때, 투영된 이미지의 예를 도 7에 도시하였다.

그리고 나서, 객체 배치부(162)는 상기 마커의 위치정보를 참조하여 상기 이미지 추출부(142)에서 추출된 사용자의 영상과 상기 아이디에 대응되는 소품정보를 결합하여 배치한다(S217). 그리고 합성부(163)는 객체 배치된 영상정보와 음성처리부(170)에서 처리된 음성신호를 합성하여 표시부(180)로 출력하고(S219), 표시부(180)에는 영상이 표시되고, 스피커(181)를 통해 음성이 출력된다(S221). 이와 같이 최종 출력되는 화면의 예를 도 8에 도시하였다.

이와 같이, 아이들이 머리와 허리에 마커를 각각 착용하고 카메라 앞에서면 다양한 직군의 모자와 옷들이 입혀져서 보여지게 된다. 예를 들어, 배경에서 경찰서를 선택하면 배경은 경찰서가 된다. 그리고, 아이가 경찰관에 관련된 마커를 착용하면, 모자와 복장은 경찰관의 것으로 바뀌어 매우 직관적이고 효과적인 체험이 가능하다. 경우에 따라서는 마커를 바꿀 필요없이 배경을 선택하면 배경에 맞추어 소품이 함께 변하도록 할 수도 있다. 이때 마커는 사용자의 방향 및 위치를 판단하는 용도로만 사용될 수도 있다.

그리고, 본 발명의 실시예에서는 증강현실을 사용하므로 몸을 움직여도 머리와 허리에 부착한 마커를 실시간으로 트래킹하여 3D좌표값을 산출하고 그 좌표위에 3D로 제작한 모자와 옷이 실시간으로 실사와 합성되어 실사 이미지와 3D 이미지의 위치가 완벽히 매칭된다.

또한, 화면에 두명이상 들어갈수 있으며 여럿이서 대화가 가능하다. 이때 마커를 여러명이서 착용하면 모두가 복장이 변화될 수 있다.

또한, 경우에 따라서, 메뉴중에 모자가 아닌 얼굴전체가 바뀌는 옵션을 선택하면, 마커에 대응하여 얼굴전체가 3D 캐릭터 얼굴로 변화되고, 영어로 말을 하면 3D 캐릭터의 입도 함께 립싱크가 되도록 할 수도 있다.

이와 같이 마커를 다양하게 활용하여 직업에 맞는 다양한 소품 변화가 될 수 있다.

한편, 입력부(195)를 통한 사용자의 선택에 따라 출력되는 영상 및 음성을 데이터베이스부(19)에 저장할 수 있다.

필요에 따라서는 출력되는 영상 및 음성 정보를 별도의 저장부에 녹화 및 녹음할 수도 있다. 그리고, 필요에 따라 선생님이 저장된 내용을 학생들과 학생들의 부모님에게 제공할수 있다.

그리고, 이외에도 다양한 기능이 제공될 수 있으며, 예를 들면, 도 9에 도시된 바와 같이 5가지 기능이 제공될 수 있다. SETTING 아이콘은 크로마키 색상 설정 및 마이크 선택 기능이고, HEAD 아이콘은, 머리에 위치한 객체의 크기 및 위치 조절기능이며, BODY 아이콘은 몸에 위치한 객체의 크기 및 위치 조절 기능이다. 그리고, REC 아이콘은 위에서 설명한 화면 녹화 기능이고, STOP 아이콘은 녹화 중지 및 저장 기능을 제공한다.

이외에도 도 10과 같이, 크로마키 영역을 설정할 수도 있고, 도 11과 같이, 객체 오브젝트의 크기와 좌표를 수동으로 설정할 수 있으며, 도 12와 같이 몸통에 관한 객채 오브젝트의 크기와 좌표를 설정할 수도 있다. 이외에도 다양한 기능의 추가가 가능하며, 필요에 따라 녹화된 영상을 수정할 수도 있다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

110: 스크린 120: 마커
130: 촬영부 140: 크로마키 처리부
190: 데이터베이스부 195: 입력부
150: 마커 처리부 160: 제어부
170: 음성 처리부 180: 표시부

Claims (9)

1. 배경이 되는 스크린;
   사용자가 자신에게 부착하기 위한 적어도 하나의 마커;
   상기 마커를 부착한 사용자의 영상을 촬영하여 출력하는 촬영부;
   상기 촬영부가 촬영한 영상정보에서 배경을 제외시킨 사용자의 영상을 추출하여 출력하는 크로마키 처리부;
   상기 마커에 대응되는 소품정보를 저장하는 데이터베이스부;
   상기 촬영부가 촬영한 상기 영상 정보에서 마커를 인지하고 마커에 포함된 위치정보와 상기 마커에 대응되는 소품 정보를 읽어오기 위한 마커 처리부;
   사용자의 선택을 입력받는 입력부;
   사용자의 선택에 대응되는 배경에 상기 위치정보를 참조하여 상기 크로마키 처리부에서 추출한 사용자의 영상과 상기 소품정보를 결합하여 표시하도록 제어하는 제어부;
   상기 제어부에서 출력되는 영상을 표시하는 표시부를 포함하는 증강현실 외국어 체험 학습 시스템.
2. 제1항에 있어서,
   상기 크로마키 처리부는,
   상기 촬영부가 촬영한 영상정보에서 배경의 색상을 인지하는 색상 인지부,
   상기 인지된 배경을 제외시키고 사용자의 이미지만을 추출하는 이미지 추출부를 포함하는 외국어 체험 학습 시스템.
3. 제2항에 있어서,
   상기 데이터베이스부는 상기 마커의 아이디에 대응되는 모자, 옷 등의 소품정보와 방향정보를 저장하고, 상기 방향정보는 정면, 후면, 측면의 상태 정보를 포함하는 외국어 체험 학습 시스템.
4. 제3항에 있어서,
   상기 마커 처리부는 마커의 모양 아이디와 테두리를 인지하는 마커 인지부, 테두리를 트랙킹하여 위치를 검출하고, 마커의 아이디를 검출하는 마커 정보 검출부를 포함하는 외국어 체험 학습 시스템.
5. 제4항에 있어서,
   상기 제어부는,
   사용자가 선택한 배경 이미지를 투영하는 배경이미지 투영부,
   사용자 이미지 및 마커의 아이디에 대응되는 소품을 방향 및 위치에 따라 배치하는 객체 배치부,
   상기 사용자 이미지와 소품을 방향 및 위치에 맞도록 합성하는 합성부를 포함하는 외국어 체험 학습 시스템.
6. 제5항에 있어서,
   상기 촬영부는 음성 녹음 기능을 구비하며, 음성을 입력받는 마이크를 더 포함하고,
   상기 촬영부가 녹음하는 음성을 처리하는 음성 처리부;
   상기 음성 처리부에서 처리된 음성을 출력하며, 상기 표시부에 부착된 스피커를 더 포함하는 증강현실 외국어 체험 학습 시스템.
7. 배경이 되는 스크린 앞에 적어도 하나의 마커를 부착한 사용자를 촬영하는 증강현실 외국어 체험 학습 방법으로서,
   상기 마커를 부착한 사용자의 영상을 촬영하여 영상 정보를 출력하는 단계;
   촬영한 영상정보에서 스크린 배경을 제외시킨 사용자의 영상을 추출하여 출력하는 단계;
   상기 영상 정보에서 마커를 인지하고, 상기 마커의 위치정보 및 소품 정보를 추출하는 단계;
   사용자로부터 배경을 선택받는 단계;
   사용자가 선택한 배경에 상기 마커의 위치정보를 참조하여 상기 추출된 사용자의 영상과 상기 소품정보를 결합하여 표시하는 단계를 포함하는 증강현실 외국어 체험 학습 방법.
8. 제7항에 있어서,
   상기 사용자의 음성을 녹음하는 단계;
   상기 녹음된 음성을 처리하여 출력하는 단계를 더 포함하는 증강현실 외국어 체험 학습 방법.
9. 상기 표시하는 단계와 상기 음성을 처리하여 출력하는 단계는 동시에 수행되며, 이러한 단계에서 출력되는 정보를 별도의 저장부에 녹화 및 녹음하는 단계를 더 포함하는 증강현실 외국어 체험 학습 방법.

Images