KR102481987B1 - 다각형 실물 교보재를 이용한 ar 교육 콘텐츠 제공 장치 및 방법 - Google Patents

Abstract

제공 장치가 개시된다. 상기 제공 장치는 영상 이미지에 포함된 교보재를 인식하는 인식부; 상기 교보재가 나타내는 3차원 오브젝트를 생성하는 생성부; 상기 영상 이미지에 상기 오브젝트를 표시하는 표시부;를 포함할 수 있다.

Description

다각형 실물 교보재를 이용한 AR 교육 콘텐츠 제공 장치 및 방법{Apparatus and method for providing AR-based educational contents using polygonal real teaching materials}

본 발명은 다각형의 실물 교보재를 이용하여 교육 콘텐츠를 제공하는 장치 및 방법에 관한 것이다.

교육용 협업 콘텐츠에 대한 관심이 급증하고 있다.

기존의 AR(augmented reality, 증강 현실) 기술이 접목된 교육 콘텐츠는 단순한 이미지 형태, 큐브 형태의 실물 교보재와 증강 현실 애플리케이션을 제공할 수 있다. 증강 현실 애플리케이션이 설치된 단말기에 교보재에 마킹된 증강 현실 마커를 인식시키면, 대응되는 증강 현실 콘텐츠가 구동될 수 있다.

종래 기술에 따르면 현재 AR 콘텐츠는 다음과 같은 한계를 갖고 있다.

종래 기술은 증강 현실 마커와 연관된 증강 현실 콘텐츠를 사용자의 인터랙션에 따라 정합하여 개인 단말로 제공한다. 그러나, 실제의 교보재 또는 마커의 모양은 개인 단말에 제공되어 나타나는 3D 오브젝트 모양과 다르다. 사용자의 손에 느껴지는 촉감은 사각형이거나 종이인 반면 시각으로 확인되는 물체는 물병 등의 3D 형태로 시각과 촉각 자극이 일치하지 않는다. 이로 인해, AR 콘텐츠와 관련된 종래의 기술에 따르면, 교육 몰입감이 현저히 떨어지는 문제점이 있다.

또한, 증강 현실 콘텐츠는 이론적으로 사용자가 직접 타겟이 되는 실물의 위치를 조정할 수 있고, 실물 위치의 움직임에 따라 가상 공간의 오브젝트 좌표도 변화하며 다양한 상호작용이 가능하다. 그럼에도 불구하고, 현재는 AR 물체 위치와 각도 등의 상호 작용에 대한 부분의 연구와 진전이 부족한 상황이다.

한국공개특허공보 제2020-0092247호에는 대상 블록과 명령 블록을 포함하는 텐저블 블록에 증강현실을 접목하여 프로그램 코딩을 학습할 수 있는 기술이 개시되고 있다.

한국공개특허공보 제2020-0092247호

본 발명은 입체적인 실물 교보재를 이용하여 직관적이고 실험적인 교육 환경을 형성하는 제공 장치 및 방법을 제공하기 위한 것이다.

본 발명의 제공 장치는 영상 이미지에 포함된 교보재를 인식하는 인식부; 상기 교보재가 나타내는 3차원 오브젝트를 생성하는 생성부; 상기 영상 이미지에 상기 오브젝트를 표시하는 표시부;를 포함할 수 있다.

본 발명의 제공 방법은 영상 이미지에 포함된 교보재를 인식하는 인식 단계; 상기 교보재가 나타내는 3차원 오브젝트를 생성하는 생성 단계; 상기 영상 이미지에 상기 오브젝트를 배치하는 배치 단계; 복수의 상기 오브젝트 간의 상호 작용을 적용하는 작용 단계;를 포함할 수 있다.

기존의 증강 교육 환경에서는 이미지 상에 나타나는 물체를 직접 만지는 촉감 피드백을 얻을 수 없었다. 본 발명의 제공 장치에 따르면, TUI(Tangible User Interface) 이론을 활용한 3차원 입체 도형의 교보재를 통하여 증강 현실에서 촉감을 활용하는 새로운 교육 환경이 제공될 수 있다.

본 발명의 제공 장치에 따르면, 하나의 오브젝트만 인식하여 상호작용했던 기존과 다르게, 실물 다중 오브젝트들이 동시에 인식될 수 있으며 위치 기반으로 상호작용할 수 있다. 이를 이용하여, 사용자가 실물 오브젝트 좌표를 움직임으로써 생기는 현실의 물리적 특성이 AR 환경에 반영되어 보다 자연스러운 상호작용이 가능하다.

도 1은 본 발명의 제공 장치를 나타낸 블록도이다.
도 2는 본 발명의 제공 방법을 나타낸 흐름도이다.
도 3은 분자의 구조를 나타낸 개략도이다.
도 4는 시부의 동작을 나타낸 개략도이다.
도 5는 작용부의 동작을 나타낸 개략도이다.
도 6은 표시부의 다른 동작을 나타낸 개략도이다.
도 7은 학습 메뉴를 나타낸 개략도이다.
도 8은 생성부의 다른 동작을 나타낸 개략도이다.
도 9는 작용부에 의해 구현되는 다른 상호 작용을 나타낸 개략도이다.
도 10은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.

도 1은 본 발명의 제공 장치(100)를 나타낸 블록도이다.

도면에 도시된 제공 장치(100)는 촬영부(110), 인식부(130), 생성부(150), 표시부(170), 작용부(190)를 포함할 수 있다.

촬영부(110)는 교보재(10)를 실시간으로 촬영할 수 있다.

교보재(10)는 교육 도구로 다양한 평면 도형 또는 입체 도형을 포함할 수 있다. 사용자가 교육 환경을 직관적으로 이해할 수 있도록 교보재(10)는 실물과 유사한 형태의 입체 도형인 것이 바람직하다.

촬영부(110)는 교보재(10)를 촬영한 결과물에 해당하는 영상 이미지를 생성 및 출력할 수 있다.

증강 현실(AR, Augmented Reality)을 구현하기 위해 인식부(130)는 영상 이미지에 포함된 교보재(10)를 인식할 수 있다.

인식부(130)는 각종 영상 분석 기법을 이용하여 영상 이미지에 포함된 교보재(10)를 추출할 수 있다. 또는, 인식부(130)는 영상 이미지에 포함된 바코드, 큐알(QR, Quick Response) 코드 등의 코드 인식 기술을 이용하여, 교보재(10)의 표면에 인쇄된 마커를 인식할 수 있다. 마커의 인식은 곧 마커가 마킹된 교보재(10)의 인식을 의미할 수 있다.

교보재(10)가 입체적으로 형성되고, 오브젝트를 나타내는 마커가 교보재(10)의 외면 전체에 복수로 배열될 수 있다. 이때, 인식부(130)는 영상 이미지에 표시 중인 복수의 마커 중에서 일부가 잘리지 않고 전체가 온전하게 인식된 완전 마커를 이용하여 오브젝트를 추출할 수 있다.

사용자가 손으로 들고 이리저리 돌려보거나 움직여볼 수 있게 형성된 교보재(10)의 교보재(10)의 인식 조건이 완화되도록, 어떠한 자세에서도 마커가 인식되도록 구성되는 것이 좋다. 이를 위해, 교보재(10)의 외면에 표기된 각 마커의 크기 및 각 마커 간의 간격은 교보재(10)의 자세에 상관없이 2차원적인 영상 이미지에 적어도 1개의 완전 마커가 표시되도록 형성될 수 있다. 이를 만족하기 위해, 마커의 크기는 작을수록 좋다. 하지만, 마커의 크기가 작아지면, 촬영부(110)의 촬영 환경이 악화되거나 인식부(130)의 교보재(10) 인식 환경이 악화될 수 있다. 예를 들어, 작은 크기의 마커 인식이 어려워질 수 있다.

따라서, 마커 인식이 확실하게 이루어지도록, 위에서 언급된 크기 및 간격을 만족하는 범위 내에서 가장 큰 크기의 상한 마커가 형성되는 것이 촬영부(110) 및 인식부(130)를 위해 바람직할 수 있다. 하지만, 본 발명의 교보재(10)는 단순하게 바닥에 놓아두는 사물이 아니라 손으로 잡고 이리저리 움직여 보거나 돌려보는 대상물일 수 있다. 이 경우, 상한 마커는 교보재(10)를 잡은 사용자의 손가락에 일부가 가려져 인식부(130)를 기준으로 일부가 잘려진 불완전한 마커가 될 수 있다. 이와 같이, 사용자의 손가락을 인한 가림 현상을 회피하기 위해 마커는 상한 마커보다 5~10mm만큼 작은 직경을 갖도록 형성되는 것이 좋다. 구체적으로, 마커는 상한 마커의 외곽선에 대하여 5~10mm의 간격만큼 이격된 외곽선을 갖는 축소된 크기로 형성될 수 있다.

생성부(150)는 교보재(10)가 나타내는 3차원 오브젝트를 생성할 수 있다.

일 예로, 교보재(10)는 구 형상에 가까운 종이 재질의 다면체를 포함할 수 있다. 특정 교육 환경에서 해당 교보재(10)는 태양으로 기능할 수 있다. 이때, 교보재(10)가 나타내는 3차원 오브젝트는 태양일 수 있다. 해당 교보재(10)가 태양을 나타내기 위해 교보재(10)는 다른 교보재(10)와 구분되는 고유의 형상을 가질 수 있다. 또는, 교보재(10)는 다른 교보재(10)와 구분되는 고유의 마커를 포함할 수 있다. 마커는 교보재(10)의 외면에 인쇄되거나 표시된 문양, 코드, 기호, 문자, 그림 등을 포함할 수 있다. 이때, 인식부(130)는 영상 이미지에서 교보재(10)에 표시된 마커를 탐지할 수 있다. 그리고, 생성부(150)는 인식부(130)에 의해 탐지된 마커가 나타내는 오브젝트를 데이터베이스로부터 추출할 수 있다. 생성부(150)는 데이터베이스로부터 추출된 오브젝트를 표시부(170)에 전달할 수 있다.

표시부(170)는 영상 이미지에 오브젝트를 배치하고 표시할 수 있다. 표시부(170)는 사용자가 교보재(10)를 움직이면, 교보재(10)의 움직임에 맞춰 오브젝트의 배치 위치를 조절하거나 오브젝트의 자세를 조절할 수 있다. 일 예로, 표시부(170)는 촬영부(110)에서 촬영되는 영상 이미지를 실시간으로 표시할 수 있다. 표시부(170)는 실시간으로 표시된 영상 이미지 상에 오브젝트를 표시할 수 있다.

교보재(10)와 오브젝트가 실시간적으로 매칭되어 표시되도록, 인식부(130)는 도 9와 같이 영상 이미지에 포함된 교보재(10)를 형성하는 제1 면 f을 인식할 수 있다. 제1 면 f는 다각형을 포함할 수 있다. 제1 면 f에는 마커 r이 포함될 수 있다. 인식부(130)는 영상 이미지의 분석을 통해 제1 면 f의 자세를 판정할 수 있다. 표시부(170)는 판정된 제1 면 f의 자세에 맞춰 오브젝트의 자세를 조절할 수 있다.

또한, 인식부(130)를 통해 복수의 오브젝트가 인식되면, 작용부(190)에 의해 복수의 오브젝트 간의 상호작용 발생 여부가 결정될 수 있다. 작용부(190)는 상호작용이 발생되면, 애니메이션과 같은 상호작용을 오브젝트에 적용할 수 있다. 그 결과, 작용부(190)에 의해 부여된 애니메이션이 포함된 오브젝트가 표시될 수 있다. 예를 들어, 도 9에서 오브젝트 b1 위에 오브젝트 b2가 얹어지면서 실제 물리 현상과 유사하게 원자력 재료가 중력 방향 상으로 위에서 아래로 자연스럽게 떨어지는 애니메이션 효과가 오브젝트 b1과 오브젝트 b2에 적용될 수 있다.

제1 면 f의 자세는 교보재(10)의 중심을 하는 제1 면 f의 회전 각도를 나타낼 수 있다. 서로 직교하는 3개의 좌표축 x축, y축, z축이 형성하는 3차원 공간이 정의될 수 있다. 3차원 공간 상에서 제1 면의 회전 각도는 x축을 회전 중심으로 하는 회전 각도, y축을 회전 중심으로 하는 회전 각도, z축을 회전 중심으로 하는 회전 각도 중 적어도 하나를 포함할 수 있다.

교보재(10)의 중심을 기준으로 설정 각도만큼 제1 면 f를 회전시키고, 설정 각도만큼 회전할 때마다 고정된 카메라를 이용해서 제1 면 f를 촬영한 데이터셋이 마련될 수 있다.

인식부(130)는 복수의 데이터셋 중 현재의 제1 면 f의 형상과 가장 높은 유사도를 갖는 특정 데이터셋을 추출하고, 특정 데이터셋에 매칭된 회전 각도를 제1 면 f의 자세로 판정할 수 있다. 표시부(170)는 제1 면 f의 자세에 맞춰 x축, y축, z축을 기준으로 하는 오브젝트의 회전 각도를 조절할 수 있다.

또한, 제1 면 f의 자세는 영상 이미지 상에서의 제1 면의 위치 정보를 포함할 수 있다. 인식부(130)는 영상 이미지의 분석을 통해 제1 면 f가 영상 이미지 상의 어느 위치에 존재하는지 판정할 수 있다. 표시부(170)는 판정된 위치에 오브젝트를 배치하고 표시할 수 있다.

본 실시예에 따르면, 사용자의 조작에 따라 위치가 변하거나 회전 각도가 변하는 교보재(10)에 맞춰 오브젝트도 동일하게 움직일 수 있다.

한편, 증강 현실의 효과를 개선하기 위해 영상 이미지 상으로 오브젝트가 교보재(10) 전체를 가리는 것이 좋다. 왜냐하면, 영상 이미지에 표시된 오브젝트의 경계로부터 교보재(10) 외곽선이 삐죽하게 튀어나와 있으면 몰입감, 현장감이 급격하게 저하되기 때문이다.

도 4는 표시부(170)의 동작을 나타낸 개략도이다. 도 5는 작용부(190)의 동작을 나타낸 개략도이다. 도 6은 표시부(170)의 다른 동작을 나타낸 개략도이다. 도 7은 학습 메뉴를 나타낸 개략도이다.

오브젝트가 교보재(10) 전체에 오버랩되어 표시되도록, 인식부(130)는 영상 이미지에서 교보재(10)의 위치 및 교보재(10)의 크기를 탐지할 수 있다.

표시부(170)는 인식부(130)에서 탐지된 교보재(10) 전체가 포함되는 크기로 오브젝트를 확대할 수 있다.

표시부(170)는 확대된 오브젝트를 영상 이미지에 포함된 교보재(10)의 위치에 오버랩시켜 표시할 수 있다.

이상의 인식부(130), 생성부(150), 표시부(170)에 따르면, 오브젝트는 실물의 교보재(10)를 따라 움직일 수 있다. 하지만, 각종 연산 작업의 시간 소요로 인해 오브젝트가 교보재(10)를 따라 가는 반응 속도는 살짝 느릴 수 있다. 이로 인해, 정지된 교보재(10)를 갑자기 움직이면 교보재(10) 상에 오버랩되어 있던 오브젝트의 경계선의 한 쪽을 뚫고 교보재(10)가 튀어나오는 괴리 현상이 발생될 수 있다. 괴리 현상을 최소화하기 위한 방인 마련될 수 있다.

교보재(10) 전체가 내접하는 크기에 해당하는 최소 크기가 정의될 때, 표시부(170)는 최소 크기의 제1 외곽선으로부터 설정 간격 d만큼 더 큰 제2 외곽선을 갖도록 오브젝트를 확대할 수 있다.

이때, 설정 간격 d는 괴리 현상을 완화시키는 완충 구역에 해당될 수 있다.

사용자가 교보재(10)를 급작스럽게 움직이더라도 완충 구역으로 인해 오브젝트가 교보재(10)를 따라오는 시간이 확보될 수 있다. 그 결과, 사용자가 교보재(10)를 자유롭게 이동시켜도 영상 이미지 상으로 교보재(10)가 표시되는 현상이 방지될 수 있다. 도 4에는 태양을 표상하는 제1 교보재(11)가 나타나 있다. 제1 교보재(11)의 마커가 인식부(130)에 의해 인식되고, 생성부(150)에 의해 태양이 생성될 수 있다. 표시부(170)는 제1 교보재(11)의 위치에 태양을 배치 및 표시할 수 있다. 사용자가 제1 교보재(11)를 움직이는 상황을 대비하여 제1 교보재(11)보다 설정 간격 d만큼 크게 형성된 태양이 표시부(170)에 의해 표시될 수 있다. 사용자가 제1 교보재(11)를 태양 s를 의미하는 위치에 제1 교보재(11)를 이동시키더라도 완충 구역으로 인해 제1 교보재(11)의 가장자리가 태양 s의 바깥으로 표출되지 않을 수 있다. 이에 따라, 사용자는 실제로 자신이 태양을 움직이는 것과 같은 경험을 누릴 수 있다.

영상 이미지에는 교보재(10)가 놓이는 받침이 되는 보드판(19)이 포함될 수 있다. 보드판(19)에는 보드 오브젝트를 나타내는 보드 마커가 존재할 수 있다. 이때, 생성부(150)는 인식부(130)를 통해 보드판(19)의 보드 마커가 단독으로 인식되면, 보드 마커에 대응되는 보드 오브젝트를 미생성할 수 있다.

예를 들어, 도 4의 좌측 첫번째 사진을 살펴보면, 보드판(19)에 지구 e를 나타내는 보드 마커가 존재함에도 불구하고, 보드 오브젝트에 해당하는 지구 e가 보드판(19) 상에 표시되지 않고 있다. 왜냐하면, 아직까지 제1 교보재(11)의 제1 마커가 미인식된 상태이기 때문이다.

생성부(150)는 인식부(130)를 통해 제1 교보재(11)의 제1 마커 및 보드 마커가 함께 인식되면, 제1 마커에 대응되는 제1 오브젝트를 생성하는 동시에 비로소 보드 오브젝트를 생성할 수 있다. 표시부(170)는 보드 마커의 위치에 보드 오브젝트를 배치하고 표시할 수 있다. 도 4에 표시된 3개의 사진 중 가운데 사진과 같이 제1 교보재(11)의 제1 마커가 인식되면 제1 교보재(11)는 태양 s로 표시되고, 비로소 보드판(19)의 보드 마커에 지구 e가 표시될 수 있다.

생성부(150)가 제1 교보재(11)가 나타내는 제1 오브젝트와 제2 교보재(12)가 나타내는 제2 오브젝트를 생성하면, 제1 오브젝트와 제2 오브젝트의 상호 작용을 적용하는 작용부(190)가 마련될 수 있다.

표시부(170)는 상호 작용이 적용된 제1 오브젝트와 제2 오브젝트를 표시할 수 있다.

일 예로, 도 4를 살펴보면, 지구 e와 태양 s 사이에 다른 오브젝트가 없으면, 지구에서 태양이 동그랗게 보이는 상호 작용을 나타내는 모습 p가 PIP(Picture in Picture) 형태로 표시부(170)를 통해 표시될 수 있다. 또한, 지구의 경우 태양의 빛으로 인해 태양에 대면되는 지구의 일면은 밝게 표시되고 반대면은 어둡게 표시되는 상호 작용이 작용부(190)에 의해 적용될 수 있다.

사용자의 선택에 의해 메인 화면과 메인 화면 속에 표시되는 PIP의 위치가 바뀔 수 있다.

도 4에서 지구와 태양이 존재하는 태양계가 메인 화면에 표시되고, 지구에서 바라본 태양의 모습이 PIP에 표시되고 있다.

이와 반대로 도 5에서는 지구에서 바라본 태양의 모습 p가 메인 화면에 표시되고, 태양계에 해당하는 보드판(19)이 PIP에 표시되고 있다.

생성부(150)에 의해 오브젝트에 해당하는 태양 s, 지구 e, 달 m이 각각 생성되면, 표시부(170)는 태양 s, 지구 e, 달 m을 표시하는 동시에 상호 작용을 나타내는 모습 p에 해당하는 사진 메뉴를 추가로 표시할 수 있다.

일 예로, 도 4의 제1 교보재(11)의 추가로 인해 태양 s가 생성되고, 보드 오브젝트인 지구 e가 생성될 수 있다. 제2 교보재(12)가 추가되면, 생성부(150)는 제2 교보재(12)의 제2 마커에 대응되는 달 m을 생성할 수 있다.

작용부(190)는 태양, 지구, 달 간의 상호 작용을 적용할 수 있다. 일 예로, 작용부(190)에 의해 태양에 대면되는 달의 일면 m1은 밝게 빛나고 반대면은 어둡게 표시될 수 있다.

설명된 바와 같이, 상호 작용 모습 p가 포함된 사진 메뉴에는 지구에서 태양 또는 달을 바라본 모습이 표시될 수 있다.

작용부(190)는 태양의 빛이 상기 지구 및 상기 달에 비춰지는 모습을 생성할 수 있다.

작용부(190)는 달이 태양과 지구의 사이에 배치되면 달이 태양을 가리는 일식 현상을 사진 메뉴에 표시할 수 있다.

작용부(190)는 지구가 태양과 달의 사이에 배치되면 지구의 그림자가 달에 비춰지는 월식 현상을 사진 메뉴에 표시할 수 있다.

표시부(170)는 도 7과 같이 교보재(10)를 이용하여 일식 현상 또는 월식 현상을 유도하는 학습 메뉴를 추가로 표시할 수 있다.

표시부(170)는 교보재(10)의 조작을 통해 기선정된 일식 현상 또는 월식 현상의 만족 여부를 학습 메뉴 상에 표시할 수 있다. 도 7에서는 부분 일식과 관련된 학습 메뉴가 표시되고 있다.

한편, 교보재(10)의 개수를 줄이는 방안이 마련될 수 있다. 위에서는 일식을 구현하기 위해 보드 마커가 형성된 보드판(19), 태양을 나타내는 제1 교보재(11), 달을 나타내는 제2 교보재(12)와 같이 총 3개의 교구가 사용되고 있다.

그런데, 이중에서 일식 현상은 태양과 지구가 고정된 상태에서 달 m을 나타내는 제2 교보재(12)만 움직이는 방식으로 구현될 수 있다. 이에 따르면, 별다른 움직임을 보이지 않는 태양과 지구는 가상으로 처리되어도 무방할 수 있다.

도 8은 생성부(150)의 다른 동작을 나타낸 개략도이다.

인식부(130)를 통해 특정 오브젝트가 인식되면, 생성부(150)는 영상 이미지 i의 일측 가운데(예를 들어 상단 가운데)와 타측 가운데(예를 들어 하단 가운데) 중 적어도 한 곳에 특정 오브젝트와 상호 작용하는 작용 오브젝트를 추가로 생성할 수 있다. 일 예로, 특정 오브젝트는 달 m일 수 있다. 작용 오브젝트는 태양 s 또는 지구 e를 포함할 수 있다.

본 실시예에 따르면, 달 m을 표상하는 오브젝트만을 이용해서 태양 및 지구가 추가로 생성되고, 일식 또는 월식이 구현될 수 있다.

도 9는 작용부(190)에 의해 구현되는 다른 상호 작용을 나타낸 개략도이다.

착용부는 생성부(150)에서 생성된 오브젝트에 해당하는 제1 블록 b1과 제2 블록 b2 간의 상호 작용을 적용할 수 있다.

일 예로, 작용부(190)는 제1 블록 b1을 나타내는 제1 교보재(11)와 제2 블록 b2를 나타내는 제2 교보재(12)가 서로 밀착되면, 제1 블록 b1과 제2 블록 b2가 결합된 새로운 신형 블록 a를 생성할 수 있다.

작용부(190)는 제1 블록 b1 및 제2 블록 b2에 부여된 애니메이션 효과와 구별되는 다른 애니메이션 효과를 신형 블록 a에 적용할 수 있다.

예를 들어, 제1 블록 b1은 원통 형상일 수 있다. 제2 블록 b2는 반구 형상일 수 있다. 제1 블록 b1의 내부에는 드럼통이 굴러다니는 애니메이션 효과가 표시될 수 있다. 제2 블록 b2의 내부에는 애니메이션 효과가 없을 수 있다.

제2 블록 b2를 제1 블록 b1의 상단에 덮어씌우면, 신형 블록 a에 해당하는 원자력 발전소가 생성될 수 있다. 신형 블록 a의 내부에는 드럼통의 연료가 화염으로 변하는 애니메이션 효과가 표시될 수 있다.

도 2는 본 발명의 제공 방법을 나타낸 흐름도이다.

도 2에 도시된 제공 방법은 도 1의 제공 장치(100)에 의해 수행될 수 있다.

제공 방법은 인식 단계(S 510), 생성 단계(S 520), 표시 단계(S 530), 작용 단계(S 540)를 포함할 수 있다.

인식 단계(S 510)는 영상 이미지 i에 포함된 교보재(10)를 인식할 수 있다. 인식 단계(S 510)는 인식부(130)에 의해 수행될 수 있다.

생성 단계(S 520)는 교보재(10)가 나타내는 2차원 오브젝트 또는 3차원 오브젝트를 생성할 수 있다. 생성 단계(S 520)는 생성부(150)에 의해 수행될 수 있다.

배치 단계(S 530)는 영상 이미지에 오브젝트를 배치할 수 있다. 배치 단계(S 530)는 표시부(170)에 의해 수행될 수 있다

작용 단계(S 540)는 복수의 오브젝트 간의 상호 작용을 적용할 수 있다. 작용 단계(S 540)는 작용부(190)에 의해 수행될 수 있다.

작용 단계(S 540)는 오브젝트 간 거리를 계산하는 단계(S 541), 보드판(19)을 인식하는 단계(S 542), 각 오브젝트에 애니메이션 효과를 적용하는 단계(S 543)를 포함할 수 있다.

본 발명에 따르면, 기존 마크나 단순 큐브형이 아닌 반구형, 육각형 등의 가상 오브젝트에 대해 물체의 반구 모습 등을 계산, 물체에 맞춰져 있는 오브젝트가 가장 인식이 잘되고 있는 특정 면을 기반으로 3차원 오브젝트의 각도 등이 컨트롤될 수 있다. 이에 따라, 사용자가 손으로 움직이는 가상 오브젝트가 실감나게 움직이는 모습이 구현될 수 있다.

본 발명에 따르면, 실물 교보재(10)의 위치 조정에 따라 단말기의 디스플레이(90)에 표시되는 오브젝트의 위치가 조정될 수 있다. 또한, 복수의 교보재(10)의 위치 관계에 맞춰 디스플레이(90)에 표시되는 복수의 오브젝트 간의 상호 작용 효과가 나타날 수 있다.

도 3은 분자의 구조를 나타낸 개략도이다.

분자의 구조는 가시적으로 보이지 않는 대상물로, 직관적인 개념의 이해가 어려울 수 있다. 하지만, 본 발명에 따르면, 각 원자 기호를 나타내는 실물의 교보재(10)를 이용하여 분자 구조를 형성해보는 교육 환경이 제공될 수 있다.

도 4 및 도 6과 같이 태양, 지구, 달을 이용하여 일식 현상, 월식 현상을 구현하는 교보재(10)가 마련된 경우, 태양 오브젝트가 배치되는 위치가 표시부(170)에 의해 기준 위치로 설정될 수 있다.

다음으로, 달 오브젝트 및 지구 오브젝트는 표시부(170) 또는 작용부(190)에 의해 태양 오브젝트를 기준으로 상대 크기 및 상대 위치가 결정될 수 있다.

작용부(190)는 3개의 오브젝트의 상대 위치를 계산할 수 있다. 작용부(190)는 달 오브젝트가 보드판(19) 위에서 실제로 움직일 때 3가지 오브젝트의 위치를 각각 삼각비에 기반한 알고리즘으로 계산하여, 지구에서 보이는 달 그림자, 지구 그림자의 모습을 표현할 수 있다. 이를 통해 사용자는 비직관적인 일식 현상 또는 월식 현상을 직관적으로 이해할 수 있다.

도 10은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 10의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 제공 장치(100) 등) 일 수 있다.

도 10의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10...교보재 11...제1 교보재
12...제2 교보재 19...보드판
90...디스플레이 100...제공 장치
110...촬영부 130...인식부
150...생성부 170...표시부
190...작용부

Claims (15)

1. 영상 이미지에 포함된 교보재를 인식하는 인식부;
   상기 교보재가 나타내는 오브젝트를 생성하는 생성부;
   상기 영상 이미지에 상기 오브젝트를 표시하는 표시부;를 포함하고,
   상기 인식부는 상기 영상 이미지에 포함된 상기 교보재를 형성하는 제1 면을 인식하고,
   상기 인식부는 상기 영상 이미지의 분석을 통해 상기 제1 면의 자세를 판정하며,
   상기 표시부는 판정된 상기 제1 면의 자세에 맞춰 상기 오브젝트의 자세를 조절하는 제공 장치.
   
2. 삭제
3. 삭제
4. 영상 이미지에 포함된 교보재를 인식하는 인식부;
   상기 교보재가 나타내는 오브젝트를 생성하는 생성부;
   상기 영상 이미지에 상기 오브젝트를 표시하는 표시부;를 포함하고,
   상기 교보재가 입체적으로 형성되고, 상기 오브젝트를 나타내는 마커가 상기 교보재의 외면에 복수로 배열될 때,
   상기 인식부는 상기 영상 이미지에 표시 중인 복수의 마커 중에서 일부가 잘리지 않고 전체가 온전하게 인식된 완전 마커를 이용하여 상기 오브젝트를 추출하며,
   상기 교보재의 외면에 표기된 각 마커의 크기 및 각 마커 간의 간격은 상기 교보재의 자세에 상관없이 2차원적인 상기 영상 이미지에 적어도 1개의 상기 완전 마커가 표시되도록 형성되고,
   상기 크기 및 상기 간격을 만족하는 범위 내에서 가장 큰 크기의 상한 마커가 정의될 때, 상기 마커는 상기 상한 마커보다 5~10mm만큼 작은 직경을 갖도록 형성되는 제공 장치.
   
5. 삭제
6. 제1항에 있어서,
   상기 교보재를 촬영하는 촬영부가 마련되고,
   상기 표시부는 상기 촬영부에서 촬영되는 상기 영상 이미지를 실시간으로 표시하며,
   상기 표시부는 상기 실시간으로 표시된 상기 영상 이미지 상에 상기 오브젝트를 표시하는 제공 장치.
   
7. 영상 이미지에 포함된 교보재를 인식하는 인식부;
   상기 교보재가 나타내는 오브젝트를 생성하는 생성부;
   상기 영상 이미지에 상기 오브젝트를 표시하는 표시부;를 포함하고,
   상기 인식부는 상기 영상 이미지에서 상기 교보재의 위치 및 상기 교보재의 크기를 탐지하고,
   상기 표시부는 상기 인식부에서 탐지된 상기 교보재 전체가 포함되는 크기로 상기 오브젝트를 확대하며,
   상기 표시부는 확대된 상기 오브젝트를 상기 영상 이미지에 포함된 상기 교보재의 위치에 오버랩시켜 표시하는 제공 장치.
   
8. 제7항에 있어서,
   상기 교보재 전체가 내접하는 크기에 해당하는 최소 크기가 정의될 때,
   상기 표시부는 상기 최소 크기의 제1 외곽선으로부터 설정 간격만큼 더 큰 제2 외곽선을 갖도록 상기 오브젝트를 확대하는 제공 장치.
   
9. 영상 이미지에 포함된 교보재를 인식하는 인식부;
   상기 교보재가 나타내는 오브젝트를 생성하는 생성부;
   상기 영상 이미지에 상기 오브젝트를 표시하는 표시부;를 포함하고,
   상기 인식부를 통해 보드판의 보드 마커가 단독으로 인식되면, 상기 생성부는 상기 보드 마커에 대응되는 보드 오브젝트를 미생성하고,
   상기 인식부를 통해 제1 교보재의 제1 마커 및 상기 보드 마커가 함께 인식되면, 상기 생성부는 상기 제1 마커에 대응되는 제1 오브젝트를 생성하는 동시에 비로소 상기 보드 오브젝트를 생성하며,
   상기 표시부는 상기 보드 마커의 위치에 상기 보드 오브젝트를 표시하는 제공 장치.
   
10. 제1항에 있어서,
    상기 인식부를 통해 상기 오브젝트가 인식되면, 상기 생성부는 상기 영상 이미지의 일측 가운데와 타측 가운데 중 적어도 한 곳에 상기 오브젝트와 상호 작용하는 작용 오브젝트를 추가로 생성하는 제공 장치.
    
11. 제1항에 있어서,
    상기 생성부가 제1 교보재가 나타내는 제1 오브젝트와 제2 교보재가 나타내는 제2 오브젝트를 생성하면, 상기 제1 오브젝트와 상기 제2 오브젝트의 상호 작용을 적용하는 작용부가 마련되고,
    상기 표시부는 상기 상호 작용이 적용된 상기 제1 오브젝트와 상기 제2 오브젝트를 표시하는 제공 장치.
    
12. 영상 이미지에 포함된 교보재를 인식하는 인식부;
    상기 교보재가 나타내는 오브젝트를 생성하는 생성부;
    상기 영상 이미지에 상기 오브젝트를 표시하는 표시부;를 포함하고,
    상기 생성부에 의해 상기 오브젝트에 해당하는 태양, 지구, 달이 각각 생성되면, 상기 표시부는 상기 태양, 상기 지구, 상기 달을 표시하는 동시에 사진 메뉴를 추가로 표시하고,
    상기 사진 메뉴에는 상기 지구에서 상기 태양 또는 상기 달을 바라본 모습이 표시되며,
    상기 태양, 상기 지구, 상기 달 간의 상호 작용을 적용하는 작용부가 마련되고,
    상기 작용부는 상기 태양의 빛이 상기 지구 및 상기 달에 비춰지는 모습을 생성하며,
    상기 작용부는 상기 달이 상기 태양과 상기 지구의 사이에 배치되면 상기 달이 상기 태양을 가리는 일식 현상을 상기 사진 메뉴에 표시하고,
    상기 작용부는 상기 지구가 상기 태양과 상기 달의 사이에 배치되면 상기 지구의 그림자가 상기 달에 비춰지는 월식 현상을 상기 사진 메뉴에 표시하는 제공 장치.
    
13. 제12항에 있어서,
    상기 표시부는 상기 일식 현상 또는 상기 월식 현상을 유도하는 학습 메뉴를 추가로 표시하고,
    상기 표시부는 상기 교보재의 조작을 통해 기선정된 일식 현상 또는 월식 현상의 만족 여부를 상기 학습 메뉴 상에 표시하는 제공 장치.
    
14. 영상 이미지에 포함된 교보재를 인식하는 인식부;
    상기 교보재가 나타내는 오브젝트를 생성하는 생성부;
    상기 영상 이미지에 상기 오브젝트를 표시하는 표시부;를 포함하고,
    상기 생성부에서 생성된 오브젝트에 해당하는 제1 블록과 제2 블록 간의 상호 작용을 적용하는 작용부가 마련되고,
    상기 작용부는 상기 제1 블록을 나타내는 제1 교보재와 상기 제2 블록을 나타내는 제2 교보재가 서로 밀착되면, 상기 제1 블록과 상기 제2 블록이 결합된 새로운 신형 블록을 생성하며,
    상기 작용부는 상기 제1 블록 및 상기 제2 블록에 부여된 애니메이션 효과와 구별되는 다른 애니메이션 효과를 상기 신형 블록에 적용하는 제공 장치.
    
15. 제공 장치에 의해 수행되는 제공 방법에 있어서,
    영상 이미지에 포함된 교보재를 인식하는 인식 단계;
    상기 교보재가 나타내는 오브젝트를 생성하는 생성 단계;
    상기 영상 이미지에 상기 오브젝트를 배치하는 배치 단계;
    복수의 상기 오브젝트 간의 상호 작용을 적용하는 작용 단계;를 포함하고,
    상기 작용 단계는 상기 오브젝트에 해당하는 제1 블록과 제2 블록 간의 상호 작용을 적용하며,
    상기 작용 단계는 상기 제1 블록을 나타내는 제1 교보재와 상기 제2 블록을 나타내는 제2 교보재가 서로 밀착되면, 상기 제1 블록과 상기 제2 블록이 결합된 새로운 신형 블록을 생성하며,
    상기 작용 단계는 상기 제1 블록 및 상기 제2 블록에 부여된 애니메이션 효과와 구별되는 다른 애니메이션 효과를 상기 신형 블록에 적용하는 제공 방법.

Images