KR101643569B1 - 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법 - Google Patents

Abstract

본 발명은 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법 및 이를 이용한 체험학습 방법에 관한 것으로, 보다 상세하게는 오프라인상 색칠하기 용지의 2차원 이미지 및 인식코드 정보를 카메라 또는 스캐너를 통해서 획득하여 인식코드와 대응되는 입체 오브젝트상에 체험자에 의하여 채색된 2차원 이미지의 색상을 적용하여 동영상으로 출력하되, 홀로그램, 가상현실 또는 증강현실 중 어느 하나 또는 이들의 조합을 통해서 출력함으로서 사용자의 흥미를 유발시키고 학습능률을 향상시키는 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법 및 이를 이용한 체험학습 방법에 관한 것이다.

Description

체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법{Method of displaying video file and experience learning using this}

본 발명은 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법 및 이를 이용한 체험학습 방법에 관한 것으로, 보다 상세하게는 오프라인상 색칠하기 용지의 2차원 이미지 및 인식코드 정보를 카메라 또는 스캐너를 통해서 획득하여 인식코드와 대응되는 입체 오브젝트상에 체험자에 의하여 채색된 2차원 이미지의 색상을 적용하여 동영상으로 출력하되, 홀로그램, 가상현실 또는 증강현실 중 어느 하나 또는 이들의 조합을 통해서 출력함으로서 사용자의 흥미를 유발시키고 학습능률을 향상시키는 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법 및 이를 이용한 체험학습 방법에 관한 것이다.

색칠하기는 윤곽선만 표시된 이미지에 사용자가 임의로 색깔을 칠하는 것으로, 주로 아동용으로 많이 사용되고 있으나, 단순히 색을 칠하는 것에 그쳐서 흥미를 잃기가 쉬우므로 이를 개선할 방법이 요구되고 있다.

이에 공개실용신안20-2011-0010227호, 등록실용신안 20-0317716호 등에서는 색칠 후 오리거나 조립하도록 하는 기술이 공개되어 있으나, 이러한 종래기술은 오프라인에서만 그치는 것으로, 그 표현 및 응용에 한계가 있는 실정이다.

한편, 영상을 표현하는 방법에는 가상현실, 증강현실, 홀로그램 등이 있으며, 이러한 영상표현방법들은 학습, 놀이, 공연 등 다방면으로 적용되어 현실세계와 가상세계간 이미지 혹은 영상을 정합하거나 가상세계 영상의 정밀도 있는 표현을 통해서 현실세계에서 달성하지 못하는 다양한 영상 표현이 가능하게 되므로 사용자 혹은 시청자의 관심을 집중시키고 흥미를 증진시키고 있다.

이에 본 발명자는 색칠하기의 흥미증진 요구에 대하여 가상현실, 증강현실, 홀로그램의 영상 표현 방법을 적용하여 오프라인에서 이루어지지 못하는 다양한 표현과 체험이 이루어질 수 있도록 하여, 사용자의 만족도를 향상시키고 학습능률을 향상시키고자 본 발명에 이르게 되었다.

공개특허 10-2014-0017218호 등록특허 10-1197126 공개특허 10-2013-0084491

본 발명의 목적은, 카메라 또는 스캐너를 통해서 획득된 오프라인상 색칠하기 용지의 2차원 이미지 및 인식코드 정보를 이용하여 인식코드와 대응되는 입체 오브젝트를 포함한 동영상을 출력하되, 체험자가 채색한 2차원 이미지의 색상을 입체 오브젝트에 그대로 반영하여 홀로그램, 가상현실 또는 증강현실 중 어느 하나 또는 이들의 조합을 통해서 출력함으로서, 체험자의 흥미를 증진시키고, 오프라인에서 달성할 수 없는 다양한 표현이 가능하도록 하며, 더욱이 오프라인상 색칠하기 용지의 색상을 입체 오브젝트에 반영하는 과정에서 입체 오브젝트를 회전시키면서 색상이 입체 오브젝트에 반영되는 것을 표시해줌으로서 체험자의 흥미를 더 할 수 있도록 하는 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법 및 이를 이용한 체험학습 방법을 제공하는 데 있다.

또한, 상기한 오프라인상 색칠하기 용지의 2차원 이미지와 입체 오브젝트를 매칭시키기 위한 인식코드로, 색상을 바형태로 다양하게 조합한 색상코드를 사용함으로서, 데이터처리량이 감소될 수 있도록 하면서 색칠하기 용지의 상하 및 기울기를 보정할 수 있도록 하고, 2차원 이미지의 위치를 용이하게 파악할 수 있도록 하는 데 다른 목적이 있다.

아울러, 오프라인상 2차원 이미지의 색상을 입체 오브젝트에 적용하는 과정에서, 2차원 이미지 상 표현되지 않는 부분에 대해서는 해당 부분의 연결 또는 대칭되는 부분의 색상을 복사함으로서 입체 오브젝트상 2차원 이미지의 색상 적용(이하 맵핑이라 함)이 용이하고 빠르게 이루어지도록 하면서, 맵핑을 위한 데이터 저장공간을 적게 차지하도록 하여 저장공간이 상대적으로 작고 제한된 스마트폰 등에서도 다양한 종류의 가상 혹은 증강현실 체험이 가능하도록 함과 아울러, 체험자가 채색한 색상이 입체 오브젝트의 대부분의 표면에 적용될 수 있도록 하는 데 또 다른 목적이 있다.

아울러, 상기한 색칠하기를 통해서 획득된 2차원 이미지 혹은 2차원 이미지 색상이 적용된 입체 오브젝트를 컵이나 티셔츠 등의 기념품에 인쇄하여 소비자 만족도를 향상시키는 데 다른 목적이 있다.

상기한 목적을 달성하기 위한 본 발명의 특징은, 2차원 이미지의 윤곽선이 인쇄되고 일측에 해당 2차원 이미지정보를 포함한 색칠하기 용지의 인식을 위한 정보를 포함하는 인식코드가 인쇄된 색칠하기 용지를 스캐너 또는 카메라를 통해서 입려받는 오프라인 이미지 입력 과정; 입력된 오프라인 이미지의 인식코드에 따라 그에 대응되는 기 설정된 입체 오브젝트를 디스플레이상에 표시하고, 사용자에 의하여 채색된 2차원 이미지의 색상을 상기 입체 오브젝트 표면에 표시해주는 입체 오브젝트 출력과정과; 상기 입체 오브젝트의 움직임 영상을 포함한 동영상을 디스플레이로 출력해주는 동영상 출력과정을 포함하여 구성되어, 체험자의 흥미를 유발시키는 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법에 있다.

상기에서 입체 오브젝트 출력과정은 홀로그램을 사용하고, 동영상 출력과정은 가상현실 혹은 증강현실 또는 이들 모두를 사용한다.

또한, 인식코드는 바형태의 색상조합으로 이루어진 색상코드를 사용한다.

그리고, 상기한 영상 출력 방법을 이용한 본 발명의 체험방법은 임의의 장소에서 상기 오프라인 이미지 입력 과정, 입체 오브젝트 출력과정, 동영상 출력과정을 모두 수행한 후, 상기 색칠하기 용지를 이용하여 체험자가 채색한 색상이 적용된 증강현실 체험이 별도로 이루어지도록 하며, 획득된 체험자가 채색한 2차원 이미지 및 체험자 채색이 적용된 입체 오브젝트를 이용한 기념품제작이 이루어지도록 하는 데 있다.

상기한 바와 같이 구성된 본 발명에 의하면, 오프라인상 색칠하기 용지에 체험자가 채색한 2차원 이미지의 색상이 적용된 입체 오브젝트가 홀로그램, 가상현실 또는 증강현실 등을 통하여 동영상으로 출력됨으로서, 사용자의 흥미를 증진시키고, 창의성을 개발하며, 더욱이 2차원 이미지의 색상을 입체 오브젝트에 적용하는 과정에서 입체 오브젝트를 1회전시키면서 2차원 이미지의 색상이 입체 오브젝트에 적용되도록 출력함으로서 체험자의 흥미를 더 할 수 있게 되는 효과가 있다.

또한, 상기한 오프라인상 색칠하기 용지의 2차원 이미지와 입체 오브젝트를 매칭시키기 위한 인식코드로, 바형태의 색상이 조합된 색상코드를 사용함으로서, 데이터처리량이 감소될 수 있게 되고, 오프라인상 2차원 이미지의 색상을 입체 오브젝트에 적용하는 과정에서, 2차원이미지 상 표현되지 않는 부분에 대해서는 해당 부분의 연결 또는 대칭되는 부분의 색상을 복사함으로서 증강현실의 입체 오브젝트상 이미지 맵핑이 용이하고 빠르게 이루어지도록 하면서, 맵핑을 위한 데이터 저장공간을 적게 차지함으로서, 저장공간이 상대적으로 작고 제한된 스마트폰 등에서도 다양한 종류의 증강현실 체험이 가능하게 되는 효과가 있다.

아울러, 색칠하기 용지의 2차원 이미지 혹은 2차원 이미지의 색상이 적용된 입체 오브젝트를 티셔츠나 컵등에 인쇄하여 사용자의 흥미와 만족도를 더 향상시킬 수 있다.

도 1 및 도 2는 본 발명에 따른 색칠하기 용지를 나타내는 도면
도 3은 본 발명에 따른 증강현실의 맵핑 방법을 나타내는 도면

이하 본 발명의 실시 예를 첨부한 도면을 참조하여 설명한다.

우선, 본 발명에 따른 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 실시하기 위해서는, 오프라인상 색칠하기 용지의 2차원 이미지 및 인식코드를 입력받기 위한 카메라 혹은 스캐너; 입력되는 동영상을 출력하기 위한 홀로그램 출력장치, 가상현실 출력장치 및 증강현실 출력장치; 색칠하기 용지의 2차원 이미지 및 인식코드와 매칭되는 입체 오브젝트, 체험자가 채색한 2차원 이미지를 입체 오브젝트로 맵핑하기 위한 맵핑용 좌표계, 입체 오브젝트의 움직임데이터 및 배경영상 데이터를 포함하여 2차원 이미지를 입체 오브젝트로 변환하여 그 움직임을 포함한 동영상을 홀로그램, 증강현실 또는 가상현실로 출력하기 위한 데이터가 기록되는 서버; 상기 카메라 혹은 스캐너를 통해서 입력된 2차원 이미지를 홀로그램, 가상현실 혹은 증강현실 중 하나 혹은 이들의 조합을 통해서 순차적으로 혹은 동시에 출력되도록 동작을 제어하는 제어장치(컴퓨터 등)를 포함하여 구성된다.

상기에서 제어장치는 카메라와 디스플레이를 구비하고 자체 디스플레이가 가상현실 출력장치와 증강현실 출력장치로 동작가능한 스마트폰, 스마트패드, 노트북 등의 단말기이거나, 별도의 홀로그램출력장치와 증강현실 출력장치 및 가상현실 출력장치에 연결된 컴퓨터 등이 될 수도 있다.

그리고, 상기 서버에 기록되는 입체 오브젝트 및 맵핑용 좌표계 등 2차원 이미지의 색상을 입체 오브젝트에 적용하여 동영상으로 출력하기 위한 각종 프로그램 등을 작성하여 서버에 다운로드 가능하도록 기록하기 위한 작성자 단말기가 요구되며, 상기 작성자 단말기는 통상의 노트북컴퓨터, 데스크탑컴퓨터 등을 사용할 수 있다.

또한 상기 홀로그램 출력장치는 1방향 출력장치를 사용할 수도 있으나, 여러방향에서 동시에 홀로그램을 확인할 수 있도록 홀로그램용 필름이 피라미드형인 것을 사용할 수도 있다.

이러한 장치를 이용하여 본 발명의 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법의 실시 예를 살펴본다.

색칠하기 용지 인쇄

색칠하기 용지에는 도 1 및 도 2에 나타내는 바와 같이 색칠하기부(10)가 구비되어 매 용지별로 주제(예를 들면, 불가사리, 상어 등)에 따른 2차원 대상물의 윤곽선이 색칠하기부(10)내에 가장 중심되게 배치되고 그 주변으로 배경이미지들이 윤곽선만 배치되거나 일부 채색되어 배치된다.

그리고 상기 색칠하기부(10)의 일측에는 해당 색칠하기를 이용하여 동영상을 출력하기 위한 체험방법을 안내하는 안내문구가 기록된 안내부(20)와 해당 주제에 대한 학습적인 설명이 제시된 학습부(30) 및 해당 2차원 오브젝트의 주제와 해당 용지의 방향 등의 정보가 기록된 인식코드(40)가 인쇄된다.

이때, 상기 인식코드는 바코드, QR코드 등을 사용할 수도 있으나, 본 발명에서는 색상을 바형태로 배열하여 매 주제별 색상 배치를 달리한 색상코드를 사용하여 인식코드 인식을 위한 데이터처리량을 대폭 감소시킨다.

즉, 색상코드를 사용할 경우 색상의 배열에 따라 색칠하기 용지의 2차원 이미지 주제를 즉시 확인할 수 있고, 색상코드의 위치에따라 입력된 색칠하기 용지의 상하구분이 가능하며, 색상코드가 바형태로 구성되므로 그 기울기에 따라 입력된 색칠하기 용지의 삐뚤어짐 등의 왜곡을 확인하고 보정할 수 있게 되며, 상기 색상코드위치를 중심으로 2차원 이미지의 위치가 인식됨으로서 배경등의 이미지를 인식할 필요가 없어져서 데이터 처리량이 대폭 감소될 수 있다.

맵핍용 맵 및 좌표계 작성과정

체험자가 채색한 2차원 이미지의 색상을 입체 오브젝트상 대응되는 부분으로 적용하기 위해서는 맵핑용 맵 및 좌표계를 미리 작성하여 서버에 기록하되, 상기 맵핑용 맵 및 좌표계 작성과정에서는 해당 입체 오브젝트의 윤곽선만을 맵핑하고 색상이나 질감등 텍스쳐(texture)는 체험자가 채색한 2차원 이미지의 색상을 적용하기 위하여 설정하지 않는다.

다만, 2차원 이미지상 표시되지 않는 부분에 대해서는 어떠한 색상을 적용하여도 무방하므로, 필요한 경우에는 해당 부분에 대해서는 미리 텍스쳐를 적용할 수도 있다.

그리고, 이러한 맵핑용 맵 및 좌표계 작성과정에서 색칠하기 용지의 2차원 이미지상 표시되는 부분과 표시되지 않는 부분(예를 들면 도 1의 불가사리 저면은 표시되지 않는 부분으로 설정)을 구분하고, 상기 표시되지않는 부분을 다시 표시되는 부분과 대칭인지(예를 들면 도 2의 상어의 일측 지느러미), 표시되는 부분과 연결되는지(예를 들면 도 2의 상어의등부분), 표시되는 부분과 아무런 관련도 없는지(예를 들면 도 1의 불가사리 저면) 등을 구분하여 기록하여, 향후 맵핑(mapping)과정에서 사용자가 채색한 2차원 이미지의 색상이 존재하지 않는 부분에 대해서도 처리가 가능하도록 하면서, 일부는 복사를 통해서 맵핑이 가능하게 되므로 데이터처리량 및 처리시간을 감소시킬 수 있다.

만약, 입체 오브젝트의 모든 좌표에 대하여 2차원 이미지의 색상을 일일이 적용할 경우, 향후 맵핑과정에서 작업시간이 오래 걸리는 문제점이 있었고, 작성완료된 맵핑용 이미지 맵의 저장공간이 많이 소요되며, 처리되어야하는 데이터량이 많아 처리시간이 오래 걸리고 저장공간을 많이 차지하며, 맵핑을 위한 작업이 용이하지 않을 뿐 아니라 시간이 오래걸리는 문제점이 있었다.

오프라인 이미지 입력 과정

상기 카메라 또는 스캐너를 통해서 색칠하기 용지의 인식코드와 2차원 이미지를 획득하게 되는데, 도 3의 (a)와 같이 통상 카메라 등을 통해서 촬영된 이미지는 원근감 등에 의하여 왜곡이 발생되므로 도 3의 (b)와 같이 이미지 보정을 통하여 원근에 따른 왜곡을 보정하고, 동영상으로 표현되지 않는 색칠하기 용지 상 배경 이미지, 학습부 이미지 등은 제거한다.

이 과정에서 인식코드에 의하여 해당 2차원 이미지의 주제가 무엇인지를 확인하고, 용지의 방향 및 스캔 혹은 촬영된 용지의 기울기, 원근에 따른 왜곡 등을 보정한다.

구체적으로, 본 발명에서는 인식코드로 색상코드를 사용하므로, 색상조합에 따라 2차원 이미지의 주제를 확인하고, 각 생상코드를 구성하는 색상바의 기울기에 따라 용지의 기울기 또는 왜곡을 확인하며, 색상코드의 위치에 따라 용지의 방향을 확인하고, 해당 색칠하기부의 위치(좌표사용) 및 입체 오브젝트로 표시된 2차원 이미지를 파악한다.

이러한 2차원 이미지 획득 과정에서 사용자가 색칠하기 종이에 칠한 현실색상이 획득된다.

입체 오브젝트 출력 및 동영상 출력과정

상기 2차원 이미지 획득 과정에서 얻어진 체험자가 채색한 2차원 이미지 색상을 상기 맵핑용 맵 및 좌표계를 이용하여 입체 오브젝트상에 표시하는데, 비표시부분 중 대칭영역은 해당 대칭영역과 대칭되는 부분의 색상을 복사하고, 연결영역은 해당 연결영역과 대응되는 부분의 색을 복사하여 맵핑시키고, 표시되지 않는 부분은 서버에 기 설정되어 기록된 색상 혹은 반대면 색상으로 맵핑시켜 입체 오브젝트에 채험자가 채색한 2차원 이미지의 색상을 맵핑한다.

이 과정에서 입체 오브젝트가 채험자가 채색한 2차원 이미지의 색상을 포함하지 않고 투명 혹은 기설정된 임의의 색으로 우선 표시된 후, 채험자가 채색한 2차원 이미지의 색상을 상기 입체 오브젝트상에 표시하고 이 과정을 출력해주는데, 그 예로서 홀로그램상에 해당 입체 오브젝트를 채험자가 채색한 2차원 이미지의 색상을 반영하지 않은채 투명 혹은 기설정된 색으로 표시한 후, 상기 입체 오브젝트가 1회전하면서 순차적으로 채험자가 채색한 2차원 이미지의 색상이 입혀지도록 한다.

이와 같이 홀로그램상에서 색상맵핑이 완료되면, 해당 입체 오브젝트는 가상현실 출력장치인 스크린으로 이동되어, 스크린상에서 채험자가 채색한 2차원 이미지의 색상이 반영된 입체 오브젝트가 움직이게 되며, 사실감을 더하기 위하여 해당 입체 오브젝트와 관련된 기 설정된 배경영상도 함께 출력된다.

예를 들어 불가사리의 경우 스크린에는 각종 바다생물을 포함한 바다 동영상이 출력되고, 채험자가 채색한 2차원 이미지의 색상이 적용된 입체 오브젝트가 상기 바다 동영상속으로 투입되어 움직이는 동영상으로 출력된다.

이와 같이 홀로그램으로부터 가상현실로 입체 오브젝트가 실제로 이동하는 것과 같은 느낌을 주기 위하여 상기 홀로그램상에서는 입체 오브젝트가 가상현실 출력장치측으로 이동하는 영상을 표시해주고, 가상현실 출력장치에서는 입체 오브젝트가 스크린의 일측모서리에서 진입하는 영상으로 표시해줄 수도 있다.

이러한, 동영상 표현과정에서, 홀로그램의 입체 오브젝트는 증강현실 출력장치로 이동될 수도 있으며, 이러한 동영상 출력장치의 출력순서 및 매체 선택은 당업자라면 다양한 방법으로 실시가능한 것이다.

기타 체험 과정

상기 색칠하기를 통한 입체 오브젝트의 동영상 출력은 통상 별도로 마련된 체험장에서 이루어지고, 체험이 완료된 후에는 상기 색칠하기 용지가 여러장이 한 권으로 제작된 색칠하기 책을 휴대하여, 가상현실 출력장치나 홀로그램 출력장치 등이 없는 가정 등에서 도 4에 나타내는 바와 같이 색칠하기를 한 후 스마트 단말기를 통해서 증강현실상 동영상으로 출력이 가능하게 된다.

또한, 상기 체험자가 채색한 2차원 이미지 및 체험자 채색이 적용된 입체 오브젝트를 컵, 의류 등에 인쇄하여 기념품으로 제작할 수도 있다.

Claims (5)

1. 오프라인 상에서 2차원 이미지의 윤곽선이 인쇄되고, 일측에 해당 2차원 이미지정보를 포함한 색칠하기 용지의 인식을 위한 정보를 포함하는 인식코드가 인쇄되어, 체험자에 의하여 채색된 색칠하기 용지를 스캐너 또는 카메라를 통해서 입력받는 오프라인 이미지 입력 과정;
   상기 입력된 오프라인 이미지의 인식코드에 따라 그에 대응되는 기 설정된 입체 오브젝트를 홀로그램으로 표시하되, 체험자가 채색한 2차원 이미지의 색상을 포함하지 않고 우선 투명 혹은 기설정된 임의의 색으로 입체 오브젝트가 표시되는 입체 오브젝트 표시 과정;
   상기 입체 오브젝트가 1회전하면서 순차적으로 체험자가 채색한 2차원 이미지의 색상이 상기 입체 오브젝트 표면에 표시되도록 하는 입체 오브젝트 색상 출력과정과;
   상기 입체 오브젝트의 움직임 영상과 해당 입체 오브젝트와 관련된 기 설정된 배경영상을 포함한 동영상을 가상현실을 사용하여 디스플레이로 출력해주는 동영상 출력과정;
   을 포함하여 구성되는 것을 특징으로 하는 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법 .
2. 삭제
3. 제 1항에 있어서, 인식코드는 바형태의 색상조합으로 이루어진 색상코드를 사용하는 것을 특징으로 하는 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법 .
   
4. 청구항 1 또는 3항에 있어서, 상기 체험 방법에는 동영상 출력과정을 수행하고, 이후 색칠하기 용지를 이용하여 체험자가 채색한 색상이 적용된 증강현실 체험이 별도로 이루어지도록 하는 것을 특징으로 하는 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법.
   
5. 제 4항에 있어서, 획득된 체험자가 채색한 2차원 이미지 및 체험자 채색이 적용된 입체 오브젝트를 이용한 기념품제작이 이루어지도록 하는 것을 특징으로 하는 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법.

Images