KR102613042B1 - 어클루젼이 없는 3차원 증강현실 컬러링 방법 - Google Patents

Abstract

본 발명은, 3차원 증강현실으로 컬러링을 하고자 하는 3차원 컬러링 대상을, 어클루젼(occlusion)이 발생하지 않도록, 복수 개의 오브젝트 파트(object parts)로 분할하는 단계(S100); 상기 분할된 복수 개의 오브젝트 파트를 2차원 평면에 배치한 2차원 컬러링 출력물을 출력하는 단계(S200); 상기 2차원 컬러링 출력물에 대해서, 어린이를 포함한 사용자로부터 컬러링을 입력받고, 상기 2차원 컬러링 출력물을 스마트 단말에 설치된 앱을 통해서 촬영하여 획득하는 단계(S300); 상기 2차원 컬러링 출력물에서의 복수 개의 오브젝트 파트를 인식하여, 상기 스마트 단말 앱에서 상기 복수 개의 오브젝트 파트를 합쳐서 전체 오브젝트를 완성하는 단계(S400); 및 상기 완성한 전체 오브젝트를 애니메이팅하는 단계;를 포함하는, 어클루젼이 없는 3차원 증강현실 컬러링 방법을 개시한다.

Description

어클루젼이 없는 3차원 증강현실 컬러링 방법{METHOD OF AUGMENTED REALITY COLORING THREE DIMENSIONALLY PREVENTING OCCLUSIONS}

본 발명은 3차원 증강현실 컬러링 방법에 관한 것으로, 보다 상세하게는, 종래 3차원 컬러링의 경우, 어클루젼(occlusion)이 발생할 수밖에 없어서, 해당 어클루젼에 대해서는 추정을 통해서 3차원 모델을 생성하여서, 실제로 어린이가 생각하던 컬러링과는 다른 색상의 3차원 컬러링이 되어버리는 현상이 발생하는데, 이와 같은 현상을 방지할 수 있는, 즉 어클루젼이 없는 3차원 증강현실 컬러링 방법에 관한 것이다.

최근 어린이 학습 교구나 놀이 교구 등은 최신 기술을 접목한 교구가 많이 출시되고 있다. 관련한 최근 어린이 놀이 또는 학습 교구와 관련한 기술(발명)로서, 대한민국 특허 제10-2409265호(2022.06.10. 등록, 발명의 명칭 : 폴리오미노를 이용한 코딩교구), 대한민국 특허 제10-2236917호(2021.03.31. 등록, 발명의 명칭 : 폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법) 등이 있다.

한편, 그림 색칠하기는 오래 된 어린이들의 학습 교구였지만, 최신 기술을 접목하여 개선할 필요가 많은 분야로서, 본 출원인은 그림 색칠하기에 대해서 주목하여 최신 기술을 접목하고자 하였다.

대한민국 특허 제10-2409265호(2022.06.10. 등록, 발명의 명칭 : 폴리오미노를 이용한 코딩교구(CODING　EDUCATION APPARATUS USING POLYOMINO)) 대한민국 특허 제10-2236917호(2021.03.31. 등록, 발명의 명칭 : 폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법(THREE DIMENSIONAL MODELING METHOD USING THREE DIMENSIONAL DEPTH MAP AND REGION SEGMENTATION BASED ON AN SINGLE CAMEAR FOR ASSEMBLY TYPE EDUCATION APPARATUS WITH POLYOMINO))

본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 종래 3차원 컬러링의 경우, 어클루젼(occlusion)이 발생할 수밖에 없어서, 해당 어클루젼에 대해서는 추정을 통해서 3차원 모델을 생성하여서, 실제로 어린이가 생각하던 컬러링과는 다른 색상의 3차원 컬러링이 되어버리는 현상이 발생하는데, 이와 같은 현상을 방지할 수 있는, 즉 어클루젼이 없는 3차원 증강현실 컬러링 방법을 제공하는 것에 있다.

상술한 과제를 실현하기 위한 본 발명의 일 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법은, 3차원 증강현실으로 컬러링을 하고자 하는 3차원 컬러링 대상을, 어클루젼(occlusion)이 발생하지 않도록, 복수 개의 오브젝트 파트(object parts)로 분할하는 단계(S100); 상기 분할된 복수 개의 오브젝트 파트를 2차원 평면에 배치한 2차원 컬러링 출력물을 출력하는 단계(S200); 상기 2차원 컬러링 출력물에 대해서, 어린이를 포함한 사용자로부터 컬러링을 입력받고, 상기 2차원 컬러링 출력물을 스마트 단말에 설치된 앱을 통해서 촬영하여 획득하는 단계(S300); 상기 2차원 컬러링 출력물에서의 복수 개의 오브젝트 파트를 인식하여, 상기 스마트 단말 앱에서 상기 복수 개의 오브젝트 파트를 합쳐서 전체 오브젝트를 완성하는 단계(S400); 및 상기 완성된 전체 오브젝트를 애니메이팅하는 단계(S500);를 포함한다.

여기서, 상기 S500 단계에서, 상기 완성된 전체 오브젝트의 움직임을 구현할 때, 상기 복수 개의 오브젝트 파트 간 각각의 관절에 대해서 움직임 모델이 미리 설정되는 단계(S510); 및 상기 완성된 전체 오브젝트가 움직이면서, 동시에 상기 완성된 전체 오브젝트의 움직임에 따라서 상기 미리 설정된 각각의 관절에 대한 움직임 모델을 통해서 계산된 복수 개의 오브젝트 파트가 같이 움직이도록 구현되는 단계(s520);를 포함한다.

본 발명의 일 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법에 의하면,

종래 3차원 컬러링의 경우, 어클루젼(occlusion)이 발생할 수밖에 없어서, 해당 어클루젼에 대해서는 추정을 통해서 3차원 모델을 생성하여서, 실제로 어린이가 생각하던 컬러링과는 다른 색상의 3차원 컬러링이 되어버리는 현상이 발생하는데, 이와 같은 현상을 방지할 수 있다.

복수 개의 오브젝트로 분할을 하고, 각 오브젝트 간의 관절에 대한 개별적인 서로 다른 움직임 모델을 통해서, 종래의 제한된 움직임을 넘어서서, 좀 더 자연스럽고 다양한 움직임이 가능하여, 어린이 등 사용자의 긍정적인 반응이나 호응을 얻을 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법의 흐름 순서도를 나타낸 것이다.
도 2는 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법에서 S100단계를 설명하기 위한 예시 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법에서 S300단계를 설명하기 위한 예시 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법에서 S400단계를 설명하기 위한 예시 도면이다.
도 5 내지 도 8은 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법을 사용한 다른 예에서의 S400단계 및 S500단계를 설명하기 위한 예시 도면이다.

이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

앞서 발명의 배경이 되는 기술에서 설명한 바와 같이, 3차원 컬러링에 대한 최근 몇 가지 기술이 있으나, 종래 그림 색칠하기를 스마트 단말로 촬영하면, 색상만을 인식하여, 이미 만들어져 있는 3차원 모델의 텍스처(texture)로서 색상만을 덧입히는 수준이었다.

하지만, 해당 종래 기술들은, 어쩔 수 없이 어클루젼(occlusion)이 발생할 수밖에 없다는 기술적 문제를 안고 있었다. 어클루젼이라는 것을 예를 들어 설명하면, 사자의 그림을 2차원 평면에서 색칠을 하게 되면, 사자의 갈기 뒤나 또는 겨드랑이 사이 등등 2차원 평면에서는 어린이가 그릴 수 없는, 숨겨져 있는 영역이 발생하고, 해당 숨겨진 영역에 대해서는 어린이가 전혀 색칠하지 않아서, 통상 추정 알고리즘으로 해당 숨겨진 영역, 즉 어클루젼에 대한 색상을 예측하거나 추측하는 모델이 별도로 필요하며, 이렇게 추정된 색상으로 3차원 모델의 텍스처로 덧입혔었다.

이렇게 할 경우, 실제로 어린이가 머리 속에 그리고 상상했던 사자에 대한 전체 컬러링과는 다른 색상의 3차원 컬러링이 되어버리는 현상이 발생하였다. 본 출원인은 이와 같은 기술적 문제를 본 발명에서는 해결하고자 하였다.

도 1은 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법의 흐름 순서도를 나타낸 것이고, 도 2는 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법에서 S100단계를 설명하기 위한 예시 도면이고, 도 3은 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법에서 S300단계를 설명하기 위한 예시 도면이고, 도 4는 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법에서 S400단계를 설명하기 위한 예시 도면이다.

도 1에 도시된 바와 같이, S100단계에서는, 3차원 증강현실으로 컬러링을 하고자 하는 3차원 컬러링 대상, 예를 들어 사자 또는 사자의 3차원 컬러링 모델을, 어클루젼(occlusion)이 발생하지 않도록, 즉 3차원 모델 구현을 위해서 필요한 모든 2차원적인 파트로, 즉 복수 개의 오브젝트 파트(object parts)로 분할한다.

다음으로, S100 단계에서 분할된 복수 개의 오브젝트 파트를 2차원 평면에 배치한 2차원 컬러링 출력물을 출력한다. 이 때, 2차원 평면 내에서 복수 개의 오브젝트 파트를 적절하게 배치하여 최대의 3차원 컬러링 대상이 출력되도록 하는 것이 가능하다.

예를 들어, 인공지능이나 시뮬레이션을 통해서, 3차원 컬러링 대상인 사자, 호랑이, 기린이 적절하게 배치되게 하는 배치 1과, 3차원 컬러링 대상인 사자, 호랑이, 기린, 원숭이가 적절하게 배치되게 하는 배치 2가 있다면, 배치 2를 선택하는 것이 최적의 배치가 될 수 있다. 여기서 출력이라는 것은 물리적인 출력물을 의미한다. 3차원 컬러링 대상을 돌려가면서 어클루젼 없이 색칠할 수 있는 아이패드나 스마트 단말 상의 구현을 제외하기로 한다.

다음으로, 도 3에 도시된 바와 같이, S300단계에서는, S200 단계에서 출력된 2차원 컬러링 출력물에 대해서, 어린이를 포함한 사용자로부터 컬러링, 색칠을 입력받고, 이 2차원 컬러링 출력물을 스마트 단말에 설치된 앱을 통해서 촬영하여 획득하는 단계이다. 이미지 프로세싱을 통해서 각각의 복수의 오브젝트 파트를 인식하는 단계인 다음 S400단계를 위해서, 2차원 컬러링 출력물의 이미지를 획득하는 것이다.

스마트 단말에 설치된 앱은 중앙 서버 또는 클라우드 서버와 연동하여 필요한 경우 업데이트가 가능하다. 앱에는 3차원 컬러링 대상에 대한 3차원 모델 정보가 저장하고 있거나 또는 서버와 연계하여 구현될 수 있다. S300단계에서는, 사용자의 스마트 단말에 설치된 앱의 카메라 기능을 통해서, 어린이가 색칠한 2차원 컬러링 출력물을 촬영하여, 복수의 오브젝트 파트를 모두 인식하게 된다.

다음으로, 도 4에 도시된 바와 같이, S400 단계에서는, S300 단계에서 획득한 2차원 컬러링 출력물에서의 복수 개의 오브젝트 파트를 인식하여, 스마트 단말 앱에서 복수 개의 오브젝트 파트를 합쳐서 전체 오브젝트를 완성하는 단계이다. 이렇게 구현됨으로써 어클루젼 없는 전체 오브젝트에 대한 모든 정보를 얻을 수 있어서, 종래 기술의 문제점인 어클루젼에 대한 추정 또는 예측 모델이나 알고리즘이 불필요하게 된다.

마지막으로, S500 단계에서는, S400단계에서 완성된 전체 오브젝트를 애니메이팅하는 단계이다. 참고로, 도 5 내지 도 8은 본 발명의 바람직한 실시예에 따른 어클루젼이 없는 3차원 증강현실 컬러링 방법을 사용한 다른 예에서의 S400단계 및 S500단계를 설명하기 위한 예시 도면이다.

도 5 내지 도 8에 도시된 바와 같이, 책가방 인형의 어클루젼이 없도록 분할된 복수 개의 오브젝트에 대해서, S400단계에서 합쳐서 전체 오브젝트를 완성하고, S500단계에서는, 완성된 전체 오브젝트를 애니메이팅하게 된다.

이 때, 상기 S500 단계에서는, 완성된 전체 오브젝트의 움직임을 구현할 때, 상기 복수 개의 오브젝트 파트 간 각각의 관절에 대해서 움직임 모델이 미리 설정되는 단계(S510), 및 완성된 전체 오브젝트가 움직이면서, 동시에 상기 완성된 전체 오브젝트의 움직임에 따라서 상기 미리 설정된 각각의 관절에 대한 움직임 모델을 통해서 계산된 복수 개의 오브젝트 파트가 같이 자연스럽게 움직이도록 구현되는 단계(s520);를 포함하는 것이 바람직하다. 이렇게 만들어진 전체 오브젝트를 이용하여, 메타버스 등 가상세계인 월드에서 사용자를 대신할 수도 있다.

한편, 스마트 단말의 앱을 통해서, 디스플레이 화면의 일부를 통해서, 또는 시간적으로 애니메이팅 하기 전의 소정 시간 동안, 또는 애니메이팅하는 동안의 소정의 시간 동안, 어린이 맞춤형 광고를 제공하는 것이 가능하다. 종래 어린이 광고 노출 효과가 높은 뉴미디어(유튜브 등) 광고에 광고주가 집중되었으나, 어린이 광고 노출이 불가능해져 어린이 대상 광고 플랫폼 수요가 증가하고 있는 것을, 본 발명을 통해서 대응할 수 있다. 즉, 어린이 맞춤 폐쇄형 SNS 플랫폼(본 발명이 구현된 스마트 단말의 앱 및 서버 등) 구축을 통하여 광고 수주 후 필터링하여 어린이 대상 맞춤 광고를 노출시켜 광고 수익을 창출하는 것이 가능하다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

S100 ...어클루젼(occlusion)이 발생하지 않도록, 3차원 컬러링 대상을 복수 개의 오브젝트 파트(object parts)로 분할하는 단계
S200 ...2차원 컬러링 출력물을 출력하는 단계
S300 ...2차원 컬러링 출력물을 스마트 단말에 설치된 앱을 통해서 촬영하여 획득하는 단계
S400 ...스마트 단말 앱에서 상기 복수 개의 오브젝트 파트를 합쳐서 전체 오브젝트를 완성하는 단계
S500 ...완성된 전체 오브젝트를 애니메이팅하는 단계
S510 ...복수 개의 오브젝트 파트 간 각각의 관절에 대해서 움직임 모델이 미리 설정되는 단계
S520 ... 완성된 전체 오브젝트의 움직임에 따라서 미리 설정된 각각의 관절에 대한 움직임 모델을 통해서 계산된 복수 개의 오브젝트 파트가 같이 움직이도록 구현되는 단계

Claims (2)

1. 3차원 증강현실으로 컬러링을 하고자 하는 3차원 컬러링 대상을, 어클루젼(occlusion)이 발생하지 않도록, 복수 개의 오브젝트 파트(object parts)로 분할하는 단계(S100);
   상기 분할된 복수 개의 오브젝트 파트를 2차원 평면에 배치한 2차원 컬러링 출력물을 출력하는 단계(S200);
   상기 2차원 컬러링 출력물에 대해서, 어린이를 포함한 사용자로부터 컬러링을 입력받고, 상기 2차원 컬러링 출력물을 스마트 단말에 설치된 앱을 통해서 촬영하여 획득하는 단계(S300);
   상기 2차원 컬러링 출력물에서의 복수 개의 오브젝트 파트를 인식하여, 상기 스마트 단말 앱에서 상기 복수 개의 오브젝트 파트를 합쳐서 전체 오브젝트를 완성하는 단계(S400); 및
   상기 완성된 전체 오브젝트를 애니메이팅하는 단계(S500);를 포함하고,
   상기 S500 단계는,
   상기 완성된 전체 오브젝트의 움직임을 구현할 때, 상기 복수 개의 오브젝트 파트 간 각각의 관절에 대해서 움직임 모델이 미리 설정되는 단계(S510); 및
   상기 완성된 전체 오브젝트가 움직이면서, 동시에 상기 완성된 전체 오브젝트의 움직임에 따라서 상기 미리 설정된 각각의 관절에 대한 움직임 모델을 통해서 계산된 복수 개의 오브젝트 파트가 같이 움직이도록 구현되는 단계(s520);를 포함하는, 어클루젼이 없는 3차원 증강현실 컬러링 방법.
2. 삭제