KR101914448B1 - 평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법 - Google Patents

Abstract

평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법으로서, 이미지 입력모듈이 이미지를 입력받는 제1단계와;분리모듈이 제1단계에서 입력된 이미지에서 배경과 객체를 구분하여 분리 저장하는 제2단계와;
분리모듈이 분리해낸 배경과 객체를 배치하고 카메라의 위치를 배치모듈이 입력받는 제3단계와;움직임DB에 미리 저장된 움직임 데이터를 불러와 미리 지정된 형태대로 가상의 공간에서 배경, 객체, 카메라가 움직이도록 배치모듈이 조정하는 제4단계와;카메라에 저장되는 영상을 녹화모듈이 저장하는 제5단계를 포함할 수 있다.

Description

평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법{METHOD FOR PRODUCING THREE DIMENSIONAL IMAGE FROM TWO DIMENSIONAL IMAGE}

본 발명은 평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법에 관한 것이다.

본 발명은 가상카메라 워킹기술과 레이어워킹기술을 이용한 입체영상 구현방법에 관한 것이다. 종래에 제공되는 만화의 경우 처음부터 3D형태로 작업하는 경우가 아니라면 최초에 만들어진 2D형태로 감상하는 것 이외에는 다른 감상방법이 없었다.

그러나 2D 형태의 그림이 가지는 한계를 극복하면서 독자에게 현장감을 느끼게 하기 위하여 웹툰의 경우에는 최근에 배경음악이나 효과음을 넣거나 장면전환효과를 넣는 것과 같은 시도는 있었으나 처음부터 애니메이션화해서 작업된 영상이나 3D 형태로 작업된 영상과 비교하였을 때 느낄 수 있는 영상미는 크지 않았다.

특히 처음부터 종래의 작화방식으로 작업을 하는 편이 작가가 전달하고자 하는 바를 더 명확하게 전달할 수 있다고 하여도 때로는 2D형태가 아닌 효과를 필요로 하는 경우가 종종 있다. 그런데 현재의 작업툴이나 작업방법으로는 다양한 방법의 효과를 넣기에 부족한 점이 많았다.

대한민국 특허 공개번호 제10-2015-0085195호와 같은 경우에는 애니메이션 효과가 적용된 웹툰을 사용자 단말로 제공하는 방법 및 시스템을 제공하는데 웹툰을 수신하는 단말에서 애니메이션 모드가 적합한지를 판단하고 애니메이션 모드가 선택이 되며 웹툰에 애니메이션 효괄르 적용하는데 단말로부터 수신되는 사용자 제스처에 응답하여 애니메이션 효과가 적용된 웹툰을 디스플레이하게 된다. 그런데 여기에서 제시하는 애니메이션 효과라고 하는 것은 말풍선의 형태, 크기 , 생상, 투명도 명암등에 변화를 주는 것으로서 그림 자체에 변화를 주는 것은 아니었다.

본 발명은 상기한 바와 같은 문제점을 극복하기 위하여 안출된 것으로 2D형태의 이미지를 이용하여 입체적인 형태의 영상을 얻을 수 있도록 하는 방법을 제공한다.

상기한 바와 같은 목적을 달성하기 위하여 평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법을 제공하는데 이미지 입력모듈이 이미지를 입력받는 제1단계와;분리모듈이 제1단계에서 입력된 이미지에서 배경과 객체를 구분하여 분리 저장하는 제2단계와; 분리모듈이 분리해낸 배경과 객체를 배치하고 카메라의 위치를 배치모듈이 입력받는 제3단계와; 움직임DB에 미리 저장된 움직임 데이터를 불러와 미리 지정된 형태대로 가상의 공간에서 배경, 객체, 카메라가 움직이도록 배치모듈이 조정하는 제4단계와; 카메라에 저장되는 영상을 녹화모듈이 저장하는 제5단계를 포함할 수 있다.

배치모듈은 카메라가 회전하는 기준이 되는 중심점과 객제가 회전하는 중심이 되는 중심점 및 접는선을 설정할 수 있다.

움직임 DB는 카메라의 회전방향,회전방법, 움직임의 시작, 끝지점들의 정보를 포함할 수 있다.

접는선은 직선, 곡선 중에 어느 하나 일 수 있다.

객체가 분리된 배경영역에는 그림자를 배치하도록 할 수 있다.

배치모듈은 배경 및 객체는 곡면의 안쪽면이나 바깥쪽면에 배치하도록 할 수 있다.

복잡한 모델링이 없이도 기존의 이미지를 이용하여 공간감을 갖는 이미지를 생성함으로써 다양한 표현이 가능하도록 하는 효과를 갖는다.

도1내지 도8은 본 발명에 따른 일실시예를 도시하는 도면

이하, 첨부한 도면을 참고로 하여 본 발명을 상세하게 설명한다. 도1은 본 발명에 따르는 처리방법의 일실시예를 도시하이 위한 도면이다. 통상 2D 이미지를 이루는 구성요소는 배경과 배경위에 그려진 캐릭터나 물건등의 사물등으로 나누어질 수 있는데 본 발명에서는 한 개의 장면을 이루는 이미지들을 움직임이 거의 없는 배경과 움직임이 있을 수 있는 사물들을 통칭하는 '개체'로 나누어 부르기로 한다. '개체'는 인물이나 동물, 식물, 도구 등의 사물을 포함할 수 있다. 또한 말풍선이나 효과음표시, 대사 같은 텍스트 또한 개체에 포함될 수 있다. 이러한 작업은 서버에 마련된 입력모듈, 분리모듈, 배치모듈에 의해서 이루어진다.

도2,3은 본 발명에 따른 처리방법의 기본 개념을 도시한다. 도2에 따르면 이미지에서 배경을 제외한 개체를 분리해 내고 개체와 배경이 일정간격을 갖도록 하는데 개체와 배경은 3차원공간상에서 각각 원래 향하고 있던 방향과 다른 방향을 향하도록 할 수 있다. 이때 카메라는 특정위치에서 배경과 개체를 찍도록 하는데 개체는 배경과 분리되어 다른 각도로 회전되거나 이동할 수 있다. 도2에서 볼 때 개체는 배경으로부터 분리되는데 배경으로부터 개체를 일정간격 띄어놓아 찍어서 새로운 이미지를 얻음으로써 원래의 이미지와는 다른 입체화된 이미지를 얻도록 한다. 이때 이미지가 특별한 방향으로 움직이도록 하거나 배경, 개체를 각각 움직이도록 하거나 회전시키도록 하고 이러한 움직임을 찍도록 하여 새로운 영상을 얻도록 할 수 있다.

도3은 또다른 실시예를 도시하는데 도3은 개체나 배경을 움직이도록 하는대신에 카메라를 움직이도록 하는데 배경으로부터 객체를 분리시킨후에 배경과 카메라 사이에 놓이게되는 중심점을 중심으로 카메라가 회전하면 객체와 배경을 찍게 된다. 도3에 도시된 것은 중심점을 정중앙에 놓고 카메라를 왼쪽에서 오른쪽으로 중심점을 중심으로 회전시키는 설정을 통해서 영상을 만들게 된다.

비록 최초의 이미지가 3D형태로 만든 것은 아니지만 카메라로 찍으면 평면상에 보이기 때문에 3D공간상에 구현한 것과 2D이미지를 분리하여 3D공간상에 두는것에 아주 큰 차이가 나지는 않는다. 또한 최근에는 카툰의 경우 3D로 만들더라도 2D로 보이도록 하는 카툰렌더링을 하여 좀더 자연스럽게 2D처럼 보이도록 하기 때문에 처음부터 2D로 만들어진 이미지를 이용하여 3D처럼 보이도록 하는 본원발명의 방법을 적용할 때 결과물에서 크게 차이가 나지 않는다.

중심점은 배경에 놓일 수도 있으며 배경의 앞이나 뒤쪽에 놓일 수도 있다. 다만, 카메라가 움직이도록 하여 공간감을 느끼도록 하기 때문에 가능하면 원호를 따라서 움직이는 것이 좋기 때문에 전후좌우 상하등 어느쪽으로나 회전이 가능하며 평면전체를 360도까지 회전하는 것도 가능하다. 또한,배경으로부터 분리된 객체를 배경과 처음과는 다른 각도로 배치한뒤에 카메라를 움직이도록 하여 공간감을 더 크게 느끼도록 할 수 있다.

도4는 또다른 실시예를 도시하는데 카메라와 이미지(배경, 객체)를 함께 움직이도록 하여 더 크게 공간감을 느낄 수 있도록 하는데 필요에 따라 배경과 객체가 분리된 상태에서 공간감을 느끼는 영상을 얻을 수 있도록 카메라가 움직이도록 한다. 배경과 객체가 연출의도나 공간감을 가장 크게 느낄 수 있는 형태로 배치한후 카메라를 움직이며 영상을 얻는데 배경에 대해 직선방향으로 움직이거나 배경과 객체를 비스듬하게 배치한 상태에서 카메라를 좌우방향으로 움직이거나 미리 지정된 위치에 미리 지정된 시간만큼 있따가 움직이도록 할 수 있다. 이때 개별객체나 배경 또한 개별적으로 움직이도록 할 수 있으며 공간적으로 움직이지는 않더라도 객체의 모양이 변형되거나 색깔이 바뀌거나 효과음이 들어가는 것과 같은 효과를 주도록 할 수 있다. 이처럼 본 발명은 2D고정형이미지를 움직임 및 입체감이 있는 이미지 및 영상으로 만드는 것으로서 기존에는 움직이지 않는 이미지에 움직임을 주고자 할 때에는 개별 이미지를 별도로 재 작업하여 다른 이미지를 만들거나 혹은 애니메이션툴로 다시 작업해야 하는 번거로움이 있었다. 더우기 움직임이 있는 영상으로 만들기 위해서는 6가지 정도의 프로그램을 이용하여야 했으며, 따라서, 6가지의 프로그램을 다룰 수 있는 엔지니어를 필요로 했다. 움직임이 있는 장면을 위해서는 이미지를 분리하는 기능과 분리된 이미지에 눈을 깜박이거나 입을 벌리고 닫는 등의 동작과 몸을 움직인다거나 또는 팔이나 발을 차거나 물건을 던지는 동작 등 다양한 사람의 움직임 및 사물의 움직임 동작등을 필요로 하고 고정형이미지를 입체감이 있는 영상으로 만들 시에 다양한 촬영 및 편집프로그램을 사용하여야 하는데, 입체감의 표현은 대부분 게임 엔진을 사용하거나 혹은 입체적인 효과를 주는 엔진을 별도로 개발하여야 했다. 그런데 게임엔진이나 에프터이펙트 또는 마야 등의 프로그램은 다루기도 쉽지 않아 전문적인 교육을 받아야만 사용할 수 있었다. 본 발명은 고정형이미지 예를 들어 배경-객체(인물.사물,텍스트) 등으로 분리하여 배치를 하게 하며 각각 혹은 특정이미지에 효과를 주어 장면을 생성하도록 하며 이때 개별이미지를 분리배치하여 가상의 카메라를 움직여 고정적인 분리이미지에 입체적인 효과를 낼 수 있도록 할 수 있다. 또한 가상의 카메라를 고정시켜 분리 배치된 이미지를 개별적으로 회전을 시켜 분리된 이미지개별에 입체적인 효과를 낼 수 있도록 하여 2D고정형이미지를 간단한 조작으로 움직임 및 입체감이 있는 이미지 및 영상으로 볼 수 있도록 한다.

종래에는 단순한 2D의 이미지에 움직임을 주기 위해서는 각각의 이미지를 분리하여 움직임을 주고자 하는 이미지에 개별 동작을 그리거나 혹은 이미지를 다시 그릴 때 움직임을 주고자 하는 부분을 새로이 그림으로써 그림을 연속적으로 보여줌으로써 움직임을 주어야 했다 또한 사진일 경우, 여러 장의 사진을 교차하여 보여줌으로써 움직이는 효과를 낼 수 있었으나, 그러기 위해서는 교차하게 되는 사진을 연속적으로 찍거나 하여 연결하여 보여주는 방식으로 연결하여야만 했다.

본 기술은 움직임을 주고자 하는 대상이미지를 선택한 후 대상이미지를 분리하여 대상이미지에 개별 동작에 대한 움직임을 주어 새로이 컷을 생성한 후 이를 영상화 혹은 연속화하여 이미지에 움직임효과를 준다.

.

또한, 이미지를 분리 할때 배경이미지와 대상이미지의 입체감을 주기 위하여 대상이미지 추출 부분(배경에서 대상이미지를 추출할 경우 추출된 부분은 흰색 혹은 검은색등 사용자가 지정하여 색이 변경 될 수 있음)의 배경에 그림자로 처리한 후 대상이미지와 배경을 카메라워킹 혹은 레이어워킹을 이용하여 개별로 움직이게 하여 입체감을 줄 수 있도록 한다.

이러한 방법으로 카메라의 위치를 고정하고 이미지를 움직이거나 이미지를 고정하고 카메라를 움직이거나 카메라가 이미지주위를 움직일 때 이미지도 함게 움직이도록 할 수 있다.

또한 입체감을 주기 위하여 특정이미지를 분리한 후 위한 이미지를 간격을 두고 배치하여 가상카메라를 두어 카메라를 회전시키도록 한다. 이때 가상카메라가 이동시에 각각의 이미지가 별도로 움직이도록 하여 입체감 및 역동성을 증가시킬 수 있다.

다른 예시로써 촬영장치를 이동시키는 것이 아닌 고정된 촬영장치에 분리한 각각의 이미지를 동시에 혹은 개별로 회전시켜 입체감을 줄 수 있도록 한다

도5는 본 발명에 따른 실시예를 도시한것으로서 배경으로부터 객체(인물)이 분리되는데 분리되는 객체는 배경과 일정간격을 두고 배치되는데 중심점을 중심으로 회전하듯이 배치되어 배경과 일정각도를 이루고 있으며 객체가 분리되어 나온곳은 그림자로 처리되어 있다. 그런데 최근에 2D로 카툰등을 작업할 때 배경은 따로 그려서 별도의 레이어로 배치하는 경우도 많기 때문에 배경 이미지를 별로도 제공을 받거나 제공받은 2D이미지가 여러개의 레이어를 가진 파일형태로 제공이 된다면 해당 레이어를 활성화시키는 것만으로 배경이미지를 띄울 수 있다. 객체들또한 별개의 레이어로 저장이 된 상태라면 해당 레이어를 3D공간상에서 배경이미지에 대해 일정각도를 갖도록 움직이게 할 수 있다. 별도의 레이어로 저장되지 않은 객체는 이미지에서 분리하여 배치하도록 할 수 있다. 도5의 하단에는 배경과 객체가 배치된후 가상의 카메라가 회전하여 이동하면서 만든 영상의 컷일부를 도시한다.

도6에는 두 개의 객체가 접히듯이 배경과 일정한 각도를 두고 배치되고 가상의 카메라가 배치된 객체주위를 중심점을 주위로 만들어진 원형태의 경로를 따라 이동하면서 영상을 만든다. 이러한 작업에 의하여 하단에 있는것과 같은 영상이 만들어진다.

도7은 사물, 배경이 가만히 있는 상태에서 카메라가 회전하면서 영상을 만든 예를 도시한것으롯 하단에 있는 것과 같은 6개의 컷을 생성한다.

그런데 배경으로부터 객체를 분리해 낸 후 배경과 객체를 배치할 때 공간감을 더 많이 느끼도록 하기 위하여 배경이나 객체를 원래의 그림과 같이 평평한 공간에 놓는 것이 아니라 구부러진 곡면상에 놓도록 할 수 있다. 즉, 원기둥을 좌우로 자른후 원기둥의 안쪽면에 배경이나 객체를 놓을 수 있다. 카메라가 배경전체를 찍는 것이 아니라 객체와 배경의 일부를 찍게 되면 배경과 객체가 멀리 있을수록 배경이 곡면상에 있는 것을 못느낄 뿐 아니라 배경이 곡면에 있을 때 입체로 만들어진것과 구별을 하기 힘들게 된다.

객체는 원기둥의 오목하게 들어간 부분이 아니라 바깥쪽으로 돌출한 부분에 이미지를 매칭시킬 수 있다. 이미지의 원래 모습이 원기둥에 가까운 모습이라면 원기둥의 표면에 투사하거나 구의 표면에 투사한 형태로 변형하고 카메라를 이동시켜 영상을 만듦으로써 배경과 객체가 만드는 공간감을 극대화하도록 할 수 있다. 이미지가 투사되는 입체는 그 외의 육면체나 삼각뿔등 2D이미지가 원래 갖는 입체의 형태와 가장 비슷한 형태를 갖는 입체를 사용할 수 있다.

도8은 또 다른 실시예를 도시하는 것으로서 구체적인 실시예를 도시한다. 순서도에 따르면 분리해야 하는 대상영역을 지정하고 대상영역의 이미지를 분리하고 재배치 하는데 배경과 객체를 완전히 분리하는 대신에 중심접이나 접는 선을 만들고 접는 선을 기준으로 객체들을 접어서 3차원공간상에 배경과 객체를 배치한후에 카메라를 이동하여 영상을 만들 수 있다. 접는선은 다양한 각도로 설정하는 것이 가능하며 접는선은 상하좌우로 자유롭게 설정가능하며 젖히게 되는 방향또한 설정하는 것이 가능하다. 접힘방법은 한면 전체를 젖힐 것인지 반을 접어서 젖힐것인지 곡선형태의 외곽선을 따라서 젖힐것인지 선택하도록 할 수 있으며 카메라의 위치나 회전 이동방향등도 설정할 수 있다. 이렇게 만들어진 컷을 이어 붙여 새로운 장면을 형성하게 된다.

각각의 객체는 움직이지 않더라도 색깔변경, 깜빡임, 흔들기 등의 효과를 주어 생동감있는 장면을 만들도록 할 수 있다.

Claims (6)

1. 평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법으로서,
   이미지 입력모듈이 이미지를 입력받는 제1단계와;
   분리모듈이 제1단계에서 입력된 이미지에서 배경과 객체를 구분하여 분리 저장하는 제2단계와;
   분리모듈이 분리해낸 배경과 객체를 배치하고 카메라의 위치를 배치모듈이 입력받는 제3단계와;
   움직임DB에 미리 저장된 움직임 데이터를 불러와 미리 지정된 형태대로 가상의 공간에서 배경, 객체, 카메라가 움직이도록 배치모듈이 조정하는 제4단계와;
   카메라에 저장되는 영상을 녹화모듈이 저장하는 제5단계를 포함하며
   배치모듈은 카메라가 회전하는 기준이 되는 중심점과 객제가 회전하는 중심이 되는 중심점 및 접는선을 설정하며
   움직임 DB는 카메라의 회전방향,회전방법, 움직임의 시작, 끝지점들의 정보를 포함하는, 평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법
2. 삭제
3. 삭제
4. 제1항에 있어서, 접는선은 직선, 곡선 중에 어느 하나 인, 평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법
5. 제1항에 있어서, 객체가 분리된 배경영역에는 그림자를 배치하는, 평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법
6. 제4항에 있어서, 배치모듈은 배경 및 객체는 곡면의 안쪽면이나 바깥쪽면에 배치하도록 하는, 평면적인 이미지에서 배경과 객체를 분리하여 입체적인 장면을 만들기 위한 방법

Images