KR20140091428A - 3d 애니메이션 효과의 생성 방법 및 시스템 - Google Patents

Abstract

3D 애니메이션 효과의 생성 방법 및 시스템이 제공된다. 3D 애니메이션 효과들을 동적으로 생성하는 방법은, 비주얼 멀티미디어 오브젝트 상의 관심 영역들을 검출하고 상기 검출된 관심 영역들의 특징들을 산출하는 단계; 상기 비주얼 멀티미디어 오브젝트를 포함하는 3D 장면을 구축하는 단계; 상기 관심 영역들 및 상기 관심 영역들의 특징들에 따라, 상기 3D 장면 내에서 애니메이션 효과를 갖는 3D 비주얼 오브젝트들의 세트를 생성하는 단계; 및 장면 시각화의 결과로서 상기 3D 애니메이션 효과가 생성되도록, 상기 3D 장면의 공간 내의 상기 3D 비주얼 오브젝트의 변환 및 상기 3D 장면 자체의 변환 중 적어도 하나를 계속적으로 수행하는 단계;를 포함한다.

Description

3D 애니메이션 효과의 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING 3D ANIMATION EFFECTS}

본 발명은 3D 애니메이션 효과의 발생 방법 및 시스템에 관한 것으로서, 보다 상세하게는, 3D 디스플레이 상에서 구현되는 3D 애니메이션 효과를 실시간으로 생성하는 방법 및 시스템에 관한 것이다.

정지 이미지들에 대한 동적 2차원 아트 효과들의 추가를 위한 작업의 해결 방법에 대한 다양한 접근들이 알려져 있다. 특히, 이러한 해결 방법들은 Adobe After Effects와 Ulead Video Studio와 같은 많은 특수 편집 도구들로 널리 알려져 있었다..

디지털 카메라에 의해 수신되는 2차원 이미지는, 자연 이미지를 유화, 붓으로 그려진 삽화, 애니메이션 이미지 또는 모자이크와 같이 사람 손에 의해 그려진 것과 유사하게 형성되게 하기 위해 컴퓨터 상에서 실행 가능한 변환에 의해 아트 이미지로 변환 된다.

최근에 3D 디스플레이와 3D TV가 매우 대중화 되었지만, 비주얼 자료의 메인 볼륨은 2차원으로 남아있다. 그러므로 많은 기술적 해결 방법들은 2차원 이미지 및 비디오의 3차원 변환에 전념하고 있다. 그러나, 종래의 기술은, 입체 또는 이동 카메라를 배치하고, 하나 또는 그 이상의 애니메이션 오브젝트들의 세트를 이동시키고, 카메라와 오브젝트들 사이의 거리를 비선형 비율에 의해 결정함으로써 이미지들을 시각화할 뿐이었다.

또한, 3D 디스플레이는 현재 광범위 하게 사용되고 있는데, 여기에는 특히 패시브 혹은 액티브 방식의 안경에 의한 3D TV가 있다. 소비자는 상당한 양의 2D 사진 및 비디오를 저장하고 있는데, 반면 3D 사진과 비디오는 3D 콘텐츠의 양이 증가하는 추세임에도 불구하고 훨씬 적은 수준으로 보급돼 있다. 그러나, 종래의 기술에 의하면, 이미지에 대하여 실시간으로 3D 애니메이션 효과를 생성하기 힘든 문제가 있었다.

본 발명의 일 실시예는, 2D 이미지, 3D 이미지 및 비디오와 같은 멀티미디어 오브젝트들에 대해 실시간으로 사실적인 3D 애니메이션 효과를 생성할 수 있는 방법 및 시스템을 제공한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, 비주얼 멀티미디어 오브젝트 상의 관심 영역들을 검출하고 상기 검출된 관심 영역들의 특징들을 산출하는 단계; 상기 비주얼 멀티미디어 오브젝트를 포함하는 3D 장면을 구축하는 단계; 상기 관심 영역들 및 상기 관심 영역들의 특징들에 따라, 상기 3D 장면 내에서 애니메이션 효과를 갖는 3D 비주얼 오브젝트들의 세트를 생성하는 단계; 및 장면 시각화의 결과로서 상기 3D 애니메이션 효과가 생성되도록, 상기 3D 장면의 공간 내의 상기 3D 비주얼 오브젝트의 변환 및 상기 3D 장면 자체의 변환 중 적어도 하나를 계속적으로 수행하는 단계; 를 포함하는, 3D 애니메이션 효과들을 동적으로 생성하는 방법을 제공할 수 있다.

또한, 상기 비주얼 멀티미디어 오브젝트는 2D 이미지, 3D 이미지 및 비디오 시퀀스 중 적어도 하나를 포함할 수 있다.

또한, 상기 비주얼 멀티미디어 오브젝트 상의 상기 관심 영역들을 검출하는 동안, 상기 오브젝트들을 전처리하는 단계;를 더 포함하며, 상기 오브젝트의 전처리는, 밝기 조절, 염색, 감마보정, 흰색의 밸런스 조정, 및 색 시스템의 변환 중 적어도 하나를 포함할 수 있다.

또한, 상기 3D 비주얼 오브젝트들의 세트를 생성하는 단계는, 상기 3D 비주얼 오브젝트들의 세트를 생성하는데 이용되는 관심 영역을 상기 검출된 관심 영역들 중에서 랜덤하게 선택하는 것을 특징으로 할 수 있다.

또한, 상기 3D 비주얼 오브젝트들의 세트를 생성하는 단계는, 상기 3D 비주얼 오브젝트들의 세트를 생성하는데 이용되는 관심 영역을, 상기 검출된 관심 영역들의 특징들에 기초하여, 상기 검출된 관심 영역들 중에서 선택하는 것을 특징으로 할 수 있다.

또한, 상기 3D 장면을 구축하는 단계는, 상기 비주얼 멀티미디어 오브젝트를 상기 3D 장면의 배경에 겹쳐지는 텍스쳐로 이용하는 것일 수 있다.

또한, 상기 3D 장면을 구축하는 단계는, 상기 비주얼 멀티미디어 오브젝트에 관한 장면 깊이에 대한 정보를 검출하고, 상기 검출된 정보는 상기 3D 장면의 배경 표면을 구축하는데 이용되는 것일 수 있다.

또한, 상기 3D 비주얼 오브젝트의 변환은, 이동, 회전, 변형, 크기 조정, 적어도 두 개의 3D 오브젝트들의 합병, 및 3D 오브젝트를 적어도 두 개의 새로운 3D 비주얼 오브젝트들로 나누는 것을 포함하는 것일 수 있다.

또한, 상기 3D 장면을 시각화하는 단계는, 상기 비주얼 멀티미디어 오브젝트를 상기 3D 장면의 배경으로 사용하며, 상기 비주얼 멀티미디어 오브젝트에 대해 상기 3D 애니메이션 효과를 생성하는 것일 수 있다.

또한, 본 발명의 제 2 측면은, 디스플레이 상에 3D 애니메이션 효과들을 생성하는 장치에 있어서, 비주얼 멀티미디어 오브젝트 상에서의 관심 영역들을 검출하는 관심 영역 검출 모듈; 상기 비주얼 멀티미디어 오브젝트상에서의 관심 영역들의 특징들을 산출하는 특징 산출 모듈; 상기 관심 영역들의 특징들에 기초하여 3D 비주얼 오브젝트들을 생성하는 3D 비주얼 오브젝트 생성 모듈; 상기 비주얼 멀티미디어 오브젝트 및 상기 생성된 3D 비주얼 오브젝트들에 기초하여 3D 장면을 생성하는 3D 장면 생성 모듈; 상기 3D 장면 공간 내에서 상기 3D 비주얼 오브젝트들을 계속적으로 수정하는 3D 변환 모듈; 및 상기 수정된 3D 비주얼 오브젝트를 포함하는 상기 3D 장면의 시퀀스를 이용하여 3D 프레임들을 생성하는 프레임 생성 모듈; 을 포함하는 3D 애니메이션 효과 생성 장치일 수 있다.

도 1은 본 발명의 일 실시예에 따른 정지 이미지에 적용된 ”비누 거품” 효과의 3D 애니메이션의 몇몇의 프레임들을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 3D 애니메이션 효과 생성 시스템이 3D 디스플레이 상에서 3D 애니메이션 효과들을 실시간으로 생성시키는 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 움직임이 없는 2D이나 3D 이미지들에 대한 3D 애니메이션 효과의 동적 생성 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 3D 디스플레이 상의 3D 애니메이션 효과들의 실시간으로 생성하는 시스템의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 깊이 지도의 생성 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 집중 영역의 검출 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 텍스트 영역의 검출 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 3D 애니메이션 효과 “반짝이는 빛”을 위한 관심 영역들의 검출 방법의 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 3D 애니메이션 효과인 “비누거품” 효과를 생성하는 방법의 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 3D 애니메이션 효과인 “반짝이는 빛” 효과를 생성하는 방법의 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 3D 애니메이션 효과인 “등대 빛” 효과를 생성하는 방법의 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 명세서에서, 3D 이미지들을 디스플레이 할 수 있게 하기 위한 스크린 상에서 애니메이션 3D 효과의 수신 처리를 위한 멀티미디어 오브젝트는, 평면 (2차원, 2D) 이미지, 입체 (3차원, 3D) 이미지 및 동영상 이미지 중 적어도 하나일 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 정지 이미지에 적용된 ”비누 거품” 효과의 3D 애니메이션의 몇몇의 프레임들을 보여준다.

크기, 색, 이동 경로와 같은 비누 거품의 파라미터들은, 실질적으로 일정 시간 내에 반복하지 않는 애니메이션 프레임들을 생성하게 하는 이미지에 적용될 수 있다. 사용자는 애니메이션 생성 시작 전에 오로지 정지 이미지 (101)만을 볼 수 있다. 또한, 애니메이션 효과가 생성될 때, 사용자는 이미지 앞의 3D 공간 안에서 날아다니는 비누거품 (102 및 103)을 볼 수 있다.

도 2는 본 발명의 일 실시예에 따른, 3D 애니메이션 효과 생성 시스템이 3D 디스플레이 상에서 3D 애니메이션 효과들을 실시간으로 생성시키는 방법의 흐름도를 보여준다.

단계201에서 비주얼 멀티미디어 오브젝트가 선택된다. 비주얼 멀티미디어 오브젝트는 움직임이 없는(static) 2D 또는 3D 이미지일 수도 있고 비디오 시퀀스일 수도 있다.

단계 202에서, 비주얼 멀티미디어 오브젝트 상에서 관심 영역들이 검출되고 관심 영역들의 특징들이 산출된다. 관심 영역은, 비주얼 멀티미디어 오브젝트에서 영상 처리를 하기 위하여 선택된 영역일 수 있다. 관심 영역은, 예를 들어, 영상 전체에 영상 처리를 적용하지 않고 필요한 부분 영역에만 영상 처리를 할 경우 사용될 수 있다. 관심영역들과 산출된 특징들의 세트는 애니메이션 효과의 종류에 따라 상이할 수 있다. 비주얼 멀티미디어 오브젝트 상의 관심 영역들이 검출되는 동안, 오브젝트의 전처리가 실행될 수 있다. 오브젝트의 전처리는, 예를 들어, 밝기 조절, 염색(staining), 감마보정, 흰색의 밸런스(balance of white color) 조정 및 색 시스템의 변환 중 적어도 하나를 포함할 수 있다.

단계 203에서, 선택된 멀티미디어 오브젝트를 포함하는 3D 장면이 구축된다. 3D 장면의 구축을 위하여, 비주얼 멀티미디어 오브젝트는 3D 장면의 배경 표면상에 겹쳐지는 텍스쳐로 사용될 수 있다. 또한, 3D 비주얼 오브젝트들에 대해, 비주얼 멀티미디어 오브젝트 상에서 나타나는 장면 깊이에 대한 정보가 검출될 수 있다. 3D 비주얼 오브젝트는, 비주얼 멀티미디어 오브젝트 내에 포함된 객체 또는 별도의 객체일 수 있으며, 3D 효과가 적용될 시각적 객체일 수 있다. 또한, 검출된 장면의 깊이에 대한 정보는 3D 장면의 배경을 구축하는데 사용될 수 있다. 또한, 비주얼 멀티미디어 오브젝트는 3D 장면의 배경에 텍스쳐로 겹쳐질 수 있다. 단계 203에서, 후술할 단계 204 및 단계 205가 수행될 수도 있으나, 이에 제한되지 않는다.

단계 204에서, 3D 비주얼 오브젝트들의 세트가 관심 영역들 및 관심 영역들의 특징들에 따라 생성되고 3D 장면 내에 위치한다. 3D 비주얼 오브젝트들의 세트는 3D 장면에 나타낼 3D 애니메이션 효과를 포함한 3D 비주얼 오브젝트들을 의미한다. 3D 비주얼 오브젝트들의 세트 생성은 두 가지 방법이 가능할 수 있다. 첫 번째 경우, 몇몇의 관심 영역들이 모든 검출된 관심영역들로부터 무작위적으로 선택될 수 있다. 두 번째 경우, 몇몇의 관심 영역들은 모든 검출된 관심 영역들로부터 관심영역들의 특징들에 따라 선택될 수 있다.

단계 205에서, 3D 장면의 공간 내에서의 3D 오브젝트들의 계속적인 변환(serial conversion)과 3D 애니메이션 효과의 생성이 수행된다. 장면 공간 내 3D 오브젝트들의 계속적인 변환들은, 예를 들어, 이동, 회전, 변형, 크기조정, 하나 안에 적어도 두 개의 3D 오브젝트들의 합병, 3D 오브젝트를 적어도 두 개의 새로운 3D 비주얼 오브젝트들로 나누는 것 등을 포함할 수 있다. 게다가 장면의 배경으로 사용되는 비주얼 오브젝트에 대해서도 추가된 애니메이션 효과가 생성될 수도 있다.

도 3은 본 발명의 일 실시예에 따른 움직임이 없는 2D이나 3D 이미지들에 대한 3D 애니메이션 효과의 동적 생성 방법의 동작을 설명하는 흐름도이다.

단계 301에서, 이미지는, 예를 들면, 하드 디스크에서 읽어 들이는 것과 같이 적절한 소스로부터 얻어진다.

이후, 단계 302에서 깊이 지도(depth map)가 이미지에 대해 생성된다.

단계 303에서 관심 영역들은 이미지 상에서 검출되며, 단계 304에서, 특징들은 각 관심 영역에 대해 산출된다).

단계 305에서, 3D 비주얼 오브젝트들은 산출된 특징들에 따라 생성된다.

단계 306에서 애니메이션의 3D 프레임들이 3D 장면 내의 3D 비주얼 오브젝트들 및 이미지의 결합에 의해 생성된다. 또한, 3D 프레임 별로, 3D 비주얼 오브젝트들은 변형되어 표시될 수 있다. 또한, 3D 프레임 별로, 3D 비주얼 오브젝트들이 상이한 위치에 위치될 수 있다. 따라서, 생성된 3D 프레임들이 재생됨에 따라 3D 비주얼 오브젝트들은 3D 장면의 공간 내에서 이동 또는 변형되면서 표시될 수 있다.

단계 307에서 애니메이션의 프레임들이 시각화된다.

단계 308에서 애니메이션이 중지되었는지 판단하고, 애니메이션이 중지되지 않으면 단계 306이 수행된다. 애니메이션이 멈추지 않는 한 단계 306 및 단계 307은 계속하여 반복된다.

도 4는 본 발명의 일 실시예에 따른 3D 디스플레이 상의 3D 애니메이션 효과들의 실시간으로 생성하는 시스템의 흐름도를 보여준다.

3D 애니메이션 효과들을 생성하는 시스템은 디스플레이 장치 또는 서버일 수 있으나, 이에 제한되지 않는다.

비주얼 멀티미디어 오브젝트가 관심 영역 검출 모듈(401)의 입력에 도달한다. 관심 영역들을 검출하는 관심 영역 검출 모듈(401)은 비주얼 멀티미디어 오브젝트 상의 관심 영역들의 위치를 검출한다. 검출된 관심 영역들의 리스트는 관심 영역들의 특징들의 산출하는 특징 산출 모듈(402)로 전송된다.

비주얼 멀티미디어 오브젝트 및 검출된 관심 영역들의 리스트가 특징 산출 모듈(402)의 입력에 도달한다. 특징 산출 모듈 (402)은 비주얼 멀티미디어 오브젝트상의 관심영역들의 특징들을 산출한다. 관심 영역들의 산출된 특징들은 3D 비주얼 오브젝트들을 생성하는 3D 비주얼 오브젝트 생성 모듈(403)에 전송된다.

관심 영역들의 산출된 특징들은 3D 비주얼 오브젝트 생성 모듈(403)의 입력에 도달한다. 3D 비주얼 오브젝트 생성 모듈(403)은 관심 영역들의 특징들에 따라 3D 비주얼 오브젝트들을 생성한다. 생성된 3D 비주얼 오브젝트들은 3D 장면을 생성하는 3D 장면 생성 모듈(404)에 전송된다.

비주얼 멀티미디어 오브젝트 및 3D 비주얼 오브젝트들은 3D 장면 생성 모듈(404)의 입력에 도달한다. 3D 장면 생성 모듈(404)은 비주얼 멀티미디어 오브젝트와 생성된 3D 비주얼 오브젝트들의 3D 장면을 구축(build)한다. 3D 장면은 3D 변환 모듈(405)에 전송된다.

3D 장면은 3D 변환 모듈(405)의 입력에 도달한다. 3D 변환 모듈(405)은 장면 공간 내 3D 오브젝트들을 계속적으로 수정한다. 수정된 3D 장면들의 시퀀스는 프레임 생성 모듈(406)에 전송된다.

프레임 생성 모듈(406)은 수정된 3D 장면들의 시퀀스로부터 얻어진 3D 프레임들을 3D 디스플레이 상에 시각화 하기에 적합한 형식으로 생성하고, 그들을 프레임들을 시각화하는 3D 디스플레이(407)로 전송한다.

상기 시스템의 열거된 모든 모듈들은 SoC(system on a chip)나 FPGA(field-programmable gate array), ASIC(application-specific integrated circuit) 등의 형태로 실행될 수 있다. 상기 모듈들의 기능은 그들의 설명 및 청구된 3D 디스플레이 상의 3D 애니메이션 효과들의 실시간 생성 방법의 설명으로부터 명확하다.

도 5는 본 발명의 일 실시예에 따른 비주얼 오브젝트들의 일부 파라마터들, 특히 이동 경로의 정의에 사용되는 깊이 지도의 생성 방법의 선택 흐름도를 보여준다. 단계501에서, 이미지 형식이 정해진다. 만약 그것이 입체-이미지(stereo-image)라면(조건 502), 장면 깊이(scene depth), 또는 스테레오 쌍(stereo-pair)의 시차 지도(disparity map)를 추정하는 방법들 중 하나가 깊이 지도를 얻는 데에 이용될 수 있다. 시차란, 인간의 좌, 우 눈에 들어오는 스테레오 영상 내의 각 영상 점 사이의 차이를 의미하는 것으로, 영상 내의 다른 거리에 위치하는 사물들은 다른 시차 값을 가질 수 있다. 상기 추정 방법은, 예를 들면 “견고한 위상 상관관계를 이용한 하위픽셀 양안차 추정 (Robust Phase Correlation Based Sub-pixel Disparity Estimation)” (H. Yan and J. Guo Liu, Proc. of 4th SEAS DTC Technical Conference, 2009) [5]에 기재된 것일 수 있다.

503 단계에서, 만약 이미지 형식이 평면 이미지이라면, 2D 에서 3D로의 정적 이미지들을 변환하는 방법들 중 하나가 깊이 지도를 얻기 위해 사용된다(503 단계). 상기 변환 방법은, 예를 들어, “시각 주의 분석을 이용한 2D로부터 3D로의 변환” (J. Kim, A. Baik, Y. Ju Jung, D. Park, Proc. SPIE 7524, 입체 Displays and Applications XXI, 2010) [6]에 기재된 것처럼 집중영역(attention zone)의 검출에 기초하는 방법일 수 있다.

집중 영역은 2D에서 3D로의 변환에 이용될 뿐만 아니라, 애니메이션 효과의 어떤 유형이 관심영역으로 간주될 수 있도록 하는데 이용된다. 청구된 발명의 바람직한 일 실시예에서, 집중 영역은 텍스트 이미지 영역, 사람 얼굴 이미지 영역 및 사람의 순간 시각 모델에 따라 산출된 특징/ 돌출 지도의 결합의 결과로서 얻어진다.

도 6은 본 발명의 일 실시예에 따른 집중 영역의 검출 방법의 흐름도를 보여준다. 단계 601은, 텍스트 영역을 검출하는 단계로, 도 7에 의해 설명된다. 단계 602는, 사람 얼굴 이미지 영역을 검출하는 단계로, ”컬러 사진에 대한 얼굴 검출 알고리즘의 개선 (An Improvement of face detection algorithm for color photos)” (Egorova, M.A., Murynin, A.B., Safonov, I.V., Pattern Recognition and Image Analysis, vol. 19, No. 4, pp. 634-640, 2009) [7]에 기재된 방법에 의해 수행될 수 있다. 단계 603은, 특징들의 지도를 산출하는 단계로, “전역 대비에 기초한 돌출 구간 검출(Global Contrast based Salient Region Detection)” (M.M. Cheng, G.X. Zhang, N.J. Mitra X. Huang, S.M. Hu, Proc. of IEEE CVPR, pp. 409-416, 2011) [8]에 기재된 방법에 의해 효과적으로 수행될 수 있다. 단계 604에서, 모든 검출된 영역과 특징들의 지도는 집중영역의 지도에 결합된다(). 결합은 텍스트와 사람 얼굴, 그리고 특징들의 지도의 표시된 영역상의 이미지들의 가중치들을 합함으로써 수행될 수 있다.

도 7은 본 발명의 일 실시예에 따른 텍스트 영역 검출 방법의 흐름도를 보여준다. 단계 701에서, 윤곽 차이의 검출이 수행된다. 이 목적을 위해 LoG(Laplacian of Gaussian) 필터와, 이에 이어지는 임계 절삭이 사용될 수 있다. 단계 702에서, 윤곽이 없는 부분이 산출되고, 윤곽이 없는 부분은 형태학상의 동작들(morphological operations)에 의해 추가로 복원된다. 동작 “닫기(close)”는 기초적인 경우에 사용될 수 있다. 단계 703에서, 코히어런트 영역들(coherent areas)의 표시는 검출된 윤곽 차이들(contour differences)이 있는 이미지에 의해 수행된다. 단계 704에서, 인접 코히어런트 영역들은 그룹으로 결합된다. 각 그룹은 텍스트와 비텍스트 영역으로 분류된다. “질감 특징에 기초한 상향식 문서 분할 방법 (Bottom-up Document Segmentation Method Based on Textural Features)” (A.M. Vil’kin, I.V. Safonov, M.A. Egorova, Pattern Recognition and Image Analysis, vol. 21, No. 3, pp. 565-568, 2011) [9]에 기재된 방법이 분류를 위해 사용될 수 있다.

청구된 발명의 한 예로는 3D 애니메이션 “반짝이는 빛” 아트 효과가 있다. 상기 효과는 이미지의 작은 크기의 밝은 조각들에 위치한 희거나 색깔이 있는 별들의 깜빡임과 회전을 보여준다. 도 8 은 본 발명의 일 실시예에 따른 “반짝이는 빛” 효과를 위한 관심 영역들의 검출 방법의 흐름도를 보여준다. 단계 801에서, 이미지 픽셀의 밝기 히스토그램의 구축이 수행된다. 단계 802에서, 분할에 대한 임계값 산출이 추가로 수행된다. 단계 803에서, 상기 이미지는 이미지 상에서 가장 밝은 부분(brightest sites)을 찾기 위해 임계 절삭(threshold cutting)에 의해 분할된다. 단계 804에서, “반짝이는 빛” 아트 효과가 적용될 관심 영역들인 코히어런트 영역들의 표시가 추가적으로 수행된다. 특징들의 세트는 각 관심 영역에 대해 산출된다. 또한, 특징들의 세트는, 예를 들어,

제한영역 내에서 색 성분들의 평균값;

가중치의 중심의 좌표;

이미지 영역에 대한 관심영역의 영역 비율;

원형(rotundity) 계수- 관심 영역의 선형 크기의 최대에 대한 관심 영역과 같은 영역의 원의 직경의 비율;

작은 광원에 대한 유사 계수- 관심 영역의 최대 밝기의 가중치 합(weighed sum)으로 계산된 적분 파라미터, 평균 밝기, 원형계수와 관심 영역의 상대 영역(relative area); 중 적어도 하나를 포함할 수 있다.

특징들이 미리 설정된 기준을 만족시키는 영역들은 모든 관심영역들로부터 추가로 선택된다. 3D 비주얼 오브젝트들을 생성하는 모듈은 비주얼 오브젝트들의 리스트를 생성한다. 비주얼 오브젝트들의 리스트는, 예를 들어, 반짝이고 회전하는 별들, 관심 영역들의 특징들에 따른 각 별의 위치, 크기 및 색 정의 등을 포함할 수 있다.

도 9는 본 발명의 일 실시예에 따른 3D 애니메이션 효과 “비누거품”의 효과를 생성하는 방법의 흐름도를 나타낸다. 상기 효과는 이미지 상을 날아다니는 비누거품을 디스플레이 할 수 있다. 단계 901에서, 깊이에 대한 정보를 사용하여 비누거품의 위치를 변경한다. 단계 902에서, 거품의 색은 이미지의 적절한 영역에서 조명의 방향에 따라 달라진다. 단계 903에서, 파라미터들의 조정 후 소스 이미지는 애니메이션의 현재 프레임에 상에서 시각화된다. 단계 904은, 비누 거품의 시각화가 수행된다. 비누 거품의 시각화는 현재 프레임 상에서 수행될 수 있다.

도 10은 본 발명의 일 실시예에 따른 3D 애니메이션 효과인 “반짝이는 빛” 효과를 생성하는 방법의 흐름도를 나타낸다. 단계 1001에서, 반짝이는 빛의 종류는 현재 시각과 장면 깊이에 따라 변한다. Z축에 대한 좌표는 깊이 지도에 따라 조정될 수 있다. 크기, 밝기, 색의 초기값은 z좌표와 광원 파라미터들에 기초하여 정해질 수 있다. 더 나아가 사용자에 대한 더 밝은 인상의 생성 시간의 과정에서 파라미터들은 단계별로 변할 수 있다. 단계 1002에서, 파라미터들의 조정 후 원시 이미지는 애니메이션의 현재 프레임에 시각화 된다. 단계 1003은, 애니메이션의 현재 프레임의 준비 마지막 단계로, 반짝이는 빛의 시각화가 수행된다.

도 11은 본 발명의 일 실시예에 따른 애니메이션 효과인 “등대 빛(beacon Light)”의 효과를 생성하는 방법의 흐름도를 나타낸다. “등대 빛” 효과는 등대 빛의 광원뿔(light cone)로부터의 빛 자국 이미지 상에서 형성될 수 있다. 빛 자국은 맨 처음에 이미지의 가장 적합한 밝은 장소에 자리잡고 있고 이미지의 집중영역으로 이동한다. 단계 1101에서, 3D 공간에서 등대 빛의 빛자국의 방향이 변경된다. 등대 빛에서 빛 자국이 표시되는 위치는, 등대 빛이 이미지 상에서 움직임에 따라 변할 수 있다. 이동 경로는 집중영역 상에 생성된다(집중영역의 생성 방법의 설명은 위의 결과이다). 단계 1102에서, 빛 자국의 크기, 밝기, 모양과 색은 장면 깊이에 따라 정해지며, 이것은 사용자에 대한 더 현실적인 인상을 생성케 한다. 단계 1103에서, 애니메이션의 현재 프레임 상의 정전 소스 이미지(blackout source image)의 시각화는 파라미터들의 조정 후 수행된다. 다크닝은 빛 자국을 더욱 뚜렷하게 만들기 위해 적용될 수 있다. 단계 1104에서, 등대 빛의 빛 자국 시각화는 애니메이션의 현재 프레임을 준비하는 마지막 단계에서 수행된다.

효과의 출현은 예를 들면, 사진상 나타난 콘텐츠와 같은, 멀티미디어 오브젝트의 콘텐츠 용으로 개작될 수 있다. 본 발명의 3D 애니메이션 효과의 동적 발생 방법은 현대 3D 디스플레이들 상에서 멀티미디어 오브젝트들의 리뷰(review)를 위한 인상적이고 매력적인 방법을 보여준다. 2D 사진에서의 리뷰라 할지라도 본 발명은 사용자로 하여금 리뷰로부터 더 많은 만족을 경험하게 한다. 본 발명의 3D 애니메이션 효과의 동적 발생 시스템 및 방법은, 3D 디스플레이를 포함하고 멀티미디어 오브젝트들의 표시 기능을 사용할 수 있는 장치들에서 사용될 수 있다. 이러한 장치들의 예에는 멀티미디어 기능을 가진 디지털 3D TV, 휴대전화, 태블릿, 디지털 카메라, 포토프레임, 그리고 멀티미디어 표시를 위한 개인용 컴퓨터에 대한 소프트웨어 등이 있다.

상기 설명에 제시된 발명의 실시예는 청구된 발명을 설명하기 위한 목적으로만 공개되었다. 함께 동봉된 청구항에 기재된 본 발명의 범위와 의미를 넘지 않는 한 다양한 수정, 보충 및 교체가 가능함은 당업자에게 명백하다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

1. 3D 애니메이션 효과들을 동적으로 생성하는 방법에 있어서,
   비주얼 멀티미디어 오브젝트 상의 관심 영역들을 검출하고 상기 검출된 관심 영역들의 특징들을 산출하는 단계;
   상기 비주얼 멀티미디어 오브젝트를 포함하는 3D 장면을 구축하는 단계;
   상기 관심 영역들 및 상기 관심 영역들의 특징들에 따라, 상기 3D 장면 내에서 애니메이션 효과를 갖는 3D 비주얼 오브젝트들의 세트를 생성하는 단계; 및
   장면 시각화의 결과로서 상기 3D 애니메이션 효과가 생성되도록, 상기 3D 장면의 공간 내의 상기 3D 비주얼 오브젝트의 변환 및 상기 3D 장면 자체의 변환 중 적어도 하나를 계속적으로 수행하는 단계;
   를 포함하는 방법.
2. 제 1 항에 있어서,
   상기 비주얼 멀티미디어 오브젝트는 2D 이미지, 3D 이미지 및 비디오 시퀀스 중 적어도 하나를 포함하는 것인, 방법.
3. 제 1 항에 있어서,
   상기 비주얼 멀티미디어 오브젝트 상의 상기 관심 영역들을 검출하는 동안, 상기 오브젝트들을 전처리하는 단계;
   를 더 포함하며,
   상기 오브젝트의 전처리는, 밝기 조절, 염색, 감마보정, 흰색의 밸런스 조정, 및 색 시스템의 변환 중 적어도 하나를 포함하는 것인, 방법.
4. 제 1 항에 있어서,
   상기 3D 비주얼 오브젝트들의 세트를 생성하는 단계는, 상기 3D 비주얼 오브젝트들의 세트를 생성하는데 이용되는 관심 영역을 상기 검출된 관심 영역들 중에서 랜덤하게 선택하는 것을 특징으로 하는, 방법.
5. 제 1 항에 있어서,
   상기 3D 비주얼 오브젝트들의 세트를 생성하는 단계는, 상기 3D 비주얼 오브젝트들의 세트를 생성하는데 이용되는 관심 영역을, 상기 검출된 관심 영역들의 특징들에 기초하여, 상기 검출된 관심 영역들 중에서 선택하는 것을 특징으로 하는, 방법.
6. 제 1 항에 있어서,
   상기 3D 장면을 구축하는 단계는, 상기 비주얼 멀티미디어 오브젝트를 상기 3D 장면의 배경에 겹쳐지는 텍스쳐로 이용하는 것인, 방법.
7. 제 6 항에 있어서,
   상기 3D 장면을 구축하는 단계는,
   상기 비주얼 멀티미디어 오브젝트에 관한 장면 깊이에 대한 정보를 검출하고,
   상기 검출된 정보는 상기 3D 장면의 배경 표면을 구축하는데 이용되는 것인, 방법.
8. 제 1 항에 있어서,
   상기 3D 비주얼 오브젝트의 변환은, 이동, 회전, 변형, 크기 조정, 적어도 두 개의 3D 오브젝트들의 합병, 및 3D 오브젝트를 적어도 두 개의 새로운 3D 비주얼 오브젝트들로 나누는 것을 포함하는 것인, 방법.
9. 제 1 항에 있어서,
   상기 3D 장면을 시각화하는 단계는, 상기 비주얼 멀티미디어 오브젝트를 상기 3D 장면의 배경으로 사용하며, 상기 비주얼 멀티미디어 오브젝트에 대해 상기 3D 애니메이션 효과를 생성하는 것인, 방법.
10. 디스플레이 상에 3D 애니메이션 효과들을 생성하는 장치에 있어서,
    비주얼 멀티미디어 오브젝트 상에서의 관심 영역들을 검출하는 관심 영역 검출 모듈;
    상기 비주얼 멀티미디어 오브젝트상에서의 관심 영역들의 특징들을 산출하는 특징 산출 모듈;
    상기 관심 영역들의 특징들에 기초하여 3D 비주얼 오브젝트들을 생성하는 3D 비주얼 오브젝트 생성 모듈;
    상기 비주얼 멀티미디어 오브젝트 및 상기 생성된 3D 비주얼 오브젝트들에 기초하여 3D 장면을 생성하는 3D 장면 생성 모듈;
    상기 3D 장면 공간 내에서 상기 3D 비주얼 오브젝트들을 계속적으로 수정하는 3D 변환 모듈; 및
    상기 수정된 3D 비주얼 오브젝트를 포함하는 상기 3D 장면의 시퀀스를 이용하여 3D 프레임들을 생성하는 프레임 생성 모듈;
    을 포함하는 것인, 3D 애니메이션 효과 생성 장치.

Images