KR20150108556A - 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체 - Google Patents

Abstract

본 발명은 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 더욱 상세히는 객체를 식별하고, 해당 객체의 자세를 확인한 후 해당 자세를 기준으로 해당 객체에 표시할 3차원 효과 모델의 자세를 변형하여 해당 객체에 적용하여 객체의 자세에 적합한 연출 효과를 제공할 수 있는 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 입력 이미지에 포함된 객체의 자세에 적합하도록 3차원 효과 모델의 자세를 변형하여 객체에 적용함으로써 객체와 3차원 효과 모델의 조화를 최적화하여 연출 효과를 극대화하는 동시에 객체의 대한 이목을 집중시키는 효과가 있다.

Description

객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체{Apparatus for providing a display effect based on posture of object, method thereof and computer readable medium having computer program recorded therefor}

본 발명은 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 더욱 상세히는 객체를 식별하고, 해당 객체의 자세를 확인한 후 해당 자세를 기준으로 해당 객체에 표시할 3차원 효과 모델의 자세를 변형하여 해당 객체에 적용하여 객체의 자세에 적합한 연출 효과를 제공할 수 있는 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.

그래픽 기술의 발전과 더불어 현재 다양한 장치를 이용하여 이미지 내에 포함된 객체에 다양한 효과를 적용하여 객체의 이목을 집중시키기 위한 기술이 등장하고 있다.

그러나, 기존의 객체에 대한 효과 적용을 위해 단순 그래픽 툴을 사용자 장치로 제공하고, 그래픽 툴에 포함된 다양한 효과 모델 중 사용자가 원하는 효과 모델을 단순 적용하는데 그쳤다.

따라서, 이와 같은 객체에 대한 효과 적용을 위해 사용자가 직접 수동으로 효과 모델을 객체에 맞추어 배치해야 하므로, 객체의 자세에 적합하도록 모델을 배치하는데 어려움이 있어 객체와 부자연스럽게 효과 모델이 배치되는 경우가 대부분이다.

더욱이, 그래픽 툴에 익숙하지 않은 사용자의 경우 객체와의 부조화가 더욱 두드러지므로, 이러한 효과 모델이 오히려 객체에 대한 관심을 저하시키는 문제가 발생한다.

따라서, 객체의 상태를 파악하여 그에 따른 효과 모델을 객체에 효율적이며 최적화되도록 적용할 수 있는 장치의 개발이 요구되고 있다.

한국공개특허 제10-2009-0035254호 [발명의 명칭: 동영상 합성 및 실시간 피사체 추출을 통한 캐릭터 생성시스템]

본 발명은 객체의 자세를 식별하고, 해당 자세를 기준으로 3차원 효과 모델을 변형하여 해당 객체에 표시함으로써, 객체의 자세에 맞는 연출 효과를 제공하는데 그 목적이 있다.

또한, 본 발명은 객체의 종류에 따라 적용할 수 있는 복수의 연출 효과를 구분하여 적용함으로써 객체의 특성에 적합한 효과를 자동 제공하는데 그 목적이 있다.

본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 장치는 입력 이미지에 포함된 객체를 식별하는 객체 식별부, 식별된 객체에 대응되는 레퍼런스 이미지를 기초로 객체에 대한 자세를 판단하는 자세 판단부, 객체에 대응되어 선택된 하나 이상의 3차원 효과 모델을 객체의 자세에 대응되는 시점에서 관찰하는 형태로 변형하는 모델 변형부 및 변형된 각 3차원 효과 모델을 입력 이미지에서 식별된 객체에 맞추어 해당 객체에 적용하는 모델 적용부를 포함할 수 있다.

본 발명과 관련된 일 예로서, 3차원 효과 모델은 2차원 이미지 또는 3차원 이미지를 포함하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 자세 판단부는 식별된 객체와 일치하는 레퍼런스 이미지의 스케일 및 배치방향에 따라 객체에 대한 자세를 판단하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 배치방향은 관찰시점인 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 모델 변형부는 관찰 시점에 대응되어 3차원 효과 모델을 변형하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 자세 판단부는 객체에 대응되는 레퍼런스 이미지를 회전 및 크기 중 적어도 하나에 대한 파라메터를 조절하여 객체의 자세와 일치시키며, 일치되는 레퍼런스 이미지에서 측정된 파라메터를 기초로 객체에 대한 자세를 판단하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 모델 변형부는 객체 식별부로부터 객체에 대응되는 식별정보를 수신하며, 객체의 식별정보에 대응되는 하나 이상의 3차원 효과 모델을 자동 선택하여 각 3차원 효과 모델을 객체의 자세에 따라 변형하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 모델 변형부는 자세를 기준으로 회전 및 크기 중 적어도 하나에 대하여 미리 설정된 패턴에 따라 3차원 효과 모델을 변형하여 객체의 자 세에 대응되는 시점과 상이한 시점에서 관찰하는 형태로 변형하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 객체 식별부는 식별된 객체의 영역에 대한 영역정보를 모델 적용부로 제공하며, 모델 적용부는 영역정보에 대응되는 객체의 영역에 맞추어 3차원 효과 모델을 적용하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 방법은 객체 식별부가 입력 이미지에 포함된 객체를 식별하는 단계, 자세 판단부가 식별된 객체에 대응되는 레퍼런스 이미지를 기초로 객체에 대한 자세를 판단하는 단계, 모델 변형부가 객체에 대응되어 선택된 하나 이상의 3차원 효과 모델을 객체의 자세에 대응되는 시점에서 관찰하는 형태로 변형하는 단계 및 모델 적용부가 변형된 각 3차원 효과 모델을 입력 이미지에서 식별된 객체에 맞추어 해당 객체에 적용하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 기록매체에는 객체 자세 기반 연출 효과 제공 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.

본 발명은 입력 이미지에 포함된 객체의 자세에 적합하도록 3차원 효과 모델의 자세를 변형하여 객체에 적용함으로써 객체와 3차원 효과 모델의 조화를 최적화하여 연출 효과를 극대화하는 동시에 객체의 대한 이목을 집중시키는 효과가 있다.

또한, 본 발명은 객체의 종류에 따라 적용할 수 있는 하나 이상의 3차원 효과 모델을 자동 구분하여 적용함으로써, 복수의 객체에 대한 연출 효과 적용에 대한 편의성을 제공하는 동시에, 연출 효과를 구분하여 적용함으로써 객체의 특성에 적합한 효과를 자동 제공하는 효과가 있다.

도 1은 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 장치의 구성에 대한 블록도.
도 2는 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 방법에 대한 순서도.
도 3은 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 장치의 자세정보 생성에 대한 예시도.
도 4는 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 장치의 객체 자세 기반 3차원 효과 모델의 변형에 대한 예시도.
도 5 내지 도 6은 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 방법에 따라 객체에 적용된 3차원 효과 모델에 대한 예시도.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 도면을 참고하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 장치의 구성을 나타낸 블록도이다.

도 1에 도시된 바와 같이, 객체 자세 기반 연출 효과 제공 장치(100)는 객체 식별부(110), 자세 판단부(120), 모델 변형부(130), 모델 적용부(140), 저장부(150) 및 표시부(160)로 구성될 수 있다.

도 1에 도시된 객체 자세 기반 연출 효과 제공 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 객체 자세 기반 연출 효과 제공 장치가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 객체 자세 기반 연출 효과 제공 장치(100)가 구현될 수도 있다.

우선, 객체 식별부(110)는 입력 이미지를 수신하며, 입력 이미지에서 객체를 식별할 수 있다. 또한, 자세 판단부(120)는 식별된 객체로부터 객체의 자세에 대한 자세정보를 생성할 수 있다. 다음, 모델 변형부(130)는 식별된 객체에 적용하기 위한 하나 이상의 3차원 효과 모델을 선택하고, 자세 판단부(120)를 통해 생성된 자세정보를 기초로 객체의 자세에 대응되는 시점에서 관찰하는 형태로 각 3차원 효과 모델의 자세를 변형할 수 있다. 이후, 모델 적용부(140)는 모델 변형부(130)를 통해 변형된 각 3차원 효과 모델을 식별된 객체에 맞추어 적용할 수 있다.

이를 통해, 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 장치(100)는 객체의 자세에 맞추어 3차원 효과 모델을 적용하여, 객체의 형태에 최적화된 형태로 3차원 효과 모델을 배치할 수 있으며 이를 통해 객체와 3차원 효과 모델의 조화를 극대화하여 연출 효과를 크게 높일 수 있다.

한편, 저장부(150)는 사용자 인터페이스(UI), 그래픽 사용자 인터페이스(GUI) 등을 저장할 수 있다.

또한, 저장부(150)는 객체 자세 기반 연출 효과 제공 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다.

또한, 저장부(150)는 객체 자세 기반 연출 효과 제공 장치(100)에 포함된 입력부(미도시)(또는 카메라(미도시))를 통해 촬영되는 영상(또는 이미지), 객체의 자세 기반 연출 효과 제공 장치(100)에 포함된 통신부(미도시)를 통해 수신되는 영상 등을 저장할 수 있다.

또한, 저장부(150)는 미리 저장된(또는 학습된/등록된) 객체에 대한 개별 특징 정보를 저장한다. 여기서, 서로 다른 크기의 입력 이미지에 대해서 개별 특징 정보를 통한 객체 식별이 용이하게 이루어지도록, 저장부에 저장된 개별 특징 정보는 설계자의 설계에 따라 다양한 크기로 설정할 수 있다.

또한, 저장부(150)는 객체 식별부(110)의 제어에 의해 확인되는 객체에 대한 특징 정보, 객체 식별부(110)의 제어에 의해 식별되는(또는 인식되는) 객체에 대한 객체 식별정보를 저장할 수 있으며, 객체 식별정보에 대응되는 객체에 대한 하나 이상의 레퍼런스 이미지를 저장할 수 있다. 이때, 객체 식별정보는 객체 식별자, 객체 관련 상세 정보 등을 포함할 수 있다.

또한, 저장부(150)는 객체 식별부(110)에 의해 추출되는 객체에 대응되는 자세 정보를 저장할 수 있다.

또한, 저장부(150)는 객체에 적용 가능한 3차원 효과 모델을 저장할 수 있다. 이때, 본 발명에서 설명하는 3차원 효과 모델은 입체 이미지 뿐만 아니라 3차원 형태로 배치가 가능한 2차원 이미지를 모두 포함하는 것임에 유의한다. 다시 말해, 이미지 자체가 필히 3차원으로 구성되는 것이 아니며, 2차원 이미지 및 3차원 이미지를 모두 포괄하는 개념이다.

한편, 객체 식별부(110)는 입력 이미지(또는 입력 영상)에 포함된 객체를 식별(또는 확인)한다. 여기서, 해당 입력 이미지는 저장부(150)에 미리 저장된 이미지(또는 영상) 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 이미지일 수 있다.

즉, 객체 식별부(110)는 해당 입력 이미지에 대해서 미리 설정된 알고리즘을 적용하여 해당 객체에 대한 특징 정보를 산출(또는 추출/확인)할 수 있으며, 산출된 입력 이미지에 대한 특징 정보와 저장부(150)에 미리 저장된(또는 학습된/등록된) 객체에 대한 개별 특징 정보 간의 유사도를 각각 확인할 수 있다.

또한, 객체 식별부(110)는 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)할 수 있다.

판단 결과, 확인된 복수의 유사도 중에서 미리 설정된 기준값 이상인 유사도가 존재하는 경우(또는 확인된 유사도가 미리 설정된 기준값 이상인 경우), 객체 식별부(110)는 해당 유사도에 대응하는 해당 입력 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 입력 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(150)에 저장할 수 있다.

또한, 판단 결과, 확인된 복수의 유사도 중에서 미리 설정된 기준값 이상인 유사도가 존재하지 않는 경우(또는 확인된 유사도가 미리 설정된 기준값보다 작은 경우), 객체 식별부(110)는 입력 이미지 내에 목적으로 하는 객체가 존재하지 않는 것으로 분류할 수 있다.

또한, 객체 식별부(110)는 식별된 객체에 대한 객체 식별정보를 저장부로부터 추출하고, 입력 이미지에서 객체가 차지하는 영역에 대한 영역정보를 확인하여 객체 식별정보 및 영역정보를 포함하는 객체 관련 정보를 자세 판단부(120)에 제공할 수 있다.

이에 따라, 자세 판단부(120)는 식별정보를 기초로 입력 이미지에서 객체를 식별하고, 객체에 대응되는 레퍼런스 이미지를 저장부(150)로부터 추출하여 영역정보를 기초로 입력 이미지에 포함된 객체를 확인하여 객체와 레퍼런스 이미지를 상호 비교할 수 있다.

이때, 자세 판단부(120)는 객체 식별부(110)를 통해 식별된 객체에 레퍼런스 이미지의 스케일 및 배치방향을 조절한 후 객체와 레퍼런스 이미지를 상호 비교할 수 있으며, 객체와 정확히 매핑되는 레퍼런스 이미지의 크기 및 배치방향을 객체에 대한 자세정보로 생성할 수 있다.

이때, 레퍼런스 이미지는 3차원 형태로 구성될 수 있으며, 자세 판단부(120)는 레퍼런스 이미지를 다양한 방향으로 회전하거나 크기를 조절한 후 객체의 스케일 및 방향에 대응되도록 매핑시켜 상호 비교할 수 있다. 이에 따라, 자세 판단부(120)는 객체와 일치되는 레퍼런스 이미지의 회전방향 및 회전각도, 크기 변화 정도를 측정하여 자세정보를 생성할 수 있다.

또한, 자세 판단부(120)는 추출된 해당 입력 이미지 내에 포함된 객체의 자세 정보를 모델 변형부(130)에 제공할 수 있다.

한편, 모델 변형부(130)는 하나 이상의 3차원 효과 모델을 표시부(160)를 통해 표시할 수 있으며, 통신부(미도시)나 입력부(미도시)를 통해 수신되는 사용자 입력을 기초로 객체에 적용되는 하나 이상의 3차원 효과 모델을 선택할 수 있다.

또한, 모델 변형부(130)는 자세 판단부(120)로부터 수신된 자세 정보를 기초로 선택된 각 3차원 효과 모델의 자세를 객체의 관찰 시점에 대응되는 자세로 변형하여 모델 적용부(140)로 제공할 수 있다.

이후, 모델 적용부(140)는 변형된 자세의 각 3차원 효과 모델을 입력 이미지에 포함된 객체에 적용하여, 표시부(160)를 통해 객체의 자세에 대응되는 하나 이상의 3차원 효과 모델이 객체에 적용된 입력 이미지를 표시할 수 있다.

상술한 구성을 통해, 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 장치(100)는 객체의 자세에 적합하도록 3차원 효과 모델의 자세를 변형하고, 이를 객체에 적용함으로써 객체와 3차원 효과 모델의 조화를 최적화하여 연출 효과를 극대화할 수 있도록 제공한다.

도 2는 상술한 구성을 바탕으로 하는 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 방법에 대한 순서도로서, 도 3 내지 도 6과 더불어 상세히 설명한다.

먼저, 객체 식별부(110)는 도 3에 도시된 바와 같이 입력 이미지(1)에 포함된 객체(10)를 식별할 수 있다(S1). 이때, 입력 이미지(1)는 저장부(150)에 미리 저장된 이미지 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 이미지일 수 있다.

즉, 객체 식별부(110)는 해당 입력 이미지(1)에 대해서 미리 설정된 알고리즘을 적용하여 해당 입력 이미지(1)에 대한 특징정보를 산출(또는 추출/확인)할 수 있다. 이때, 객체 식별부(110)는 SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), Haar feature 등과 같은 알고리즘을 이용하여 특징정보를 산출할 수 있다.

이후, 객체 식별부(110)는 산출된 입력 이미지에 대한 특징 정보와 저장부(100)에 미리 저장된(또는 학습된/등록된) 객체에 대한 개별 특징 정보 간의 유사도를 각각 확인한다. 이후, 객체 식별부(110)는 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)한다. 판단 결과, 확인된 유사도가 미리 설정된 기준값 이상인 경우, 객체 식별부(110)는 입력 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 입력 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(150)에 저장한다. 또한, 판단 결과, 확인된 유사도가 미리 설정된 기준값보다 작은 경우, 객체 식별부(110)는 입력 이미지 내에 목적으로 하는 객체가 존재하지 않는 것으로 분류한다.

일례로, 도 3에 도시된 바와 같이 객체 식별부(110)는 입력 이미지(1) 내의 객체(10)인 가방에 대한 특징정보를 추출하고, 저장부(150)에 미리 저장된 가방에 대한 개별 특징정보와 비교하여 유사도가 미리 설정된 기준치 이상인 경우 객체(1)를 가방으로 인식할 수 있다.

또한, 객체 식별부(110)는 입력 이미지(1) 내에서 가방의 자세 판단을 위해 입력 이미지에서 객체(10)가 차지하는 영역에 대한 영역 정보, 입력 이미지(1)의 특성 정보, 입력 이미지(1) 내에 포함된 객체(10)에 대한 객체 식별 정보(예를 들어, 객체 종류, 객체명, 등 포함) 등을 포함하는 객체 관련 정보를 생성하여 자세 판단부(120) 및 모델 적용부(140)로 제공할 수 있다.

이때, 객체 식별부(110)는 객체의 특징정보 비교를 통해 식별된 객체(10)에 대응되는 객체 식별 정보를 저장부(150)로부터 추출하여 객체 관련 정보에 포함시켜 제공할 수 있다.

이에 따라, 자세 판단부(120)는 객체 관련 정보를 기초로 입력 이미지(1)에서 객체(10)의 영역을 식별하여 객체(10)를 확인할 수 있으며, 객체 식별 정보를 기초로 저장부(150)로부터 객체(10)에 대응되는 레퍼런스 이미지(20)를 추출하여, 레퍼런스 이미지(20)와 입력 이미지(1) 내의 객체(10)를 상호 비교할 수 있다.

이때, 자세 판단부(120)는 도 3에 도시된 바와 같이 레퍼런스 이미지(20)를 참조하여 객체(10)의 스케일 및 배치방향 등에 대한 자세정보(11)를 생성할 수 있다(S2).

일례로, 자세 판단부(120)는 3차원 형태의 이미지로 구성된 레퍼런스 이미지(20)의 크기를 객체(10)의 스케일에 대응되도록 조절하고, 레퍼런스 이미지(20)를 3축(x, y, z) 방향으로 회전한 후 객체(10)의 영역정보를 기초로 객체(10)의 영역을 판단하여 입력 이미지(1) 내의 객체(10)와 매핑시킬 수 있으며, 레퍼런스 이미지(20)와 객체(10)가 정확히 매핑되는 레퍼런스 이미지의 자세(스케일 및 배치방향)를 객체(10)에 대한 자세 정보(11)로 산출할 수 있다.

다시 말해, 자세 판단부(120)는 객체(10)에 대응되는 레퍼런스 이미지(20)를 회전 및 크기 중 적어도 하나에 대한 파라메터를 조절하여 객체(10)의 자세와 일치되는 자세로 매핑시키며, 객체(10)의 자세와 일치되는 레퍼런스 이미지(20)에서 측정된 파라메터를 기초로 자세정보를 생성할 수 있다.

또 다른 일례로, 저장부(150)는 객체(10)에 대응되어 서로 다른 배치방향을 가진 복수의 레퍼런스 이미지(20)를 저장할 수 있으며, 이에 따라 자세 판단부(120)는 객체의 식별 정보를 기초로 저장부(150)로부터 복수의 레퍼런스 이미지(20)를 추출하고 스케일 조정을 통해 입력 이미지(1) 내의 객체(10)에 대한 자세와 각 레퍼런스 이미지(20)를 비교하여 유사도가 높은 레퍼런스 이미지(20)에 대응되는 배치방향 및 스케일을 포함하는 자세 정보(11)를 생성할 수도 있다.

이때, 자세 정보(11)는 상술한 바와 같이 객체의 스케일 및 배치방향 등을 포함할 수 있으며, 배치 방향은 관찰자가 객체를 바라보는 관찰 시점으로 산출될 수도 있다.

한편, 자세 판단부(120)는 자세 정보를 모델 변형부(130)로 제공할 수 있으며, 모델 변형부(130)는 자세 정보(11) 수신시 표시부(160)를 통해 하나 이상의 서로 다른 3차원 효과 모델(31, 32)을 제공하며, 입력부(미도시) 또는 통신부(미도시)를 통해 수신한 사용자 입력을 기초로 선택된 3차원 효과 모델(32)에 자세 정보(11)를 적용할 수 있다(S3).

이를 통해, 모델 변형부(130)는 자세 정보(11)에 대응되는 스케일 및 배치방향으로 3차원 효과 모델(32)을 변형할 수 있다. 이때, 배치방향은 각 축방향을 기준으로 하는 회전방향 및 회전각도가 설정될 수 있으며, 객체의 자세에 대한 관찰 시점이 설정될 수도 있다.

일례로, 도 4에 도시된 바와 같이 모델 변형부(130)는 대각선에서 관찰하는 시점에 대한 객체의 자세정보(11)를 수신한 경우 사용자 입력을 통해 선택된 3차원 효과 모델에 자세 정보(11)를 적용하여 대각선에서 관찰하는 시점에 대응되는 형태로 3차원 효과 모델(32)을 변형할 수 있다(S4).

또한, 모델 변형부(130)는 자세 정보에 따른 스케일(크기)에 대응되는 크기로 3차원 효과 모델(32)의 크기를 조절할 수 있으며, 이에 따라 자세정보(11)에 따른 스케일 및 배치방향으로 3차원 효과 모델(32)을 변형한 후 모델 적용부(140)로 제공할 수 있다(S5).

이때, 모델 변형부(130)는 자세 정보에 따른 스케일에 미리 설정된 배수를 적용하거나 각 3차원 효과 모델(32)별로 미리 설정된 배수를 적용하여, 3차원 효과 모델(32)의 크기를 조절할 수 있으며, 이에 따라 3차원 효과 모델(32)의 크기는 객체의 크기보다 크거나 작을 수 있으며 동일할 수도 있다.

이후, 모델 적용부(140)는 모델 변형부(130)로부터 변형된 3차원 효과 모델(32)을 수신하며, 객체 식별부(110)로부터 수신되는 객체 관련 정보를 기초로 변형된 3차원 효과 모델(32)을 객체(10)의 위치 또는 영역에 맞추어 적용할 수 있으며, 변형된 3차원 효과 모델(32)이 적용된 객체(10)를 표시부(160)를 통해 표시할 수 있다(S6).

도 5 내지 도 6은 입력 이미지의 객체에 적용된 3차원 효과 모델의 적용 예시도로서, 도 5에 도시된 바와 같이 모델 적용부(140)는 자세 정보에 대응되는 관찰 시점에 대한 자세로 변형된 3차원 효과 모델(32)을 모델 변형부(130)로부터 수신하여 객체(10)에 적용할 수 있다.

이때, 모델 변형부(130)는 3차원 효과 모델(32)을 자세 정보에 대응되는 관찰 시점을 기준으로 미리 설정된 패턴에 따라 회전시키거나 확대 및 축소하여 변형하고, 변형된 3차원 효과 모델(32)을 모델 적용부(140)로 제공하여 객체(10)에 적용할 수 있으며, 이를 통해 도 6에 도시된 바와 같이 객체(10)의 자세정보에 따른 관찰 시점을 기준으로 90도 회전시킨 형태로 변형된 3차원 효과 모델(32)을 객체(10)에 적용할 수도 있다.

다시 말해, 모델 변형부(130)는 객체(10)의 자세에 대응되는 관찰 시점과 상이한 관찰시점에서 관찰하는 형태로 3차원 효과 모델(32)을 변형할 수도 있다.

이때, 모델 변형부(130)는 관찰 시점을 기준으로 하는 3차원 효과 모델(32)의 변형 형태에 대한 패턴을 상술한 입력부(미도시) 또는 통신부(미도시)를 통한 사용자 입력을 기초로 입력받아 설정할 수 있다.

한편, 상술한 구성에서 객체 식별부(110)는 입력 이미지 내에 포함된 복수의 객체를 인식할 수 있음은 물론이며, 자세 판단부(120)는 각 객체에 대한 자세정보를 생성하고, 모델 변형부(130)는 자세정보를 기초로 각 객체에 대응되어 선택된 3차원 효과 모델을 대응되는 객체의 자세에 따라 변형한 후 모델 적용부(140)로 제공하며, 모델 적용부(140)가 각 객체에 대응되는 3차원 효과 모델을 입력 이미지에 포함된 객체에 적용하여, 입력 이미지에 포함된 복수의 객체에 대하여 3차원 효과 모델을 적용할 수 있음은 물론이다.

또한, 상술한 구성 이외에도 저장부(150)는 객체의 종류나 명칭 등에 대응되는 3차원 효과 모델이 구분되어 설정될 수 있다.

이에 따라, 모델 변형부(130)는 객체 식별부(110)로부터 객체 관련 정보를 수신할 수 있으며, 객체 관련 정보에 포함된 객체 식별정보를 기초로 식별된 객체에 대응되는 하나 이상의 3차원 효과 모델을 저장부(150)로부터 자동 선택 및 추출하여 객체에 대응되어 생성된 자세정보를 추출된 각 3차원 효과 모델에 적용할 수 있다.

이에 따라, 모델 적용부(140)는 객체의 자세에 대응되어 변형된 하나 이상의 3차원 효과 모델을 입력 이미지 내의 객체에 적용하여, 객체에 대한 연출 효과를 자동 적용할 수 있다.

본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 방법에 따르면, 다양한 형태로 3차원 효과 모델을 변형하여 입력 이미지 내의 객체에 적용할 수 있으며, 이를 통해 다양한 연출 효과를 제공할 수 있다.

본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 객체 기반 연출 효과 제공 장치, 객체 자세 기반 연출 효과 제공 장치가 구성된 사용자 장치 또는 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 객체 자세 기반 연출 효과 제공 방법을 구현할 수 있다.

정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 방법을 구현하는 컴퓨터 프로그램은 객체 자세 기반 연출 효과 제공 장치, 객체 자세 기반 연출 효과 제공 장치가 구성된 사용자 장치 또는 서비스 제공 장치의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 객체 자세 기반 연출 효과 제공 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 객체 자세 기반 연출 효과 제공 장치, 객체 자세 기반 연출 효과 제공 장치가 구성된 사용자 장치 또는 서비스 제공 장치에 장착될 수도 있다.

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

본 발명은 입력 이미지에 포함된 객체의 자세에 적합하도록 3차원 효과 모델의 자세를 변형하여 객체에 적용함으로써 객체와 3차원 효과 모델의 조화를 최적화하여 연출 효과를 극대화하는 것으로서 쇼핑몰의 상품이나 다양한 이미지에 포함된 객체의 강조에 폭넓게 활용될 수 있으며, 오픈마켓 서비스 제공 시스템, 프리젠테이션 관련 서비스 제공 시스템, 내비게이션 서비스 제공 시스템 등에 광범위하게 활용될 수 있다.

1: 입력 이미지 10: 객체
11: 자세정보 20: 레퍼런스 이미지
31, 32: 3차원 효과 모델
100: 객체 자세 기반 연출 효과 제공 장치
110: 객체 식별부 120: 자세 판단부
130: 모델 변형부 140: 모델 적용부
150: 저장부 160: 표시부

Claims (11)

1. 입력 이미지에 포함된 객체를 식별하는 객체 식별부;
   상기 식별된 객체에 대응되는 레퍼런스 이미지를 기초로 상기 객체에 대한 자세를 판단하는 자세 판단부;
   상기 객체에 대응되어 선택된 하나 이상의 3차원 효과 모델을 상기 객체의 자세에 대응되는 시점에서 관찰하는 형태로 변형하는 모델 변형부; 및
   상기 변형된 각 3차원 효과 모델을 상기 입력 이미지에서 상기 식별된 객체에 맞추어 해당 객체에 적용하는 모델 적용부를 포함하는 객체 자세 기반 연출 효과 제공 장치.
2. 제 1항에 있어서,
   상기 3차원 효과 모델은 2차원 이미지 또는 3차원 이미지를 포함하는 것을 특징으로 하는 객체 자세 기반 연출 효과 제공 장치.
3. 제 1항에 있어서,
   상기 자세 판단부는 상기 식별된 객체와 일치하는 레퍼런스 이미지의 스케일 및 배치방향에 따라 상기 객체에 대한 자세를 판단하는 것을 특징으로 하는 것을 특징으로 하는 객체 자세 기반 연출 효과 제공 장치.
4. 제 3항에 있어서,
   상기 배치방향은 관찰시점인 것을 특징으로 하는 객체 자세 기반 연출 효과 제공 장치.
5. 제 4항에 있어서,
   상기 모델 변형부는 상기 관찰 시점에 대응되어 상기 3차원 효과 모델을 변형하는 것을 특징으로 하는 객체 자세 기반 연출 효과 제공 장치.
6. 제 1항에 있어서,
   상기 자세 판단부는 상기 객체에 대응되는 상기 레퍼런스 이미지를 회전 및 크기 중 적어도 하나에 대한 파라메터를 조절하여 상기 객체의 자세와 일치시키며, 일치되는 레퍼런스 이미지에서 측정된 상기 파라메터를 기초로 상기 객체에 대한 자세를 판단하는 것을 특징으로 하는 객체 자세 기반 연출 효과 제공 장치.
7. 제 1항에 있어서,
   상기 모델 변형부는 상기 객체 식별부로부터 객체에 대응되는 식별정보를 수신하며, 객체의 식별정보에 대응되는 하나 이상의 3차원 효과 모델을 자동 선택하여 각 3차원 효과 모델을 상기 객체의 자세에 따라 변형하는 것을 특징으로 하는 객체 자세 기반 연출 효과 제공 장치.
8. 제 1항에 있어서,
   상기 모델 변형부는 상기 자세를 기준으로 회전 및 크기 중 적어도 하나에 대하여 미리 설정된 패턴에 따라 상기 3차원 효과 모델을 변형하여 상기 객체의 자 세에 대응되는 시점과 상이한 시점에서 관찰하는 형태로 변형하는 것을 특징으로 하는 객체 자세 기반 연출 효과 제공 장치.
9. 제 1항에 있어서,
   상기 객체 식별부는 식별된 객체의 영역에 대한 영역정보를 상기 모델 적용부로 제공하며,
   상기 모델 적용부는 상기 영역정보에 대응되는 객체의 영역에 맞추어 상기 3차원 효과 모델을 적용하는 것을 특징으로 하는 객체 자세 기반 연출 효과 제공 장치.
10. 객체 식별부가 입력 이미지에 포함된 객체를 식별하는 단계;
    자세 판단부가 상기 식별된 객체에 대응되는 레퍼런스 이미지를 기초로 상기 객체에 대한 자세를 판단하는 단계;
    모델 변형부가 상기 객체에 대응되어 선택된 하나 이상의 3차원 효과 모델을 상기 객체의 자세에 대응되는 시점에서 관찰하는 형태로 변형하는 단계; 및
    모델 적용부가 상기 변형된 각 3차원 효과 모델을 상기 입력 이미지에서 상기 식별된 객체에 맞추어 해당 객체에 적용하는 단계를 포함하는 객체 자세 기반 연출 효과 제공 방법.
11. 제 10항에 있어서,
    상기 객체 자세 기반 연출 효과 제공 방법을 수행하는 컴퓨터 프로그램이 기록된 기록매체.

Images