KR20160077548A - 실감 효과 메타데이터 생성 장치 및 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치는 프로그램에 따라 미디어에 상응하는 실감 효과 메타데이터를 생성하는 프로세서 및 프로그램을 저장하는 메모리를 포함하되, 프로그램은, 미디어로부터 특징점을 추출하고, 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하고, 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상에 따른 실감 효과 메타데이터를 생성하기 위해 구성되는 것을 특징으로 한다.

Description

실감 효과 메타데이터 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING SENSORY EFFECT METADATA}

본 발명은 미디어를 기반으로 실감 체험을 제공하기 위한 실감 효과 메타데이터를 생성하는 기술에 관한 것으로, 보다 상세하게는 미디어 장면에 포함된 오브젝트의 기울기, 회전, 줌인 아웃, 카메라의 이동, 회전에 대응하는 실감 효과 메타데이터를 생성하는 기술에 관한 것이다.

미디어를 기반으로 실감 체험 서비스를 제공하는 기술은 기존 미디어에 MPEG-V 국제 표준 실감 효과 메타데이터를 추가하여 미디어를 재생산하고, 미디어를 재현하는 시스템이 미디어 재생과 함께 실감 효과 메타데이터를 파싱하고 분석하여 실감 효과를 재현할 디바이스를 미디어 재생시간과 동기화하여 실감 효과를 재현하는 기술이다.

일반적으로 실감 효과 메타데이터를 생성하는 방식은 제작자가 미디어를 반복적으로 보면서 해당 시간 위치를 기억하고 그 시간에 실감 효과에 대응하는 실감 효과 메타데이터를 수동적으로 입력하는 방식이거나, 실감 효과 메타데이터 생성 장치가 저작도구를 이용하여 원하는 체감효과를 제작자로부터 의도한 시간에 실험적인 속성값을 입력받아 실감 효과 메타데이터를 생성하는 방식이다.

따라서 생성된 실감 효과 메타데이터는 4D 모션 의자 등의 실감 효과를 재현하는 디바이스인 실감 효과 재현 장치를 통해 실감 효과를 사용자에게 제공할 수 있다.

하지만, 일반적인 실감 효과 메타데이터를 생성하는 방식은 실감 효과 메타데이터를 제작자의 입력에 기반하여 생성해야 한다.

본 발명이 해결하고자 하는 과제는 미디어에 나타나는 객체의 움직임 및 카메라 시점 변화에 따라 실감 효과 메타데이터를 자동으로 생성하는 실감 효과 메타데이터 생성 장치 및 그 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 프로그램에 따라 미디어에 상응하는 실감 효과 메타데이터를 생성하는 프로세서; 및 상기 프로그램을 저장하는 메모리; 를 포함하되, 상기 프로그램은, 상기 미디어로부터 특징점을 추출하고, 상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하고, 상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상에 따른 실감 효과 메타데이터를 생성하기 위해 구성되는 것을 특징으로 하는 실감 효과 메타데이터 생성 장치가 제공된다.

상기 프로그램은 상기 특징점 중 객체의 윤곽 지점에 위치하는 유효 특징점을 선정하고, 유효 특징점 중 크기 기준점을 꼭지점으로 하는 팔각형의 넓이에 따라 상기 객체 줌 정보를 생성하기 위해 구성되고, 상기 크기 기준점은 객체의 중심점을 지나고, 미리 지정된 기준 방향과 미리 지정된 각도를 이루는 3개의 직선 상에 위치하는 유효 특징점일 수 있다.

상기 프로그램은 i+1번째 유효 특징점과 i+2번째 유효 특징점 간의 거리가 i번째 유효 특징점과 i+2번째 유효 특징점 간의 거리 이상인 경우, 상기 i+1번째 유효 특징점의 값을 상기 i+2번째 유효 특징점의 값과 동일하도록 보정하도록 구성되고, 상기 i는 1 이상의 자연수이고, 상기 i+1번째 유효 특징점은 i번째 이후의 유효 특징점 중 i번째 유효 특징점과 가장 가까운 거리에 위치한 유효 특징점일 수 있다.

상기 프로그램은 로컬 섹터별 각 특징점의 벡터에 대한 평균 벡터를 산출하고, 상기 로컬 섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치를 초과하는 경우, 상기 로컬 섹터별 평균 벡터의 평균에 상응하는 회전각인 글로벌 회전각을 산출하고, 상기 글로벌 회전각을 포함하는 인클라인 정보를 생성하고, 상기 로컬 섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치 이하인 경우, 상기 로컬 섹터별 평균 벡터의 평균을 포함하는 무브 정보를 생성하도록 구성될 수 있다.

상기 프로그램은 상기 로컬 섹터에 포함된 각 특징점 중 어느 하나의 벡터인 대상 벡터와 상기 평균 벡터 간의 차에 따른 스칼라 값이 미리 지정된 수치 미만인 경우, 상기 대상 벡터에 방사형 섹터값 대비 가중치를 적용한 후, 상기 로컬 섹터별 각 특징점의 벡터에 대한 평균으로 상기 평균 벡터를 갱신하도록 구성될 수 있다.

상기 프로그램은 상기 특징점 중 변화량이 미리 지정된 수치 이상인 변화 특징점을 선정하고, 미디어를 미리 지정된 크기의 영역으로 구분하였을 때, 변화 특징점을 포함하는 영역을 객체 영역으로 선정하고, 객체 영역 상 특징점의 위치를 추적하여 객체 움직임 벡터를 산출하고, 객체 영역을 구성하는 미리 지정된 크기의 각 영역 별 특징점의 평균 변화량에 따라 객체의 회전 속도 및 방향을 산출하고, 객체의 중심축을 설정하고, 중심축을 기준으로 하는 벡터 변화량에 따라 객체 기울기를 산출하도록 구성될 수 있다.

상기 프로그램은 상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상을 포함하는 모션 데이터를 생성하고, 상기 모션 데이터에 상응하는 모션 패턴이 매핑된 실감 효과 메타데이터를 생성하도록 구성될 수 있다.

상기 프로그램은 상기 모션 데이터를 벡터 포지셔닝(vector positioning)하여 벡터를 산출하고, 상기 벡터 중 인접한 벡터에 상응하는 인접 벡터 차를 산출하고, 상기 인접 벡터 차의 변화량이 하나 이상의 미리 지정된 조건 중 어느 하나를 만족하는 경우, 만족된 상기 조건에 상응하는 모션 패턴을 현재의 모션 패턴으로 매핑하도록 구성될 수 있다.

본 발명의 다른 측면에 따르면, 실감 효과 메타데이터 생성 장치가 실감 효과 메타데이터를 생성하는 방법에 있어서, 미디어로부터 특징점을 추출하는 단계; 상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계; 및 상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상에 따른 실감 효과 메타데이터를 생성하는 단계; 를 포함하는 실감 효과 메타데이터 생성 방법이 제공된다.

상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는, 상기 특징점 중 객체의 윤곽 지점에 위치하는 유효 특징점을 선정하는 단계; 및 유효 특징점 중 크기 기준점을 꼭지점으로 하는 팔각형의 넓이에 따라 상기 객체 줌 정보를 생성하는 단계; 를 포함하되, 상기 크기 기준점은 객체의 중심점을 지나고, 미리 지정된 기준 방향과 미리 지정된 각도를 이루는 3개의 직선 상에 위치하는 유효 특징점일 수 있다.

상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는, i+1번째 유효 특징점과 i+2번째 유효 특징점 간의 거리가 i번째 유효 특징점과 i+2번째 유효 특징점 간의 거리 이상인 경우, 상기 i+1번째 유효 특징점의 값을 상기 i+2번째 유효 특징점의 값과 동일하도록 보정하는 단계를 더 포함하되, 상기 i는 1 이상의 자연수이고, 상기 i+1번째 유효 특징점은 i번째 이후의 유효 특징점 중 i번째 유효 특징점과 가장 가까운 거리에 위치한 유효 특징점일 수 있다.

상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는, 로컬 섹터별 각 특징점의 벡터에 대한 평균 벡터를 산출하는 단계; 상기 로컬 섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치를 초과하는 경우, 상기 로컬 섹터별 평균 벡터의 평균에 상응하는 회전각인 글로벌 회전각을 산출하고, 상기 글로벌 회전각을 포함하는 인클라인 정보를 생성하는 단계; 및 상기 로컬 섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치 이하인 경우, 상기 로컬 섹터별 평균 벡터의 평균을 포함하는 무브 정보를 생성하는 단계를 포함할 수 있다.

상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는, 상기 로컬 섹터에 포함된 각 특징점 중 어느 하나의 벡터인 대상 벡터와 상기 평균 벡터 간의 차에 따른 스칼라 값이 미리 지정된 수치 미만인 경우, 상기 대상 벡터에 방사형 섹터값 대비 가중치를 적용한 후, 상기 로컬 섹터별 각 특징점의 벡터에 대한 평균으로 상기 평균 벡터를 갱신하는 단계를 더 포함할 수 있다.

상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는, 상기 특징점 중 변화량이 미리 지정된 수치 이상인 변화 특징점을 선정하는 단계; 미디어를 미리 지정된 크기의 영역으로 구분하였을 때, 변화 특징점을 포함하는 영역을 객체 영역으로 선정하는 단계; 객체 영역 상 특징점의 위치를 추적하여 객체 움직임 벡터를 산출하는 단계; 객체 영역을 구성하는 미리 지정된 크기의 각 영역 별 특징점의 평균 변화량에 따라 객체의 회전 속도 및 방향을 산출하는 단계; 및 객체의 중심축을 설정하고, 중심축을 기준으로 하는 벡터 변화량에 따라 객체 기울기를 산출하는 단계를 포함할 수 있다.

상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상에 따른 실감 효과 메타데이터를 생성하는 단계는 상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상을 포함하는 모션 데이터를 생성하는 단계; 및 상기 모션 데이터에 상응하는 모션 패턴이 매핑된 실감 효과 메타데이터를 생성하는 단계를 포함할 수 있다.

상기 모션 데이터에 상응하는 모션 패턴이 매핑된 실감 효과 메타데이터를 생성하는 단계는, 상기 모션 데이터를 벡터 포지셔닝(vector positioning)하여 벡터를 산출하는 단계; 상기 벡터 중 인접한 벡터에 상응하는 인접 벡터 차를 산출하는 단계; 및 상기 인접 벡터 차의 변화량이 하나 이상의 미리 지정된 조건 중 어느 하나를 만족하는 경우, 만족된 상기 조건에 상응하는 모션 패턴을 현재의 모션 패턴으로 매핑하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치는 실감 효과 메타데이터를 자동으로 생성할 수 있다.

본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치는 실감 효과 메타데이터를 미디어에 포함된 객체의 움직임에 따라 생성하여, 실감 효과 재현 장치가 미디어의 내용에 정확히 동기화된 실감 효과를 재현하도록 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치를 예시한 블록도.
도 2는 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 실감 효과 메타데이터를 생성하는 과정을 예시한 순서도.
도 3은 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 객체 줌 정보를 생성하는 것을 예시한 순서도.
도 4는 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 인클라인 정보 또는 무브 정보를 생성하는 과정을 예시한 순서도.
도 5는 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 객체 변화량을 산출하는 과정을 예시한 순서도.
도 6은 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 실감 효과 메타데이터를 생성하는 과정을 예시한 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.

도 1은 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치를 예시한 블록도이다.

본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치는 신 인터페이스(110), 프로세서(120), 메모리(130) 및 스토리지(140)를 포함한다.

통신 인터페이스(110)는 미리 지정된 프로토콜을 통해 외부로부터 미디어를 수신하고, 실감 효과 메타데이터 생성 장치가 생성한 실감 효과 메타데이터를 출력한다.

프로세서(120)는 미리 지정된 프로그램에 따라 미디어에 상응하는 실감 효과 메타데이터를 생성한다.

메모리(130)는 상술한 실감 효과 메타데이터의 생성을 위해 미리 지정된 프로그램을 저장한다. 메모리(130)는 공지된 방식의 랜덤 엑세스 메모리(RAM) 등의 휘발성 메모리일 수 있다.

스토리지(140)는 실감 효과 메타데이터의 생성을 위해 미리 지정된 프로그램을 저장하고, 프로그램을 메모리(130)로 제공할 수 있다. 따라서, 프로세서(120)는 메모리(130)에 저장된 프로그램을 참조하여 실감효과 메타데이터를 생성하는 과정을 수행할 수 있다.

이하, 도 2를 참조하여 상술한 실감 효과 메타데이터 생성 장치가 미디어에 상응하는 실감 효과 메타데이터를 생성하는 과정을 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 실감 효과 메타데이터를 생성하는 과정을 예시한 순서도이다. 이하 설명하는 각 과정은 실감 효과 메타데이터 생성 장치의 프로세서(220)가 메모리(230)에 저장된 프로그램에 따라 수행하는 과정이나, 발명의 명확하고 간략한 설명을 위해 메모리의 프로그램을 참조하는 등의 컴퓨터 장치가 수행하는 일반적인 과정에 대한 설명은 생략하고, 각 단계의 주체를 실감효과 메타데이터 생성 장치로 통칭하도록 한다.

도 3을 참조하면, 단계 205에서 실감 효과 메타데이터 생성 장치는 통신 인터페이스(110)를 통해 미디어를 수신한다.

단계 210에서 실감 효과 메타데이터 생성 장치는 미디어로부터 특징점을 추출한다. 이 때, 특징점은 주로 배경과 오브젝트의 경계 부분, 움직임이 있는 오브젝트 상의 지점에서 추출될 수 있다.

단계 215에서 실감 효과 메타데이터 생성 장치는 각 특징점의 변화량을 산출하고, 변화량이 미리 지정된 임계값 이상인 변화 특징점을 선정한다. 이 때, 특징점의 변화량은 미디어의 특정 시간 구간 상 특징점이 이동한 거리를 의미한다.

단계 220에서 실감 효과 메타데이터 생성 장치는 특징점을 참조하여 객체 변화량을 산출한다. 예를 들어, 객체 변화량은 미디어 상의 객체의 이동 방향 및 거리, 객체의 회전 속도와 방향 및 객체의 기울기 중 하나 이상을 포함하는 정보일 수 있다. 객체 변화량을 산출하는 과정은 추후 도 5를 참조하여 상세히 설명하도록 한다.

단계 230에서 실감 효과 메타데이터 생성 장치는 객체의 윤곽 지점 상에 위치한 변화 특징점에 따라 객체의 줌 인(Zoom In)/줌 아웃(Zoom Out)이 된 정도를 나타내는 객체 줌 정보를 산출할 수 있다. 추후 도 3을 참조하여, 객체 줌 정보를 산출하는 과정을 상세히 설명하도록 한다.

단계 240에서 실감 효과 메타데이터 생성 장치는 각 로컬 섹터 별 특징점에 상응하는 벡터에 따라 회전각을 산출하고, 회전각에 따라 카메라가 회전함에 따라 발생하는 전체 특징점의 회전하는 정도를 나타내는 회전각(이하, 글로벌 회전각이라 지칭) 또는 카메라의 움직임에 따라 발생하는 전체 특징점의 움직임을 나타내는 벡터(이하, 글로벌 움직임 벡터라 지칭)를 산출한다. 추후 도 4를 참조하여 글로벌 회전각 또는 글로벌 움직임 벡터를 산출하는 과정을 상세히 설명하도록 한다.

단계 245에서 실감 효과 메타데이터 생성 장치는 객체 변화량, 객체 줌 정보, 글로벌 회전각 및 글로벌 움직임 벡터 중 하나 이상을 포함하는 모션 데이터를 생성한다.

단계 250에서 실감 효과 메타데이터 생성 장치는 미리 지정된 모션 패턴 중 모션 데이터에 대응하는 모션 패턴을 포함하는 실감 효과 메타데이터를 생성한다. 예를 들어, 실감 효과 메타데이터 생성 장치는 복수의 모션 패턴을 각 모션 데이터에 대응하여 미리 저장할 수 있고, 생성된 모션 데이터에 대응하는 모션 패턴을 포함하는 실감 효과 메타데이터를 생성할 수 있다.

도 3은 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 객체 줌 정보를 생성하는 것을 예시한 순서도이다. 이 때, 도 3은 상술한 도 2의 단계 230에 해당하는 과정을 예시한 순서도일 수 있다.

도 3을 참조하면, 단계 305에서 실감 효과 메타데이터 생성 장치는 윤곽 지점에 해당하는 특징점을 선정한다. 예를 들어, 실감 효과 메타데이터 생성 장치는 미디어의 영상을 미리 지정된 크기의 복수 영역으로 분할하고, 특징점이 포함된 수가 미리 지정된 수 이상인 영역의 특징점을 윤곽 지점에 해당하는 특징점으로 선정할 수 있다.

단계 310에서 실감 효과 메타데이터 생성 장치는 단계 305에서 선정된 특징점 간의 편차(특징점 간의 거리)를 산출한다.

단계 315에서 실감 효과 메타데이터 생성 장치는 각 특징점에 상응하는 편차가 미리 지정된 수치 이하인 특징점을 유효 특징점으로 선정한다. 이 때, 유효 특징점은 객체 줌 정보를 산출하기 위해 고려되는 특징점을 의미할 수 있다.

단계 320에서 실감 효과 메타데이터 생성 장치는 i+1번째 및 i+2번째 유효 특징점 간의 거리가 i번째 및 i+2번째 유효 특징점 간의 거리 이상인지 판단한다. 이 때, i는 1 이상의 자연수일 수 있고, 최초 i의 값은 1로 설정될 수 있다. 또한, i+1번째 유효 특징점은 i번째 이후의 유효 특징점 중 i번째 유효 특징점과 가장 가까운 거리에 위치한 유효 특징점일 수 있다. 만약, i번째 이후의 유효 특징점 중 i번째 유효 특징점과 가장 가까운 거리에 위치한 유효 특징점이 복수 존재하는 경우, i번째 유효 특징점을 기준으로 미리 지정된 범위의 방향에 위치하는 유효 특징점이 i+1번째 유효 특징점으로 설정될 수 있다.

단계 320에서 i+1번째 및 i+2번째 유효 특징점 간의 거리가 i번째 및 i+2번째 유효 특징점 간의 거리 미만인 경우, 단계 325에서 실감 효과 메타데이터 생성 장치는 i의 값을 1만큼 증가시킨다.

단계 320에서 i+1번째 및 i+2번째 유효 특징점 간의 거리가 i번째 및 i+2번째 유효 특징점 간의 거리 이상인 경우, 단계 330에서 실감 효과 메타데이터 생성 장치는 i+2번째 유효 특징점의 위치와 동일하도록 i+1번째 유효 특징점의 위치를 설정한다.

단계 335에서 실감 효과 메타데이터 생성 장치는 i+2번째 유효 특징점이 마지막 유효 특징점인지 확인한다.

단계 335에서 i+2번째 유효 특징점이 마지막 유효 특징점이 아닌 경우, 실감 효과 메타데이터 생성 장치는 단계 325부터의 과정을 다시 수행한다.

단계 335에서 i+2번째 유효 특징점이 마지막 유효 특징점인 경우, 단계 340에서 실감 효과 메타데이터 생성 장치는 각 유효 특징점 중 크기 기준점을 선정한다. 이 때, 크기 기준점은 객체의 중심점을 지나고, 미리 지정된 기준 방향과 0도, 45도 또는 90도를 이루는 직선 상에 위치하거나 가장 가까운 유효 특징점이다. 따라서, 크기 기준점은 총 8개의 지점일 수 있다.

단계 345에서 실감 효과 메타데이터 생성 장치는 8개의 크기 기준점을 꼭지점으로 하는 팔각형의 넓이를 산출하고, 미디어의 이전 프레임에 해당하는 팔각형의 넓이에서 현 단계에서 산출한 팔각형의 넓이로의 변화량에 따라 객체 줌 정보를 생성할 수 있다. 예를 들어, 실감 효과 메타데이터 생성 장치는 팔각형 넓이의 변화량에 미리 지정된 상수를 곱한 값을 포함하는 객체 줌 정보로 생성할 수 있다.

도 4는 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 인클라인 정보 또는 무브 정보를 생성하는 과정을 예시한 순서도이다. 이 때, 도 4는 상술한 도 2의 단계 240에 해당하는 과정을 예시한 순서도일 수 있다.

도 4를 참조하면, 단계 405에서 실감 효과 메타데이터 생성 장치는 로컬 섹터별 각 특징점의 벡터에 대한 평균인 평균 벡터를 산출한다. 이 때, 실감 효과 메타데이터 생성 장치는 각 특징점에 대한 중심점을 기준으로 특징점이 분포된 영역을 복수의 로컬 섹터로 설정할 수 있다. 중심점은 각 특징점의 가로 좌표에 대한 평균과 세로 좌표에 대한 평균에 해당하는 좌표에 위치하는 지점을 의미할 수 있다. 예를 들어, 실감 효과 메타데이터 생성 장치는 중심점을 기준으로 미리 설정된 각도의 영역을 하나의 로컬 섹터로 설정할 수 있다. 즉, 실감 효과 메타데이터 생성 장치는 중심점을 기준으로 15도의 영역을 하나의 로컬 섹터로 설정하는 경우, 총 24개의 로컬 섹터를 설정할 수 있다.

단계 410에서 실감 효과 메타데이터 생성 장치는 각 로컬 섹터에 포함된 모든 벡터와 로컬 섹터의 평균 벡터를 비교하였는지 판단한다.

단계 410에서 각 로컬 섹터에 포함된 모든 벡터와 로컬 섹터의 벡터 평균을 비교하지 않은 경우, 단계 415에서 실감 효과 메타데이터 생성 장치는 평균 벡터와 대상 벡터 간의 차의 스칼라 값이 미리 지정된 수치 이상인지 판단한다. 이 때, 대상 벡터는 로컬 섹터에 위치하는 특징점 중 어느 하나에 상응하는 벡터일 수 있다.

단계 415에서 평균 벡터와 대상 벡터 간의 차의 스칼라 값이 미리 지정된 수치 이상인 경우, 실감 효과 메타데이터 생성 장치는 단계 410에서 평균 벡터와 비교되지 않은 로컬섹터의 벡터 중 어느 하나를 대상 벡터로 선정한다.

단계 415에서 평균 벡터와 대상 벡터 간의 차의 스칼라 값이 미리 지정된 수치 미만인 경우, 단계 425에서 실감 효과 메타데이터 생성 장치는 방사형 섹터값 대비 가중치를 대상 벡터에 적용한 후 로컬섹터의 평균 벡터를 다시 산출한다. 이 때, 방사형 섹터값 대비 가중치는 로컬섹터의 평균 벡터와 대상 벡터 간의 방향 차 및 스칼라값 차에 대응하여 미리 설정된 값이다. 이 때, 방사형 섹터값 대비 가중치는 로컬섹터의 평균 벡터와 대상 벡터 간의 방향 및 스칼라값이 유사할 수록 높은 값으로 설정될 수 있다. 따라서, 가중치가 부여된 대상 벡터에 따른 평균 벡터를 재산출하게 되면, 평균벡터의 변화량을 감소시키는 벡터가 평균 벡터에 반영되는 영향을 줄일 수 있다. 따라서, 실감 효과 메타데이터 생성 장치는 로컬 섹터의 평균 벤터의 변화량을 좀더 정확하게 측정할 수 있다.

단계 430에서 실감 효과 메타데이터 생성 장치는 로컬섹터별 평균 벡터에 따른 회전각을 산출한다. 즉, 실감 효과 메타데이터 생성 장치는 로컬섹터별 평균 벡터의 방향이 시간에 따라 변동되는 정도를 나타내는 회전각을 산출할 수 있다.

단계 440에서 실감 효과 메타데이터 생성 장치는 각 로컬섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치 이하인지 판단한다.

단계 440에서 로컬섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치를 초과하는 경우, 단계 445에서 실감 효과 메타데이터 생성 장치는 미디어에 대한 모션을 미리 지정된 모션 중의 하나인 인클라인 모션으로 설정한다. 이 때, 인클라인 모션은 카메라가 기울어지는 상황에서 실감 효과 구현 장치가 구현하는 모션일 수 있다. 또한, 인클라인 모션의 속성으로는 기울기의 정도를 나타내는 회전각이 설정될 수 있다. 실감 효과 메타데이터 생성 장치는 각 로컬섹터별 평균벡터에 대한 평균벡터의 회전각인 글로벌 회전각을 산출하고, 글로벌 회전각을 인클라인 모션의 속성으로 설정할 수 있다.

단계 440에서 각 로컬섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치 이하인 경우, 단계 450에서 실감 효과 메타데이터 생성 장치는 미디어에 대한 모션을 미리 지정된 모션 중 하나인 무브 모션으로 매핑한다. 이 때, 무브 모션은 카메라가 특정 방향으로 이동하는 상황에서 실감 효과 구현 장치가 구현하는 모션일 수 있다. 무브 모션의 속성으로는 카메라가 움직이는 방향 및 크기를 나타내는 벡터가 설정될 수 있다. 실감 효과 메타데이터 생성 장치는 각 로컬섹터별 평균벡터의 평균인 글로벌 모션 벡터를 무브 모션의 속성으로 설정할 수 있다.

도 5는 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 객체 변화량을 산출하는 과정을 예시한 순서도이다. 이 때, 도 5는 상술한 도 2의 단계 220에 해당하는 과정을 예시한 순서도일 수 있다.

단계 505에서 실감 효과 메타데이터 생성 장치는 변화량이 미리 지정된 수치 이상인 특징점(이하, 변화 특징점이라 지칭)을 선정한다.

단계 510에서 실감 효과 메타데이터 생성 장치는 미디어를 미리 지정된 크기의 영역으로 구분하였을 때, 변화 특징점을 포함하는 영역을 객체가 위치한 영역(이하, 객체 영역으로 지칭)으로 선정한다.

단계 515에서 실감 효과 메타데이터 생성 장치는 객체 영역 상의 특징점의 위치를 추적하여 미디어상 객체의 이동 거리 및 방향을 나타내는 객체 움직임 벡터를 산출한다.

단계 520에서 실감 효과 메타데이터 생성 장치는 객체 영역을 구성하는 미리 지정된 크기의 각 영역 별 특징점의 평균 변화량에 따라 객체의 회전 속도 및 방향을 산출한다. 실감 효과 메타데이터 생성 장치는 화면의 중심점, 중심점을 기준으로 움직이기 시작하는 시점의 평균 벡터(객체 상의 각 특징점의 벡터에 대한 평균)에 상응하는 지점, 중심점을 기준으로 움직임이 종료된 시점의 평균 벡터에 상응하는 지점을 참조하여 삼각 측량법에 따라 객체의 회전 속도 및 방향을 산출할 수 있다.

단계 525에서 실감 효과 메타데이터 생성 장치는 객체의 중심축을 설정하고, 중심축을 기준으로 하는 벡터 변화량을 산출하여 객체의 기울기를 산출한다. 실감 효과 메타데이터 생성 장치는 객체에 상응하는 벡터 중 변화량이 적은 미리 지정된 수의 벡터를 선정하고, 선정된 각 벡터에 상응하는 지점과의 거리가 최소인 직선을 중심축으로 설정할 수 있다. 또한, 실감 효과 메타데이터 생성 장치는 시간에 따른 변화량이 미리 지정된 수치 이상인 벡터의 움직임 방향 및 움직임 거리를 중심축을 기준으로 산출할 수 있다.

도 6은 본 발명의 일 실시예에 따른 실감 효과 메타데이터 생성 장치가 실감 효과 메타데이터를 생성하는 과정을 예시한 순서도이다. 도 6에서 설명하는 과정은 도 2에서 상술한 단계 250에 해당하는 과정이다.

도 6을 참조하면, 단계 610에서 실감 효과 메타데이터 생성 장치는 모션 데이터를 미리 지정된 3차원 좌표계에 벡터 포지셔닝(vector positioning)하여 벡터를 산출한다.

단계 620에서 실감 효과 메타데이터 생성 장치는 인접한 벡터(벡터 간 거리가 최단인 위치에 해당하는 두 벡터) 간의 차(이하, 인접 벡터 차라 지칭)를 산출한다. 이 때, 실감 효과 메타데이터 생성 장치는 단계 610에서 벡터 포지셔닝된 벡터 중 미리 지정된 규칙에 따라 미리 지정된 수의 인접한 벡터를 선정할 수 있다.

단계 630에서 실감 효과 메타데이터 생성 장치는 미디어에 포함된 프레임의 전환에 따른 인접 벡터 차의 방향 및 크기의 변화량을 산출하고, 인접 벡터 차의 방향 및 크기의 변화량이 하나 이상의 미리 지정된 조건을 만족하는지 판단한다. 이 때, 실감 효과 메타데이터 생성 장치는 각 모션 패턴에 상응하는 인접 벡터 차의 방향 및 크기의 변화량에 대한 조건을 미리 저장할 수 있다.

단계 630에서 인접 벡터 차의 방향 및 크기의 변화량이 하나 이상의 미리 지정된 조건을 만족하는 경우, 단계 640에서 실감 효과 메타데이터 생성 장치는 해당 조건에 상응하는 모션 패턴을 현재에 상응하는 모션 패턴으로 매핑한다.

단계 630에서 인접 벡터 차의 방향 및 크기의 변화량이 하나 이상의 미리 지정된 조건을 만족하지 않는 경우, 실감 효과 메타데이터 생성 장치는 다음 프레임의 인접한 벡터를 대상으로 단계 620을 다시 수행한다.

단계 650에서 실감 효과 메타데이터 생성 장치는 모든 프레임에 대해서 패턴 예측을 수행하였는지 판단한다.

단계 650에서 모든 프레임에 대해서 패턴 예측을 수행한 경우, 단계 660에서 실감 효과 메타데이터 생성 장치는 각 단계 640에서 매핑된 모든 모션 패턴을 포함하는 실감 효과 메타데이터를 생성한다.

단계 650에서 모든 프레임에 대해서 패턴 예측을 수행하지 않은 경우, 실감 효과 메타데이터 생성 장치는 다음 프레임의 인접한 벡터를 대상으로 단계 620을 수행한다.

한편, 본 발명의 실시예에 따른 데이터 저장 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

1. 프로그램에 따라 미디어에 상응하는 실감 효과 메타데이터를 생성하는 프로세서; 및
   상기 프로그램을 저장하는 메모리;
   를 포함하되,
   상기 프로그램은,
   상기 미디어로부터 특징점을 추출하고,
   상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하고,
   상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상에 따른 실감 효과 메타데이터를 생성하기 위해 구성되는 것을 특징으로 하는 실감 효과 메타데이터 생성 장치.
   
2. 제1 항에 있어서,
   상기 프로그램은
   상기 특징점 중 객체의 윤곽 지점에 위치하는 유효 특징점을 선정하고,
   유효 특징점 중 크기 기준점을 꼭지점으로 하는 팔각형의 넓이에 따라 상기 객체 줌 정보를 생성하기 위해 구성되고,
   상기 크기 기준점은 객체의 중심점을 지나고, 미리 지정된 기준 방향과 미리 지정된 각도를 이루는 3개의 직선 상에 위치하는 유효 특징점인 것을 특징으로 하는 실감 효과 메타데이터 생성 장치.
   
3. 제2 항에 있어서,
   상기 프로그램은
   i+1번째 유효 특징점과 i+2번째 유효 특징점 간의 거리가 i번째 유효 특징점과 i+2번째 유효 특징점 간의 거리 이상인 경우, 상기 i+1번째 유효 특징점의 값을 상기 i+2번째 유효 특징점의 값과 동일하도록 보정하도록 구성되고,
   상기 i는 1 이상의 자연수이고, 상기 i+1번째 유효 특징점은 i번째 이후의 유효 특징점 중 i번째 유효 특징점과 가장 가까운 거리에 위치한 유효 특징점인 것을 특징으로 하는 실감 효과 메타데이터 생성 장치.
   
4. 제1 항에 있어서,
   상기 프로그램은
   로컬 섹터별 각 특징점의 벡터에 대한 평균 벡터를 산출하고,
   상기 로컬 섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치를 초과하는 경우, 상기 로컬 섹터별 평균 벡터의 평균에 상응하는 회전각인 글로벌 회전각을 산출하고, 상기 글로벌 회전각을 포함하는 인클라인 정보를 생성하고,
   상기 로컬 섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치 이하인 경우, 상기 로컬 섹터별 평균 벡터의 평균을 포함하는 무브 정보를 생성하도록 구성되는 것을 특징으로 하는 실감 효과 메타데이터 생성 장치.
   
5. 제4 항에 있어서,
   상기 프로그램은
   상기 로컬 섹터에 포함된 각 특징점 중 어느 하나의 벡터인 대상 벡터와 상기 평균 벡터 간의 차에 따른 스칼라 값이 미리 지정된 수치 미만인 경우, 상기 대상 벡터에 방사형 섹터값 대비 가중치를 적용한 후, 상기 로컬 섹터별 각 특징점의 벡터에 대한 평균으로 상기 평균 벡터를 갱신하도록 구성되는 것을 특징으로 하는 실감 효과 메타데이터 생성 장치.
   
6. 제1 항에 있어서,
   상기 프로그램은
   상기 특징점 중 변화량이 미리 지정된 수치 이상인 변화 특징점을 선정하고,
   미디어를 미리 지정된 크기의 영역으로 구분하였을 때, 변화 특징점을 포함하는 영역을 객체 영역으로 선정하고,
   객체 영역 상 특징점의 위치를 추적하여 객체 움직임 벡터를 산출하고,
   객체 영역을 구성하는 미리 지정된 크기의 각 영역 별 특징점의 평균 변화량에 따라 객체의 회전 속도 및 방향을 산출하고,
   객체의 중심축을 설정하고, 중심축을 기준으로 하는 벡터 변화량에 따라 객체 기울기를 산출하도록 구성되는 것을 특징으로 하는 실감 효과 메타데이터 생성 장치.
   
7. 제1 항에 있어서,
   상기 프로그램은
   상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상을 포함하는 모션 데이터를 생성하고,
   상기 모션 데이터에 상응하는 모션 패턴이 매핑된 실감 효과 메타데이터를 생성하도록 구성되는 것을 특징으로 하는 실감 효과 메타데이터 생성 장치.
   
8. 제7 항에 있어서,
   상기 프로그램은
   상기 모션 데이터를 벡터 포지셔닝(vector positioning)하여 벡터를 산출하고,
   상기 벡터 중 인접한 벡터에 상응하는 인접 벡터 차를 산출하고,
   상기 인접 벡터 차의 변화량이 하나 이상의 미리 지정된 조건 중 어느 하나를 만족하는 경우, 만족된 상기 조건에 상응하는 모션 패턴을 현재의 모션 패턴으로 매핑하도록 구성되는 것을 특징으로 하는 실감 효과 메타데이터 생성 장치.
   
9. 실감 효과 메타데이터 생성 장치가 실감 효과 메타데이터를 생성하는 방법에 있어서,
   미디어로부터 특징점을 추출하는 단계;
   상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계; 및
   상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상에 따른 실감 효과 메타데이터를 생성하는 단계;
   를 포함하는 실감 효과 메타데이터 생성 방법.
   
10. 제9 항에 있어서,
    상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는,
    상기 특징점 중 객체의 윤곽 지점에 위치하는 유효 특징점을 선정하는 단계; 및
    유효 특징점 중 크기 기준점을 꼭지점으로 하는 팔각형의 넓이에 따라 상기 객체 줌 정보를 생성하는 단계;
    를 포함하되,
    상기 크기 기준점은 객체의 중심점을 지나고, 미리 지정된 기준 방향과 미리 지정된 각도를 이루는 3개의 직선 상에 위치하는 유효 특징점인 것을 특징으로 하는 실감 효과 메타데이터 생성 방법.
    
11. 제10 항에 있어서,
    상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는,
    i+1번째 유효 특징점과 i+2번째 유효 특징점 간의 거리가 i번째 유효 특징점과 i+2번째 유효 특징점 간의 거리 이상인 경우, 상기 i+1번째 유효 특징점의 값을 상기 i+2번째 유효 특징점의 값과 동일하도록 보정하는 단계를 더 포함하되,
    상기 i는 1 이상의 자연수이고, 상기 i+1번째 유효 특징점은 i번째 이후의 유효 특징점 중 i번째 유효 특징점과 가장 가까운 거리에 위치한 유효 특징점인 것을 특징으로 하는 실감 효과 메타데이터 생성 방법.
    
12. 제9 항에 있어서,
    상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는,
    로컬 섹터별 각 특징점의 벡터에 대한 평균 벡터를 산출하는 단계;
    상기 로컬 섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치를 초과하는 경우, 상기 로컬 섹터별 평균 벡터의 평균에 상응하는 회전각인 글로벌 회전각을 산출하고, 상기 글로벌 회전각을 포함하는 인클라인 정보를 생성하는 단계; 및
    상기 로컬 섹터별 평균 벡터 간의 방향 차이가 미리 지정된 수치 이하인 경우, 상기 로컬 섹터별 평균 벡터의 평균을 포함하는 무브 정보를 생성하는 단계
    를 포함하는 것을 특징으로 하는 실감 효과 메타데이터 생성 방법.
    
13. 제12 항에 있어서,
    상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는,
    상기 로컬 섹터에 포함된 각 특징점 중 어느 하나의 벡터인 대상 벡터와 상기 평균 벡터 간의 차에 따른 스칼라 값이 미리 지정된 수치 미만인 경우, 상기 대상 벡터에 방사형 섹터값 대비 가중치를 적용한 후, 상기 로컬 섹터별 각 특징점의 벡터에 대한 평균으로 상기 평균 벡터를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 실감 효과 메타데이터 생성 방법.
    
14. 제9 항에 있어서,
    상기 특징점에 따른 객체 변화량, 객체 줌 정보, 인클라인 정보 및 무브 정보 중 하나 이상을 산출하는 단계는,
    상기 특징점 중 변화량이 미리 지정된 수치 이상인 변화 특징점을 선정하는 단계;
    미디어를 미리 지정된 크기의 영역으로 구분하였을 때, 변화 특징점을 포함하는 영역을 객체 영역으로 선정하는 단계;
    객체 영역 상 특징점의 위치를 추적하여 객체 움직임 벡터를 산출하는 단계;
    객체 영역을 구성하는 미리 지정된 크기의 각 영역 별 특징점의 평균 변화량에 따라 객체의 회전 속도 및 방향을 산출하는 단계; 및
    객체의 중심축을 설정하고, 중심축을 기준으로 하는 벡터 변화량에 따라 객체 기울기를 산출하는 단계를 포함하는 것을 특징으로 하는 실감 효과 메타데이터 생성 방법.
    
15. 제9 항에 있어서,
    상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상에 따른 실감 효과 메타데이터를 생성하는 단계는
    상기 특징점에 따른 상기 객체 변화량, 상기 객체 줌 정보, 상기 인클라인 정보 및 상기 무브 정보 중 하나 이상을 포함하는 모션 데이터를 생성하는 단계; 및
    상기 모션 데이터에 상응하는 모션 패턴이 매핑된 실감 효과 메타데이터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 실감 효과 메타데이터 생성 방법.
    
16. 제15 항에 있어서,
    상기 모션 데이터에 상응하는 모션 패턴이 매핑된 실감 효과 메타데이터를 생성하는 단계는,
    상기 모션 데이터를 벡터 포지셔닝(vector positioning)하여 벡터를 산출하는 단계;
    상기 벡터 중 인접한 벡터에 상응하는 인접 벡터 차를 산출하는 단계; 및
    상기 인접 벡터 차의 변화량이 하나 이상의 미리 지정된 조건 중 어느 하나를 만족하는 경우, 만족된 상기 조건에 상응하는 모션 패턴을 현재의 모션 패턴으로 매핑하는 단계를 포함하는 것을 특징으로 하는 실감 효과 메타데이터 생성 방법.

Images