KR101642200B1

KR101642200B1 - 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법

Info

Publication number: KR101642200B1
Application number: KR1020140184271A
Authority: KR
Inventors: 최승문; 이재봉
Original assignee: 포항공과대학교 산학협력단
Priority date: 2014-12-19
Filing date: 2014-12-19
Publication date: 2016-07-22
Also published as: US20160182769A1; KR20160074958A

Abstract

동영상에서 관심 객체의 움직임을 분석하여 실시간으로 모션 정보나 모션 효과를 생성할 수 있는 모션 효과 생성 장치 및 방법이 개시된다. 모션 효과 생성 장치는, 영상신호에서 두 프레임의 각 픽셀의 대응 관계를 계산하여 두 프레임 사이의 단위 모션을 추출하는 추출부와, 단위 모션을 군집화하여 유사한 모션끼리 묶은 군집을 생성하는 군집부와, 군집의 대표 모션을 계산하는 계산부와, 대표 모션을 비교하여 모션 효과 생성에 가장 적합한 군집을 모션 군집으로 선택하는 선택부를 포함하고, 선택부에서 선택한 군집의 대표 모션을 모션 정보나 모션 효과로서 출력한다.

Description

객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING MOTION EFFECTS BY ANALYZING MOTION OF OBJECT}

본 발명의 실시예들은 모션 효과 생성 기술에 관한 것으로, 보다 상세하게는 동영상 내 관심 객체의 움직임을 분석하여 실시간으로 모션 정보나 모션 효과를 생성할 수 있는 모션 효과 생성 장치 및 방법에 관한 것이다.

일반적으로 모션 효과는 영화나 음악을 눈과 귀로만 즐기던 차원에서 온몸을 통해 즐길 수 있도록 음악이나 영화의 움직임(Motion)이나 충격을 사용자에게 전달해주는 실감 제현 기술을 지칭한다.

모션 효과를 적용한 일례로는, 영상과 음향 이외에 의자의 이동, 진동, 바람, 향기 등 다양한 물리적인 분위기를 추가적으로 제공하여 영화에 대한 몰입감을 높여주는 입체 또는 4차원(4D) 영화를 들 수 있다. 그리고, 다양한 모션 효과 중에서도 영화의 영상에 어울리도록 의자를 움직여 실감나는 움직임을 재현해 주는 모션 효과가 4D 영화에서 가장 중요한 역할을 한다.

이러한 모션 효과를 생성하기 위해 기존에는 전문 제작자가 일일이 수작업으로 모션 효과를 만들어야 했고, 따라서 모션 효과를 가진 콘텐츠 제작에 많은 시간과 비용이 드는 문제가 있다.

또한, 모션 장비에 적용할 모션 효과를 생성하기 위해서는 모션 효과의 소스정보인 모션 정보가 필요하며, 이러한 모션 정보를 준비하는데 있어서도 전문 장비와 전문가의 작업이 필요하므로 준비에 많은 시간과 비용이 들뿐 아니라 실시간 모션 장비에 적용하기가 어려운 단점이 있다.

대한민국 공개특허공보 제10-2011-0000473호(2011.01.03)

본 발명은 전술한 종래 기술의 문제를 해결하기 위한 것으로, 본 발명의 일실시예에서는 동영상에서 관심 객체의 움직임을 분석하여 이와 어울리는 4D 효과를 위한 모션 정보를 자동으로 생성해주는 모션 효과 생성 장치 및 방법을 제공하고자 한다.

또한, 본 발명의 다른 실시예에서는 동영상에서 모션 정보를 획득하고 모션 정보를 토대로 모션 장비에서 사용할 수 있는 모션 효과로 자동 생성해주는 모션 효과 생성 장치 및 방법을 제공하고자 한다.

상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 따른 모션 효과 생성 장치는, 영상신호에서 두 프레임의 각 픽셀의 대응 관계를 계산하여 두 프레임 사이의 단위모션을 추출하는 추출부와, 단위모션을 군집화하여 유사한 모션끼리 묶은 군집을 생성하는 군집부와, 군집의 대표 모션을 계산하는 계산부와, 대표 모션을 비교하여 모션 효과 생성에 가장 적합한 군집을 모션 군집으로 선택하는 선택부를 포함하고, 선택부에서 선택한 군집의 대표 모션을 모션 효과를 위한 모션 정보로서 출력한다.

일실시예에서, 모션 효과 생성 장치는 선택부에서 선택된 군집의 대표 모션을 모션 효과로서 생성하는 생성부를 더 포함할 수 있다. 생성부는 와시아웃 필터(Washout Filter) 또는 궤적 계획(Trajectory Planning) 방법을 이용할 수 있다.

일실시예에서, 모션 효과 생성 장치는, 추출부에 입력되는 영상신호보다 일정 시간만큼 지연된 제2의 영상신호를 생성부에서 출력되는 모션 효과와 동기화하여 영상 출력 장치에 출력하는 동기화부를 더 포함할 수 있다. 동기화부는 영상신호 동기화 모듈에 대응할 수 있다.

일실시예에서, 추출부는 옵티컬 플로우(Optical Flow) 또는 특징점 매칭(Featrue Point Matching) 방법을 이용할 수 있다.

일실시예에서, 군집부는 K-평균(K-means), 단일 결합(Single Linkage) 또는 스펙트럴 군집화(Spectral Clustering) 방법을 이용할 수 있다.

일실시예에서, 계산부는 군집의 모든 단위 모션의 산술평균 또는 중간값을 선택하는 방법을 이용할 수 있다.

일실시예에서, 선택부는 대표 모션의 절대값이 가장 큰 군집을 선택하거나 시각 주목도를 계산하여 시각 주목도가 가장 높은 군집을 선택하는 방법을 이용할 수 있다.

본 발명의 또 다른 실시예에 따른 모션 효과 생성 방법은, 영상신호에서 두 프레임의 각 픽셀의 대응 관계를 계산하여 두 프레임에 의한 단위 모션을 추출하는 단계와, 영상신호의 프레임들의 단위 모션들을 군집화하여 유사한 모션끼리 묶은 군집을 생성하는 단계와, 군집의 대표 모션을 계산하는 단계와, 대표 모션을 비교하여 모션 효과 생성에 가장 적합한 군집(모션 군집)을 선택하는 단계를 포함할 수있다.

일실시예에서, 모션 효과 생성 방법은 군집을 선택하는 단계 이후에 선택된 군집의 대표 모션을 모션 효과로 생성하는 단계를 더 포함할 수 있다.

일실시예에서, 선택된 군집의 대표 모션을 모션 효과로 생성하는 단계는 와시아웃 필터(Washout Filter) 또는 궤적 계획(Trajectory Planning) 방법을 이용하도록 구현될 수 있다.

일실시예에서, 모션 효과 생성 방법은 영상신호보다 일정 시간만큼 지연되는 제2의 영상신호를 모션 효과의 출력과 동기하여 영상 출력 장치로 출력하는 단계를 더 포함할 수 있다.

일실시예에서, 상기 추출하는 단계는 옵티컬 플로우(Optical Flow) 또는 특징점 매칭(Featrue Point Matching) 방법을 이용하도록 구현될 수 있다.

일실시예에서, 상기 군집을 생성하는 단계는 K-평균(K-means), 단일 결합(Single Linkage) 또는 스펙트럴 군집화(Spectral Clustering) 방법을 이용하도록 구현될 수 있다.

일실시예에서, 상기 대표 모션을 계산하는 단계는 군집의 모든 단위 모션의 산술평균 또는 중간값을 계산하는 방법을 이용하도록 구현될 수 있다.

일실시예에서, 상기 군집을 모션 군집으로 선택하는 단계는 계산된 대표 모션의 절대값이 가장 큰 군집을 선택하거나 시각 주목도를 계산하여 시각 주목도가 가장 높은 군집을 선택하는 방법을 이용하도록 구현될 수 있다.

본 발명의 또 다른 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는, 전술한 실시예들 중 어느 하나의 모션 효과 생성 방법이 기록된 프로그램을 저장하는 기록매체를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 모션 효과 생성 장치는, 입력 영상신호에 기초하여 제1 영상 신호를 출력하고 제1 영상 신호보다 지연된 제2 영상 신호를 출력하는 영상신호 동기화모듈과, 제1 영상 신호에서 선택한 군집의 대표 모션을 토대로 하는 모션 정보를 출력하는 모션 정보 생성 모듈과, 상기 모션 정보를 토대로 생성한 모션 효과를 제2 영상 신호와 동기화된 타이밍에 모션 장비로 출력하는 모션 효과 생성 모듈을 포함할 수 있다.

여기서, 모션 정보 생성 모듈은, 제1 영상 신호에서 두 프레임의 각 픽셀의 대응 관계를 계산하여 두 프레임에 의한 단위 모션을 추출하고, 단위 모션을 군집화하여 유사한 모션끼리 묶은 군집을 생성하고, 군집의 대표 모션을 계산하고, 대표 모션을 비교하여 모션 효과 생성에 가장 적합한 군집을 선택하고, 그리고 모션 효과 생성 모듈은, 선택된 군집의 대표 모션을 모션 효과로 생성하여 출력할 수 있다.

본 발명에 의하면, 동영상에서 특정 대상물의 움직임을 분석하여 이와 어울리는 4D 효과를 위한 모션 정보를 자동으로 생성해주는 모션 효과 생성 장치 및 방법을 제공할 수 있다. 따라서, 모션 장비의 모션 효과나 이에 이용되는 모션 정보를 준비하는 데 드는 시간과 노력을 상당히 줄일 수 있고, 실시간으로 모션 정보를 제공을 통해 모션 장비에서 자동으로 실시간 모션 효과를 구현할 수 있는 효과가 있다.

또한, 본 발명에 의하면, 상기의 모션 정보 생성 모듈에 의해 생성된 모션 정보를 토대로 모션 장비에 사용할 수 있는 모션 효과를 자동으로 생성해주는 모션 효과 생성 장치를 제공할 수 있으며, 아울러 모션 효과 생성 장치의 적어도 일부분으로서 모션 효과 생성 방법을 구현한 프로그램을 저장하는 기록매체를 제공할 수 있다. 즉, 자동으로 생성되는 모션 효과는 현재 전문 제작자들이 만들고 있는 효과와 매우 유사한 느낌을 전달하므로 본 실시예에 의하면 모션 효과 제작에 드는 시간과 노력을 상당히 줄일 수 있다.

또한, 본 발명에 의하면, 모션 효과가 적용된 4차원(4D) 영화 제작에 들어가는 많은 시간과 비용을 줄일 수 있다. 그리고, 자동으로 입력되는 모션 정보나 이벤트 정보를 이용하여 모션 효과를 실시간으로 생성할 수 있으므로, 4D 영화관, 4D 놀이기구, 홈씨어터 장비, 가정용 게임기 등에서 모션 효과를 손쉽게 구현할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 모션 효과 생성 방법의 순서도
도 2는 도 1의 모션 효과 생성 방법에서의 특징점 검출 과정에 대한 예시도
도 3은 도 1의 모션 효과 생성 방법에 채용가능한 시프트 키포인트 이미지에 대한 예시도
도 4는 도 1의 모션 효과 생성 방법을 적용한 영상의 예시도
도 5는 도 1의 모션 효과 생성 방법을 이용하는 모션 효과 생성 장치의 개략적인 블록도
도 6은 도 5의 모션 효과 생성 장치의 변형예를 나타낸 블록도

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일실시예에 따른 모션 효과 생성 방법의 순서도이다.

본 실시예에 따른 모션 효과 생성 방법은 이 방법을 실행하는 모션 효과 생성 장치에 의해 구현된다. 모션 효과 생성 장치는 프로그램을 저장하는 메모리 시스템과 메모리 시스템에 연결되어 프로그램을 수행하는 프로세서를 포함할 수 있다. 또한, 모션 효과 생성 장치의 프로세서는 모션 효과 생성 방법의 각 단계를 수행하기 위한 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함할 수 있다. 여기서, 수단이나 구성부는 추출부, 군집부, 계산부 및 선택부를 포함할 수 있다.

도 1을 참조하면, 모션 효과 생성 장치는, 먼저 동영상에 대한 영상신호에서 서로 인접한 두 프레임(frame)이 있을 때 두 프레임의 각 픽셀(pixel)의 대응 관계를 계산하여 단위 모션을 추출할 수 있다(S11).

본 단계(S11)를 수행하기 위해 모션 효과 생성 장치의 추출부는 옵티컬 플로우(optical flow) 방법을 사용하거나 SIFT(Scale invariant feature transform)의 피쳐 포인트 매칭(feature point matching) 방법을 사용할 수 있으나, 이에 한정되지는 않는다. 즉, 옵티컬 플로우를 이용한 결과만을 한정하는 것은 아니고 어떤 방법을 사용해서든 계산한 두 프레임 사이의 대응점(corresponding point) 관계를 나타내는 대응 관계를 계산할 수 있다면 본 실시예에 적용가능하다.

옵티컬 플로우를 계산하면, 모션 효과 생성 장치는 현재 프레임의 특정 픽셀이 다음 프레임에서 어느 지점으로 이동했는지 정보를 추출할 수 있다. 이 정보는 단위모션에 대응될 수 있다.

여기서, 옵티컬　플로우는 프레임 장면에서 객체가 어떻게 움직이고 있는지를 추적하는 작업이나 그 결과물을 나타낸다. 옵티컬 플로우의 일종인 밀집 옵티컬 플로우는 동영상에서 픽셀의 속도가 이전 프레임과 현재 프레임 사이에 픽셀 이동한 양(변위)과 관련이 있음을 이용하여 영상 내부의 모든 픽셀에서 속도 또는 속도장(Velocity Field)을 구하는 것을 지칭한다. 혼-셩크(Horn-Schunck) 방법은 이러한 속도장을 계산하는 방법 중 하나이다. 혼-셩크 방법은 한 프레임의 각 픽셀 윈도우를 설정하고 다음 프레임에서 이 윈도우와 가장 잘 일치하는 곳을 찾지만 계산양이 매우 많다. 희소 옵티컬 플로우는 코너와 같이 두드러진 속성을 가진 점을 추적할 점으로 미리 지정해준다. 이러한 이유로, 희소 옵티컬 플로우 방법은 상대적으로 연산량이 적고, 따라서 옵티컬 플로우 방법 중에서 선호되고 있다.

또한, 루카스-카나데(LK, Lucas-Kanade) 방법은 희소 옵티컬 플로우 방법을 이용한다. 루카스-카나데 방법은 한 프레임의 각 픽셀 윈도우를 설정하고 다음 프레임에서 이 윈도우와 가장 잘 일치하는 곳을 찾는다. 루카스-카나데 방법은 작은 로컬 윈도우를 사용하기 때문에 이 윈도우보다 큰 움직임이 발생하였을 경우 움직임을 계산하지 못하는 단점이 있다. 이러한 문제점을 해결하기 위해 피라미드를 이용하기도 한다. 피라미드 LK 알고리즘은 원본 영상으로부터 영상 피라미드를 구성하고, 상위계층에서 하위계층으로 추적하여 커다란 움직임도 찾아낼 수 있다.

상술한 단계(S11)는 SIFT의 피쳐 포인트 매칭 방법 중 스케일 스페이스에서 엑스트레마를 검출하는, 즉 국소적으로 튀는 부분을 검출하는 Scale-space Extrema Detection 단계(제1 단계)에 대응할 수 있다.

다음으로, 모션 효과 생성 장치는 단위 모션을 비슷한 것끼리 묶은 군집을 생성한다(S12). 즉, 모션 효과 생성 장치의 군집부는 단위 모션을 군집화하여 유사한 모션끼리 묶인 군집을 생성할 수 있다.

본 단계(S12)는 SIFT의 피쳐 포인트 매칭 방법 중 스케일 스페이스의 다양한 후보점들에서 잡음이나 에러점을 가려내어 최고의 정밀도를 갖는 점이나 부분을 선별해 내는 키포인트 국부화(Keypoint Localization) 단계(제2 단계)에 대응할 수 있다.

다음으로, 모션 효과 생성 장치는 각 군집의 대표 모션을 계산한다(S13). 본 단계에서 모션 효과 생성 장치의 계산부는 영상의 서로 인접한 두 프레임에서 획득한 단위 모션을 군집화하여 유사한 것끼리 묶은 군집들 각각에서 대표 모션의 산술평균이나 중간값을 계산할 수 있다.

본 단계(S13)는 SIFT의 피쳐 포인트 매칭 방법 중 대표 모션을 전체적으로 볼 때 대표 모션의 픽셀들이 가리키는 방향을 구하고, 이 방향이 0이 되도록 프레임을 회전하는 방향 배정(Orientation Assignment) 단계(제3 단계)에 대응할 수 있다.

다음으로, 모션 효과 생성 장치는 원하는 모션 효과 또는 특정 모션 장비에 가장 적합한 군집을 모션 군집으로 선택한다(S14). 본 단계에서 모션 효과 생성 장치의 선택부는 여러 군집의 대표 모션을 비교한 후 대표 모션의 절대값이 가장 큰 군집을 선택하거나 시각 주목도를 계산하여 주목도가 가장 높은 군집을 모션 군집으로 선택할 수 있다.

본 단계(S14)는 SIFT의 피쳐 포인트 매칭 방법 중 방향 배정 단계 이후에 회전한 부분 영상에 대한 SIFT 기술자(Descriptor)를 데이터베이스에 저장하는 키포인트 기술자(Keypoint Descriptor) 단계(제4 단계)에 대응할 수 있다.

다음으로, 모션 효과 생성 장치는 모션 군집의 대표 모션을 토대로 모션 효과 혹은 모션 효과를 위한 모션 정보를 생성한다(S15). 본 단계에서 모션 효과 생성 장치의 생성부는 모션 효과의 생성을 위해 와시아웃 필터(Washout Filter) 또는 궤적 계획(Trajectory Planning) 방법을 이용하여 영상의 해당 프레임과 모션 정보의 특징점을 매칭시킬 수 있다.

본 단계(S15)는 SIFT의 피쳐 포인트 매칭 방법 중 키포인트 기술자를 저장하는 단계 이후에 데이터베이스에 저장된 특징점과 영상이나 영상 내 타겟의 특징점 간의 거리를 비교하여 매칭시키는 키포인트 매칭(Keypoint Matching) 단계(제5 단계)에 대응할 수 있다. 또한, 상기의 단계(S15)는 구현에 따라서 매칭된 점들을 허프 변환(Hough transform)을 통해 정확하게 매칭하고, 최소평균제곱법(Least mean square method)을 이용한 매칭 검증을 수행하는 단계를 더 포함할 수 있다.

도 2는 도 1의 모션 효과 생성 방법의 특징점 검출 과정에 대한 예시도이다.

본 실시예에 따른 특징점 검출 과정은, 영상의 두 프레임(2, 4)의 각 픽셀에서 대응 관계를 계산하기 위해 가우스(Gaussian) 함수를 적용하여 각 프레임의 스케일(Scale) 스페이스를 미리 설정된 형태로 구성한다. 두 프레임은 서로 인접할 수 있으나, 이에 한정되지는 않고, 이들 사이에 다른 프레임이 게재될 수 있다.

즉, 도 2에 나타낸 바와 같이, 모션 효과 생성 장치의 추출부는 두 프레임에 대하여 가우스 분포의 넓이를 나타내는 시그마(σ)를 서로 다르게 적용하여 두 프레임 간의 가우스 차이(DOG, Difference of Gaussian)를 이용하여 이들의 대응 관계를 계산함으로써 두 프레임에 의한 단위 모션을 추출할 수 있다.

도 3은 도 1의 모션 효과 생성 방법에 채용가능한 시프트 키포인트 이미지에 대한 예시도이다.

도 3을 참조하면, 시프트 키포인트 이미지(6)는 키 포인트 위치에서 여러 크기를 갖는 복수의 작은 원들을 포함한다.

좀더 구체적으로 설명하면, 모션 효과 생성 장치는 각 픽셀(pixel)의 대응 관계를 계산한 후 플로우(flow)가 비슷한 것끼리 군집한다. 이때, 군집부는 K-means 군집이나 스펙트럴 군집(Spectral clustering)(Normalized cut 이라고도 함) 등의 방법을 사용해 플로우를 계산할 수 있다. 이를 통해, 모션 효과 생성 장치는 단위 모션이 비슷한 인접 픽셀들을 같은 군집으로 뭉칠 수 있다. 예를 들어, 영상에서 어떤 사람이 오른팔을 앞으로 뻗는다면 뻗은 오른팔 부근의 픽셀들이 하나의 군집으로 뭉쳐질 것이고, 몸통 등 다른 부분은 다른 군집으로 뭉쳐질 것이다.

패턴 인식의 문제는 크게 분류(classification)와 군집화(clustering)로 나눌 수 있다. 각각의 데이터에 대한 클래스를 알고 있는 경우에 데이터를 분류하는 것이 문제가 되지만, 데이터에 대한 클래스가 정해지지 않은 경우에는 데이터를 유사도에 따라 분류하는 것은 군집화의 문제가 된다. 또한, 데이터의 수가 너무 많아서 각각의 데이터마다 일일이 특정 클래스로 라벨링하는 비용이 많이 드는 경우에도 군집화를 사용할 수 있다.

군집화의 한 방법인 K-means 군집화 방법은 데이터 집합을 K개의 그룹으로 묶는 알고리즘을 이용한다. K개의 각 그룹은 해당 그룹 내에 속하는 데이터들의 평균을 대표 벡터로 가진다. 따라서, K-means 군집화의 첫 단계는 각 그룹의 대표 벡터를 정하는 것에서부터 시작될 수 있다. 그러나 처음에는 각 데이터가 어떤 그룹에 속하는지에 대한 사전 정보가 주어지지 않으므로, 임의로 K개의 대표 벡터를 정하고 시작할 수 있다. 이후 적절한 반복 과정을 통하여 좋은 군집과 대표 벡터를 찾을 수 있다.

전술한 방법을 토대로 모션 효과 생성 장치는 각 군집의 대표 모션을 계산할 수 있다. 이러한 계산은 다양한 방법으로 수행할 수 있으며 가장 쉽게 생각할 수 있는 것이 군집의 모든 플로우들을 산술평균하는 방법 또는 중간값(median)을 취하는 방법 등이 있을 수 있다. 모션 효과 생성 장치는 모든 플로우들을 산술평균하거나 플로우 중 중간값을 취하여 각 군집의 대표 모션을 계산할 수 있다.

그리고, 모션 효과 생성 장치는 모션 효과를 생성하기에 가장 적합한 군집을 선택할 수 있다. 이러한 선택 역시 여러 가지 방법을 사용할 수 있다. 예를 들어, 선택부는 대표 모션의 절대값이 가장 큰 군집을 선택하는 방법(이 경우, 화면상에서 가장 많이 움직인 부분을 따라 모션 효과가 생성되게 됨), 또는 시각 주목도(visual saliency)를 계산해서 가장 주목도가 높은 군집을 선택하는 방법(이 경우, 화면상에서 가장 눈에 쉽게 띄는 물체의 움직임을 따라 모션 효과가 생성되게 됨) 등을 이용할 수 있다.

최종적으로, 모션 효과 생성 장치는 선택된 군집의 대표 모션을 바탕으로 모션 효과를 위한 모션 정보를 생성할 수 있다. 이러한 모션 효과 생성은 클래시컬 와시아웃 필터(classical washout filter) 또는 로봇 분야 등에서 쓰는 궤적 계획(trajectory planning) 등의 방법을 사용해서 이전 단계에서 계산된 대상물(관심 객체 등)의 모션 정보를 4D 모션 장비의 모션 효과로 변환할 수 있다. 여기서, 클래시컬 와시아웃 필터는 4D 모션 장비를 제어하기 위해 사용하는 가장 대표적인 컨트롤 방법으로서 NASA 등에서 비행 시뮬레이터를 제어하기 위해 최초 개발된 것을 지칭한다. 그리고, 모션 효과나 모션 정보는 주로 시간에 따른 속도 또는 가속도의 변화로 계산되어질 수 있다.

도 4는 도 1의 모션 효과 생성 방법을 적용한 영상의 예시도이다.

도 4(a)는 본 실시예에 따른 모션 효과 생성 방법을 적용하기 전의 원본 영상(7)을 나타내고, 도 4(b)는 본 실시예에 따른 모션 효과 생성 방법을 적용하여 실제 계산 결과를 표시한 영상(8)(이하, 모션 영상이라 함)을 나타낸다.

두 영상은 실제 영화의 전투 장면을 나타낸 것으로, 모션 영상(8)에서 다양한 색으로 표시된 선은 옵티컬 플로우(optical flow) 정보를 나타낸다. 그리고, 색깔은 클러스터링된 결과를 나타낸다.

또한, 모션 영상(8)을 보면, 칼에 해당하는 부분(노란색과 녹색 계통)이 같은 클러스터들로 묶여 있는 것을 알 수 있다. 하얀 원과 검은색 굵은 선은 각 클러스터의 대표 모션을 나타낸다. 만약 대표 모션의 절대값이 가장 큰 클러스터를 선택하면 주인공이 휘두르는 칼끝에 해당하는 노란색 클러스터가 선택되게 된다. 따라서 칼의 움직이는 방향에 따라 자연스러운 모션 효과가 생성될 수 있다.

전술한 바에 의하면, 본 실시예에 따른 모션 효과 생성 방법은 실제 4D 영화에서 상영하는 콘텐츠의 모션 효과를 제작하는데 매우 유용하게 사용될 수 있다. 대표적인 예로서, CJ CGV 4DX 영화를 상영하는 4DX 영화관에서 일반 액션 영화 등에 4D 효과를 입혀 상영을 하는 것이 가능해진다.

대표적인 예로써, 모션 효과가 가장 빈번하게 일어나는 전투 장면 등에 효과적으로 적용할 수 있다. 즉, 주인공과 악당이 격투를 할 때 주먹으로 때리고 칼로 내려치고 방패로 막고 하는 다양한 동작에 따라 이에 어울리는 모션 효과를 생성하는데 효과적으로 이용될 수 있다. 예를 들어, 칼을 내려치는 영상에서 사용자가 앉아 있는 의자를 뒤에서 앞으로 기울인다면 정말 내려치는 듯한 느낌을 사용자에게 제공해 줄 수 있다. 이와 같이, 기존 기술에서는 전문 제작자가 영화를 수십 번 반복해서 보면서 모션 효과 모두를 일일이 수동으로 생성해주어야 했지만, 본 실시예에 의하면, 그러한 모션 효과를 위한 모션 정보를 자동으로 생성하고 이를 이용하여 모션 효과를 효과적으로 생성할 수 있다.

좀더 구체적으로 예를 들면, 주인공이 칼로 적을 내려칠 경우 당연히 화면상에서 칼의 움직임이 가장 크게 나타날 것이다. 앞에서 설명한 본 실시예의 방법을 따라 계산하면 칼에 해당하는 픽셀들은 모두 같은 군집으로 묶일 것이며 칼에 해당하는 군집이 화면상에서 가장 많이 움직일 것이므로 이 군집이 선택될 것이다. 그러면 칼을 내려치는 방향이 대표 모션이 되고 이에 따라 앞으로 기울어지는 모션 효과를 자동으로 만들어 줄 수 있게 된다.

전술한 본 실시예의 방법은 일반적인 객체 추적(object tracking) 등을 이용하는 방법보다 매우 효과적이다. 액션 영화는 보통 움직임이 매우 빠르고 단발적이어서 지속적으로 추적할 만한 물체를 찾기 어렵기 때문이다. 칼을 내려치는 장면은 불과 1초도 걸리지 않으며 바로 다시 적이 발차기로 반격을 하던지 할 것이다. 기존의 객체 추적(Object tracking)은 최초에 추적할 대상 물체를 수동으로 지정해 줘야 하는데 이런 경우 너무 빈번하게 추적 대상을 새로 선정해 주어야 하므로 사람의 작업량이 많아지게 된다. 하지만 본 실시예에 따른 방법에 의하면, 각 군집의 대표 모션과 모션 효과를 생성하기 가장 적합한 군집을 자동으로 계산하므로 전문가의 추가적인 입력이나 작업 없이도 자동으로 영상의 4D 효과를 생성할 수 있다.

도 5는 도 1의 모션 효과 생성 방법을 이용하는 모션 효과 생성 장치의 개략적인 블록도이다.

도 5를 참조하면, 본 실시예에 따른 모션 효과 생성 장치(100)는 추출부(110), 군집부(120), 계산부(130), 선택부(140) 및 생성부(150)를 포함한다. 추출부(110), 군집부(120), 계산부(130), 선택부(140) 및 생성부(150)는 마이크로프로세서, 모바일프로세서, 애플리케이션 프로세서 등의 1개 이상의 프로세서의 적어도 일부 기능부나 구성부로 구현될 수 있다. 그리고, 모션 효과 생성 장치(100)는 프로세서에 연결되는 메모리 시스템을 포함할 수 있다.

각 구성요소를 좀더 구체적으로 설명하면, 모션 효과 생성 장치(100)의 추출부(110)는 두 프레임 사이의 모션 정보를 추출한다. 군집부(120)는 추출부(110)에서 추출된 모션 정보를 군집화하여 유사한 모션끼리 묶은 군집을 생성한다. 계산부(130)는 군집부(120)에서 만들어진 각 군집의 대표 모션을 계산한다. 선택부(140)는 계산부(130)에서 계산된 대표 모션을 토대로 모션 효과를 생성하기 가장 적합한 군집을 선택한다. 그리고, 생성부(150)는 선택부(140)에서 선택된 군집의 대표 모션을 바탕으로 영상신호에 대응하는 모션 효과나 이러한 모션 효과를 위한 모션 정보를 생성한다.

전술한 구성에 있어서, 추출부(110)는 프레임 사이의 모션 정보를 추출하기 위해 옵티컬 플로우를 사용하여 모션 정보를 추출하거나 피쳐 포인트 매칭 방법을 사용하여 모션 정보를 추출할 수 있다. 군집부(120)는 모션 정보를 군집화하여 유사한 모션끼리 묶은 군집을 생성하기 위해 K-means 군집화를 사용하여 유사한 모션끼리 묶거나 스펙트럴 군집화를 사용하여 유사한 모션끼리 묶을 수 있다.

그리고, 계산부(130)는 만들어진 각 군집의 대표 모션을 계산하기 위해 군집의 모든 플로우를 산술평균하여 대표 모션을 계산하거나 군집의 중간값을 취하여 대표 모션을 계산할 수 있다. 선택부(140)는 만들어진 각 군집에서 모션 효과로 생성하기 위한 가장 적합한 군집을 선택하기 위해 대표 모션의 절대값이 가장 큰 군집을 선택하거나 시각 주목도를 계산해 시간 주목도가 가장 높은 군집을 선택할 수 있다. 생성부(150)는 선택된 군집의 대표 모션을 바탕으로 모션 효과를 생성하거나 모션 효과를 위한 모션 정보를 생성하여 출력할 수 있다.

본 실시예에 있어서, 추출부(110), 군집부(120), 계산부(130) 및 선택부(140)는 선택한 군집의 대표 모션을 토대로 모션 효과를 생성하기 전에 모션 효과를 위한 모션 정보를 제공하는 모션 정보 생성 장치나 모션 정보 생성 모듈(100p)에 대응될 수 있다. 이 경우, 생성부(150)는 모션 정보 생성 모듈로부터 받은 모션 정보를 토대로 특정 모션 장비를 위한 모션 효과를 생성하는 모션 효과 생성 모듈에 대응될 수 있다.

도 6은 도 5의 모션 효과 생성 장치의 변형예를 나타낸 블록도이다.

도 6을 참조하면, 본 실시예에 따른 모션 효과 생성 장치(300)는, 프로세서(310), 메모리 시스템(320), 입출력장치(330) 및 통신장치(340)를 포함할 수 있다. 그리고, 프로세서(310)는 모션 정보 생성 모듈(100p), 모션 효과 생성 모듈(150p) 및 영상신호 동기화 모듈(200)을 구비할 수 있다.

모션 효과 생성 장치(300)는 모션 장비나 모션 장비의 구동 장치에 연결되고, 모션 장비에 모션 효과, 모션 효과를 위한 모션 정보 또는 이들에 대응하는 데이터나 신호(S3)를 전송하여 모션 장비에서 모션 효과가 구현되도록 동작할 수 있다. 이러한 모션 효과 생성 장치(300)는 구현에 따라서 모션 장비에 일체로 결합하는 형태를 가질 수 있으나 이에 한정되지는 않는다.

또한, 모션 효과 생성 장치(300)는 프로세서(310), 메모리 시스템(320), 입출력장치(330) 및 통신장치(340)를 구비한 컴퓨터 장치로 구현될 수 있다. 여기서, 컴퓨터 장치는 마이크로프로세서, 모바일 프로세서, 애플리케이션 프로세서 혹은 이와 유사한 기능을 수행할 수 있는 프로세서가 탑재되는 데스크탑 컴퓨터, 노트북 컴퓨터, 태블릿 컴퓨터, 개인정보단말(PDA), 스마트 기능을 가진 휴대 단말(예컨대, 스마트폰) 등을 포함할 수 있다.

모션 효과 생성 장치(300)의 각 구성요소를 좀더 상세히 설명하면, 먼저 프로세서(310)는 모션 정보 생성 모듈(100p)에서 모션 정보를 생성하고 생성된 모션 정보나 이를 포함하는 데이터 혹은 신호(S1)를 모션 효과 생성 모듈(150p)로 전달하고, 모션 효과 생성 모듈(150p)에서 모션 정보를 모션 효과로 변환한 후 미리 정해진 포맷으로 모션 효과나 이를 포함하는 데이터 혹은 신호(S3)를 영상신호 동기화 모듈(200)의 동기화 신호에 따라 모션 장비에 전달하도록 구현될 수 있다.

이를 위해 프로세서(310)는 메모리 시스템(320)에 저장된 프로그램(여기서, 프로그램은 모션 정보나 모션 효과를 생성하는 방법을 구현한 프로그램을 포함함)을 수행하거나, 입출력장치(330)를 통해 획득한 사용자 입력(예컨대, S2)을 모션 효과에 반영하거나, 통신장치(340)를 통해 수신한 외부 입력(예컨대, S2)을 모션 효과에 반영하도록 구현될 수 있다.

전술한 프로세서(310)는 계산을 수행하는 연산장치(Arithmetic Logic Unit: ALU), 데이터 및 명령어의 일시적인 저장을 위한 레지스터, 그리고 미들웨어 간 인터페이스 장치를 제어하거나 관리하기 위한 컨트롤러를 구비할 수 있다. 이러한 프로세서(310)는, 모션 정보 생성 모듈, 모션 효과 생성 모듈 및 영상신호 동기화모듈 중 하나 이상을 레지스터의 소정 영역에 각각 로드(load)하고, 각 모듈의 작용이나 이들의 상호작용에 의해 모션 정보를 모션 효과로 변환하여 영상신호와 동기화된 모션 효과나 그에 대응되는 데이터 혹은 신호(S3)를 모션 장비에 제공할 수 있다.

프로세서(310)는 디지털(Digital) 사의 알파(Alpha), MIPS 테크놀로지, NEC, IDT, 지멘스(Siemens) 등의 MIPS, 인텔(Intel)과 사이릭스(Cyrix), AMD 및 넥스젠(Nexgen)을 포함하는 회사의 x86 및 IBM과 모토롤라(Motorola)의 파워PC(PowerPC)와 같이 다양한 아키텍쳐(Architecture)를 구비할 수 있다.

본 실시예에서 모션 정보 생성 모듈(100p)과 모션 효과 생성 모듈(150p)은 도 1 내지 도 5를 참조하여 앞서 설명한 모션 정보 생성 모듈(100p)과 모션 효과 생성 장치의 생성부(150)에 각각 대응할 수 있다.

영상신호 동기화 모듈(200)은 입력되거나 독출되는 영상신호를 모션 정보 생성 모듈(100p)에 공급하고, 내부의 동기화 신호에 따라 영상 출력 장치로 영상신호를 출력하도록 기능하는 수단이나 구성부일 수 있으나, 이에 한정되지는 않는다. 영상신호 동기화 모듈(200)은 영상신호를 디스플레이 장치나 스크린에 출력하는 영상 출력 장치와 영상신호에 대한 모션 효과를 제공하는 모션 장치가 서로 동기화되어 작동하도록 하기 위한 것으로서 모션 정보 생성 모듈에 제공되는 제1 영상신호와 제1 영상신호의 공급 타이밍보다 미리 설정된 시간만큼 지연된 제2 영상신호를 영상 출력 장치로 출력할 수 있도록 하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부라면 특별히 한정되지 않고 본 실시예에 적용가능하다.

또한, 본 실시예에 따른 모션 효과 생성 장치(300)는 영상 신호에서 실시간 모션 효과를 생성하는 장치로서 프로세서의 처리 속도 등에 따라 영상신호 동기화 모듈을 생략하는 것도 가능하다.

메모리 시스템(320)은 RAM(Random Access Memory)과 ROM(Read Only Memory) 같은 저장 매체 형태의 메인 메모리와, 플로피 디스크, 하드 디스크, 자기 테이프, CD-ROM, 플래시 메모리 등의 장기(long-term) 저장 매체 형태의 보조 메모리를 포함할 수 있다. 이러한 메모리 시스템(320)은 프로세서(310)에 연결되어 도 5와 같은 모션 효과 생성 장치가 도 1과 같은 모션 효과 생성 방법을 수행할 때 프로세서로부터의 입력 신호에 응하여 데이터를 저장하거나 저장된 데이터의 독출하도록 동작할 수 있다.

또한, 메모리 시스템(320)은 기록매체를 포함할 수 있으며, 기록매체는 본 실시예에 따른 모션 효과 생성 방법이나 이와 유사하거나 동등한 일련의 절차를 구현하는 프로그램을 저장할 수 있다.

입출력장치(330)는 모션 효과 생성 과정에서 데이터 처리 과정을 디스플레이 장치의 화면 등에 출력하거나 사용자 인터페이스를 통해 사용자 입력을 받는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함한다. 입출력장치(330)는 입력 포트, 출력 포트, 키보드, 마우스, 디스플레이 장치, 터치 패널 또는 이들의 조합으로 구현될 수 있다. 여기서, 입력 포트는 소정의 기록매체의 구동장치에 연결되어 기록매체에 저장된 프로그램이나 영상신호를 입력받도록 기능할 수 있다. 그리고, 키보드나 마우스는 예컨대 터치 스크린 또는 마이크로폰과 같은 물리적 변환기(Physical transducer) 등을 포함할 수 있다. 또한, 입출력장치(330)는 사용자 인터페이스(UI)의 입력 또는 질의에 응답하거나 장치의 관리를 위한 그래픽 화면을 제공하기 위해 동영상 보드를 포함할 수 있다.

통신장치(340)는 본 실시예의 모션 효과 생성 장치와 다른 장치를 네트워크를 통해 연결하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함할 수 있다. 통신장치(340)는 네트워크를 통해 모션 효과 생성 방법을 구현하는 프로그램을 수신하거나, 사용자 입력을 수신하거나, 모션 효과 생성 과정에 필요하거나 부가할 수 있는 데이터를 외부로부터 수신하는데 이용될 수 있다. 통신장치(340)는 네트워크 인터페이스로서, 유선, 무선 또는 이들 모두를 위한 통신 인터페이스를 포함할 수 있다.

본 실시예에 의하면, 모션 효과 생성 장치(300)는 영상 신호 동기화 모듈, 모션 정보 생성 모듈 및 모션 효과 생성 모듈 중 하나 이상이 프로세서에 탑재되는 구조를 가질 수 있으며, 더욱이 영상신호의 입력을 위해 메모리 시스템, 입출력장치 및 통신장치 중 하나 이상을 이용할 수 있다.

이상에서와 같이 실시 예들을 중심으로 본 발명을 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 기술내용을 벗어나지 않는 범위에서 실시예에 예시되지 않은 여러 가지의 조합 또는 변형과 응용이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 실시 예들로부터 용이하게 도출가능한 변형과 응용에 관계된 기술내용들은 본 발명에 포함되는 것으로 해석되어야 할 것이다.

100, 300: 모션 효과 생성 장치 100p:모션 정보 생성 모듈
110: 추출부 120: 군집부
130: 계산부 140: 선택부
150: 생성부 150p: 모션 효과 생성 모듈
200: 영상신호 동기화모듈

Claims

영상신호에서 두 프레임의 각 픽셀의 대응 관계를 계산하여 상기 두 프레임에 의한 단위 모션을 추출하는 추출부;
상기 단위 모션을 군집화하여 유사한 단위 모션끼리 묶은 군집들을 생성하는 군집부;
상기 군집들의 각 대표 모션을 계산하는 계산부; 및
상기 군집들의 대표 모션들을 비교하여 대표 모션의 절대값이 가장 큰 군집을 선택하거나 상기 군집들에 대한 시청자의 시각 주목도를 계산하여 시각 주목도가 가장 높은 군집을 모션 효과 생성에 가장 적합한 모션 군집으로 선택하는 선택부를 포함하고,
상기 선택부에서 선택된 모션 군집의 대표 모션은 모션 효과를 위한 모션 정보로서 출력되는, 모션 효과 생성 장치.
청구항 1에 있어서,
상기 선택부에서 선택된 모션 군집의 대표 모션을 토대로 상기 모션 정보를 생성하는 생성부를 더 포함하는 모션 효과 생성 장치.
청구항 2에 있어서,
상기 생성부는 와시아웃 필터(Washout Filter) 또는 궤적 계획(Trajectory Planning) 방법을 이용하는 모션 효과 생성 장치.
청구항 2에 있어서,
상기 추출부에 입력되는 상기 영상신호보다 일정 시간만큼 지연되는 영상신호를 상기 생성부에서 출력되는 모션 효과와 동기하여 영상 출력 장치로 출력하는 동기화부를 더 포함하는 모션 효과 생성 장치.
청구항 1에 있어서,
상기 추출부는 옵티컬 플로우(Optical Flow) 또는 특징점 매칭(Featrue Point Matching) 방법을 이용하는 모션 효과 생성 장치.
청구항 1에 있어서,
상기 군집부는 K-평균(K-means), 단일 결합(Single Linkage) 또는 스펙트럴 군집화(Spectral Clustering) 방법을 이용하는 모션 효과 생성 장치.
청구항 1에 있어서,
상기 계산부는 상기 군집들 각각의 모든 단위 모션의 산술평균 또는 중간값을 선택하여 상기 각 대표 모션을 계산하는 모션 효과 생성 장치.
삭제
영상신호에서 두 프레임의 각 픽셀의 대응 관계를 계산하여 상기 두 프레임에 의한 단위 모션을 추출하는 단계;
상기 단위 모션을 군집화하여 유사한 단위 모션끼리 묶은 군집들을 생성하는 단계;
상기 군집들의 각 대표 모션을 계산하는 단계; 및
상기 군집들의 대표 모션들을 비교하여 대표 모션의 절대값이 가장 큰 군집을 선택하거나 상기 군집들에 대한 시청자의 시각 주목도를 계산하여 시각 주목도가 가장 높은 군집을 모션 효과 생성에 가장 적합한 모션 군집으로 선택하는 단계를 포함하는, 모션 효과 생성 방법.
청구항 9에 있어서,
상기 선택하는 단계 이후에 선택된 모션 군집의 대표 모션을 토대로 모션 효과를 위한 모션 정보를 생성하는 단계를 더 포함하는 모션 효과 생성 방법.
청구항 10에 있어서,
상기 모션 정보를 생성하는 단계는 와시아웃 필터(Washout Filter) 또는 궤적 계획(Trajectory Planning) 방법을 이용하는 모션 효과 생성 방법.
청구항 9에 있어서,
상기 영상신호보다 일정 시간만큼 지연되는 제2의 영상신호를 상기 모션 효과의 출력과 동기하여 영상 출력 장치로 출력하는 단계를 더 포함하는 모션 효과 생성 방법.
청구항 9에 있어서,
상기 추출하는 단계는 옵티컬 플로우(Optical Flow) 또는 특징점 매칭(Featrue Point Matching) 방법을 이용하는 모션 효과 생성 방법.
청구항 9에 있어서,
상기 군집들을 생성하는 단계는 K-평균(K-means), 단일 결합(Single Linkage) 또는 스펙트럴 군집화(Spectral Clustering) 방법을 이용하는 모션 효과 생성 방법.
청구항 9에 있어서,
상기 각 대표 모션을 계산하는 단계는 상기 군집들 각각의 모든 단위 모션의 산술평균 또는 중간값을 선택하여 상기 각 대표 모션을 계산하는 모션 효과 생성 방법.
삭제
청구항 9 내지 15 중 어느 하나의 모션 효과 생성 방법을 구현한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
입력 영상신호에 기초하여 제1 영상신호를 출력하고 상기 제1 영상신호보다 지연된 제2 영상신호를 출력하는 영상신호 동기화모듈;
상기 제1 영상신호에서 선택한 모션 군집의 대표 모션을 토대로 하는 모션 정보를 출력하는 모션 정보 생성 모듈; 및
상기 모션 정보를 토대로 생성한 모션 효과를 상기 제2 영상 신호와 동기하여 모션 장비로 출력하는 모션 효과 생성 모듈;
을 포함하고,
상기 모션 정보 생성 모듈은, 상기 제1 영상 신호에서 서로 인접한 두 프레임의 각 픽셀의 대응 관계를 계산하여 상기 두 프레임에 의한 단위 모션을 추출하고, 상기 단위 모션을 군집화하여 유사한 단위 모션끼리 묶은 군집들을 생성하고, 상기 군집들의 각 대표 모션을 계산하고, 상기 군집들의 대표 모션들을 비교하여 대표 모션의 절대값이 가장 큰 군집을 선택하거나 상기 군집들에 대한 시청자의 시각 주목도를 계산하여 시각 주목도가 가장 높은 군집을 모션 효과 생성에 가장 적합한 상기 모션 군집으로 선택하는, 모션 효과 생성 장치.
청구항 18에 있어서,
상기 영상 신호 동기화 모듈, 상기 모션 정보 생성 모듈 및 상기 모션 효과 생성 모듈 중 하나 이상은 프로세서에 탑재되는 모션 효과 생성 장치.
청구항 18에 있어서,
상기 입력 영상신호를 공급하는 메모리 시스템, 입출력 장치 및 통신 장치 중 하나 이상을 더 포함하는 모션 효과 생성 장치.