KR20120006434A - 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 - Google Patents

Abstract

동화상 중의 움직이는 대상에 대하여 부가 정보를 간단하게 추가하는 것이 가능한 화상 처리 장치를 제공하는 것이다. 본 발명의 화상 처리 장치는, 동화상 데이터로부터 특징점을 검출하는 특징점 검출부와, 특징점에 부수되어 표시되는 부가 정보를 표시시키는 1 또는 2 이상의 특징점을 선택하는 특징점 선택 정보에 기초하여 선택된 특징점과 부가 정보를 관련시키는 관련 처리부와, 동화상 데이터의 재생에 의해 변화하는 특징점의 거동을 해석하는 움직임 해석부와, 움직임 해석부에 의해 해석된 특징점의 거동을 나타내는 움직임 정보와, 특징점의 거동에 따라서 특징점에 부가된 부가 정보를 변화시키는 변화 패턴을 나타내는 표시 시나리오에 기초하여, 특징점에 관련지어진 부가 정보의 표시를 변화시키는 변화 내용을 나타내는 데이터를 생성하는 데이터 생성부를 구비한다.

Description

화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 {IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM}

본 발명은 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램에 관한 것이며, 보다 상세하게는 영상 중의 특징점에 부수되어 표시되는 부가 정보를 표시 처리하는 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램에 관한 것이다.

디지털 비디오 카메라나 디지털 스틸 카메라 등의 촬상 장치에 의해 촬상된 영상을 보다 즐길 수 있는 영상으로 하기 위하여, 유저가 당해 영상에 대하여 코멘트나 효과음을 추가하여 오리지날의 영상을 작성하는 것이 행해지고 있다. 예를 들어, 영상 중의 인물의 얼굴 부근에 말풍선을 만들어 코멘트를 기재하거나, 인물의 움직임을 강조하는 스탬프를 추가하거나 할 수 있다.

종래, 동화상 콘텐츠에 대하여 다른 화상을 부가하는 경우에 있어서, 부가 화상을 동화상의 움직임에 맞추어 변화시키기 위해서는, 유저가 동화상 콘텐츠의 내용을 확인하면서, 그 시간 변화에 맞추어 부가 화상의 표시 위치의 변경을 지시하고 있었다. 또한, 동화상의 움직임에 맞추어 부가 화상을 변형시키기 위해서는, 유저가 동화상 콘텐츠의 시간 변화와 동기를 취하면서 변형 부가 화상을 작성하고 있었다.

화상을 데코레이션하여 업 로드한다(eDeco), [2009년 4월 7일 검색], 인터넷 <URL:http://support.d-imaging.sony.co.jp/www/disoft/jp/pmb/feature/web/edeco. html>

그러나, 예를 들어 영상 중의 이동하는 인물에 대하여 화상을 부가하는 것은 곤란하며, 종래의 방법에서는 부가 화상의 표시 설정에 엄청난 수고와 시간을 필요로 한다고 하는 문제가 있었다. 복수의 부가 화상을 설정하는 경우에는, 더 작업이 번잡해지게 되어, 이러한 문제가 보다 현저해진다.

따라서, 본 발명은 상기 문제를 감안하여 이루어진 것이며, 본 발명의 목적으로 하는 바는, 동화상 중의 움직이는 대상에 대하여 부가 정보를 간단하게 추가하는 것이 가능한, 신규이면서 개량된 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램을 제공하는 데에 있다.

상기 과제를 해결하기 위하여, 본 발명의 하나의 관점에 따르면, 동화상 데이터로부터 특징점을 검출하는 특징점 검출부와, 특징점에 부수되어 표시되는 부가 정보를 표시시키는 1 또는 2 이상의 특징점을 선택하는 특징점 선택 정보에 기초하여 선택된 특징점과 부가 정보를 관련시키는 관련 처리부와, 동화상 데이터의 재생에 의해 변화하는 특징점의 거동을 해석하는 움직임 해석부와, 움직임 해석부에 의해 해석된 특징점의 거동을 나타내는 움직임 정보와, 특징점의 거동에 따라서 특징점에 부가된 부가 정보를 변화시키는 변화 패턴을 나타내는 표시 시나리오에 기초하여, 특징점에 관련지어진 부가 정보의 표시를 변화시키는 변화 내용을 나타내는 데이터를 생성하는 데이터 생성부를 구비하는, 화상 처리 장치가 제공된다.

본 발명에 따르면, 동화상 데이터 중의 특징점에 부가 정보를 부수적으로 표시시킬 때, 특징점의 거동을 나타내는 움직임 정보와, 특징점의 거동에 따라서 특징점에 부가된 부가 정보를 변화시키는 변화 패턴을 나타내는 표시 시나리오에 기초하여, 데이터가 데이터 생성부에 의해 자동적으로 생성된다. 이에 의해, 동화상 중의 움직이는 대상에 대하여 부가 정보를 간단하게 추가할 수 있다.

본 발명의 화상 처리 장치는, 특징점 선택 정보가 입력되는 입력부를 구비할 수도 있다. 여기에서, 특징점의 거동 패턴과 당해 거동 패턴에 합치하는 특징점에 부가된 부가 정보의 표시 방법에 의해 표시된 1 또는 2 이상의 표시 시나리오를 기억하는 표시 시나리오 기억부를 구비할 수도 있다. 입력부에는, 선택된 특징점에 부가된 부가 정보를 변화시키는 표시 시나리오를 선택하는 표시 시나리오 선택 정보가 더 입력된다. 그리고, 데이터 생성부는, 특징점 선택 정보에 의해 선택된 특징점에 대하여, 선택된 표시 시나리오의 특징점의 거동 패턴과 합치하는 특징점의 거동을 움직임 정보로부터 검출하였을 때, 표시 시나리오에 규정된 표시 방법으로 부가 정보를 표시시키는 데이터를 생성한다.

또한, 본 발명의 화상 처리 장치는, 1 또는 2 이상의 부가 정보를 기억하는 부가 정보 기억부를 구비할 수도 있다. 이때, 입력부에는, 특징점에 부수시키는 부가 정보를 선택하는 선택 정보가 입력된다. 또한, 동화상 데이터에 부가하는 부가 정보가 수기에 의해 입력되는 수기 데이터 입력부를 구비할 수도 있다.

데이터 생성부는, 움직임 정보로부터 파악되는 동화상 데이터의 화상 내에서의 특징점의 위치에 기초하여, 특징점에 관련지어진 부가 정보의 표시 위치를 변화시키는 데이터를 생성할 수 있다. 또한, 데이터 생성부는, 움직임 정보로부터 파악되는 동화상 데이터의 표시 크기에 대한 특징점의 크기에 기초하여, 특징점에 관련지어진 부가 정보의 크기를 변화시키는 데이터를 생성할 수도 있다.

또한, 데이터 생성부는, 움직임 정보로부터 파악되는 특징점의 표정의 변화에 따라서, 특징점에 관련지어진 부가 정보를 표시시키는 데이터를 생성할 수도 있다. 또한, 데이터 생성부는, 움직임 정보로부터 파악되는 특징점의 이동 속도에 따라서, 특징점에 관련지어진 부가 정보의 표시를 변화시키는 데이터를 생성할 수도 있다. 데이터 생성부는, 입력부로부터 2 이상의 특징점을 선택하는 선택 정보가 입력된 경우, 특징점간의 거리에 따라서 이들 특징점에 관련지어진 부가 정보의 표시 크기를 변경시키는 데이터를 생성하도록 하여도 된다.

또한, 상기 과제를 해결하기 위하여, 본 발명의 다른 관점에 따르면, 동화상 데이터로부터 특징점을 검출하는 스텝과, 특징점에 부수되어 표시되는 부가 정보를 표시시키는 1 또는 2 이상의 특징점과 부가 정보를 관련시키는 스텝과, 동화상 데이터의 재생에 의해 변화하는 특징점의 거동을 해석하는 스텝과, 해석된 특징점의 거동을 나타내는 움직임 정보와, 특징점의 거동에 따라서 특징점에 부가된 부가 정보를 변화시키는 변화 패턴을 나타내는 표시 시나리오에 기초하여, 특징점에 관련지어진 부가 정보의 표시를 변화시키는 변화 내용을 나타내는 데이터를 생성하는 스텝을 포함하는, 화상 처리 방법이 제공된다.

또한, 상기 과제를 해결하기 위하여, 본 발명의 다른 관점에 따르면, 컴퓨터에 상기의 화상 처리 장치로서 기능시키기 위한 컴퓨터 프로그램이 제공된다. 컴퓨터 프로그램은, 컴퓨터가 구비하는 기억 장치에 저장되어, 컴퓨터가 구비하는 CPU에 읽어들여져 실행됨으로써, 그 컴퓨터를 상기의 화상 처리 장치로서 기능시킨다. 또한, 컴퓨터 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체도 제공된다. 기록 매체는, 예를 들어 자기 디스크나 광 디스크 등이다.

이상 설명한 바와 같이 본 발명에 따르면, 동화상 중의 움직이는 대상에 대하여 부가 정보를 간단하게 추가하는 것이 가능한 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램을 제공할 수 있다.

도 1은 본 발명의 실시 형태에 관한 화상 처리 장치의 구성을 도시하는 기능 블록도.
도 2는 동 실시 형태에 관한 메타데이터 저장부의 구성예를 도시하는 설명도.
도 3a는 동 실시 형태에 관한 동화상 콘텐츠에의 수기 데이터의 부가 처리를 나타내는 흐름도.
도 3b는 동 실시 형태에 관한 동화상 콘텐츠에의 수기 데이터의 부가 처리를 나타내는 흐름도.
도 4는 동 실시 형태에 관한 표시 시나리오에 의한 부가 데이터의 표시 처리를 나타내는 흐름도.
도 5는 동 실시 형태에 관한 재생 중 수기 처리를 나타내는 흐름도.
도 6은 묘화 메뉴 화면의 일례를 도시하는 설명도.
도 7은 수기 묘화 화면의 일례를 도시하는 설명도.
도 8은 패턴 묘화 화면의 일례를 도시하는 설명도.
도 9는 움직임 설정 화면의 일례를 도시하는 설명도.
도 10은 특징점 선택 화면의 일례를 도시하는 설명도.
도 11은 특징점 선택 화면의 다른 예를 도시하는 설명도.
도 12는 동화상 콘텐츠의 특징점의 거동에 맞추어 부가 데이터의 표시가 변화하는 일례를 도시하는 설명도.
도 13은 표시 시나리오 선택 화면의 일례를 도시하는 설명도.
도 14는 표시 시나리오의 일 내용예이며, 특징점의 웃는 얼굴이 검출된 경우에 부가 데이터를 표시시키는 예를 도시하는 설명도.
도 15는 표시 시나리오의 일 내용예이며, 특징점의 위치에 따라서 부가 데이터의 표시 위치를 변화시키는 예를 도시하는 설명도.
도 16은 표시 시나리오의 일 내용예이며, 특징점의 크기에 따라서 부가 데이터의 크기를 변경시키는 예를 도시하는 설명도.
도 17은 표시 시나리오의 일 내용예이며, 특징점의 이동 속도에 따라서 부가 데이터를 변화시키는 예를 도시하는 설명도.
도 18은 표시 시나리오의 일 내용예이며, 특징점의 이동의 궤적을 나타내는 예의 설명도.
도 19는 표시 시나리오의 일 내용예이며, 특징점간의 거리에 따라서 부가 데이터의 표시를 변화시키는 예를 도시하는 설명도.
도 20은 표시 시나리오의 일 내용예이며, 특징점에 부가 데이터에 추종시키면서, 시간 경과에 따라서 텍스트가 순차적으로 표시되는 예를 도시하는 설명도.
도 21은 동 실시 형태에 관한 화상 처리 장치의 구성을 도시하는 하드웨어 구성도.

이하에 첨부 도면을 참조하면서, 본 발명의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.

또한, 설명은 이하의 순서로 행하는 것으로 한다.

1. 화상 처리 장치의 구성

2. 화상 처리 장치에 의한 표시 처리 방법

<1. 화상 처리 장치의 구성>

우선, 도 1 및 도 2에 기초하여, 본 발명의 실시 형태에 관한 화상 처리 장치(100)의 개략 구성에 대하여 설명한다. 또한, 도 1은, 본 실시 형태에 관한 화상 처리 장치(100)의 구성을 도시하는 기능 블록도이다. 도 2는, 본 실시 형태에 관한 메타데이터 저장부(152)의 구성예를 도시하는 설명도이다.

본 실시 형태에 관한 화상 처리 장치(100)는, 예를 들어 디지털 비디오 카메라나 디지털 스틸 카메라 등의 촬상 장치에 의해 촬상된 동화상 콘텐츠를 재생 가능한 재생 장치, 동화상 콘텐츠의 기록 재생이 가능한 기록 재생 장치 등이다. 또한, 본 실시 형태에 관한 화상 처리 장치(100)는, 퍼스널 컴퓨터에 의해 기능되는 어플리케이션으로서도 실현할 수 있다. 이러한 화상 처리 장치(100)는, 도 1에 도시한 바와 같이, 입력 표시부(110)와, 부가 데이터 작성부(120)와, 특징점 추종부(130)와, 디코드부(140)와, 기억부(150)를 구비하여 구성된다.

입력 표시부(110)는, 유저로부터의 정보의 입력이 행해지고, 또한 유저에게 정보를 출력하는 기능부이며, 입력 검출부(112)와, 표시부(114)로 구성된다. 본 실시 형태의 입력 표시부(110)는, 예를 들어 액정 표시 소자나 유기 EL 소자 등으로 이루어지는 표시부(114)의 표면에, 예를 들어 터치 패드 등의 센서를 입력 검출부(112)로서 설치한 터치 패널을 사용할 수 있다. 입력 검출부(112)는, 예를 들어 터치 펜이나 손가락 등의 입력 표시부(110) 표면에의 접촉을 검출할 수 있다. 입력 검출부(112)의 검출 결과로부터, 입력 표시부(110) 표면에 접촉하는 터치 조작의 궤적을 취득하여 수기 데이터로서 입력하거나, 표시부(114)에 표시된 예를 들어 아이콘 등을 선택하거나 할 수 있다. 표시부(114)는, 동화상 콘텐츠나 수기 데이터 등을 표시하여, 유저에게 제시한다.

부가 데이터 작성부(120)는, 수기 데이터 등의 부가 데이터나 부가 데이터 메타 정보를 작성하여, 동화상 콘텐츠나 부가 데이터 등의 표시 제어를 행한다. 여기에서, 동화상 콘텐츠란, 촬상 장치에 의해 촬상된 동화상 실 데이터이며, 부가 데이터는, 동화상 콘텐츠의 동화상을 장식하기 위하여 부가되는 데이터이다. 또한, 부가 데이터 메타 정보란, 동화상 콘텐츠의 시간 경과에 대응하여 표시 변화하는 부가 데이터의 정보이다.

예를 들어, 부가 데이터 작성부(120)는, 입력 검출부(112)로부터 입력된 검출 결과로부터 입력 표시부(110) 표면에 접촉하는 터치 조작의 궤적을 취득하여, 부가 데이터인 수기 데이터를 생성한다. 그리고, 부가 데이터 작성부(120)는, 생성된 수기 데이터를 표시부(114)에 표시시킴과 함께, 후술하는 기억부(150)에 기록한다. 또한, 부가 데이터 작성부(120)는, 표시부(114)에 표시된 동화상의 내용과, 입력 검출부(112)의 검출 결과에 기초하여, 후술하는 특징점 추종부(130)에 의해 검출된 동화상 중의 특징점 중 부가 데이터를 부여하는 1 또는 2 이상의 특징점을 특정한다. 그리고, 부가 데이터 작성부(120)는, 입력 검출부(112)로부터의 입력 정보에 기초하여, 특정된 특징점과 당해 특징점에 부수되어 표시시키는 부가 데이터와의 관련 짓기를 행하여, 기억부(150)에 기록한다.

또한, 부가 데이터 작성부(120)는, 입력 표시부(110)에서의 접촉 위치 정보, 특징점의 움직임 정보 및 부가 데이터를 사용하여, 표시 시나리오에 따라서 부가 데이터 메타 정보를 작성한다. 여기에서, 표시 시나리오란, 특징점의 거동에 따라서 특징점에 부가된 부가 데이터의 표시를 변화시키는 변화 패턴을 나타내는 정보이다. 부가 데이터 작성부(120)는, 특징점 추종부(130)에 의해 검출된 각 시점에서의 특징점의 위치 정보로부터, 특징점의 거동을 나타내는 움직임 정보를 생성한다. 그리고, 부가 데이터 작성부(120)는, 부가 데이터 메타 정보를 작성하여, 기억부(150)에 기록한다. 이와 같이, 부가 데이터 작성부(120)는, 부가 데이터 메타 정보를 작성하기 위한 표시 처리를 행한다. 또한, 부가 데이터 작성부(120)에 의한 표시 처리의 상세에 대해서는 후술한다.

특징점 추종부(130)는, 동화상 중의 특징점을 추출하고, 추출한 특징점을 추종하는 기능부이다. 특징점 추종부(130)는, 동화상 콘텐츠를 구성하는 소정의 화상 내로부터, 예를 들어 인물의 얼굴 등의 특징 있는 부분을 특징점으로서 추출한다. 특징점의 추출은, 종래의 방법을 이용할 수 있다. 또한, 특징점 추종부(130)는, 동화상 콘텐츠의 재생에 의해 이동하는 특징점의 위치를 인식하여, 추종할 수도 있다. 특징점 추종부(130)는, 추출한 특징점의 정보를 표시부(114)에 출력하고, 표시부(114)에 표시되어 있는 특징점에 프레임 등의 마크를 표시시키도록 할 수도 있다. 또한, 특징점 추종부(130)는, 부가 데이터 메타 정보 작성을 위하여, 특징점의 정보를 부가 데이터 작성부(120)에 출력한다.

디코드부(140)는, 동화상 콘텐츠나 정지 화상 콘텐츠의 디코드를 행한다. 디코드부(140)는, 기억부(150)에 기억되어 있는 동화상 콘텐츠나 정지 화상 콘텐츠를 판독하고, 디코드하여 표시부(114)에 출력한다. 이에 의해, 표시부(114)에 동화상 콘텐츠나 정지 화상 콘텐츠를 표시시킬 수 있다.

기억부(150)는, 각종 정보를 기억하는 기억부이다. 본 실시 형태에 관한 기억부(150)는, 메타 정보 저장부(152)와, 실 데이터 저장부(154)와, 묘화 데이터 저장부(156)와, 표시 시나리오 저장부(158)로 이루어진다. 메타 정보 저장부(152)는, 수기 데이터 등의 부가 데이터나, 부가 데이터 메타 정보를 기억하는 기억부이다. 메타 정보 저장부(152)는, 예를 들어 도 2에 도시한 바와 같이, 표시 처리 대상인 묘화 데이터(1521)와, 표시 처리를 행하는 시각(1522)과, 묘화 데이터의 처리 내용을 나타내는 액션(1523)을 관련시켜 기억한다. 묘화 데이터(1521)는, 예를 들어 입력 표시부(110)로부터 입력된 수기 데이터나 미리 설정된 스탬프 등의 부가 데이터이다. 시각(1522)은, 부가 데이터 메타 정보가 대응하는 동화상 콘텐츠에서의 시각을 나타낸다. 예를 들어, 도 2의 예에서는, 묘화 데이터 「image01」을 시각 「00:01:05」로 「고정 표시」시키고, 묘화 데이터 「image02」를 시각 「00:01:21」로 「특징점 A에 추종 표시」시키는 등의 처리 내용이 메타 정보 저장부(152)에 기억되어 있다.

실 데이터 저장부(154)는, 촬상 장치에 의해 촬상된 동화상 콘텐츠나 정지 화상 콘텐츠를 기억한다. 묘화 데이터 저장부(156)는, 입력 표시부(110)로부터 입력된 수기 데이터나 미리 설정된 스탬프 등의 부가 데이터를 기억한다. 또한, 묘화 데이터 저장부(156)에는, 수기 데이터를 작성하기 위하여 필요한 묘화 툴에 관한 정보도 기억할 수도 있다. 묘화 데이터 저장부(156)에 저장된 부가 데이터는, 예를 들어 도 2에 도시하는 「image01」, 「image02」 등의 유니크한 명칭과 관련시켜 기억하도록 하여도 된다. 표시 시나리오 저장부(158)는, 표시 시나리오를 기억한다. 표시 시나리오는, 미리 설정되어 있어도 되고, 유저에 의해 추가할 수도 있다.

이상, 본 실시 형태에 관한 화상 처리 장치(100)의 구성에 대하여 설명하였다. 화상 처리 장치(100)는, 동화상 콘텐츠의 특징점의 거동을 나타내는 움직임 정보 및 표시 시나리오에 기초하여, 특징점에 부가된 부가 데이터의 표시를 변화시켜, 부가 데이터 메타 정보를 자동적으로 생성할 수 있다. 이하, 화상 처리 장치(100)에 의한 화상 처리 방법에 대하여, 상세하게 설명한다.

<2. 화상 처리 장치에 의한 표시 처리 방법>

[동화상 콘텐츠에의 수기 데이터의 부가 처리]

우선, 도 3a 및 도 3b에 기초하여, 본 실시 형태에 관한 동화상 콘텐츠에의 수기 데이터의 부가 처리에 대하여 설명한다. 또한, 도 3a 및 도 3b는, 본 실시 형태에 관한 동화상 콘텐츠에의 수기 데이터의 부가 처리를 나타내는 흐름도이다.

동화상 콘텐츠에의 수기 데이터의 부가 처리는, 기억부(150)의 실 데이터 저장부(154)에 기억된 동화상 콘텐츠를 디코드부(140)에 의해 디코드하고, 표시부(114)에 표시시켜 개시 가능하게 된다. 동화상 콘텐츠에 부가 데이터를 추가하는 표시 처리에는, 여기에서 설명하는 수기 데이터의 부가 처리와, 후술하는 표시 시나리오에 기초하는 표시 처리, 동화상 콘텐츠를 재생시키면서 수기 데이터를 입력하여 행해지는 표시 처리 등이 있다. 따라서, 우선, 유저는 실행할 표시 처리를 선택한다.

예를 들어, 유저는 수기에 의한 매뉴얼 묘화를 행할지의 여부를 선택한다(스텝 S100). 매뉴얼 묘화를 행하지 않는 것이 선택된 경우에는, 후술하는 표시 시나리오 선택 처리를 실행한다. 한편, 매뉴얼 묘화를 행하는 것이 선택되면, 계속해서, 유저는 동화상 콘텐츠의 재생 중에 묘화를 행할지의 여부를 선택한다(스텝 S102). 재생 중에 묘화를 행하는 것이 선택된 경우에는, 후술하는 재생 중 수기 처리가 실행된다. 한편, 재생 중 수기 처리를 행하지 않는 것이 선택된 경우에는, 동화상 콘텐츠의 재생이 개시된다(스텝 S104).

동화상 콘텐츠가 재생되면, 유저는, 표시부(114)에 표시된 동화상 콘텐츠를 시청하고, 부가 데이터를 부가하고자 하는 시점에서 동화상 콘텐츠의 재생을 일시정지한다. 동화상 콘텐츠의 재생이 일시정지될 때까지는, 동화상 콘텐츠는 계속해서 재생된다(스텝 S106). 스텝 S106에 있어서, 동화상 콘텐츠의 재생이 일시정지되면, 묘화 메뉴 화면이 표시부(114)에 표시된다(스텝 S108).

묘화 메뉴 화면(200a)은, 예를 들어 도 6에 도시한 바와 같은 화면 구성으로 할 수 있다. 묘화 메뉴 화면(200a)은, 동화상 콘텐츠가 표시되는 콘텐츠 표시 영역(210)과, 재생 아이콘(222a), 프레임 되감기 아이콘(222b), 프레임 아이콘(222c) 등의 조작 아이콘이 표시되는 조작 아이콘 표시 영역(220)으로 이루어진다. 콘텐츠 표시 영역(210)의 테두리부측에는, 수기 데이터의 입력 처리를 개시하는 수기 아이콘(230)이나, 미리 설정된 부가 데이터를 표시하는 고정 아이콘(240), 이미 등록되어 있는 부가 데이터 메타 정보의 일람을 표시하는 일람 표시 아이콘(250) 등이 표시되어 있다.

이때, 유저는, 일시정지되어 있는 시각에 있어서 이미 등록되어 있는 부가 데이터인 묘화 데이터의 표시 해제를 행할 수도 있다. 즉, 현재보다도 앞의 시각에 있어서 표시가 개시되어, 현재도 계속해서 표시되어 있는 묘화 데이터의 표시를 소거하는 설정을 행할 수 있다. 유저는, 묘화 데이터의 표시 해제를 행할지의 여부를 선택하여(스텝 S110), 묘화 데이터의 표시 해제를 행하는 조작을 선택하는 경우에는, 묘화 메뉴 화면(200a) 중의 일람 표시 아이콘(250)을 터치 펜 등으로 터치하여 선택한다(스텝 S112). 그렇게 하면, 일시정지되어 있는 시각에 있어서 이미 등록되어 있는 묘화 데이터의 일람이 표시부(114)에 표시된다. 이 일람에는, 예를 들어 도 2에 도시한 부가 데이터 메타 정보 중, 묘화 데이터와 그 액션이 표시된다. 유저는, 표시를 해제하는 묘화 데이터를 터치 펜 등으로 터치하여, 해제 대상을 선택한다(스텝 S114). 스텝 S114에 있어서 선택된 해제 대상을 결정하면, 당해 시각에 있어서 묘화 데이터가 삭제되고, 부가 데이터 작성부(120)는, 이러한 정보를 기억부(150)의 메타 정보 저장부(152)에 기록하는 정보로서 1차적으로 유지한다. 그리고, 표시부(114)의 표시면에는, 다시 도 6에 도시하는 묘화 메뉴 화면(200a)이 표시된다.

스텝 S110에서 유저가 묘화 데이터의 표시 해제를 행하지 않는 것을 선택한 경우, 또는 스텝 S114에 의해 해제 대상이 결정된 경우, 계속해서, 유저는 수기에 의한 데이터의 입력을 행할지의 여부를 선택한다(스텝 S116). 유저가 수기에 의한 데이터의 입력을 행하는 것을 선택한 경우에는, 수기 툴에 의한 묘사를 행할 수 있다(스텝 S118). 수기에 의한 데이터의 입력은, 예를 들어 도 6에 도시하는 수기 아이콘(230)을 선택함으로써 가능하게 된다. 유저가 수기 아이콘(230)을 터치 펜 등으로 터치하여 선택하면, 묘화 메뉴 화면(200a)으로부터, 예를 들어 도 7에 도시하는 수기 묘화 화면(200b)으로 천이한다.

수기 묘화 화면(200b)은, 스텝 S106에 있어서 재생을 일시정지한 시점의 동화상 콘텐츠가 표시되며, 그 테두리부측에는, 수기 데이터를 입력하기 위한 툴 아이콘(232)이 표시되어 있다. 툴 아이콘(232)은, 예를 들어 색 선택 아이콘(232a)이나 선 종류 아이콘(232b), 소거 아이콘(232c) 등으로 이루어진다. 유저는, 터치 펜(16) 등에 의해 그리는 선이나 그 색을 툴 아이콘(232)으로부터 선택하여, 입력 표시부(110)의 표면을 덧그려 묘화한다. 부가 데이터 작성부(120)는, 입력 검출부(112)에 의한 검출 결과로부터 그 궤적을 수기 데이터(300)로서, 표시부(114)에 표시시킨다. 그리고, 수기 데이터(300)의 입력이 완료되면, 유저는 예를 들어 도 7의 결정 아이콘(234)을 선택하여, 표시부(114)에 표시되어 있는 시각에서의 동화상 콘텐츠에, 입력한 수기 데이터(300)를 표시시키는 것을 결정한다. 그리고, 부가 데이터 작성부(120)는, 이러한 정보를 기억부(150)의 메타 정보 저장부(152)에 기록하는 정보로서 1차적으로 유지한다.

스텝 S116에 있어서 유저가 수기 입력을 선택하지 않은 경우, 또는 스텝 S118에 있어서 수기 데이터의 입력이 종료된 경우, 도 3b에 도시한 바와 같이, 유저는 미리 설정된 부가 데이터(이하, 「패턴 데이터」라고도 함)의 입력을 행할지의 여부를 선택한다(스텝 S120). 유저가 패턴 데이터에 의한 데이터의 입력을 행하는 것을 선택한 경우에는, 패턴 데이터에 의한 묘사를 행할 수 있다(스텝 S122). 패턴 데이터에 의한 데이터의 입력은, 예를 들어 도 6에 도시하는 고정 아이콘(240)을 선택함으로써 가능하게 된다. 유저가 고정 아이콘(240)을 터치 펜 등으로 터치하여 선택하면, 묘화 메뉴 화면(200a)으로부터, 예를 들어 도 8에 도시하는 패턴 묘화 화면(200c)으로 천이한다.

패턴 묘화 화면(200c)에는, 도 8에 도시한 바와 같이, 복수의 패턴 도형(242)이 표시되어 있다. 1개의 화면 내에 완전히 표시할 수 없는 경우에는, 도 8에 도시한 바와 같이 「다음 페이지」 아이콘(244)이 표시되고, 당해 아이콘(244)을 선택함으로써, 다음 패턴 도형(242)의 일람을 표시부(114)에 표시시킬 수 있다. 다음 화면에는 「앞 페이지」 아이콘이 표시된다. 동화상 콘텐츠에 부가하는 부가 데이터로서 하나의 패턴 도형(242)을 선택하면, 스텝 S106에 있어서 재생을 일시정지한 시점의 동화상 콘텐츠가 표시된다. 그리고, 유저가 당해 화면에서 예를 들어 터치 펜(116)을 입력 표시부(110)의 표면에 접촉시키면, 선택한 패턴 도형(242)이 그 시각에서의 동화상 콘텐츠에 표시된다. 이러한 화면에서는, 패턴 도형(242)의 색이나 크기 등을 적절히 변경할 수도 있다. 표시 내용이 결정되면, 부가 데이터 작성부(120)는, 이러한 정보를 기억부(150)의 메타 정보 저장부(152)에 기록하는 정보로서 1차적으로 유지한다. 그 후, 도 6에 도시하는 묘화 메뉴 화면(200a)으로 되돌아간다. 또한, 도 8의 패턴 묘화 화면(200c)에 있어서, 「되돌아가기」 아이콘(246)을 선택함으로써 동화상 콘텐츠에의 패턴 도형(242)의 표시를 캔슬할 수도 있다.

스텝 S116 내지 S122의 처리에 의해 동화상 콘텐츠에 표시시키는 묘화 데이터의 입력이 완료되면, 유저는 묘화 데이터의 움직임을 선택한다(스텝 S124). 유저는, 우선, 표시부(114)에 표시되어 있는 묘화 데이터 중에서 움직임을 설정하는 묘화 데이터를 선택한다. 설정하는 묘화 데이터가 선택되면, 예를 들어 도 9에 도시한 바와 같은 움직임 설정 화면(200d)이 표시된다. 움직임 설정 화면(200d)에는, 묘화 데이터의 움직임의 종류를 나타내는 움직임 아이콘이 표시되어 있다. 움직임 아이콘에는, 예를 들어 「고정」 아이콘(252a)이나 「추종」 아이콘(252b), 「스크롤」 아이콘(252c) 등이 있다. 유저는, 움직임 설정 화면(200d)의 움직임 아이콘으로부터 묘화 데이터의 움직임을 선택하고, 결정 아이콘(254)을 선택하여 그 움직임을 결정한다. 또한, 움직임 설정 화면(200d)에 있어서, 「되돌아가기」 아이콘(256)을 선택함으로써 묘화 데이터에 대한 움직임의 설정을 캔슬할 수도 있다.

계속해서, 묘화 데이터의 움직임으로서 고정 표시가 선택되었는지의 여부를 부가 데이터 작성부(120)에 의해 판정한다(스텝 S126). 이러한 판정은, 예를 들어 도 9에 도시하는 움직임 설정 화면(200d)에 있어서 「고정」 아이콘(252a)이 선택되었는지의 여부에 의해 행할 수 있다. 스텝 S126에 있어서, 부가 데이터 작성부(120)에 의해 묘화 데이터의 움직임으로서 고정 표시 이외가 선택되었다고 판정된 경우, 묘화 데이터와 관련시키는 대상으로 되는 동화상 콘텐츠 중의 모든 특징점이 표시된 특징점 선택 화면(200e)이 표시부(114)에 표시된다(스텝 S128).

특징점 선택 화면(200e)은, 예를 들어 도 10에 도시한 바와 같이, 재생이 일시정지되어 있는 시각에서의 동화상 콘텐츠의 표시에 대하여, 특징점 추종부(130)에 의해 추출된 특징점에 프레임(260a, 260b)을 표시하여 특징점을 나타내도록 구성하여도 된다. 혹은, 도 11에 도시한 바와 같이, 재생이 일시정지되어 있는 시각에서의 동화상 콘텐츠 내의 모든 특징점(264)을 일람으로서 표시시켜도 된다. 유저는, 특징점 선택 화면(200e)에 표시된 특징점 중에서, 묘화 데이터와 관련시키는 1 또는 2 이상의 특징점을 선택하고, 결정 아이콘(262)을 선택하여 묘화 데이터와의 관련 짓기를 결정한다(스텝 S130). 이에 의해, 당해 시각 또는 이 이후에서의 묘화 데이터의 움직임이 결정된다.

계속해서, 유저는, 묘화 데이터의 표시 종료 시간을 설정할지의 여부의 선택을 행한다(스텝 S132). 묘화 데이터의 표시 종료 시간을 설정하는 것이 선택되면, 종료 시각을 설정하는 것이 가능하게 되며, 종료 시각을 설정한다(스텝 S134). 그 후, 종료 시각의 설정이 끝나면, 당해 시각에서의 묘화 데이터의 표시 내용이 결정된다(스텝 S136). 표시 내용의 결정은, 예를 들어 묘화 메뉴 화면(200)의 재생 아이콘(222a)을 선택함으로써 이루어진다. 그리고, 부가 데이터 작성부(120)에 의해, 결정된 표시 내용이 메타 정보로서 기억부(150)의 메타 정보 저장부(152)에 기록된다(스텝 S138).

이와 같이 부가 데이터 작성부(120)에 의해 작성된 부가 데이터 메타 정보를 동화상 콘텐츠에 겹쳐 표시시킴으로써, 동화상 콘텐츠의 특징점의 거동에 맞추어 부가 정보가 변화하도록, 동화상을 장식할 수 있다. 예를 들어, 도 12에 도시하는 특징점(264)의 움직임에 맞추어 부가 데이터(300)를 추종시키도록 설정한 것으로 한다. 어느 시간에 있어서 특징점(264) 및 부가 데이터(300)가 파선으로 나타내는 위치에 표시되어 있고, 그 후, 특징점(264)이 실선으로 나타내는 위치로 이동한 것으로 하면, 부가 데이터(300)도 특징점(264)의 이동에 맞추어 실선으로 나타내는 위치로 이동한다. 이와 같이, 유저는, 동화상 콘텐츠에 부가하는 부가 데이터를 작성하고, 부가 데이터를 부가하는 특징점 및 부가 데이터의 표시 방법을 결정하는 것만으로, 동화상 콘텐츠에 특징점의 거동에 맞추어 변화하는 부가 데이터를 부가할 수 있다.

이상, 동화상 콘텐츠에의 수기 데이터의 부가 처리에 대하여 설명하였다. 이어서, 도 4에 기초하여, 표시 시나리오에 의한 부가 데이터의 표시 처리에 대하여 설명한다. 또한, 도 4는, 본 실시 형태에 관한 표시 시나리오에 의한 부가 데이터의 표시 처리를 나타내는 흐름도이다.

[표시 시나리오에 의한 부가 데이터의 표시 처리]

도 4에 도시하는 표시 시나리오에 의한 부가 데이터의 표시 처리는, 도 3a의 스텝 S100에 있어서 매뉴얼 묘화를 행하지 않는 것이 선택된 경우에 실행된다. 즉, 표시 시나리오를 따라서 자동적으로 동화상 콘텐츠의 특징점의 움직임 정보에 기초하여 묘화를 행하는 경우이다. 유저가 이러한 처리를 선택하면, 예를 들어 도 13에 도시한 바와 같은 표시 시나리오 선택 화면(200f)이 표시부(114)에 표시된다(스텝 S210).

표시 시나리오 선택 화면(200f)은, 예를 들어 도 13에 도시한 바와 같이, 미리 설정된 표시 시나리오를 선택하기 위한 표시 시나리오 아이콘(270)을 표시하는 분류 영역(271a)과, 표시 내용의 상세 설정을 행하는 상세 영역(271b)으로 구성된다. 표시 시나리오에는, 예를 들어 동화상 콘텐츠 중의 특징점의 표정이 웃는 얼굴이 되었을 때에 소정의 부가 데이터를 표시하거나, 특징점의 거동의 특징에 맞추어 부가 데이터를 변화시켜 표시하거나 하는 등의 변화 패턴이 있다. 유저는, 분류 영역(271a)에 표시되어 있는 변화 패턴과 관련지어진 「웃는 얼굴」 아이콘(272)이나 「움직임」 아이콘(274), 「기타」 아이콘(276) 등으로 이루어지는 표시 시나리오 아이콘(270)을 선택한다. 이에 의해, 동화상 콘텐츠에 부가 데이터를 표시시킬 수 있다(스텝 S220).

상세 영역(271b)에는, 선택된 표시 시나리오 아이콘(270)의 상세 설정을 행하기 위한 정보가 표시된다. 예를 들어, 특징점의 표정이 웃는 얼굴이 된 경우에 부가 데이터를 표시시키는 표시 시나리오를 선택하면, 부가 데이터 작성부(120)는, 기억부(150)의 표시 시나리오 저장부(158)를 참조하여, 상세 영역(271b)에 1 또는 2 이상의 부가 데이터의 표시예를 표시시킨다. 도 13의 예에서는, 2개의 표시 예(272a, 272b)가 표시되어 있다. 유저는, 특징점에 부가하고자 하는 부가 데이터를 표시예(272a, 272b)로부터 선택한 후, 결정 아이콘(277)을 선택함으로써, 부가 데이터를 결정할 수 있다.

또한, 유저는, 동화상 콘텐츠 중에 있는 특징점으로부터 부가 데이터를 부가하는 1 또는 2 이상의 특징점을 선택한다(스텝 S230). 특징점의 선택은, 상술한 스텝 S128, S130의 처리와 마찬가지로 행할 수 있다. 이상의 처리가 종료되고, 동화상 콘텐츠의 일시정지 상태가 해제되면, 설정된 표시 시나리오에 기초하는 묘화 처리가 실행된다(스텝 S240). 설정된 표시 시나리오는, 부가 데이터 메타 정보로서 메타 정보 저장부(152)에 기억된다(스텝 S250).

표시 시나리오에 기초하는 묘화 처리는, 예를 들어 유저가 당해 처리를 해제할 때까지 계속해서 행해진다. 따라서, 동일한 표시 시나리오를 동화상 콘텐츠 전체에 대하여 적용하는 경우, 유저는 한번만 표시 시나리오를 설정하면, 그 후 마찬가지의 장면이 나타난 경우에는 설정된 표시 시나리오에 기초하여 자동적으로 특징점에 부가 데이터가 부가된다. 예를 들어, 어느 특징점으로부터 웃는 얼굴이 검출된 경우에 소정의 부가 데이터를 표시시키는 표시 시나리오를 설정한 경우, 당해 특징점의 웃는 얼굴이 검출될 때마다 자동적으로 부가 데이터가 표시된다. 이에 의해, 유저는 마찬가지의 처리를 몇번이나 설정할 필요가 없어져, 동화상에 대하여 용이하게 부가 데이터를 부여할 수 있다.

[표시 시나리오 예]

여기에서, 도 14 내지 도 20을 사용하여, 표시 시나리오의 내용예에 대하여 설명한다. 표시 시나리오는, 상술한 바와 같이, 특징점의 거동에 따라서 특징점에 부가된 부가 데이터를 변화시키는 변화 패턴의 내용을 나타낸다.

도 14에는, 특징점의 웃는 얼굴이 검출된 경우에 부가 데이터를 표시시키는 표시 시나리오의 예를 도시한다. 이러한 표시 시나리오에서는, 도 14의 (a)에 도시한 바와 같이 특징점(202)의 표정이 웃는 얼굴이 아닌 경우에는, 부가 데이터 작성부(120)는 부가 데이터를 표시시키지 않지만, 특징점(202)의 표정이 웃는 얼굴이 되면, 도 14의 (b)에 도시한 바와 같이 부가 데이터(410)를 표시시킨다. 또한, 특징점의 웃는 얼굴 검출은, 기존의 방법을 이용하여 행할 수 있으며, 예를 들어 특징점 추종부(130)에 의해 검출이 이루어진다.

이어서, 도 15에, 특징점의 위치에 따라서 부가 데이터의 표시 위치를 변화시키는 표시 시나리오의 예를 도시한다. 동화상 콘텐츠에서는 특징점이 이동하는 경우가 많으며, 화상 내에서의 특징점의 위치가 시시각각 변화한다. 이러한 표시 시나리오는, 특징점의 위치가 변화하여도, 특징점에 추종하여 표시되는 부가 데이터가 화상 내에 표시시키도록 하는 것이다. 예를 들어, 도 15의 (a)에 도시한 바와 같이 화상(200) 내의 우측에 위치하는 특징점(202)이, 도 15의 (b)에 도시한 바와 같이 화상(200) 내의 좌측으로 이동하는 것으로 한다. 특징점(202)에는 말풍선의 부가 데이터(420)가 부가되어 있다. 이때, 이러한 표시 시나리오를 사용함으로써, 도 15의 (a)의 상태에서는 화상(200)의 우측 단부에 위치하는 특징점(202)의 좌측에 표시되어 있었던 부가 데이터(420)가, 특징점(202)이 도 15의 (b)의 상태로 이동하여 화상(200)의 좌측 단부에 위치하면, 특징점(202)의 우측에 표시되게 된다. 이와 같이, 특징점(202)의 위치가 변화하여도 부가 데이터(420)가 화상(200) 내로부터 밀려나오지 않도록, 자동적으로 부가 데이터(420)의 표시 위치도 변경된다.

또한, 도 16에, 특징점의 크기에 따라서 부가 데이터의 크기를 변경시키는 표시 시나리오의 예를 도시한다. 예를 들어 도 16의 (a)에 도시한 바와 같이, 화상(200)의 크기에 대한 특징점(202)의 크기가 작은 경우에는, 특징점(202)에 부가되어 있는 부가 데이터(430)의 크기도 작게 한다. 한편, 도 16의 (b)에 도시한 바와 같이, 화상(200)의 크기에 대한 특징점(202)의 크기가 커지면, 특징점(202)에 부가되어 있는 부가 데이터(430)의 크기도 크게 한다. 부가 데이터(430)의 확대율은, 예를 들어 화상(200)의 크기에 대한 특징점(202)의 크기에 따라서 변화하도록 하여도 된다. 이때, 당해 표시 시나리오에 의해 부가 데이터(430)의 크기가 커졌을 때에, 부가 데이터(430)가 화상(200) 내로부터 밀려나오지 않도록 처리할 수도 있다.

또한, 도 17에, 특징점의 이동 속도에 따라서 부가 데이터를 변화시키는 표시 시나리오의 예를 도시한다. 특징점의 이동 속도는, 소정의 시간에서의 화상 내에서의 특징점의 위치의 변화량으로부터 산출할 수 있다. 예를 들어, 도 17의 (a)에 도시한 바와 같이, 특징점(202)의 이동 속도가 거의 제로일 때에는, 특징점(202)에 부가된 대략 원형의 부가 데이터(440)는, 특징점(202)의 주위를 1주하도록 표시되어 있다. 한편, 특징점(202)의 이동 속도가 커지면, 도 17의 (b)에 도시한 바와 같이 특징점(202)을 둘러싸는 부가 데이터(440)가 2주, 3주로 증가한다. 이와 같이, 특징점(202)의 속도 변화에 따라서 부가 데이터(440)의 표시를 변화시킴으로써, 특징점(202)의 거동의 특징을 표현할 수도 있다.

도 18에는, 특징점의 이동의 궤적을 나타내는 표시 시나리오의 예를 도시한다. 예를 들어, 도 19의 (a)에 도시한 바와 같이, 특징점(202)이 화상(200) 우측 상단으로부터 좌측 하방을 향하여 이동하고 있는 것으로 한다. 이때, 이러한 표시 시나리오를 사용함으로써, 특징점의 이동의 궤적이 부가 데이터(450)로서 도 18의 (b)에 도시한 바와 같이 표시된다. 이에 의해, 동화상 콘텐츠의 영상 효과를 높일 수 있다.

또한, 도 19에, 특징점간의 거리에 따라서 부가 데이터의 표시를 변화시키는 표시 시나리오의 예를 도시한다. 예를 들어, 도 19의 (a)에 도시한 바와 같이, 1개의 부가 데이터(460)에 대하여, 2개의 특징점(202A, 202B)이 관련지어져 있는 것으로 한다. 이때, 이러한 표시 시나리오를 사용함으로써, 특징점간의 거리(L)의 크기에 따라서 부가 데이터(460)의 크기나 표시 위치가 변화된다. 도 19의 (a)와 같이 특징점간의 거리(L)가 큰 경우에는, 부가 데이터 작성부(120)는, 특징점의 거의 중앙 부근에 부가 데이터(460)를 작게 표시한다. 한편, 특징점간의 거리(L)가 작아지면, 부가 데이터 작성부(120)는, 예를 들어 도 19의 (b)와 같이, 특징점(202A)과 특징점(202B) 사이에 부가 데이터(460)가 도 19의 (a)일 때보다도 크게 표시되도록 한다. 혹은, 부가 데이터 작성부(120)는, 도 19의 (c)에 도시한 바와 같이, 근접한 특징점(202A, 202B)을 둘러싸도록 부가 데이터(460)를 표시시키도록 하여도 된다. 이와 같이, 특징점간의 거리에 따라서 부가 데이터(460)의 표시를 변화시킴으로써, 복수의 특징점의 관계를 동화상 콘텐츠 중에 효과적으로 나타낼 수 있다.

그리고, 도 20에, 특징점에 움직임이 있는 부가 데이터를 추종시키는 표시 시나리오의 예를 도시한다. 이러한 표시 시나리오에는, 예를 들어 부가 데이터인 텍스트를 시간 경과에 따라서 순차적으로 표시시키면서 특징점에 추종시키는 변화 패턴 등이 있다. 도 20의 (a)에 도시한 바와 같이, 어느 시각에서는, 특징점(202)에 추종하는 부가 데이터(480a)인 말풍선 내에, 1행분의 텍스트가 표시되어 있다. 그 후, 시간이 경과하면, 도 20의 (b)에 도시한 바와 같이, 특징점(202)의 이동과 함께 부가 데이터(480b)가 이동하고, 또한 부가 데이터(480b) 내에 2행분의 텍스트가 표시된다. 이와 같이, 이러한 표시 시나리오를 사용함으로써, 특징점의 거동에 추종하면서, 움직임이 있는 부가 데이터를 표시시킬 수 있다.

이상, 표시 시나리오의 내용예에 대하여 설명하였다. 본 실시 형태에 따르면, 유저가 특징점과 부가 데이터의 관련 짓기를 행하여, 당해 부가 데이터를 변화시키는 표시 시나리오를 선택하면, 부가 데이터 작성부(120)가 자동적으로 동화상 콘텐츠 중의 특징점의 거동에 따라서 표시 시나리오를 따른 부가 데이터 메타 정보를 작성한다. 또한, 부가 데이터 메타 정보는 표시 시나리오를 따라서 작성되기 때문에, 표시 시나리오를 변경하는 것만으로 용이하게 부가 데이터 메타 정보의 내용을 변경할 수 있다. 즉, 1개의 부가 데이터로부터 복수의 부가 데이터를 표시하는 표시 패턴을 작성할 수 있다.

부가 데이터 메타 정보는, 1개의 동화상 콘텐츠에 대하여 1개 작성된다. 부가 데이터 메타 정보에는, 1 또는 2 이상의 표시 시나리오를 따른 부가 데이터의 변화 패턴이 기억된다. 각 부가 데이터의 변화 패턴은, 도 3a, 도 3b, 도 4, 후술하는 도 5에 도시하는 방법 등에 의해 설정할 수 있다. 이로 인해, 복수의 부가 데이터의 변화 패턴을 용이하게 설정할 수 있고, 어느 시각에서의 동화상 콘텐츠 내에 복수의 부가 데이터를 부가하는 것도 용이하다.

[재생 중 수기 처리]

이어서, 도 5에 기초하여, 동화상 콘텐츠의 재생 중에 묘화를 행하는 표시 처리에 대하여 설명한다. 또한, 도 5는, 본 실시 형태에 관한 재생 중 수기 처리를 나타내는 흐름도이다. 동화상 콘텐츠의 재생 중에 부가 데이터를 묘화하는 경우, 동화상 콘텐츠의 특징점의 움직임을 확인하면서 묘화할 수 있고, 예를 들어 도 20에 도시한 바와 같은 움직임이 있는 부가 데이터를 작성하기 쉽다고 하는 이점이 있다.

도 5에 도시하는 재생 중 수기 처리는, 도 3a의 스텝 S102에 있어서 재생 중 수기 처리를 행하는 것이 선택된 경우에 실행된다. 유저가 이러한 처리를 선택하면, 우선, 수기에 의해 부가 데이터를 작성하기 위한 묘화 툴을 선택하는 화면이 표시부(114)에 표시된다. 이러한 화면에 있어서, 유저는 묘화할 때의 선 종류나 색 등을 설정한다(스텝 S310). 또한, 부가 데이터의 선 종류나 색 등은, 부가 데이터를 묘화한 후에 다시 설정하는 것도 가능하다.

계속해서, 유저는, 동화상 콘텐츠를 재생하면서 부가 데이터를 묘화한다(스텝 S320). 부가 데이터의 묘화는, 도 3a의 스텝 S118과 마찬가지로 행할 수 있다. 유저는, 부가 데이터를 다 묘화하면, 예를 들어 동화상 콘텐츠의 재생을 일시정지하여 이러한 부가 데이터를 확정시킨다. 이에 의해, 움직임이 있는 부가 데이터가 작성된다. 작성된 부가 데이터는, 이러한 부가 데이터가 표시되는 동화상 콘텐츠의 시각과 관련지어져, 부가 데이터 메타 정보로서 메타 정보 저장부(152)에 기록된다.

이상, 동화상 콘텐츠의 재생 중에 묘화를 행하는 표시 처리에 대하여 설명하였다. 이 경우, 부가 데이터와 특징점의 관련 짓기는 특별히 행하지 않아도 되지만, 동화상 콘텐츠 내에 유사한 특징점의 거동이 있는 경우에는, 그 특징점에 부가 데이터를 관련시켜 부가할 수도 있다.

이와 같이, 본 실시 형태에 관한 화상 처리 장치(100)에 따르면, 여러가지 방법으로 작성되는 부가 데이터를 특징점과 관련시켜, 특징점의 거동에 따라서 부가 데이터가 변화하는 부가 데이터 메타 정보가 자동적으로 생성된다. 이에 의해, 동화상 중의 움직이는 대상에 대하여 부가 정보를 간단하게 추가하는 것이 가능하게 된다.

또한, 도 6 내지 도 13에 도시하는 화면예는, 터치 펜(116) 등으로 실행시키는 처리와 관련지어진 아이콘을 선택함으로써 조작 정보를 입력하는 것이었지만, 본 발명은 이러한 예에 한정되지 않는다. 예를 들어, 터치 펜(116)이나 손가락 등의 조작체에 의한 표시부(114)의 표면의 덧그리기 방법(조작체의 동작)에 의해, 그 조작에 관련지어진 소정의 처리를 실행시키는 것이어도 된다. 구체적으로는, 조작체로 화면의 우측을 터치하였을 때에는 다음 페이지로 이행하고, 화면의 좌측을 터치하였을 때에 앞 페이지로 이행하는 것과 같이, 소정의 동작에 소정의 처리를 관련시켜 화면 조작을 행할 수 있도록 할 수 있다.

[하드웨어 구성예]

본 실시 형태에 관한 화상 처리 장치(100)에 의한 화상 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 화상 처리 장치(100)에는, 도 21에 도시한 바와 같은 컴퓨터도 포함된다. 이하, 도 21에 기초하여, 본 실시 형태에 관한 화상 처리 장치(100)의 하드웨어 구성의 일례를 설명한다. 또한, 도 21은, 본 실시 형태에 관한 화상 처리 장치(100)를 도시하는 하드웨어 구성도이다.

본 실시 형태의 화상 처리 장치(100)는, CPU(Central Processing Unit)(101)와, ROM(Read Only Memory)(102)과, RAM(Random Access Memory)(103)과, 호스트 버스(104a)를 구비한다. 또한, 화상 처리 장치(100)는, 브리지(104)와, 외부 버스(104b)와, 인터페이스(105)와, 입력 장치(106)와, 출력 장치(107)와, 스토리지 장치(HDD)(108)와, 드라이브(109)와, 접속 포트(111)와, 통신 장치(113)를 구비한다.

CPU(101)는, 연산 처리 장치 및 제어 장치로서 기능하여, 각종 프로그램에 따라서 화상 처리 장치(100) 내의 동작 전반을 제어한다. 또한, CPU(101)는, 마이크로프로세서이어도 된다. ROM(102)은, CPU(101)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(103)은, CPU(101)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적절히 변화하는 파라미터 등을 일시기억한다. 이것들은 CPU 버스 등으로 구성되는 호스트 버스(104a)에 의해 서로 접속되어 있다.

호스트 버스(104a)는, 브리지(104)를 통하여 PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(104b)에 접속되어 있다. 또한, 반드시 호스트 버스(104a), 브리지(104) 및 외부 버스(104b)를 분리 구성할 필요는 없으며, 1개의 버스에 이들 기능을 실장하여도 된다.

입력 장치(106)는, 마우스, 키보드, 터치 패널, 버튼, 마이크, 스위치 및 레버 등 유저가 정보를 입력하기 위한 입력 수단과, 유저에 의한 입력에 기초하여 입력 신호를 생성하여, CPU(101)에 출력하는 입력 제어 회로 등으로 구성되어 있다. 화상 처리 장치(100)의 유저는, 상기 입력 장치(106)를 조작함으로써, 화상 처리 장치(100)에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 할 수 있다. 본 실시 형태에서는, 입력 장치(106)는, 도 1에 도시한 바와 같이, 터치 패널로서 구성되어 있다.

출력 장치(107)는, 예를 들어 CRT(Cathode Ray Tube) 디스플레이 장치, 액정 디스플레이(LCD) 장치, OLED(Organic Light Emitting Diode) 장치 및 램프 등의 표시 장치를 포함한다. 또한, 출력 장치(107)는, 스피커 및 헤드폰 등의 음성 출력 장치를 포함한다. 본 실시 형태에서는, 도 1에 도시한 바와 같이, 출력 장치(107)로서 입력 표시부(110)의 표시부(114)가 설치되어 있다.

스토리지 장치(108)는, 화상 처리 장치(100)의 기억부의 일례로서 구성된 데이터 저장용의 장치이다. 스토리지 장치(108)는, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치, 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함하여도 된다. 스토리지 장치(108)는, 예를 들어 HDD(Hard Disk Drive)로 구성된다. 이 스토리지 장치(108)는, 하드 디스크를 구동하여, CPU(101)가 실행하는 프로그램이나 각종 데이터를 저장한다.

드라이브(109)는, 기억 매체용 리더 라이터이며, 화상 처리 장치(100)에 내장 혹은 외장된다. 드라이브(109)는, 장착되어 있는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체에 기록되어 있는 정보를 판독하여, RAM(103)에 출력한다.

접속 포트(111)는, 외부 기기와 접속되는 인터페이스이며, 예를 들어 USB(Universal Serial Bus) 등에 의해 데이터 전송 가능한 외부 기기와의 접속구이다. 또한, 통신 장치(113)는, 예를 들어 통신망(15)에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다. 또한, 통신 장치(112)는, 무선 LAN(Local Area Network) 대응 통신 장치이어도 되고, 와이어리스 USB 대응 통신 장치이어도 되고, 유선에 의한 통신을 행하는 와이어 통신 장치이어도 된다.

이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대하여 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서의 통상의 지식을 갖는 자이면, 특허청구 범위에 기재된 기술적 사상의 범주 내에 있어서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 이것들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.

예를 들어, 상기 실시 형태에서는, 동화상 콘텐츠와 부가 데이터 메타 정보를 별도의 데이터로서 유지하였지만, 본 발명은 이러한 예에 한정되지 않는다. 예를 들어, 부가 데이터 메타 정보를 동화상 콘텐츠와 함께 인코드하여 기억부에 기억시켜도 된다.

100: 화상 처리 장치
110: 입력 표시부
112: 입력 검출부
114: 표시부
120: 부가 데이터 작성부
130: 특징점 추종부
140: 디코드부
150: 기억부
152: 메타 정보 저장부
154: 실 데이터 저장부
156: 묘화 데이터 저장부
158: 표시 시나리오 저장부

Claims (12)

1. 화상 처리 장치로서,
   동화상 데이터로부터 특징점을 검출하는 특징점 검출부와,
   특징점에 부수되어 표시되는 부가 정보를 표시시키는 1 또는 2 이상의 특징점을 선택하는 특징점 선택 정보에 기초하여 선택된 상기 특징점과 부가 정보를 관련시키는 관련 처리부와,
   동화상 데이터의 재생에 의해 변화하는 상기 특징점의 거동을 해석하는 움직임 해석부와,
   상기 움직임 해석부에 의해 해석된 상기 특징점의 거동을 나타내는 움직임 정보와, 특징점의 거동에 따라서 상기 특징점에 부가된 부가 정보를 변화시키는 변화 패턴을 나타내는 표시 시나리오에 기초하여, 상기 특징점에 관련지어진 상기 부가 정보의 표시를 변화시키는 변화 내용을 나타내는 데이터를 생성하는 데이터 생성부를 구비하는, 화상 처리 장치.
2. 제1항에 있어서, 상기 특징점 선택 정보가 입력되는 입력부를 구비하는, 화상 처리 장치.
3. 제2항에 있어서, 특징점의 거동 패턴과 당해 거동 패턴에 합치하는 특징점에 부가된 부가 정보의 표시 방법에 의해 표시된 1 또는 2 이상의 표시 시나리오를 기억하는 표시 시나리오 기억부를 구비하고,
   상기 입력부에는, 선택된 상기 특징점에 부가된 상기 부가 정보를 변화시키는 상기 표시 시나리오를 선택하는 표시 시나리오 선택 정보가 또한 입력되고,
   상기 데이터 생성부는, 상기 특징점 선택 정보에 의해 선택된 상기 특징점에 대하여, 선택된 상기 표시 시나리오의 상기 특징점의 거동 패턴과 합치하는 특징점의 거동을 상기 움직임 정보로부터 검출하였을 때, 상기 표시 시나리오에 규정된 표시 방법으로 상기 부가 정보를 표시시키는 데이터를 생성하는, 화상 처리 장치.
4. 제2항에 있어서, 1 또는 2 이상의 부가 정보를 기억하는 부가 정보 기억부를 구비하고,
   상기 입력부에는, 상기 특징점에 부수시키는 상기 부가 정보를 선택하는 선택 정보가 입력되는, 화상 처리 장치.
5. 제1항에 있어서, 동화상 데이터에 부가하는 부가 정보가 수기에 의해 입력되는 수기 데이터 입력부를 구비하는, 화상 처리 장치.
6. 제1항에 있어서, 상기 데이터 생성부는, 상기 움직임 정보로부터 파악되는 동화상 데이터의 화상 내에서의 특징점의 위치에 기초하여, 상기 특징점에 관련지어진 상기 부가 정보의 표시 위치를 변화시키는 데이터를 생성하는, 화상 처리 장치.
7. 제1항에 있어서, 상기 데이터 생성부는, 상기 움직임 정보로부터 파악되는 동화상 데이터의 표시 크기에 대한 특징점의 크기에 기초하여, 상기 특징점에 관련지어진 상기 부가 정보의 크기를 변화시키는 데이터를 생성하는, 화상 처리 장치.
8. 제1항에 있어서, 상기 데이터 생성부는, 상기 움직임 정보로부터 파악되는 특징점의 표정의 변화에 따라서, 상기 특징점에 관련지어진 상기 부가 정보를 표시시키는 데이터를 생성하는, 화상 처리 장치.
9. 제1항에 있어서, 상기 데이터 생성부는, 상기 움직임 정보로부터 파악되는 특징점의 이동 속도에 따라서, 상기 특징점에 관련지어진 상기 부가 정보의 표시를 변화시키는 데이터를 생성하는, 화상 처리 장치.
10. 제2항에 있어서, 상기 입력부로부터 2 이상의 특징점을 선택하는 선택 정보가 입력된 경우, 상기 데이터 생성부는, 상기 특징점간의 거리에 따라서 이들 상기 특징점에 관련지어진 상기 부가 정보의 표시 크기를 변경시키는 데이터를 생성하는, 화상 처리 장치.
11. 화상 처리 방법으로서,
    동화상 데이터로부터 특징점을 검출하는 스텝과,
    특징점에 부수되어 표시되는 부가 정보를 표시시키는 1 또는 2 이상의 특징점과 부가 정보를 관련시키는 스텝과,
    동화상 데이터의 재생에 의해 변화하는 상기 특징점의 거동을 해석하는 스텝과,
    해석된 상기 특징점의 거동을 나타내는 움직임 정보와, 특징점의 거동에 따라서 상기 특징점에 부가된 부가 정보를 변화시키는 변화 패턴을 나타내는 표시 시나리오에 기초하여, 상기 특징점에 관련지어진 상기 부가 정보의 표시를 변화시키는 변화 내용을 나타내는 데이터를 생성하는 스텝을 포함하는, 화상 처리 방법.
12. 컴퓨터 프로그램으로서,
    동화상 데이터로부터 특징점을 검출하는 특징점 검출 수단과,
    특징점에 부수되어 표시되는 부가 정보를 표시시키는 1 또는 2 이상의 특징점을 선택하는 특징점 선택 정보에 기초하여 선택된 상기 특징점과 부가 정보를 관련시키는 관련 처리 수단과,
    동화상 데이터의 재생에 의해 변화하는 상기 특징점의 거동을 해석하는 움직임 해석 수단과,
    상기 움직임 해석 수단에 의해 해석된 상기 특징점의 거동을 나타내는 움직임 정보와, 특징점의 거동에 따라서 상기 특징점에 부가된 부가 정보를 변화시키는 변화 패턴을 나타내는 표시 시나리오에 기초하여, 상기 특징점에 관련지어진 상기 부가 정보의 표시를 변화시키는 변화 내용을 나타내는 데이터를 생성하는 데이터 생성 수단을 구비하는 화상 처리 장치로서 기능시키기 위한, 컴퓨터 프로그램.
    
    

Images