KR20080004368A - 정보 처리 장치와 방법 및 프로그램 - Google Patents

Abstract

본 발명은 동화 콘텐츠의 등장 인물이나 그 위치를 유저에게 적절하게 또한 알기 쉽게 제시하기 위한 리소스 데이터를 제공할 수 있도록 하는 것으로서, 이를 위한 수단으로서는, 예를 들면 MPEG 데이터의 재생에 필요한 리소스 데이터의 하나로서, 얼굴 섬네일과 얼굴 구간이 다음과 같이 생성된다. 즉, 장치는, 처리 대상 GOP로부터 정지화상을 생성한다(스텝 S102). 장치는, 그 정지화상으로부터 하나 이상의 얼굴화상을 잘라낸다(스텝 S108). 장치는, 이 얼굴화상은, 얼굴화상 테이블에 등록되어 있는 하나 이상의 인물중의 어느것에 해당하는지를 판단하고, 그 판단 결과 얼굴화상 테이블에 기재한다(스텝 S109). 장치는, 이 얼굴화상 테이블에 의거하여, 각 인물마다, 얼굴 섬네일의 생성과 얼굴 구간의 특정을 각각 행한다(스텝 S111). 본 발명은 동화 콘텐츠의 기록 장치에 적용 가능하다.

콘텐츠, 얼굴 구간, 섬네일 화상, 기록 미디어, 실데이터 영역

Description

정보 처리 장치와 방법 및 프로그램{INFORMATION PROCESSING APPARATUS AND METHOD AND PROGRAM}

본 발명은, 정보 처리 장치와 방법 및 프로그램에 관한 것으로, 특히, 동화 콘텐츠에 등장한 인물이나 그 등장 위치를, 유저에게 적절하게 또한 알기 쉽게 제시하기 위한 정보를 제공할 수 있게 된 정보 처리 장치와 방법 및 프로그램에 관한 것이다.

동화상 콘텐츠에는, 다양한 등장 인물이 포함되어 있는 것이 많다. 따라서, 등장 인물로부터 동화 콘텐츠의 내용을 파악하거나, 다양한 등장 인물중에서 특정 인물의 장면을 검색하여 재생하고 싶다 고하는 요망이 근래 올라가고 있다.

이와 같은 다양한 등장 인물을 포함하는 동화 콘텐츠를 취급하는 종래의 기술로서는, 예를 들면 특허 문헌 1, 2에 개시된 기술이 존재한다.

특허 문헌 1 : 일본 특허3315888호 공보

특허 문헌 2 : 일본 특개2004-363775호 공보

그러나, 특허 문헌 1, 2 등의 종래의 기술에서는, 상술한 요망에 응하는 것이 충분하지 못한 상황이다. 특허 문헌 1, 2 등의 종래의 기술을 단지 조합시킨 것만으로는, 동화 콘텐츠에 등장한 인물이나 그 등장 위치를, 유저에게 적절하게 또한 알기 쉽게 제시하는 것은 곤란하기 때문이다.

발명은, 이와 같은 상황을 감안하여 이루어진 것으로, 동화 콘텐츠에 등장하는 인물이나 그 등장 위치를, 유저에게 적절하게 또한 알기 쉽게 제시하기 위한 정보를 제공할 수 있도록 하는 것이다.

본 발명의 한 측면의 정보 처리 장치는, 복수의 구간으로 구분 가능한 화상 콘텐츠를 재생하기 위한 리소스 정보를 생성하는 정보 처리 장치로서, 상기 복수의 구간의 각각으로부터, 정지화상을 생성하는 화상 생성 수단과, 상기 복수의 구간의 각각을 처리 대상 구간으로 하고, 그것보다도 전의 하나 이상의 구간에 연속하여 등장하고 있다고 판단되는 특정 인물의 얼굴이, 상기 화상 생성 수단에 의해 상기 처리 대상 구간에서 생성된 상기 정지화상에 포함되어 있는지의 여부를 판단하는 처리를 실행하는 얼굴 처리 수단과, 상기 얼굴 처리 수단의 상기 복수의 구간의 각 판단 결과에 의거하여, 상기 복수의 구간에서, 상기 특정 인물이 연속하여 등장하고 있다고 판단되는 하나 이상의 구간을 얼굴 구간으로서 특정하고, 그 얼굴 구간 을 나타내는 정보를 상기 리소스 정보의 하나로서 생성하는 정보 생성 수단을 구비한다.

상기 정보 생성 수단은, 상기 리소스 정보의 다른 하나로서, 또한, 상기 얼굴 구간의 인덱스로서의 얼굴 섬네일 화상을, 상기 얼굴 구간에 포함되는 하나 이상의 상기 구간에서 상기 화상 생성 수단에 의해 각각 생성된 하나 이상의 상기 정지화상중의 소정의 1장에 포함되어 있던 상기 특정 인물의 얼굴에 의거하여 생성한다.

상기 정보 생성 수단은, 상기 얼굴 처리 수단에 의해 상기 특정 인물의 얼굴이 포함되어 있다고 판단된 구간이 하나 이상 연속하여 있는 경우, 그 연속하여 있는 하나 이상의 구간을 상기 얼굴 구간으로서 특정한다.

상기 정보 생성 수단은, 또한, 상기 얼굴 처리 수단에 의해 상기 특정 인물의 얼굴이 포함되어 있다고 판단된 하나 이상의 구간으로 이루어지는 제 1의 연속 구간과 제 2의 연속 구간 사이에, 상기 얼굴 처리 수단에 의해 상기 특정 인물의 얼굴이 포함되어 있지 않다고 판단된 하나 이상의 구간으로 이루어지는 제 3의 연속 구간이 존재하는 경우, 상기 제 3의 연속 구간의 길이가 임계치 이하일 때, 상기 제 1의 연속 구간, 상기 제 3의 연속 구간 및 상기 제 2의 연속 구간을, 하나의 상기 얼굴 구간으로서 특정하고, 상기 제 3의 연속 구간의 길이가 임계치를 초과하고 있을 때, 상기 제 1의 연속 구간 및 상기 제 2의 연속 구간의 각각을, 다른 상기 얼굴 구간으로서 특정한다.

상기 얼굴 처리 수단은, 상기 처리 대상 구간에 관한 상기 정지화상으로부터 인물의 얼굴의 검출을 시도하고, 얼굴의 검출의 시도에 성공한 경우, 상기 처리 대상 구간에 관한 상기 정지화상으로부터, 검출된 상기 얼굴의 영역을 잘라냄으로써 얼굴화상을 생성하고, 상기 처리 대상 구간에서 생성된 상기 얼굴화상을 비교 대상으로 하고, 상기 처리 대상 구간보다도 전의 구간에서 생성된 상기 특정 인물의 얼굴화상중의 최신의 얼굴화상을 피비교 대상으로 하고, 상기 비교 대상과 상기 피비교 대상의 비교를 행하고, 그 비교의 결과에 의거하여, 상기 처리 대상 구간에 관한 상기 정지화상에 상기 특정 인물이 포함되어 있는지의 여부를 판단한다.

상기 얼굴 처리 수단은, 또한, 상기 특정 인물의 정보가 기재되는 테이블을 보존하고 있고, 상기 처리 대상 구간에 관한 상기 정지화상에 상기 특정 인물이 포함되어 있는지의 여부의 정보를 상기 테이블에 기재하고, 상기 정보 생성 수단은, 상기 얼굴 처리 수단에 의해 기재된 상기 테이블의 내용에 의거하여, 상기 얼굴 구간을 특정한다.

상기 테이블은, 하나 이상의 상기 특정 인물의 각각에 관한 정보가 기재되어 있고, 상기 얼굴 처리 수단은, 상기 처리 대상 구간의 상기 정지화상으로부터 하나 이상의 상기 얼굴을 검출하여 그 결과 하나 이상의 상기 얼굴화상을 생성한 경우, 상기 처리 대상 구간의 상기 정지화상으로부터 생성된 상기 하나 이상의 얼굴화상의 각각을 상기 비교 대상으로 하고, 상기 테이블에 포함되는 하나 이상의 상기 특정 인물의 각각에 관한 상기 얼굴화상을 상기 피비교 대상으로 하고, 하나 이상의 상기 비교 대상과 하나 이상의 상기 피비교 대상의 전(全) 조합에 관해, 각각 매칭 처리를 행하고, 각각의 매칭 처리의 결과로서 스코어를 각각 산출하고, 상기 스코 어에 의거하여, 상기 전 조합중에서, 동일 인물의 얼굴화상끼리의 조합이라고 판단되는 매치 페어를 하나 이상 선발하고, 상기 테이블에 포함되는 하나 이상의 상기 특정 인물중의, 하나 이상의 상기 매치 페어의 각각의 상기 피비교 대상에 대응하는 각 특정 인물에 관해서는, 상기 처리 대상 구간에 관한 상기 정지화상에도 포함되어 있다고 판단하고, 그 이외의 특정 인물은 포함되어 있지 않다고 판단하고, 각각의 판단 결과를 상기 테이블에 기재한다.

상기 얼굴 처리 수단은, 또한, 상기 전 조합중의 상기 매치 페어가 선발로부터 누락된 조합에 관해, 그 조합에 상기 처리 대상으로서 포함되어 있는 얼굴화상에 대응하는 인물을 새로운 인물로서, 상기 테이블에 추가한다.

상기 얼굴 처리 수단은, 또한, 상기 전 조합중의, 상기 스코어가 소정의 임계치 이하인 조합에 관해서는, 상기 매치 페어의 선발 후보로부터 제외한다.

상기 얼굴 처리 수단은, 또한, 상기 전 조합중의, 상기 처리 대상이 생성된 구간과, 상기 피처리 대상이 생성된 구간이 일정 기간 이상 떨어져 있는 조합에 관해서는, 상기 매치 페어의 선발 후보로부터 제외한다.

본 발명의 한 측면의 정보 처리 방법은, 복수의 구간으로 구분 가능한 화상 콘텐츠를 재생하기 위한 리소스 정보를 생성하는 정보 처리 장치의 정보 처리 방법으로서, 상기 복수의 구간의 각각을 처리 대상 구간으로 하고, 상기 처리 대상 구간에서 정지화상을 생성하고, 상기 처리 대상 구간보다도 전의 하나 이상의 구간에 연속하여 등장하고 있다고 판단되는 특정 인물의 얼굴이, 상기 처리 대상 구간에서 생성된 상기 정지화상에 포함되어 있는지의 여부를 판단하고, 상기 복수의 구간의 각 판단 결과에 의거하여, 상기 복수의 구간에서, 상기 특정 인물이 연속하여 등장하고 있다고 판단되는 하나 이상의 구간을 얼굴 구간으로서 특정하고, 그 얼굴 구간을 나타내는 정보를 상기 리소스 정보의 하나로서 생성하는 스텝을 포함한다.

본 발명의 한 측면의 프로그램은, 상술한 본 발명의 한 측면의 정보 처리 방법에 대응하는 프로그램이다.

본 발명의 한 측면의 정보 처리 장치와 방법 및 프로그램에서는, 복수의 구간으로 구분 가능한 화상 콘텐츠를 재생하기 위한 리소스 정보의 하나가, 다음과 같이 하여 생성된다. 즉, 상기 복수의 구간의 각각을 처리 대상 구간으로 하고, 상기 처리 대상 구간에서 정지화상이 생성되고, 상기 처리 대상 구간보다도 전의 하나 이상의 구간에 연속하여 등장하고 있다고 판단되는 특정 인물의 얼굴이, 상기 처리 대상 구간에서 생성된 상기 정지화상에 포함되어 있는지의 여부가 판단되고, 상기 복수의 구간의 각 판단 결과에 의거하여, 상기 복수의 구간에서, 상기 특정 인물이 연속하여 등장하고 있다고 판단되는 하나 이상의 구간이 얼굴 구간으로서 특정되고, 그 얼굴 구간을 나타내는 정보가 상기 리소스 정보의 하나로서 생성된다 .

이상과 같이, 본 발명의 한 측면에 의하면, 동화 콘텐츠에 등장한 인물이나 그 등장 위치를, 유저에게 제시하기 위한 정보로서, 리소스 정보를 제공할 수 있다 . 특히, 동화 콘텐츠에 등장하는 인물이나 그 등장 위치를, 유저에게 적절하게 또 한 알기 쉽게 제시할 수 있도록 하기 위한 리소스 정보를 제공할 수 있다.

이하에 본 발명의 실시의 형태를 설명하는데, 본 발명의 구성 요건과, 명세서 또는 도면에 기재된 실시의 형태와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 본 발명을 서포트하는 실시의 형태가, 명세서 또는 도면에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 명세서 또는 도면중에는 기재되어 있지만, 본 발명의 구성 요건에 대응하는 실시의 형태로서, 여기에는 기재되어 있지 않은 실시의 형태가 있었다고 하더라도, 그것은, 그 실시의 형태가, 그 구성 요건에 대응하는 것이 아님을 의미하는 것은 아니다. 역으로, 실시의 형태가 구성 요건에 대응하는 것으로서는 여기서 기재되어 있다고 하여도, 그것은, 그 실시의 형태가, 그 구성 요건 이외의 구성 요건에는 대응하지 않는 것을 의미하는 것도 아니다.

본 발명의 한 측면의 정보 처리 장치(예를 들면 도 30의 화상 정보 검출부(427)를 포함하는 도 28의 화상 기록 장치(401))는,

복수의 구간(예를 들면 도 2의 GOP의 정수배의 구간)으로 구분 가능한 화상 콘텐츠를 재생하기 위한 리소스 정보(예를 들면 도 4의 콘텐츠(64-1)를 재생하기 위한 리소스 데이터(65-1)이고, 특히 얼굴 구간 메타 정보 등)를 생성하는 정보 처리 장치로서, 상기 복수의 구간의 각각(예를 들면 도 32의 GOP)으로부터, 정지화상(예를 들면 도 32의 정지화상(502))을 생성하는 화상 생성 수단(예를 들면 도 30의 정지화 생성부(431))과,

상기 복수의 구간의 각각을 처리 대상 구간으로 하고, 그것보다도 전(前)의 하나 이상의 구간에 연속하여 등장하고 있다고 판단되는 특정 인물의 얼굴이, 상기 화상 생성 수단에 의해 상기 처리 대상 구간에서 생성된 상기 정지화상에 포함되어 있는지의 여부를 판단하는 처리를 실행하는 얼굴 처리 수단(예를 들면 도 35의 얼굴화상 테이블을 생성하는 도 30의 얼굴화상 처리부(432))과,

상기 얼굴 처리 수단의 상기 복수의 구간의 각 판단 결과(예를 들면 도 35의 얼굴화상 테이블에 의거한 도 36의 결과)에 의거하여, 상기 복수의 구간에서, 상기 특정 인물이 연속하여 등장하고 있다고 판단되는 하나 이상의 구간을 얼굴 구간(예를 들면 도 37의 얼굴 구간(521-A 내지 521-E))으로서 특정하고, 그 얼굴 구간을 나타내는 정보를 상기 리소스 정보의 하나로서 생성하는 정보 생성 수단(예를 들면 도 30의 섬네일 화상 생성부(433))을 구비한다.

상기 정보 생성 수단은, 상기 리소스 정보의 다른 하나로서, 또한, 상기 얼굴 구간의 인덱스로서의 얼굴 섬네일 화상(예를 들면 도 37의 얼굴 섬네일 화상(522-A 내지 522-E))을, 상기 얼굴 구간에 포함되는 하나 이상의 상기 구간에서 상기 화상 생성 수단에 의해 각각 생성된 하나 이상의 상기 정지화상중의 소정의 1장에 포함되어 있던 상기 특정 인물의 얼굴(예를 들면 도 33의 얼굴(502-1, 502-2), 즉, 그것들에 대응하는 도 34의 얼굴화상(511-1, 511-2))에 의거하여 생성한다.

상기 정보 생성 수단은, 상기 얼굴 처리 수단에 의해 상기 특정 인물의 얼굴이 포함되어 있다고 판단된 구간이 하나 이상 연속하여 있는 경우(예를 들면 도 35 와 도 36의 예에서는, 인물(C)에 관해서는, GOP 번호 2 내지 n까지의 범위에서, 도 35에서 말하는 「얼굴 정보」가, 도 36에 묘화된 「타원이 내재하고 있는 4각」이 연속되어 있는 경우), 그 연속하여 있는 하나 이상의 구간을 상기 얼굴 구간으로서 특정한다(예를 들면 도 37의 얼굴 구간(521-C)으로서 특정한다).

상기 정보 생성 수단은, 또한,

상기 얼굴 처리 수단에 의해 상기 특정 인물의 얼굴이 포함되어 있다고 판단된 하나 이상의 구간으로 이루어지는 제 1의 연속 구간과 제 2의 연속 구간 사이에, 상기 얼굴 처리 수단에 의해 상기 특정 인물의 얼굴이 포함되어 있지 않다고 판단된 하나 이상의 구간으로 이루어지는 제 3의 연속 구간이 존재하는 경우, 상기 제 3의 연속 구간의 길이가 임계치 이하일 때(예를 들면, 도 36의 실(實)인물(a)에 관한 GOP 번호(1 내지 3)의 GOP가 제 1의 기간이 되고, GOP 번호(4)의 GOP 하나만이 제 3의 기간이 되고, GOP 번호(5, 6)의 GOP가 제 2의 기간으로 되어 있을 때), 상기 제 1의 연속 구간, 상기 제 3의 연속 구간 및 상기 제 2의 연속 구간을, 하나의 상기 얼굴 구간으로서 특정하고(예를 들면 도 37에 도시되는 바와 같이, 인물(A)에 관한 얼굴 구간(521-A)으로서 특정하고),

상기 제 3의 연속 구간의 길이가 임계치를 초과하고 있을 때(예를 들면, 도 36의 예의 실인물(b)에 관한 GOP 번호(1 내지 4)의 GOP가 제 1의 기간이 되고, GOP 번호(5 내지 n-6)의 GOP가 제 3의 기간이 되고, GOP 번호(n-5 내지 n)의 GOP가 제 2의 기간으로 되어 있을 때), 상기 제 1의 연속 구간 및 상기 제 2의 연속 구간의 각각을, 다른 상기 얼굴 구간으로서 특정한다(예를 들면 도 37에 도시되는 바와 같 이, 인물(B)에 관한 얼굴 구간(521-B)과, 다른 인물(D)에 관한 얼굴 구간(521-D)으로서 각각 특정한다).

상기 얼굴 처리 수단은,

상기 처리 대상 구간에 관한 상기 정지화상으로부터 인물의 얼굴의 검출을 시도하고(예를 들면 도 31의 스텝 S104의 처리를 실행하고),

얼굴의 검출의 시도에 성공한 경우(예를 들면 도 31의 스텝 S106의 처리가 실행되고, 스텝 S107의 처리에서 YES라고 판정된 경우),

상기 처리 대상 구간에 관한 상기 정지화상으로부터, 검출된 상기 얼굴의 영역을 잘라냄으로써 얼굴화상을 생성하고(예를 들면 도 31의 스텝 S108의 처리를 실행하고),

상기 처리 대상 구간에서 생성된 상기 얼굴화상을 비교 대상으로 하고, 상기 처리 대상 구간보다도 전의 구간에서 생성된 상기 특정 인물의 얼굴화상중의 최신의 얼굴화상을 피비교(被比較) 대상으로 하고, 상기 비교 대상과 상기 피비교 대상의 비교를 행하고,

그 비교의 결과에 의거하여, 상기 처리 대상 구간에 관한 상기 정지화상에 상기 특정 인물이 포함되어 있는지의 여부를 판단한다(예를 들면 도 31의 스텝 S109의 처리, 즉, 도 42의 얼굴화상 테이블 생성/갱신 처리를 실행한다).

상기 얼굴 처리 수단은, 또한, 상기 특정 인물의 정보가 기재되는 테이블(예를 들면 도 35의 특정 인물로서 인물(A 내지 H)을 포함하는 얼굴화상 테이블)을 보존하고 있고, 상기 처리 대상 구간에 관한 상기 정지화상에 상기 특정 인물이 포함 되어 있는지의 여부의 정보(예를 들면 도 35의 예에서는, 포함되어 있는 정보로서 「얼굴 정보」가 채용되고, 포함되지 않은 정보로서 「무(無)」가 채용되어 있다)를 상기 테이블에 기재하고, 상기 정보 생성 수단은, 상기 얼굴 처리 수단에 의해 기재된 상기 테이블의 내용에 의거하여, 상기 얼굴 구간을 특정한다.

상기 테이블은, 하나 이상의 상기 특정 인물의 각각에 관한 정보가 기재되어 있고(도 35의 예에서는, 8인의 인물(A 내지 H)의 정보가 기재되어 있고),

상기 얼굴 처리 수단은,

상기 처리 대상 구간의 상기 정지화상(예를 들면 도 38의 예에서는, GOP 번호(i)의 GOP에 관한 정지화상(602))으로부터 하나 이상의 상기 얼굴(예를 들면 도 38의 얼굴(602-1 내지 602-3))을 검출하여 그 결과 하나 이상의 상기 얼굴화상(예를 들면 도 38의 얼굴화상(612-1 내지 612-3))을 생성한 경우,

상기 처리 대상 구간의 상기 정지화상으로부터 생성된 상기 하나 이상의 얼굴화상의 각각을 상기 비교 대상(예를 들면 도 40의 예에서는, 얼굴화상(612-1, 612-2))으로 하고, 상기 테이블에 포함되는 하나 이상의 상기 특정 인물의 각각에 관한 상기 얼굴화상을 상기 피비교 대상(예를 들면 도 40의 예에서는, 인물(A)의 얼굴화상(611-1), 인물(B)의 얼굴화상(611-2), 및 인물(C)의 얼굴화상(609-3))으로 하고,

하나 이상의 상기 비교 대상과 하나 이상의 상기 피비교 대상의 전(全) 조합에 관해, 각각 매칭 처리를 행하고, 각각의 매칭 처리의 결과로서 스코어를 각각 산출하고,

상기 스코어에 의거하여, 상기 전 조합중에서, 동일 인물의 얼굴화상끼리의 조합이라고 판단되는 매치 페어를 하나 이상 선발하고(예를 들면, 도 40의 예에서는, 얼굴화상(611-1, 612-1)의 매치 페어 및 얼굴화상(611-2, 612-2)의 매치 페어를 선발하고),

상기 테이블에 포함되는 하나 이상의 상기 특정 인물중의, 하나 이상의 상기 매치 페어의 각각의 상기 피비교 대상에 대응하는 각 특정 인물(예를 들면 도 40의 예에서는, 얼굴화상(611-1)에 대응하는 인물(A)과, 얼굴화상(610-2)에 대응하는 인물(B))에 관해서는, 상기 처리 대상 구간에 관한 상기 정지화상에도 포함되어 있다고 판단하고, 그 이외의 특정 인물(예를 들면 도 40의 예에서는 인물(C))은 포함되어 있지 않다고 판단하고, 각각의 판단 결과를 상기 테이블에 기재한다.

상기 얼굴 처리 수단은, 또한, 상기 전 조합중의 상기 매치 페어가 선발로부터 누락된 조합에 관해, 그 조합에 상기 처리 대상으로서 포함되어 있는 얼굴화상에 대응하는 인물을 새로운 인물(예를 들면 도 41의 예에서는, 비교 대상으로서의 얼굴화상(612-2)이 선발로부터 누락된 조합이고, 그 얼굴화상(612-2)의 인물은 새로운 인물(D)로 되어 있다)로서, 상기 테이블에 추가한다.

상기 얼굴 처리 수단은, 또한, 상기 전 조합중의, 상기 스코어가 소정의 임계치 이하인 조합에 관해서는, 상기 매치 페어의 선발 후보로부터 제외한다(예를 들면, 도 40과 도 41의 예에서, 얼굴화상(611-2, 612-2)의 조합은, 스코어가 최고치이고 소정의 임계치를 초과하고 있는 도 40의 예에서는 매치 페어로서 선발되는 한편, 스코어가 최고치라도 소정의 임계치 이하의 도 41의 예에서는, 매치 페어의 선택 후보로부터 제외되어 있다. 또한, 그 결과, 그 조합에 포함되는 얼굴화상(612-2)의 인물은 새로운 인물(D)로 되어 있다).

상기 얼굴 처리 수단은, 또한, 상기 전 조합중의, 상기 처리 대상이 생성된 구간과, 상기 피처리 대상이 생성된 구간이 일정 기간 이상 떨어져 있는 조합(예를 들면 도 36의 예에서는, 실인물(b)에 관한 GOP 번호(n-5)의 얼굴화상과, GOP 번호(4)의 얼굴화상의 조합)에 관해서는, 상기 매치 페어의 선발 후보로부터 제외한다.

본 발명의 한 측면의 정보 처리 장치의 정보 처리 방법(예를 들면 도 31의 리소스 데이터 생성 기록 처리에 의한 방법)은, 복수의 구간으로 구분 가능한 화상 콘텐츠를 재생하기 위한 리소스 정보를 생성하는 정보 처리 장치(예를 들면 도 28의 화상 기록 장치(401))의 정보 처리 방법으로서,

상기 복수의 구간의 각각을 처리 대상 구간으로 하고(예를 들면 도 31의 스텝 S101),

상기 처리 대상 구간에서 정지화상을 생성하고(예를 들면 도 31의 스텝 S102),

상기 처리 대상 구간보다도 전의 하나 이상의 구간에 연속하여 등장하고 있다고 판단되는 특정 인물의 얼굴이, 상기 처리 대상 구간에서 생성된 상기 정지화상에 포함되어 있는지의 여부를 판단하고(예를 들면 도 30의 스텝 S104 내지 S109이고, 특히 스텝 S109, 즉 예를 들면 도 42의 얼굴화상 테이블 생성/갱신 처리), 상기 복수의 구간의 각 판단 결과에 의거하여, 상기 복수의 구간에서, 상기 특정 인물이 연속하여 등장하고 있다고 판단되는 하나 이상의 구간을 얼굴 구간으로서 특정하고, 그 얼굴 구간을 나타내는 정보를 상기 리소스 정보의 하나로서 생성하는(예를 들면 도 31의 스텝 S111) 스텝을 포함한다.

본 발명의 한 측면의 프로그램은, 예를 들면 상술한 본 발명의 한 측면의 정보 처리 방법의 스텝을 포함하는 프로그램으로서, 예를 들면 도 44의 퍼스널 컴퓨터에 의해 실행된다.

다음에, 본 발명의 이해를 용이한 것으로 하기 위해, 최초에, 도 1을 참조하여, 본 발명에 의해 실현 가능한 동화 콘텐츠의 재생 지시 조작의 개략에 관해 설명한다.

여기서, 콘텐츠란 인간이 창조적 활동에 의해 생겨지는 것을 말하며, 그들 중의 화상을 적어도 포함하는 콘텐츠를 화상 콘텐츠라고 한다. 또한, 화상 콘텐츠는, 주로 동화상으로 구성되는 동화 콘텐츠와, 주로 정지화상으로 구성되는 정지화 콘텐츠로 대별된다. 단, 본 명세서에서는, 이른바 콘텐츠 데이터, 즉, 인간이 창조적 활동에 의해 생겨진 것이 장치에 의해 처리 가능한 형태로 된 것, 예를 들면 전기 신호로 된 것이나 기록 매체에 기록된 것 등도, 특히 구별하지 않고 정리하여 콘텐츠라고 칭한다.

또한, 이하의 설명에서는, 콘텐츠는 파일 단위로 기록 매체에 기록된다고 하고, 콘텐츠의 개수는 파일 단위로 표현한다. 즉, 이하의 설명에서는, 하나의 콘텐츠란, 하나의 파일로서 기록 매체에 기록될 수 있는 콘텐츠를 말한다.

종래, 복수의 동화 콘텐츠중에서 소망하는 하나의 재생을 지시하기 위한 재 생 지시 조작으로서, 다음과 같은 조작이 알려져 있다. 즉, 복수의 동화 콘텐츠의 인덱스로서의 각 섬네일 화상의 일람이 유저에게 제시되고, 유저는, 그 일람중에서, 재생을 소망하는 동화 콘텐츠에 대응하는 섬네일 화상을 선택한다는 재생 지시 조작이 알려져 있다.

본 발명에서는, 이와 같은 재생 지시 조작에 더하여, 또한, 예를 들면 도 1에 도시되는 바와 같은 재생 지시 조작이 가능해진다.

도 1의 예에서는, 재생 대상의 동화 콘텐츠(1)중의, 특정 인물이 연속하여 등장하여 오고 있다고 판단되는 구간(11)에 대해, 그 특정 인물의 얼굴의 화상이 섬네일 화상(21)으로서 대응시켜져 있다.

또한, 이하, 구간(11)과 같이, 동화상중에 특정 인물이 연속하여 등장하여 오고 있다고 판단되는 구간을, 얼굴 구간이라고 칭한다. 또한, 섬네일 화상(21)과 같이, 얼굴의 화상이 섬네일 화상으로서 채용되어 있는 경우, 그 섬네일 화상을 특히 얼굴 섬네일 화상이라고 칭한다.

이와 같은 얼굴 구간(11) 외에, 동화 콘텐츠(1)에는 얼굴 구간(12 내지 14)의 각각이 또한 존재하고, 얼굴 섬네일 화상(22 내지 24)의 각각이 대응시켜져 있다.

이로써, 동화 콘텐츠(1)중의 얼굴 구간(11 내지 14)의 각 인덱스의 일람으로서, 얼굴 섬네일 화상(21 내지 24)의 일람이 유저에게 제시되고, 유저는, 그 일람중에서, 재생을 소망하는 얼굴 구간에 대응하는 얼굴 섬네일 화상을 선택한다는 재생 지시 조작이 가능해진다. 또한, 이와 같은 재생 지시 조작이나, 그것에 대응하 는 장치측의 처리의 상세에 관해서는, 도 4 이후의 도면을 이용하여 후술한다.

환언하면, 동화 콘텐츠에 등장하는 인물이나 그 등장 위치를, 유저에게 적절하게 또한 알기 쉽게 제시하기 위해, 인물의 등장 위치의 하나로서 얼굴 구간이 채용되고, 그 얼굴 구간의 인덱스로서, 그 얼굴 구간에 등장하고 있는 인물의 얼굴을 포함하는 얼굴 섬네일 화상이 채용되어 있다. 따라서, 이와 같은 얼굴 섬네일 화상이나 얼굴 구간을 이용함으로써, 상술한 요망, 즉, 등장 인물로부터 동화 콘텐츠의 내용을 파악하거나, 다양한 등장 인물중에서 특정 인물의 장면을 검색하여 재생하고 싶다는 요망에 적절하게 응하는 것이 가능해진다.

이하, 이와 같은 얼굴 구간의 특정 수법과 얼굴 섬네일 화상의 작성 수법의 개략에 관해, 도 2와 도 3을 참조하여 설명한다. 단, 각 수법의 개략의 설명에서, 처리의 주체는, 단지 장치라고 칭한다.

도 2의 예에서는, 동화 콘텐츠(1)는, MPEG(Moving Picture Experts Group) 데이터로서 구성되어 있다. 즉, 동화 콘텐츠(1)는, 복수의 GOP(Group Of Picture)로 구성되어 있다.

이 경우, 장치는, 동화 콘텐츠(1)를 소정의 단위마다 구분하고, 각 단위의 각각으로부터 1장의 정지화상을 각각 생성한다. 이 단위는 특히 한정되지 않고, 후술하는 다른 예에서는 주로 하나의 GOP로 이루어지는 단위(이하, 1GOP단위라고 칭한다. 마찬가지로 이하, k개의 GOP로 이루어지는 단위를 kGOP단위라고 칭한다)로 되어 있지만, 여기서는, 도 2에 맞추어서 2GOP단위인 것으로 한다. 즉, 여기서는, 2GOP단위로부터 1장의 정지화상이 생성된다고 한다.

또한, 정지화상의 생성 수법 자체는, 특히 한정되지 않고, 예를 들면 도 2의 예에서는, 2GOP단위중의 선두의 GOP로부터 정지화상을 생성하는 수법이 채용되어 있다. 또한, 그 GOP로부터 정지화상을 생성한 수법도, 특히 한정되지 않고, 예를 들면 도 3에 도시되는 수법 등을 채용할 수 있다.

즉, 도 3에서, B라고 기술된 4각(角)은 B픽처를 나타내고 있고, I라고 기술된 4각은 I픽처를 나타내고 있고, 또한, P라고 기술된 4각은 P픽처를 나타내고 있다. 또한, 각 픽처 내의 좌단(左端) 부근의 숫자는, 자신이 속하는 GOP에서의 선두로부터의 자신의 배치 순번을 나타내고 있다. 즉, 도 3의 예에서는, 하나의 GOP는 15의 픽처로 구성되어 있다.

이 경우, 예를 들면, 장치는, B픽처를 정지화상으로서 생성할 수 있다. 구체적으로는, 장치는 참조하고 있는 I픽처를 판독하고, 그 I픽처에 의거하여 B픽처를 정지화상으로서 생성한다. 또한, 도 3에는, 3번째의 I픽처에 의거하여 1번째의 B픽처가 정지화상으로서 생성된 예가 도시되어 있다.

또한 예를 들면, 장치는, GOP의 선두로부터 각 픽처를 순차로 판독하여 가고, I픽처를 판독한 단계에서, 그 I픽처를 정지화상으로서 생성할 수 있다. 또한, 도 3에는, 3번째의 I픽처가 정지화상으로서 생성된 예가 도시되어 있다.

도 2로 되돌아와, 장치는, 이와 같이 하여 2GOP단위로부터 정지화상을 생성하면, 그 정지화상으로부터 얼굴의 검출을 시도한다.

예를 들면 여기서, 도 2중 좌로부터 3번째의 2GOP단위가 처리 대상 단위로 되어 있고, 그 처리 대상 단위로부터 정지화상(31-1)이 생성되었다고 한다. 또한, 도 2의 예에서는, 계란형의 형상이 인간의 얼굴로 되어 있다. 이 경우, 정지화상(31-1)에는, 인간의 얼굴이 포함되어 있기 때문에, 그 얼굴의 영역이 검출되게 된다. 그러면, 장치는, 검출한 얼굴을 포함하는 화상(이하, 얼굴화상이라고 칭한다)(32-1)을 정지화상(31-1)으로부터 추출한다.

이때, 처리 대상 단위의 직전의 2GOP단위, 즉, 도 2의 예에서는 2번째의 2GOP단위로부터 얼굴이 검출되어 있지 않으면, 장치는, 얼굴이 검출된 처리 대상 단위의 선두 위치, 즉, 도 2의 예에서는 3번째의 2GOP단위의 선두 위치를 얼굴 구간(11)의 시작 위치로서 결정한다.

단, 정지화상을 생성하는 단위가 2GOP단위 이상의 길이인 경우, 처리 대상 단위의 직전의 단위에 포함되는 후반부분의 GOP에는, 동일 인물의 얼굴이 포함되어 있을 가능성이 있다. 그러면, 장치는, 도 2의 예와 같이 3번째의 2GOP단위의 선두 위치를, 얼굴 구간(11)의 시작 위치로 곧바로 결정하지 않고, 시작 위치의 후보로 하는 것으로 멈추고, 그 후보의 직전의 몇개의 GOP에 대해서도, 동일 인물의 얼굴이 포함되어 있는지의 여부를 판정하고, 포함되지 않은 경우에는, 그 후보를 얼굴 구간(11)의 시작 위치로서 확정하는 한편, 포함되어 있는 경우에는, 동일 인물의 얼굴이 포함되어 있는 가장 앞의 GOP의 선두 위치를, 얼굴 구간(11)의 시작 위치로서 확정하도록 하여도 좋다.

이와 같이 하여 얼굴 구간(11)의 시작 위치를 결정하면 계속해서, 장치는, 그 이후의 각 2GOP단위를 순차로 처리 대상 단위로 하여 가고, 처리 대상 단위로부터 정지화상을 생성하고, 그 정지화상으로부터 얼굴화상의 추출을 시도하여 간다는 처리를 반복한다.

예를 들면, 도 2의 예에서는 4번째의 2GOP단위가 처리 대상 단위로 되어 있는 경우에는, 정지화상(31-2)이 생성되고, 그리고 나서 얼굴화상(32-2)이 추출된다. 이 경우, 장치는, 이 얼굴화상(32-2)과, 그 전에 추출된 얼굴화상(32-1)의 비교 판단을 행하고, 동일 인물의 얼굴이라고 판단한 때는, 얼굴화상(32-2)이 추출된 2GOP단위, 즉, 4번째의 2GOP단위도 얼굴 구간(11)의 범위 내라고 판단한다.

마찬가지로, 장치는, 다음의 5번째의 2GOP단위를 처리 대상 단위로 하여, 그것으로부터 정지화상(31-3)을 생성하고, 얼굴화상(32-3)을 추출한다. 그리고, 장치는, 이 얼굴화상(32-3)과, 그 전에 추출된 얼굴화상(32-2)의 비교 판단을 행하고, 동일 인물의 얼굴이라고 판단한 때에는, 얼굴화상(32-3)이 추출된 2GOP단위, 즉, 5번째의 2GOP단위도 얼굴 구간(11)의 범위 내라고 판단한다.

또한, 장치는, 다음의 6번째의 2GOP단위를 처리 대상 단위로 하여, 그것으로부터 정지화상(31-4)을 생성하고, 얼굴의 검출을 시도한다. 도 2의 예의 정지화상(31-4)에는 얼굴이 포함되어 있지 않기 때문에, 얼굴은 검출되지 않는다. 그러면, 장치는, 얼굴이 검출되지 않은 2GOP단위, 즉, 6번째의 2GOP단위의 선두 위치, 환언하면, 그 전의 5번째의 2GOP단위의 최후미 위치를, 얼굴 구간(11)의 종료 위치의 후보로 한다.

여기서, 「후보」라고 기술한 것은, 2GOP단위에 상당하는 시간은 인간에 있어서 단시간이고, 그와 같은 단시간에 얼굴이 검출되지 않더라도, 그 후에 동일 인물의 얼굴이 재차 검출되면, 그 얼굴이 검출되지 않았던 단시간에 대해서도, 얼굴 구간이 한창 계속하고 있는 중이라고 간주할 수 있기 때문이다. 즉, 장치는, 얼굴 구간(11)의 종료 위치의 후보 결정 후도, 그 이후의 몇개인가의 2GOP단위에 관해 마찬가지로 얼굴의 검출을 행하고, 얼굴이 검출되지 않는 기간이 어느 정도 계속한 단계에서, 얼굴 구간(11)의 종료 위치의 후보를, 얼굴 구간(11)의 종료 위치로서 확정한다.

이와 같이 하여 얼굴 구간(11)의 특정이 종료되면, 장치는, 그 얼굴 구간(11)의 인덱스로서 얼굴 섬네일 화상(21)을 생성하고, 얼굴 구간(11)과 대응시킨다. 또한, 얼굴 구간(11)의 얼굴 섬네일 화상(21)은, 상술한 정지화상(32-1 내지 32-3)으로부터 검출된 얼굴과 동일 인물로 판단되는 얼굴의 화상이면 족하다. 따라서, 예를 들면, 장치는, 얼굴 구간(11) 결정 후, 그 얼굴 구간(11)으로부터 새로운 얼굴화상을 생성하고, 그것을 얼굴 섬네일 화상(21)으로서 채용하여도 좋다. 또한, 예를 들면, 장치는, 얼굴 구간(11)을 한창 특정하고 있는 중에 사용한 얼굴화상중 어느 1장을 얼굴 섬네일 화상(21)으로서 채용할 수도 있다. 또한, 도 2의 예에서는, 후자의 수법이 채용되어 있고, 얼굴화상(32-1 내지 32-3)중의 최초에 사용된 얼굴화상(32-1)이, 얼굴 섬네일 화상(21)으로서 채용되어 있다.

또한, 장치는, 유저의 편리를 위해, 얼굴 구간(11)의 인덱스로서, 얼굴 섬네일 화상(21) 외에, 얼굴 섬네일 화상(21)의 얼굴을 포함하는 정지화상 전체를 섬네일 화상(41)으로서 생성할 수도 있다. 예를 들면, 도 2의 예에서는, 얼굴화상(32-1)이 얼굴 섬네일 화상(21)으로서 채용되어 있기 때문에, 얼굴화상(32-1)의 추출원인 정지화상(31-1) 전체가 섬네일 화상(41)으로서 채용되어 있다.

즉, 도 1에는 도시되어 있지 않지만, 동화 콘텐츠(1)중의 얼굴 구간(11 내지 14)의 각각의 인덱스로서, 각 얼굴 섬네일 화상(21 내지 24) 외에, 대응하는 각 정지화상 전체의 각 섬네일 화상도 각각도 생성할 수 있다. 이 경우, 그러한 섬네일 화상의 일람도 유저에게 제시되고, 유저는, 그 일람중에서, 재생을 소망하는 얼굴 구간에 대응하는 섬네일 화상을 선택한다는 재생 지시 조작도 가능해진다. 또한, 이와 같은 재생 지시 조작이나, 그것에 대응하는 장치측의 처리의 상세에 관해서는, 도 4 이후의 도면을 이용하여 후술한다.

이상, 도 2와 도 3을 참조하여, 얼굴 구간의 특정 수법과 얼굴 섬네일 화상의 작성 수법의 개략에 관해 설명한 각 수법의 더욱더 상세한 설명에 관해서는, 도 31 이후의 도면을 이용하여 후술한다.

이상 설명한 얼굴 섬네일 화상의 지정에 의한 얼굴 구간의 재생을 가능하게 하도록, 콘텐츠를 기록 미디어에 기록시키는 경우, 그 기록 미디어는 예를 들면 도 4의 구조를 취할 수 있다. 즉, 도 4는, 본 발명이 적용되는 기록 미디어의 구조예를 도시하고 있다.

도 4의 예의 기록 미디어(51)에는, 실데이터 영역(52)과 리소스 데이터 영역(53)이 형성되어 있다.

실데이터 영역(52)에는, N개(N은 0 이상의 정수치)의 콘텐츠(64-1 내지 64-N)가 기록된다. 도 4의 예에서는, 하나의 콘텐츠(64-K)(K는 1 내지 N중의 어느 하나의 값)는, 비디오 데이터와 오디오 데이터로 구성되어 있다. 즉, 하나의 콘텐츠(64-K)는, 비디오 데이터와 오디오 데이터를 포함하는 하나의 파일을 의미한다.

하나의 콘텐츠(64-K)에 대해, 그것을 재생하기 위해 필요한 리소스 데이터(65-K)가 리소스 데이터 영역(53)에 기록된다.

리소스 데이터(65-K)에는, 콘텐츠(64-K)에 관한, 관리 정보, 섬네일 정보 및 각 섬네일 및 콘텐츠 메타 정보, 얼굴 구간 메타 정보 및 얼굴 섬네일이 포함된다.

관리 정보란, 콘텐츠(64-K) 전체를 관리하기 위한 각종 정보의 집합체이다.

섬네일이란, 도 2의 섬네일 화상(41) 등, 콘텐츠(64-K)중의 소정의 재생 기간의 인덱스로서의 화상이다. 단, 이러한 화상은, 소정의 형식의 화상 데이터로서 리소스 데이터 영역(53)에 기록되어 있다.

섬네일 정보란, 상술한 각 섬네일에 관한 각종 정보의 집합체이다.

콘텐츠 메타 정보란, 콘텐츠(64-K)에 관한 메타 정보이고, 예를 들면 콘텐츠(64-K)를 재생하기 위해 필요한 기본 정보 등을 포함한다. 단, 다음의 얼굴 구간 메타 정보는 제외한다.

얼굴 구간 메타 정보란, 도 1의 얼굴 구간(11 내지 14) 등의 얼굴 구간을 재생하기 위해 필요한 각종 정보의 집합체이다. 예를 들면 본 실시의 형태에서는, 도 5에 도시되는 바와 같이, 얼굴 구간 메타 정보는, 재생 정보, 시작 시간, 재생 시간, 및 기록 위치를 포함하고 있다. 재생 정보란, 예를 들면 콘텐츠(64-K)에 관한 이른바 코덱 정보이다. 시작 시간이란, 얼굴 구간의 시작 위치를 나타내는 정보이고, 예를 들면 시작 위치를 재생 시각으로 환산한 값이나, 시작 위치에 대응하는 GOP의 GOP 번호 등의 형태로 기재된다. 재생 위치란, 얼굴 구간의 길이를 나타내는 정보이고, 예를 들면 얼굴 구간의 길이를 재생 시간으로 환산한 값이나, 얼굴 구간 의 길이를 GOP 수로 환산한 값 등의 형태로 기재된다. 기록 위치란, 예를 들면 얼굴 구간이 기록되어 있는 실데이터 영역(52) 내의 위치를 특정하는 정보, 예를 들면 기록 미디어(51)가 광디스크인 경우에는 섹터 등을 나타내는 정보이다.

도 4로 되돌아와, 얼굴 섬네일이란, 도 1의 얼굴 섬네일 화상(21 내지 24) 등, 얼굴 구간의 인덱스로서의 화상이다. 단, 이러한 화상은, 소정의 형식의 화상 데이터로서 리소스 데이터 영역(53)에 기록되어 있다. 또한, 얼굴 섬네일은, 그 인덱스로 되어 있는 얼굴 구간의 얼굴 구간 메타 정보와 대응시켜서 기록되어 있다.

단, 도 4의 예에서는, 콘텐츠(64-K)의 리소스 데이터(65-K)는 하나의 파일이 아니라, 관리 정보 파일(61), 섬네일 화상 파일(62), 및 메타 파일(63)의 각각으로 분할되어 기록된다.

환언하면, 콘텐츠(64-1 내지 64-N)의 각각의 관리 정보는 정리하여, 관리 정보 파일(61)에 포함된다. 콘텐츠(64-1 내지 64-N)의 각각의 섬네일 정보 및 각 섬네일은, 섬네일 화상 파일에 포함된다. 콘텐츠(64-1 내지 64-N)의 각각의 콘텐츠 메타 정보 및 각 얼굴 구간 메타 정보 및 얼굴 섬네일은, 메타 파일(63)에 포함된다.

즉, 콘텐츠(64-K)의 각 얼굴 구간 메타 정보 및 얼굴 섬네일은, 콘텐츠(64-K)의 메타 정보의 하나로서 메타 파일(63)에 포함된다. 구체적으로는 예를 들면, 콘텐츠(64-K)가 도 1의 동화 콘텐츠(1)인 경우에는, 얼굴 구간(11)에 관한 얼굴 구간 메타 정보와 얼굴 섬네일 화상(21)의 조(組), 얼굴 구간(12)에 관한 얼굴 구간 메타 정보와 얼굴 섬네일 화상(22)의 조, 얼굴 구간(13)에 관한 얼굴 구 간 메타 정보와 얼굴 섬네일 화상(23)의 조 및 얼굴 구간(14)에 관한 얼굴 구간 메타 정보와 얼굴 섬네일 화상(24)의 조 및 콘텐츠(1)의 콘텐츠 메타 정보의 집합체가, 메타 파일(63)에 포함된다.

이와 같은 리소스 데이터(65-K) 등의 리소스 데이터를 이용함에 의해, 후술하는 등장 인물의 얼굴 일람이나 위치의 표시를 재검색 없이, 고속으로 표시할 수 있다. 외부로부터의 콘텐츠에 관한 정보의 검색 요구에 대해, 리소스 데이터만을 송신함에 의해, 응답성을 개선할 수 있다.

또한, 리소스 데이터를 이용함으로써, 예를 들면 후술하는 바와 같이, 특정한 인물이 기록되어 있는 부분을 추출하여 새로운 동화상 데이터를 생성하거나, 특정한 인물이 기록되어 있는 동화상 데이터만을 재생시키거나, 특정한 인물이 기록되어 있는 동화상 데이터만을 백업시키거나 하는 것이 가능해지고, 자동 편집/자동 재생/자동 백업을 행할 때의 데이터 추출에 이용할 수 있다.

도 6은 이러한 도 4의 구조를 갖는 기록 미디어(51)에 기록된 콘텐츠(64-K)를 재생하는 재생 장치의 기능적 구성예를 도시하고 있다. 즉, 도 6은 본 발명이 적용되는 정보 처리 장치로서의 재생 장치의 기능적 구성예를 도시하고 있다.

유저는, 도 6의 예의 재생 장치에 대해, 도 1을 이용하여 상술한 재생 지시 조작, 즉, 얼굴 섬네일 화상을 지정함으로써 얼굴 구간의 재생을 지시하는 조작을 행할 수가 있다. 환언하면, 도 6의 예의 재생 장치는, 이러한 재생 지시 조작에 대응하는 처리를 실행하고, 또한, 기록 미디어(51)에 기록된 콘텐츠(64-K)중의, 재생 지시 조작에서 지시된 얼굴 구간의 재생을 행하는 처리를 실행할 수 있다.

이 때문에, 도 6의 예의 재생 장치는, 제어부(71) 내지 조작부(80)를 포함하도록 구성되어 있다.

제어부(71)는, 시스템 제어부(91), UI 제어부(92), 및 콘텐츠 관리 정보 제어부(93)를 포함하도록 구성되어 있다.

시스템 제어부(91)는, 오디오 디코드부(74), 비디오 디코드부(76), 정지화 디코드부(77), 및 화상 합성부(78)에 대한 각종 제어 처리를 실행한다.

UI(User Interface) 제어부(92)는, 화상 표시부(79)에 표시되는 GUI(Graphical User Interface) 화상, 예를 들면 후술하는 도 10 내지 도 13에 도시되는 GUI 화상과 조작부(80)를 이용한 GUI에 관한 각종 제어를 행한다.

콘텐츠 관리 정보 제어부(93)는, 기록 미디어(51)에 기록되어 있는 도 4의 콘텐츠(64-K)의 재생을 행하기 위한 관리 정보, 즉, 리소스 데이터(65-K)중의 필요한 정보를 적절히 RAM(73)의 관리 정보 영역(101)상에 전개한다. 또한, 콘텐츠 관리 정보 제어부(93)는, 그 관리 정보 영역(101)상에 전개된 각종 정보를 이용하여, 예를 들면 후술하는 도 10 내지 도 13에 도시되는 GUI 화상의 생성이나 갱신을 화상 데이터의 형태로 실행하고, 그 화상 데이터를 정지화 디코드부(77)에 제공한다. 또한, 관리 정보 영역(101)상에 전개되는 정보의 구체예에 관해서는, 도 7과 도 8을 이용하여 후술한다.

분리부(72)는, 기록 미디어(51)에 기록되어 있는 콘텐츠(64-1 내지 64-N)중의 재생 대상의 콘텐츠(64-K)의 적어도 일부를 판독하여, 오디오 데이터와 비디오 데이터로 분리하여, 각각 RAM(73)의 실데이터 영역(102)에 기억시킨다. 또한, 「콘 텐츠(64-K)의 적어도 일부를 판독하여」라고 기술한 것은, 상술한 바와 같이 콘텐츠(64-K)의 일부의 구간, 예를 들면 얼굴 구간만의 재생도 가능하기 때문이다.

RAM(Random Access Memory)(73)에는, 실데이터 영역(102)과 관리 정보 영역(101)이 마련되어 있다. 실데이터 영역(102)에는, 상술한 바와 같이 비디오 데이터와 오디오 데이터 등의 실데이터가 기억된다. 관리 정보 영역(101)에는, 상술한 바와 같이 기록 미디어(51)의 리소스 데이터(65-K)중의 몇개인가의 정보가 관리 정보로서 기억된다. 관리 정보 영역(101)의 더욱더 상세에 관해서는, 도 7과 도 8을 이용하여 후술한다.

오디오 디코드부(74)는, 시스템 제어부(91)의 제어에 의거하여, 실데이터 영역(102)으로부터 오디오 데이터를 판독하여, 음성 출력부(75)의 포맷의 음성 신호로 변환하는 변환 처리를 실행하고, 그 결과 얻어지는 음성 신호를 음성 출력부(75)에 제공한다. 음성 출력부(75)는, 오디오 디코드부(74)로부터의 음성 신호에 대응하는 음성, 즉, 재생 대상의 콘텐츠(64-K)의 오디오 데이터에 대응하는 음성을 출력한다.

비디오 디코드부(76)는, 시스템 제어부(91)의 제어에 의거하여, 실데이터 영역(102)으로부터 비디오 데이터를 판독하여, 화상 표시부(79)의 포맷의 화상 신호로 변환하는 변환 처리를 실행하고, 예를 들면 비디오 데이터가 MPEG 데이터인 경우에는 이른바 MPEG 디코드 처리를 실행하고, 그 결과 얻어지는 화상 신호를 화상 합성부(78)에 제공한다.

정지화 디코드부(77)는, 시스템 제어부(91)의 제어에 의거하여, 관리 정보 영역(101)으로부터 정지화상 데이터를 판독하고, 예를 들면 정지화상 데이터의 형태의 GUI 화상을 판독하여, 화상 표시부(79)의 포맷의 화상 신호로 변환하는 변환 처리를 실행하고, 그 결과 얻어지는 화상 신호를 화상 합성부(78)에 제공한다.

화상 합성부(78)는, 비디오 디코드부(76)로부터의 화상 신호와 정지화 디코드부(77)로부터의 화상 신호를 합성하고, 화상 표시부(79)에 제공한다. 화상 표시부(79)는, 화상 표시부(79)로부터의 화상 신호에 대응하는 화상을 표시한다. 즉, 재생 대상의 콘텐츠(64-K)의 비디오 데이터에 대응하는 동화상이나, 후술하는 도 10 내지 도 13의 GUI 화상 등이 화상 표시부(79)에 표시된다. 또한, 도 14 내지 도 16을 이용하여 후술하는 정지화상도 화상 표시부(79)에 표시된다.

여기서, 도 7과 도 8을 참조하여, RAM(73)의 관리 정보 영역(101)의 상세예에 관해 설명한다.

도 7에 도시되는 바와 같이, 관리 정보 영역(101)에는, 화상 처리용 영역(111), 프로퍼티 영역(112), 섬네일 영역(113), 및 메타 영역(114)이 형성되어 있다.

화상 처리용 영역(111)에는, 예를 들면, 후술하는 도 10 내지 도 13의 GUI 화상의 화상 데이터나, 그 화상 데이터에 대해 콘텐츠 관리 정보 제어부(93)가 화상 처리를 시행하기 위해 필요한 각종 정보가 기억된다.

프로퍼티 영역(112)에는, 엔트리 수나 콘텐츠(64-K)의 사이즈 등, 도 4의 기록 미디어(51)에의 액세스에 필요한 공통 정보나, 각 엔트리의 프로퍼티 데이터(이하, 프로퍼티 엔트리라고 칭한다)가 기억된다.

엔트리란, 콘텐츠(64-K)중의, 재생 지시가 된 구간을 말하고, 예를 들면 도 1의 예의 얼굴 구간(11 내지 14) 등의 각 얼굴 구간도 엔트리의 하나로 될 수 있다. 따라서, 엔트리의 프로퍼티 엔트리란, 그 구간을 재생하기 위해 필요한 각종 정보이다.

섬네일 영역(113)에는, 각 엔트리의 섬네일 등의 정보(이하, 섬네일 엔트리라고 칭한다)가 기억된다.

메타 영역(114)에는, 각 엔트리의 메타 데이터 등의 정보(이하, 메타 엔트리라고 칭한다)가 기억된다. 또한, 얼굴 구간이 엔트리로 되어 있는 경우, 그 엔트리의 메타 엔트리에는, 대응하는 얼굴 구간 메타 정보와 얼굴 섬네일의 조(도 4 참조)가 포함된다.

단, 각 엔트리의 프로퍼티 엔트리, 메타 엔트리 및 섬네일 엔트리의 각각은, 프로퍼티 영역(112), 섬네일 영역(113), 및 메타 영역(114)의 각각에 뿔뿔이 기억되는 것이 아니라, 도 8의 각 화살표로 도시되는 바와 같이, 엔트리마다 대응시켜져서 기억된다.

다음에, 이와 같은 도 6의 예의 재생 장치를 이용한 유저의 재생 지시 조작과, 그 재생 지시 조작에 대응하는 재생 장치의 처리의 한 예에 관해 설명한다.

도 9는 재생 지시 조작에 대응하여 재생 장치가 취할 수 있는 각 상태의 한 예를 도시하고 있다.

도 9에서, 각 상태는, 하나의 블록으로 도시되어 있고, 그 블록에 그어진 "S"를 포함하는 부호에 의해 판별된다. 하나의 상태로부터 하나의 상태로의 상태 천이(동일한 상태에 머무르는 경우도 포함한다)는, 소정의 조건(이하, 상태 천이 조건이라고 칭한다)이 충족되면 실행된다. 이와 같은 상태 천이 조건은, 도 9에서는, 하나의 상태로부터 하나의 상태로의 천이를 나타내는 화살표에, "C"를 포함하는 부호를 붙여서 표시되어 있다. 그리고, 이들의 내용은, 후술하는 다른 상태 천이도에 관해서도 마찬가지이다.

예를 들면 재생 지시의 시작을 나타내는 조작이 조작부(80)에 의해 이루어진 경우, UI 제어부(92)는, 상태 천이 조건(C1)이 충족되었다고 판정하고, 재생 장치의 상태를 미디어 일람 표시 상태(S1)로 천이시킨다.

미디어 일람 표시 상태(S1)로 천이하면, 콘텐츠 관리 정보 제어부(93)는, 미디어 일람 GUI 화상을 화상 데이터의 형태로 RAM(73)의 관리 정보 영역(101)상에 생성하고, 정지화 디코드부(77)에 제공한다. 시스템 제어부(91)는, 정지화 디코드부(77)와 화상 합성부(78)를 제어함으로써, 미디어 일람 GUI 화상의 형태를 화상 데이터로부터 화상 신호로 변환하여, 화상 표시부(79)에 제공한다. 그러면, 화상 표시부(79)에는, 미디어 일람 GUI 화상이 표시된다. 이로써, 미디어 일람 GUI 화상과 조작부(80)를 이용한 GUI가 가능해진다.

여기서, 미디어 일람이란, 재생 장치가 재생 가능한 각종 기록 미디어의 각각의 인덱스의 일람을 말한다. 즉, 도시는 하지 않지만, 이러한 미디어 일람이 표시되고, 그 일람중에서 소망하는 기록 미디어에 대응하는 인덱스를 선택하는 조작을 접수하는 GUI 화상이, 미디어 일람 GUI 화상이다.

또한, 후술하는 다른 GUI 화상이 화면 표시부(79)에 표시되고, 그 다른 GUI 화상과 조작부(80)를 이용하는 GUI가 가능해지기까지의 일련의 처리는, 상술한 미디어 일람 GUI 화상에 관한 일련의 처리와 기본적으로 같은 처리가 된다. 따라서, 이하, 그들의 일련의 처리는, 처리 대상의 GUI 화상의 표시 처리라고 칭하고, 그 상세한 설명은 생략한다.

미디어 일람중에서 소망하는 하나의 기록 미디어를 선택하는 조작이 조작부(80)에 의해 이루어진 경우, UI 제어부(92)는, 상태 천이 조건(C2)이 충족되었다고 판정하고, 재생 장치의 상태를 미디어 일람 표시 상태(S1)로부터 파일/폴더 일람 표시 상태(S2)로 천이시킨다.

파일/폴더 일람 표시 상태(S2)로 천이하면, 제어부(71)는, 파일/폴더 일람 GUI 화상의 표시 처리를 실행한다.

파일/폴더 일람이란, 선택된 기록 미디어에 포함되는 폴더나 파일의 아이콘을 예를 들면 트리 구조로 나타내는 일람을 말한다. 즉, 도시는 하지 않지만, 이러한 파일/폴더 일람이 표시되고, 그 표시중에서 소망하는 하나의 폴더 등에 대응하는 아이콘을 선택하는 조작을 접수하는 GUI 화상이, 파일/폴더 일람 GUI 화상이다.

또한, 파일/폴더 일람 GUI 화상에는, 예를 들면 미디어 일람 GUI 화상을 재표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 상태 천이 조건(C3)이 충족되었다고 판정되어, 재생 장치의 상태가 파일/폴더 일람 표시 상태(S2)로부터 미디어 일람 표시 상태(S1)로 천이한다.

또한, 파일/폴더 일람 GUI 화상중에서 소망하는 하나의 폴더를 선택하는 조 작이 조작부(80)에 의해 이루어진 경우, UI 제어부(92)는, 상태 천이 조건(C4)이 충족되었다고 판정하고, 재생 장치의 상태를 파일/폴더 일람 표시 상태(S2)로부터 폴더 내(內) 파일 표시 상태(S3)로 천이시킨다.

구체적으로는 예를 들면 본 실시의 형태에서는, 폴더 내 파일 표시 상태(S3)에는, 일반 표시 상태(S3-1), 동화 선택 화면 표시 상태(S3-2) 및 정지화 선택 화면 표시 상태(S3-3)라는 3상태가 존재한다. 파일/폴더 일람 표시 상태(S2)로부터는, 이들의 3상태중의 일반 표시 상태(S3-1)로 천이한다. 즉, 일반 표시 상태(S3-1)가, 폴더 내 파일 표시 상태(S3)의 디폴트 상태이다.

일반 표시 상태(S3-1)로 천이하면, 제어부(71)는, 파일 선택 GUI 화상의 표시 처리를 실행한다.

또한, 도시는 하지 않지만, 파일 선택 GUI 화상에는, 예를 들면 파일/폴더 일람 GUI 화상을 재표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 상태 천이 조건(C5)이 충족되었다고 판정되어, 재생 장치의 상태가 일반 표시 상태(S3-1)로부터 파일/폴더 일람 표시 상태(S2)로 천이한다.

여기서, 파일 선택 GUI 화상이란, 예를 들면 도시는 하지 않지만, 선택된 기록 미디어의 폴더 내에 포함되는 각 파일이 아이콘 등으로 표시되고, 소정의 아이콘을 선택하는 조작을 접수하는 GUI 화상을 말한다. 아이콘을 선택한다는 것은, 그 아이콘에 대응하는 파일을 선택한 것을 의미한다.

이 경우, 예를 들면, 선택된 기록 미디어가 상술한 도 4의 기록 미디어(51) 인 때에는, 동화 콘텐츠로서의 콘텐츠(64-1 내지 64-N)는 파일로서 형성되어 있다. 따라서, 콘텐츠(64-K)의 파일을 선택하는 조작을 행한다는 것은, 콘텐츠(64-K)의 재생 지시 조작을 행하는 것과 다름없다.

그러나, 유저는, 파일의 아이콘을 본 것만으로는, 그 아이콘은, 동화 콘텐츠의 파일인지, 그렇지 않으면 다른 종류의 파일인지를 판별하는 것은 곤란하다. 또한, 유저는, 동화 콘텐츠인 것까지 판별할 수 있었다고 하여도, 그 동화 콘텐츠의 아이콘을 본 것만으로는, 그 내용까지 인식하는 것은 매우 곤란하다.

그래서, 예를 들면 본 실시의 형태에서는, 도 10에 도시되는 바와 같은 동화 선택 GUI 화상(150)이 준비되어 있다. 즉, 동화 선택 GUI 화상(150)이란, 파일 형태의 각 동화 콘텐츠의 각각의 인덱스로서, 각 동화 콘텐츠의 대표화상이 각각 섬네일 화상(151)으로서 일람 표시되고, 각 섬네일 화상(151)중의 소정의 것을 선택하는 조작을 접수하는 GUI 화상을 말한다.

이와 같은 동화 선택 GUI 화상(150)을 표시시키기 위한 소프트웨어 버튼이, 도시는 하지 않지만, 파일 선택 GUI 화상에 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 도 9의 상태 천이 조건(C6)이 충족되었다고 판정되어, 재생 장치의 상태가 일반 표시 상태(S3-1)로부터 동화 선택 화면 표시 상태(S3-2)로 천이한다.

동화 선택 화면 표시 상태(S3-2)로 천이하면, 제어부(71)는, 상술한 도 10의 동화 선택 GUI 화상(150)의 표시 처리를 실행한다.

또한, 도 10에는 도시는 하지 않지만, 동화 선택 GUI 화상(150)에는, 예를 들면 파일 선택 GUI 화상을 재표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 상태 천이 조건(C7)이 충족되었다고 판정되어, 재생 장치의 상태가 동화 선택 화면 표시 상태(S3-2)로부터 일반 표시 상태(S3-1)로 천이한다.

도 10의 동화 선택 GUI 화상(150)이 표시된 상태에서, 예를 들면 도 11에 도시되는 바와 같이, 유저는, 조작부(80)를 조작함으로써 커서(152)를 소망하는 섬네일 화상(151)의 위치까지 이동시키고, 조작부(80)의 소정의 조작을 행함으로써, 그 커서(152)가 배치된 섬네일 화상(151)을 선택할 수 있다.

이 경우, 섬네일 화상(151)의 선택이란, 섬네일 화상(151)에 대응하는 동화 콘텐츠의 재생 지시 조작을 행한 것을 의미한다. 단, 본 실시의 형태에서는, 도 1을 이용하여 설명한 바와 같이 동화 콘텐츠 전체의 재생을 지시하는 재생 지시 조작(이하, 전체 재생 지시 조작)과, 동화 콘텐츠의 일부분인 얼굴 구간의 재생을 지시하는 재생 지시 조작(이하, 얼굴 구간 재생 지시 조작)의 2종류가 적어도 존재한다.

따라서, 섬네일 화상(151)의 선택 조작에 관해서도, 전체 재생 지시 조작에 대응하는 제 1의 선택 조작과, 얼굴 구간 재생 지시 조작에 대응하는 제 2의 선택 조작의 2종류가 존재한다.

이 경우, 제 1의 선택 조작이 이루어지면, 상태 천이 조건(C10)이 충족되었다고 판정되어, 재생 장치의 상태가 동화 선택 화면 표시 상태(S3-2)로부터 동화 재생 상태(S6)로 천이한다.

동화 재생 상태(S6)로 천이하면, 제어부(71)는, 전체 재생 지시 조작이 이루어진 동화 콘텐츠의 재생을 행한다. 즉, 상태 천이 조건(C10)이 충족되어 동화 재생 상태(S6)로 천이하면, 기록 미디어로부터 동화 콘텐츠 전체가 판독되고, 그 최초로부터의 재생이 행하여진다. 또한, 이 재생의 동작은, 도 6의 구성의 설명을 참조함으로써 용이하게 이해할 수 있다고 생각되기 때문에, 여기서는 그 설명은 생략한다.

동화 콘텐츠의 최후까지의 재생이 종료된 때나, 동화 콘텐츠의 재생의 정지 조작 등이 이루어진 때, 상태 천이 조건(C11)이 충족되었다고 판정되어, 재생 장치의 상태가 동화 재생 상태(S6)로부터 동화 선택 화면 표시 상태(S3-2)로 천이한다.

이에 대해, 얼굴 구간 재생 지시 조작에 대응하는 제 2의 선택 조작이 이루어지면, 상태 천이 조건(C12)이 충족되었다고 판정되어, 재생 장치의 상태가 동화 선택 화면 표시 상태(S3-2)로부터 얼굴 구간 재생 선택 화면 표시 상태(S5)로 천이한다.

얼굴 구간 재생 선택 화면 표시 상태(S5)로 천이하면, 얼굴 구간 재생 선택 GUI 화상의 표시 처리를 실행한다.

여기서, 얼굴 구간 재생 선택 GUI 화상이란, 동화 선택 화면 GUI 화상에 선택된 동화 콘텐츠중의, 소망하는 얼굴 구간의 재생 지시 조작을 접수하는 GUI 화상을 말한다.

얼굴 구간 재생 선택 GUI 화상으로서, 본 실시의 형태에서는 예를 들면, 도 12에 도시되는 바와 같은 3개의 GUI 화상(161 내지 163)이 준비되어 있다.

도 12에서, 왼쪽의 GUI 화상(161)은, 동화 콘텐츠에 포함되는 각 얼굴 구간의 각각의 인덱스 일람으로서, 얼굴 섬네일 화상의 일람이 표시되고, 그 일람중에서 소정의 얼굴화상 섬네일을 선택함으로써, 그 얼굴 섬네일 화상에 대응하는 얼굴 구간의 재생 지시 조작을 접수하는 GUI 화상이다. 이러한 GUI 화상(161)을, 이하, 얼굴 섬네일 GUI 화상(161)이라고 칭한다.

예를 들면 도 12의 예에서는, 상술한 도 1의 콘텐츠(1)가 선택되었다고 하여, 그 콘텐츠(1)에 포함되는 얼굴 구간(11 내지 14)의 각각에 대응하는 얼굴 섬네일 화상(21 내지 24)의 각각의 일람이, 얼굴 섬네일 GUI 화상(161)에 표시되어 있다.

도 12의 얼굴 섬네일 GUI 화상(161)이 표시된 상태에서, 예를 들면 도 12에 도시되는 바와 같이, 유저는, 조작부(80)를 조작함으로써 커서(201)를 소망하는 얼굴 섬네일 화상의 위치까지 이동시키고, 조작부(80)의 소정의 조작을 행함으로써, 그 커서(201)가 배치된 얼굴 섬네일 화상에 대응하는 얼굴 구간의 재생 지시 조작을 행할 수가 있다.

예를 들면 도 12의 예에서는 커서(201)는 얼굴 섬네일 화상(22)에 배치되어 있기 때문에, 도 1의 얼굴 구간(12)의 재생 지시 조작이 행하여지게 된다. 이 경우, 기록 미디어(51) 등으로부터 동화 콘텐츠(1)중의 얼굴 구간(12)이 판독되어, 그 재생이 행하여진다. 또한, 이 재생의 동작은, 도 6의 구성의 설명을 참조함으로써 용이하게 이해할 수 있다고 생각되기 때문에, 여기서는 그 설명은 생략한다.

여기서, 콘텐츠(1)중에서 얼굴 구간(12)으로서 판독하는 범위를 특정하는 수 법의 한 예에 관해, 이하, 간단히 설명한다. 상술한 바와 같이 기록 미디어(51)에 기록되어 있는 얼굴 구간(12)에 관한 얼굴 구간 메타 정보(도 5)에 의해, 콘텐츠(1)중의 얼굴 구간(12)에 대응하는 범위의 특정은 가능하다. 따라서, 얼굴 섬네일 화상(22)의 선택 조작 전에, 얼굴 구간(12)의 엔트리가 이미 행하여져 있으면, 얼굴 구간(12)에 관한 얼굴 구간 메타 정보는, 그 엔트리의 메타 엔트리로서 관리 정보 영역(101)에 기록되어 있다(도 8 참조). 그러면, 이 메타 엔트리에 의해, 얼굴 구간(12)으로서 판독하는 범위를 특정할 수가 있다. 또한, 얼굴 섬네일 화상(22)의 선택조 시점에서, 얼굴 구간(12)의 엔트리가 행하여져 있지 않으면, 그 시점에서, 얼굴 구간(12)의 엔트리를 행하면 좋다.

이와 같은 얼굴 섬네일 GUI 화상(161)에 대해, GUI 화상(162)에서는, 얼굴 구간의 인덱스로서, 얼굴화상이 아니라, 그 얼굴화상이 추출된 원래의 정지화상 전체에 대응하는 섬네일 화상이 채용되어 있다. 그러면, 이러한 GUI 화상(162)을, 이하, 원(元)장면 GUI 화상(162)이라고 칭한다.

예를 들면 도 12의 예에서는, 얼굴 섬네일 화상(21 내지 24)의 각각이 추출된 원래의 정지화상에 대응하는 섬네일 화상(181 내지 184)의 각각이, 얼굴 구간(11 내지 14)의 각각의 인덱스로서 원장면 GUI 화상(162)에 표시되어 있다.

따라서, 도 12의 원장면 GUI 화상(162)이 표시된 상태에서, 예를 들면 도 12에 도시되는 바와 같이, 유저는, 조작부(80)를 조작함으로써 커서(201)를 소망하는 섬네일 화상의 위치까지 이동시키고, 조작부(80)의 소정의 조작을 행함으로써, 그 커서(201)가 배치된 섬네일 화상에 대응하는 얼굴 구간의 재생 지시 조작을 행할 수가 있다.

예를 들면 도 12의 예에서는 커서(201)는 섬네일 화상(182)에 배치되어 있기 때문에, 도 1의 얼굴 구간(12)의 재생 지시 조작이 행하여지게 된다. 그러면, 기록 미디어(51) 등으로부터 동화 콘텐츠(1)중의 얼굴 구간(12)이 판독되어, 그 재생이 행하여진다.

또한, 본 실시의 형태에서는, 유저는, 얼굴 섬네일 GUI 화상(161)상의 소망하는 얼굴 섬네일 화상에 커서(201)를 배치시킨 후, 또는, 원장면 GUI 화상(162)상의 소망하는 섬네일 화상에 커서(201)를 배치시킨 후, 즉, 얼굴 섬네일 GUI 화상(161) 또는 원장면 GUI 화상(162)에서 소정의 얼굴 구간을 선택한 후, 조작부(80)의 소정의 조작을 행함으로써, 그 소정의 얼굴 구간에 관한 동화 콘텐츠중의 시간 위치를 나타내는 타임 라인(191)을 포함하는 GUI 화상(163)을 표시시킬 수 있다. 예를 들면, 도 12의 예에서는, 상술한 바와 같이 얼굴 구간(12)이 선택되어 있기 때문에, 타임 라인(191)으로서는, 도 1의 동화 콘텐츠(1)에 대응하는 띠 모양의 화상이 표시되고, 그 띠 모양의 화상 내에 얼굴 구간(12)을 나타내는 화상만이 표시되어 있다. 이하, 이와 같은 GUI 화상(163)을, 타임 라인 GUI 화상(163)이라고 칭한다.

이 타임 라인 GUI 화상(163)이 표시된 상태에서, 유저는, 조작부(80)의 소정의 조작을 행함으로써, 그 타임 라인(191)에 표시된 얼굴 구간의 재생 지시 조작을 행할 수가 있다.

예를 들면 도 12의 예에서는 타임 라인(191)에는, 도 1의 얼굴 구간(12)만이 표시되어 있기 때문에, 그 얼굴 구간(12)의 재생 지시 조작이 행하여지게 된다. 그러면, 기록 미디어(51) 등으로부터 동화 콘텐츠(1)중의 얼굴 구간(12)이 판독되어, 그 재생이 행하여진다.

또한, 도 12의 예에서는, 하나의 얼굴 섬네일 화상(21) 또는 하나의 섬네일 화상(181)이 선택되어 있을 뿐이지만, 도 13에 도시되는 바와 같이 얼굴 섬네일 화상(21 내지 24)의 전부 또는 섬네일 화상(181 내지 184)의 전부를 선택할 수도 있고, 또는, 그들중의 몇개의 얼굴 섬네일 화상 또는 섬네일 화상만을 선택할 수가 있다. 즉, 1회의 재생 지시 조작으로 복수의 얼굴 구간의 선택도 가능하다.

이 경우, 1회의 재생 지시 조작으로 선택된 각 얼굴 구간, 예를 들면 도 13의 예에서는 얼굴 구간(11 내지 14)(도 1 참조)이 순번대로 연속 재생되게 된다.

이와 같이, 본 실시의 형태에서는, 얼굴 구간 재생 선택 GUI 화상으로서, 도 12에 도시되는 바와 같은 3종류의 GUI 화상, 즉, 얼굴 섬네일 GUI 화상(161), 원장면 GUI 화상(162) 및 타임 라인 GUI 화상(163)의 각각이 준비되어 있다. 따라서, 도 14에 도시되는 바와 같이, 얼굴 구간 선택 화면 표시 상태(S5)에는, 얼굴 섬네일 GUI 화상(161)이 표시되는 얼굴 섬네일 화면 표시 상태(S5-1), 원장면 GUI 화상(162)이 표시되는 원장면 화면 표시 상태(S5-2) 및 타임 라인 GUI 화상(163)이 표시되는 타임 라인 화면 표시 상태(S5-3)의 3상태가 존재한다.

얼굴 섬네일 화면 표시 상태(S5-1), 원장면 화면 표시 상태(S5-2) 또는 타임 라인 화면 표시 상태(S5-3)로, 상술한 하나 이상의 얼굴 구간의 재생 지시 조작이 행하여지면, 상태 천이 조건(C14-1, C14-2, 또는 C14-3)이 충족되었다고 판정되어, 재생 장치의 상태가 동화 재생 상태(S6)로 천이한다.

동화 재생 상태(S6)로 천이하면, 제어부(71)는, 상술한 바와 같이 재생 지시 조작이 이루어진 하나 이상의 얼굴 구간의 연속 재생을 행한다.

하나 이상의 얼굴 구간의 최후까지의 연속 재생이 종료된 때나, 도중에 재생의 정지 조작 등이 이루어진 때, 상태 천이 조건(C11)이 충족되었다고 판정되어, 재생 장치의 상태가 동화 재생 상태(S6)로부터 동화 선택 화면 표시 상태(S3-2)로 천이한다.

또한, 도시는 하지 않지만, 얼굴 섬네일 GUI 화상(161), 원장면 GUI 화상(162) 및 타임 라인 GUI 화상(163)의 각각에는, 예를 들면 동화 선택 GUI 화상(150)을 재표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 상태 천이 조건(C13-1, C13-2, 또는 C13-3)이 충족되었다고 판정되어, 재생 장치의 상태가 동화 선택 화면 표시 상태(S3-2)로 천이한다.

또한, 도시는 하지 않지만, 얼굴 섬네일 GUI 화상(161), 원장면 GUI 화상(162) 및 타임 라인 GUI 화상(163)의 각각에는, 예를 들면 다른 종류의 얼굴 구간 선택 GUI 화상을 표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 상태 천이 조건(C21 내지 C26)중의 어느 하나가 충족되었다고 판정되어, 재생 장치의 상태가, 얼굴 섬네일 화면 표시 상태(S5-1), 원장면 화면 표시 상태(S5-2) 및 타임 라인 화면 표시 상태(S5-3)중의, 소정의 하나로부터 선택 지시된 다른 하나로 천이한다.

이상 설명한 바와 같이 도 6 등의 구성을 갖는 본 발명이 적용되는 재생 장치는, 얼굴 섬네일 GUI 화상(161) 등을 유저에게 제시하여 얼굴 섬네일 화상 등을 유저에게 선택시킴으로써, 선택된 얼굴 섬네일 화상 등에 대응하는 얼굴 구간의 재생을 행할 수가 있다.

또한, 유저는, 얼굴 섬네일 화상 등을 하나뿐만 아니라 복수 선택 가능하다. 이 경우, 선택된 복수의 얼굴 섬네일 화상 등의 각각에 대응하는 복수의 얼굴 구간이 연속하여 재생된다. 예를 들면, 상술한 도 13의 예에서는, 도 1의 동화 콘텐츠(1)의 얼굴 구간(11 내지 14)의 각각에 대응하는 얼굴 섬네일 화상(21 내지 24) 또는 섬네일 화상(181 내지 184)이 선택되어 있기 때문에, 얼굴 구간(11 내지 14)이 그 순번으로 연속하여 재생된다.

그래서, 또한, 선택된 하나 이상의 얼굴 구간을 하나의 신(新)콘텐츠로서, 즉, 하나의 신파일로서 생성하고, 그것을 외부의 기록 미디어(51) 등에 새롭게 기록시키거나, 또한, 네트워크를 통하는 등 하여 외부의 도시하지 않은 장치에 전송한다는 수법의 실현도 가능하다. 이하, 이러한 수법을, 일괄 적어 들임 전송 수법이라고 칭한다.

구체적으로는 예를 들면, 도 15의 예와 같이, 동화 콘텐츠(1)의 얼굴 구간(11 내지 14)의 각각에 대응하는 얼굴 섬네일 화상(21 내지 24)이 선택된 후, 소정의 조작에 응하여, 얼굴 구간(11 내지 14)이 그 순번으로 재생되는 신콘텐츠(211)를 생성하고, 신콘텐츠(211)의 인덱스로서의 섬네일 화상(212)을 동화 선택 GUI 화상(150)에 신규 추가하거나, 신콘텐츠(211)를 기록 미디어(51)에 기록한다는 일괄 적어 들임 전송 수법의 실현도 가능해진다.

단, 일괄 적어 들임 전송 수법을 장치에 적용하기 위해서는, 도 4 내지 도 14를 이용하여 상술한 콘텐츠에 더하여 또한, 예를 들면 다음의 도 16 내지 도 18에 도시되는 조치가 필요해진다.

즉, 상술한 도 12의 얼굴 섬네일 GUI 화상(161)과 원장면 GUI 화상(162)의 각각을 이용하여, 일괄 적어 들임 전송 수법을 실현하기 위해서는, 예를 들면, 도 16에 도시되는 바와 같이, 얼굴 섬네일 GUI 화상(161)에 소프트웨어 버튼(251-1 내지 253-1)을 추가하거나, 원장면 GUI 화상(162)에 소프트웨어 버튼(251-2 내지 253-2)을 추가하면 좋다.

또한, 이하, 소프트웨어 버튼(251-1 내지 253-1)의 각각과, 소프트웨어 버튼(251-2 내지 253-2)의 각각을 개별적으로 구별할 필요가 없는 경우, 그것들을 정리하여 단지, 소프트웨어 버튼(251 내지 253)의 각각이라고 칭한다. 또한, 이하, 소프트웨어 버튼(251 내지 253)의 각각을, 도 16의 기재에 맞추어서, 재생 버튼(251), 파일 생성 버튼(252) 및 외부 기록 버튼(253)의 각각이라고 칭한다.

재생 버튼(251)이란, 선택된 하나 이상의 얼굴 섬네일 화상 또는 섬네일 화상의 각각에 대응하는 하나 이상의 얼굴 구간을 그 순번으로 연속하여 재생시키기 위한 재생 지시 조작을 행하는 소프트웨어 버튼을 말한다.

파일 생성 버튼(252)이란, 선택된 하나 이상의 얼굴 섬네일 화상 또는 섬네일 화상의 각각에 대응하는 하나 이상의 얼굴 구간을 신콘텐츠로서, 즉, 신파일로서 생성하고, 재생 장치 내부의 메모리, 예를 들면 후술하는 도 17의 RAM(73) 등에 기억시키기 위한 지시 조작을 행하는 소프트웨어 버튼을 말한다. 이 파일 생성 버튼(252)의 압하 조작에 의해, 상술한 도 15의 신콘텐츠(211)의 예와 같이, 신콘텐츠에 대응하는 섬네일 화상이 동화 선택 GUI 화상(150)에 신규 추가된다. 따라서, 유저는, 신규 추가의 섬네일 화상을 선택함으로써, 신콘텐츠의 재생 지시 조작을 행하는 것이 가능해진다.

외부 기록 버튼(253)이란, 선택된 하나 이상의 얼굴 섬네일 화상 또는 섬네일 화상의 각각에 대응하는 하나 이상의 얼굴 구간을 신콘텐츠로서, 즉, 신파일로서 생성하고, 외부의 기록 매체(51) 등에 기록시키거나, 네트워크를 개재하는 등 하여 외부의 장치에 전송하기 위한 지시 조작을 행하는 소프트웨어 버튼을 말한다. 이 외부 기록 버튼(253)의 압하에 의해, 상술한 도 15의 신콘텐츠(211)의 예와 같이, 신콘텐츠를 기록 미디어(51) 등에 기록시키는 것이 가능해진다.

도 17은, 일괄 적어 들임 전송 수법이 적용된 기록 재생 장치의 구성예를 도시하고 있다. 즉, 도 17은, 본 발명이 적용되는 정보 처리 장치로서의 기록 재생 장치의 구성예이고, 도 6과는 다른 예를 도시하고 있다.

또한, 도 17의 기록 재생 장치에서, 도 6의 재생 장치와 대응하는 부분에는 대응하는 부호를 붙이고 있고, 대응하는 부분에 관해서는 적절히 설명을 생략한다.

상술한 바와 같이 일괄 적어 들임 전송 수법에서는, 얼굴 섬네일 화상 등을 이용하여 선택된 하나 이상의 얼굴 구간을 하나의 신콘텐츠로서, 즉, 하나의 신파일로서 생성하는 것이 가능해진다. 단, 복수의 얼굴 구간이 선택된 경우, 그들 복수의 얼굴 구간의 각각을 연결하는 편집 작업이 필요해진다. 이 편집 작업은, 예를 들면 본 실시의 형태에서는, 베이스밴드 신호의 상태에서 행하여진다. 그래서, 도 17의 기록 재생 장치에서는, 도 6의 재생 장치의 오디오 디코드부(74), 비디오 디코드부(76) 및 정지화 디코드부(77)의 각각의 대신에, 디코드 처리(압축 부호화)에 더하여 다시 인코드 처리(신장 복호 처리)도 가능한 각 기능 블록, 즉, 오디오 인코드 디코드부(261), 비디오 인코드 디코드부(262) 및 정지화상 인코드 디코드부(263)의 각각이 마련되어 있는 것이다.

즉, 도 17의 기록 재생 장치가, 예를 들면 도 15의 예의 신콘텐츠(211)를 생성하는 경우에는, 그 처리의 일환으로서 다음과 같은 처리를 실행한다. 즉, 예를 들면 얼굴 구간(11 내지 14)이 MPEG 데이터의 형태로 RAM(73)에 격납되어 있다고 한다. 이 경우, 비디오 인코드 디코드부(262)는, 얼굴 구간(11 내지 14)의 각각에 대해, 이른바 MPEG 인코드 처리(신장 복호 처리)를 시행함으로써, 그 형태를 MPEG 데이터로부터 베이스밴드 신호의 형태로 변환한다. 베이스밴드 신호의 얼굴 구간(11 내지 14)은, 예를 들면 RAM(73)의 관리 정보 영역(101)의 화상 처리용 영역(111)(도 7)에 기억된다. 제어부(71)는, 이 얼굴 구간(11 내지 14)을 서로 연결한 신콘텐츠(211)를 베이스밴드 신호의 형태로 생성하고, 비디오 인코드 디코드부(262)에 제공한다. 그러면, 비디오 인코드 디코드부(262)는, 신콘텐츠(211)에 대해 이른바 MPEG 디코드 처리(압축 부호화 처리)를 시행함으로써, 그 형태를 베이스밴드 신호로부터 MPEG 데이터로 변환하고, RAM(73)의 실데이터 영역(73) 등에 기억시킨다.

또한, 신콘텐츠(211)에 음성이 포함되는 경우에는, 오디오 인코드 디코드 부(261)에 의해, 상술한 비디오 인코드 디코드부(262)와 같은 처리가 실행된다.

또한, 도 17의 예에서는, 이와 같은 신콘텐츠(211) 등의 신콘텐츠를 기록 미디어(51)에 기록시키기 위해, 콘텐츠 관리 정보 제어부(93)가 기록 미디어(51)에 대해 직접 액세스할 수 있도록 구성되어 있다.

이와 같은 도 17의 구성을 갖는 기록 재생 장치는, 도 9 내지 도 14를 이용하여 상술한 처리를, 도 6의 재생 장치와 완전히 마찬가지로 실행할 수 있다. 즉, 도 17의 기록 재생 장치는, 유저의 재생 지시 조작에 대응하는 처리와, 그 재생 지시 조작을 받아서 콘텐츠를 재생하는 처리를 실행할 수 있다.

또한, 도 17의 기록 재생 장치는, 예를 들면 도 18에 예시되어 있는 바와 같은 일괄 적어냄 처리를 실행할 수 있다.

또한, 이 일괄 적어냄 처리는, 기록 재생 장치의 상태가 상술한 도 14의 얼굴 구간 선택 화면 표시 상태(S5)로 되어 있는 경우에 실행된다. 즉, 예를 들면 본 실시의 형태에서는, 상술한 도 16의 얼굴 섬네일 GUI 화상(161)이나 원장면 GUI 화상(162)이 화상 표시부(79)에 표시되어 있는 상태에서, 일괄 적어냄 처리가 실행된다.

도 18의 스텝 S21에서, 도 17의 제어부(71)의 UI 제어부(92)는, 파일 생성 버튼(252) 또는 외부 기록 버튼(253)이 압하되었는지의 여부를 판정한다.

파일 생성 버튼(252) 또는 외부 기록 버튼(253)의 어느것도 압하되지 않은 경우, 스텝 S21의 처리에서 NO라고 판정되고, 처리는 스텝 S21로 되돌아와, 재차 스텝 S21의 판정 처리가 반복된다.

그 후, 파일 생성 버튼(252) 또는 외부 기록 버튼(253)이 압하되면, 스텝 S21의 처리에서 YES라고 판정되고, 처리는 스텝 S22로 진행한다.

스텝 S22에서, 콘텐츠 관리 제어부(93)는, 선택되어 있는 얼굴 섬네일 화상 또는 섬네일 화상에 대응하는 부분을 연속 재생하기 위한 리소스 데이터를 생성한다.

스텝 S23에서, 콘텐츠 관리 제어부(93)는, 그 리소스 데이터를 포함하는 일시 폴더를 RAM(73)의 관리 정보 영역(101)에 생성한다.

구체적으로는 예를 들면, 도 19의 예와 같이, 얼굴 섬네일 GUI 화상(161)이 이용되고, 얼굴 섬네일 화상(21 내지 24)이 선택된 후, 파일 생성 버튼(252-1) 또는 외부 기록 버튼(253-1)이 압하되었다고 한다.

이 경우, 얼굴 섬네일 화상(21 내지 24)의 각각은 얼굴 구간(11 내지 14)의 각각의 인덱스로 되어 있기 때문에, 스텝 S22의 처리에서, 얼굴 구간(11 내지 14)의 각각을 재생하기 위한 리소스 데이터(271 내지 274)가 생성되고, 스텝 S23의 처리에서, 그것들을 포함하는 일시 폴더(261)가 RAM(73)의 관리 정보 영역(101)에 기록된다. 여기서, 리소스 데이터(271 내지 274)란, 예를 들면 얼굴 구간(11 내지 14)에 관한 얼굴 구간 메타 정보와 얼굴 섬네일의 조(도 4 참조)를 포함하는 데이터이다.

도 18의 스텝 S24에서, UI 제어부(92)는, 압하된 버튼은, 파일 생성 버튼(252)인지의 여부를 판정한다.

파일 생성 버튼(252)이 압하된 경우에는, 스텝 S24의 처리에서 YES라고 판정 되고, 처리는 스텝 S25로 진행한다.

스텝 S25에서, 콘텐츠 관리 정보 제어부(93)는, RAM(73)의 공통 관리 정보 영역에 일시 폴더의 정보를 기록함으로써, 그 일시 폴더를 항구적인 폴더로 한다. 이로써, 일괄 적어냄 처리는 종료로 된다.

이에 대해, 외부 기록 버튼(253)이 압하된 경우에는, 스텝 S24의 처리에서 NO라고 판정되고, 처리는 스텝 S26으로 진행한다.

스텝 S26에서, 콘텐츠 관리 정보 제어부(93)와 시스템 제어부(91)는, 일시 폴더 내의 리소스 데이터와 실데이터를 일체로 한 신콘텐츠를 파일로서 작성한다. 또한, 실데이터의 작성 처리에 관해서는, 비디오 인코드 디코드부(262)의 설명 등에서 상술한 바와 같다.

스텝 S27에서, 콘텐츠 관리 정보 제어부(93)는, 신콘텐츠를 파일로서 외부의 기록 미디어(51) 등에 기록시킨다. 이로써, 일괄 적어냄 처리는 종료로 된다.

또한, 도 17의 예에서는 도시하고 있지 않지만, 기록 재생 장치가, 다른 장치와의 통신 기능을 갖고 있으면, 스텝 S27의 처리로서, 그 통신 기능을 이용하여, 신콘텐츠를 다른 장치에 송신하도록 하여도 좋다.

그런데, 상술한 예에서는, 얼굴 섬네일 화상은 동화 콘텐츠에 대응시켜져 있지만, 얼굴 섬네일 화상은 정지화 콘텐츠에 대응시키는 것도 가능하다. 이로써, 유저는, 동화 콘텐츠의 경우와 완전히 마찬가지로, 얼굴 섬네일 화상의 일람이 표시된 GUI 화상을 이용하여, 정지화 콘텐츠의 검색 조작이나 재생 지시 조작을 행할 수가 있다.

단, 재생 지시 조작에서 지정 가능한 정지화 콘텐츠의 수는, 동화 콘텐츠에 비교하면 훨씬 많은 경우가 많이 있다. 이와 같은 경우에는, 정지화 콘텐츠의 전부에 대응하는 얼굴 섬네일 화상의 일람을 표시시키는 것보다도, 예를 들면, 동일 인물이 포함된다고 판단되는 정지화 콘텐츠를 하나의 그룹에 정리하고, 그 그룹에 속하는 정지화상중의 소정의 1장의 얼굴 섬네일 화상을 대표얼굴 섬네일 화상으로 하여, 각 그룹의 대표얼굴 섬네일 화상의 일람을 표시시키는 편이, 유저에 있어서 편리하다.

구체적으로는 예를 들면, 도 20에 도시되는 바와 같이, 기록 미디어(51)에 기록되어 있는 정지화 콘텐츠가, 3인의 각각의 인물을 나타내는 3개의 그룹에 속한다고 하면, 3개의 그룹의 각각에 대해 폴더(271 내지 273)(이하, 인물 폴더(271 내지 273)라고 칭한다)의 각각을 마련하고, 그들의 인물 폴더(271 내지 273)의 각각중에, 대응하는 그룹에 속하는 하나 이상의 정지화상의 각각을 표시하기 위한 각 리소스 데이터를 포함하면 좋다. 예를 들면 리소스 데이터로서는, 대응하는 얼굴 섬네일 화상과, 그 얼굴 섬네일 화상과 정지화 콘텐츠의 링크 정보를 포함하는 데이터를 채용할 수 있다.

이 경우, 이 인물 폴더(271 내지 273)는, 기록 미디어(51) 등에 미리 기억시키고 있어도 좋고, 도 6의 재생 장치 등에 의해 나중에 생성되어 자신의 RAM(73)의 관리 정보 영역(101) 등에 기억되도록 하여도 좋다.

이하, 인물 폴더(271 내지 273)가 RAM(73)의 관리 정보 영역(101) 등에 기억되어 있는 경우에 실현 가능한 도 6의 재생 장치의 처리예에 관해 설명한다.

이 경우, 재생 장치의 상태는, 상술한 도 9의 각 상태중의 미(未)설명의 정지화상 선택 화면 표시 상태(S3-3)를 취할 수 있다.

정지화상 선택 화면 표시 상태(S3-3)란, 정지화 선택 GUI 화상을 표시하고 있는 상태를 말한다.

정지화 선택 GUI 화상이란, 각 인물 파일의 인덱스로서, 대응하는 대표얼굴 섬네일 화상 등이 일람 표시되고, 소망하는 인물 파일에 대응하는 대표얼굴 섬네일 화상을 선택하는 조작을 접수하는 GUI 화상 등의 GUI 화상을 말한다. 여기서, 「등」이라고 기재한 것은, 왼족에 기재한 GUI 화상에 의해 하나의 인물 파일이 선택된 후에, 그 인물 파일에 포함되는 각 섬네일 화상 등이 일람 표시되는 GUI 화상도, 정지화 선택 GUI 화상의 하나로서 포함하기 때문이다. 또한, 정지화 선택 GUI 화상의 구체예에 관해서는, 도 22 내지 도 25를 이용하여 후술한다.

이와 같은 정지화 선택 GUI 화상을 표시시키기 위한 소프트웨어 버튼이, 도시는 하지 않지만, 일반 표시 상태(S3-1)에서 표시되는 파일 선택 GUI 화상에 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 상태 천이 조건(C8)이 충족되었다고 판정되어, 재생 장치의 상태가 일반 표시 상태(S3-1)로부터 정지화 선택 화면 표시 상태(S3-3)로 천이한다.

정지화 선택 화면 표시 상태(S3-3)로 천이하면, 도 6의 제어부(71)는, 정지화 선택 GUI 화상의 표시 처리를 실행한다.

구체적으로는 예를 들면 본 실시의 형태에서는, 정지화 선택 화면 표시 상태(S3-3)에는, 도 21에 도시되는 바와 같이, 정지화상 일람 화면 표시 상태(S31), 얼굴 섬네일 화면 표시 상태(S32), 얼굴 섬네일 원화상 화면 표시 상태(S33) 및 선택 인물 원화상 일람 화면 표시 상태(S34)의 4상태가 존재한다.

일반 표시 상태(S3-1)로부터는, 이들 4상태중의 정지화상 일람 화면 표시 상태(S31)로 천이한다. 즉, 정지화상 일람 화면 표시 상태(S31)가, 정지화 선택 화면 표시 상태(S3-3)의 디폴트 상태이다.

정지화상 일람 화면 표시 상태(S31)로 천이하면, 제어부(71)는, 정지화 일람 GUI 화상의 표시 처리를 실행한다.

또한, 도시는 하지 않지만, 정지화 일람 GUI 화상에는, 예를 들면 파일 선택 GUI 화상을 재표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 상태 천이 조건(C9)이 충족되었다고 판정되어, 재생 장치의 상태가 정지화상 일람 화면 표시 상태(S31)로부터 일반 표시 상태(S3-1)로 천이한다.

여기서, 정지화 일람 GUI 화상이란, 예를 들면 도시는 하지 않지만, 선택된 폴더 내에 파일로서 포함되는 모든 정지화 콘텐츠의 인덱스의 일람 표시로서, 그 정지화 콘텐츠 자신에 대응하는 섬네일 화상의 일람이 표시되고, 그 일람중에서 소망하는 섬네일 화상을 선택하는 조작을 접수하는 GUI 화상을 말한다.

이 정지화 일람 GUI 화상이 표시된 상태에서 소정의 섬네일 화상이 선택되면, 즉, 그 섬네일 화상에 대응하는 정지화 콘텐츠의 재생 지시가 이루어지면, 상태 천이 조건(C15-1)이 충족되었다고 판정되어, 재생 장치의 상태가 정지화상 일람 화면 표시 상태(S31)로부터 정지화 표시 상태(S4)로 천이한다.

정지화 표시 상태(S4)로 천이하면, 제어부(71)는, 재생 지시 조작이 이루어진 정지화 콘텐츠의 재생을 행한다. 즉, 상태 천이 조건(C15-1)이 충족되어 정지화 표시 상태(S4)로 천이하면, 기록 미디어(51) 등으로부터 정지화 콘텐츠가 판독되고, 그 재생이 행하여진다. 즉 도 6의 화상 표시부(79)에 정지화상이 표시된다. 또한, 이 정지화 콘텐츠의 재생의 동작은, 동작 대상의 하나로서 도 6의 비디오 디코드부(76) 대신에 정지화 디코드부(77)가 이용되는 이외는, 동화 콘텐츠의 재생 동작과 기본적으로 마찬가지이기 때문에, 여기서는 그 설명은 생략한다.

정지화 콘텐츠의 재생의 정지 조작 등이 이루어진 때, 상태 천이 조건(C16-1)이 충족되었다고 판정되어, 재생 장치의 상태가 정지화 표시 상태(S4)로부터 정지화상 일람 화면 표시 상태(S31)로 천이한다.

그런데 상술한 바와 같이 정지화상 일람 GUI에서는 섬네일 화상으로서 모든 정지화 콘텐츠 자체가 표시되는 것으로 되기 때문에, 그 정지화 콘텐츠의 수가 많은 때는, 섬네일 화상의 수도 그만큼 많아진다. 따라서, 그와 같은 수많은 섬네일 화상중에서 소망하는 하나를 선택하는 것은 유저에 있어서 가혹하다.

그래서, 본 실시의 형태에서는, 상술한 바와 같이, 인물 폴더마다, 각 인물을 나타내는 대표얼굴 섬네일 화상이 하나씩 대응시켜져 있고, 이러한 대표얼굴 섬네일 화상의 일람이 표시되고, 그 일람으로부터 소망하는 대표얼굴 섬네일 화상의 선택을 접수하는 GUI 화상이 마련되어 있다. 이하, 이러한 GUI 화상도, 얼굴 섬네일 GUI 화상이라고 칭한다.

도시는 하지 않지만, 정지화 일람 GUI 화상에는, 예를 들면 얼굴 섬네일 GUI 화상을 표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 상태 천이 조건(C51)이 충족되었다고 판정되어, 재생 장치의 상태가 정지화상 일람 화면 표시 상태(S31)로부터 얼굴 섬네일 화면 표시 상태(S32)로 천이한다.

얼굴 섬네일 화면 표시 상태(S32)로 천이하면, 제어부(71)는, 얼굴 섬네일 GUI 화상의 표시 처리를 실행한다.

이로써, 예를 들면 도 22에 도시되는 바와 같은 얼굴 섬네일 GUI 화상(301)이 표시된다. 도 22의 예에서는, 4개의 인물 폴더의 각각의 인덱스로서의 대표얼굴 섬네일 화상(311 내지 314)의 일람이, 얼굴 섬네일 GUI 화상(301)에 표시되어 있다.

또한, 실제로는, 대표얼굴 섬네일 화상(311 내지 314)의 각각에는, 인물의 얼굴의 화상이 포함되게 되지만, 도 22의 예에서는 설명을 용이한 것으로 하기 위해, 인물의 명칭을 나타내는 α 내지 θ가 도시되어 있다. 즉, 도 22의 예에서는, 대표얼굴 섬네일 화상(311)은, 인물(α)의 인물 폴더의 인덱스이고, 실제로는 인물(α)의 얼굴의 화상이 포함된다. 마찬가지로, 대표얼굴 섬네일 화상(312)은, 인물(β)의 인물 폴더의 인덱스이고, 실제로는 인물(β)의 얼굴의 화상이 포함된다. 대표얼굴 섬네일 화상(313)은, 인물(γ)의 인물 폴더의 인덱스이고, 실제로는 인물(γ)의 얼굴의 화상이 포함된다. 대표얼굴 섬네일 화상(314)은, 인물(θ)의 인물 폴더의 인덱스이고, 실제로는 인물(θ)의 얼굴의 화상이 포함된다.

또한, 본 실시의 형태에서는 또한, 도 23에 도시되는 GUI 화상(302), 즉, 인 물 폴더의 인덱스로서, 대표얼굴화상이 아니라, 그 대표얼굴화상이 추출된 원래의 정지화상이 섬네일 화상으로서 표시된 GUI 화상(302)도 준비되어 있다. 그래서, 이러한 GUI 화상(302)을, 이하, 얼굴 섬네일 원화상 GUI 화상(302)이라고 칭한다.

예를 들면 도 23의 예에서는, 도 22의 대표얼굴 섬네일 화상(311 내지 314)의 각각이 추출된 원래의 정지화상인 섬네일 화상(321 내지 324)의 일람이, 얼굴 섬네일 원화상 GUI 화상(302)에 표시되어 있다. 또한, 커서(331)에 관해서는 후술한다.

도시는 하지 않지만, 도 22의 얼굴 섬네일 GUI 화상(301)에는, 예를 들면 도 23의 얼굴 섬네일 원화상 GUI 화상(302)을 표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 도 21의 상태 천이 조건(C53)이 충족되었다고 판정되어, 재생 장치의 상태가 얼굴 섬네일 화면 표시 상태(S32)로부터 얼굴 섬네일 원화상 화면 표시 상태(S33)로 천이한다.

얼굴 섬네일 원화상 화면 표시 상태(S33)로 천이하면, 제어부(71)는, 얼굴 섬네일 원화상 GUI 화상(302)의 표시 처리를 실행한다. 이로써, 예를 들면 도 23의 얼굴 섬네일 원화상 GUI 화상(302)이 표시된다.

또한, 도시는 하지 않지만, 도 23의 얼굴 섬네일 원화상 GUI 화상(302)에는, 예를 들면 도 22의 얼굴 섬네일 GUI 화상(301)을 표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 도 21의 상태 천이 조건(C54)이 충족되었다고 판정되어, 재생 장치의 상태가 얼굴 섬네일 원화상 화면 표시 상태(S33))로부터 얼굴 섬네일 화면 표시 상태(S32)로 천이한 다.

또한, 도 22의 얼굴 섬네일 GUI 화상(301)이 표시된 상태에서, 예를 들면 도 24에 도시되는 바와 같이, 유저는, 조작부(80)를 조작함으로써 커서(341)를 소망하는 대표얼굴 섬네일 화상(311)의 위치까지 이동시키고, 조작부(80)의 소정의 조작을 행함으로써, 그 커서(341)가 배치된 대표얼굴 섬네일 화상(311)에 대응하는 인물 폴더, 즉, 인물(α)의 인물 폴더의 재생 지시 조작을 행할 수가 있다.

마찬가지로, 도 23의 얼굴 섬네일 원화상 GUI 화상(302)이 표시된 상태에서, 예를 들면 동 도면에 도시되는 바와 같이, 유저는, 조작부(80)를 조작함으로써 커서(331)를 소망하는 섬네일 화상(321)의 위치까지 이동시키고, 조작부(80)의 소정의 조작을 행함으로써, 그 커서(331)가 배치된 섬네일 화상(321)에 대응하는 인물 폴더, 즉, 인물(α)의 인물 폴더의 재생 지시 조작을 행할 수가 있다.

이와 같이 하여, 도 24의 얼굴 섬네일 GUI 화상(301)이 표시된 상태에서 인물(α)의 인물 폴더의 재생 지시 조작이 행하여지는 경우에는, 도 21의 상태 천이 조건(C55)이 충족되고, 또한, 도 23의 얼굴 섬네일 원화상 GUI 화상(302)이 표시된 상태에서 인물(α)의 인물 폴더의 재생 지시 조작이 행하여지는 경우에는, 상태 천이 조건(C57)이 충족되고, 그 결과, 재생 장치의 상태는 선택 인물 원화상 일람 화면 표시 상태(S34)로 천이한다.

선택 인물 원화상 일람 화면 표시 상태(S34)로 천이하면, 제어부(71)는, 선택 인물 원화상 일람 GUI 화상의 표시 처리를 실행한다.

여기서, 선택 인물 원화상 일람 GUI 화상이란, 선택된 인물 폴더 내에 포함 되는 모든 정지화 콘텐츠 자신, 즉, 선택된 인물을 포함하는 정지화 콘텐츠 자신이 섬네일 화상으로서 일람 표시되고, 소정의 섬네일 화상을 선택한 조작을 접수하는 GUI 화상을 말한다.

예를 들면 여기서는, 인물(α)의 인물 폴더가 선택되었기 때문에, 도 25에 도시되는 바와 같이, 인물(α)을 포함하는 정지화상(351 내지 356)이 섬네일 화상으로서 일람 표시된 선택 인물 원화상 일람 GUI 화상(303)이 표시된다.

또한, 도시는 하지 않지만, 이 선택 인물 원화상 일람 GUI 화상(303)에는, 예를 들면 도 22의 얼굴 섬네일 GUI 화상(301)을 표시시키기 위한 소프트웨어 버튼이 포함되어 있고, 이러한 소프트웨어 버튼을 압하하는 조작이 이루어지면, 도 21의 상태 천이 조건(C56)이 충족되었다고 판정되어, 재생 장치의 상태가 선택 인물 원화상 일람 화면 표시 상태(S34)로부터 얼굴 섬네일 화면 표시 상태(S32)로 천이한다.

도 25의 선택 인물 원화상 일람 GUI 화상(303)이 표시된 상태에서, 예를 들면 동 도면에 도시되는 바와 같이, 유저는, 조작부(80)를 조작함으로써 커서(361)를 소망하는 섬네일 화상(356)의 위치까지 이동시키고, 조작부(80)의 소정의 조작을 행함으로써, 그 커서(361)가 배치된 섬네일 화상(356)에 대응하는 정지화 콘텐츠의 재생 지시 조작을 행할 수가 있다.

이와 같이 하여 정지화 콘텐츠의 재생 지시가 이루어지면, 도 21의 상태 천이 조건(C15-2)이 충족되었다고 판정되어, 재생 장치의 상태가 선택 인물 원화상 일람 화면 표시 상태(S34)로부터 정지화 표시 상태(S4)로 천이한다.

정지화 표시 상태(S4)로 천이하면, 제어부(71)는, 재생 지시 조작이 이루어진 정지화 콘텐츠의 재생을 행한다. 즉, 상태 천이 조건(C15-1)이 충족되어 정지화 표시 상태(S4)로 천이하면, 기록 미디어(51) 등으로부터 정지화 콘텐츠가 판독되어, 그 재생이 행하여진다. 구체적으로는 예를 들면, 도 26에 도시되는 바와 같이, 재생 대상의 정지화상(356)을 포함하는 GUI(304)가 표시된다.

또한, 설명의 간략상, 도 25와 도 26의 정지화상(356)은 같은 부호가 붙어 있지만, 실제로는, 도 26의 정지화상(356)이 오리지널 사이즈(오리지널 해상도)이고, 그 오리지널 사이즈의 축소 화상 등이, 도 25의 선택 인물 원화상 일람 GUI 화상(303)에서의 섬네일 화상으로서 이용되고 있다.

정지화 콘텐츠의 재생의 정지 조작 등이 이루어진 때, 도 21의 상태 천이 조건(C16-2)이 충족되었다고 판정되어, 재생 장치의 상태가 정지화 표시 상태(S4)로부터 선택 인물 원화상 일람 화면 표시 상태(S34)로 천이한다.

이상, 도 21 내지 도 26을 이용하여, 정지화 콘텐츠의 재생 지시 조작에 대한 처리의 설명을 하였지만, 그 처리의 실행 주체는 도 6의 구성의 재생 장치로 되었다. 단, 그 실행 주체는 도 6의 재생 장치로 한정하지 않고, 예를 들면 상술한 도 17의 기록 재생 장치도 동작 주체가 될 수 있다.

이 경우, 도 17의 기록 재생 장치는, 도 15를 이용하여 상술한 일괄 적어 들임 전송 수법이 적용 가능하기 때문에, 이러한 일괄 적어 들임 전송 수법을 정지화 콘텐츠에 대한 처리로서, 예를 들면 다음과 같은 처리도 실행할 수 있다. 즉, 도 17의 기록 재생 장치는, 상술한 인물 폴더를 새롭게 생성하고, 그 새로운 인물 폴 더에 대응하는 대표얼굴 섬네일 화상을 도 22의 얼굴 섬네일 GUI 화상(301)에 추가하거나, 그 새로운 인물 폴더와, 대응하는 몇개의 정지화 콘텐츠를, 외부의 기록 미디어(51)에 새롭게 기록시키거나, 또한, 네트워크를 통하는 등 하여 외부의 도시하지 않은 장치에 전송할 수도 있다.

구체적으로는 예를 들면, 도 27에 도시되는 바와 같이, 정지화 일람 GUI 화상(361)에, 도 16과 같은 재생 버튼(251-3), 파일 생성 버튼(252-3) 및 외부 기록 버튼(253-3)을 추가함으로써, 도 17의 기록 재생 장치는 예를 들면 다음과 같은 처리를 실행할 수 있다.

또한, 도 27의 예에서는, 정지화 일람 GUI 화상(361)에서 섬네일 화상(371 내지 374)의 각각은, 정지화 콘텐츠(381 내지 384)의 각각의 인덱스로 되어 있다.

예를 들면 여기서, 정지화 일람 GUI 화상(361)에서, 섬네일 화상(371 내지 374)의 전부가 선택된 후, 파일 생성 버튼(252-3) 또는 외부 기록 버튼(253-3)이 압하되었다고 한다.

이 경우, 도 17의 기록 재생 장치의 제어부(71)는, 정지화 콘텐츠(381 내지 384)의 각각을 재생하기 위한 리소스 데이터(391 내지 394)를 생성하고, 그것들을 포함하는 일시 폴더(398)를 예를 들면 RAM(73)의 관리 정보 영역(101)에 기록한다. 여기서, 리소스 데이터(391 내지 394)로서, 예를 들면 상술한 바와 같이 정지화 콘텐츠(381 내지 384)의 각각에 관한, 대응하는 얼굴 섬네일 화상과, 그 얼굴 섬네일과 자신의 링크 정보를 포함하는 데이터를 채용할 수 있다. 이 경우, 이들의 얼굴 섬네일 화상중의 소정의 1장을 대표얼굴 섬네일 화상으로서 채용할 수 있다.

그리고, 파일 생성 버튼(252-3)이 압하된 경우에는, 도 17의 콘텐츠 관리 정보 제어부(93)는, RAM(73)의 공통 관리 정보 영역에 일시 폴더(398)의 정보를 기록함으로써, 그 일시 폴더(398)를 항구적인 폴더로 한다. 이로써, 일괄 적어냄 처리는 종료로 된다.

이에 대해, 외부 기록 버튼(253-3)이 압하된 경우에는, 도 17의 콘텐츠 관리 정보 제어부(93)와 시스템 제어부(91)는, 일시 폴더(398) 내의 리소스 데이터(391 내지 394)와 정지화 콘텐츠(381 내지 384)를 일체로 한 신콘텐츠를 파일로서 작성한다. 그리고, 콘텐츠 관리 정보 제어부(93)는, 신콘텐츠를 파일로서 외부의 기록 미디어(51)에 기록시키거나, 도시하지 않은 다른 장치에 송신한다.

이상, 본 발명이 적용되는 정보 처리 장치의 실시의 형태로서, 도 4의 기록 미디어(51)에 기록되어 있는 동화 콘텐츠 또는 정지화 콘텐츠를 재생 가능한 장치로서, 얼굴 섬네일 화상을 이용한 재생 지시 조작의 GUI를 제공 가능한 장치에 관해 설명하여 왔다.

다음에, 본 발명이 적용되는 정보 처리 장치의 실시의 다른 형태로서, 얼굴 섬네일 화상을 이용한 재생 지시 조작의 GUI를 제공 가능하게 하도록, 동화 콘텐츠나 정지화 콘텐츠를 기록 매체(51) 등에 기록하는 화상 기록 장치에 관해 설명한다.

도 28은, 이러한 화상 기록 장치의 기능적 구성예를 도시하고 있다.

도 28의 예에서는, 화상 기록 장치(401)는, 제어부(411) 내지 기록부(415)를 포함하도록 구성되어 있다.

제어부(411)는, 예를 들면 CPU(Central Processing Unit) 등으로 구성되고, 도시하지 않은 ROM(Read Only Memory) 등에 기억되어 있는 프로그램에 따라 각종의 제어 처리를 실행한다. 즉, 제어부(411)는, 촬상부(412) 내지 기록부(415)의 각각의 동작을 제어한다.

촬상부(412)는, 예를 들면 디지털 비디오 카메라 등으로 구성되고, 피사체를 촬상하고, 그 촬상의 결과 얻어지는 화상 신호를 예를 들면 베이스밴드 신호의 형태로 화상 가공부(413)에 제공한다.

화상 가공부(413)는, 촬상부(412)로부터의 화상 신호에 대해 각종 화상 처리를 시행함으로써, 화상 신호에 대응하는 동화상 또는 정지화상에 대해 각종 가공을 시행하고, 각종 가공 후의 동화상 또는 정지화상에 대응하는 화상 신호를 베이스밴드 신호의 형태로 화상 압축부(414)에 제공한다. 또한, 상세에 관해서는 후술하지만, 여기서 말하는 「화상의 가공」으로서, 상술한 얼굴 구간의 특정이나, 그 얼굴 구간의 인덱스로서의 얼굴 섬네일 화상이나 섬네일 화상의 작성도 포함되어 있고, 이러한 얼굴 구간의 정보나, 얼굴 섬네일 화상이나 섬네일 화상도 소정의 데이터로서 화상 가공부(413))로부터 출력되어, 제어부(411)나 기록부(415)에 제공된다.

화상 압축부(414)는, 촬상부(412)로부터 화상 가공부(413)를 통하여 베이스밴드 신호의 형태로 제공되어 온 화상 신호에 대해, 소정의 압축 부호화 처리를 시행하고, 예를 들면 동화상 신호이면 이른바 MPEG 디코드 처리를 시행하고, 그 결과 얻어지는 압축 화상 데이터를 기록부(415)에 제공한다. 또한, 후술하는 바와 같이, 이 압축 화상 데이터(MPEG 데이터 등)는, 얼굴 구간 검출용의 화상 신호로서 화상 가공부(413)에 제공되는 경우도 있다.

기록부(415)는, 화상 압축부(414)로부터 제공되어 온 화상 데이터를 화상 콘텐츠로서, 즉, 1파일로서 기록 미디어(51)에 기록함과 함께, 그 화상 콘텐츠의 리소스 데이터도 기록 미디어(51)에 기록한다. 이 리소스 데이터중에는, 화상 가공부(413) 또는 제어부(411)로부터 제공된 얼굴 섬네일 화상이나 얼굴 구간의 정보를 포함한다. 즉, 얼굴 섬네일 화상이나 얼굴 구간의 정보가, 상술한 도 4의 얼굴 섬네일과 얼굴 구간 메타 정보의 조로서, 기록 미디어(51)의 리소스 데이터 영역(53)에 기록된다.

도 29는, 이러한 화상 기록 장치(401)중의 화상 가공부(413)의 상세한 기능적 구성예를 도시하고 있다.

도 29의 예에서는, 화상 가공부(413)는, 노이즈 제거부(421) 내지 화상 정보 검출부(427)를 포함하도록 구성되어 있다.

노이즈 제거부(421)는, 제어부(411)의 제어에 의거하여, 촬상부(412)로부터 제공되는 화상 신호에 대해, 그 화상 신호에 대응하는 카메라 촬상 화상에 포함되는 불필요한 노이즈를 제거하는 노이즈 제거 처리를 시행하고, 그 결과 얻어지는 화상 신호를 확대/축소부(423)에 제공한다.

구체적으로는 예를 들면, 노이즈 제거부(421)는, 그 노이즈 제거 처리로서, 프레임 메모리(422)를 이용하여 다음과 같은 처리를 실행한다. 즉, 노이즈 제거부(421)는, 프레임 메모리(422)로부터 판독하는 노이즈 제거후의 1프레임 전(처리 대상 프레임에 대해 1개 전)의 화상 신호와, 촬상부(412)로부터 현시점에서 입력되 어 오는 처리 대상 프레임에 관한 화상 신호를 이용하여, 2개의 화상 신호 사이에서 얻어지는 노이즈 성분을, 처리 대상 프레임에 관한 화상 신호로부터 제거한다. 그리고, 노이즈 제거부(421)는, 노이즈가 제거된 처리 대상 프레임에 관한 화상 신호를, 확대/축소부(423)에 제공한다. 이러한 화상 신호는 또한, 다음의 프레임이 처리 대상 프레임이 되었을 때에 1프레임 전의 화상 신호로서 이용되도록, 프레임 메모리(422)에 되돌려 기록한다. 또한, 그때, 제거하는 강도 조절 파라미터가 제어부(411)로부터 제공되기 때문에, 노이즈 제거부(421)에서는, 카메라 촬상 화상에 응한 노이즈 제거 처리가 이루어진다.

확대/축소부(423)는, 제어부(411)로부터의 소정의 확대율 또는 축소율의 지시에 따라, 노이즈 제거부(421)로부터의 화상 신호에 대해 확대 또는 축소 처리를 시행하고, 그 결과 얻어지는 화상 신호를 신호 변환부(424)에 제공한다. 또한, 제어부(411)로부터의 지시가 없는 경우, 또는 확대율 또는 축소율로서 등배율이 지시된 경우, 확대/축소부(423)는, 화상 신호를 그대로, 즉, 그대로의 화상 사이즈의 상태로, 신호 변환부(424)에 제공한다.

신호 변환부(424)는, 확대/축소부(423)로부터 제공된 화상 신호에 대해, 제어부(411)로부터 지시된 비디오 이펙트 종류에 관한 화상 처리를 시행하고, 그 결과 얻어지는 화상 신호를 화상 합성부(425)에 제공함과 함께, 화상 정보 검출부(427)에 제공한다. 신호 변환부(424)의 화상 처리의 종류는 특히 한정되지 않고, 예를 들면, 세피아(암갈색)나 모노클로나 네가포지 반전으로 변환하거나, 모자이크 처리나 바림[선염] 처리 등을 채용할 수 있다. 또한, 신호 변환부(424)는, 확대/축 소부(423)로부터 제공된 화상 신호를, 어떠한 화상 처리도 시행하지 않고, 즉 어떤 가공도 하지 않고 그대로 화상 합성부(425) 등에 제공하는 경우도 있다.

화상 합성부(425)는, 신호 변환부(424)로부터 제공된 화상 신호에 대해, 제어부(411)로부터 지시된 합성 종류에 관한 합성 처리를 시행하고, 그 결과 얻어지는 화상 신호를 화상 압축부(414)에 제공한다. 또한, 화상 합성부(425)의 화상 처리의 종류는 특히 한정되지 않고, 예를 들면, 프레임 메모리(426)에 사전에 준비된 그래픽 화상과 α브렌딩에 의한 투과 합성을 시행하는 합성 처리나, 프레임 메모리(426)에 사전에 준비된 화상과의 사이에서 시간축에 따라 서서히 천이시키는 페이더 합성 처리, 즉 피드 인이나 피드 아웃 처리 등을 채용할 수 있다. 또한, 화상 합성부(425)는, 신호 변환부(424)로부터 제공된 화상 신호에 대해, 어떤 합성 처리도 행하지 않고, 즉 어떤 화상도 합성하지 않고 그대로 화상 압축부(414)에 출력한 것도 있다.

화상 정보 검출부(427)는, 제어부(411)의 제어에 의거하여, 신호 변환부(424) 또는 화상 압축부(414)로부터의 화상 신호에 대해 각종 화상 처리를 시행함으로써, 문자 정보나 얼굴 정보를 추출하고, 기록부(415)나 제어부(411)에 제공한다. 여기서 얼굴 정보란, 상술한 얼굴 구간의 정보나 얼굴 섬네일 화상 등을 포함하는 정보이다.

도 30은, 이러한 화상 정보 검출부(427)의 상세한 기능적 구성예를 도시하고 있다.

도 30의 예에서는, 화상 정보 검출부(427)는, 정지화 생성부(431), 얼굴화상 처리부(432) 및 섬네일 생성부(433)를 포함하도록 구성되어 있다.

정지화 생성부(431)는, 신호 변환부(424) 또는 화상 압축부(414)로부터 제공된 화상 신호로부터, 정지화상을 화상 데이터의 형식으로 생성하고, 얼굴화상 처리부(432)에 제공한다. 또한, 신호 변환부(424) 또는 화상 압축부(414)로부터 정지화상에 대응하는 화상 신호가 제공된 경우에는, 그 화상 신호는 그대로 얼굴화상 처리부(432)에 제공된다.

얼굴화상 처리부(432)는, 제어부(411)의 제어에 의거하여, 정지화 생성부(431)에 의해 제공된 정지화상으로부터 인물의 얼굴을 검출하고, 그 인물의 얼굴화상을 정지화상으로부터 추출하는 등의 각종 처리를 실행한다. 이들의 각종 처리 결과는, 제어부(411)나 섬네일 생성부(433)에 제공된다. 또한, 여기서 말하는 각 처리 결과의 한 예로서, 예를 들면 후술하는 도 35의 얼굴화상 테이블 등을 들 수 있다.

섬네일 생성부(433)는, 제어부(411)의 제어에 의거하여, 얼굴화상 처리부(432) 또는 제어부(411)로부터의 정보를 이용하여, 상술한 얼굴 구간을 특정하고, 또한 그 얼굴 구간의 인덱스로서의 얼굴 섬네일 화상 등을 생성하고, 그 결과 얻어지는 얼굴 구간의 정보나 얼굴 섬네일 화상 등을 제어부(411)나 기록부(415)에 제공한다.

다음에, 도 31의 플로우 차트를 참조하여, 도 30의 화상 정보 검출부(427)나 제어부(411) 등이 실행하는 리소스 데이터 생성 기록 처리의 한 예에 관해 설명한다.

여기서, 도 31에 예시되어 있는 리소스 데이터 생성 기록 처리란, 상술한 도 4의 기록 미디어(51)에 대해 동화 콘텐츠(64-K)와 함께 기록된 리소스 데이터(65-K)중의, 특히 얼굴 섬네일과 얼굴 구간 메타 정보의 조에 관한 처리이고, 구체적으로는, 그 조가 생성되어 기록 미디어(51)에 기록되기까지의 일련의 처리를 말한다.

또한, 도 31의 플로우 차트는, 화상 압축부(414)로부터 MPEG 데이터의 형태로 화상 신호가 제공되는 경우의 예를 도시하고 있다. 즉, 도 31의 예에서는, MPEG 데이터를 구성하는 복수의 GOP가 소정의 순번으로 순차로 화상 정보 검출부(427)에 제공되어 오는 것이 전제로 되어 있다. 환언하면, 도 31은, 도 2를 이용하여 상술한 정지화상을 생성하는 단위가 1GOP단위인 경우의 예를 도시하고 있다. 따라서, 이러한 단위가 1GOP단위 이외인 경우라도, 후술하는 처리 대상 GOP를 이러한 단위로 치환함으로써, 후술하는 리소스 데이터 생성 기록 처리를 실행할 수 있다.

도 31의 스텝 S101에서, 화상 정보 검출부(427)의 정지화 생성부(431)는, 최신의 GOP를 처리 대상 GOP로 설정한다.

스텝 S102에서, 정지화 생성부(431)는, 처리 대상 GOP로부터 정지화상을 생성한다. 또한, 스텝 S102에서의 정지화상의 생성 수법은 특히 한정되지 않지만, 여기서는, MPEG 데이터의 GOP가 제공되어 오고 있기 때문에, 도 3을 이용하여 상술한 수법을 채용할 수 있다.

스텝 S103에서, 정지화 생성부(431)는, 정지화상의 사이즈를 변경한다.

사이즈 변경 후의 정지화상이 정지화 생성부(431)로부터 얼굴화상 처리부(432)에 제공되면, 처리는 스텝 S104로 진행한다.

스텝 S104에서, 얼굴화상 처리부(432)는, 정지화상으로부터 얼굴의 검출을 시도한다. 또한, 얼굴의 검출 수법 자체는 특히 한정되지 않지만, 여기서는, 정지화상에 복수의 얼굴이 포함되어 있는 경우에는 하나의 얼굴씩 순차로 검출하는 수법이 채용되어 있다고 한다.

스텝 S105에서, 얼굴화상 처리부(432)는, 얼굴이 검출되었는지의 여부를 판정한다.

스텝 S105에서, 하나의 얼굴을 검출하였다고 판정한 경우, 얼굴화상 처리부(432)는, 스텝 S106에서, 그 검출한 하나의 얼굴에 관한 얼굴 검출 정보를 생성한다. 이러한 얼굴 검출 정보에 관해서는 후술한다.

그 후, 처리는 스텝 S104로 되돌아와, 그 이후의 처리가 반복된다. 즉, 정지화상에 복수의 얼굴이 포함되어 있는 경우에는, 그들의 복수의 얼굴이 순차로 검출되고, 그들의 복수의 얼굴의 각각에 관한 얼굴 검출 정보가 순차로 생성된다.

여기서, 도 32와 도 33을 이용하여, 얼굴 검출 정보의 구체예에 관해 설명한다.

예를 들면, 스텝 S101의 처리에서, 도 32에 도시되는 GOP가 처리 대상 GOP로 설정되고, 스텝 S102의 처리에서 정지화상(501)이 생성되고, 스텝 S103의 처리에서 정지화상(501)의 사이즈가 변경되고, 그 결과, 정지화상(502)을 얻을 수 있다고 한다.

이 정지화상(502)에는, 도 33에 도시되는 바와 같이 얼굴의 영역(502-1, 502-2)(이하 단지, 얼굴(502-1, 502-2)이라고 칭한다)이 포함되어 있다고 한다.

이 경우, 스텝 S104의 처리에서 얼굴(502-1)이 검출되고, 스텝 S105의 처리에서 YES라고 판정된 후, 스텝 S106의 처리에서, 도 33에 도시되는 얼굴 검출 정보(503-1)가 생성된다.

도 33의 예에서는, 얼굴 검출 정보(503-1)에는, GOP 번호, 얼굴 ID, 위치, 높이, 폭, 사이즈, 및 유사도(스코어)가 포함되어 있다. GOP 번호란 예를 들면 처리 대상 GOP에 붙어 있는 번호이다. 얼굴 ID란 예를 들면 얼굴(502-1)을 다른 얼굴과 구별하기 위한 식별자이다. 위치란 예를 들면 얼굴(502-1)의 정지화상(502)에서의 위치, 구체적으로는 예를 들면, 좌상단의 화소의 위치이다. 높이란 예를 들면 얼굴(502-1)의 높이 방향의 화소 수이다. 폭이란 예를 들면 얼굴(502-1)의 가로방향의 화소 수이다. 사이즈란 예를 들면 얼굴(502-1)의 사이즈, 즉 해상도이다. 또한, 유사도(스코어)에 관해서는, 후술하지만, 스텝 S106의 처리의 단계에서는, 소정의 초기치, 예를 들면 0이 대입된다고 한다.

이와 같은 얼굴 검출 정보(503-1)가 생성되면, 처리는 스텝 S104로 되돌아와, 이번에는, 얼굴(502-2)이 검출되고, 스텝 S105의 처리에서 YES라고 판정된 후, 스텝 S106의 처리에서 도 33에 도시되는 얼굴 검출 정보(503-2)가 생성된다.

그 후, 처리는 스텝 S104에 되돌아오지만, 이 시점이 되면, 정지화상(502)에는 미 검출의 얼굴은 포함되어 있지 않기 때문에, 스텝 S105의 처리에서 NO라고 판정되고, 처리는 스텝 S107로 진행한다.

이하 계속해서, 도 31의 스텝 S107 이후의 처리에 관해 설명한다.

스텝 S107에서, 얼굴화상 처리부(432)는, 하나 이상의 얼굴 검출 정보가 생 성되었는지의 여부를 판정한다.

도시는 하지 않지만, 정지화상에 하나의 얼굴도 포함되지 않은 경우, 당연하지만 얼굴은 검출되지 않고, 얼굴 검출 정보도 생성되지 않는다. 따라서, 이와 같은 경우, 스텝 S107의 처리에서 NO라고 판정되고, 처리는 스텝 S110으로 진행한다. 단, 스텝 S110 이후의 처리에 관해서는 후술한다.

이에 대해, 정지화상에 하나 이상의 얼굴이 포함되어 있고, 이들중의 적어도 하나의 검출에 성공한 경우에는, 얼굴 검출 정보도 적어도 하나 생성된다. 따라서, 이와 같은 경우, 스텝 S107의 처리에서 YES라고 판정되고, 처리는 스텝 S108로 진행한다.

스텝 S108에서, 얼굴화상 처리부(432)는, 하나 이상의 얼굴 검출 정보의 각각에 의거하여, 정지화상으로부터 하나 이상의 얼굴화상의 각각을 잘라낸다.

구체적으로는 예를 들면 상술한 도 33에 도시되는 2개의 얼굴 검출 정보(503-1, 503-2)가 생성된 경우에는, 도 34에 도시되는 바와 같은 얼굴화상(511-1), 얼굴화상(511-2)이 잘라내여진다. 여기서, 얼굴화상(511-1)이란 도 33의 정지화상(502)중의 얼굴(502-1)에 대응하는 정지화상이다. 또한, 얼굴화상(511-2)이란 도 33의 정지화상(502)중의 얼굴(502-2)에 대응하는 정지화상이다.

다음에, 도 31의 스텝 S109에서, 얼굴화상 처리부(432)는, 도 35에 도시되는 바와 같은 테이블의 생성이나 갱신을 하기 위해 필요한 각종 처리를 실행한다.

예를 들면 처리 대상 GOP의 번호가 1이었던 경우에는, 도 35에 도시되는 바와 같은 테이블이 신규로 생성된다. 그 신규 생성된 단계의 테이블은, 대표얼굴화 상과 GOP 번호(1)의 행(行)만으로 구성되어 있다. 그 후, 처리 대상 GOP가 번호(i)(i는 도 35의 예에서는 1 내지 n중의 어느 하나의 값)가 되면, 도35의 테이블중의, GOP 번호(i)에 대응하는 행이 추가되고, 그 GOP 번호(i)의 각 항목에 대해, 「얼굴 정보」 또는 「무」의 정보가 기재됨으로써, 테이블의 갱신이 행하여져 간다.

즉, 도 35의 테이블에서 GOP 번호(i)의 행은, 번호(i)의 GOP에 관한 다음과 같은 정보가 기재된다. 즉, 도 35의 각 열은, 현재 리소스 데이터의 생성 대상으로 되어 있는 동화 콘텐츠의 각 등장 인물을 나타내고 있다. 또한, 도 35의 예에서는, 설명을 용이한 것으로 하기 위해, 각 열의 가장 위에는, 등장 인물의 이름으로서 A 내지 H가 기재되어 있지만, 실제의 테이블에는 이러한 기재는 필수가 아니다. 또한, 여기서는, 하나의 열에 대응하는 인물은, 다른 열에 대응하는 인물과는 다른 인물인 것으로 하지만, 실(實)세계에서는 동일 인물인 경우도 있다. 즉, 상세에 관해서는 도 36을 이용하여 후술하지만, 예를 들면 인물(B)과 인물(D)은, 실세계에서 동일 인물(도 36에서 말한 실인물(b))이지만, 도 35의 예에서는 다른 인물로서 판단되고 있다.

예를 들면, 도 35의 테이블의 가장 왼쪽의 열, 즉 인물(A)을 나타내는 열에서, 가장 위의 행에는, 인물(A)의 대표얼굴화상이 화상 데이터의 형태로 격납된다. 인물(A)의 대표화상이란, 예를 들면, 번호(1 내지 n)의 각각의 GOP에 대해 실행된 도 31의 스텝 S108의 처리에서, 각각 잘라낸 인물(A)의 얼굴화상중의 소정의 1장을 말한다. 또한, 예를 들면 본 실시의 형태에서는, 최초에 잘라낸 얼굴화상이 대표화 상으로서 채용된다.

또한, 인물(A)을 나타내는 열에서, 번호(i)의 행에는, 「얼굴 정보」 또는 「무」가 기재된다. 번호(i)의 행에 「얼굴 정보」가 기재되어 있는 경우에는, 번호(i)의 GOP로부터 생성된 정지화상에 인물(A)이 포함되어 있다고 판단되는 것을 의미한다. 이에 대해, 번호(i)의 행에 「무」가 기재되어 있는 경우에는, 번호(i)의 GOP로부터 생성된 정지화상에 인물(A)이 포함되어 있지 않다고 판단된 것을 의미한다. 또한, 인물(A)이 포함되었는지의 여부의 판단의 수법은, 특히 한정되지 않는다. 이러한 수법의 구체예에 관해서는, 예를 들면 도 38 내지 도 41을 이용하여 후술한다.

또한, 이하, 이와 같은 도 35의 테이블을 얼굴화상 테이블이라고 칭한다. 또한, 이하, 상술한 바와 같은 도 31의 스텝 S109의 처리, 즉, 처리 대상 GOP의 번호가 1인 경우에는 도 35의 얼굴화상 테이블을 생성하여 GOP 번호(1)의 행의 각 항목에 「얼굴 정보」 또는 「무」를 기재하고, 또한, 처리 대상 GOP의 번호가 i인 경우에는 도 35의 얼굴화상 테이블중의 GOP 번호(i)의 행의 각 항목에 「얼굴 정보」 또는 「무」를 기재하는 처리를, 얼굴화상 테이블 생성/갱신 처리라고 칭한다.

또한, 스텝 S109의 얼굴화상 테이블 생성/갱신 처리의 상세예에 관해서는, 도 38 내지 도 42를 참조하여 후술한다.

이와 같은 스텝 S109의 얼굴화상 테이블 생성/갱신 처리가 종료되면, 도 31에 도시되는 바와 같이, 처리는 스텝 S110으로 진행한다.

스텝 S110에서, 얼굴화상 처리부(432)는, 처리 대상 GOP는 최후의 GOP인지의 여부를 판정한다.

처리 대상 GOP가 최후의 GOP가 아닌 경우, 처리는 스텝 S101로 되돌아와 그 이후의 처리가 반복된다. 즉, 예를 들면 도 35의 예에서는, 번호(n)의 GOP가 최후의 GOP이기 때문에, 번호(1 내지 n)의 각각의 GOP에 대해 스텝 S101 내지 S110의 루프 처리가 반복 실행된다.

그리고, 최후의 번호(n)의 GOP에 관한 스텝 S109의 얼굴화상 테이블 생성/갱신 처리가 종료되면, 얼굴화상 테이블의 기재 상태는 도 35에 도시되는 상태로 되고, 다음의 스텝 S110의 처리에서 YES라고 판정된다. 그러면, 도 35의 기재 상태의 얼굴화상 테이블이 섬네일 생성부(433)에 제공되고, 처리는 스텝 S111로 진행한다.

스텝 S111에서, 섬네일 생성부(433)는, 얼굴화상 테이블에 의거하여, 각 인물마다, 얼굴 섬네일 화상의 생성과 얼굴 구간의 특정을 각각 행한다.

스텝 S111에서 각 인물이란, 얼굴화상 테이블에 등록되어 있는 각 인물, 구체적으로는 예를 들면 도 35의 예에서는 인물(A 내지 H)을 말한다.

여기서, 도 36과 도 37을 참조하여, 스텝 S111의 처리에 관해 더욱 상세하게 설명한다.

도 36은, 도 35의 예의 얼굴화상 테이블중의 인물(A 내지 E)까지의 정보를, 타이밍 차트 형식으로 다시 그린 도면이다. 도 36에서, 횡축은, GOP 번호를 나타내고 있다. 또한, 도 36중 가장 위로부터, 실인물(a), 실인물(b), 실인물(c), 및 실인물(d)의 각각에 관한 타이밍 차트가 도시되어 있다. 이들의 각 타이밍 차트는, 타원이 내재하는 4각(角)의 가로방향으로의 적층에 의해 구성되어 있다. 이 타원이 내재하는 4각은, 소정의 GOP로부터 추출된 1장의 얼굴화상을 나타내고 있다. 즉, 번호(i)의 GOP에서 얼굴화상이 존재하고 있는 것은, 도 35의 GOP 번호(i)의 항목에 「얼굴 정보」가 기재되어 있는 것을 의미하고, 한편, 얼굴화상이 존재하지 않는 것은, 도 35의 번호(i)의 항목에 「무」가 기재되어 있는 것을 의미한다. 또한, 각 타이밍 차트의 아래쪽의 대문자의 알파벳은, 도 35의 예의 인물의 명칭에 대응하고 있다.

즉, 여기서 주의해야 할 점은, 도 35의 예에서는 인물의 명칭으로서 대문자의 알파벳이 채용되어 있음에 대해, 도 36의 예에서는 인물의 명칭으로서 소문자의 알파벳이 채용되고, 또한 실인물이라고 기재되어 있는 점이다. 즉, 도 35의 예에서 대문자의 알파벳을 이용하여 기재되어 있는 인물(A 내지 E)이란, 후술하는 바와 같이, 화상 정보 검출부(427)에 의해 검출된 인물을 말한다. 이에 대해, 도 36의 예에서 소문자의 알파벳에 의해 기재된 실인물(a 내지 d)이란, 실세계에 현존하는 인물을 말한다. 즉, 도 35와 도 36의 예에서는, 화상 정보 검출부(427)에 의해 다른 인물로서 검출된 인물(B)과 인물(D)은, 실세계에서는 동일한 실인물(b)로서 현존하고 있다. 이 점의 이유에 관해서는 후술한다.

예를 들면, 실인물(a)에 관해서는, GOP 번호(1 내지 3)의 각 GOP에서 얼굴화상이 생성되고, GOP 번호(4)의 GOP에서는 얼굴화상은 생성되지 않았지만, 그 후, GOP 번호(5, 6)에서 재차 얼굴화상이 생성되어 있다. 이와 같이, 수GOP 정도의 단기간 내에 얼굴화상이 생성되지 않은 경우에는, 동일 인물(A)이 연속하여 등장하고 있다고 인정된다. 즉, 이와 같은 경우, 섬네일 생성부(433)는, 인물(A)의 얼굴 구 간이란, GOP 번호(1 내지 3)의 GOP로 이루어지는 구간이 아니라, 도 37에 도시되는 바와 같이, GOP 번호(1 내지 6)의 GOP로 이루어지는 구간(521-A)이라고 특정한다. 그리고, 섬네일 생성부(433)는, 인물(A)의 얼굴 구간(521-A)의 인덱스로서 얼굴 섬네일 화상(522-A)을 생성한다.

또한, 얼굴 섬네일 화상(522-A)의 생성 수법에 관해서는, 특히 한정하지 않고, 새롭게 생성하여도 좋지만, 여기서는 도 35의 얼굴화상 테이블에 인물(A)의 대표화상이 포함되어 있기 때문에, 이러한 대표화상이 얼굴 섬네일 화상(522-A)으로서 이용된다고 한다. 또한, 다른 얼굴 섬네일 화상에 관해서도, 이 생성 수법에 따라 마찬가지로 생성된다고 한다.

한편, 실인물(b)에 관해서는, GOP 번호(1 내지 4)의 각 GOP에서 얼굴화상이 생성되었다, 그 후 얼굴화상은 장기간 생성되지 않고, GOP 번호(n-5 내지 n)에서 재차 얼굴화상이 생성되어 있다. 이와 같이, 장기간 얼굴화상이 생성되지 않은 경우에는, 얼굴화상 처리부(432)에 의해 각각 다른 인물(B, C)이라고 인정된다. 그 결과, 도 35의 얼굴화상 테이블에서는, 각각 다른 인물(B, C)로서 제각기 등록되는 것이다. 단, 이것의 상세에 관해서는, 도 42를 참조하여 후술한다.

이 경우, 섬네일 생성부(433)는, 인물(B)의 얼굴 구간이란, 도 37에 도시되는 바와 같이, GOP 번호(1 내지 4)의 GOP로 이루어지는 구간(521-B)이라고 특정한다. 그리고, 섬네일 생성부(433)는, 인물(B)의 얼굴 구간(521-B)의 인덱스로서 얼굴 섬네일 화상(522-B)을 생성한다.

또한, 섬네일 생성부(433)는, 인물(D)의 얼굴 구간이란, 도 37에 도시되는 바와 같이, GOP 번호(n-5 내지 n)의 GOP로 이루어지는 구간(521-D)이라고 특정한다. 그리고, 섬네일 생성부(433)는, 인물(D)의 얼굴 구간(521-D)의 인덱스로서 얼굴 섬네일 화상(522-D)을 생성한다.

또한, 동일 인물인지 여부의 판정이 되는 기간은, 특히 한정되지 않는다. 즉, 얼굴화상이 등장하지 않은 기간이 단기간이면, 연속한 얼굴 구간의 일부로 간주하는 한편, 장기간이면 얼굴 구간이라고는 간주하지 않는다고 상술하였지만, 그 단기간과 장기간과의 판단 수법은 특히 한정되지 않는다. 예를 들면, 얼굴화상이 생성되는 단위, 즉 도 36이나 도 37의 예에서는 1GOP단위의 소정의 정수배를 임계치로서 미리 설정하고, 얼굴화상이 등장하지 않은 기간이 임계치 이하이면, 얼굴 구간의 일부로 간주하고, 임계치를 초과하고 있으면 얼굴 구간이라고는 간주하지 않는다는 판단 수법을 채용할 수 있다. 또한, 이러한 판단 수법이 적용된 처리가, 후술하는 도 4의 스텝 S124 주변의 처리이다.

그 밖의 인물에 관해서도 마찬가지로 얼굴 구간의 특정과 얼굴 섬네일의 생성이 행하여진다.

즉, 섬네일 생성부(433)는, 실인물(c)에 대응하는 인물(C)의 얼굴 구간이란, 도 37에 도시되는 바와 같이, GOP 번호(2 내지 n)의 GOP로 이루어지는 구간(521-C)이라고 특정한다. 그리고, 섬네일 생성부(433)는, 인물(C)의 얼굴 구간(521-C)의 인덱스로서 얼굴 섬네일 화상(522-C)을 생성한다.

또한, 섬네일 생성부(433)는, 실인물(d)에 대응하는 인물(E)의 얼굴 구간이란, 도 37에 도시되는 바와 같이, GOP 번호(n-3 내지 n)의 GOP로 이루어지는 구간 (521-E)이라고 특정한다. 그리고, 섬네일 생성부(433)는, 인물(E)의 얼굴 구간 (521-E)의 인덱스로서 얼굴 섬네일 화상(522-E)을 생성한다.

그 밖에 도시는 하지 않지만, 도 35에서 말하는 인물(F 내지 H)의 각각에 관해서도, 얼굴 구간이 특정되고, 그 얼굴 구간에 대응하는 얼굴 섬네일 화상이 생성된다.

그러면, 도 31의 스텝 S111의 처리는 종료하고, 그 처리 결과, 즉, 각 인물의 각각에 관한 얼굴 구간과 얼굴 섬네일의 각 조가, 섬네일 생성부(433)로부터 제어부(411) 또는 기록부(415)에 제공된다.

스텝 S112에서, 제어부(411) 또는 기록부(415)는, 각 인물의 얼굴 섬네일과 얼굴 구간을 포함하는 메타 정보, 즉, 도 4의 얼굴 구간 메타 정보와 얼굴 섬네일의 조로 이루어지는 메타 정보를 생성한다. 제어부(411)에 의해 메타 정보가 생성된 경우에는, 그 메타 정보는 기록부(415)에 제공된다.

스텝 S113에서, 기록부(415)는, 스텝 S112의 처리에서 생성된 메타 정보를, 관리 정보 등과 함께 콘텐츠의 리소스 데이터로서, 기록 미디어(51) 등에 기록한다.

이로써, 리소스 데이터 생성 기록 처리는 종료로 된다.

다음에, 도 38 내지 도 43을 참조하여, 이러한 도 31의 리소스 데이터 생성 기록 처리중의 스텝 S109의 처리, 즉, 얼굴화상 테이블 생성/갱신 처리의 상세예에 관해 설명한다.

도 35의 예의 얼굴화상 테이블을 이용하여 설명한 바와 같이 얼굴화상 테이 블 생성/갱신 처리에서는, 처리 대상 GOP의 번호(i)의 행에 관한 각 항목에 「얼굴 정보」 또는 「무」가 각각 기재된다. 구체적으로는 예를 들면 인물(A)에 관해, 번호(i)의 처리 대상 GOP에 , 인물(A)의 얼굴화상이 등장하고 있다고 판정되는 경우에는, 인물(A)을 나타내는 열의 번호(i)의 행의 항목에 「얼굴 정보」라고 기재되는 한편, 인물(A)의 얼굴화상이 등장하지 않는다고 판정되는 경우에는, 인물(A)을 나타내는 열의 번호(i)의 행의 항목에 「무」라고 기재된다. 다른 인물(B 내지 H)의 각각에 관해서도 마찬가지이다.

따라서, 얼굴화상 테이블 생성/갱신 처리에서는, 번호(i)의 처리 대상 GOP에 , 특정 인물의 얼굴화상이 등장하고 있는지의 여부의 판정 처리가 필요해진다. 이 판정 처리의 알고리즘, 즉, 판정 수법 자체는, 특히 한정되지 않지만, 예를 들면 본 실시의 형태에서는, 도 38 내지 도 41에 도시되는 수법이 채용되어 있다고 한다. 즉, 도 38 내지 도 41에 도시되는 수법이란, 본 발명이 적용되는 수법의 하나이고, 이하, 얼굴화상 유무 판정 수법이라고 칭한다.

도 38에서, 정지화상(602)은, 도 31의 스텝 S102의 처리에서 번호(i)의 처리 대상 GOP로부터 생성된 정지화상을 나타내고 있다. 얼굴화상(612-1 내지 612-3)의 각각은, 각 스텝 S104의 처리에서 정지화상(602)으로부터 각각 검출된 얼굴(602-1 내지 602-3)의 각각에 대응하는 얼굴화상을 나타내고 있다. 즉, 스텝 S108의 처리에서 정지화상(602)으로부터 각각 잘라낸 얼굴화상이, 얼굴화상(612- 1 내지 612-3)이다.

한편, 정지화상(601)은, 처리 대상 GOP의 하나 전의 GOP, 즉, 번호(i-1)의 GOP로부터 생성된 정지화상을 나타내고 있다. 얼굴화상(611-1, 611-2)의 각각은, 정지화상(601)으로부터 각각 검출된 얼굴(601-1, 601-2)의 각각에 대응하는 얼굴화상을 나타내고 있다. 즉, 정지화상(601)으로부터 각각 잘라낸 얼굴화상이, 얼굴화상(611- 1, 611-2)이다.

이 경우, 도 30의 얼굴화상 처리부(432)는, 도 38에 도시되는 바와 같이, 번호(i)의 처리 대상 GOP에 관한 얼굴화상(612-1 내지 612-3)을 비교 대상으로 하고, 그것보다도 전의 GOP에 관한 얼굴화상, 즉 도 38의 예에서는 얼굴화상(611-1, 611-2)을 피비교 대상으로 하여, 각 비교 대상과 각 피비교 대상의 조합 전부에 관해, 각각의 비교 처리, 예를 들면 이른바 매칭 처리를 실행함으로써, 각 조합에서의 비교 대상과 피비교 대상은 동일 인물의 얼굴화상인지의 여부를 각각 평가한다.

이 매칭 처리의 수법 자체는, 특히 한정되지 않지만, 예를 들면 본 실시의 형태에서는, 다음의 수법이 채용되어 있다. 즉, 번호(k)(k는, 조합의 번호이고, 하나 이상 조합 총수 이하의 번호)의 조합에 관해서는, 비교 대상의 얼굴화상과 피비교 대상의 얼굴화상의 유사도(이하, ak라고 기술한다)와, 비교 대상의 얼굴화상의 정지화상 내에서의 좌표와 피비교 대상의 얼굴화상의 정지화상 내에서의 좌표와의 거리(이하, bk라고 기술한다)의 양자를 이용한 소정의 연산에 의해 얻어지는 값을 스코어(Sk)라고 하여, 그 스코어(Sk)에 의해, 비교 대상과 피비교 대상은 동일 인물의 얼굴화상인지의 여부를 평가한다는 수법이 채용되어 있다.

여기서, 스코어(Sk)의 연산 수법 자체는, ak와 bk를 이용하면 족하고, 예를 들면 본 실시의 형태에서는, 다음의 식(1)에 의해 스코어(Sk)가 연산된다고 한다. 또한,식(1)에서, α, β는, 거리와 유사도를 비교 가능하게 하기 위한 파라미터, 즉, 정규화를 위한 파라미터를 나타내고 있다.

Sk=√α*ak＋β*bk … (1)

또한, ak의 연산 수법도 특히 한정되지 않고, 예를 들면, 이른바 주성분 분석을 이용한 유사도의 연산 수법 등을 채용할 수 있다. 또한, bk의 연산 수법에 관해서는, 예를 들면 다음과 같은 수법을 채용할 수 있다. 즉, 비교 대상과 피비교 대상이 되는 각 얼굴화상은, 각 얼굴 검출 정보에 의거하여 생성된 것이다. 이 얼굴 검출 정보는, 도 33에 도시되는 바와 같이, 정지화상에서의 얼굴의 위치를 갖고 있다. 따라서, 비교 대상에 관한 얼굴 검출 정보에 기재된 위치와, 피비교 대상에 관한 얼굴 검출 정보에 기재된 위치의 차분을 bk라고 한다는 bk의 연산 수법을 채용할 수 있다.

이와 같이 하여, 도 30의 얼굴화상 처리부(432)는, 각 비교 대상과 각 피비교 대상의 전 조합에 관한 스코어(Sk)를 연산하면, 다음에, 각 스코어(Sk)에 의거하여, 전 조합중에서, 동일 인물의 얼굴화상의 조합이라고 판정할 수 있는 페어(이하, 매치 페어라고 칭한다)를 선발하여 간다.

구체적으로는 예를 들면 본 실시의 형태에서는, 도 39 내지 도 41에 도시되는 바와 같이 하여, 매치 페어가 선발되어 간다.

즉, 도 39는, 매치 페어의 선택의 기본 원칙을 설명하는 도면이다. 도 39에는, 도 38과 같은 얼굴화상, 즉, 비교 대상으로서의 얼굴화상(612-1 내지 612-3)과, 피비교 대상으로서의 얼굴화상(611-1, 611-2)이 도시되어 있다.

도 39에서, 비교 대상으로서의 얼굴화상(612-1 내지 612-3)중의 소정의 하나로부터, 피비교 대상으로서의 얼굴화상(611-1, 611-2)중의 소정의 하나에 그어진 각 양화살표는, 스코어(Sk)가 연산된 조합을 나타내고 있다. 또한, 실선의 양화살표는, 현존하는 조합중에서 최고의 스코어(Sk)를 갖는 조합을 나타내고 있고, 점선의 양화살표는, 그 밖의 조합을 나타내고 있다. 단, 상세에 관해서는 후술하지만, 최고의 스코어(Sk)를 갖는 조합이라도, 그 스코어(Sk)가 임계치 이하인 조합에 관해서는, 점선의 양화살표로 도시되어 있다. 이 양화살표의 내용에 관해서는, 후술하는 도 40과 도 41에서도 마찬가지이다.

도 39의 각 양화살표로 도시되는 바와 같이, 도 30의 얼굴화상 처리부(432)는, 원칙으로서, 현존하는 조합중에서 최고의 스코어(Sk)를 갖는 조합을, 매치 페어로서 선발한다.

구체적으로는 예를 들면, 도 39의 속이 빈 화살표의 왼쪽의 예인 경우, 즉, 비교 대상으로서의 얼굴화상(612-1 내지 612-3)과, 피비교 대상으로서의 얼굴화상(611-1, 611-2)의 모든 조합이 존재하는 경우에는, 얼굴화상(612-1)과 얼굴화상(611-1)이 실선의 양화살표로 맺어져 있기 때문에, 즉, 최고의 스코어(Sk)를 갖기 때문에, 이 조합이 매치 페어로서 최초에 선발된다.

다음에, 얼굴화상 처리부(432)는, 선발된 매치 페어에 포함되는 얼굴화상(611-1, 612-1)중의 어느 한쪽을 포함하는 다른 조합 전부를, 다음의 매치 페어의 선발 후보로부터 제외한다. 그 결과, 도 39의 속이 빈 화살표의 오른쪽에 도시되는 바와 같이, 비교 대상으로서의 얼굴화상(612-2, 612-3)과, 피비교 대상으로서 의 얼굴화상(611-2)의 전 조합이 다음의 매치 페어의 선발 후보로 된다. 이 경우, 얼굴화상(612-3)과 얼굴화상(611-2)이 실선의 양화살표로 맺어져 있기 때문에, 즉, 최고의 스코어(Sk)를 갖기 때문에, 이 조합이 매치 페어로서 다음에 선발된다.

도 39의 예에서는, 2회째에 선발된 매치 페어에 포함되는 얼굴화상(611-2, 612-3)의 어느 한쪽을 포함하는 다른 조합의 전부가 제외되면, 스코어(Sk)가 연산된 조합 자체가 존재하지 않게 되기 때문에, 매칭 처리는 종료로 된다. 이에 대해, 도시는 하지 않지만, 가령 조합이 잔존하고 있는 경우에는, 조합이 없어질 때까지, 상술한 일련의 처리가 반복되어 매치 페어가 순차로 선발되어 간다.

이상, 도 39를 이용하여 매치 페어의 선발 수법의 기본 원칙에 관해 설명하였지만, 본 실시의 형태에서는, 이 기본 원칙에 의거한 도 40과 도 41에 도시되는 매치 페어의 선발 수법이 채용되어 있다. 또한, 도 40과 도 41의 예에서는, 설명의 간략상, 비교 대상으로부터 얼굴화상(612-3)은 생략되어 있다. 이하, 도 40과 도 41의 매치 페어의 선택 수법에 관해, 도 39를 이용하여 설명한 기본 원칙과의 차이를 중심으로 설명하여 간다.

즉, 도 39의 예에서는, 설명의 간략상, 피비교 대상의 얼굴화상은, 번호(i)의 처리 대상 GOP의 하나 전의 번호(i-1)의 GOP에 관한 얼굴화상(611-1, 611-2)만으로 되었다. 그러나, 번호(i-1)의 GOP로부터 생성된 정지화상에는 특정 인물의 얼굴이 포함되어 있다고는 한하지 않는다. 그래서, 본 실시의 형태에서는, 특정 인물의 피비교 대상의 얼굴화상으로서는, 처리 대상 GOP에 대해, 가장 가까운 과거의 GOP로부터 생성된 얼굴화상(이하, 최신의 얼굴화상이라고 칭한다)이 채용된다.

구체적으로는 예를 들면, 도 40의 예에서는, 처리 대상 GOP의 하나 전의 번호(i-1)의 GOP로부터는, 인물(A)의 얼굴화상(611-1)과, 인물(B)의 얼굴화상(611-2)이 생성되어 있다. 또한, 처리 대상 GOP의 2개 전의 번호(i-2)의 GOP로부터, 인물(A)의 얼굴화상(610-1)과, 인물(B)의 얼굴화상(610-2)이 생성되어 있다. 그리고, 처리 대상 GOP의 3개 전의 번호(i-3)의 GOP로부터는, 인물(B)의 얼굴화상(609-2)과, 인물(C)의 얼굴화상(609-3)이 생성되어 있다.

이 경우, 인물(A)과 인물(B)에 관해서는, 최신의 얼굴화상은 얼굴화상(611-1, 611-2)의 각각이 되고, 도 39의 예와 마찬가지로, 이들의 얼굴화상(611-1, 611-2)이 피비교 대상으로 된다. 그런데, 번호(i-1, i-2)의 GOP에서, 인물(C)은 등장하고 있지 않고, 즉, 인물(C)의 얼굴화상은 생성되어 있지 않다. 그래서, 이와 같은 경우, 번호(i-3)의 GOP로부터 생성된 얼굴화상(609-3)이 최신의 얼굴화상이 되기 때문에, 이러한 얼굴화상(609-3)이, 인물(C)에 관한 피비교 대상으로 되는 것이다.

이와 같이 하여 피비교 대상이 결정된 후는, 원칙으로서 도 39를 이용하여 설명한 매칭 처리(기본 원칙의 처리)가 행하여지고, 순차로 매치 페어가 선발되어 간다.

예를 들면 도 40의 예에서는, 도 39의 예와 마찬가지로, 최초에, 얼굴화상(612-1)과 얼굴화상(611-1)의 조합이 매치 페어로서 선발된다. 이로써, 번호(i)의 GOP에 관한 얼굴화상(612-1)은 인물(A)의 얼굴화상이라고 판정되고, 그 결과, 도 35의 얼굴화상 테이블의 인물(A)의 번호(i)의 항목에는 「얼굴 정보」가 기재된다.

그리고, 선발된 매치 페어에 포함되는 얼굴화상(611-1, 612-1)중의 적어도 한쪽을 포함하는 다른 조합의 전부가, 다음의 매치 페어의 선발 후보로부터 제외된다. 그러면, 도 40의 예에서는, 얼굴화상(612-2)과 얼굴화상(611-2)의 조합과, 얼굴화상(612-2)과 얼굴화상(609-3)의 조합이 다음의 매치 페어의 선발 후보로 되고, 이들의 선발 후보중에서 다음의 매치 페어가 선발된다. 구체적으로는, 얼굴화상(612-2)과 얼굴화상(611-2)이 실선의 양화살표로 맺어져 있기 때문에, 즉, 최고의 스코어(Sk)를 갖기 때문에, 이 조합이 매치 페어로서 다음에 선발된다. 이로써, 번호(i)의 GOP에 관한 얼굴화상(612-2)은 인물(B)의 얼굴화상이라고 판정되고, 그 결과, 도 35의 얼굴화상 테이블의 인물(B)의 번호(i)의 항목에는 「얼굴 정보」가 기재된다.

단, 얼굴화상(612-2)과 얼굴화상(611-2)의 조합이, 현존한 조합중에서 최고의 스코어(Sk)를 갖는다고 하여도, 그 스코어(Sk)가 너무 낮은 값인 경우에는, 번호(i)의 GOP에 관한 얼굴화상(612-2)은 인물(B)의 얼굴화상이라고 판정한 것은 무리가 있다. 따라서, 이와 같은 경우를 고려하여, 본 실시의 형태에서는 예를 들면, 스코어(Sk)가 소정의 임계치 이하인 조합에 관해서는, 매치 페어로는 하지 않고(매치 페어 후보로부터 제외하고), 그 조합에 포함되는 비교 대상의 얼굴화상은 새로운 등장 인물의 얼굴화상이라고 판정하는 것으로 한다.

구체적으로는 예를 들면 도 41의 예에서는, 얼굴화상(612-2)과 얼굴화상(611-2)의 조합의 스코어(Sk)가 소정의 임계치 이하로 되어 있고, 그 결과, 얼굴화상(61-2)은, 인물(B)이 아니라 새로운 등장 인물(D)의 얼굴화상이라고 판정되어 있다. 이 경우, 도 35의 얼굴화상 테이블에 인물(D)의 열이 새롭게 등록되고, 그 인물(D)의 열의 번호(1 내지 i-1)의 각 항목에는 「무」가 기재되고, 번호(i)의 항목에는 「얼굴 정보」가 기재된다.

또한, 예를 들면 상술한 도 36에 도시되는 바와 같이, 실세계의 실인물(b)에 관해서는, 번호(4)까지의 GOP를 최후로 하여 그 후 얼굴화상은 장기간 생성되지 않고, 번호(n-5)의 GOP가 되어 재차 얼굴화상이 생성되어 있다. 이 번호(n-5)의 GOP가 처리 대상 GOP로 되어 있는 경우, 인물(B)의 피비교 대상으로서 채용된 최신의 얼굴화상이란, 번호(4)의 GOP에 관한 얼굴화상으로 된다. 이와 같은 경우, 비교 대상인 번호(n-5)의 얼굴화상과, 피비교 대상인 번호(4)의 GOP에 관한 얼굴화상의 조합의 스코어(Sk)가 예를 들어 최고치였다고 하여도, 기간이 너무 떨어져 있기 때문에, 예를 들면 실시의 형태에서는, 번호(n-5)의 얼굴화상은, 인물(B)의 얼굴화상이라고는 판정하지 않고, 인물(B)과는 다른 인물(D)의 얼굴화상이라고 판정하는 것으로 한다. 이 경우도, 도 35의 얼굴화상 테이블의 열에 인물(D)의 열이 새롭게 등록되고, 그 인물(D)의 열의 번호(1 내지 n-6)의 각 항목에는 「무」가 기재되고, 번호(n-5)의 항목에는 「얼굴 정보」가 기재된다.

또한, 다른 인물로 간주하는 기간의 설정에 관해서는, 상술한 바와 같이 특히 한정되지 않고, 예를 들면 3초에 상당하는 GOP 기간과 같이 설계자 등이 임의로 설정 가능하다.

또한, 이상과 같이 하여 선발된 매치 페어에 관한 스코어(Sk)가, 그 매치 페어에 포함되는 비교 대상에 관한 얼굴 검출 정보의 「유사도(스코어)」의 항목(도 33 참조)에 기재된다.

이상, 도 38 내지 도 41을 참조하여, 본 발명이 적용되는 수법의 하나인 얼굴화상 유무 판정 수법에 관해 설명하였다.

이러한 얼굴화상 유무 판정 수법이 적용된 경우의 도 31의 스텝 S109의 처리, 즉, 얼굴화상 테이블 생성/갱신 처리의 한 예가, 도 42의 플로우 차트로서 도시되어 있다.

도 42의 스텝 S121에서, 도 30의 얼굴화상 처리부(432)는, 처리 대상 GOP에 관한 하나 이상의 각 얼굴화상과, 얼굴화상 테이블에 등록되어 있는 전인물의 각 얼굴화상의 조합의 전부에 관해, 각각 매칭 처리를 실행하여, 스코어(Sk)를 각각 산출한다.

또한, 처리 대상 GOP에 관한 하나 이상의 각 얼굴화상이 상술한 비교 대상이고, 얼굴화상 테이블에 등록되어 있는 전인물의 각 얼굴화상이, 상술한 최신의 얼굴화상으로서의 피비교 대상이다. 얼굴화상 테이블에 등록되어 있는 전인물이란, 예를 들면 도 35의 예에서는, 인물(A 내지 H)이다.

스텝 S122에서, 얼굴화상 처리부(432)는, 최고의 스코어(Sk)를 갖는 조합을, 처리 대상 조로서 설정한다.

스텝 S123에서, 얼굴화상 처리부(432)는, 처리 대상 조의 스코어(Sk)는 임계치를 초과하고 있는지의 여부를 판정한다.

처리 대상 조의 스코어(Sk)가 임계치를 초과하고 있는 경우, 스텝 S123의 처리에서 YES라고 판정되고, 처리는 스텝 S124로 진행한다.

스텝 S124에서, 얼굴화상 처리부(432)는, 처리 대상 조의 시간 간격은 임계치 이하인지의 여부를 판정한다. 여기서, 시간 간격이란, 예를 들면, 처리 대상 조에 포함되는 2개의 얼굴화상의 각각이 생성된 2개의 GOP의 시간 간격을 말한다. 구체적으로는 예를 들면, 처리 대상 GOP의 번호(i)에 대해, 처리 대상 조에 포함되는 피비교 대상에 관한 GOP의 번호가 j(j는 i-1 이하의 정수치)인 경우, i-j 등이 시간 간격으로서 채용 가능하다.

처리 대상 조의 시간 간격이 임계치 이하인 경우, 스텝 S124의 처리에서 YES라고 판정되고, 처리는 스텝 S125로 진행한다.

스텝 S125에서, 얼굴화상 처리부(432)는, 처리 대상 조를 매치 페어로서 확정한다.

스텝 S126에서, 얼굴화상 처리부(432)는, 매치 페어에 포함되는 처리 대상 GOP에 관한 얼굴화상의 인물과, 그 매치 페어에 포함되는 다른쪽의 얼굴화상의 인물은 동일 인물이라고 인정한다.

스텝 S127에서, 얼굴화상 처리부(432)는, 얼굴화상 테이블중의, 매치 페어에 포함되는 얼굴화상의 인물의 처리 대상 GOP의 항목에 「얼굴 정보」라고 기재한다.

스텝 S128에서, 얼굴화상 처리부(432)는, 매치 페어에 포함되는 얼굴화상에 관한 전조합(매치 페어 포함)을 제외한다.

스텝 S129에서, 얼굴화상 처리부(432)는, 조합은 남아 있는지의 여부를 판정한다.

조합이 남아 있는 경우에는, 스텝 S129의 처리에서 YES라고 판정되고, 처리 는 스텝 S123의 처리로 되돌아와, 그 이후의 처리가 반복된다. 즉, 다음의 스텝 S122의 처리에서, 남아 있는 조합중에서 최고의 스코어(Sk)를 갖는 조합이 처리 대상 조로서 설정되어, 스텝 S123 이후의 처리가 반복된다.

단, 처리 대상 조의 스코어(Sk)가 임계치 이하인 경우에는 스텝 S123의 처리에서 NO라고 판정되고, 또한, 처리 대상 조의 시간 간격이 임계치를 초과하고 있는 경우에는 스텝 S124의 처리에서 NO라고 판정되고, 각각 처리는 스텝 S130으로 진행한다.

스텝 S130에서, 얼굴화상 처리부(432)는, 처리 대상 조에 포함되는 얼굴화상을, 새로운 등장 인물의 대표화상으로서 얼굴화상 테이블에 등록한다. 그 후, 처리는 스텝 S129로 진행하여, 그 이후의 처리가 실행된다.

이상의 스텝 S122 내지 S130의 루프 처리가 실행되고, 그 결의 조합이 존재하지 않게 되면, 스텝 S129의 처리에서 NO라고 판정되고, 처리는 스텝 S131로 진행한다.

스텝 S131에서, 얼굴화상 처리부(432)는, 얼굴화상 테이블에서 미기재된 처리 대상 GOP의 항목에 대해 「무」라고 기재한다.

이로써, 얼굴화상 테이블 생성/갱신 처리는 종료로 된다. 즉, 도 31의 스텝 S109의 처리는 종료하고, 처리는 스텝 S110으로 진행하게 된다.

이상, 도 29의 화상 가공부(413)의 화상 정보 검출부(427)의 처리로서, 동화 콘텐츠용의 리소스 데이터를 생성하여 기록하는 처리, 즉 도 31의 리소스 데이터 생성 기록 처리에 관해 설명하여 왔다.

또한, 화상 정보 검출부(427)는, 도 43에 도시되는 정지화상 리소스 데이터 생성 기록 처리를 실행함으로써, 정지화 콘텐츠용의 리소스 데이터로서, 상술한 도 20의 인물 폴더(271 내지 273) 등을 생성하여 기록 미디어(51)에 기록시킬 수도 있다.

즉, 도 43의 스텝 S151에서, 화상 정보 검출부(427)는, 기록 대상의 하나 이상의 정지화 콘텐츠중의 소정의 하나를 처리 대상 정지화상으로 설정한다. 기록 대상의 하나 이상의 정지화 콘텐츠란, 예를 들면 도 20의 예에서는 기록 미디어(51)에 기록되어 있는 전(全) 정지화 콘텐츠를 말한다.

스텝 S151의 처리 후, 스텝 S152 내지 S157의 처리가 실행된다. 이 스텝 S152 내지 S157의 각각의 처리는, 상술한 도 31의 스텝 S103 내지 S108의 각각의 처리와 기본적으로 같은 처리이기 때문에, 여기서는 그 설명은 생략한다. 단, 얼굴 검출 정보가 하나도 생성되지 않은 경우에는, 도 43의 예에서는 스텝 S156의 처리에서 NO라고 판정되고 처리는 스텝 S164로 진행하는 점이, 도 31의 예의 처리와는 다른 점이다. 또한, 스텝 S164 이후의 처리에 관해서는 후술한다.

스텝 S157의 처리의 결과, 처리 대상 정지화상으로부터 하나 이상의 얼굴화상이 잘라 내지면, 처리는 스텝 S158로 진행한다.

스텝 S158에서, 화상 정보 검출부(427)는, 하나 이상의 얼굴화상중의 소정의 1장을 처리 대상 얼굴화상으로 설정한다.

스텝 S159에서, 화상 정보 검출부(427)는, 처리 대상 얼굴화상은 신규의 인물의 얼굴화상인지의 여부를 판정한다.

스텝 S159에서, 처리 대상 얼굴화상은 신규의 인물의 얼굴화상이라고 판정한 경우, 화상 정보 검출부(427)는, 스텝 S160에서, 신규 인물용의 인물 폴더를 제작한다. 이로써, 처리는 스텝 S161로 진행한다.

이에 대해, 스텝 S159에서, 처리 대상 얼굴화상은 신규의 인물의 얼굴화상이 아니라고 판정한 경우, 즉, 처리 대상 얼굴화상은 이미 나온(기출(旣出) 인물의 얼굴화상이라고 판정한 경우, 화상 정보 검출부(427)는, 스텝 S160의 처리를 실행하지 않고, 처리를 스텝 S161로 진행한다.

스텝 S161에서, 화상 정보 검출부(427)는, 처리 대상 얼굴화상으로부터 얼굴 섬네일 화상 등의 정지화상 리소스 데이터를 생성한다. 그리고, 스텝 S162에서, 화상 정보 검출부(427)는, 그 정지화상 리소스 데이터를, 대응하는 인물 폴더에 포함한다.

스텝 S163에서, 화상 정보 검출부(427)는, 미설정의 얼굴화상은 존재하는지의 여부를 판정한다.

스텝 S157의 처리의 결과로서 처리 대상 정지화상으로부터 잘라내여진 하나 이상의 얼굴화상중에, 처리 대상 얼굴화상에 아직 설정되지 않은 얼굴화상이 존재하는 경우, 스텝 S163의 처리에서 YES라고 판정되고, 처리는 스텝 S158로 되돌아와, 그 이후의 처리가 반복된다.

즉, 스텝 S157의 처리의 결과로서 처리 대상 정지화상으로부터 잘라내여진 하나 이상의 얼굴화상의 각각에 대해, 스텝 S158 내지 S163의 루프 처리가 반복 실행된다. 그러면, 스텝 S163의 처리에서 NO라고 판정되고, 처리는 스텝 S164로 진행 한다.

또한, 상술한 바와 같이 스텝 S156의 처리에서 NO라고 판정된 경우도 처리는 스텝 S164로 진행한다.

스텝 S164에서, 화상 정보 검출부(427)는, 미설정의 정지화 콘텐츠는 존재하는지의 여부를 판정한다.

기록 대상의 하나 이상의 정지화 콘텐츠중에, 처리 대상 정지화상에 아직 설정되지 않은 것이 존재하는 경우, 스텝 S164의 처리에서 YES라고 판정되고, 처리는 스텝 S151로 되돌아와, 그 이후의 처리가 반복된다.

즉, 기록 대상의 하나 이상의 정지화 콘텐츠의 각각에 대해, 스텝 S151 내지 S164의 루프 처리가 실행된다. 그러면, 스텝 S164의 처리에서 NO라고 판정되고, 처리는 스텝 S165로 진행한다.

스텝 S165에서, 화상 정보 검출부(427)는, 각 인물 폴더를 관리 정보 등과 함께, 정지화상 리소스 데이터로서 기록 미디어(51) 등에 기록한다.

이로써, 정지화상 리소스 데이터 생성 처리는 종료로 된다.

그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.

도 44는 상술한 일련의 처리를 프로그램에 의해 실행하는 퍼스널 컴퓨터의 구성의 예를 도시하는 블록도이다. 즉, 도 6의 재생 장치, 도 17의 기록 재생 장치 및 도 28의 화상 기록 장치(401)의 각각의 전체 또는 일부분을, 도 44의 퍼스널 컴퓨터로 구성할 수도 있다.

도 44에서, CPU(Central Processing Unit)(701)는, ROM(Read Only Memory)(702), 또는 기억부(708)에 기억되어 있는 프로그램에 따라 각종의 처리를 실행한다. RAM(Random Access Memory)(703)에는, CPU(701)가 실행하는 프로그램이나 데이터 등이 적절히 기억된다. 이러한 CPU(701), ROM(702), 및 RAM(703)은, 버스(704)에 의해 서로 접속되어 있다.

CPU(701)에는 또한, 버스(704)를 통하여 입출력 인터페이스(705)가 접속되어 있다. 입출력 인터페이스(705)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(706), 디스플레이, 스피커 등으로 이루어지는 출력부(707)가 접속되어 있다. CPU(701)는, 입력부(706)로부터 입력되는 지령에 대응하여 각종의 처리를 실행한다. 그리고, CPU(701)는, 처리의 결과를 출력부(707)에 출력한다.

입출력 인터페이스(705)에 접속되어 있는 기억부(708)는, 예를 들면 하드 디스크로 이루어지고, CPU(701)가 실행하는 프로그램이나 각종의 데이터를 기억한다. 통신부(709)는, 인터넷이나 로컬 에어리어 네트워크 등의 네트워크를 통하여 외부의 장치와 통신한다.

또한, 통신부(709)를 통하여 프로그램을 취득하고, 기억부(708)에 기억하여도 좋다.

입출력 인터페이스(705)에 접속되어 있는 드라이브(210)는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(211)가 장착된 때, 그것들을 구동하고, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라 기억부(708)에 전송되고, 기억된다.

컴퓨터에 인스톨되고, 컴퓨터에 의해 실행 가능한 상태가 되는 프로그램을 격납하는 프로그램 기록 매체는, 도 44에 도시되는 바와 같이, 자기 디스크(플렉시블 디스크를 포함한다), 광디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함한다), 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(211), 또는, 프로그램이 일시적 또는 영속적으로 격납되는 ROM(702)이나, 기억부(708)를 구성한 하드 디스크 등에 의해 구성된다. 프로그램 기록 매체에의 프로그램의 격납은, 필요에 따라 루터, 모뎀 등의 인터페이스인 통신부(709)를 통하여, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송이라는, 유선 또는 무선의 통신 매체를 이용하여 행하여진다.

또한, 본 명세서에서, 프로그램 기록 매체에 격납되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

또한, 본 명세서에서, 시스템이란, 복수의 장치 또는 회로에 의해 구성되는 장치 또는 회로 전체를 나타내는 것이다.

도 1은 본 발명에 의해 실현 가능한 동화 콘텐츠의 재생 지시 조작예를 설명하는 도면.

도 2는 얼굴 구간의 특정 수법의 한 예와 얼굴 섬네일 화상의 작성 수법의 한 예를 설명하는 도면.

도 3은 얼굴 구간의 특정이나 얼굴 섬네일 화상의 작성에 필요한 정지화상의 생성 수법의 한 예를 설명하는 도면.

도 4는 본 발명이 적용되는 기록 미디어의 구조예를 도시하는 도면.

도 5는 도 4의 기록 미디어의 메타 파일에 포함되는 얼굴 구간 메타 정보의 구조예를 도시하는 도면.

도 6은 본 발명이 적용되는 정보 처리 장치로서의 재생 장치의 기능적 구성예를 도시하는 기능 블록도.

도 7은 도 6의 RAM의 관리 정보 영역의 구조예를 도시하는 도면.

도 8은 도 7의 구조의 관리 정보 영역에 기록될 수 있는 데이터예를 도시하는 도면.

도 9는 유저에 의해 재생 지시 조작이 행하여지는 경우에 도 6의 재생 장치가 채택할 수 있는 상태 한 예를 도시하는 상태 천이도.

도 10은 도 9의 동화 선택 화면 표시 상태일 때에 표시되는 화상의 한 예를 도시하는 도면.

도 11은 도 9의 동화 선택 화면 표시 상태일 때에 표시되는 화상의 한 예를 도시하는 도면.

도 12는 도 9의 얼굴 구간 재생 선택 화면 표시 상태일 때에 표시되는 화상의 한 예를 도시하는 도면.

도 13은 도 9의 얼굴 구간 재생 선택 화면 표시 상태일 때에 표시되는 화상의 한 예를 도시하는 도면.

도 14는 도 9의 얼굴 구간 재생 선택 화면 표시 상태의 상세예를 도시하는 상태 천이도.

도 15는 본 발명이 적용되는 일괄 적어 들임 전송 수법을 설명하는 도면.

도 16은 도 12의 화상에 대해, 일괄 적어 들임 전송 수법을 적용한 경우의 예를 도시하는 도면.

도 17은 본 발명이 적용되는 정보 처리 장치중의, 일괄 적어 들임 전송 수법의 실현이 가능한 기록 재생 장치의 기능적 구성예를 도시하는 기능 블록도.

도 18은 도 17의 기록 재생 장치가 실행한 일괄 적어냄 처리예를 설명하는 플로우 차트.

도 19는 도 18의 일괄 적어냄 처리의 처리 결과의 구체예를 도시하는 도면.

도 20은 얼굴 섬네일 화상을 정지화 콘텐츠에 적용하는 경우의 예를 설명하는 도면.

도 21은 도 9의 정지화 선택 화면 표시 상태의 상세예를 도시하는 상태 천이도.

도 22는 도 21의 얼굴 섬네일 화면 표시 상태일 때에 표시되는 화상의 한 예 를 도시하는 도면.

도 23은 도 21의 얼굴 섬네일 원화상 화면 표시 상태일 때에 표시되는 화상의 한 예를 도시하는 도면.

도 24는 도 21의 얼굴 섬네일 화면 표시 상태일 때에 표시되는 화상의 한 예를 도시하는 도면.

도 25는 도 21의 선택 인물 원화상 일람 화면 표시 상태일 때에 표시되는 화상의 한 예를 도시하는 도면.

도 26은 도 21의 정지화 표시 상태일 때에 표시되는 화상의 한 예를 도시하는 도면.

도 27은 정지화 콘텐츠에 대해, 일괄 적어 들임 전송 수법을 적용한 경우의 예를 도시하는 도면.

도 28은 본 발명이 적용되는 정보 처리 장치로서의 화상 기록 장치의 기능적 구성예를 도시하는 기능 블록도.

도 29는 도 28의 화상 기록 장치의 화상 가공부의 상세한 기능적 구성예를 도시하는 기능 블록도.

도 30은 도 29의 화상 가공부의 화상 정보 검출부의 상세한 기능적 구성예를 도시하는 기능 블록도.

도 31은 도 30의 화상 정보 검출부 등이 실행한 리소스 데이터 생성 기록 처리예를 설명하는 플로우 차트.

도 32는 도 31의 리소스 데이터 생성 기록 처리의 처리 결과의 구체예를 도 시하는 도면.

도 33은 도 31의 리소스 데이터 생성 기록 처리의 처리 결과의 구체예를 도시하는 도면.

도 34는 도 31의 리소스 데이터 생성 기록 처리의 처리 결과의 구체예를 도시하는 도면.

도 35는 도 31의 리소스 데이터 생성 기록 처리중의 얼굴화상 테이블 생성/갱신 처리에 의해 생성/갱신되는 얼굴화상 테이블의 한 예를 도시하는 도면.

도 36은 도 31의 리소스 데이터 생성 기록 처리의 처리 결과의 구체예를 도시하는 도면.

도 37은 도 31의 리소스 데이터 생성 기록 처리의 처리 결과의 구체예를 도시하는 도면.

도 38은 도 31의 리소스 데이터 생성 기록 처리중의 얼굴화상 테이블 생성/갱신 처리의 일부의 처리 내용예를 설명하는 도면.

도 39는 도 31의 리소스 데이터 생성 기록 처리중의 얼굴화상 테이블 생성/갱신 처리의 일부의 처리 내용예를 설명하는 도면.

도 40은 도 31의 리소스 데이터 생성 기록 처리중의 얼굴화상 테이블 생성/갱신 처리의 일부의 처리 내용예를 설명하는 도면.

도 41은 도 31의 리소스 데이터 생성 기록 처리중의 얼굴화상 테이블 생성/갱신 처리의 일부의 처리 내용예를 설명하는 도면.

도 42는 도 31의 리소스 데이터 생성 기록 처리중의 얼굴화상 테이블 생성/ 갱신 처리의 일부의 처리 내용예를 설명하는 도면.

도 43은 도 31의 리소스 데이터 생성 기록 처리중의 얼굴화상 테이블 생성/갱신 처리의 상세예를 설명하는 플로우 차트.

도 44는 본 발명이 적용되는 정보 처리 장치로서의 퍼스널 컴퓨터의 구성예를 도시하는 블록도.

(도면의 주요부분에 대한 부호의 설명)

1 : 동화 콘텐츠 11 내지 14 : 얼굴 구간

21 내지 24 : 얼굴 섬네일 화상 41 : 섬네일 화상

51 : 기록 미디어 52 : 실데이터 영역

53 : 리소스 데이터 영역 61 : 관리 정보 파일

62 : 섬네일 파일 63 : 메타 파일

64 : 콘텐츠 65 : 리소스 데이터

71 : 제어부 91 : 시스템 제어부

92 : UI 제어부 93 : 콘텐츠 관리 정보 제어부

101 : 관리 정보 영역 102 : 실데이터 영역

111 : 화상 처리용 영역 112 : 프로퍼티 영역

113 : 섬네일 영역 114 : 메타 영역

161 : 얼굴 섬네일 GUI 화상 162 : 원장면 GUI 화상

163 : 타임 라인 GUI 화상 181 내지 184 : 섬네일 화상

191 : 타임 라인 301 : 얼굴 섬네일 GUI 화상

302 : 얼굴 섬네일 원화상 GUI 화상

303 : 선택 인물 원화상 GUI 화상

311 내지 314 : 대표얼굴 섬네일 화상

321 내지 324 : 섬네일 화상 401 : 화상 기록 장치

411 : 제어부 413 : 화상 가공부

427 : 화상 정보 검출부 431 : 정지화 생성부

432 : 얼굴화상 처리부 433 : 섬네일 생성부

511 : 얼굴화상 521 : 얼굴 구간

522 : 얼굴 섬네일 화상 601, 602 : 정지화상

609 내지 612 : 얼굴화상 701 : CPU

702 : ROM 708 : 기억부

211 : 리무버블 미디어

Claims (12)

1. 복수의 구간으로 구분 가능한 화상 콘텐츠를 재생하기 위한 리소스 정보를 생성하는 정보 처리 장치에 있어서,

   상기 복수의 구간의 각각으로부터, 정지화상을 생성하는 화상 생성 수단과,

   상기 복수의 구간의 각각을 처리 대상 구간으로 하고, 그것보다도 전의 하나 이상의 구간에 연속하여 등장하고 있다고 판단되는 특정 인물의 얼굴이, 상기 화상 생성 수단에 의해 상기 처리 대상 구간에서 생성된 상기 정지화상에 포함되어 있는지의 여부를 판단하는 처리를 실행하는 얼굴 처리 수단과,

   상기 얼굴 처리 수단의 상기 복수의 구간의 각 판단 결과에 의거하여, 상기 복수의 구간에서, 상기 특정 인물이 연속하여 등장하고 있다고 판단되는 하나 이상의 구간을 얼굴 구간으로서 특정하고, 그 얼굴 구간을 나타내는 정보를 상기 리소스 정보의 하나로서 생성하는 정보 생성 수단을 구비하는 것을 특징으로 하는 정보 처리 장치.
2. 제 1항에 있어서,

   상기 정보 생성 수단은, 상기 리소스 정보의 다른 하나로서, 또한, 상기 얼굴 구간의 인덱스로서의 얼굴 섬네일 화상을, 상기 얼굴 구간에 포함되는 하나 이상의 상기 구간에서 상기 화상 생성 수단에 의해 각각 생성된 하나 이상의 상기 정지화상중의 소정의 1장에 포함되어 있던 상기 특정 인물의 얼굴에 의거하여 생성한 것을 특징으로 하는 정보 처리 장치.
3. 제 1항에 있어서,

   상기 정보 생성 수단은, 상기 얼굴 처리 수단에 의해 상기 특정 인물의 얼굴이 포함되어 있다고 판단된 구간이 하나 이상 연속하여 있는 경우, 그 연속하여 있는 하나 이상의 구간을 상기 얼굴 구간으로서 특정하는 것을 특징으로 하는 정보 처리 장치.
4. 제 3항에 있어서,

   상기 정보 생성 수단은, 또한,

   상기 얼굴 처리 수단에 의해 상기 특정 인물의 얼굴이 포함되어 있다고 판단된 하나 이상의 구간으로 이루어지는 제 1의 연속 구간과 제 2의 연속 구간 사이에, 상기 얼굴 처리 수단에 의해 상기 특정 인물의 얼굴이 포함되어 있지 않다고 판단된 하나 이상의 구간으로 이루어지는 제 3의 연속 구간이 존재하는 경우, 상기 제 3의 연속 구간의 길이가 임계치 이하일 때, 상기 제 1의 연속 구간, 상기 제 3의 연속 구간 및 상기 제 2의 연속 구간을, 하나의 상기 얼굴 구간으로서 특정하고, 상기 제 3의 연속 구간의 길이가 임계치를 초과하고 있을 때, 상기 제 1의 연속 구간 및 상기 제 2의 연속 구간의 각각을, 다른 상기 얼굴 구간으로서 특정하는 것을 특징으로 하는 정보 처리 장치.
5. 제 1항에 있어서,

   상기 얼굴 처리 수단은,

   상기 처리 대상 구간에 관한 상기 정지화상으로부터 인물의 얼굴의 검출을 시도하고,

   얼굴의 검출의 시도에 성공한 경우,

   상기 처리 대상 구간에 관한 상기 정지화상으로부터, 검출된 상기 얼굴의 영역을 잘라냄으로써 얼굴화상을 생성하고,

   상기 처리 대상 구간에서 생성된 상기 얼굴화상을 비교 대상으로 하고, 상기 처리 대상 구간보다도 전의 구간에서 생성된 상기 특정 인물의 얼굴화상중의 최신의 얼굴화상을 피비교 대상으로 하고, 상기 비교 대상과 상기 피비교 대상의 비교를 행하고,

   그 비교의 결과에 의거하여, 상기 처리 대상 구간에 관한 상기 정지화상에 상기 특정 인물이 포함되어 있는지의 여부를 판단하는 것을 특징으로 하는 정보 처리 장치.
6. 제 5항에 있어서,

   상기 얼굴 처리 수단은, 또한, 상기 특정 인물의 정보가 기재되는 테이블을 보존하고 있고, 상기 처리 대상 구간에 관한 상기 정지화상에 상기 특정 인물이 포함되어 있는지의 여부의 정보를 상기 테이블에 기재하고,

   상기 정보 생성 수단은, 상기 얼굴 처리 수단에 의해 기재된 상기 테이블의 내용에 의거하여, 상기 얼굴 구간을 특정하는 것을 특징으로 하는 정보 처리 장치.
7. 제 6항에 있어서,

   상기 테이블은, 하나 이상의 상기 특정 인물의 각각에 관한 정보가 기재되어 있고,

   상기 얼굴 처리 수단은,

   상기 처리 대상 구간의 상기 정지화상으로부터 하나 이상의 상기 얼굴을 검출하여 그 결과 하나 이상의 상기 얼굴화상을 생성한 경우,

   상기 처리 대상 구간의 상기 정지화상으로부터 생성된 상기 하나 이상의 얼굴화상의 각각을 상기 비교 대상으로 하고, 상기 테이블에 포함되는 하나 이상의 상기 특정 인물의 각각에 관한 상기 얼굴화상을 상기 피비교 대상으로 하고,

   하나 이상의 상기 비교 대상과 하나 이상의 상기 피비교 대상의 전 조합에 관해, 각각 매칭 처리를 행하고, 각각의 매칭 처리의 결과로서 스코어를 각각 산출하고,

   상기 스코어에 의거하여, 상기 전 조합중에서, 동일 인물의 얼굴화상끼리의 조합이라고 판단되는 매치 페어를 하나 이상 선발하고,

   상기 테이블에 포함되는 하나 이상의 상기 특정 인물중의, 하나 이상의 상기 매치 페어의 각각의 상기 피비교 대상에 대응하는 각 특정 인물에 관해서는, 상기 처리 대상 구간에 관한 상기 정지화상에도 포함되어 있다고 판단하고, 그 이외의 특정 인물은 포함되어 있지 않다고 판단하고, 각각의 판단 결과를 상기 테이블에 기재하는 것을 특징으로 하는 정보 처리 장치.
8. 제 7항에 있어서,

   상기 얼굴 처리 수단은, 또한, 상기 전 조합중의 상기 매치 페어가 선발로부터 누락된 조합에 관해, 그 조합에 상기 처리 대상으로서 포함되어 있는 얼굴화상에 대응하는 인물을 새로운 인물로서, 상기 테이블에 추가한 것을 특징으로 하는 정보 처리 장치.
9. 제 7항에 있어서,

   상기 얼굴 처리 수단은, 또한, 상기 전 조합중의, 상기 스코어가 소정의 임계치 이하인 조합에 관해서는, 상기 매치 페어의 선발 후보로부터 제외하는 것을 특징으로 하는 정보 처리 장치.
10. 제 7항에 있어서,

    상기 얼굴 처리 수단은, 또한, 상기 전 조합중의, 상기 처리 대상이 생성된 구간과, 상기 피처리 대상이 생성된 구간이 일정 기간 이상 떨어져 있는 조합에 관해서는, 상기 매치 페어의 선발 후보로부터 제외하는 것을 특징으로 하는 정보 처리 장치.
11. 복수의 구간으로 구분 가능한 화상 콘텐츠를 재생하기 위한 리소스 정보를 생성하는 정보 처리 장치의 정보 처리 방법에 있어서,

    상기 복수의 구간의 각각을 처리 대상 구간으로 하고,

    상기 처리 대상 구간에서 정지화상을 생성하고,

    상기 처리 대상 구간보다도 전의 하나 이상의 구간에 연속하여 등장하고 있다고 판단되는 특정 인물의 얼굴이, 상기 처리 대상 구간에서 생성된 상기 정지화상에 포함되어 있는지의 여부를 판단하고,

    상기 복수의 구간의 각 판단 결과에 의거하여, 상기 복수의 구간에서, 상기 특정 인물이 연속하여 등장하고 있다고 판단되는 하나 이상의 구간을 얼굴 구간으로서 특정하고, 그 얼굴 구간을 나타내는 정보를 상기 리소스 정보의 하나로서 생성하는 스텝을 포함하는 것을 특징으로 하는 정보 처리 방법.
12. 복수의 구간으로 구분 가능한 화상 콘텐츠를 재생하기 위한 리소스 정보를 생성하는 처리를 제어하는 컴퓨터에 실행시키는 프로그램으로서,

    상기 복수의 구간의 각각을 처리 대상 구간으로 하고,

    상기 처리 대상 구간에서 정지화상을 생성하고,

    상기 처리 대상 구간보다도 전의 하나 이상의 구간에 연속하여 등장하고 있다고 판단되는 특정 인물의 얼굴이, 상기 처리 대상 구간에서 생성된 상기 정지화상에 포함되어 있는지의 여부를 판단하고,

    상기 복수의 구간의 각 판단 결과에 의거하여, 상기 복수의 구간에서, 상기 특정 인물이 연속하여 등장하고 있다고 판단되는 하나 이상의 구간을 얼굴 구간으 로서 특정하고, 그 얼굴 구간을 나타내는 정보를 상기 리소스 정보의 하나로서 생성하는 스텝을 포함하는 것을 특징으로 하는 프로그램.

Images