KR20080084725A

KR20080084725A - 화상 처리 장치, 촬상 장치, 화상 표시 제어 방법, 및컴퓨터 프로그램

Info

Publication number: KR20080084725A
Application number: KR20080023826A
Authority: KR
Inventors: 사또시 에바또; 겐지 쯔시오; 다쯔히또 다부찌; 고 고바야시; 요시히또 오끼자끼; 시게루 마스다
Original assignee: 소니 가부시끼 가이샤
Priority date: 2007-03-15
Filing date: 2008-03-14
Publication date: 2008-09-19
Also published as: US8760554B2; EP1970908B1; JP2008228134A; US9143691B2; TW200904181A; EP1970908A2; EP1970908A3; TWI472228B; US20080225155A1; US20130293739A1; CN101267523A; JP4998026B2; CN101267523B

Abstract

화상을 처리하는 장치는, 사용자 조작 정보를 입력하는 입력부, 동화상 데이터를 기록하는 기록 매체, 상기 입력부로의 입력에 응답하여 상기 기록 매체에 기록된 데이터를 취득해서 표시 데이터를 생성하는 데이터 처리부, 및 상기 표시 데이터를 표시하는 표시부를 포함한다. 상기 데이터 처리부는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터 인물의 얼굴 화상을 포함하는 프레임을 선택해서, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 상기 표시부에 표시한다.

촬상 장치, 렌즈, CCD, 기록 매체, 마이크로프로세서, 전원 회로, 홈 키, 얼굴 인덱스 키, 씬 인덱스 표시 영역, 얼굴 인덱스 표시 영역

Description

화상 처리 장치, 촬상 장치, 화상 표시 제어 방법, 및 컴퓨터 프로그램{IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, IMAGE DISPLAY CONTROL METHOD AND COMPUTER PROGRAM}

본 발명은, 2007년 3월 15일자로 일본 특허청에 제출된 일본 특허 출원 JP2007-066169의 기술 내용을 포함하며, 이하 그 전체 내용이 참조된다.

본 발명은, 화상 처리 장치, 촬상 장치, 화상 표시 제어 방법, 및 컴퓨터 프로그램에 관한 것이다. 보다 상세하게는, 본 발명은 예를 들면 비디오 카메라 등에 의해 촬상된 다수의 동화상 데이터로부터 선택된 화상을 썸네일 화상 리스트로서 표시함과 함께, 썸네일 화상 리스트로부터 사용자의 썸네일 화상 지정에 따라, 썸네일 화상 위치에서 동화상 재생 프로세스를 시작하는 화상 처리 장치, 촬상 장치, 화상 표시 제어 방법, 및 컴퓨터 프로그램에 관한 것이다.

디지털 카메라 및 디지털 비디오 카메라 등의 촬상 장치와 DVD(digital versatile disk) 플레이어 등의 화상 처리 장치 대부분은, 비디오 표시부나 모니터 화면에 기록 매체에 저장된 화상 데이터 리스트를 표시하는 기능을 갖는다.

예를 들면, 촬상 장치나 DVD 플레이어 등의 동화상 재생 가능한 장치는, 동 화상의 타이틀 및 챕터를 메뉴 형식으로 배열하여 표시하고, 사용자가 표시 데이터로부터 재생 콘텐츠를 선택하도록 하여 재생시킨다. 예를 들면, 촬상 장치(imaging apparatus)는 동화상을 촬상하여, 1회의 촬영 프로세스(photographing process), 즉, 촬영 개시로부터 촬영 정지까지의 동화상 데이터를 1 씬으로서 캡쳐하고, 각 씬으로부터 선택된 대표 화상의 축소 화상(썸네일 화상)을 표시한다. 촬상 장치는 기록 매체에 기록되어 있는 복수의 씬(동화상 데이터)에 대한 썸네일 화상 리스트를 표시한다. 씬은 컷트라고도 불린다.

예를 들면, 일본 특개평 10-028250호 공보는, 각 씬으로부터 선택된 대표 화상의 축소 화상(썸네일 화상)을 표시하는 기술을 개시하고 있다.

기록 매체에 저장된 각 화상 데이터 파일을 구성하는 화상 데이터의 축소 화상(썸네일 화상)이 모니터에 표시되므로, 사용자는 캡쳐된 화상 데이터를 어느 정도 파악할 수 있다.

종래의 DVD 플레이어나 비디오 카메라에 표시된 썸네일 화상 리스트는, 씬을 단위로 1개의 썸네일 화상이 표시된다. 보다 구체적으로, 촬영 개시로부터 촬영 정지까지의 동화상 데이터를 1 씬으로 취급한다. 1 씬으로부터 1 개의 대표 화상이 선택된다. 예를 들면, 1 씬의 선두 화상을 선택해서 선택된 화상의 썸네일 화상을 표시한다.

기록 매체에는 다양한 동화상 데이터(씬)가 기록되어 있다. 동화상 데이터에서 각 씬(from scene to scene)의 시간 길이는 다양한데, 예를 들면, 짧은 씬은 수 초 길이일 수 있고 긴 씬은 1 시간 길이일 수 있다. 각 씬에 무엇이 나타나고 있는 것인지 판단이 어려운 경우도 발생한다. 썸네일 화상 리스트가 표시되는 경우에, 각 씬의 선두 화상의 정지 화상이 선택되고, 이것을 축소 화상으로서 표시한다. 선두 화상으로는 화상 데이터의 내용을 사용자가 파악하기 어려운 경우가 많다. 즉, 선두의 화상만을 표시하는 경우 사용자가 동화상의 내용을 파악하지 못하는 경우가 많다.

또한, 썸네일 화상 리스트로부터 재생 대상 씬을 선택한 경우, 선택된 씬은 그의 선두로부터 재생된다. 씬 중에서 사용자가 정말로 보고자 하는 장면은, 통상적으로 씬의 선두보다는 씬의 도중에 나타난다. 이러한 경우, 사용자는 재생을 개시한 다음, 고속 감기(fast-forward) 처리를 실행하고, 재생 화면이나 고속 감기 화면을 계속해서 보면서 재생하고자 하는 데이터 위치를 찾는다.

일본 특개평 06-153157호 공보는, 표시되는 시계열 순서로 추출된 인덱스 화상으로, 화상을 찾도록 하는 기술이 개시되어 있다. 이 기술은 인덱스 생성 프로세스가 사전에 수행될 것을 요구한다. 인덱스 화상을 생성하기 위해, 기록 매체에 기록된 화상 데이터로부터 일정한 간격으로 화상이 취득된다. 그 다음 생성된 인덱스 화상은 기록 매체에 다시 기록된다. 인덱스 화상을 생성하는 것은 시간이 걸린다. 생성되어 기록 매체에 기록된 인덱스 화상은 기록 매체의 이용 가능한 메모리 용량을 감소시킨다.

비디오 카메라로 촬영하는 피사체의 대부분은 인물을 포함한다. 그러한 촬 영 데이터의 내용이나 장면을 파악하기 위해서는, 각 인물의 얼굴이 가장 중요한 역할을 한다. 기록 매체에 기록된 각 씬에서 각 인물의 얼굴을 포함하는 화상 프레임(픽쳐)을 검출하고, 그 다음, 검출한 화상으로부터 인물의 얼굴을 추출한다. 추출한 얼굴 화상으로부터 썸네일 화상을 생성한다. 그 다음, 생성된 썸네일 화상은, 시계열 얼굴 썸네일 화상으로서, 시계열 순서로 표시된다.

시계열 얼굴 썸네일 화상의 표시에 의해, 사용자는, 각 씬의 내용 및 컷을 정확하게 파악한다. 제시된 얼굴 썸네일 화상의 임의의 썸네일 화상에서 재생 프로세스가 시작될 수 있다. 따라서, 사용자가 사용하기 편한 방식으로 작동하는 화상 처리 장치, 촬상 장치, 화상 표시 제어 방법, 및 컴퓨터 프로그램이 제공된다.

본 발명의 일 실시예에 따르면, 화상을 처리하는 장치는, 사용자 조작 정보를 입력하는 입력부와, 동화상 데이터를 기록하는 기록 매체와, 상기 입력부로의 입력에 응답하여, 상기 기록 매체에 기록된 데이터를 취득(retrieving)해서 표시 데이터를 생성하는 데이터 처리부, 및 상기 표시 데이터를 표시하는 표시부를 포함한다. 상기 데이터 처리부는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택하고, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 상기 표시부에 표시한다.

상기 기록 매체에는, 해당 기록 매체에 기록된 화상 정보를 관리하는 화상 정보 관리 파일이 기록된다. 상기 데이터 처리부는, 상기 기록 매체에 기록된 상 기 화상 정보 관리 파일로부터, 동화상 기록 단위인 씬을 구성하는 프레임 각각의 얼굴 영역의 유무, 및 얼굴 영역 위치에 관한 정보를 취득하여, 인물의 얼굴 화상을 포함하는 프레임을 선택해서 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성한다.

상기 데이터 처리부는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬을 분석하여 씬을 구성하는 프레임에서 얼굴 영역의 유무, 및 얼굴 영역 위치에 관한 정보를 취득하여, 인물의 얼굴 화상을 포함하는 프레임을 선택해서 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성한다.

상기 데이터 처리부는, 상기 시계열 썸네일 화상 리스트에 표시하는 얼굴 썸네일 화상의 소스 데이터로서, 프레임 내 압축 부호화 화상을 선택해서 얼굴 썸네일 화상을 생성한다.

상기 입력부는, 상기 표시부 상의 터치 패널을 포함할 수도 있다. 상기 데이터 처리부는, 상기 표시부에 표시된 상기 시계열 얼굴 썸네일 화상 리스트 상에서 얼굴 썸네일 화상을 지정하는 사용자로부터 얼굴 썸네일 화상 지정 정보를 입력하고, 지정된 얼굴 썸네일 화상에 대응하는 화상 위치로부터 화상을 재생한다.

상기 데이터 처리부는, 상기 시계열 얼굴 썸네일 화상 리스트의 소스 데이터로서 한 씬의 대표 화상인 씬 인덱스를 상기 표시부에 표시하고, 씬 인덱스가 갱신되면, 씬 인덱스의 갱신에 응답하여 시계열 얼굴 썸네일 화상 리스트를 갱신한다.

본 발명의 일 실시예에 따르면, 촬상 장치는, 화상을 촬상하는 촬상부와, 사용자 조작 정보를 입력하는 입력부와, 동화상 데이터를 기록하는 기록 매체와, 상 기 입력부로의 입력에 응답하여 상기 기록 매체에 기록된 데이터를 취득해서 표시 데이터를 생성하는 데이터 처리부와, 상기 표시 데이터를 표시하는 표시부를 포함한다. 상기 데이터 처리부는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택하고, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 상기 표시부에 표시한다.

상기 촬상 장치는, 상기 촬상부로부터 취득되는 화상 데이터에 인물의 얼굴 화상의 얼굴 영역이 포함되는지의 여부를 검출하는 얼굴 검출부를 더 포함한다. 얼굴이 검출되면, 상기 데이터 처리부는, 촬상된 화상과 함께 얼굴이 검출된 것을 알리는 얼굴 아이콘을 표시부에 표시한다.

본 발명의 일 실시예에 따르면, 화상 처리 장치의 화상 표시 제어 방법은, 입력부에 사용자 조작 정보를 입력하는 조작 정보 입력 단계와, 상기 입력부로의 입력에 응답하여 기록 매체에 기록된 데이터를 취득하여 표시 데이터를 생성하는 데이터 처리 단계와, 표시부에 상기 표시 데이터를 표시하는 표시 단계를 포함한다. 상기 데이터 처리 단계는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택해서 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 상기 표시부에 표시하는 처리를 포함한다.

상기 데이터 처리 단계는, 상기 기록 매체에 기록된 화상 정보 관리 파일로부터, 동화상 기록 단위인 씬을 구성하는 프레임 각각에서 얼굴 영역의 유무, 및 얼굴 영역 위치에 관한 정보를 취득하여, 인물의 얼굴 화상을 포함하는 프레임을 선택해서 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하는 처리를 포함한다.

상기 데이터 처리 단계는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬을 분석하여 씬을 구성하는 프레임 각각에서 얼굴 영역의 유무, 및 얼굴 영역 위치에 관한 정보를 취득하여, 인물의 얼굴 화상을 포함하는 프레임을 선택해서 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하는 처리를 포함한다.

상기 데이터 처리 단계는, 상기 시계열 썸네일 화상 리스트에 표시하는 얼굴 썸네일 화상의 소스 데이터로서, 프레임 내 압축 부호화 화상을 선택해서 얼굴 썸네일 화상을 생성하는 처리를 포함한다.

상기 입력부는, 상기 표시부 상의 터치 패널을 포함하고, 상기 데이터 처리 단계는, 상기 표시부에 표시되는 상기 시계열 얼굴 썸네일 화상 리스트에서 얼굴 썸네일 화상을 지정하는 사용자로부터 얼굴 썸네일 화상 지정 정보를 입력하고, 지정된 얼굴 썸네일 화상에 대응하는 화상 위치로부터 화상을 재생하는 처리를 포함한다.

상기 데이터 처리 단계는, 상기 시계열 얼굴 썸네일 화상 리스트의 소스 데이터로서 씬의 대표 화상인 씬 인덱스를 상기 표시부에 표시하고, 씬 인덱스가 갱신되면, 씬 인덱스의 갱신에 응답하여 상기 시계열 얼굴 썸네일 화상 리스트를 갱신하는 처리를 포함한다.

본 발명의 일 실시예에 따르면, 촬상 장치의 화상 표시 제어 방법은, 화상을 촬상하는 촬상 단계와, 입력부에 사용자 조작 정보를 입력하는 조작 정보 입력 단계와, 취득된 화상 데이터에 인물의 얼굴 화상이 얼굴 영역이 포함되는지의 여부를 검출하는 얼굴 검출 단계와, 얼굴이 검출된 경우, 촬상된 화상과 함께, 얼굴이 검출되었음을 나타내는 얼굴 아이콘을 표시부에 표시하는 아이콘 표시 단계와, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택해서 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 상기 표시부에 표시하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 화상 처리 장치로 하여금 화상 표시를 제어하도록 하는 컴퓨터 프로그램은, 사용자 조작 정보의 입력을 검출하는 조작 정보 입력 검출 단계와, 상기 사용자 조작 정보의 입력에 응답하여 기록 매체에 기록된 데이터를 취득하고 표시 데이터를 생성시키는 데이터 처리 단계와, 상기 표시 데이터를 표시시키는 표시 단계를 포함한다. 상기 데이터 처리 단계는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택해서 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 표시하는 처리를 포함한다.

본 발명의 일 실시예에 따르면, 촬상 장치로 하여금 화상 표시를 제어하도록 하는 컴퓨터 프로그램은, 화상을 촬상하는 촬상 단계와, 사용자 조작 정보의 입력을 검출하는 조작 정보 입력 검출 단계와, 촬상된 화상 데이터에 인물의 얼굴 화상 의 얼굴 영역이 포함되는지의 여부를 검출시키는 얼굴 검출 단계와, 얼굴이 검출된 경우, 촬상된 화상과 함께 얼굴이 검출되었음을 나타내는 얼굴 아이콘을 표시부에 표시하는 아이콘 표시 단계와, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택해서 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 표시부에 표시하는 단계를 포함한다.

본 발명의 일 실시예에 따른 컴퓨터 프로그램은, 다양한 프로그램 코드를 실행하는 범용 컴퓨터 시스템에서, 컴퓨터 판독 가능한 형식으로 기록 매체에 제공된다. 따라서, 컴퓨터 시스템은 컴퓨터 판독 가능한 형식으로 제공된 컴퓨터 프로그램에 따른 프로세스를 실행한다.

본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예의 설명이나 첨부하는 도면을 참조하여 밝혀질 것이다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합을 칭하는 것으로, 각 장치의 요소들이 반드시 동일 케이스 내에 있어야 하는 것은 아니다.

본 발명의 실시예에 따르면, 동화상 데이터의 기록 단위로서 설정되는 각 씬에서의 시계열 얼굴 썸네일 화상 데이터(얼굴 인덱스)를 생성해서 표시부에 표시한다. 사용자는 촬영 데이터에서 인물의 얼굴 화상에 기초하여 각 씬의 내용을 쉽게 파악할 수 있다. 사용자가 시계열 얼굴 썸네일 화상을 지정함으로써, 지정된 얼굴 썸네일 화상의 소스인 화상 프레임으로 화상 재생을 시작할 수 있다. 따라서, 사 용자는 보고자 하는 씬을 즉시 재생할 수 있다.

이하, 도면을 참조하면서, 본 발명의 실시예에 따른 화상 처리 장치, 촬상 장치, 화상 표시 제어 방법, 및 컴퓨터 프로그램의 상세에 대해 설명한다.

우선, 도 1의 블록도를 참조하여 화상 처리 장치의 일례인 촬상 장치(100)를 설명한다. 사용자 조작부인 키 입력부(106)로부터 촬영 개시 신호가 마이크로프로세서(110)에 입력되면, 마이크로프로세서(110)는 컨트롤 신호를 관련 소자에 출력하여 촬영 프로세스가 개시된다. 마이크로프로세서(110)에 의해 제어된, 렌즈(101)에서의 포커스 메커니즘, 셔터 메커니즘 및 조리개 메커니즘 모두는 피사체의 화상을 촬상하여, CCD(Charge Coupled Device)(102)에 화상을 공급한다.

CCD(102)는, 화상을 전기 신호(화상 신호)의 형태로 피사체의 화상으로 광전 변환하고 그 화상 신호를 카메라 신호 처리부(103)에 출력한다. 카메라 신호 처리부(103)는 화상 신호를 처리한다. 예를 들면, 카메라 신호 처리부(103)는 화상 신호에 대해 CDS(Correlated Double Sampling) 프로세스, AGC(Automatic Gain Control) 프로세스, A/D (Analog/Digital) 변환 프로세스, AF(Auto Focus) 프로세스, AE(Auto Exposure) 프로세스, AWB(Auto White Balance) 프로세스 등을 실시한다.

카메라 신호 처리부(103)는, 얼굴 검출부(114)를 포함하고, 촬영되는 화상의 각 프레임 데이터에 인물의 얼굴의 얼굴 영역이 포함되는지의 여부를 검출한다. 이 얼굴 검출 프로세스에는, 기존의 얼굴 검출 처리 알고리즘이 적용 가능하다.

카메라 신호 처리부(103)에서 다양한 조정이 행해진 화상 데이터는, 얼굴 검출부(114)에서의 얼굴 검출 결과와 함께, 기록 재생부(104), 및 표시부(109)에 출력된다. 표시부(109)에는 촬영 화상이 스루 화상으로서 표시된다. 또한, 얼굴 검출부(114)에서 얼굴 검출이 이루어진 경우에는, 얼굴이 검출된 것을 나타내는 얼굴 아이콘이 스루 화상에 표시된다. 얼굴 아이콘의 표시예에 대해서는 후술될 것이다.

기록 재생부(104)는, 미리 설정된 압축 방식으로 데이터 압축을 실행해서 기록 매체(105)에 압축 데이터를 기록한다. 기록 매체의 기록 방법으로는 MPEG(moving picture experts group)-4 AVC/H. 264에 따라 데이터를 압축하는 고선명(HD; high-definition) 영상 기록 방법, 혹은 MPEG-2에 따라 데이터를 압축하는 표준(SD; standard definition) 영상 기록 방법이 있다. 압축 화상 정보에 대응하는 관리 정보를 포함하는 화상 정보 관리 파일(예를 들면 AV 인덱스 파일)을 생성해서 기록 매체(105)에 저장한다.

또한, 화상 정보 관리 파일(AV 인덱스 파일)은 각 씬에 대한 메타데이터를 포함한다. 메타데이터에는, 카메라 신호 처리부(103)의 얼굴 검출부(114)에서의 얼굴 검출 정보를 포함한다. 얼굴 검출 정보는 인물의 얼굴이 검출되었는지 여부를 나타낸다. 인물이 얼굴이 검출된 경우에는, 인물의 얼굴의 얼굴 영역을 나타내는 좌표 정보가 얼굴 검출 정보에 포함된다. 얼굴 검출 정보를 촬영 시간에서의 메타데이터로서 포함하는 화상 정보 관리 파일(AV 인덱스 파일)이 기록 매체(105)에 기록된다.

마이크로프로세서(110)는 키 입력부(106)로부터의 키 조작 정보, 및 표시부(109)에 표시되는 GUI(graphic user interface) 상의 키 조작에 따른 사용자 조작 정보를 수신한다. 마이크로프로세서(110)는 사용자 지시에 따른 프로세스를 실행한다. 표시부(109)는 LCD 터치 패널을 포함하고 GUI가 표시되어 사용자 조작 정보를 수신할 준비가 되어 있다. 키 입력부(106)의 키를 "하드 키"로 칭하고, 표시부(109)에 표시되는 GUI 상의 조작 키를 "소프트 키"라 칭한다.

마이크로프로세서(110)는, 배터리(120) 또는 AC 전원으로부터 전원 회로(121)를 통해서 전력 공급을 받는다. 마이크로프로세서(110)는 촬상 장치(100)의 다양한 프로세스를 제어한다. 마이크로프로세서(110)는 필요에 따라 전원 컨트롤 신호를 제어하고, 타 요소에의 전력 공급 제어를 행한다. 마이크로프로세서(110)는, 키 입력부(106) 상의 하드 키로부터의 입력 신호 또는 표시부(109)의 GUI 상의 소프트 키로부터의 입력 신호을 A/D 변환하고, 변환 디지털값으로부터 선택된 키를 판단하여, 판단 결과에 따라 다양한 프로세스를 실행한다. 마이크로프로세서(110)는, CPU(111), RAM(112), ROM(113) 등을 포함하고, 미리 기록된 프로그램에 따라 프로세스들을 실행한다.

키 입력부(106) 상의 하드 키 또는 표시부(109)에 표시되는 GUI 상의 소프트 키에 따른 재생 커맨드를 수신하면, 마이크로프로세서(110)는 촬상 장치(100)를 영상 신호 재생 모드로 절환한다. 마이크로프로세서(110)는 기록 매체(105)에 기록된 데이터를, 기록 재생부(104)를 통해 읽어내어, 읽어낸 데이터에 복호 프로세스를 실행해서 복호된 데이터를 중첩 처리부(108)를 통해 표시부(109)에 표시한다.

온 스크린 디스플레이(OSD) 처리부(107)는, 마이크로프로세서(110)로부터 입력되는 커맨드를 해석하고, VRAM(video RAM) 상에 작성된 표시 신호를 주사 단위로 중첩 처리부(108)에 보낸다. 예를 들면, 온 스크린 디스플레이 처리부(107)는 영상 신호와는 다른, GUI 정보 및 메뉴얼 정보에 중첩될 데이터를 생성하여, 생성된 데이터를 중첩 처리부(108)에 보낸다. 중첩 처리부(108)는, 기록용 영상 신호 또는 재생된 영상 신호 중 하나에 온 스크린 디스플레이(OSD) 처리부(107)로부터의 표시 신호를 중첩해서 표시부(109)에 출력한다.

촬상 장치(100)에서의 마이크로프로세서(110)는, 사용자의 지시에 따라 기록 매체(105)에 기록된 화상 데이터의 썸네일 화상 리스트를 생성하고, 그 썸네일 화상 리스트를 표시부(109)에 표시한다. 마이크로프로세서(110)는 기록 매체(105)에 기록된 각 씬으로부터 인물의 얼굴을 포함하는 화상을 선택해서 선택한 얼굴을 포함하는 화상의 썸네일 화상을 생성하고, 생성한 썸네일 화상을 시계열 썸네일 화상으로서 표시부(109)에 표시한다.

도 1의 마이크로프로세서(110) 내에 점선 박스로 나타내는 얼굴 검출부(114')는, 카메라 신호 처리부(103)에서의 얼굴 검출부(114)와 마찬가지로, 각 화상에 인물의 얼굴의 얼굴 영역이 포함되는지의 여부를 판정한다. 촬영 데이터를 기록 매체(105)에 대한 기록하는 프로세스에서, 얼굴 검출 정보가 화상 정보 관리 파일(AV 인덱스 파일)에 포함되어 있는 경우에는, 마이크로프로세서(110)는 얼굴 검출부(114)가 불필요하다. 얼굴 검출 정보를 포함하는 화상 정보 관리 파일이 없는 경우에는, 마이크로프로세서(110)는 기록 매체(105)로부터 읽어낸 화상 데이터 로부터 얼굴 검출 프로세스를 실행한다. 그러한 경우에, 촬상 장치(100)는 얼굴 검출부(114')를 포함한다. 따라서, 마이크로프로세서(110) 내에 얼굴 검출부(114')가 이용되는 경우에는, 얼굴 검출 결과를 포함하는 화상 정보 관리 파일 없이 데이터를 처리한다.

마이크로프로세서(110)는, 표시부(109)에 표시된 시계열 얼굴 썸네일 화상 데이터에 대한 사용자 선택 정보의 입력에 응답하여 선택된 썸네일 화상에 따른 화상 위치로부터 화상 재생을 개시한다. 씬이란, 동화상 촬영의 개시로부터 종료까지의 화상 데이터를 의미한다. 기록 매체(105)에는 다양한 씬에 대응하는 복수의 화상 데이터가 기록된다. 화상 데이터에서 각 씬의 시간 길이는 다양하다. 하나의 씬은 수 초의 길이이고 다른 씬은 1시간 길이 또는 그보다 긴 길이일 수 있다.

촬상 장치(100)에서의 마이크로프로세서(110)는, 기록 매체(105)에 기록된 씬으로부터, 사용자에 의해 지정된 씬의 화상 데이터를 취득하고, 화상 정보 관리 파일을 분석하여 얼굴 화상이 포함되는 프레임을 선택하고, 선택된 프레임으로부터 얼굴 영역을 추출하고, 얼굴 썸네일 화상을 생성하여, 얼굴 썸네일 화상을 씬에서의 시계열 순서로 얼굴 인덱스 화상으로서 배열하고, 그 얼굴 인덱스 화상을 표시부(109)에 출력한다. 동화상 기록 데이터 단위인 1개의 씬에 대응하는 시계열 얼굴 썸네일 화상 리스트의 표시 데이터를 "얼굴 인덱스 화면"이라 칭한다. 이 얼굴 인덱스 화면의 표시부(109)에서의 표시예, 및 표시부(109)에서의 표시 데이터의 절환예에 대해서 도 2를 참조하여 아래 설명한다.

촬상 장치(100)의 표시부(109)에는 4종류의 화면, 즉, (a) 대기 화면, (b) 홈 메뉴 화면, (c) 얼굴 인덱스 화면, 및 (d) 동화상 재생 화면이 표시된다.

마이크로프로세서(110)는 촬상 장치(100) 상의 키 입력부(하드 키)(106)의 키 조작 정보 혹은 표시부(109)에 표시되는 각종 키를 포함하는 GUI에 대한 키 조작 정보를 수신하고 판별하고, 화면들을 절환한다.

도 2에는, 동화상 기록 데이터 단위인 1개의 씬에 대응하는 시계열 얼굴 썸네일 화상 리스트가 (c) 얼굴 인덱스 화면 상에 전체 또는 일부의 표시 데이터로 표시된다. 얼굴 인덱스 화면은 얼굴 영역의 썸네일 화상(축소 화상)의 시계열 얼굴 썸네일 화상 데이터이다. 얼굴 영역은 동화상 기록 데이터 단위인 1개의 씬으로부터 선택된 얼굴을 포함하는 화상으로부터 추출한다.

마이크로프로세서(110)는 (c) 얼굴 인덱스 화면의 표시 요구가 있을 때 얼굴 인덱스 화면에 표시되는 썸네일 화상을 생성한다. 마이크로프로세서(110) 내의 RAM(112)에 일시적으로 썸네일 화상을 저장함과 함께, 생성한 썸네일 화상을 표시부(109)에 출력해서 표시한다. (c) 얼굴 인덱스 화면에서 이용되는 썸네일 화상은, 기록 매체(105)에는 기록되지 않는다. 기록 매체의 용량은 썸네일 화상을 저장하는데 사용되지 않는다. 마이크로프로세서(110)는, 압축 화상(MPEG-4 AVC/H. 264에 따라 압축된 고선명(HD) 영상 혹은 MPEG-2에 따라 압축된 표준(SD) 영상)을 취득하고, 프레임 내 압축 부호화 화상(I-Picture, I-Frame 또는 I-VOP라고도 불림)을 추출하여, 프레임 내 압축 부호화 화상을 축소하고 축소된 화상을 얼굴 인덱스 리스트 영역에 순서대로 배열한다. (c) 얼굴 인덱스 화면에 표시된 썸네일 화상의 생성 방법은 후술될 것이다.

도 2의 표시부(109)에 표시되는, (a) 대기 화면, (b) 홈 메뉴 화면, (c) 얼굴 인덱스 화면, 및 (d) 동화상 재생 화면 및 이 화면들의 절환에 대해 후술된다.

(a) 대기 화면과 (b) 홈 메뉴 화면 간의 절환 동작은, (a) 대기 화면에 표시되는 홈 소프트 키(201) 및 촬상 장치(100)에 배치된 홈 하드 키 중 하나를 선택하여 실행된다.

(b) 홈 메뉴 화면으로부터 (a) 대기 화면으로의 절환 동작은, (b) 홈 메뉴 화면 상의 폐쇄 소프트 키(202)를 선택하여 실행된다.

(a) 대기 화면으로부터 (c) 얼굴 인덱스 화면으로의 절환 동작은, 촬상 장치(100)에 배치된 얼굴 인덱스 하드 키를 선택하여 실행된다.

(b) 홈 메뉴 화면으로부터 (c) 얼굴 인덱스 화면으로의 절환 동작은, 촬상 장치(100)에 배치된 얼굴 인덱스 하드 키 및 (b) 홈 메뉴 화면 상의 얼굴 인덱스 소프트 키(203) 중 하나를 선택하여 실행된다.

(c) 얼굴 인덱스 화면으로부터 (a) 대기 화면으로의 절환 동작은, (c) 얼굴 인덱스 화면 상의 폐쇄 소프트 키를 선택하여 실행된다.

(c) 얼굴 인덱스 화면으로의 화면 절환은, (a) 대기 화면으로부터 (c) 얼굴 인덱스 화면으로 직접 실행될 수도 있고, 또한, (a) 대기 화면으로부터 (b) 홈 메뉴 화면으로 절환된 다음, (c) 얼굴 인덱스 화면으로 절환될 수도 있다.

(c) 얼굴 인덱스 화면에는 시계열 얼굴 썸네일 화상이 표시된다. 시계열 얼굴 썸네일 화상은 동화상 기록 데이터 단위인 1개의 씬으로부터 선택된 얼굴 화상을 포함하는 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 시계열 순서로 배 열하여 구성된다. 사용자가 얼굴 썸네일 화상 중 어느 하나를 지정하면, 그 지정된 얼굴 썸네일 화상이 도출된 화상 프레임으로부터 동화상 재생을 개시한다.

동화상은 (d) 동화상 재생 화면에 재생된다. 도 1의 마이크로프로세서(110)는, (c) 얼굴 인덱스 화면에 표시된 얼굴 썸네일 화상을 포함하는 씬의 시간 정보를 시간이 태그된 각각의 썸네일 화상과 함께 메모리(RAM(112))에 저장한다. 보다 구체적으로, 시간 정보는 프레임 내 압축 부호화 화상을 포함하는 씬 내에서 각 얼굴 썸네일 화상의 위치 정보 및 씬 선두로부터 각 얼굴 썸네일 화상의 경과 시간 정보를 포함한다. 이들 정보 역시 화상 정보 관리 파일(AV 인덱스 파일)로부터 취득된 것이다.

사용자가, (c) 얼굴 인덱스 화면에 표시된 얼굴 썸네일 화상을 손가락으로 터치해서 얼굴 썸네일 화상의 지정하는 경우, 마이크로프로세서(110)는 지정 위치의 좌표 데이터에 기초하여 터치된 썸네일 화상을 특정한다. 마이크로프로세서(110)는 지정된 썸네일 화상에 대응하는 관리 파일의 메타데이터로부터, 씬에서의 썸네일 화상의 위치(시간 정보)를 취득하고, 그 위치로부터의 동화상 재생을 개시한다.

(d) 동화상 재생 화면으로부터 (c) 얼굴 인덱스 화면으로의 절환 동작은, (d) 동화상 재생 화면에 표시되어 있는 리턴 키(204)와 정지 키(205) 중 하나를 선택하거나, 혹은 촬상 장치(100) 상의 얼굴 인덱스 하드 키를 선택함으로써 실행된다.

(c) 얼굴 인덱스 화면의 상세 구성에 대해서, 도 3을 참조하여 후술된다. (c) 얼굴 인덱스 화면은, 씬 인덱스 표시 영역(301)과, 얼굴 인덱스 표시 영역(302)을 포함한다.

씬 인덱스 표시 영역(301)은, 동화상 기록 데이터 단위인 1개의 씬으로부터 선택된 대표 화상을 표시한다. 사용자는 씬 인덱스 되감기(rewind) 키(303a) 및 씬 감기(forward) 키(303b)를 조작함으로써 대표 화상을 절환할 수 있다. 씬 인덱스 표시 영역(301)에 표시되는 대표 화상은, 예를 들면 씬 선두에 있는 썸네일 화상이다.

얼굴 인덱스 표시 영역(302)은, 씬 인덱스 표시 영역(301)에 표시된 썸네일 화상이 속하는 씬(동화상 데이터)으로부터, 얼굴 영역을 포함하는 정지 화상으로서 선택된 화상으로부터 추출된 얼굴의 썸네일 화상 리스트를 표시한다.

얼굴 인덱스 표시 영역(302)은, 얼굴 인덱스 되감기/감기 키(306a, 306b)를 표시한다. 사용자는 얼굴 인덱스 되감기/감기 키(306a, 306b) 중 하나를 선택하여 동일 씬에서 서로 다른 시간의 썸네일 화상들을 절환할 수 있다. 1개의 정지 화상에 복수의 얼굴 화상 영역이 포함되는 경우에는, 복수의 얼굴 화상이 얼굴 인덱스 표시 영역(302)에 배열되어 있다.

씬 인덱스 표시 영역(301) 내의 씬 인덱스 되감기/감기 키(303a, 303b)를 선택함으로써, 얼굴 인덱스 표시 영역(302)에 표시되는 얼굴 인덱스도 절환된다.

(c) 얼굴 인덱스 화면에 표시되는 얼굴 썸네일 화상의 생성 프로세스가 도 4를 참조하여 상세히 후술된다. 앞에서 설명한 바와 같이, 마이크로프로세서(110)는 (c) 얼굴 인덱스 화면의 표시 요구에 응답하여 (c) 얼굴 인덱스 화면에 표시되 는 썸네일 화상을 생성하고, RAM(112)에 일시적으로 썸네일 화상을 저장함과 함께, 생성한 썸네일 화상을 표시부(109)에 출력해서 표시한다.

마이크로프로세서(110)는, 압축 화상(MPEG-4 AVC/H. 264에 따라 압축된 고선명(HD) 영상, 혹은 MPEG-2에 따라 압축된 표준(SD) 영상)을 취득하고, 프레임 내 압축 부호화 화상을 추출하여, 프레임 내 압축 부호화 화상을 축소하고, 축소된 화상을 얼굴 인덱스 리스트 영역에 순서대로 배열하여 표시한다.

예를 들면, 도 4에 도시하는 바와 같은 임의의 씬을 구성하는데 MPEG 데이터(400)가 이용될 수도 있다. MPEG 데이터(400)는, 서로 다른 포맷에 따라 압축된 프레임(픽쳐)을 포함된다. 보다 구체적으로, 프레임 내 압축 부호화 화상(I 픽쳐), B프레임(B픽쳐), P프레임(P픽쳐) 등이 포함될 수 있다. 이들 부호화 데이터 중에서 복호 가능한 것은 프레임 내 압축 부호화 화상이다.

썸네일 화상을 생성하기 위해, MPEG 데이터에 포함되는 프레임 내 압축 부호화 화상을 선택해서 이용한다. 보다 구체적으로, 마이크로프로세서(110)는, 얼굴 인덱스 화면의 소스인 씬에 포함되는 다양한 포맷의 부호화 데이터로부터, 얼굴 화상 영역을 포함하는 프레임 내 압축 부호화 화상을 선택한다. 마이크로프로세서(110)는 프레임 내 압축 부호화 화상을 복호하고, 복호된 화상으로부터 얼굴 영역을 추출하여 얼굴 썸네일 화상을 생성한다.

도 4는, 얼굴 영역을 포함하는 프레임 내 압축 부호화 화상(401)을 선택하는 예를 나타내고 있다.

도 4의 스텝 S1에서, 마이크로프로세서(110)는, 관리 파일(402)의 메타데이 터에 기초하여, 썸네일 화상용 화상(프레임 내 압축 부호화 화상)(401)을 선택한다. 마이크로프로세서(110)는 얼굴 영역을 포함하는지의 여부를, 화상 정보 관리 파일(AV 인덱스 파일)(402)의 메타데이터에 기초하여 판정한다. 얼굴 영역을 포함하는 프레임이, 반드시 프레임 내 압축 부호화 화상일 필요는 없다. 얼굴 영역을 포함하는 프레임이 프레임 내 압축 부호화 화상이 아닌 경우에, 얼굴 검출 프레임 이후에 있는 가장 근접한 프레임 내 압축 부호화 화상을 썸네일 생성 소스 화상으로서 선택한다.

전술한 바와 같이, 데이터가 프레임 내 압축 부호화 화상을 포함하지 않는 경우, 마이크로프로세서(110)는 씬을 분석해서 얼굴 검출 처리를 실행하고, 이로써 각 프레임의 얼굴 영역의 유무를 판정한다.

마이크로프로세서(110)는, 이렇게 하여 선택한 얼굴 영역을 포함하는 화상 프레임(401)(프레임 내 압축 부호화 화상)을 스텝 S2에서 복호한다. 스텝 S3에서, 마이크로프로세서(110)는 복호된 화상 프레임으로부터 얼굴 영역을 추출하고, 얼굴 영역의 썸네일, 즉 얼굴 썸네일 화상을 생성한다.

각 프레임의 얼굴 영역 좌표 정보는 화상 정보 관리 파일(AV 인덱스 파일)(402)로부터 취득한다. 데이터가 그러한 관리 파일을 포함하지 않는 경우, 마이크로프로세서(110)는 씬을 분석하여, 이로써 얼굴 영역의 위치를 판정한다. 이렇게 구성된 썸네일 화상을 시계열 순서로 배열하고, 표시부(109)에 출력한다.

기록 매체(105)가 하드디스크 드라이브(HDD) 및 메모리 카드 중 하나이고, 기록 매체(105)에 기록된 화상이 HD 영상일 수 있다. 기록 매체에 저장된 데이터 는, MPEG-4 AVC/H. 264에 따라 압축된 화상이며, 예를 들면 AVCHD(등록 상표) 규격에 따라 영상이 기록되어 있다. 이러한 경우에, 기록 스트림 관리 파일(기록 매체 전체를 관리하는 확장자 ".BDM", ".MPL" 및 ".CPI"의 관리 파일군으로서, DVD-Video 포맷에서의 VIDEO_TS.IFO 파일에 상당하는 것임)이 함께 기록되어 있기 때문에, 이 기록 스트림 관리 파일을 적용한 프로세스들이 가능하다. 마이크로프로세서(110)는, 이 기록 스트림 관리 파일과 화상 정보 관리 파일(AV 인덱스 파일)을 읽어내서 비교한다. 따라서 마이크로프로세서(110)는 얼굴 영역이 포함되는 화상 프레임 위치 및 얼굴 영역이 포함되는 프레임 중에서의 얼굴 영역의 좌표 정보를 취득할 수 있다.

기록 매체(105)에 기록된 화상이 SD 영상인 경우에는, 기록 매체에 저장된 데이터는 MPEG-2에 따라 압축된 데이터이다. 기록 매체(105)가 하드디스크(HDD)나 메모리 카드인 경우에는, 기록 스트림 관리 파일이 포함되어 있지 않다. 마이크로프로세서(110)는, MPEG2 영상 신호 스트림 중의 확장 영역에 미리 기입해 둔 기록 스트림 정보를 추적하고, 그 기록 스트림 정보를 영상 정보 관리 파일(AV 인덱스 파일)의 정보와 비교함으로써, 얼굴 영역이 포함되는 화상 프레임 위치를 취득할 수 있다. 기록 매체(105)가 DVD-R, DVD+R, DVD-RW 및 DVD+RW인 경우에는, AVCHD(등록 상표) 규격, SD 영상용 DVD-Video 규격, DVD-VideoRecording 규격 및 DVD+VR 규격 중 하나에 따른 기록 스트림 관리 파일이 기록된다. 그 기록 스트림 관리 파일을 화상 정보 관리 파일(AV 인덱스 파일)과 비교함으로써, 얼굴 영역이 포함되는 화상 프레임 위치를 취득하는 것이 기술적으로 가능하게 된다. 단, DVD 매체에 화상을 기록하는 각 규격에는 얼굴 정보를 기록하는 화상 정보 관리 파일(AV 인덱스 파일)은 포함되지 않는다. 그러한 동작이 각 규격 외의 것이기는 하지만, 얼굴 정보를 기록하는 화상 정보 관리 파일(AV 인덱스 파일)을 기록 매체에 기입할 수도 있다. 대안적으로, 마이크로프로세서는(110)가 씬을 분석하여 얼굴 영역의 위치를 판정할 수도 있다.

도 2 및 도 3을 참조하여 설명한 바와 같이, 얼굴 인덱스 화면은, 동화상 기록 데이터 단위인 1개의 씬으로부터 선택된 얼굴 영역을 포함하는 시계열 얼굴 썸네일 화상의 리스트를 표시한다. 사용자가 썸네일 화상 중 어느 하나를 선택하면, 마이크로프로세서(110)는 그 지정된 썸네일 화상을 재생 개시 위치로서, 동화상 재생을 개시한다.

HDD, 메모리 카드 및 DVD 매체 중 하나에 HD 영상을 기록하는 경우, 마이크로프로세서(110)는 기록 스트림 관리 파일로부터 프레임 내 압축 부호화 화상의 위치 정보(데이터 선두로부터의 시간 정보)를 취득한다. HDD나 메모리 카드에 SD 영상을 기록하는 경우, 마이크로프로세서(110)는 영상 신호 스트림을 분석하고, 기록 스트림 관리 파일에 포함되는 얼굴 정보에 대응한 프레임 내 압축 부호화 화상의 위치 정보(데이터 선두로부터의 시간 정보)를 취득한다. 이 위치 정보는 RAM(112)에 저장된다. 마이크로프로세서(110)는, 이 위치 정보를 이용하여, 각 썸네일 화상의 위치를 즉석에서 판정하고, 지정된 썸네일 화상으로부터 동화상 재생을 개시한다. 동화상 재생을 정지한 경우, 마이크로프로세서(110)는 정지한 씬의 정지한 시간 및 위치를 나타내는 얼굴 인덱스 화면으로 되돌아간다.

도 1을 참조하면, 카메라 신호 처리부(103)가 다양한 프로세스를 실행한 화상 데이터는, 얼굴 검출부(114)에서의 얼굴 검출 정보와 함께, 기록 재생부(104), 및 표시부(109)에 출력된다. 표시부(109)는 촬영 화상을 스루 화상으로서 표시한다. 얼굴 검출부(114)에서 얼굴 검출이 이루어진 경우에는, 스루 화상으로부터 얼굴 화상이 검출되었음을 나타내는 얼굴 아이콘이 표시된다. 얼굴 아이콘에 대해서는, 도 5를 참조하여 후술된다.

도 5는, 표시부(109)에 표시되는 촬영 화상(스루 화상)의 예를 도시하고 있다. 이 촬영 화상에, 얼굴 영역이 포함되는지의 여부가, 카메라 신호 처리부(103)의 얼굴 검출부(114)에서 분석된다. 얼굴 검출부(114)에서 얼굴 검출이 이루어진 경우에는, 스루 화상에서 얼굴 영역이 검출되었음을 나타내는 얼굴 아이콘(501)이 표시된다. 얼굴 아이콘(501)은 다양한 모드로 표시될 수 있다. 예를 들어, 화면 내에 얼굴 영역이 검출되면 얼굴 아이콘(501)이 번쩍거릴(flashed) 수도 있다. 얼굴 검출 정보(각 프레임에서 얼굴이 검출되었는지의 여부에 대한 정보, 및 얼굴이 검출된 경우 얼굴 영역의 위치(좌표) 정보를 포함함)는, 화상 데이터에 대응하는 화상 정보 관리 파일(AV 인덱스 파일)의 메타데이터로서 기록된다.

다음으로, 도 6 ~ 도 8에 나타내는 플로우차트를 참조하여 본 발명의 실시예에 따른 화상 처리 장치에서 실행하는 각종의 프로세스에 대해서 설명한다.

도 6은, 얼굴 인덱스 화면의 생성 프로세스 및 표시 프로세스를 나타내는 플로우차트이다.

도 7은, 얼굴 인덱스 화면 및 그 밖에 표시부에 표시되는 화면의 절환 시퀀 스를 나타내는 플로우차트이다.

도 8은, 동화상의 기록에서 얼굴 검출 정보의 기록 프로세스와, 기록 정지 프로세스를 나타내는 플로우차트이다.

도 6을 참조하여, 얼굴 인덱스 화면의 생성 및 표시 프로세스에 대해서 설명한다. 얼굴 인덱스 화면의 생성 및 표시 프로세스는 데이터 처리부로서 기능하는 마이크로프로세서(110)의 제어 하에 실행된다.

스텝 S101에서, 다양한 씬(동화상 기록 단위)이 저장된 기록 매체로부터, 얼굴 인덱스용 소스인 씬의 데이터 범위를 취득한다. 스텝 S102에서, 얼굴 인덱스 생성의 소스인 씬의 인덱스 화상을 씬 인덱스 표시 영역(301)에 표시한다. 씬의 인덱스 화상은, 씬의 영상 스트림의 선두의 프레임 내 압축 부호화 화상의 축소 화상에 대응한다. 스텝 S103에서, 화상 정보 관리 파일(AV 인덱스 파일)로부터, 얼굴 인덱스 생성에 적용 가능한 메타데이터(얼굴 인덱스 메타데이터)를 검색한다.

얼굴 인덱스 메타데이터는, 씬에 포함되는 프레임 중에 인물의 얼굴이 검출되었음을 나타내는 정보 및 얼굴 검출 프레임에서의 얼굴 영역의 위치(좌표) 정보를 포함한다.

스텝 S104에서, 마이크로프로세서(110)는 이들 얼굴 인덱스 메타데이터가 화상 정보 관리 파일(AV 인덱스 파일)로부터 검출되었는지의 여부를 판정한다. 얼굴 인덱스 메타데이터가 화상 정보 관리 파일로부터 검출되지 않은 경우에는, 얼굴 인덱스는 생성할 수 없기 때문에 프로세스가 중지된다. 얼굴 인덱스 메타데이터가 화상 정보 관리 파일로부터 검출된 경우에는, 처리는 스텝 S105로 진행한다. 얼굴 인덱스 썸네일을 작성한다. 이 프로세스는, 도 4를 참조하여 설명한 프로세스이다. MPEG 데이터에 포함되는 프레임 내 압축 부호화 화상을 선택해서 이용한다. 보다 구체적으로, 마이크로프로세서(110)는, 얼굴 인덱스 화면의 소스인 씬에 포함되는 다양한 포맷의 부호화 데이터로부터, 얼굴 화상 영역을 포함하는 프레임 내 압축 부호화 화상을 선택하고, 그 얼굴 화상 영역을 복호하며, 얼굴 영역을 추출하여 얼굴 썸네일 화상을 생성한다.

스텝 S106에서, 마이크로프로세서(110)는, 생성한 얼굴 인덱스가 씬의 최종 프레임에 대응하거나, 표시 화면에 표시되는 최종 얼굴 인덱스에 도달하고 있는지 여부를 판정한다. 예를 들면, 도 3에서, 얼굴 인덱스 화면에는 8개의 얼굴 인덱스가 표시되어 있고, 마이크로프로세서(110)는 8번째의 얼굴 인덱스의 썸네일 생성이 종료되었는지를 판정한다.

스텝 S106의 판정이 Yes(긍정적)인 경우에는 처리를 종료한다. 스텝 S106의 판정이 No(긍정적이지 않음)인 경우에는, 처리는 스텝 S107로 진행한다. 마이크로프로세서(110)는 후속하는 프레임용 얼굴 인덱스 메타데이터를 검색한다. 처리는 스텝 S104로 되돌아가, 마찬가지의 프로세스를 반복한다. 이 프로세스에 의해, 도 3의 얼굴 인덱스 화면이 생성되어, 표시부(109)에 표시된다.

도 7을 참조하여, 얼굴 인덱스 화면이나, 그 밖에 표시부에 표시되는 화면의 절환 시퀀스에 대해서 설명한다. 이 프로세스는 도 2를 참조하여 설명한 표시부(109)에 표시되는 각 화면의 절환 동작에 상당한다. 이 프로세스도 도 1의 촬상 장치(100)에서 데이터 처리부로서 기능하는 마이크로프로세서(110)의 제어 하에서 실행된다. 도 7의 플로우차트에서 설명된 프로세스는 도 3의 얼굴 인덱스 화면의 표시 상태에서 실행된다.

데이터 처리부로서 기능하는 마이크로프로세서(110)는, 스텝 S201에서, 사용자 조작 입력을 검출한다. 조작 입력은 화상 처리 장치에 배치된 하드 키 또는 표시부(109)에 제시되는 GUI 상의 소프트 키가 선택될 때 입력된다. 스텝 S202에서, 화면 절환을 위한 이벤트 트리거를 검출하면, 마이크로프로세서(110)는 스텝 S203으로 진행한다. 마이크로프로세서(110)는 그 이벤트가, "폐쇄 이벤트(closing event)"인지의 여부를 판정한다. 다시 말해, 도 2의 각 화면 상의 폐쇄 소프트 키가 선택되는지 여부를 판정한다.

폐쇄 소프트 키가 선택되면, 다시 말해, "폐쇄 이벤트"가 트리거되면, 마이크로프로세서(110)는 표시부(109)를 대기 화면으로 설정한다. 따라서 처리는 종료한다. 스텝 S203에서, 이벤트가 "폐쇄 이벤트"가 아니라고 판정되면, 처리는 스텝 S204로 진행한다. 마이크로프로세서(110)는 이벤트가 "썸네일 터치 이벤트"인지의 여부를 판정, 즉, 도 3의 얼굴 인덱스 화면에 표시된 얼굴 썸네일이 사용자에 의해 터치되었는지 여부를 판정한다. 스텝 S204에서 이벤트가 "썸네일 터치 이벤트"라고 판정한 경우, 처리는 스텝 S215로 진행한다. 마이크로프로세서(110)는 사용자에 의해 지정된 얼굴 썸네일의 소스인 프레임을 재생 개시 프레임으로서 특정한다. 이 재생 개시 위치 특정 처리는, 화상 정보 관리 파일로부터 취득한 메타데이터 또는 기록 스트림 관리 파일 또는 영상 스트림에 포함되는 기록 스트림 관리 데이터에 기초하여 실행된다.

스텝 S216에서, 마이크로프로세서(110)는 스텝 S215에서 결정한 재생 개시 위치로부터 동화상 재생을 개시하고, 스텝 S217에서 얼굴 인덱스를 생성한다. 이 얼굴 인덱스의 생성 프로세스는, 재생의 정지시에 얼굴 인덱스 화면에 데이터를 표시하기 위한 데이터 생성 프로세스이다.

스텝 S204에서, 이벤트가 "썸네일 터치 이벤트"가 아니라고 판정한 경우, 처리는 스텝 S205로 진행한다. 마이크로프로세서(110)는 "씬 전달 이벤트(scene forwarding event)"인지의 여부를 판정한다. 씬 전달 이벤트는, 도 3을 참조하여 설명한 씬 인덱스 감기 키(scene index forward key; 303b)의 조작에 의해 발생한다.

스텝 S205에서, 이벤트가 "씬 전달 이벤트"라고 판정한 경우, 마이크로프로세서(110)는 스텝 S206에서 씬을 전달, 즉, 도 3의 씬 인덱스 표시 영역(301)에 표시된 씬 인덱스를 갱신한다. 스텝 S207에서, 마이크로프로세서(110)는 갱신된 씬 인덱스에 대응하는 씬에 대한 얼굴 인덱스를 생성해서 생성한 씬 인덱스를 표시한다.

스텝 S205에서, 이벤트가 "씬 전달 이벤트"가 아니라고 판정한 경우, 처리는 스텝 S208로 진행한다. 마이크로프로세서(110)는 이벤트가 "씬 복귀 이벤트(scene rewind event)"인지의 여부를 판정한다. 씬 복귀 이벤트는, 도 3의 씬 인덱스 되감기 키(303a)가 선택될 때 트리거된다. 스텝 S208에서, 이벤트가 "씬 복귀 이벤트"라고 판정한 경우, 마이크로프로세서(110)는 스텝 S209에서 씬을 되감아, 즉, 도 3의 씬 인덱스 표시 영역(301)에 표시된 씬 인덱스를 갱신한다. 마이크로프로 세서(110)는 스텝 S207에서, 갱신된 씬 인덱스에 대응하는 씬에 대한 얼굴 인덱스를 생성해서 생성한 씬 인덱스를 표시한다.

스텝 S208에서, 이벤트가 "씬 복귀 이벤트"가 아니라고 판정한 경우, 처리는 스텝 S210으로 진행한다. 마이크로프로세서(110)는 이벤트가 "얼굴 인덱스 전달 이벤트"인지의 여부를 판정한다. 얼굴 인덱스 전달 이벤트는, 도 3의 얼굴 인덱스 감기 키(face index forward key; 306b)가 선택될 때 트리거된다.

스텝 S210에서, 이벤트가 "얼굴 인덱스 전달 이벤트"라고 판정한 경우, 처리는 스텝 S211로 진행한다. 마이크로프로세서(110)는, 표시되어 있는 얼굴 인덱스가, 씬의 최종 데이터 부분에 대응해서 생성된 인덱스인지 여부를 판정한다. 스텝 211에서 표시된 얼굴 인덱스가 씬의 최종 데이터 부분에 대응해서 생성된 인덱스가 아니라고 판정된 경우, 처리는 스텝 S212로 진행한다. 마이크로프로세서(110)는 현재 표시되어 있는 얼굴 인덱스에 후속하는 씬 구성 프레임에 기초하여 얼굴 인덱스를 생성하고 생성된 얼굴 인덱스를 표시한다. 스텝 S211에서, 현재 표시되어 있는 얼굴 인덱스가 씬의 최종 데이터 부분에 대응해서 생성된 인덱스라고 판정한 경우, 마이크로프로세서(110)는 스텝 S201로 리턴시킨다.

스텝 S210에서, 이벤트가 "얼굴 인덱스 전달 이벤트"가 아니라고 판정한 경우, 처리는 스텝 S213으로 진행한다. 마이크로프로세서(110)는 "얼굴 인덱스 복귀 이벤트"인지의 여부를 판정한다. 이 얼굴 인덱스 복귀 이벤트는, 도 3의 얼굴 인덱스 되감기 키(face index rewind key; 306a)가 선택될 때 트리거된다.

스텝 S213에서, 이벤트가 "얼굴 인덱스 복귀 이벤트"라고 판정한 경우, 처리 는 스텝 S214로 진행한다. 마이크로프로세서(110)는 표시되어 있는 얼굴 인덱스가, 씬의 선두 데이터 부분에 대응해서 생성된 인덱스인지 여부를 판정한다. 스텝 S214에서, 표시된 얼굴 인덱스가 씬의 선두 데이터 부분에 대응해서 생성된 인덱스가 아니라고 판정된 경우, 처리는 스텝 S212로 진행한다. 마이크로프로세서(110)는 현재 표시되어 있는 얼굴 인덱스에 선행하는 씬 구성 프레임에 기초하여 얼굴 인덱스를 생성하고, 생성된 얼굴 인덱스를 표시한다. 스텝 S214에서, 현재 표시되어 있는 얼굴 인덱스가 씬의 선두 데이터 부분에 대응해서 생성된 인덱스라고 판정한 경우, 처리는 스텝 S201로 리턴한다. 도 3의 얼굴 인덱스 화면의 갱신 프로세스를 포함하는 다양한 프로세스가 실행된다.

다음으로, 도 8을 참조하여, 동화상의 기록에서의 얼굴 검출 정보의 기록 프로세스와, 기록 정지 프로세스를 설명한다. 얼굴 검출 정보의 기록 프로세스 및 기록 정지 프로세스에서, 도 1의 촬상 장치(100)는, 동화상을 촬영하고, 촬영된 동화상을 매체(105)에 기록한다. 얼굴 검출 정보는 카메라 신호 처리부(103)의 얼굴 검출부(114) 및 기록 재생 처리부(104)에 의해 생성된다. 도 1의 촬상 장치(100)는 데이터 처리부로서 기능하는 마이크로프로세서(110)에 의해 전체적으로 제어된다. 도 8의 프로세스는, 동화상 기록이 현재 실행중인 것을 전제로서 개시되는 프로세스 시퀀스이다.

동화상의 기록에서, 마이크로프로세서(110)는 스텝 S301에서 사용자 조작 입력을 검출한다. 조작 입력은 화상 처리 장치에 배치된 하드 키 또는 표시부(109)에 제시되는 GUI 상의 소프트 키가 선택될 때 입력된다. 스텝 S302에서, 화면을 절환하기 위한 이벤트 트리거를 검출하면, 마이크로프로세서(110)는 스텝 S303으로 진행시킨다. 마이크로프로세서(110)는 그 이벤트가, "기록 종료 이벤트"인지의 여부를 판정한다.

스텝 S303에서, 그 이벤트가 "기록 종료 이벤트"가 아닌 것으로 판정된 경우, 처리는 스텝 S304으로 진행한다. 마이크로프로세서(110)는 그 이벤트가 "얼굴 검출 이벤트"인지의 여부를 판정한다. 얼굴 검출 이벤트는, 촬상 장치(100)에 배치된 얼굴 검출 프로세스를 실행하는지의 여부를 설정하는 얼굴 검출 커맨드 스위치가 조작될 때 트리거된다. 스텝 S303에서 이벤트가 "얼굴 검출 이벤트"인 것으로 판정된 경우, 마이크로프로세서(110)는 스텝 S305에서 얼굴 검출 프로세스를 실행시킨다. 도 1의 카메라 신호 처리부(103)의 얼굴 검출부(114)는, 각 프레임의 얼굴 인덱스 메타데이터, 즉, 씬에 포함되는 프레임 중에 인물의 얼굴이 검출되었음을 나타내는 정보 및 얼굴 검출 프레임에서의 얼굴 영역의 위치(좌표) 정보를 카메라 신호 처리부(103) 내의 RAM에 저장한다.

얼굴 인덱스 메타데이터량이 방대하게 되는 것을 방지하기 위해서, 마이크로프로세서(110)는 RAM 상의 모든 프레임에 얼굴 인덱스 메타데이터를 저장하는 대신, 검출된 얼굴의 수에 변화가 검출될 때만, RAM에 얼굴 인덱스 메타데이터를 저장한다.

스텝 S303에서, 이벤트가 "기록 종료 이벤트"라고 판정된 경우, 처리는 스텝 S306으로 진행하여 동화상 기록 처리를 정지한다. 스텝 S307에서, 마이크로프로세서(110)는 기록된 씬에 얼굴 검출 정보가 존재하는지 여부를 판정한다. 스텝 S307 에서 얼굴 검출 정보가 기록된 씬에 존재하는 경우, 마이크로프로세서(110)는 카메라 신호 처리부(103)의 얼굴 검출부(114)에서 RAM에 저장된 데이터를 각 프레임의 얼굴 인덱스 메타데이터로서, 화상 정보 관리 파일(AV 인덱스 파일)에 기록한다. RAM에 저장된 데이터는 씬에 포함되는 프레임 중에 인물의 얼굴이 검출되었음을 나타내는 정보, 및 얼굴 검출 프레임에서의 얼굴 영역의 위치(좌표) 정보를 포함한다. 마이크로프로세서(110)는 스텝 S309에서 화상 정보 관리 파일을 갱신하고 갱신한 화상 정보 관리 파일을 기록 매체에 기록한다. 따라서 처리는 종료한다.

스텝 S307에서, 기록된 씬에 얼굴 검출 정보가 없다고 판정된 경우, 마이크로프로세서(110)는 상기의 얼굴 인덱스 메타데이터의 기록을 행하지 않고 스텝 S309에서, 얼굴 인덱스 메타데이터 이외의 관리 데이터에 의한 화상 정보 관리 파일의 갱신을 실행하고, 갱신된 화상 정보 관리 파일을 기록 매체에 기록한다.

이상, 특정한 실시예를 참조하면서, 본 발명에 대해서 자세히 설명해 왔다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 변경을 행할 수 있는 것은 자명하다. 본 발명의 실시예는 단지 예시를 위한 목적으로 개시한 것으로서, 본 발명을 한정하기 위한 것이 아니다. 본 발명의 요지를 판단하기 위해서는, 첨부된 특허 청구 범위를 참작해야 한다.

상술한 일련의 프로세스들은 하드웨어, 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의해 프로세스 스텝들을 실행하는 경우에는, 소프트웨어의 프로세스 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨해서 실행시키거나, 혹은, 각종 프로세스가 실 행 가능한 범용 컴퓨터에 프로그램을 인스톨해서 실행시키는 것이 가능하다. 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 프로그램은 기록 매체로부터 컴퓨터에 인스톨할 수도 있다. 대안적으로, 프로그램은 LAN(Local Area Network)과 같은 네트워크를 통해서 수신되고, 컴퓨터에 내장하는 하드디스크 등의 기록 매체에 인스톨될 수 있다.

상술한 프로세스 스텝들은, 상술한 바와 같이 시계열 순서로 실행될 수도 있다. 대안적으로, 상술한 프로세스 스텝들은 각 프로세스를 실행하는 장치의 처리 능력 혹은 필요에 따라서 병렬적으로 혹은 개별로 실행될 수도 있다. 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 장치의 요소들이 반드시 동일 케이스 내에 있어야 하는 것은 아니다.

첨부된 청구범위 혹은 그의 등가물의 요지 내에 있는 한 설계 요구 조건 및 그 외의 인자들에 따라 다양한 수정, 조합, 부-조합 및 변경이 행해질 수 있음을 당업자는 이해해야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 화상 처리 장치의 예로서 촬상 장치를 설명하는 도면.

도 2는 표시부에 표시되는 화면의 절환 동작을 설명하는 도면.

도 3은 표시부에 표시되는 얼굴 인덱스 화면을 설명하는 도면.

도 4는 얼굴 인덱스 화면에 표시하는 썸네일 화상의 생성 처리를 설명하는 도면.

도 5는 표시부에 표시하는 얼굴 아이콘의 예를 설명하는 도면.

도 6은 얼굴 인덱스 화면의 생성 및 표시 처리를 설명하는 플로우차트.

도 7은 얼굴 인덱스 화면 및 표시부에 표시되는 그 밖의 화면의 절환 동작을 설명하는 플로우차트.

도 8은 동화상의 기록에서의 얼굴 검출 정보의 기록 프로세스와, 기록 정지 프로세스를 설명하는 플로우차트.

[도면의 주요 부분에 대한 부호의 설명]

100: 촬상 장치

101: 렌즈

102: CCD(Charge Coupled Device)

103: 카메라 신호 처리부

104: 기록 재생부

105: 기록 매체

106: 키 입력부

107: 온 스크린 디스플레이 처리부

108: 중첩 처리부

109: 표시부

110: 마이크로프로세서

111: CPU

112: RAM

113: ROM

114: 얼굴 검출부

120: 배터리

121: 전원 회로

201: 홈 키

202: 폐쇄 키

203: 얼굴 인덱스 키

204: 리턴 키

205: 정지 키

301: 씬 인덱스 표시 영역

302: 얼굴 인덱스 표시 영역

303: 씬 인덱스 앞으로 보내기/되돌리기 키

306: 얼굴 인덱스 앞으로 보내기/되돌리기 키

400: MPEG 데이터

401: 얼굴 영역을 포함하는 프레임 내 압축 부호화 화상

501: 얼굴 아이콘

Claims

사용자 조작 정보를 입력하는 입력부;

동화상 데이터를 기록하는 기록 매체;

상기 입력부로의 입력에 응답하여, 상기 기록 매체에 기록된 데이터를 취득하여 표시 데이터를 생성하는 데이터 처리부; 및

상기 표시 데이터를 표시하는 표시부

를 포함하고,

상기 데이터 처리부는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬(scene)으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택하고, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 상기 표시부에 표시하는 화상 처리 장치.
제1항에 있어서, 상기 기록 매체에는, 상기 기록 매체에 기록된 화상 정보를 관리하는 화상 정보 관리 파일이 기록되고,

상기 데이터 처리부는, 상기 기록 매체에 기록된 상기 화상 정보 관리 파일로부터, 동화상 기록 단위인 씬을 구성하는 프레임 각각에서 얼굴 영역의 유무에 관한 정보 및 얼굴 영역 위치에 관한 정보를 취득하고, 인물의 얼굴 화상을 포함하는 프레임을 선택해서, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하는 화상 처리 장치.
제1항에 있어서, 상기 데이터 처리부는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬을 분석하여 씬을 구성하는 프레임 내에서 얼굴 영역의 유무에 관한 정보 및 얼굴 영역 위치에 관한 정보를 취득하고, 인물의 얼굴 화상을 포함하는 프레임을 선택해서, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하는 화상 처리 장치.
제1항에 있어서, 상기 데이터 처리부는, 상기 시계열 썸네일 화상 리스트에 표시하는 얼굴 썸네일 화상의 소스 데이터로서, 프레임 내 압축 부호화 화상을 선택해서 얼굴 썸네일 화상을 생성하는 화상 처리 장치.
제1항에 있어서, 상기 입력부는 상기 표시부 상의 터치 패널을 포함하고,

상기 데이터 처리부는, 상기 표시부에 표시되는 상기 시계열 얼굴 썸네일 화상 리스트 상에서 얼굴 썸네일 화상을 지정하는 사용자로부터 얼굴 썸네일 화상 지정 정보를 입력하고, 지정된 얼굴 썸네일 화상에 대응하는 화상 위치로부터 화상을 재생하는 화상 처리 장치.
제1항에 있어서, 상기 데이터 처리부는, 상기 시계열 얼굴 썸네일 화상 리스트의 소스 데이터로서, 씬의 대표 화상인 씬 인덱스를 상기 표시부에 표시하고, 씬 인덱스가 갱신되면 씬 인덱스의 갱신에 응답하여 상기 시계열 얼굴 썸네일 화상 리 스트를 갱신하는 화상 처리 장치.
화상을 촬상하는 촬상부;

사용자 조작 정보를 입력하는 입력부;

동화상 데이터를 기록하는 기록 매체;

상기 입력부로의 입력에 응답하여, 상기 기록 매체에 기록된 데이터를 취득해서 표시 데이터를 생성하는 데이터 처리부; 및

상기 표시 데이터를 표시하는 표시부

를 포함하고,

상기 데이터 처리부는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택하고, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 얼굴 썸네일 화상들의 리스트를 시계열 순서로 배열하여 표시부에 표시하는 촬상 장치.
제7항에 있어서, 상기 촬상부로부터 취득되는 화상 데이터에 인물의 얼굴 화상의 얼굴 영역이 포함되는지의 여부를 검출하는 얼굴 검출부를 더 포함하고,

얼굴이 검출된 경우, 상기 데이터 처리부는, 촬상된 화상과 함께 얼굴이 검출되었음을 나타내는 얼굴 아이콘을 상기 표시부에 표시하는 촬상 장치.
화상 처리 장치의 화상 표시 제어 방법으로서,

입력부로 사용자 조작 정보를 입력하는 조작 정보 입력 단계;

상기 입력부로의 입력에 응답하여, 기록 매체에 기록된 데이터를 취득해서 표시 데이터를 생성하는 데이터 처리 단계; 및

표시부에 상기 표시 데이터를 표시하는 표시 단계

를 포함하고,

상기 데이터 처리 단계는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택하고, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 상기 표시부에 표시하는 화상 표시 제어 방법.
제9항에 있어서, 상기 데이터 처리 단계는, 상기 기록 매체에 기록된 화상 정보 관리 파일로부터, 동화상 기록 단위인 씬을 구성하는 프레임 각각에서 얼굴 영역의 유무에 관한 정보 및 얼굴 영역 위치에 관한 정보를 취득하고, 인물의 얼굴 화상을 포함하는 프레임을 선택해서, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하는 화상 표시 제어 방법.
제9항에 있어서, 상기 데이터 처리 단계는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬을 분석하여 씬을 구성하는 프레임 각각에서 얼굴 영역의 유무에 관한 정보 및 얼굴 영역 위치에 관한 정보를 취득하고, 인물의 얼굴 화상을 포함하는 프레임을 선택해서, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생 성하는 화상 표시 제어 방법.
제9항에 있어서, 상기 데이터 처리 단계는, 상기 시계열 썸네일 화상 리스트에 표시하는 얼굴 썸네일 화상의 소스 데이터로서, 프레임 내 압축 부호화 화상을 선택해서 얼굴 썸네일 화상을 생성하는 화상 표시 제어 방법.
제9항에 있어서, 상기 입력부는 상기 표시부 상의 터치 패널을 포함하고,

상기 데이터 처리 단계는, 상기 표시부에 표시되는 상기 시계열 얼굴 썸네일 화상 리스트 상에서 얼굴 썸네일 화상을 지정하는 사용자로부터의 얼굴 썸네일 화상 지정 정보를 입력하고, 지정된 얼굴 썸네일 화상에 대응하는 화상 위치로부터의 화상을 재생하는 화상 표시 제어 방법.
제9항에 있어서, 상기 데이터 처리 단계는, 상기 시계열 얼굴 썸네일 화상 리스트의 소스 데이터로서 씬의 대표 화상인 씬 인덱스를 상기 표시부에 표시하고, 씬 인덱스가 갱신되면 씬 인덱스의 갱신에 응답하여 상기 시계열 얼굴 썸네일 화상 리스트를 갱신하는 화상 표시 제어 방법.
촬상 장치의 화상 표시 제어 방법으로서,

화상을 촬상하는 촬상 단계;

입력부에 사용자 조작 정보를 입력하는 조작 정보 입력 단계;

상기 촬상된 화상에 인물의 얼굴 화상이 얼굴 영역이 포함되는지의 여부를 검출하는 얼굴 검출 단계;

얼굴이 검출된 경우, 상기 촬상된 화상과 함께 얼굴이 검출되었음을 나타내는 얼굴 아이콘을 표시부에 표시하는 아이콘 표시 단계; 및

상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택해서, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 상기 표시부에 표시하는 표시 단계

를 포함하는 화상 표시 제어 방법.
화상 처리 장치에게 화상 표시 제어 방법을 실행시키는 컴퓨터 프로그램으로서,

상기 화상 표시 제어 방법은,

사용자 조작 정보의 입력을 검출하는 조작 정보 입력 검출 단계;

상기 사용자 조작 정보의 입력에 응답하여 기록 매체에 기록된 데이터를 취득해서 표시 데이터를 생성하는 데이터 처리 단계; 및

상기 표시 데이터를 표시하는 표시 단계

를 포함하고,

상기 데이터 처리 단계는, 상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택해서, 선택된 프레임으로부 터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 표시하는 컴퓨터 프로그램.
촬상 장치에게 화상 표시 제어 방법을 실행시키는 컴퓨터 프로그램으로서,

상기 화상 표시 제어 방법은,

화상을 촬상하는 촬상 단계;

사용자 조작 정보의 입력을 검출하는 조작 정보 입력 검출 단계;

촬상된 화상 데이터에 인물의 얼굴 화상의 얼굴 영역이 포함되는지의 여부를 검출하는 얼굴 검출 단계;

얼굴이 검출된 경우, 상기 촬상된 화상과 함께 얼굴이 검출되었음을 나타내는 얼굴 아이콘을 표시부에 표시하는 아이콘 표시 단계; 및

상기 기록 매체에 기록된 동화상 기록 단위인 씬으로부터, 인물의 얼굴 화상을 포함하는 프레임을 선택해서, 선택된 프레임으로부터 추출한 얼굴 영역의 썸네일 화상을 생성하고, 생성한 썸네일 화상들의 리스트를 시계열 순서로 배열하여 상기 표시부에 표시하는 표시 단계

를 포함하는 컴퓨터 프로그램.