KR20070029574A

KR20070029574A - 정보 처리 장치, 정보 처리 방법 및 기억매체

Info

Publication number: KR20070029574A
Application number: KR20060086588A
Authority: KR
Inventors: 토모유키 오노; 순타로 아라타니; 카쓰히로 미야모토
Original assignee: 캐논 가부시끼가이샤
Priority date: 2005-09-09
Filing date: 2006-09-08
Publication date: 2007-03-14
Also published as: JP2007079641A; US20070057966A1; CN1928888A; US7848546B2; EP1762950A3; KR100867173B1; EP1762950A2

Abstract

본 발명은 복수의 화상을 분류할 때 유저에 의한 수정 부하를 경감할 수 있도록 한다. 제1 화상에 포함된 오브젝트를 판별하고, 제1 화상을 오브젝트마다 복수의 분류지로 분류하는 정보 처리 방법은, 제1 화상으로부터 오브젝트를 판별하는 판별 스텝과, 판별 스텝에서 취득한 판별 결과에 의거하여 제1 회상을 복수의 분류지 중 어느 하나로 분류하는지를 결정하는 분류지 결정 스텝과, 제1 화상을 분류지 결정 스텝서 결정된 분류지에 해당하는 제2 화상의 위치까지 이동시키는 과정을 화면 위에 표시하는 표시 제어 스텝을 포함한다.

디지털 카메라, 정보 처리, 화상 분류

Description

정보 처리 장치, 정보 처리 방법 및 기억매체{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND STORAGE MEDIUM}

도 1은, 본 발명의 실시 예에 따른 정보 처리 장치를 나타내는 블럭도다.

도 2는, 본 발명의 실시 예에 따른 정보 처리 장치의 리모트 컨트롤러를 도시한 도면이다.

도 3a는, 화상 리스트 표시의 일례를 도시한 도면이다.

도 3b는, 화상 표시의 일례를 도시한 도면이다.

도 3c는, 기능 메뉴 표시의 일례를 도시한 도면이다.

도 3d는, 기능 메뉴 표시의 일례를 도시한 도면이다.

도 3e는, 인물 선택 리스트 표시의 일례를 도시한 도면이다.

도 4는, 인물 특징 등록 기능에 의한 처리 동작의 일례를 도시한 플로차트다.

도 5는, 화상 분류 동작의 일례를 나타내는 플로차트다.

도 6은, 인물 판별 동작의 일례를 나타내는 플로차트다.

도 7a는, 화상 분류 동작의 개시 시에 표시하는 화면의 일례를 도시한 도면이다.

도 7b는, 화상 분류 시의 애니메이션 표시의 일례를 모식적으로 나타내는 도면이다.

도 7c는, 화상 분류 시의 애니메이션 표시의 일례를 모식적으로 나타내는 도면이다.

도 8a는, 화상 분류 시의 애니메이션 표시의 일례를 모식적으로 나타내는 도면이다.

도 8b는, 화상 분류 시에 유저에 의해 분류지가 변경된 경우의 애니메이션 표시의 일례를 모식적으로 나타내는 도면이다.

도 9는, 화상 분류 동작의 일례를 나타내는 플로차트다.

도 10은, 화상 분류 동작의 일례를 나타내는 플로차트다.

도 11은, 분류 대상 화상의 일례를 도시한 도면이다.

도 12는, 화상 분류 시의 애니메이션 표시의 일례를 모식적으로 나타내는 도면이다.

도 13은, 애니메이션 표시 중의 표시 효과의 일례를 모식적으로 나타내는 도면이다.

도 14는, 애니메이션 표시 중의 표시 효과의 일례를 모식적으로 나타내는 도면이다.

도 15는, 화상 분류 동작의 개시 시에 표시하는 화면의 일례를 도시한 도면이다.

도 16은, 화상 분류 동작의 개시 시에 표시하는 화면의 일례를 도시한 도면 이다.

본 발명은, 디지털 스틸 카메라, 디지털 비디오 카메라 등으로 촬영한 화상을 분류하는 기술에 관한 것이다.

디지털 스틸 카메라(이하, DSC이라고 칭함)이나 디지털 비디오 카메라(이하, DVC이라고 칭함)으로 촬영한 화상을, 퍼스널 컴퓨터나 텔레비전에서 시청하는 것은 일반화되어 있다.

이들 화상 중에서 인물이나 특정 인물을 피사체로서 포함하는 화상을 검색해서 분류하고, 인물을 포함하고 있는 화상집이나 특정한 인물을 포함하고 있는 화상집을 작성하며, 이들 인물에 대하여 메일 송신하는 화상 검색 방법이, 일본국 공개특허공보 특개 2001-357067호에 개시되어 있다.

그렇지만, 복수의 화상을 특정한 인물에 따라 분류한 결과로서, 화상을 분류하고 싶은 유저가 의도하지 않은 방식으로 화상을 분류할 가능성이 있다. 예를 들면, 그러한 분류된 화상은,

(1) 특정의 인물을 포함하지만, 인물의 얼굴 표정이 그다지 좋지 않다고 유저가 느낀 화상과,

(2) 특정 인물을 포함하지만, 모르는 사람도 묘사되어 있는 화상을 포함할 수도 있다.

이러한 경우에, 화상이 분류된 후에, 유저는 화상의 내용을 표시하면서 분류된 결과를 체크 및 수정할 필요가 있다. 이것은 유저에게 있어 손이 많이 간다고 하는 문제가 있다.

본 발명은 상기의 과제를 감안하여 이루어진 것으로서, 그 목적은, 복수의 화상을 분류할 때에, 유저에 의한 수정 부하를 경감하는 것에 있다.

상기 과제를 해결하고, 상기 목적을 달성하기 위해, 본 발명의 제1 국면에 의하면, 제1 화상에 포함된 오브젝트를 판별하고, 상기 제1 화상을 오브젝트마다 복수의 분류지로 분류하는 정보 처리 장치로서, 상기 제1 화상과 상기 분류지를 나타내는 제2 화상을 표시하는 표시 수단과, 상기 제1 화상으로부터 오브젝트를 판별하는 판별 수단과, 상기 판별 수단이 취득한 판별 결과에 의거하여 상기 제1 화상을 상기 복수의 분류지 중 어느 하나로 분류할지를 결정하는 분류지 결정 수단과, 상기 분류지 결정 수단에 의해 결정된 분류지에 대응하는 상기 제2 화상의 위치까지 상기 제1 화상을 이동시키는 과정을, 상기 표시 수단의 화면 위에 표시하도록 상기 표시 수단을 제어하는 표시 제어 수단을 구비하는 정보 처리 장치가 제공된다.

본 발명의 제2 국면에 의하면, 제1 화상에 포함된 오브젝트를 판별하고, 상기 제1 화상을 오브젝트마다 복수의 분류지로 분류하는 정보 처리 방법으로서, 상기 제1 화상으로부터 오브젝트를 판별하는 판별 스텝과, 상기 판별 스텝에서 취득된 판별 결과에 의거하여, 상기 제1 화상을 상기 복수의 분류지 중 어느 하나로 분 류할지를 결정하는 분류지 결정 스텝과, 상기 제1 화상을, 상기 분류지 결정 스텝에서 결정된 분류지에 대응하는 제2 화상의 위치까지 이동시키는 과정을, 화면 위에 표시하는 표시 스텝을 포함하는 정보 처리 방법이 제공된다.

본 발명에 따른 기억매체는 상기의 정보 처리 방법을 컴퓨터에 실행시키는 프로그램을 기억한 것을 특징으로 한다.

본 발명의 또 다른 특징들은 첨부된 도면을 참조하여 이하에 예시된 실시 예의 설명으로부터 분명해질 것이다.

이하, 본 발명의 바람직한 실시 예를, 첨부된 도면을 참조해서 상세히 설명한다.

<제1 실시 예>

도 1은, 본 발명의 제1 실시 예에 따른 정보 처리 장치의 구성을 나타내는 블럭도다.

도 1을 참조하면, 정보 처리 장치(100)는, 텔레비전 시청 기능을 갖고, 안테나(101)를 통해서 디지털 방송 신호를 수신하며, 리모트 컨트롤러(117)를 통한 지시에 의해 유저가 선택한 채널과 관련이 있는 영상, 프로그램 정보 등을 화상 표시부(110)에 표시한다. 또, 음성 데이터를, 음성 제어부(105)를 통해 음성 출력부(106)에 출력한다.

또, 정보 처리 장치(100)는, 화상 입력 기기(118)로서 접속되는 DSC(디지털 스틸 카메라), DVC(디지털 비디오 카메라), 메모리 카드 등으로부터 정지 화상과 동화상을 포함하는 화상 그룹을 취득, 축적하는 기능도 포함한다. 또한, 이 장치는 이들 화상을 화상 표시부(110)에 표시하는 기능도 포함한다.

도 2는, 정보 처리 장치(100)의 리모트 컨트롤러(117)의 일례를 도시한 도면이다. 그러나, 도 2는, 본 실시 예를 설명하기 위해 필요한 조작을 수행하는데 사용되는 키만을 나타낸다는 점에 유념하자.

도 2를 참조하면, 참조번호 201은 리모트 컨트롤러(117)와 수신부(116) 간의 적외선 통신을 하기 위한 송신부, 202는 정보 처리 장치(100)의 전원을 온/오프하기 위한 "전원" 키, 203은 정보 처리 장치(100)의 기능 중 유저가 선택가능한 기능 항목을 표시하는데 사용되는 "메뉴" 키, 204는 상하좌우 키의 중심에 위치된 결정 키를 갖는 "커서&결정" 키, 205는 정보 처리 장치(100)를 텔레비전 시청 상태로 설정하기 위해 이용되는 "텔레비전" 키, 206은 후술하는 화상 리스트 화면을 표시, 소거하기 위한 "뷰어" 키, 207은 주로 화면 표시 상태를 직전의 상태로 복귀시키기 위해 사용되는 "리턴" 키, 208은 1∼12까지의 숫자가 매트릭스 형태로 배열되어 있는 "숫자" 키 패드, 209는 주로 텔레비전 데이터 방송 조작에 사용된 "청색", "적색", "녹색", "황색"을 배열한 4개의 "컬러" 키, 210은 주로 동화상의 표시 제어에 사용되는 "재생 제어" 키로서, 동영상의 "정지", "일시정지", "되감기", "재생", "빨기 감기"에 사용되는 키다.

유저는, 이상의 각종 키를 조작함으로써 정보 처리 장치(100)의 동작을 결정할 수 있다.

(정보 처리 장치: 텔레비전 시청 기능)

도 1을 참조하면, 안테나(101)에 의해 수신된 신호는, 튜너부(102)에 입력된다. 튜너부(102)는 입력 신호에 대하여 복조 및 에러 정정 등의 처리를 수행해서, 트랜스포트 스트림(TS)이라고 불리는 형식의 디지털 데이터를 생성하고, 디멀티플렉서(103)에 그 데이터를 출력한다. TS에는 복수 채널에 해당하는 영상 및 음성 데이터와, 전자 프로그램 가이드(EPG) 데이터와, 데이터 방송의 데이터 등이 시분할 다중 형태로 포함되어 있다.

디멀티플렉서(103)는, 입력 TS로부터 영상 데이터 및 음성 데이터를 추출하고, 그들을 영상/음성 디코딩부(104)에 출력한다. 또, 디멀티플렉서(103)는 입력 TS로부터 EPG 데이터와 데이터 방송의 데이터를 추출하고, 그들을 방송 데이터 처리부(119)에 출력한다.

영상/음성 디코딩부(104)에 의해 처리된 영상 데이터는, 표시 제어부(109)를 통해서 화상 표시부(110)에 표시된다. 음성 데이터는, 음성 제어부(105)에 출력되고, 음성 출력부(106)로부터 음성으로서 출력된다.

방송 데이터 처리부(119)에 의해 처리된 EPG 데이터와 데이터 방송의 데이터는, 표시 제어부(109)를 통해서 화상 표시부(110) 위에 표시된다.

(정보 처리 장치:화상 표시 기능)

정보 처리 장치(100)는, 접속된 화상 입력 기기(118)와 축적부(113)로부터의 화상을, 화상 표시부(110)에 표시하는 기능을 갖는다. 이하, 화상 입력 기기(118)로부터의 화상을 표시하는 경우를 설명한다.

도 3a는, 화상 표시 기능을 사용해서 화상 표시부(110)에 표시된 화상 리스 트의 일례를 도시한 도면이다. 도 3b는, 유저로부터의 선택 지시에 따라 도 3a의 화상 리스트로부터 선택 및 표시된 화상의 표시의 일례를 도시한 도면이다.

화상 입력부(107)는, 화상 입력 기기(118)로부터 정보 처리 장치(100)로 화상을 캡처하기 위한 인터페이스이다. 화상 입력부(107)는, 화상 입력 기기(118)의 종류에 의존해서 여러 가지 형태를 취할 수 있다. 예를 들면, 화상 입력 기기(118)가 DSC인 경우에는, 화상 입력부(107)는 USB 또는 무선 LAN이다. 화상 입력 기기(118)가 DVC인 경우에는, 화상 입력부(107)는 USB, IEEE1394, 또는 무선 LAN이다. 화상 입력 기기(118)가 메모리 카드인 경우에는, 화상 입력부(107)는 PCMCIA 인터페이스나 메모리 카드 고유의 인터페이스이다. 화상 입력부(107)는, 화상 입력 기기(118)가 접속된 것을 검출하면, 접속 검출 이벤트를 제어부(112)에 출력한다.

제어부(112)는, 기기 접속 검출 이벤트를 검출하면, 화상 입력 기기(118) 중의 화상의 총수 정보를 취득하고, 그것을 일시 기억부(115)에 기억한다. 다음에, 일시 기억부(115)는 제1 화상 데이터를 취득하고, 이 데이터에 포함된 섬네일 화상을 추출하며, 화상 디코딩부(108)를 사용해서 JPEG 복호 처리(디코드)를 행한다. 화상 데이터에 섬네일 화상이 포함되어 있지 않은 경우에는, 제어부(112)는 화상 데이터 자체를 디코드, 축소해서, 섬네일 화상을 생성한다.

그 후에, 제어부(112)는, 표시 제어부(109)에 표시 데이터를, 표시 위치와 표시 사이즈의 지정과 함께 이송해서, 섬네일 화상을 표시한다. 마찬가지로, 제어부(112)는 제2 화상, 제3 화상,....,을 반복해서 처리해서, 도 3a에 나타낸 화상 리스트를 표시한다.

도 3a는, 화상 입력 기기(118)로부터의 화상 중 12장의 화상을, 4행 x 3열로 리스트로서 나타낸다.

도 3a를 참조하면, 참조번호 301은, 유저가 화상 리스트로부터 원하는 화상을 선택하기 위한 선택 커서다. 유저는 리모트 컨트롤러(117)의 "커서&결정" 키(204)의 상하좌우 키를 사용하여, 커서(301)를 이동시킬 수 있다.

유저가 결정 키를 누르면, 제어부(112)는 커서(301)가 위치되는 화상을, 도 3b에 나타나 있는 바와 같이, 표시 제어부(109)를 통해서 화상 표시부(110)에 표시한다. 이 경우에, 화상 디코딩부(108)는 선택된 화상 데이터에 대하여, JPEG 복호(디코드)를 수행한다. 그 후에, 제어부(112)는, 표시 제어부(109)에 표시 데이터를, 표시 위치와 표시 사이즈의 지정과 함께 이송해서, 화상을 표시한다.

(정보 처리 장치:인물 특징 등록 기능)

정보 처리 장치(100)는, 화상으로부터 피사체로서의 인물의 얼굴을 검출하고, 그 얼굴 특징 정보를 유저가 입력하는 인물의 명칭 등과 관련지어서 기억하는 인물 특징 등록 기능을 갖는다.

이하, 첨부도면을 참조해서 인물 특징 등록 기능에 관해서 설명한다.

도 3b에 나타낸 표시 상태에서, 유저가 리모트 컨트롤러(117)의 "메뉴" 키(203)를 누르면, 인물 특징 등록 기능을 시작하기 위한 선택 항목을 포함하는 기능 선택 메뉴(302)가 표시된다. 그 표시의 일례를 도 3c에 나타낸다. 도 3c에 나타낸 표시 상태에서, 유저는, 리모트 컨트롤러(117)의 "커서&결정" 키(204)를 사용해서, 인물 특징 등록 기능을 시작하기 위한 선택 항목으로서 "등록한다"를 선택한 다.

제어부(112)는, 유저로부터 선택 정보를 수신하면, 화상 디코딩부(108), 얼굴 인식 처리부(114) 등과 협력해서, 피사체로서의 인물의 얼굴을 검출하고, 검출한 얼굴의 얼굴 특징 정보를, 인물의 명칭 등과 관련지어서 기억하는 동작을 시작한다.

도 4는 그 동작의 순서를 도시한 플로차트다.

(S401: 동작 시작)

제어부(112)는, 동작을 시작한다.

(S402: 디코드된 데이터의 취득)

제어부(112)는, 화상 디코딩부(108)로부터 현재 표시된 화상의 디코드된 데이터를 취득하고, 그 데이터를 얼굴 인식 처리부(114)에 전달한다.

(S403: 얼굴 검출 처리)

얼굴 인식 처리부(114)는, 수신한 데이터에 포함된 인물의 얼굴 검출 동작을 수행한다. 얼굴 검출 동작의 일례로서, 이하의 문헌에 기재된 방법에 의해 동작을 수행한다.

"Laurenz Wiskott, Jean-Marc Fellous, Norbert Kruger, and Christoph von der Malsburg, "Face Recognition by Elastic Bunch Graph Matching" IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp.775-779, 1997"

우선, 화상 데이터에 대하여 웨이브렛 변환을 행하여, 얼굴 화상의 윤곽을 검출한다. 즉, 소수의 노드로 이루어진 페이스 그래프를 화상 데이터에 적용하고, 웨이브렛 변환을 행하여, 얼굴 영역(얼굴의 특징을 나타내는 그래프)을 검출한다. 또한, 얼굴 인식 처리부(114)는 검출한 얼굴 영역에 의거하여 크기나 기울기를 보정하고, 웨이브렛 변환을 사용해서 얼굴을 구성하는 기관(눈이나 입 등)의 위치를 포함하는 다수의 노드로 이루어진 페이스 그래프(이후, 얼굴 특징 정보라고 칭함)를 생성한다.

(S404: 얼굴 검출 결과의 판별)

제어부(112)는, 얼굴 검출 처리 결과에 근거하여, 얼굴 영역이 존재하는지 아닌지에 의존해서 처리의 분기를 행한다. 얼굴 검출 처리 결과는 검출한 얼굴의 수 정보를 포함한다. 얼굴 영역이 존재하면, 이 처리는 S405로 이행한다. 얼굴 영역이 존재하지 않으면, 이 처리는 S408로 이행한다.

(S405: 얼굴 특징 정보를 취득)

제어부(112)는, 얼굴 인식 처리부(114)로부터 얼굴 특징 정보를 취득한다.

(S406: 인물 명칭 입력)

제어부(112)는, 유저가 리모트 컨트롤러(117)를 사용해서 문자 입력을 가능하게 하는 소프트웨어 키보드 화면을 화상 표시부(110)에 표시한다.

유저는, 소프트웨어 키보드 화면을 보면서, 리모트 컨트롤러(117)의 "커서&결정" 키(204)를 사용하여, 전번의 스텝에서 취득한 얼굴 특징 정보와 관련되는 인물의 명칭을 입력한다. 예를 들면, 도 3b에 나타낸 바와 같이, 표시된 화상이 유저 자신을 피사체로 한 화상이면, 유저는 "자신" 또는 자신의 이름을 입력해도 된다. 표시된 화상이 유저의 지인인 경우에는, 유저는 지인의 이름이나 별명을 입력해도 된다.

(S407: 얼굴 특징 정보를 보존)

제어부(112)는, 얼굴 특징 정보를, 인물 명칭 정보와, 개인 식별을 위한 개인 ID 정보와 관련지어서 축적부(113)에 보존한다. 개인 ID 정보는, 정보 처리 장치(100)에 있어서 고유 번호이다. 보존된 순서로 그러한 정보를 제공한다.

(S408: 동작 종료)

제어부(112)는, 인물 특징 등록 기능의 동작을 종료한다.

이상에서 설명한 인물 특징 등록 기능을, 피사체로서의 다른 인물의 화상의 각각에 대하여 실행함으로써 복수 인물의 얼굴 특징 정보를 미리 정보 처리 장치(100)에 등록해 둘 수 있다.

(정보 처리 장치: 화상 분류 기능)

정보 처리 장치(100)는, 화상 입력 기기(118) 중의 복수의 화상을 피사체로서의 각 인물마다 분류하는 과정을 표시하면서 상기 복수의 화상을 분류하는 기능을 갖는다. 본 실시 예는, 분류하는 과정을 표시할 때, 분류 대상으로서의 화상을 대응하는 분류지로 천이(이동)시키는 방식을 애니메이션(동영상)으로 표시하도록 구성되어 있다.

이하, 첨부도면을 참조해서 본 실시 예에 있어서의 화상 분류 기능에 관해서 설명한다.

예를 들면, 도 3a에 나타낸 표시 상태에 있어서, 유저가 리모트 컨트롤 러(117)의 "메뉴" 키(203)를 누르면, 화상 분류 기능을 시작하기 위한 선택 항목을 포함하는 기능 선택 메뉴(303)가 표시된다.

그 표시의 일례를 도 3d에 나타낸다. 도 3d의 표시 상태에서, 유저는, 리모트 컨트롤러(117)의 "커서&결정" 키(204)를 사용해서 화상 분류 기능을 시작하기 위한 선택 항목으로서 "분류한다"를 선택한다. 유저가 "분류한다"를 선택하면, 유저가 분류를 하고 싶은 인물을 임의로 선택할 수 있는 인물 선택 리스트를 표시한다.

그 표시의 일례를 도 3e에 나타낸다. 인물 리스트(304)는, 전술한 인물 특징 등록 기능에 의해 입력되는 인물 명칭을 표시한다. 유저가, 인물 리스트(304)로부터 리모트 컨트롤러(117)의 "커서&결정" 키(204)를 사용해서 원하는 인물의 선택을 완료하면, 정보 처리 장치(100)는, 화상의 분류 동작을 시작한다.

이하, 인물 리스트(304)로부터 "자신", "A", "B"의 3명의 인물이 선택된 경우를 설명한다.

도 5는, 제어부(112)가 화상 디코딩부(108), 얼굴 인식 처리부(114) 등과 협력해서 수행하는 화상 분류 동작의 순서를 나타내는 플로차트다.

도 6은, 제어부(112)가 화상 디코딩부(108), 얼굴 인식 처리부(114) 등과 협력해서 수행하는 피사체에 있어서의 인물 판별 동작의 순서를 나타내는 플로차트다.

도 7a는, 화상분류 동작의 개시 시에 표시하는 화면의 일례를 나타낸다.

우선, 도 5에 있어서의 화상 분류 동작의 순서를 설명한다.

(S501: 동작 시작)

제어부(112)는, 우선 1장의 화상에 대한 화상 분류 동작을 시작한다. 이 동작이 시작하면, 도 7a에서 나타낸 것과 같은 화면을 표시한다.

도 7a를 참조하면, 참조번호 701은, 분류 대상이 되는 화상을 나타내고, 702 ∼705은, 화상의 분류지를 나타낸다. 참조번호 702, 703, 및 704는 각각 인물 리스트(304)로부터 선택한 "자신", "A", 및 "B"을 피사체로서 포함하는 화상의 분류지를 나타내고, 705는 인물 리스트(304)로부터 선택한 것 이외의 인물의 화상이나 인물이 묘사되어 있지 않다고 판단한 화상의 분류지를 나타낸다. 분류지 702~705는 각각 표시 위에 착색되어 있다. 본 실시 예에 있어서는, 분류지 702, 703, 704, 및 705는 "청색", "적색", "녹색", "황색"으로 각각 착색되어 있다.

(S502: 화상 데이터 취득)

제어부(112)는, 분류 대상 화상(701)의 화상 데이터를 취득하고, 그것을 화상 디코딩부(108)로 전달한다.

(S503: 화상 데이터 디코딩)

화상 디코딩부(108)는, 수신한 화상 데이터를 JPEG 복호 처리(디코드)를 행한다.

(S504: 디코드된 데이터의 취득)

제어부(112)는, 화상 디코딩부(108)로부터 디코드된 데이터를 취득한다.

(S505: 얼굴 검출 처리)

도 4의 스텝 S403에서 설명한 것과 같은 처리에 의해, 화상으로부터 인물의 얼굴을 검출한다.

(S506: 얼굴 검출 결과의 판별)

제어부(112)는, 얼굴 검출 처리 결과에 근거하여, 얼굴영역이 존재하는지 아닌지에 의존해서 처리의 분기를 행한다. 얼굴 검출 처리 결과는 검출한 얼굴의 수 정보를 포함한다. 얼굴 영역이 존재하면, 처리는 스텝 S507로 이행한다. 얼굴 영역이 존재하지 않으면, 처리는 스텝 S511로 이행한다.

(S507: 검출된 얼굴의 수 정보를 일시 기억)

제어부(112)는, 얼굴 검출 처리의 결과로서 검출된 얼굴의 수를 일시 기억부(115)에 일시 기억한다.

(S508: 변수에 초기값을 설정)

제어부(112)는, 이전 스텝에서 일시 기억된 얼굴의 수에 대응한 처리 순서를 나타내는 변수 K에 순서의 선두를 나타내는 "1"을 설정한다.

(S509: 얼굴 특징 정보를 취득)

(S510: 개인 판별)

제어부(112)는, 얼굴 인식 처리부(114)로부터 취득한 얼굴 특징 정보와, 인물 특징 등록 기능에 의해 축적부(113)에 보존된 얼굴 특징 정보에 근거해서 개인 판별 처리를 행한다. 그 동작의 순서에 대해서, 도 6을 참조해서 설명한다.

(S601: 동작 시작)

제어부(112)는, 개인 판별 처리의 동작을 시작한다.

(S602: 변수에 초기값을 설정)

제어부(112)는, 개인 판별 처리의 처리 순서를 나타내는 변수 N에 순서의 선두를 나타내는 "1"을 설정한다. 본 실시 예에 있어서는, 화상 분류지로서 "자신", "A", "B"의 3명의 인물이 선택되어 있기 때문에, N의 최대값은 3이다. 또한, 인물 특징 등록 기능에 의해 부여된 개인 ID 정보에 근거하여, 처리 순서를 결정한다. 본 실시 예에 있어서는, N=1, N=2, N=3은 "자신", "A", "B"의 처리 순서를 나타내는 것으로서 간주하자.

(S603: 얼굴 특징 정보 판독)

제어부(112)는, 변수 N에 대응하는 인물의 얼굴 특징 정보를, 축적부(113)로부터 취득한다. 본 실시 예의 설명에 있어서는, 제어부(112)는 우선 "자신"의 얼굴 특징 영역 정보를 판독한다.

(S604: 얼굴 특징 정보 비교)

제어부(112)는, 얼굴 인식 처리부(114)로부터 취득한 얼굴 특징 정보와 축적부(113)로부터 판독한 얼굴 특징 정보를 비교한다. 제어부(112)는, 얼굴 특징 정보 비교 결과가, 그 차가 임계값(threshold) 이하라고 나타내면, 특정한 인물을 식별할 수 있다고 판단한다. 제어부(112)는 그 차가 임계값 이상이면, 특정한 인물을 식별할 수 없다고 판단한다.

(S605: 판별 처리가 완료했는지를 판별)

제어부(112)는, 얼굴 특징 정보의 비교가 모두 완료했는지를 판별한다. 그 비교가 완료했을 경우에는, 처리는 스텝 S607로 이행한다. 그 비교가 완료하지 않 은 경우에는, 처리는 스텝 S606로 이행한다. 본 실시 예에 있어서는, "자신", "A", "B"의 특징 정보를 비교 완료한 경우에, 이 처리는 스텝 S607로 이행한다.

(S606: 변수 N을 인크리먼트)

제어부(112)는, 처리 순서를 나타내는 변수 N에 "1"을 부가한다.

(S607: 동작 종료)

제어부(112)는, 개인 판별 처리의 동작을 종료한다.

스텝 S510의 개인 판별 처리가, 상기의 스텝 S601∼S607의 동작에 의해 완료하면, 처리는 도 5의 스텝 S511로 되돌아간다.

(S511: 개인 판별 처리 Is가 완료했는지를 판별)

제어부(112)는, 이전 스텝에서 일시 기억된 얼굴의 수에 대응하는 개인 판별 처리가 완료했는지를 판별한다. 이 처리가 완료하지 않았으면, 처리는 스텝 S512로 이행한다. 이 처리가 완료했으면, 처리는 스텝 S513으로 이행한다.

(S512: 변수 K을 인크리먼트)

제어부(112)는, 처리 순서를 나타내는 변수 K에 1을 부가한다.

(S513: 천이 방향의 결정)

제어부(112)는, 개인 판별 처리 결과에 의거하여 화상의 분류지와 화상의 천이 방향을 결정한다. 개인 판별 처리 결과는, 특정한 인물을 판별할 수 있는지를 나타내는 정보와, 판별할 수 있는 인물의 개인 ID 정보를 포함한다.

일례로서, 도 7a에 있어서의 분류 대상 화상(701)이 "A"을 피사체로 한 화상이라고 판별하면, 그 화상을 "A"의 분류지(703)의 방향으로 천이(이동)시키는 것을 결정한다.

마찬가지로, 분류 대상 화상이 "자신"을 피사체로 한 화상인 경우에는, 화상을, "자신"의 분류지(702)로 천이(이동)시키는 것을 결정한다. 분류 대상 화상이 "B"를 피사체로 한 화상인 경우에는, 그 화상을 "B"의 분류지(704)로 천이(이동)시키는 것을 결정한다.

또, 분류 대상 화상이 "자신", "A", "B"의 화상 이외의 화상 또는 인물이 묘사되어 있지 않은 화상인 경우에는, 그 화상을 "그 밖의" 분류지(705)로 천이(이동)시키는 것을 결정한다.

분류 대상 화상(701)이 복수의 인물을 피사체로서 포함하는 화상, 예를 들면 "A"과 "B"를 피사체로서 포함한 화상인 경우에는, 그 화상을, "A"의 분류지(703)와 "B"의 분류지(704)의 쌍방으로 천이(이동)시키는 것을 결정한다. 이것은 피사체가 3명 이상인 경우에도 적용한다.

(S514: 천이 표시 처리)

제어부(112)는, 표시 제어부(109)에, 분류 대상 화상(701)의 섬네일 화상의 표시 데이터를, 표시 위치와 표시 사이즈의 지정과 함께 전달하고, 분류 대상 화상을 그 분류지로 천이(이동)시키는 방식을 애니메이션(동영상)으로 표시한다.

도 7b는, 그 애니메이션 표시의 일례를 모식적으로 나타내는 도면이다.

도 7b를 참조하면, 참조번호 706A는 시간 t1에 있어서의 분류 대상 화상(701)의 표시 위치, 706B는 시간 t2에 있어서의 분류 대상 화상(701)의 표시 위치, 706C는 시간 t3에 있어서의 분류 대상 화상(701)의 표시 위치, 706d는 시간 t4 에 있어서의 분류 대상 화상(701)의 표시 위치, 709는 화상의 천이(이동) 방향을 모식적으로 나타내는 화살표로서, 실제로 화면 위에는 표시되지 않는다.

제어부(112)는, 시간 경과와 함께 표시 제어부(109)를 제어해서, 시간 t1에서 위치 706A에 분류 대상 화상을 표시한다. 제어부(112)는 시간 t2에서, 위치 706A에서의 표시를 소거하고, 위치 706B에 화상을 표시하도록 제어를 행한다. 이상의 표시 제어를, 화상이 분류지 703에 도달할 때까지 반복함으로써 분류 대상 화상을 그 분류지로 천이(이동)시키는 방식을 애니메이션으로 표시하는 것이 가능해진다.

한편, 설명을 간편하게 하기 위해서, 도 7b는, 분류 대상 화상의 4개의 표시 위치 706A∼706D를 예시했다. 실제로는, 보다 세분화해서 표시 천이를 행하면, 화상을 매끄럽게 천이하는 방식을 애니메이션으로 유저에게 표시할 수 있다.

도 7c는, 분류 대상 화상이 "A", "B"의 2개의 피사체를 포함하는 경우의 애니메이션 표시를 모식적으로 나타낸 도면이다.

제어부(112)는, 시간 경과와 함께 시간 t1에서 위치 707A와 708A에 표시 제어부(109)에 대해서 분류 대상 화상을 표시하도록 제어한다. 제어부(112)는 시간 t2에서는, 위치 707A와 708A에서의 표시를 소거하고, 위치 707B와 708B에 화상을 표시하도록 제어를 행한다. 이상의 표시 제어를, 화상이 분류지 703 및 704에 도달할 때까지 반복함으로써 분류 대상 화상을 그 분류지로 천이시키는 방식을 애니메이션으로 표시하는 것이 가능해진다.

(S515: 화상 데이터 보존)

제어부(112)는, 분류지에 도달한 화상의 데이터를, 분류지마다 축적부(113)에서 구별된 축적 영역에 보존한다.

(S516: 동작 종료)

제어부(112)는, 1장의 화상에 대한 화상 분류 동작을 종료한다.

제어부(112)는, 상기의 도 5 및 도 6의 동작 순서를, 다음의 분류 대상에 대하여 반복 실행함으로써 화상 입력 기기(118) 중의 모든 화상을 피사체로서의 인물마다 분류해서 보존할 수 있다.

(정보 처리 장치: 화상 분류지 변경 기능)

또, 정보 처리 장치(100)는, 상기의 화상 분류 기능에 있어서의 분류 대상 화상의 천이 표시 처리 중에, 리모트 컨트롤러(117)를 통해서 유저에 의해 발행된 조작 지시에 의거하여 분류지를 변경하는 화상 분류지 변경 기능도 갖는다.

본 실시 예는 리모트 컨트롤러(117)의 "컬러" 키(209)를 이용하여, 변경 전의 분류지와 변경 후의 분류지를 지정함으로써 분류지를 변경하는 방법을 예로 들어 설명한다.

도 8a는, 천이 표시 처리 중에 시간 t5에 있어서의 분류 대상 화상(801)의 표시 위치 802A를 모식적으로 나타낸 도면이다. 참조번호 803은 화상의 천이 방향을 모식적으로 나타내는 화살표를 나타내지만, 실제로는 화면 위에 표시되지 않는다.

도 8a의 표시 상태에서, 유저가 리모트 컨트롤러(117)의 "컬러" 키(209)를 누르면, 제어부(112)는 그 대응하는 조작 지시를, 수신부(116)를 통해서 수신한다.

또, 제어부(112)는, 눌러진 "컬러" 키의 색, 즉 "청색", "적색", "녹색", "황색" 키 중 하나가 눌러졌는지를 판별하고, 우선 변경 전의 분류지를 식별한다. 제어부(112)는, 분류지의 표시색과 눌러진 "컬러" 키의 색을 일치시키도록 변경 전의 분류지를 식별한다.

유저가 리모트 컨트롤러(117)의 "컬러" 키(209)를 다시 누르면, 제어부(112)는 그 대응하는 조작 지시를, 수신부(116)를 통해서 수신한다.

또한, 제어부(112)는, 눌러진 "컬러" 키를 판별해서, 변경 후의 분류지를 식별한다. 제어부(112)는, 분류지의 표시 색과 눌러진 "컬러 키"의 색을 일치시키도록, 변경 후의 분류지를 식별한다.

예를 들면, 도 8b는, 유저가 녹색과 황색 "컬러" 키를 순차 누른 경우의 애니메이션 표시를 모식적으로 나타낸다. 참조번호 802B는 시간 t6에 있어서의 표시 위치, 802C는 시간 t7에 있어서의 표시 위치, 804는 화상의 천이 방향의 변화를 모식적으로 나타내는 화살표이지만, 실제로는 화면 위에 표시되지 않는다.

제어부(112)는, 시간 t5에서 녹색과 황색 "컬러" 키가 눌러졌다는 것을 검출하기 때문에, 제어부(112)는 분류지를 분류지 704에서 분류지 705로 변경하는 것을 결정한다. 그 후에, 제어부(112)는 시간 t6에서 위치 802A에서의 표시를 소거하고, 위치 802B에 화상을 표시하기 위해 시간 경과와 함께 표시 제어부(109)를 제어한다. 제어부(112)는 시간 t7에서, 위치 802B에서의 표시를 소거하고, 위치 802C에 분류 대상 화상을 표시하도록 제어를 행한다. 이상의 표시 제어를 화상이 분류지 705에 도달할 때까지 반복함으로써 그 화상을 변경된 분류지로 천이시키는 방식을 애니메이션으로 표시하는 것이 가능해진다.

마찬가지로, 녹색과 청색의 "컬러" 키가 순차 눌러진 경우에는, 분류지를 분류지 702로 변경하는 것을 결정한다. 이 동작 또한, 애니메이션으로 표시할 수 있다. 또, 녹색과 적색의 "컬러" 키가 순차 눌러진 경우에는, 분류지를 분류지 703로 변경하는 것을 결정한다. 이 동작 또한, 애니메이션으로 표시할 수 있다.

(효과)

이상 서술한 대로, 인물 특징 등록 기능에 의해 등록된 얼굴 특징 정보에 근거한 화상 분류 기능에 의해, 분류 대상 화상의 피사체로서의 인물을 판별하고, 그 화상을 인물마다 분류한다. 그 과정을 애니메이션으로 표시함으로써 유저는 그 표시 중에 분류 대상 화상의 피사체 인물의 얼굴 표정 등을 확인하면서, 간단한 조작으로 분류지를 원하는 분류지로 변경해서 화상을 분류할 수 있게 된다. 따라서, 이것에 의해 수동으로 분류 결과를 수정할 필요가 없어, 유저에 의한 수정 부하를 경감할 수 있다.

리모트 컨트롤러(117)의 "재생 제어" 키(210)의 "일시정지" 키가 눌러진 경우, 제어부(112)는, 표시 제어부(109)에 대한 표시 제어를 일시적으로 정지함으로써 애니메이션 표시를 일시 정지시킨다. "일시정지" 키가 다시 눌러진 경우, 제어부(112)는, 표시 제어부(109)에 대한 표시 제어를 재개함으로써 애니메이션 표시를 재개시킨다. 이들 제어 동작에 의하면, 분류 대상 화상의 내용을 확인하는데 걸리는 시간을 임의로 조정할 수 있어, 본 실시 예는 더 효과적이다.

<제2 실시 예>

본 발명의 제2 실시 예에 대해서, 도면을 참조해서 이하에 설명한다.

제2 실시 예가 적용되는 화상 표시 장치의 구성은, 도 1에 나타낸 제1 실시 예와 같다.

제2 실시 예는, 분류 대상 화상에서 검출된 얼굴의 수에 의거하여 분류 대상화상을 그 분류지로 천이시키는 속도를 결정하는 처리를 추가로 포함하는 것을 제외하고, 제2 실시 예는 제1 실시 예와 동일하다. 이하의 설명에서는, 제2 실시 예에 있어서의 천이 속도를, 1초에 화상을 천이시키는 화소의 수라고 간주한다.

이하, 제2 실시 예에 있어서의 화상 분류 기능에 관해서 설명한다.

(정보 처리 장치: 화상 분류 기능)

도 9는, 제어부(112)가 화상 디코딩부(108), 얼굴 인식 처리부(114) 등과 협력해서 행하는 화상 분류 동작의 순서를 나타내는 플로챠트다.

도 9를 참조해서 화상 분류 동작의 동작 순서를 설명한다.

스텝 S901 ∼S913의 처리는, 각각, 도 5의 스텝 S501∼S513의 처리와 같기 때문에, 그 설명은 생략한다.

(S914: 천이 속도의 결정)

제어부(112)는, 얼굴 검출 처리 결과인 분류 대상 화상의 얼굴 검출 수 정보에 의거하여 분류 대사 화상을 분류지로 천이시키는 속도를 결정한다.

예를 들면, 분류 대상 화상에서 검출된 얼굴의 수가 1인 경우에 설정된 천이 속도를 기준으로 이하의 식(1)에 따라 천이 속도(1초당 P 화소)를 결정한다.

분류지로의 천이속도 = P/분류 대상 화상에서 검출된 얼굴의 수 …(1)

식 (1)에 의하면, 분류 대상 화상은 검출된 얼굴의 수를 많이 포함하기 때문에, 그 천이속도를 경감시킬 수 있다. 이에 따라 유저는, 분류 대상 화상에 많은 인물이 포함되어 있는 경우에도, 개개의 인물의 얼굴 표정과, 어떤 모르는 사람이 분류 대상 화상에 포함되어 있는지를 철저히 확인하는 것이 가능하다.

이후, 스텝 S915∼S917의 처리는, 각각, 도 5의 스텝 S514∼S516의 처리와 같기 때문에, 그 설명은 생략한다.

본 실시 예는, 천이 속도를 식 (1)에 따라 결정하는 경우를 예시했다. 그러나, 본 실시 예는 다른 수식이나 검출된 얼굴의 수와 천이 속도를 관련짓는 테이블 정보를 참조함으로써 천이 속도를 결정하도록 구성되어도 된다.

(효과)

이상 서술한 대로, 인물 특징 등록 기능에 의해 등록된 얼굴 특징 정보에 근거한 화상 분류 기능에 의해, 분류 대상 화상의 피사체로서의 인물을 판별하고, 인물마다 분류한다. 그 과정을 애니메이션으로 표시할 때에, 분류 대상 화상에서 검출된 얼굴의 수에 의거하여 화상 천이 속도를 결정한다.

이에 따라 유저는 애니메이션 표시 중에, 분류 대상 화상에 많은 인물이 포함되어 있는 경우에도, 개개의 인물의 얼굴 표정과, 어떤 모르는 사람이 분류 대상 화상에 포함되어 있는지를 철저히 확인하는 것이 가능하다. 또, 주어진 화상의 분류지를, 애니메이션 표시 중에 간단한 유저 조작에 의해 원하는 분류지로 변경할 수도 있다. 따라서, 수동으로 그룹 결과를 수정할 필요가 없어, 유저에 의한 수정 부하를 경감할 수 있다.

<제3 실시 예>

본 발명의 제3 실시 예에 대해서, 첨부도면을 참조해서 이하에서 설명한다.

제3 실시 예가 적용되는 화상 표시 장치의 구성은, 도 1에 나타낸 제1 실시 예와 같다.

제3 실시 예는, 분류 대상 화상의 피사체로서의 인물의 얼굴 특징 정보가, 인물 특징 등록 기능에 의해 등록된 인물의 얼굴 특징 정보와 어느 정도 일치하고 있는지를 나타내는 매칭 레벨에 의거하여 분류 대상 화상을 분류지로 천이시키는 속도를 결정하는 처리를 예시한다.

제3 실시 예에서는 4개의 매칭 레벨, 즉 레벨 0∼레벨 3을 설정한다. 레벨 0은 특정한 인물을 식별할 수 없는 경우를 나타낸다. 인물을 식별할 수 있는 경우를 나타내는 레벨 중, 레벨 1은 가장 낮은 매칭 레벨에 해당하고, 레벨 3은 가장 높은 매칭 레벨에 해당한다.

이하, 제3 실시 예에 있어서의 화상 분류 기능의 동작에 대해서, 도 9를 참조해서 설명한다.

(정보 처리 장치: 화상 분류 기능）

스텝 S901∼S913의 처리는, 도 5의 S501∼S513의 처리와 같기 때문에, 그 설명은 생략한다.

(S914: 천이 속도의 결정)

제어부(112)는, 얼굴 검출 처리의 결과로서의 분류 대상 화상의 얼굴 검출 수 정보와, 개인 판별 처리의 결과로서의 각 얼굴에 대한 매칭 레벨에 의거하여 분 류지로의 천이속도를 결정한다.

제어부(112)는, 우선, 각 검출한 얼굴에 대한 매칭 레벨을 결정한다.

매칭 레벨은, 도 6의 스텝 S604를 참조해서 설명한 얼굴 특징 정보 비교의 결과로서 취득한 차에 근거해서 결정된다. 그러한 차가 임계값 이하인 경우를 3단계로 구분한다. 그 차가 작을수록 매칭 레벨은 높아진다. 특징 정보 비교의 결과로서 취득한 차가 임계값 이상인 경우, 레벨 0(개인 판별을 할 수 없었다)이 결정된다.

또한, 각 매칭 레벨마다, 천이 속도를 결정하기 위해서 사용된 계수(매칭 레벨 계수)를 할당한다. 본 실시 예에 있어서는, 레벨 0은 계수=0에 해당하고, 레벨 1은 계수=1에 해당하며, 레벨 2는 계수=2에 해당하며, 레벨 3은 계수=3에 해당한다.

다음에, 분류 대상 화상에서 검출된 얼굴의 수가 1인 경우에 설정된 천이 속도를 기준으로, 이하의 식(2)에 따라 천이 속도(1초당 P 화소)를 결정한다.

분류지로의 천이속도 =

.....(2)

여기에서, n은 검출된 얼굴의 수, K는 도 9의 스텝 S908에서의 처리 순서를 나타내는 변수, CK는 개인 판별 처리를 행한 K번째 얼굴의 매칭 레벨 계수이다.

식(2)에 의하면, 검출된 얼굴의 수가 증가하고, 매칭 레벨이 감소하기 때문에, 분류 대상 화상의 천이 속도를 경감시킬 수 있다. 이에 따라 유저는, 분류 대상 화상에 많은 인물이 포함되어 있는 경우에도, 개개의 인물의 얼굴 표정과 어떤 모르는 사람이 분류 대상 화상에 포함되어 있는지를 철저히 확인하는 것이 가능하다.

이후 스텝 S915∼S917의 처리는, 도 5의 스텝 S514∼S516의 처리와 같기 때문, 그 설명은 생략한다.

본 실시 예는, 천이 속도를 식 (2)에 근거해서 결정하는 경우를 예시했다. 그러나, 본 실시 예는 다른 수식을 이용하거나 검출된 얼굴의 수와 매칭 레벨의 조합을 천이 속도와 관련짓는 테이블 정보를 참조함으로써 천이속도를 결정하도록 구성되어도 된다.

본 실시 예에 있어서는, 4개의 매칭 레벨을 준비한다. 그러나, 본 실시 예는 더 많은 레벨을 갖도록 구성되어도 된다. 그 경우에는, 더 미세한 천이 속도 제어가 가능해진다.

(효과)

이상 서술한 대로, 인물 특징 등록 기능에 의해 등록된 얼굴 특징 정보에 근거한 화상 분류 기능에 의해, 분류 대상 화상의 피사체로서의 인물을 판별하고, 인물마다 분류한다. 그 과정을 애니메이션으로 표시할 때에, 분류 대상 화상에서 검출된 얼굴의 수와 각 얼굴에 대한 매칭 레벨에 의거하여 화상 천이 속도를 결정한다.

이에 따라 유저는 애니메이션 표시 중에, 분류 대상 화상에 많은 인물이 포함되어 있는 경우에도, 개개의 인물의 얼굴 표정과, 어떤 모르는 사람이 분류 대상 화사에 포함되어 있는지를 철저히 확인하는 것이 가능하다. 또, 애니메이션 표시 중에 간단한 유저 조작으로 원하는 분류지로 주어진 화상의 분류지를 변경할 수도 있다. 따라서, 분류 결과를 수동으로 수정할 필요가 없어, 유저에 의한 수정 부하를 경감할 수 있다.

<제4 실시 예>

본 발명의 제4 실시 예에 대해서, 첨부도면을 참조해서 이하에 설명한다.

제4 실시 예가 적용되는 화상 표시 장치의 구성은, 도 1에 나타낸 제1 실시 예와 같다.

제4 실시 예는, 분류 대상 화상의 피사체로서의 인물의 얼굴 특징 정보가, 인물 특징 등록 기능에 의해 등록된 인물의 얼굴 특징 정보와 일치하는지를 나타내는 매칭 레벨에 의거하여 분류 대상 화상을 복수의 분류지로 천이시키는 순서를 결정하는 구성을 예시한다.

본 실시 예에 있어서의 매칭 레벨은, 제3 실시 예와 같다.

이하, 제4 실시 예에 있어서의 화상 분류 기능에 관해서 설명한다.

(정보 처리 장치: 화상 분류 기능)

도 10은, 제어부(112)가, 화상 디코딩부(108), 얼굴 인식 처리부(114) 등과 협력해서 행하는 화상 분류 동작의 순서를 나타내는 플로차트다.

이하, 도 10에 있어서의 화상 분류 동작의 순서를 설명한다.

스텝 S1001∼S1012의 처리는, 도 5의 스텝 S501∼S512의 처리와 같기 때문에, 그 설명은 생략한다.

(S1013: 천이 순서의 결정)

제어부(112)는, 얼굴 검출 처리의 결과로서의 분류 대상 화상의 얼굴 검출 수 정보와, 개인 판별 처리의 결과로서의 각 얼굴에 대한 매칭 레벨에 의거하여 분류지로의 천이 순서를 결정한다.

제어부(112)는, 우선 검출한 각 얼굴에 대한 매칭 레벨을 결정한다.

매칭 레벨은, 도 6의 스텝 S604을 참조해서 설명한 얼굴 특징 정보의 결과로서 취득한 차에 의해 결정된다. 그러한 차가 임계값 이하인 경우를 3개의 레벨로 구분한다. 그 차가 작을수록 매칭 레벨은 높아진다. 특징 정보 비교의 결과로서 취득한 차가 임계값 이상인 경우에, 레벨 0(개인판별을 할 수 없었다)이 결정된다.

제어부(112)는, 분류 대상 화상이 2개 이상의 얼굴을 포함하는 경우에, 복수의 분류지로 화상을 천이시키는 순서를 결정한다.

도 11은, 피사체로서 2명의 인물 "A" 및 "B"가 포함되어 있는 화상의 예를 나타내는 도면이다.

우선, 참조번호 1101로 표시된 "A"의 얼굴의 매칭 레벨이 레벨 3이고, 참조번호 1102로 표시된 "B"의 얼굴의 매칭 레벨이 레벨 1인 경우에는, 다음과 같이 천이 순서를 결정한다. 즉, 우선 매칭 레벨이 높은 "A"의 분류지로 화상이 천이하고, 그 후에 매칭 레벨이 낮은 "B"의 분류지로 화상이 천이하도록 순서를 결정한다.

반대로, "A"의 얼굴의 매칭 레벨이 레벨 1이고, 참조번호 1102로 표시된 "B"의 얼굴의 매칭 레벨이 레벨 3인 경우에는, 다음과 같이 천이 순서를 결정한다. 즉, 우선 매칭 레벨이 높은 "B"의 분류지로 화상을 천이하고, 그 후에 매칭 레벨이 낮은 "A"의 분류지로 화상을 천이하도록 순서를 결정한다.

"A"와 "B"의 얼굴의 매칭 레벨이 같은 경우에는, 먼저 개인 판별 처리를 행한 인물의 분류지로 화상을 천이하도록 순서를 결정한다.

3인 이상의 얼굴이 검출된 경우에도, 상기와 같이 개개의 얼굴의 매칭 레벨을 비교해서 순서를 결정한다.

(S1014: 천이 표시 처리)

순서 결정 후, 분류 대상 화상을 그 분류지로 천이시키는 방식을 애니메이션으로 표시한다.

도 12는, 우선 매칭 레벨이 높은 "A"의 분류지로 화상을 천이하고, 다음에 매칭 레벨이 낮은 "B"의 분류지로 화상을 천이하도록 순서를 결정한 경우의 애니메이션 표시의 일례를 도시한 도면이다.

도 12를 참조하면, 참조번호 1201은, 분류 대상으로서의 화상을 나타내고, 1202A는 시간 t12에 있어서의 분류 대상 화상 1201의 표시 위치, 1202B은 시간 t13에 있어서의 화사의 표시 위치를 나타낸다. 마찬가지로, 참조번호 1202C∼1202F는 시간 t14∼t17에 있어서의 화상의 표시 위치를 나타낸다.

제어부(112)는, 시간 t12에서 위치 1202A에 분류 대상 화상을 표시하도록 시간 경과와 함께 표시 제어부(109)를 제어한다. 다음에, 제어부(112)는 시간 t13에서, 위치 1202A에서의 표시를 소거하고, 위치 1202B에 화상을 표시하도록 제어를 행한다. 제어부(112)는 이상의 표시 제어를, 화상이 분류지 703에 도달할 때까지 반복한다. 제어부(112)는 시간 t13에서, 위치 1202E에 화상을 표시하도록 제어를 행한다. 이후, 제어부(112)는 같은 표시 제어를, 화상이 분류지 704에 도달할 때까 지 반복한다.

제4 실시 예에 있어서는, 각각의 분류지에 화상이 도달할 때, 축적부(113)에 있어서의 축적 영역에 화상 데이터를 보존한다. 유저가 분류 대상화상을 보존하고 싶지 않은 경우에는, 상기 실시 예에서 설명한 화상 분류지 변경 기능을 사용해서 분류지를 변경해도 된다. 또한, 각각의 분류지에 화상이 도달할 때, 유저는 리모트 컨트롤러(117)의 "리턴" 키(207)를 눌러서, 화상이 축적되는 것을 금지해도 된다.

(효과)

이상 서술한 대로, 인물 특징 등록 기능에 의해 등록된 얼굴 특징 정보에 근거한 화상 분류 기능에 의해, 분류 대상 화상의 피사체로서의 인물을 판별하고, 인물마다 분류한다. 그 과정을 애니메이션으로 표시할 때에, 분류 대상 화상에서 검출된 얼굴의 수와 각 얼굴에 대한 매칭 레벨에 의거하여 복수의 분류지로의 천이 순서를 결정한다.

이에 따라 유저는 애니메이션 표시 중에, 분류 대상 화상에 많은 인물이 포함되어 있는 경우에도, 개개의 인물의 얼굴 표정과, 어떤 모르는 사람이 분류 대상 화상에 포함되어 있는지를 철저히 확인하는 것이 가능하게 된다. 또, 애니메이션 표시 중에 간단한 유저 조작으로, 원하는 분류지로 주어진 화상의 분류지를 변경할 수도 있다. 따라서, 분류 결과를, 수동으로 수정할 필요가 없어, 유저에 의한 수정 부하를 경감할 수 있다.

<제5 실시 예>

본 발명의 제5 실시 예에 대해서, 첨부도면을 참조해서 이하에 설명한다.

도 13은, 화상 분류 기능에 의한 애니메이션 표시 중의 표시 효과의 일례를 모식적으로 나타내는 도면이다.

도 13을 참조하면, 참조번호 1301은 분류 대상으로서의 화상, 1303은 천이 표시 중에 시간 t18에 있어서의 분류 대상 화상 1301의 표시 위치를 나타낸다. 참조번호 1302는 분류 대상 화상 1301에 있어서, 상기 실시 예에서 서술한 얼굴 검출 처리와 개인 판별 처리에 의해 특정한 개인으로서 판별된 얼굴 영역 부분을 원형으로 둘러싸서, 강조 표시한 상태를 나타낸다. 참조번호 1304는 "A"를 피사체로서 포함하는 화상의 분류지에서의 표시 위에 "A"의 얼굴 화상을 겹쳐 놓아서, 상기 화상의 분류지를 강조 표시하는 상태를 나타낸다.

표시 1302와 같은 강조 표시와, 표시 1304와 같은 강조 표시를, 표시 효과로서 애니메이션 표시에 부가한다. 이들 표시 효과에 의해, 유저에게 화상 분류의 이유, 즉 화상에서 검출된 특정 인물에 근거해 분류하고 있는 것을 이해하기 쉽게 나타낼 수 있다.

본 실시 예에 있어서는, 참조번호 1302로 표시된 강조 표시는 원형이다. 그러나, 얼굴 영역 부분을 둘러쌀 수 있는 어떤 형상이든, 예를 들면 직사각형을 사용해도 좋다.

또, 참조번호 1302로 표시된 강조 표시를, 천이 표시 중의 화상 1303 위에 겹쳐 놓아도 된다.

<제6 실시 예>

본 발명의 제6 실시 예를, 첨부도면을 참조해서 이하에서 설명한다.

도 14는, 화상 분류 기능에 의해 실행되는 애니메이션 표시 중의 표시 효과의 일례를 모식적으로 나타내는 도면이다.

도 14를 참조하면, 참조번호 1401은 분류 대상으로서의 화상이다. 참조번호 1402는 분류 대상 화상 1401에 있어서, 상기 실시 예에서 서술한 얼굴 검출 처리와 개인 판별 처리에 의해 특정한 개인으로서 판별된 얼굴 영역 부분을 직사각형으로 둘러싸서, 강조 표시한 상태를 나타낸다. 참조번호 1403은 주어진 시간에 있어서의 분류 대상 화상 1401의 얼굴 영역 부분, 즉 참조번호 1402에 해당하는 영역을 확대해서 표시한 상태를 나타낸다. 참조번호 1404는 분류 대상 화상 1401의 얼굴 영역 부분을 표시 위치 1403에 확대해서 표시하고, 더욱 분류지 703에서 축소하면서 표시하는 상태를 모시적으로 나타낸다. 그러나, 이 상태는 실제로는 화면 위에 표시되지 않는다.

제어부(112)는, 분류 대상 화상 1401의 천이 표시를 행하는 과정에서, 분류 대상 화상 1401의 얼굴 영역 부분 1402의 데이터를 클립핑한다. 그 후에, 제어부(112)는, 표시 제어부(109)로, 클립핑된 데이터와 함께, 표시 위치와 표시 사이즈의 지정을 전달해서, 화상을 표시한다. 이 경우에, 제어부(112)는, 시간 경과와 함께 표시 위치 1403에서 화상을 확대하면서 표시하고, 위치 703에서의 화상의 사이즈를 원래의 사이즈로 축소하면서 상기 위치 703에서 화상을 표시하도록 표시 위치와 표시 사이즈를 지정한다.

참조번호 1404로 표시된 것과 같은 강조 표시와 확대/축소 표시를, 표시 효과로서 애니메이션 표시에 부가한다. 이들 표시 효과에 의해, 유저에게 화상 분류 의 이유, 즉 화상에서 검출된 측정에 근거해 분류하고 있는 것을 이해하기 쉽게 나타낼 수 있다.

화상을 시간 경과와 함께 확대하면서 표시할 때에, 그 확대율을 상기의 실시 예에서의 매칭 레벨에 근거하여 결정해도 된다.

<기타의 실시 예>

이상 서술한 본 발명의 실시 예는, 화상 분류 기능에 의해 화상을 분류할 때, 유저가 인물 선택 리스트로부터 3명의 인물을 선택한 경우를 예시했다. 그렇지만, 그 인원 수에 한정하지 않는다. 유저가 2명이나 4명 이상의 인물을 선택하더라도 분류를 수행하는 것은 가능하다.

도 15는, 유저가 2명의 인물을 선택한 경우에, 화상 분류 동작의 개시 시에 표시하는 화면의 일례를 나타낸다.

도 16은, 유저가 5명의 인물을 선택한 경우에, 화상 분류 동작의 개시 시에 표시하는 화면의 일례를 나타낸다.

정보 처리 장치(100)는, 분류지의 수에 따라 복수의 분류지의 배치를 결정해도 된다. 그 경우에는, 분류 대상 화상의 배치 위치와 각 분류지 간의 거리가 서로 같게 되도록 배치하는 것이 바람직하다.

또, 정보 처리 장치(100)는, 화상 입력 기기(118)가 접속되거나, 유저에 의해 화상 분류 기능이 시작될 때에, 자동적으로 화상의 피사체의 개인 판별 처리를 행함으로써, 분류 가능한 인물을 유저에게 제시하고, 분류 동작을 시작하도록 구성되어도 된다.

상술한 실시 예의 설명에 의하면, 화상의 분류지를, 리모트 컨트롤러(117)의 "컬러" 키(209)를 사용해서 변경한다. 그러나, 그러한 분류지를, "숫자" 키 패드(208)를 사용해서 변경해도 된다.

또, 상기의 실시 예에 있어서의 얼굴 특징 정보 비교 결과 간의 차에 대한 임계값을, 유저 조작에 의해 변경해도 된다.

또, 본 발명의 목적은, 첨부도면에 나타낸 기능 블록 및 동작 중, 어떤 부분을 하드웨어 회로를 이용해서 실현하고, 또는 컴퓨터를 사용한 소프트웨어 처리에 의해 실현해도 달성된다.

상기의 실시 예는 얼굴 인식 기술을 사용해서 화상을 분류하는 경우를 예시했지만, 본 발명은 이것에 한정되는 것은 아니다. 예를 들면, 인물의 얼굴 이외의 오브젝트를 인식하고, 그 오브젝트마다 화상을 분류해도 된다.

본 발명은, 전술한 실시 예의 기능을 실현하는 소프트웨어의 프로그램을, 시스템 혹은 장치에 직접 혹은 원격으로부터 공급해서 그 시스템 또는 장치의 컴퓨터가 그 프로그램을 판독해서 실행함으로써, 그 기능을 실현하는 경우도 포함한다.

본 발명의 기능/처리를 컴퓨터가 실현하기 위해서, 컴퓨터에 공급되어 인스톨되는 프로그램 코드 자체도 본 발명을 실현한다. 즉, 본 발명의 기능/처리를 실현하는 컴퓨터 프로그램 자체도 본 발명에 포함된다.

또한, 각 실시 예의 목적은, 다음과 같은 방법에 의해도 달성된다. 전술한 실시 예의 기능을 실현하는 소프트웨어 프로그램 코드를 기억한 기억매체 (또는 기록 매체)를, 시스템 혹은 장치에 공급한다. 그 시스템 혹은 장치의 컴퓨터(또는 CPU나 MPU)가 기억매체에 기억된 프로그램 코드를 판독해 실행한다. 이 경우, 기억매체로부터 판독된 프로그램 코드 자체가 전술한 실시 예의 기능을 실현하고, 그 프로그램 코드를 기억한 기억매체는 본 발명을 구성하게 된다. 또한, 컴퓨터가 판독한 프로그램 코드를 실행할 때뿐만 아니라, 프로그램 코드의 지시에 근거하여 컴퓨터상에서 가동하고 있는 오퍼레이팅 시스템(OS) 등이 실제의 처리의 일부 또는 전부를 수행할 때도, 전술한 실시 예의 기능이 실현된다.

또, 다음과 같을 경우도 본 발명에 포함된다. 기억매체로부터 판독된 프로그램 코드가, 컴퓨터에 삽입된 기능 확장 카드나 컴퓨터에 접속된 기능 확장 유닛의 메모리에 기록된다. 그 프로그램 코드의 지시에 근거하여, 그 기능 확장 카드나 기능 확장 유닛의 CPU가 실제의 처리의 일부 또는 전부를 수행함으로써, 전술한 실시 예의 기능이 실현된다.

본 발명을 상기 기억매체에 적용할 경우, 그 기억매체에는, 상기의 순서에 대응하는 프로그램 코드가 기억된다.

예시한 실시 예를 참조해서 본 발명을 설명했지만, 본 발명은 이 예시된 실시 예에 한정되는 것이 아니라는 점을 이해해야 한다. 이하 청구항들의 범주는 그러한 모든 변형과 균등 구조 및 기능을 포함하도록 가장 넓게 해석되어야 한다.

본 발명에 의하면, 복수의 화상을 분류할 때에, 유저에 의한 수정 부하를 경감할 수 있다.

Claims

제1 화상에 포함된 오브젝트를 판별하고, 상기 제1 화상을 오브젝트마다 복수의 분류지로 분류하는 정보 처리 장치로서,

상기 제1 화상과 상기 분류지를 나타내는 제2 화상을 표시하는 표시 수단과,

상기 제1 화상으로부터 오브젝트를 판별하는 판별 수단과,

상기 판별 수단이 취득한 판별 결과에 의거하여 상기 제1 화상을 상기 복수의 분류지 중 어느 하나로 분류할지를 결정하는 분류지 결정 수단과,

상기 분류지 결정 수단에 의해 결정된 분류지에 대응하는 상기 제2 화상의 위치까지 상기 제1 화상을 이동시키는 과정을, 상기 표시 수단의 화면 위에 표시하도록 상기 표시 수단을 제어하는 표시 제어 수단을 구비하는 것을 특징으로 하는 정보 처리 장치.
제 1 항에 있어서,

상기 분류지 결정 수단은, 상기 제1 화상 중에 복수의 오브젝트가 포함될 경우에, 상기 제1 화상을 복수의 분류지에 할당하는 것을 특징으로 하는 정보 처리 장치.
제 2 항에 있어서,

상기 제1 화상을 상기 복수의 분류지에 할당할 경우에, 상기 복수의 분류지의 우선순위를 결정하는 우선순위 결정 수단을 더 구비하는 것을 특징으로 하는 정보 처리 장치.
제 3 항에 있어서,

상기 판별 수단에 의해 취득된 판별 결과는, 상기 제1 화상에 포함된 오브젝트가 특정한 오브젝트라는 신뢰성에 관한 정보인 신뢰성 정보를 포함하고, 상기 우선순위 결정 수단은, 상기 신뢰성 정보에 의거하여 상기 복수의 분류지의 우선순위를 결정하는 것을 특징으로 하는 정보 처리 장치.
제 1 항에 있어서,

상기 표시 제어 수단은, 상기 판별 수단에 의해 취득된 판별 결과에 의거하여, 상기 제1 화상을, 상기 분류지 결정 수단에 의해 결정된 분류지에 대응하는 상기 제2 화상의 위치까지 이동시키는 이동 속도를 제어하는 것을 특징으로 하는 정보 처리 장치.
제 5 항에 있어서,

상기 판별 수단에 의해 취득된 판별 결과는, 상기 제1 화상에 포함된 오브젝트의 수 정보를 포함하고, 상기 표시 제어 수단은, 상기 수 정보에 의거하여 상기 이동 속도를 제어하는 것을 특징으로 하는 정보 처리 장치.
제 5 항에 있어서,

상기 판별 수단에 의해 취득된 판별 결과는, 상기 제1 화상에 포함된 오브젝트가 특정한 오브젝트라는 신뢰성에 관한 정보인 신뢰성 정보를 포함하고, 상기 표시 제어 수단은, 상기 신뢰성 정보에 의거하여 상기 이동 속도를 제어하는 것을 특징으로 하는 정보 처리 장치.
제 1 항에 있어서,

상기 분류지 결정 수단은, 유저로부터의 입력에 의거하여 상기 제1 화상의 상기 분류지를 변경하는 것을 특징으로 하는 정보 처리 장치.
제 1 항에 있어서,

상기 표시 제어 수단은, 상기 판별 수단에 의해 판별된 오브젝트를 포함하는 영역과, 상기 분류지 결정 수단에 의해 결정된 분류지에 대응하는 제2 화상을 강조해서 표시하도록 상기 -을 제어하는 것을 특징으로 하는 정보 처리 장치.
제 1 항에 있어서,

상기 표시 제어 수단은, 상기 제1 화상을, 상기 분류지 결정 수단에 의해 결정된 분류지에 대응하는 제2 화상의 위치까지 이동시키는 과정에서, 상기 판별 수단에 의해 판별된 오브젝트를 포함하는 영역을 확대하면서 표시하는 것을 특징으로 하는 정보 처리 장치.
제 10 항에 있어서,

상기 판별 수단에 의해 취득된 판별 결과는, 상기 제1 화상에 포함된 오브젝트가 특정한 오브젝트라는 신뢰성에 관한 정보인 신뢰성 정보를 포함하고, 상기 표시 제어 수단은, 상기 신뢰성 정보에 의거하여 상기 영역을 표시, 확대하는 확대율을 변경하는 것을 특징으로 정보 처리 장치.
제1 화상에 포함된 오브젝트를 판별하고, 상기 제1 화상을 오브젝트마다 복수의 분류지로 분류하는 정보 처리 방법으로서,

상기 제1 화상으로부터 오브젝트를 판별하는 판별 스텝과,

상기 판별 스텝에서 취득된 판별 결과에 의거하여, 상기 제1 화상을 상기 복수의 분류지 중 어느 하나로 분류할지를 결정하는 분류지 결정 스텝과,

상기 제1 화상을, 상기 분류지 결정 스텝에서 결정된 분류지에 대응하는 제2 화상의 위치까지 이동시키는 과정을, 화면 위에 표시하는 표시 스텝을 포함하는 것을 특징으로 하는 정보 처리 방법.
제 12 항에 있어서,

상기 분류지 결정 스텝에서, 상기 제1 화상 중에 복수의 오브젝트가 포함될 경우에, 상기 제1 화상을 복수의 분류지에 할당하는 것을 특징으로 하는 정보 처리 방법.
제 13 항에 있어서,

상기 제1 화상을 상기 복수의 분류지에 할당할 경우에, 상기 복수의 분류지의 우선순위를 결정하는 우선순위 결정 스텝을 더 포함하는 것을 특징으로 하는 정보 처리 방법.
제 14 항에 있어서,

상기 판별 스텝에서 취득된 판별 결과는, 상기 제1 화상에 포함된 오브젝트가 특정한 오브젝트라는 신뢰성에 관한 정보인 신뢰성 정보를 포함하고, 상기 우선순위 결정 스텝에서는, 상기 신뢰성 정보에 의거하여 상기 복수의 분류지의 우선순위를 결정하는 것을 특징으로 하는 정보 처리 방법.
제 12 항에 있어서,

상기 표시 스텝에서는, 상기 판별 스텝에 취득된 판별 결과에 의거하여 상기 제1 화상을, 상기 분류지 결정 스텝에서 결정된 분류지에 대응하는 제2 화상의 위치까지 이동시키는 이동 속도를 제어하는 것을 특징으로 하는 정보 처리 방법.
제 16 항에 있어서,

상기 판별 스텝에서 취득된 판별 결과는, 상기 제1 화상에 포함된 오브젝트의 수 정보를 포함하고, 상기 표시 스텝에서는, 상기 수 정보에 의거하여 상기 이동 속도를 제어하는 것을 특징으로 하는 정보 처리 방법.
제 16 항에 있어서,

상기 판별 스텝에서 취득된 판별 결과는, 상기 제1 화상에 포함된 오브젝트가 특정한 오브젝트라는 신뢰성에 관한 정보인 신뢰성 정보를 포함하고, 상기 표시 스텝에서는, 상기 신뢰성 정보에 의거하여 상기 이동 속도를 제어하는 것을 특징으로 하는 정보 처리 방법.
제 12 항에 있어서,

상기 분류지 결정 스텝에서는, 유저로부터의 입력에 의거하여 상기 제1 화상의 분류지를 변경하는 것을 특징으로 하는 정보 처리 방법.
제 12 항에 있어서,

상기 표시 스텝에서는, 상기 판별 스텝에서 판별된 오브젝트를 포함하는 영역과, 상기 분류지 결정 스텝에서 결정된 분류지에 대응하는 제2 화상을 강조해서 표시하는 것을 특징으로 하는 정보 처리 방법.
제 12 항에 있어서,

상기 표시 스텝에서는, 상기 제1 화상을, 상기 분류지 결정 스텝에서 결정된 분류지에 대응하는 제2 화상의 위치까지 이동시키는 과정에서, 상기 판별 스텝에서 판별한 오브젝트를 포함하는 영역을 확대하면서 표시하는 것을 특징으로 하는 정보 처리 방법.
제 21 항에 있어서,

상기 판별 스텝에서 취득한 판별 결과는, 상기 제1 화상에 포함된 오브젝트가 특정한 오브젝트라는 신뢰성에 관한 정보인 신뢰성 정보를 포함하고, 상기 표시 스텝에서는, 상기 신뢰성 정보에 의거하여 상기 영역을 상기 표시, 확대하는 확대율을 변경하는 것을 특징으로 하는 정보 처리 방법.
청구항 12 내지 22 중 어느 한 항에 기재된 정보 처리 방법을 컴퓨터에 실행시키는 프로그램을 기억한 것을 특징으로 하는 컴퓨터 판독가능한 기억매체.