KR100990917B1 - 유사 분석 장치, 화상 표시 장치, 화상 표시 프로그램 기억 매체, 및 화상 표시 방법 - Google Patents

Abstract

본 발명은 소정 인물의 얼굴 화상과, 촬영 화상 중의 얼굴의 유사도를 정밀하게 분석할 수 있는 유사 분석 장치, 화상 표시 장치, 화상 표시 프로그램 기억 매체, 및 화상 표시 방법을 제공하는 것을 목적으로 한다.

촬영 일시를 대응시킨 복수의 촬영 화상을 취득하는 화상 취득부와, 얼굴이 촬영되어 이루어지는, 촬영 일시를 대응시킨 얼굴 화상을 등록하는 화상 등록부와, 화상 취득부에서 취득된 복수의 촬영 화상 각각에 대해서 얼굴을 검출하고, 검출된 얼굴과, 상기 화상 등록부에서 등록된 얼굴 화상 중의 얼굴의 유사도를 산출하는 유사도 산출부와, 촬영 화상에 대응시킨 촬영 일시와, 얼굴 화상에 대응시킨 촬영 일시의 차분이 클수록 크고, 얼굴 유사도 산출부에서 산출된 얼굴 유사도를 저감시키는 유사도 저감부를 구비했다.

얼굴 화상, 촬영 화상, 화상 등록부, 화상 취득부, 유사도 산출부

Description

유사 분석 장치, 화상 표시 장치, 화상 표시 프로그램 기억 매체, 및 화상 표시 방법{SIMILARITY ANALYZING DEVICE, IMAGE DISPLAY DEVICE, IMAGE DISPLAY PROGRAM STORAGE MEDIUM, AND IMAGE DISPLAY METHOD}

본 발명은 복수의 얼굴끼리의 유사도를 분석하는 유사 분석 장치, 촬영 화상의 일람을 표시하는 화상 표시 장치, 화상 표시 프로그램 기억 매체, 및 화상 표시방법에 관한 것이다.

최근, 디지털 카메라의 소형화가 급속히 진행되어 오는 것에 더하여, 일상적으로 항상 휴대하고 있는 휴대 전화 등과 같은 소형 기기에 촬영 장치를 탑재하는 것이 널리 행해지고 있고, 촬영 장치를 손쉽게 들고다닐 수 있도록 되어 오고 있다. 디지털 카메라나 소형 기기에 탑재된 촬영 장치에서는, 디지털의 촬영 화상이 취득되기 때문에, 촬영 화상을 그 장소에서 바로 액정 디스플레이 등에 표시하여 확인하거나, 불필요한 촬영 화상을 프린트 출력하기 전에 삭제할 수 있다. 또한, 복수 매의 촬영 화상을 총괄하여 기록 미디어 등에 기록해 둠으로써, 보관 시에 부피가 커지지 않고, 촬영 화상을 고화질인 채로 보관할 수 있다.

촬영 화상을 효율적으로 정리하는 방법으로서, 퍼스널 컴퓨터를 사용하여 촬 영 화상을 정리하기 위한 앨범용 애플리케이션이 널리 사용되고 있다. 퍼스널 컴퓨터는 대용량인 하드디스크 장치가 구비되어 있기 때문에, 잔여 용량을 걱정하지 않고 대량의 촬영 화상을 보존해 둘 수 있을 뿐만 아니라, 촬영 화상을 복사하거나, 촬영 화상을 전자 메일 등에 첨부하는 등과 같은 작업이 용이하다는 이점이 있다.

또한, 화상 처리의 분야에서는, 촬영 화상 중 촬영 신(scene)을 해석하는 신 해석 기술이나, 촬영 화상 중의 얼굴을 추출하는 얼굴 추출 기술 등이 널리 알려져 있고, 앨범용 애플리케이션의 분야에서도, 이들 신 해석 기술이나 얼굴 추출 기술을 응용한 부가 기능의 개발이 진행되고 있다. 이 점에 관하여, 미리 얼굴 화상을 등록해 두면, 하드디스크 장치 등에 기억되어 있는 대량의 촬영 화상 중에서, 그 등록되어 있는 얼굴 화상과 닮은 얼굴이 찍혀 있는 촬영 화상을 검색하여 표시하는 화상 표시 방법이 고안되어 오고 있다(예를 들어, 특허문헌 1 및 특허문헌 2 참조). 이러한 화상 표시 방법에 의하면, 대량의 촬영 화상이 보존되어 있는 경우에도, 친구나 가족 등이 찍혀 있는 촬영 화상을 용이하게 찾아내서 전자 메일 등으로 배포할 수 있어, 커뮤니케이션의 향상을 도모할 수 있다.

[특허문헌 1] 일본국 공개특허2006-314010호 공보

[특허문헌 2] 일본국 공개특허2004-172849호 공보

여기서, 상술한 얼굴 추출 기술 등에서는, 촬영 화상 중, 눈이나 코나 입 등과 같은 특징적인 형상을 갖는 화상 부분을 검색하여 얼굴을 추출하는 것이 일반적이다. 따라서, 예를 들어 딸이 찍혀 있는 촬영 화상을 검색하려면, 얼굴의 각 부위의 형상이 닮은 젊을 때의 모친의 촬영 화상까지 검색되게 되거나, 얼굴의 각 부위가 둥근 형을 띠고 있는 아기들끼리를 구별하는 것이 곤란하다는 문제가 있다.

본 발명은 상기 사정을 감안하여, 소정 인물의 얼굴 화상과, 촬영 화상 중의 얼굴의 유사도를 정밀하게 분석할 수 있는 유사 분석 장치, 화상 표시 장치, 화상 표시 프로그램 기억 매체, 및 화상 표시 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하는 본 발명의 유사 분석 장치는, 촬영 일시를 대응시킨 복수의 촬영 화상을 취득하는 화상 취득부와,

얼굴이 촬영되어 이루어지는, 촬영 일시를 대응시킨 얼굴 화상을 등록하는 화상 등록부와,

화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대해서 얼굴을 검출하고, 검출된 얼굴과, 화상 등록부에 의해 등록된 얼굴 화상 중의 얼굴과의 얼굴 유사도를 산출하는 유사도 산출부와,

화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대응된 각각의 촬영 일시와, 화상 등록부에 의해 등록된 얼굴 화상에 대응된 촬영 일시를 비교하고, 그 차분(差分)이 클수록, 얼굴 유사도 산출부에서 산출된 얼굴 유사도를 크게 저감시키는 유사도 저감부를 구비한 것을 특징으로 한다.

본 발명의 유사 분석 장치에 의하면, 촬영 화상 중의 얼굴과, 등록된 얼굴 화상 중의 얼굴의 유사도가 촬영 화상의 촬영 일시와 얼굴 화상의 촬영 일시의 차분이 클수록 크게 저감된다. 예를 들어, 딸의 얼굴 화상을 등록한 경우, 유사도 산출부에서는, 젊을 때의 모친이 찍혀 있는 촬영 화상에 대해서 높은 유사도가 산출되지만, 그들 촬영 화상이 촬영된 촬영 일시는 크게 떨어져 있기 때문에, 유사도 저감부에서, 산출된 유사도가 크게 저감된다. 이와 같이, 본 발명의 유사 분석 장치에 의하면, 화상 중의 얼굴의 유사도에 더하여, 그들 화상이 촬영된 촬영 일시의 차분도 고려되기 때문에, 정밀하게 유사도를 분석할 수 있다.

또한, 본 발명의 유사 분석 장치에서, 상기 화상 등록부는 촬영 일시에 더하여, 연령도 대응시킨 얼굴 화상을 등록하는 것이고,

상기 유사도 저감부는 유사도를 저감시킬 때, 차분이 클수록 유사도를 크게 저감시키고, 또한 연령이 어릴수록 유사도를 크게 저감시키는 것인 것이 바람직하다.

통상, 아이 때에는 크게 얼굴이 바뀌지만, 어른이 되면 얼굴의 변화가 작아지는 것이 일반적이다. 예를 들어, 아이의 연령에서는 유사도를 크게 저감시키고, 어른의 연령에서는 유사도의 저감을 억제함으로써, 유사도의 산출 정밀도를 향상시킬 수 있다.

또한, 상기 목적을 달성하는 본 발명의 화상 표시 장치는, 촬영 일시를 대응 시킨 복수의 촬영 화상을 취득하는 화상 취득부와,

얼굴이 촬영되어 이루어지는, 촬영 일시를 대응시킨 얼굴 화상을 등록하는 화상 등록부와,

화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대해서 얼굴을 검출하고, 검출된 얼굴과, 상기 화상 등록부에 의해 등록된 얼굴 화상 중의 얼굴과의 얼굴 유사도를 산출하는 유사도 산출부와,

화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대응된 각각의 촬영 일시와, 화상 등록부에 의해 등록된 얼굴 화상에 대응된 촬영 일시를 비교하고, 그 차분이 클수록, 얼굴 유사도 산출부에서 산출된 얼굴 유사도를 크게 저감시키는 유사도 저감부와,

화상 취득부에서 취득된 복수의 촬영 화상을 유사도가 큰 순서로 나열하여 표시하는 화상 표시부를 구비한 것을 특징으로 한다.

본 발명의 화상 표시 장치에 의하면, 대량의 촬영 화상이 보존되어 있을 경우에도, 그들 촬영 화상 중 소정 인물의 얼굴과 유사도가 큰 얼굴이 찍혀 있는 촬영 화상을 효율적으로 확인할 수 있다.

또한, 본 발명의 화상 표시 장치에서, 상기 화상 등록부는 촬영 일시에 더하여, 연령도 대응시킨 얼굴 화상을 등록하는 것이고,

상기 유사도 저감부는 상기 유사도를 저감시킬 때, 상기 차분이 클수록 상기 유사도를 크게 저감시키고, 또한 상기 연령이 어릴수록 상기 유사도를 크게 저감시키는 것인 것이 바람직하다.

이 바람직한 화상 표시 장치에 의하면, 얼굴 화상 중의 얼굴과 촬영 화상 중의 얼굴의 유사도를 더 정밀하게 산출할 수 있다.

또한, 본 발명의 화상 표시 장치에서, 상기 화상 표시부는 3차원 공간을 표시하고, 3차원 공간을 구성하는 3개의 축 중 하나의 축은 유사도를 나타내고, 그 3차원 공간 상에서의, 유사도 저감부에서 저감된 촬영 화상의 유사도의 위치에 촬영 화상을 배치하는 것이 바람직하다.

3차원 공간 상의 촬영 화상의 배치 위치에 의해, 그 촬영 화상 중의 얼굴과 얼굴 화상 중의 얼굴의 유사도를 용이하게 확인할 수 있다.

또한, 본 발명의 화상 표시 장치는, 2차원 공간을 표시하고, 상기 2차원 공간을 구성하는 2개의 축 중 하나의 축은 유사도를 나타내고, 그 2차원 공간 상에서의, 유사도 저감부에서 저감된 촬영 화상의 유사도의 위치에 촬영 화상이 존재하는 것을 나타내는 마크를 배치하는 보조 표시부를 구비한 것이 바람직하다.

대량의 촬영 화상을 유사도가 큰 것부터 순서대로 배치하여 표시하면, 그들 촬영 화상의 배치 위치가 중첩되어, 촬영 화상의 유무가 보기 어려워지게 될 우려가 있다. 화상 표시부에서의 표시에 더하여, 2차원 공간 상에 마크를 배치하여 표시함으로써, 촬영 화상의 존재를 용이하게 인식할 수 있다.

또한, 본 발명의 화상 표시 장치는, 2차원 공간을 구성하는 2개의 축 중 상기 유사도를 나타내는 축과는 다른 축을 따라 지정 프레임을 표시하고, 조작에 의해 상기 지정 프레임을 상기 유사도를 나타내는 축을 따라 이동시킴으로써, 2차원 공간 상에서 상기 유사도를 지정하는 지정부와,

상기 화상 표시부에, 상기 지정부에 의해 지정된 유사도의 촬영 화상을 3차원 공간 상의 최전면(最前面)에 배치시키는 표시 제어부를 구비한 것이 바람직하다.

2차원 공간 상의 지정 프레임을 이동시킴으로써, 3차원 공간 상의 표시를 용이하게 전환할 수 있다.

또한, 본 발명의 화상 표시 장치에서, 상기 지정부에 의해 지정된 유사도의 촬영 화상의 수를 표시하는 화상 수 표시부를 구비한 것이 바람직하다.

이 바람직한 화상 표시 장치에 의하면, 지정부에 의해 지정된 유사도의 촬영 화상의 수를 용이하게 확인할 수 있다.

또한, 본 발명의 화상 표시 장치에서, 상기 화상 취득부가 복수의 촬영 화상이 기억된 기억 장치로부터 상기 복수의 촬영 화상을 취득하는 것이 바람직하다.

이 바람직한 화상 표시 장치에 의하면, 하드디스크 장치 등에 촬영 화상이 대량으로 기억되어 있는 경우에도, 등록된 얼굴 화상 중의 얼굴과 닮은 얼굴이 찍혀 있는 촬영 화상을 용이하게 확인할 수 있다.

또한, 상기 목적을 달성하는 본 발명의 화상 표시 프로그램 기억 매체는 컴퓨터 내에서 실행되고, 컴퓨터 상에,

촬영 일시를 대응시킨 복수의 촬영 화상을 취득하는 화상 취득부와,

얼굴이 촬영되어 이루어지는, 촬영 일시를 대응시킨 얼굴 화상을 등록하는 화상 등록부와,

화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대해서 얼굴을 검출하 고, 검출된 얼굴과, 화상 등록부에 의해 등록된 얼굴 화상 중의 얼굴과의 얼굴 유사도를 산출하는 유사도 산출부와,

화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대응된 각각의 촬영 일시와, 화상 등록부에 의해 등록된 얼굴 화상에 대응된 촬영 일시를 비교하고, 그 차분이 클수록, 얼굴 유사도 산출부에서 산출된 얼굴 유사도를 크게 저감시키는 유사도 저감부와,

화상 취득부에서 취득된 복수의 촬영 화상을 유사도가 큰 순서로 나열하여 표시하는 화상 표시부를 구축하는 화상 표시 프로그램을 기억한 것을 특징으로 한다.

또한, 표시 프로그램 기억 매체에 대해서는, 여기서는 그 기본 형태만을 나타내는 것에 그치지만, 이것은 다만 중복을 피하기 위해서이고, 본 발명에서 가리키는 화상 표시 프로그램 기억 매체에는, 상기한 기본 형태뿐만 아니라, 상술한 화상 표시 장치의 각 형태에 대응하는 각종 형태가 포함된다.

또한, 본 발명의 화상 표시 프로그램이 컴퓨터 시스템 상에 구축하는 화상 취득부 등과 같은 요소는 1개의 요소가 1개의 프로그램 부품에 의해 구축되는 것일 수도 있고, 복수의 요소가 1개의 프로그램 부품에 의해 구축되는 것일 수도 있다. 또한, 이들 요소는 그러한 작용을 자체에서 실행하는 것으로 하여 구축될 수도 있고, 또는 컴퓨터 시스템에 형성되어 있는 다른 프로그램이나 프로그램 부품에 지시를 부여하여 실행하는 것으로 하여 구축될 수도 있다.

또한, 상기 목적을 달성하는 본 발명의 화상 표시 방법은, 촬영 일시를 대응 시킨 복수의 촬영 화상을 취득하는 화상 취득 과정과,

얼굴이 촬영되어 이루어지는, 촬영 일시를 대응시킨 얼굴 화상을 등록하는 화상 등록 과정과,

화상 취득 과정에서 취득된 복수의 촬영 화상 각각에 대해서 얼굴을 검출하고, 검출된 얼굴과, 화상 등록 과정에서 등록된 얼굴 화상 중의 얼굴과의 얼굴 유사도를 산출하는 유사도 산출 과정과,

화상 취득 과정에서 취득된 복수의 촬영 화상 각각에 대응된 각각의 촬영 일시와, 화상 등록 과정에서 등록된 얼굴 화상에 대응된 촬영 일시를 비교하고, 그 차분이 클수록, 얼굴 유사도 산출 과정에서 산출된 얼굴 유사도를 크게 저감시키는 유사도 저감 과정과,

화상 취득 과정에서 취득된 복수의 촬영 화상을 유사도가 큰 순서로 나열하여 표시하는 화상 표시 과정을 갖는 것을 특징으로 한다.

본 발명의 화상 표시 방법에 의하면, 대량의 촬영 화상이 보존되어 있을 경우에도, 그들 촬영 화상 중 소정 인물의 얼굴과 유사도가 큰 얼굴이 찍혀 있는 촬영 화상을 효율적으로 확인할 수 있다.

또한, 화상 표시 방법에 대해서도, 여기서는 그 기본 형태만을 나타내는 것에 그치지만, 이것은 다만 중복을 피하기 위해서이고, 본 발명이 가리키는 화상 표시 방법에는, 상기한 기본 형태뿐만 아니라, 상술한 화상 표시 장치의 각 형태에 대응하는 각종의 형태가 포함된다.

본 발명에 의하면, 소정 인물의 얼굴 화상과, 촬영 화상 중의 얼굴의 유사도를 정밀하게 분석할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예를 설명한다.

도 1은 본 발명의 일 실시예가 적용된 퍼스널 컴퓨터의 외관 구성도이다.

퍼스널 컴퓨터(100)는 외관 구성 상, 본체 장치(101), 그 본체 장치(101)로부터의 지시에 따라 표시 화면(102a) 상에 화상을 표시하는 화상 표시 장치(102), 본체 장치(101)에 키 조작에 따른 각종 정보를 입력하는 키보드(103), 및 표시 화면(102a) 상의 임의의 위치를 지정함으로써, 그 위치에 표시된, 예를 들어 아이콘 등에 따른 지시를 입력하는 마우스(104)를 구비하고 있다. 또한, 도시하지 않았지만, 이 본체 장치(101)는 DVD나 CD-ROM이 장전되는 CD/DVD 장전구 및 플렉서블 디스크(이하에서는, FD라고 약칭함)를 장전하기 위한 FD 장전구를 갖고 있다.

도 2는 퍼스널 컴퓨터(100)의 내부 구성도이다.

본체 장치(101)의 내부에는, 도 2에 나타낸 바와 같이, 각종 프로그램을 실행하는 CPU(111), 하드디스크 장치(113)에 저장된 프로그램이 판독되어 CPU(111)에서의 실행을 위해 전개되는 주(主)메모리(112), 각종 프로그램이나 데이터 등이 보존된 하드디스크 장치(113), CD-ROM(300)이나 DVD가 장전되고, 그 장전된 CD-ROM(300)이나 DVD를 액세스하는 CD/DVD 드라이브(114), FD(310)가 장전되고, 장전된 FD(310)를 액세스하는 FD 드라이브(115) 및 디지털 카메라 등과 같은 외부 장치와 접속되고, 그 외부 장치와의 사이에서 데이터의 송수신을 행하는 통신 인터페이 스(116)를 구비하고 있고, 이러한 각종 요소와, 또한 도 2에도 나타낸 표시 장치(102), 키보드(103), 및 마우스(104)는 버스(105)를 통하여 서로 접속되어 있다.

여기서, CD-ROM(300)에는, 본 발명의 화상 표시 프로그램 기억 매체의 일 실시예가 적용된 화상 표시 프로그램이 기억되어 있다. 그 CD-ROM(300)은 CD/DVD 드라이브(114)에 장전되고, 그 CD-ROM(300)에 기억된 화상 표시 프로그램이 이 퍼스널 컴퓨터(100)에 업로드되어 하드디스크 장치(113)에 기억된다. 그리고, 이 화상 표시 프로그램이 기동되어 실행됨으로써, 퍼스널 컴퓨터(100) 내에, 본 발명의 화상 표시 장치의 일 실시예가 적용된 촬영 화상 표시 장치(500)(도 4 참조)가 구축된다.

다음으로, 이 퍼스널 컴퓨터(100) 내에서 실행되는 화상 표시 프로그램에 대해서 설명한다.

도 3은 화상 표시 프로그램이 기억된 CD-ROM(300)을 나타내는 개념도이다.

화상 표시 프로그램(400)은 지시부(410), 캡처(capture)부(412), 등록부(413), 촬영 정보·화상 취득부(414), 위치 산출부(415), 2차원 화상 생성부(416), 3차원 화상 생성부(417), 분석부(4l8), 표시부(419), 강조 표시부(420), 화상 기억부(421), 수(數) 표시부(422), 및 제어부(423)로 구성되어 있고, 분석부(418)는 또한, 얼굴 추출부(4181)와, 유사도 산출부(4182)와, 차분 산출부(4183)와, 유사도 결정부(4184)를 갖고 있다. 화상 표시 프로그램(400)의 각 부분의 상세에 대해서는, 촬영 화상 표시 장치(500)의 각 부의 작용과 함께 설명한다.

또한, 도 3에서는, 화상 표시 프로그램을 기억하는 기억 매체로서 CD- ROM(300)이 예시되어 있지만, 본 발명의 표시 프로그램 기억 매체는 CD-ROM에 한정되지 않고, 그 이외의 광디스크, MO, FD, 자기 테이프 등의 기억 매체일 수도 있다. 또한, 본 발명의 표시 프로그램은 기억 매체를 통하지 않고, 통신망을 통하여 직접적으로 컴퓨터에 공급되는 것일 수도 있다.

도 4는 화상 표시 프로그램(400)을 도 1에 나타낸 퍼스널 컴퓨터(100)에 인스톨한 때의, 퍼스널 컴퓨터(100) 내에 구축되는 촬영 화상 표시 장치(500)의 기능 블록도이다.

도 4에 나타낸 촬영 화상 표시 장치(500)는 지시부(511)와, 캡처부(512)와, 등록부(513)와, 촬영 정보·화상 취득부(514)와, 위치 산출부(515)와, 2차원 화상 생성부(516)와, 3차원 화상 생성부(517)와, 분석부(518)와, 표시부(519)와, 강조 표시부(520)와, 화상 기억부(521)와, 수 표시부(522)와, 제어부(523)와, 보존부(501)를 구비하고 있고, 분석부(518)는 또한, 얼굴 추출부(5181)와, 유사도 산출부(5182)와, 차분 산출부(5183)와, 유사도 결정부(5184)를 갖고 있다. 도 3에 나타낸 화상 표시 프로그램(400)을 도 1에 나타낸 퍼스널 컴퓨터(100)에 인스톨하면, 화상 표시 프로그램(400)의 지시부(410)는 도 4의 지시부(511)를 구축하고, 이하 마찬가지로, 캡처부(412)는 캡처부(512)를 구축하고, 등록부(413)는 등록부(513)를 구축하고, 촬영 정보·화상 취득부(414)는 촬영 정보·화상 취득부(514)를 구축하고, 위치 산출부(415)는 위치 산출부(515)를 구축하고, 2차원 화상 생성부(416)는 2차원 화상 생성부(516)를 구축하고, 3차원 화상 생성부(417)는 3차원 화상 생성부(517)를 구축하고, 분석부(418)는 분석부(518)를 구축하고, 얼굴 추출부(4181)는 얼굴 추출부(5181)를 구축하고, 유사도 산출부(4183)는 유사도 산출부(5182)를 구축하고, 차분 산출부(4183)는 차분 산출부(5183)를 구축하고, 유사도 결정부(4184)는 유사도 결정부(5184)를 구축하고, 표시부(419)는 표시부(519)를 구축하고, 강조 표시부(420)는 강조 표시부(520)를 구축하고, 화상 기억부(421)는 화상 기억부(52l)를 구축하고, 수 표시부(422)는 수 표시부(522)를 구축하며, 제어부(423)는 제어부(523)를 구축한다.

도 4의 각 요소는 컴퓨터의 하드웨어와 그 컴퓨터에서 실행되는 OS나 애플리케이션 프로그램과의 조합으로 구성되어 있는 것에 대해, 도 3에 나타낸 화상 표시 프로그램(400)의 각 요소는 그들 중 애플리케이션 프로그램에 의해서만 구성되어 있는 점이 상이하다.

이하, 도 4에 나타낸 촬영 화상 표시 장치(500)의 각 요소를 설명함으로써, 도 3에 나타낸 화상 표시 프로그램(400)의 각 요소도 함께 설명한다.

도 4에 나타낸 촬영 화상 표시 장치(500)는 피사체가 촬영된 촬영 화상을 나타내는 촬영 화상 데이터의 일람을 표시하는 동시에, 사용자에 의해 선택된 촬영 화상 데이터를 기록 매체 등에 기록하는 것이다.

캡처부(512)는 도 1에 나타낸 퍼스널 컴퓨터(100)에, 디지털 카메라가 접속되거나, 촬영 화상이 기록된 기록 미디어가 접속되면, 촬영 일시나 촬영 조건 등을 나타내는 촬영 정보가 부가된 촬영 화상을 취득한다. 취득된 촬영 화상 데이터나 촬영 정보는 등록부(513)로 전송된다.

등록부(513)는 캡처부(512)로부터 보내져 온 촬영 화상 데이터가 나타내는 촬영 화상을 축소하여 섬네일(thumbnail) 화상을 생성하고, 촬영 정보나 섬네일 화상과 함께, 촬영 화상 데이터를 보존부(501)에 보존한다.

보존부(501)는 도 2에 나타낸 하드디스크 장치(113)가 그 역할을 담당하는 것이고, 촬영 화상을 나타내는 촬영 화상 데이터, 촬영 화상의 촬영 조건이나 촬영 일시 등을 나타내는 촬영 정보, 촬영 화상이 축소된 섬네일 화상이 세트로 보존되어 있다. 보존부(501)는 본 발명에서 가리키는 기억 장치의 일례에 상당한다.

여기서, 본 실시예의 촬영 화상 표시 장치(500)에는, 보존부(501)에 보존되어 있는 촬영 화상을 촬영 일시에 의거하여 나열하여 표시하는 「촬영 일시 모드」와, 미리 얼굴 화상을 등록해 두고, 보존부(501)에 보존되어 있는 촬영 화상을, 등록된 얼굴 화상 중의 얼굴과 유사도가 큰 얼굴이 찍혀 있는 것부터 차례로 나열하여 표시하는 「인물 모드」가 탑재되어 있고, 「촬영 일시 모드」를 실행하기 위한 촬영 일시 버튼과, 「인물 모드」를 실행하기 위한 인물 버튼이 미리 준비되어 있다. 우선은, 「촬영 일시 모드」에 의한 촬영 화상의 일람 표시에 대해서 설명한다.

도 5는 촬영 일시 모드에 의한 촬영 화상의 일람 표시의 처리의 흐름을 나타내는 플로차트이다.

사용자가 마우스(104) 등을 사용하여 촬영 일시 버튼을 선택하면, 도 4의 지시부(511)로부터 촬영 정보·화상 취득부(514)로 「촬영 일시 모드」의 실행 지시가 전송된다.

일람 표시의 지시가 전송되면, 촬영 정보·화상 취득부(514)에서는, 보존 부(501)에 보존되어 있는 섬네일 화상 및 촬영 정보가 취득된다(도 5의 스텝 S1, 스텝 S2). 이 섬네일 화상은 촬영 화상을 축소한 것이고, 촬영 화상과 동등한 데이터이다. 취득된 촬영 정보는 위치 산출부(515)로 전송되고, 취득된 섬네일 화상은 3차원 화상 생성부(517)로 전송된다.

위치 산출부(515)에서는, 1일을 4시간마다 구획하는 축, 4시간을 다시 1시간마다 구획하는 축, 1일을 나타내는 축 각각을 3축으로 하는 3차원 공간 상의, 촬영 정보·화상 취득부(514)로부터 전송된 촬영 정보에 포함되는 촬영 일시가 대응하는 3차원 상 위치와, 1일을 4시간마다 구획하는 축, 1일을 나타내는 축 각각을 2축으로 하는 2차원 공간 상의, 3차원 상 위치에 대응하는 2차원 상 위치가 산출된다(도 5의 스텝 S3).

도 6은 3차원 공간의 일례를 나타내는 개념도이고, 도 7은 2차원 공간의 일례를 나타내는 개념도이다.

도 6에 나타낸 바와 같이, 본 실시예에서는, 1일을 4시간마다 구획한 값을 Y축(종방향), Y축에 할당된 4시간을 다시 1시간마다 구획한 값을 X축(횡방향), 1일을 Z축(깊이 방향)으로 하는 3차원 공간이 적용된다.

3차원 공간의 X축에는, 1을 기점으로 하여, 2, 3, 4의 값이 차례로 배치되어 있고, 촬영 일시(YYYY년 MM월 DD일 HH시 PP분)의 「시간(HH)」을 4로 나눈 값에 1을 더한 값이 X축 상의 값으로서 취득된다.

3차원 공간의 Y축에는, 23시∼20시 사이의 4시간을 기점으로 하여, 19시∼16시, …, 7시∼4시, 3시∼0시로 4시간마다 차례로 배치되어 있다. 촬영 일시(YYYY 년 MM월 DD일 HH시 PP분)의 「시간(HH)」을 4로 나눈 값이 Y축 상의 값으로서 취득된다.

3차원 공간의 Z축에는, 오늘을 기점으로 하여, 어제, 그제, …로 차례로 배치되어 있고, 촬영 일시(YYYY년 MM월 DD일 HH시 PP분)의 날짜 「YYYY년 MM월 DD일」에 의거하여, Z축 상의 값이 산출된다.

또한, 도 7에 나타낸 바와 같이, 본 실시예에서는, 1일을 4시간마다 구획한 값을 X축(횡방향), 1일을 Y축(종방향)으로 하는 2차원 공간이 적용된다.

2차원 공간의 X축에는, 도 6에 나타낸 3차원 공간의 Y축과 마찬가지로, 23시∼20시 사이의 시간을 기점으로 하여, 19시∼16시, …, 7시∼4시, 3시∼0시로 4시간마다 차례로 배치되어 있고, 3차원 공간에서의 Y축 상의 값이 그대로 2차원 공간에서의 X축 상의 값으로서 산출된다.

2차원 공간의 Y축에는, 오늘을 기점으로 하여, 어제, 그제, …로 차례로 배치되어 있고, 3차원 공간에서의 Z축 상의 값이 그대로 2차원 공간에서의 Y축 상의 값으로서 산출된다.

예를 들어, 동일한 날의 같은 시간대에 복수의 촬영 화상이 촬영되면, 3차원 공간 상의 위치로서는, 각 촬영 화상의 촬영 일시 중 「시간(HH)」 각각 대응한 복수의 위치가 산출되지만, 2차원 공간 상의 위치로서는, 그들 복수의 촬영 화상에 대하여 동일한 위치가 산출된다. 즉, 2차원 공간 상의 마크는 동일한 날의 동일한 시간대에 촬영된 촬영 화상이 1개 이상 존재하는 것을 나타내고 있다.

산출된 2차원 공간 상의 위치(2차원 상 위치)는 2차원 화상 생성부(516)로 전송되고, 3차원 공간 상의 위치(3차원 상 위치)는 3차원 화상 생성부(517)로 전송된다.

2차원 화상 생성부(516)에서는, 2차원 공간 상의, 위치 산출부(515)로부터 전송된 2차원 상 위치에, 촬영 화상이 존재하는 것을 나타내는 마크가 배치되어 2차원 화상이 생성된다(도 5의 스텝 S4). 생성된 2차원 화상은 표시부(519)로 전송된다.

제어부(523)에서는, 표시부(519)에, 2차원 공간 상에 Y축을 따른 스크롤 바를 표시시키는 지시가 전송된다.

3차원 화상 생성부(517)에서는, 촬영 정보·화상 취득부(514)로부터 보내져 온 섬네일 화상이 3차원 공간 상의 위치 산출부(515)로부터 전송된 위치에 배치되어 3차원 화상이 생성된다(도 5의 스텝 S5). 생성된 3차원 화상은 표시부(519)로 전송된다.

또한, 수 표시부(522)에서는, 3차원 화상 상에서 최전면(最前面)에 표시되는 촬영 화상의 매수가 산출되고, 산출된 촬영 매수가 표시부(519)로 전송된다.

표시부(519)는 2차원 화상 생성부(516)로부터 전송된 2차원 화상과, 3차원 화상 생성부(517)로부터 전송된 3차원 화상과, 제어부(523)에 의해 지시된 스크롤 바와, 수 표시부(522)로부터 전송된 촬영 매수를 표시 화면(102a) 상에 표시한다(도 5의 스텝 S6).

도 8은 3차원 화상(600), 2차원 화상(620), 및 스크롤 바(623)가 표시된 표시 화면(102a)의 일례를 나타내는 도면이다.

또한, 일람 표시가 지시되어, 3차원 화상(600), 2차원 화상(620), 및 스크롤 바(623)가 표시된 초기 상태에서는, 3차원 화상(600) 및 2차원 화상(620)에는, 오늘을 기점으로 하여 1주일분의 기간을 나타내는 영역만이 표시되어 있다.

도 8에 나타낸 3차원 화상(600)에서는, 동일한 날에 촬영된 촬영 화상의 섬네일 화상(610)은 동일면 상에 나열되어 표시되어 있다. 각 섬네일 화상(610)의 Y축 상의 위치는 그 섬네일 화상(610)이 나타내는 촬영 화상이 촬영된 시간대(4시간마다)를 나타내고 있고, 각 섬네일 화상(610)의 X축 상의 위치는 Y축이 나타내는 시간대 중에서의 1시간마다의 시간을 나타내고 있다. 예를 들어, 섬네일 화상(610)의 Y축 상의 위치가 「8시∼11시」이고, X축 상의 위치가 「2」인 경우, 그 배치 위치는 섬네일 화상(610)이 촬영된 시간이 Y축 상의 위치가 나타내는 시간대 「8, 9, 10, 11시」 중 2번째로 빠른 시간인 「9시」인 것을 나타내고 있다. 또한, 3차원 화상(600)에 나열하여, 「촬영 일시 모드」에 의한 촬영 화상의 일람 표시를 행하기 위한 촬영 일시 버튼(631)과, 「인물 모드」에 의한 촬영 화상의 일람 표시를 행하기 위한 인물 버튼(632)도 표시되어 있다.

이와 같이, 본 실시예의 촬영 화상 표시 장치(500)에 의하면, 동일한 날에 촬영된 촬영 화상의 섬네일 화상은 3차원 화상(600) 중에서 동일면 상에 나열되기 때문에, 예를 들어 입학식에서 촬영한 촬영 화상 등을 총괄하여 확인할 수 있다.

또한, 도 8에 나타낸 2차원 화상(620)에서는, X축을 4시간마다의 값, Y축을 일(日)로 하는 2차원 공간 상의, 3차원 화상(600) 상에서 각 섬네일 화상(610)이 배치된 위치와 대응하는 위치에 마크(621)가 표시되어 있다. 마크(621)는 Y축이 나타내는 「일」의, X축이 나타내는 「시간대」에 촬영된 촬영 화상이 존재하는 것을 나타내고 있다. 이 2차원 화상(620)을 확인함으로써, 소정 일에 촬영된 촬영 화상이 존재하는지의 여부를 용이하게 인식할 수 있다.

또한, 2차원 화상(620)에는, Y축(일)을 따라 연장되고, 2차원 화상(620) 상에서 일을 지정하는 스크롤 바(623)와, 스크롤 바(623)에 의해 선택되어 있는 일의 범위를 둘러싸는 프레임(622)과, 프레임(622)으로 둘러싸인 촬영 일시에 촬영된 촬영 화상의 매수를 나타내는 수 표시부(624)와, 상술한 기간을 전환하기 위한 기간 변경 버튼(625), 및 일을 전환하는 일 변경 버튼(626)도 표시되어 있다.

프레임(622)으로 둘러싸인 촬영 일시는 3차원 화상(600) 상에서 최전면에 표시되어 있는 촬영 화상의 촬영일이고, 수 표시부(624)를 확인함으로써, 동일한 날에 촬영된 촬영 화상의 매수를 용이하게 인식할 수 있다.

또한, 포인터(601)의 오른쪽 버튼을 클릭하면, 섬네일 화상을 선택하기 위한 팝업 윈도(window)(640)가 표시된다.

도 9는 팝업 윈도가 표시된 이후의 표시 화면(102a)의 일례를 나타내는 도면이다.

도 9에 나타낸 팝업 윈도(640)에는, 동일한 시간대에 촬영된 촬영 화상을 나타내는 섬네일 화상을 총괄하여 선택하기 위한 「깊이 방향 메뉴」, 동일한 날의 동일한 시간대에 촬영된 촬영 화상을 나타내는 섬네일 화상을 총괄하여 선택하기 위한 「행 메뉴」, 동일한 날에 촬영된 촬영 화상을 나타내는 섬네일 화상을 총괄하여 선택하기 위한 「면(面) 메뉴」가 준비되어 있다.

사용자가 팝업 윈도(640)를 사용하여 섬네일 화상(610)을 선택하면(도 5의 스텝 S7: Yes), 도 4의 지시부(511)로부터 강조 표시부(520)로 지정 내용이 전송되고, 강조 표시부(520)에 의해, 선택된 섬네일 화상(610)과, 그 섬네일 화상(610)에 대응하는 마크(621)가 강조 표시된다(도 5의 스텝 S8). 도 9의 예에서는, 사용자에 의해 팝업 윈도(640)의 「면 메뉴」가 지정되고, 동일한 날에 촬영된 촬영 화상을 나타내는 섬네일 화상(610)이 총괄하여 선택되어 강조 표시(점등 표시)되어 있고, 2차원 화상(620) 상의, 그들 선택된 섬네일 화상(610)이 나타내는 화상의 촬영 일시에 대응하는 위치에 배치된 마크(621)도 강조 표시(백색 표시)되어 있다. 이와 같이, 선택되어 있는 섬네일 화상과, 그들 섬네일 화상에 대응하는 마크 화상을 강조 표시함으로써, 현재 선택되어 있는 섬네일 화상이 나타내는 촬영 화상이 언제 촬영된 것인지를 시각적으로 용이하게 확인할 수 있다.

섬네일 화상(610)이 선택된 상태에서, 사용자가 도 1에 나타낸 마우스(104)를 오른쪽 클릭하면, 선택한 섬네일 화상(610)의 촬영 화상을 기록 매체에 기억하기 위한 팝업 윈도가 표시된다.

사용자가 포인터(601)를 사용하여 팝업 윈도 상에 표시된 지시를 선택하면(도 5의 스텝 S9: Yes), 지시 내용이 도 4의 화상 기억부(521)로 전송된다. 화상 기억부(521)에서는, 보존부(501)로부터 선택된 섬네일 화상(610)의 촬영 화상 데이터가 취득되고, 촬영 화상 데이터가 도 2에 나타낸 CD/DVD 드라이브(114)를 통하여, CD-ROM(300)으로 바뀌어 퍼스널 컴퓨터(100)에 장전된 DVD(도시 생략) 등에 기억된다(도 5의 스텝 S10).

이상과 같이, 「촬영 일시 모드」에 의하면, 많은 촬영 화상이 보존부(501)에 보존되어 있고, 3차원 화상(600) 상에서 깊이 방향의 섬네일 화상이 겹쳐져 있어도, 2차원 화상(620)을 확인함으로써, 어느 날에 촬영한 것인지 등을 용이하게 확인할 수 있다.

이상으로, 「촬영 일시 모드」에 의한 처리 흐름의 설명을 종료하고, 「인물 모드」에 의한 처리 흐름에 대해서 설명한다.

「인물 모드」가 실행될 때에는, 우선, 인물의 얼굴이 촬영된 얼굴 화상이 등록된다. 촬영 화상 표시 장치(500)에는, 얼굴 화상을 등록하기 위한 등록 화면이 미리 준비되어 있다. 사용자가 마우스로 등록 화면을 표시하기 위한 표시 버튼을 선택하면, 도 4에 나타낸 지시부(511)로부터 촬영 정보·화상 취득부(514)로 등록 화면 표시의 지시가 전송된다. 촬영 정보·화상 취득부(514)에서는, 보존부(501)에 기억되어 있는 촬영 화상이 취득되고, 취득된 촬영 화상이 얼굴 추출부(5181)로 전송된다. 얼굴 추출부(5181)에서는, 복수의 촬영 화상 각각에 대해서 얼굴이 추출된다. 추출된 얼굴의 화상은 표시부(519)로 전송되고, 표시부(519)에서, 표시 화면(102a) 상에 등록 화면이 표시된다.

도 10은 등록 화면의 일례를 나타내는 도면이다.

도 10의 파트 (A)에 나타낸 등록 화면(710)에는, 보존부(501)에 보존되어 있는 촬영 화상으로부터 추출된 얼굴 화상(720)이 표시되어 있고, 또한 다음의 얼굴 화상(720)의 페이지를 표시하기 위한 다음 버튼(712), 앞의 얼굴 화상(720)의 페이지를 표시하기 위한 리턴 버튼(711), 설정 내용을 결정하기 위한 결정 버튼(713), 및 설정 내용을 취소하기 위한 취소 버튼(714)이 구비되어 있다. 본 실시예에서는, 한 명의 인물에 대하여 복수의 얼굴 화상(720)을 등록할 수 있다. 사용자가 등록 화면(710)에 표시되어 있는 얼굴 화상(720) 중에서, 소정 인물의 얼굴 화상(720)을 선택하고, 결정 버튼(713)을 누르면, 그 인물의 정보를 입력하기 위한 정보 입력 화면(730)이 표시된다.

도 10의 파트 (B)에 나타낸 정보 입력 화면(730)에는, 파트 (A)에 나타낸 등록 화면(710)에서 선택된 얼굴 화상(720)이 표시되어 있고, 또한 인물명을 입력하기 위한 인물명 입력부(731), 인물의 생년월일을 입력하기 위한 생년월일 입력부(732), 및 설정 내용을 결정하기 위한 등록 버튼(733)이 구비되어 있다. 사용자가 인물명 및 인물의 생년월일을 입력하면, 생년월일이 도 4에 나타낸 차분 산출부(5183)로 전송된다. 차분 산출부(5183)에서는, 입력된 생년월일과, 얼굴 화상(720)의 원본으로 되는 촬영 화상의 촬영 일시에 의거하여, 얼굴 화상(720) 중의 얼굴을 갖는 인물의, 촬영 시의 연령(이하에서는, 촬영 시 연령이라고 함)이 산출된다. 산출된 연령은 표시부(519)로 전송되고, 정보 입력 화면(730) 상의, 연령 표시부(721)에 표시된다. 사용자가 등록 버튼(733)을 선택하면, 각 화상(720) 각각에, 원래의 촬영 화상의 촬영 일시, 인물명, 인물의 생년월일, 및 촬영 시 연령을 나타내는 인물 정보가 대응되고, 얼굴 화상(720)과 인물 정보의 세트가 캡처부(512) 및 등록부(513)를 통하여 보존부(501)에 등록된다. 등록부(513)는 본 발명에서 가리키는 화상 등록부의 일례에 상당하고, 인물을 등록하는 처리는 본 발명의 화상 표시 방법에서의 화상 등록 과정의 일례에 상당한다.

사용자가 도 8에 나타낸 인물 버튼(632)을 선택하면, 도 4의 지시부(511)로부터 촬영 정보·화상 취득부(514)와 분석부(518)에 「인물 모드」의 실행 지시가 전송된다.

도 11은 인물 모드에 의한 처리의 흐름을 나타내는 플로차트이다.

「인물 모드」의 실행 지시가 전송되면, 촬영 정보·화상 취득부(514)는 보존부(501)에 등록되어 있는 얼굴 화상(720)과 인물 정보의 세트를 취득하고, 인물 정보를 표시부(501)로 전송한다. 표시부(519)는 표시 화면(102a)에, 인물을 선택하기 위한 인물 선택 화면을 표시한다.

도 12는 인물 선택 화면의 일례를 나타내는 도면이다.

인물 선택 화면(740)에는, 보존부(501)에 등록되어 있는 인물의 이름이 표시되어 있고, 각 인물의 이름으로 나열되어, 한 명의 인물을 선택하기 위한 라디오 버튼(741)이 표시되어 있다. 사용자가 마우스(140) 등을 사용하여 한 명의 인물을 선택하고, 결정 버튼(742)을 누르면, 선택 내용이 촬영 정보·화상 취득부(514)로 전송된다(도 11의 스텝 S11).

인물이 선택되면, 촬영 정보·화상 취득부(514)는 보존부(501)에 보존되어 있는 복수의 촬영 화상 및 촬영 정보와, 선택된 인물의 얼굴 화상(720) 및 인물 정보를 취득하고, 복수의 촬영 화상을 얼굴 추출부(5181)로 전송하고, 선택된 인물의 얼굴 화상(720) 및 인물 정보를 유사도 산출부(5182)로 전송하며, 촬영 정보와 인물 정보를 차분 산출부(5183) 및 유사도 결정부(5184)로 전송한다. 촬영 정보·화상 취득부(514)는 본 발명에서 가리키는 화상 취득의 일례에 상당하고, 복수의 촬 영 화상을 취득하는 처리는 본 발명의 화상 표시 방법에서의 화상 취득 과정의 일례에 상당한다.

얼굴 추출부(5181)에서는, 복수의 촬영 화상 각각에 대해서 얼굴이 추출된다. 화상 중의 얼굴을 추출하는 처리는 종래부터 널리 행해지고 있는 처리이기 때문에, 본 명세서에서는 상세한 설명을 생략한다. 추출된 얼굴 화상은 유사도 산출부(5182)로 전송된다.

유사도 산출부(5182)에서는, 얼굴 화상(720)과, 복수의 촬영 화상 각각에 대해서 추출된 얼굴의 임시 유사도가 산출된다(도 11의 스텝 S12). 복수의 화상 각각에 포함되는 얼굴의 유사도를 산출하는 기술은 인물 인증 시스템 등에 널리 이용되고 있기 때문에, 본 명세서에서는 상세한 설명을 생략한다. 얼굴 추출부(5181)와 유사도 산출부(5182)를 조합한 것은 본 발명에서 가리키는 유사도 산출부의 일례에 상당하고, 촬영 화상 중의 얼굴을 추출하여, 추출된 얼굴과 등록되어 있는 얼굴 화상(720)의 유사도를 산출하는 처리는 본 발명의 화상 표시 방법에서의 유사도 산출 과정의 일례에 상당한다.

차분 산출부(5183)에서는, 복수의 촬영 화상 각각과 대응시킨 촬영 정보에 포함되어 있는 촬영 일시와, 얼굴 화상(720)과 대응시킨 인물 정보에 포함되어 있는 촬영 일시와, 인물 정보에 포함되어 있는 촬영 시 연령에 의거하여, 촬영 화상 중의 인물이 얼굴 화상(720)의 인물이라고 상정(想定)한 때의, 그 인물의, 촬영 화상을 촬영한 때의 연령(이하에서는, 상정 연령이라고 함)이 산출된다(도 11의 스텝 S13). 산출된 상정 연령은 유사도 결정부(5184)로 전송된다.

유사도 결정부(5184)에서는, 차분 산출부(5183)에서 산출된 상정 연령과, 얼굴 화상(720)의 인물의 촬영 시 연령에 의거하여, 유사도 산출부(5182)에서 산출된 임시 유사도가 저감되고, 얼굴 화상(720) 중의 얼굴과, 촬영 화상 중의 얼굴의 유사도가 결정된다(도 11의 스텝 S14). 차분 산출부(5183)와 유사도 결정부(5184)를 조합한 것은 본 발명에서 가리키는 유사도 저감부의 일례에 상당하고, 임시 유사도를 저감하는 스텝 S13의 처리는 본 발명에서 가리키는 유사도 저감 과정의 일례에 상당한다. 본 실시예에서는, 연령별로 유사도의 저감률이 미리 정해져 있다.

표 1은 연령별 유사도의 저감률의 예를 나타내는 표이다.

[표 1]

연령	저감률
0세~1세	20%
1세~2세	20%
2세~3세	10%
3세~4세	10%
…	10%
19세~20세	10%
20세~21세	10%
22세~23세	5%
…	5%

촬영 시 연령과 상정 연령을 1세 근접시킬 때마다, 임시 유사도로부터 표 1에 나타낸 저감률만큼 유사도를 저감시켜 간다. 예를 들어, 얼굴 화상(720)의 인물 촬영 시 연령이 5세이고, 분석 대상인 촬영 화상 중의 인물의 상정 연령이 1세인 경우, 유사도의 저감률은,

저감률(1세→5세)=1세부터 2세를 거칠 때의 저감률 20+2세부터 3세를 거칠 때의 저감률 10+3세부터 4세를 거칠 때의 저감률 10+4세부터 5세를 거칠 때의 저감률 10=50%

로 산출되고, 얼굴 화상(720)의 인물(5세)에 대한 촬영 화상 중의 인물의 상정 연령(1세)의 유사도는,

유사도=임시 유사도×(100-저감률(50))

의 식으로 산출된다. 본 실시예에서는, 상정 연령과 촬영 시 연령의 차이가 클수록 저감률이 크게 되어 있다. 예를 들어, 모친의 젊을 때의 얼굴과, 딸의 현재의 얼굴이 많이 닮은 경우, 그들의 얼굴의 형상에 의거하여 산출되는 임시 유사도는 커지지만, 모친의 젊을 때의 얼굴이 찍혀 있는 촬영 화상의 촬영 일시는 딸의 현재의 얼굴이 찍혀 있는 얼굴 화상의 촬영 일시와 크게 떨어져 있기 때문에, 촬영 화상의 상정 연령이 얼굴 화상의 촬영 시 연령과 크게 떨어지고, 저감률이 커진다. 따라서, 본 실시예의 화상 표시 장치에 의하면, 많이 닮은 부모와 아이의 얼굴 등도 정밀하게 판정할 수 있다.

또한, 본 실시예에서는, 상정 연령이나 촬영 시 연령이 0세∼2세인 경우에는 유사도가 크게 저감되고, 20세를 넘으면 유사도의 저감률이 억제된다. 2세 이하의 아이는 얼굴의 부위 전체가 둥근 형을 띠고 있어, 모두 닮은 듯한 얼굴을 하고 있는 것이 많고, 2세를 넘어서부터 각자 용모가 바뀌어 가는 경우가 많다. 또한, 반대로, 20세를 넘으면, 사람의 용모의 변화가 완만해지는 것이 일반적이다. 따라서, 0세부터 2세 사이에는 유사도의 저감률을 크게 하고, 20세를 넘은 연령에서의 유사도의 저감률을 억제함으로써, 얼굴 화상(720) 중의 얼굴과 촬영 화상 중의 얼굴의 유사도를 정밀하게 분석할 수 있다.

이상과 같이 하여 산출된 복수의 촬영 화상 각각에서의 유사도는 위치 산출 부(515)로 전송된다.

위치 산출부(515)에서는, 촬영 시간대, 촬영일, 및 유사도 각각을 축으로 하는 3차원 공간 상의, 유사도 결정부(5184)로부터 전송된 유사도가 대응하는 3차원 상 위치와, 촬영 시간대 및 유사도 각각을 축으로 하는 2차원 공간 상의, 3차원 상 위치에 대응하는 2차원 상 위치가 산출된다(도 11의 스텝 S3).

도 13은 3차원 공간의 일례를 나타내는 개념도이다.

도 13에 나타낸 바와 같이, 본 실시예에서는, 촬영 시간대를 X축(횡방향), 촬영일을 Y축(종방향), 유사도를 Z축(깊이 방향)으로 하는 3차원 공간을 적용할 수 있다.

3차원 공간의 X축에는, 4시∼9시 사이의 6시간을 기점으로 하여, 10시∼15시, 16시∼21시, 22시∼3시로 6시간 마다 차례로 배치되어 있다.

3차원 공간의 Y축에는, 촬영 일시가 새로운 것부터 차례로 배치되어 있다.

3차원 공간의 Z축에는, 유사도 100∼81을 기점으로 하여, 80∼61, 60∼41, …로 차례로 배치되어 있다.

또한, 본 실시예에서는, 촬영 시간대를 X축(횡방향), 유사도를 Z축(종방향)으로 하는 2차원 공간이 적용된다.

위치 산출부(515)에서는, 유사도 결정부(5184)로부터 전송된 유사도와, 촬영 화상의 촬영 일시에 의거하여, 2차원 공간 상의 위치(2차원 상 위치) 및 3차원 공간 상의 위치(3차원 상 위치)를 산출한다. 산출된 2차원 상 위치는 2차원 화상 생성부(516)로 전송되고, 3차원 상 위치는 3차원 화상 생성부(517)로 전송된다.

2차원 화상 생성부(516)에서는 2차원 화상이 생성되고(도 11의 스텝 S4), 3차원 화상 생성부(517)에서는 3차원 화상이 생성되고(도 11의 스텝 S5), 수 표시부(522)에서는 3차원 화상 상에서 최전면에 표시되는 촬영 화상의 매수가 산출된다.

표시부(519)는 2차원 화상 생성부(516)에서 생성된 2차원 화상과, 3차원 화상 생성부(517)에서 생성된 3차원 화상과, 스크롤 바와, 수 표시부(522)에서 산출된 촬영 매수를 표시 화면(102a) 상에 표시한다(도 11의 스텝 S6). 3차원 화상 생성부(517)와 표시부(519)를 조합한 것은 본 발명에서 가리키는 표시부의 일례에 상당하고, 2차원 화상 생성부(516)와 표시부(519)를 조합한 것은 본 발명에서 가리키는 보조 표시부의 일례에 상당하며, 수 표시부(522)와 표시부(519)를 조합한 것은 본 발명에서 가리키는 화상 수 표시부의 일례에 상당한다.

도 14는 3차원 화상(810~850), 2차원 화상(620), 및 스크롤 바(623)가 표시된 인물 표시 화면(800)의 일례를 나타내는 도면이다.

인물 표시 화면(800)에는, 서로 다른 유사도 대(帶)의 촬영 화상이 배치된 5매의 3차원 화상(810, 820, 830, 840, 850)이 표시되어 있고, 그들 5매의 3차원 화상(810, 820, 830, 840, 850)은 유사도 대가 가장 큰 3차원 화상(810)을 최전면으로 하여, 유사도 대가 큰 것부터 차례로 Z축 방향(깊이 방향)으로 나열하여 배치되어 있다. 최전면의 3차원 화상(810)에서는, 스텝 S11에서 선택된 얼굴 화상(720) 중의 얼굴과, 동일한 정도의 유사도(유사도가 100∼81)를 갖는 얼굴을 포함하는 촬영 화상의 섬네일 화상(610)이 동일면 상에 나열되어 표시되어 있다. 각 섬네일 화상(610)의 Z축 상의 위치는 그 섬네일 화상(610)의 원본으로 되는 촬영 화상의 유사도를 나타내고 있고, 각 섬네일 화상(610)의 Y축 상의 위치는 그 섬네일 화상(610)의 원본으로 되는 촬영 화상의 촬영 일시를 나타내고 있으며, 각 섬네일 화상(610)의 X축 상의 위치는 그 섬네일 화상(610)의 원본으로 되는 촬영 화상의 촬영 시간대를 나타내고 있다.

이와 같이, 본 실시예의 촬영 화상 표시 장치(500)에 의하면, 동일한 정도의 유사도를 갖는 얼굴이 포함된 촬영 화상의 섬네일 화상이 3차원 화상(600) 중에서 동일면 상에 나열되기 때문에, 대량의 촬영 화상이 보존되어 있는 경우에도, 그들 촬영 화상 중에서 소정 얼굴과 닮은 얼굴이 포함되어 있는 촬영 화상을 용이하게 찾아낼 수 있다.

또한, 2차원 화상(620)에서는, X축(촬영 시간대)을 따라 연장된 복수의 마크(621')가 배치되어 있고, 각 마크(621') 각각이 각 유사도를 나타내고 있다. 또한, 2차원 화상(620)에는, Y축(유사도)을 따라 연장되고, 2차원 화상(620) 상에서 유사도를 지정하는 스크롤 바(623)와, 스크롤 바(623)에 의해 선택되어 있는 유사도의 마크(621')를 둘러싸는 프레임(622)과, 스크롤 바(623)에 의해 선택된 유사도가 산출된 촬영 화상의 매수를 나타내는 수 표시부(624) 등도 표시되어 있다.

사용자가 스크롤 바(623)를 스크롤하면, 도 4에 나타낸 지시부(511)에서 스크롤 양에 따라 유사도가 전환되고, 전환된 유사도가 제어부(523)로 전송된다. 제어부(523)는 2차원 화상 생성부(516) 및 3차원 화상 생성부(517) 각각에 유사도를 전환하는 지시를 전송함으로써, 2차원 화상(620) 상의 프레임(622)을 전환된 유사 도의 위치까지 이동시키는 동시에, 전환된 유사도의 3차원 화상 최전면에 오도록 재배치시킨다. 지시부(511)는 본 발명에서 가리키는 지정부의 일례에 상당하고, 제어부(523)는 본 발명에서 가리키는 표시 제어부의 일례에 상당한다.

도 15는 유사도가 전환된 이후의 인물 표시 화면(800)의 일례를 나타내는 도면이다.

도 15에서는, 프레임(622)이 2번째의 유사도를 나타내는 마크(621')를 둘러싸고 있고, 수 표시부(624)에는, 2번째의 유사도에 속해 있는 촬영 화상의 수가 나타내져 있다. 또한, 2번째의 유사도 대의 촬영 화상의 섬네일 화상(610)이 배치된 3차원 화상(820)이 최전면에 표시되어 있다.

스크롤 바(623)를 이용함으로써, 사용자는 용이하게 3차원 화상의 표시를 전환할 수 있다.

또한, 도 14에 나타낸 바와 같이, 사용자가 포인터(601)의 오른쪽 버튼을 클릭하면, 섬네일 화상을 선택하기 위한 팝업 윈도(640')가 표시된다.

도 14에 나타낸 팝업 윈도(640')에는, 동일한 유사도 대에 속하는 촬영 화상을 나타내는 섬네일 화상을 총괄하여 선택하기 위한 「면(面) 메뉴」, 동일한 유사도 대에 속하고, 동일한 촬영일에 촬영된 촬영 화상을 나타내는 섬네일 화상을 총괄하여 선택하기 위한 「행(行) 메뉴」가 준비되어 있다.

사용자가 팝업 윈도(640')를 사용하여 섬네일 화상(610)을 선택하면(도 11의 스텝 S7: Yes), 도 4의 지시부(511)로부터 강조 표시부(520)에 지정 내용이 전송되고, 도 5에 나타낸 「촬영 일시 모드」와 마찬가지로, 강조 표시부(520)에 의해, 선택된 섬네일 화상(610)과, 그 섬네일 화상(610)에 대응하는 마크(621)가 강조 표시된다(도 11의 스텝 S8).

또한, 섬네일 화상(610)이 선택된 상태에서, 사용자가 도 1에 나타낸 마우스(104)를 오른쪽 클릭하면, 선택한 섬네일 화상(610)의 촬영 화상을 기록 매체에 기억하기 위한 팝업 윈도가 표시된다.

사용자가 포인터(601)를 사용하여 팝업 윈도 상에 표시된 지시를 선택하면(도 11의 스텝 S9: Yes), 지시 내용이 도 4의 화상 기억부(521)로 전송되고, 선택된 섬네일 화상(610)의 촬영 화상 데이터가 퍼스널 컴퓨터(100)에 장전된 DVD(도시 생략) 등에 기억된다(도 11의 스텝 S10).

이와 같이, 본 실시예에 의하면, 소정 인물의 얼굴 화상과, 촬영 화상 중의 얼굴의 유사도를 정밀하게 분석하고, 그 분석 결과를 보기 쉽게 표시할 수 있다.

이상으로, 본 발명의 제 1 실시예의 설명을 종료하고, 본 발명의 제 2 실시예에 대해서 설명한다. 본 발명의 제 2 실시예는 제 1 실시예와 동일한 구성을 갖고 있지만, 유사도 결정부에서의 유사도의 저감 방법이 제 1 실시예와는 상이하다. 이하에서는, 제 1 실시예와의 상이점에 대해서만 설명한다.

본 실시예의 화상 표시 장치에서는, 도 10의 파트 (B)에 나타낸 바와 같이, 한 명의 인물에 대하여, 촬영 시기가 서로 상이한 복수의 얼굴 화상(720)이 등록되어 있다.

도 4에 나타낸 유사도 결정부(5184)에서는, 유사도 산출부(5182)에서 산출된 임시 유사도를 저감시킬 때, 우선, 등록되어 있는 복수의 얼굴 화상(720)을 사용하 여 저감률이 산출된다.

본 실시예에서는, 등록되어 있는 복수의 얼굴 화상(720) 중, 가장 새로운 얼굴 화상(720)과 촬영 화상이 비교된다. 예를 들어, 촬영 화상 중의 인물의 상정 연령이 1세이고, 가장 새로운 얼굴 화상(720)의 촬영 시 연령이 5세인 경우, 우선은 5세에서의 얼굴 화상(720)과 1세에서의 얼굴 화상(720)의 유사도가 산출된다. 이어서, 유사도 산출부(5182)에서 산출된 임시 유사도와, 산출된 얼굴 화상끼리의 유사도를 사용하여, 이하의 식에 의해, 촬영 화상의 유사도가 산출된다.

유사도=임시 유사도×(얼굴 화상(720)끼리의 유사도/100)

이와 같이, 등록되어 있는 인물이 연령을 거치면서 어느 정도 얼굴이 바뀐 것인지를 분석하고, 그 분석 결과를 저감률로서 이용하는 것에 의해서도, 정밀하게 유사도를 분석할 수 있다.

여기서, 상기에서는, 촬영 화상을 등록할 때에 섬네일 화상을 생성하는 예에 대해서 설명했지만, 본 발명에서 가리키는 화상 표시부는 촬영 화상의 일람을 표시시킬 때에 섬네일 화상을 작성하는 것일 수도 있다.

또한, 상기에서는, 보존되어 있는 촬영 화상 중에서 얼굴 화상을 선택하는 예에 대해서 설명했지만, 본 발명에서 가리키는 화상 표시부는 외부 장치로부터 얼굴 화상을 입력하는 것일 수도 있다.

도 1은 본 발명의 일 실시예가 적용된 퍼스널 컴퓨터의 외관 구성도.

도 2는 퍼스널 컴퓨터의 내부 구성도.

도 3은 화상 표시 프로그램이 기억된 CD-ROM을 나타내는 개념도.

도 4는 촬영 화상 표시 장치의 기능 블록도.

도 5는 촬영 일시 모드에 의한 촬영 화상의 일람 표시의 처리의 흐름을 나타내는 플로차트.

도 6은 3차원 공간의 일례를 나타내는 개념도.

도 7은 2차원 공간의 일례를 나타내는 개념도.

도 8은 3차원 화상, 2차원 화상, 및 스크롤 바가 표시된 표시 화면의 일례를 나타내는 도면.

도 9는 팝업 윈도가 표시된 후의 표시 화면의 일례를 나타내는 도면.

도 10은 등록 화면의 일례를 나타내는 도면.

도 11은 인물 모드에 의한 처리의 흐름을 나타내는 플로차트.

도 12는 인물 선택 화면의 일례를 나타내는 도면.

도 13은 3차원 공간의 일례를 나타내는 개념도.

도 14는 3차원 화상, 2차원 화상, 및 스크롤 바가 표시된 인물 표시 화면의 일례를 나타내는 도면.

도 15는 유사도가 전환된 후의 인물 표시 화면의 일례를 나타내는 도면.

도면의 주요 부분에 대한 부호의 설명

100: 퍼스널 컴퓨터 101: 본체 장치

102: 화상 표시 장치 102a: 표시 화면

103: 키보드 104: 마우스

105: 버스 111: CPU

112: 주메모리 113: 하드디스크 장치

114: CD/DVD 드라이브 115: FD 드라이브

116: 통신 인터페이스 400: 촬영 화상 표시 프로그램

410: 지시부 412: 캡처부

413: 등록부 414: 촬영 정보·화상 취득부

415: 위치 산출부 416: 2차원 화상 생성부

417: 3차원 화상 생성부 418: 분석부

4181: 얼굴 추출부 4182: 유사도 산출부

4183: 차분 산출부 4184: 유사도 결정부

419: 표시부 420: 강조 표시부

421: 화상 기억부 422: 수 표시부

423: 제어부 500: 촬영 화상 표시 장치

511: 지시부 512: 캡처부

513: 등록부 514: 촬영 정보·화상 취득부

515: 위치 산출부 516: 2차원 화상 생성부

517: 3차원 화상 생성부 518: 분석부

5181: 얼굴 추출부 5182: 유사도 산출부

5183: 차분 산출부 5184: 유사도 결정부

519: 표시부 520: 강조 표시부

521: 화상 기억부 522: 수 표시부

523: 제어부

Claims (5)

1. 촬영 일시를 대응시킨 복수의 촬영 화상을 취득하는 화상 취득부와,

   얼굴이 촬영되어 이루어지는, 촬영 일시 및 연령을 대응시킨 얼굴 화상을 등록하는 화상 등록부와,

   상기 화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대해서 얼굴을 검출하고, 검출된 얼굴과, 상기 화상 등록부에 의해 등록된 얼굴 화상 중의 얼굴과의 얼굴 유사도를 산출하는 유사도 산출부와,

   상기 화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대응된 각각의 촬영 일시와, 상기 화상 등록부에 의해 등록된 얼굴 화상에 대응된 촬영 일시를 비교하여 촬영 화상에서 검출된 얼굴의 촬영 시의 연령이라고 상정되는 연령을 구하고, 상기 촬영 일시의 차분(差分)이 클수록, 또한 그 위에 더하여, 상기 상정되는 연령 또는 상기 화상 등록부에 의해 등록된 얼굴 화상에 대응된 연령이 어릴수록 상기 얼굴 유사도 산출부에서 산출된 얼굴 유사도를 크게 저감시키는 유사도 저감부를 구비한 것을 특징으로 하는 유사 분석 장치.
2. 촬영 일시를 대응시킨 복수의 촬영 화상을 취득하는 화상 취득부와,

   얼굴이 촬영되어 이루어지는, 촬영 일시 및 연령을 대응시킨 얼굴 화상을 등록하는 화상 등록부와,

   상기 화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대해서 얼굴을 검출하고, 검출된 얼굴과, 상기 화상 등록부에 의해 등록된 얼굴 화상 중의 얼굴과의 얼굴 유사도를 산출하는 유사도 산출부와,

   상기 화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대응된 각각의 촬영 일시와, 상기 화상 등록부에 의해 등록된 얼굴 화상에 대응된 촬영 일시를 비교하여 촬영 화상에서 검출된 얼굴의 촬영 시의 연령이라고 상정되는 연령을 구하고, 상기 촬영 일시의 차분이 클수록, 또한 그 위에 더하여, 상기 상정되는 연령 또는 상기 화상 등록부에 의해 등록된 얼굴 화상에 대응된 연령이 어릴수록 상기 얼굴 유사도 산출부에서 산출된 얼굴 유사도를 크게 저감시키는 유사도 저감부와,

   상기 화상 취득부에서 취득된 복수의 촬영 화상을 유사도가 큰 순서로 나열하여 표시하는 화상 표시부를 구비한 것을 특징으로 하는 화상 표시 장치.
3. 제 2 항에 있어서,

   상기 화상 취득부는 상기 복수의 촬영 화상이 기억된 기억 장치로부터 상기 복수의 촬영 화상을 취득하는 것을 특징으로 하는 화상 표시 장치.
4. 컴퓨터 내에서 실행되고, 상기 컴퓨터 상에,

   촬영 일시를 대응시킨 복수의 촬영 화상을 취득하는 화상 취득부와,

   얼굴이 촬영되어 이루어지는, 촬영 일시 및 연령을 대응시킨 얼굴 화상을 등록하는 화상 등록부와,

   상기 화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대해서 얼굴을 검출하고, 검출된 얼굴과, 상기 화상 등록부에 의해 등록된 얼굴 화상 중의 얼굴과의 얼굴 유사도를 산출하는 유사도 산출부와,

   상기 화상 취득부에 의해 취득된 복수의 촬영 화상 각각에 대응된 각각의 촬영 일시와, 상기 화상 등록부에 의해 등록된 얼굴 화상에 대응된 촬영 일시를 비교하여 촬영 화상에서 검출된 얼굴의 촬영 시의 연령이라고 상정되는 연령을 구하고, 상기 촬영 일시의 차분이 클수록, 또한 그 위에 더하여, 상기 상정되는 연령 또는 상기 화상 등록부에 의해 등록된 얼굴 화상에 대응된 연령이 어릴수록 상기 얼굴 유사도 산출부에서 산출된 얼굴 유사도를 크게 저감시키는 유사도 저감부와,

   상기 화상 취득부에서 취득된 복수의 촬영 화상을 유사도가 큰 순서로 나열하여 표시하는 화상 표시부를 구축하는 것을 특징으로 하는 화상 표시 프로그램을 기억한 화상 표시 프로그램 기억 매체.
5. 촬영 일시를 대응시킨 복수의 촬영 화상을 취득하는 화상 취득 과정과,

   얼굴이 촬영되어 이루어지는, 촬영 일시 및 연령을 대응시킨 얼굴 화상을 등록하는 화상 등록 과정과,

   상기 화상 취득 과정에서 취득된 복수의 촬영 화상 각각에 대해서 얼굴을 검출하고, 검출된 얼굴과, 상기 화상 등록 과정에서 등록된 얼굴 화상 중의 얼굴과의 얼굴 유사도를 산출하는 유사도 산출 과정과,

   상기 화상 취득 과정에서 취득된 복수의 촬영 화상 각각에 대응된 각각의 촬영 일시와, 상기 화상 등록 과정에서 등록된 얼굴 화상에 대응된 촬영 일시를 비교하여 촬영 화상에서 검출된 얼굴의 촬영 시의 연령이라고 상정되는 연령을 구하고, 상기 촬영 일시의 차분이 클수록, 또한 그 위에 더하여, 상기 상정되는 연령 또는 상기 화상 등록 과정에서 등록된 얼굴 화상에 대응된 연령이 어릴수록 상기 얼굴 유사도 산출 과정에서 산출된 얼굴 유사도를 크게 저감시키는 유사도 저감 과정과,

   상기 화상 취득 과정에서 취득된 복수의 촬영 화상을 유사도가 큰 순서로 나열하여 표시하는 화상 표시 과정을 갖는 것을 특징으로 하는 화상 표시 방법.

Images