KR101560203B1 - 촬상장치, 정보처리장치, 및 제어 방법 - Google Patents

촬상장치, 정보처리장치, 및 제어 방법 Download PDF

Info

Publication number
KR101560203B1
KR101560203B1 KR1020120145879A KR20120145879A KR101560203B1 KR 101560203 B1 KR101560203 B1 KR 101560203B1 KR 1020120145879 A KR1020120145879 A KR 1020120145879A KR 20120145879 A KR20120145879 A KR 20120145879A KR 101560203 B1 KR101560203 B1 KR 101560203B1
Authority
KR
South Korea
Prior art keywords
person
face
image
name
cpu
Prior art date
Application number
KR1020120145879A
Other languages
English (en)
Other versions
KR20130072138A (ko
Inventor
히데오 타키구치
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20130072138A publication Critical patent/KR20130072138A/ko
Application granted granted Critical
Publication of KR101560203B1 publication Critical patent/KR101560203B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9206—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

화상에 대응하는 인물의 인식에 사용되는 얼굴 인식 데이터는, 등록되어 있는 인물마다 상기 얼굴 화상의 특징량, 제1의 인물명, 및 상기 제1의 인물명과는 다른 제2의 인물명을 서로 관련지어 관리된다. 얼굴 인식 데이터로 관리되는 특징량을 사용하여, 촬영 화상에 포함되는 얼굴 화상에 대응하는 인물을 특정하고, 특정한 인물에 대한 제2의 인물명을 촬영 화상과 관련지어서 스토리지에 기억시킨다. 스토리지에 기억되어 있는 화상을 판독해서 표시장치에 표시할 경우에, 판독한 화상과 관련되어 있는 제2의 인물명에 대응하는 제1의 인물명을, 판독한 화상과 함께 표시장치에 표시한다.

Description

촬상장치, 정보처리장치, 및 제어 방법{IMAGE SENSING APPARATUS, INFORMATION PROCESSING APPARATUS AND CONTROL METHOD}
본 발명은 촬상장치, 정보처리장치, 및 제어 방법에 관한 것으로, 특히 화상에 포함되는 얼굴 화상에 대응하는 인물을 특정하는 얼굴 인식기술에 관한 것이다.
화상 열람 소프트웨어 등, 유저가 스토리지에 축적된 화상 파일의 열람을 행하는 어플리케이션이 이용가능하다. 이러한 화상 열람 어플리케이션은, PC 등의 정보처리장치에 인스톨됨으로써 사용된다. 최근, 화상 열람 어플리케이션 중에는, 얼굴 인식 알고리즘이 설치되고, 미리 등록되어 있는 인물의 얼굴이 포함되는 얼굴영역의 화상을 추출하는 것이 있다. 얼굴 인식 처리에 있어서는, 인물마다 미리 얼굴 화상의 해석을 행해서 취득된 얼굴 영역의 특징량이 등록된 데이터베이스(얼굴 인식용 데이터나 얼굴 사전이라고도 불린다)을 참조해서, 화상으로부터 검출된 얼굴에 대해서 특징량의 매칭 검색이 행해짐으로써, 상기 검출된 얼굴에 대응하는 인물이 특정된다.
또한, 디지털 카메라 등의 촬상장치 중에는, 얼굴 화상의 촬영시에 인물명을 입력함으로써 얼굴 사전을 작성하고, 작성된 얼굴 사전을 사용한 얼굴 인식 처리를 행하는 것이 있다. 촬상장치에 있어서 얼굴 인식 처리를 행할 경우, 얼굴 사전은 촬상장치의 유한의 기억영역에 보유된다. 일반적으로, 인물의 얼굴은 연령 등의 시간적인 요인에 따라 변화되기 때문에, 얼굴 인식 처리의 정밀도가 저감하는 것이 있다. 다시 말해, 유한의 기억영역에 얼굴 사전이 보유될 경우, 얼굴 사전을 자주 갱신함으로써 얼굴 인식 처리의 정밀도는 향상한다. 일본국 공개특허공보 특개2007-241782호에는, 특별히 얼굴 인식 처리와는 관련되어 있지 않지만, 얼굴 검출 처리에 사용하는 특징량 (템플릿)을 추가, 갱신하는 기술이 개시되어 있다.
이렇게 촬상장치가 얼굴 사전을 보유함으로써, 예를 들면 촬상시에 뷰파인더(viewfinder) 위의 인물의 상(像)에 대하여, 얼굴 인식 결과인 인물명을 중첩해서 표시하는 것이 가능하다. 또, 화상에 포함되는 인물명과 관련지어서 촬영한 화상을 저장할 수 있다.
일반적으로, 촬상장치의 뷰파인더로서 기능하는 표시장치로서는, 표시 사이즈가 작은 표시장치를 사용할 수 있다. 다시 말해, 전술한 바와 같이 뷰파인더 위에 얼굴 인식 결과인 인물명을 중첩해서 표시하는 경우, 복수의 인물명이 서로 겹쳐서 표시되거나 혹은 인물명으로 가로막아져서 뷰파인더의 시인성이 나빠지는 등의 문제가 있었다.
이에 대하여, 얼굴 사전에 등록되는 인물명을, 닉네임 등의 최소의 문자수를 갖는 간략적인 문자열을 이용해서 나타내는 것이 가능하다. 유감스럽게도, 닉네임 등의 인물명과 관련된 촬영된 화상을, 정보처리장치의 화상 열람 어플리케이션으로 검색할 경우, 예를 들면 동일한 닉네임과 관련된 화상 혹은 부분적으로 겹치는 화상이 추출되는 등, 검색 정밀도가 저하하는 경우가 있다.
또한, 얼굴 사전에 등록되어 있는 인물명은, 일반적으로는 얼굴 사전의 등록시에만 참조되는 경우가 많다. 다시 말해, 유저가 화상 열람 어플리케이션을 이용해서, 특정의 인물을, 닉네임 대신에 일상적으로 인식하고 있는 풀 네임으로 검색했을 경우, 원하는 검색 결과를 취득할 수 없는 경우가 있다. 특히, 촬상장치에 입력 혹은 표시가능한 문자를 이용하는 문자 인코딩 방식(character encoding scheme)의 형태가 한정될 경우, 얼굴 사전에는 이 문자 인코딩 방식에 대응하는 인물명이 등록되지만, 이것은 유저가 검색시에 사용하는 문자열을 이용하는 문자 인코딩 방식과 동일하지 않을 가능성이 있다.
본 발명은, 이러한 종래기술의 문제점을 감안하여 이루어진 것이다. 본 발명은 유저의 시인성을 확보한 얼굴 인식 결과의 표시, 및 유연한 인물명 검색에 대응하는 화상의 스토리지 중 적어도 하나를 해결하는 촬상장치, 정보처리장치, 및 제어 방법을 제공한다.
본 발명의 제1 국면은, 얼굴 화상에 대응하는 인물의 인식에 사용되는 얼굴 인식 데이터를 관리하고, 상기 얼굴 인식 데이터는 등록되어 있는 인물마다 상기 얼굴 화상의 특징량, 제1의 인물명, 및 상기 제1의 인물명과는 다른 제2의 인물명을 서로 관련지어서 관리하는, 관리 유닛과, 상기 얼굴 인식 데이터로 관리되는 상기 특징량을 사용하여, 촬영 화상에 포함되는 얼굴 화상에 대응하는 인물을 특정하는 얼굴 인식 유닛과, 상기 얼굴 인식 유닛에 의해 특정된 인물에 대한 상기 제2의 인물명을, 상기 촬영 화상과 관련지어서 스토리지에 기억시키는 기억 유닛과, 상기 스토리지에 기억되어 있는 화상을 판독하고, 상기 판독한 화상과 관련된 상기 제2의 인물명을 표시하지 않고, 상기 판독한 화상을, 상기 얼굴 인식 데이터로 관리되며 상기 판독한 화상과 관련된 상기 제2의 인물명에 대응하는 상기 제 1의 인물명과 함께 표시 유닛에 표시하는 표시 제어 유닛을 구비하는, 촬상장치를 제공한다.
본 발명의 제2 국면은, 얼굴 화상에 대응하는 인물의 인식에 사용되는 얼굴 인식 데이터를 관리하고, 상기 얼굴 인식 데이터는 등록되어 있는 인물마다 상기 얼굴 화상의 특징량, 제1의 인물명, 및 상기 제1의 인물명과는 다른 제2의 인물명을 관리하는, 관리 유닛과, 상기 얼굴 인식 데이터로 관리되는 상기 특징량을 사용하여, 촬상 유닛으로부터 출력된 스루 화상(through image)에 포함되는 얼굴 화상에 대응하는 인물을 특정하는 얼굴 인식 유닛과, 인물에 대한 상기 제2의 인물명이 없는 상기 얼굴 인식 유닛에 의해 특정된 인물에 대한 상기 제1의 인물명을, 상기 스루 화상과 함께 표시 유닛에 표시하는 표시 제어 유닛과, 촬영 지시가 이루어졌을 경우에 상기 촬상 유닛으로부터 출력된 촬상 화상과, 상기 촬상 화상에 대해서 상기 얼굴 인식 유닛에 의해 특정된 인물에 대한 상기 제2의 인물명을 관련지어서 스토리지에 기억시키는 기억 유닛을 구비하는, 촬상장치를 제공한다.
본 발명의 제3 국면은, 촬상장치에 기억되며, 얼굴 화상에 대응하는 인물의 인식에 사용되고, 상기 얼굴 인식 데이터는 등록되어 있는 인물마다 상기 얼굴 화상의 특징량 및 제1의 인물명이 서로 관련되어 있는, 얼굴 인식 데이터를 관리하는 정보처리장치로서, 상기 촬상장치로부터 상기 얼굴 인식 데이터를 취득하는 취득 유닛과, 상기 취득 유닛에 의해 취득된 상기 얼굴 인식 데이터에 등록되어 있는 인물과, 제1의 인물명과는 다른 제2의 인물명을 관련짓는 입력 유닛과, 상기 입력 유닛에 의해 상기 제2의 인물명과 관련된 상기 얼굴 인식 데이터를, 상기 촬상장치에 송신하는 송신 유닛을 구비하는, 정보처리장치를 제공한다.
본 발명의 제4 국면은, 얼굴 화상에 대응하는 인물의 인식에 사용되는 얼굴 인식 데이터를 관리하고, 상기 얼굴 인식 데이터는, 등록되어 있는 인물마다 상기 얼굴 화상의 특징량, 제1의 인물명, 및 상기 제1의 인물명과는 다른 제2의 인물명을 서로 관련지어서 관리하는 관리 단계와, 상기 얼굴 인식 데이터로 관리되는 상기 특징량을 사용하여, 촬영 화상에 포함되는 얼굴 화상에 대응하는 인물을 특정하는 얼굴 인식 단계와, 상기 얼굴 인식 단계에 있어서 특정된 인물에 대한 상기 제2의 인물명을, 상기 촬영 화상과 관련지어서 스토리지에 기억시키는 기억 단계와, 상기 스토리지에 기억되어 있는 화상을 판독하고, 상기 판독한 화상과 관련된 상기 제2의 인물명을 표시하지 않고, 상기 판독한 화상을, 상기 얼굴 인식 데이터로 관리되며 상기 판독한 화상과 관련된 상기 제2의 인물명에 대응하는 상기 제 1의 인물명과 함께 표시 유닛에 표시하는 표시 제어 단계를 포함하는, 촬상장치의 제어 방법을 제공한다.
본 발명의 제5 국면은, 얼굴 화상에 대응하는 인물의 인식에 사용되는 얼굴 인식 데이터를 관리하고, 상기 얼굴 인식 데이터는, 등록되어 있는 인물마다 상기 얼굴 화상의 특징량, 제1의 인물명, 및 상기 제1의 인물명과는 다른 제2의 인물명을 관리하는 관리 단계와, 상기 얼굴 인식 데이터로 관리되는 상기 특징량을 사용하여, 촬상 유닛으로부터 출력된 스루 화상에 포함되는 얼굴 화상에 대응하는 인물을 특정하는 얼굴 인식 단계와, 인물에 대한 상기 제2의 인물명이 없는 상기 얼굴 인식 단계에 있어서, 특정된 인물에 대한 상기 제1의 인물명을, 상기 스루 화상과 함께 표시 유닛에 표시하는 표시 제어 단계와, 촬영 지시가 이루어졌을 경우에 상기 촬상 유닛으로부터 출력된 촬상 화상과, 상기 촬영 화상에 대해서 상기 얼굴 인식 단계에 있어서 특정된 인물에 대한 상기 제2의 인물명을 관련지어서 스토리지에 기억시키는 기억 단계를 포함하는, 촬상장치의 제어 방법을 제공한다.
본 발명의 제6 국면은, 촬상장치에 기억되며, 얼굴 화상에 대응하는 인물의 인식에 사용되고, 등록되어 있는 인물마다, 상기 얼굴 화상의 특징량 및 제1의 인물명이 서로 관련되어 있는, 얼굴 인식 데이터를 관리하는 정보처리장치의 제어 방법으로서, 상기 촬상장치로부터 상기 얼굴 인식 데이터를 취득하는 취득 단계와, 상기 취득 단계에 있어서 취득된 상기 얼굴 인식 데이터에 등록되어 있는 인물과, 상기 제1의 인물명과는 다른 제2의 인물명을 관련짓는 입력 단계와, 상기 입력 단계에 있어서 상기 제2의 인물명과 관련되어 있는 상기 얼굴 인식 데이터를, 상기 촬상장치에 송신하는 송신 단계를 포함하는, 정보처리장치의 제어 방법을 제공한다.
본 발명의 그 외의 특징은 첨부도면을 참조하면서 이하의 예시적인 실시예로부터 밝혀질 것이다.
도 1은 본 발명의 실시예에 따른 디지털 카메라(100)의 기능 구성을 나타내는 블럭도이다.
도 2는 본 발명의 실시예에 따른 PC(200)의 기능 구성을 예시한 블럭도이다.
도 3은 본 발명의 실시예에 따른 카메라측 얼굴 사전 편집 처리를 예시한 흐름도이다.
도 4는 본 발명의 실시예에 따른 얼굴 사전의 데이터 구조를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 PC측 얼굴 사전 편집 처리를 예시한 플로차트이다.
도 6은 본 발명의 실시예에 따른 촬영 처리를 예시한 흐름도이다.
도 7은 본 발명의 실시예에 따른 얼굴 인식 처리를 예시한 흐름도이다.
도 8은 본 발명의 실시예에 따른 인물 화상 검색 처리를 예시한 흐름도이다.
도 9는 본 발명의 실시예에 따른 접속시 처리를 예시한 흐름도이다.
도 10은 본 발명의 실시예에 따른 동일 얼굴 사전 판단 처리를 예시한 흐름도이다.
도 11은 본 발명의 제1의 변형 예에 따른 동일 얼굴 사전 판단 처리를 예시한 도면이다.
도 12는 본 발명의 제2의 변형 예에 따른 인물명 머지(merge) 처리를 예시한 도면이다.
[실시예]
이하, 본 발명의 예시적인 실시예에 대해서, 도면을 참조해서 상세하게 설명한다. 또한, 이하에 설명하는 실시예는, 촬상장치 및 정보처리장치의 일례로서의, 얼굴 인식용 데이터를 사용한 얼굴 인식 처리가 가능한 디지털 카메라 및 PC에 본 발명을 적용한 예를 설명한다. 그러나, 본 발명은, 얼굴인식용 데이터를 사용한 얼굴 인식 처리를 실행하는 것이 가능한 임의의 장치에 적용가능하다.
또한, 본 명세서에 있어서 "얼굴 화상"이란, 인물이 포함되는 화상으로부터 추출되는 인물의 얼굴영역의 화상인 것으로 한다. 또한, "얼굴 사전"이란, 각 인물의 적어도 1개의 얼굴 화상과 각 얼굴 화상에 포함되는 얼굴영역의 특징량의 데이터를 포함하고, 얼굴인식 처리의 매칭 처리에 사용되는 얼굴인식용 데이터인 것으로서 설명한다. 또한, 얼굴 사전에 포함되는 얼굴 화상의 수가 미리 정해져 있는 것으로 한다.
<디지털 카메라(100)의 구성>
도 1은, 본 발명의 실시예에 따른 디지털 카메라(100)의 기능 구성을 나타내는 블럭도다.
카메라 CPU(101)는, 디지털 카메라(100)의 각 블록의 동작을 제어한다. 구체적으로는, 카메라 CPU(101)는, 카메라 2차 기억부(102)에 기억되어 있는 촬영 처리 등의 동작 프로그램을 판독하고, 그들을 카메라 1차 기억부(103)에 전개해서 실행함으로써, 각 블록의 동작을 제어한다.
카메라 2차 기억부(102)는, 예를 들면 개서가능한 불휘발성 메모리이며, 촬영 처리 등의 동작 프로그램에 더해, 디지털 카메라(100)의 각 블록의 동작에 필요한 파라미터 등을 기억한다.
카메라 1차 기억부(103)는, 휘발성 메모리이며, 촬영 처리 등의 동작 프로그램의 전개 영역으로서 뿐만 아니라, 디지털 카메라(100)의 각 블록의 동작에 있어서 출력된 중간 데이터 등을 기억하는 기억 영역으로서도 사용된다.
카메라 촬상부(105)는, CCD나 CMOS 센서 등의 촬상소자, A/D 변환부 등으로 구성된다. 카메라 촬상부(105)는, 카메라 광학계(104)에 의해 촬상소자 위에 결상 된 광학상을 광전 변환하고, A/D 변환 처리를 포함하는 다양한 형태의 화상처리를 변화된 화상에 적용하며, 처리된 화상을 촬영된 화상으로서 출력한다.
카메라 스토리지(106)는, 예를 들면 디지털 카메라(100)의 내장 메모리나, 메모리 카드나 HDD 등의 디지털 카메라(100)에 착탈 가능하게 접속되는 스토리지 장치로서 기능한다. 본 실시예에서는, 카메라 스토리지(106)에는, 촬영 처리에 의해 촬영된 화상과, 디지털 카메라(100)에 의해 얼굴 인식 처리에서 참조되는 얼굴 사전이 기록된다. 카메라 스토리지(106)에 기억된 얼굴 사전은, PC(200)로 실행되는 화상 열람 어플리케이션에 의해 생성된 얼굴 사전에 한정되지 않고, 디지털 카메라(100)에 의해 촬영된 얼굴 화상을 등록함으로써 생성되어도 된다. 또한, 본 실시예에서는 얼굴 사전이 카메라 스토리지(106)에 기억되어 있는 것으로서 설명하지만, 본 발명의 실시는 이것에 한정되는 것이 아니다. 예를 들면, 얼굴 사전은 카메라 2차 기억부(102) 등, PC(200)의 열람 어플리케이션에 의해 액세스 가능한 영역이나, 혹은 파일 기록 요구에 응답해서 데이터가 기록 가능한 영역에 기억되어 있으면 사용되어도 된다. 또, 얼굴 사전은, PC(200)로부터 송신되었을 때에, 카메라 CPU(101)에 의해 소정의 스토리지 영역에 기억되어 있어도 된다.
카메라 표시부(107)는, 예를 들면 소형 LCD 등의 디지털 카메라(100)의 표시장치로서 기능한다. 카메라 표시부(107)에는, 카메라 촬상부(105)로부터 출력된 촬상화상이나, 카메라 스토리지(106)에 기억된 화상 등이 표시된다.
카메라 통신부(108)는, 디지털 카메라(100)에 설치되어, 외부장치와의 데이터의 송수신을 행하는 통신 인터페이스로서 기능한다. 외부장치인 PC(200)와 디지털 카메라(100)는, 접속방법이 예를 들면 USB(Universal Serial Bus) 케이블을 이용하는 유선접속인지, 무선 LAN을 이용하는 무선접속인지에 관계없이, 카메라 통신부(108)를 거쳐서 서로 접속된다. 디지털 카메라(100) 및 PC(200) 사이의 데이터 통신의 프로토콜로서는, 예를 들면 PTP(Picture Transfer Protocol)이 MTP(Media Transfer Protocol)가 사용될 수 있다. 또한, 본 실시예에서는, 카메라 통신부(108)의 통신 인터페이스는, 동일한 프로토콜을 이용해서 (후술하는) PC(200)의 통신부(205)와 데이터 통신이 가능한 것으로 한다.
카메라 조작부(109)는, 예를 들면 전원 버튼이나 셔터 버튼 등의 조작 부재를 포함하고, 디지털 카메라(100) 내에 설치되는 유저 인터페이스로서 기능한다. 카메라 조작부(109)는, 유저에 의한 조작 부재의 조작을 검출하면, 조작 내용에 대응하는 제어신호를 생성해서 카메라 CPU(101)에 전송한다.
<PC(200)의 구성>
다음에, 본 발명의 실시예에 따른 PC(200)의 기능 구성에 대해서, 도 2를 사용해서 이하에 설명한다.
CPU(201)는, PC(200)의 각 블록의 동작을 제어한다. 구체적으로는, CPU(201)는, 예를 들면 2차 기억부(202)에 기억되어 있는 화상 열람 어플리케이션의 동작 프로그램을 판독하여, 1차 기억부(203)에 전개해서 실행함으로써, 각 블록의 동작을 제어한다.
2차 기억부(202)는, 예를 들면 내장 메모리나, HDD나 SSD 등의 PC(200)에 착탈 가능하게 접속되는 기억 장치다. 본 실시예에서는, 2차 기억부(202)에는, 화상 열람 어플리케이션의 동작 프로그램에 더해, 디지털 카메라(100) 혹은 PC(200)에 있어서 생성된 각 인물에 관한 얼굴 사전과, 얼굴 사전의 생성에 사용되며 인물이 포함되는 화상이 기록된다.
1차 기억부(203)는, 휘발성 메모리이며, 화상 열람 어플리케이션의 동작 프로그램과 다른 동작 프로그램의 전개 영역으로서 뿐만 아니라, PC(200)의 각 블록의 동작에 의해 출력된 중간 데이터를 기억하는 기억 영역으로서도 사용된다.
표시부(204)는, 예를 들면 LCD 등의 PC(200)에 접속된 표시장치다. 본 실시예에서는, 표시부(204)는 PC(200)의 내부 표시장치로서 구현되지만, 표시부(204)가 PC(200)에 접속된 외부표시장치로서도 기능해도 되는 것은 용이하게 이해될 것이다. 본 실시예에서는, 표시부(204)에는 화상 열람 어플리케이션과 관련되는 GUI 데이터를 사용해서 생성된 표시 화면이 표시된다.
통신부(205)는, PC(200)에 설치되어 외부장치와의 데이터의 송수신을 행하는 통신 인터페이스다. 또한, 본 실시예에서는, 통신부(205)의 통신 인터페이스는, 동일한 프로토콜을 이용해서 디지털 카메라(100)의 카메라 통신부(108)와 데이터 통신이 가능하다.
조작부(206)는, 예를 들면 마우스, 키보드, 또는 터치 패널 등의 입력장치를 포함한, PC(200)에 설치되어 있는 유저 인터페이스다. 조작부(206)가, 유저에 의한 입력장치의 조작을 검출하면, 조작 내용에 대응하는 제어신호를 생성해서 CPU(201)에 전송한다.
<카메라측 얼굴 사전 편집 처리>
이러한 구성을 가지는 본 실시예에 따른 디지털 카메라(100)에 의해 1인의 대상인물에 대한 얼굴 사전을 작성 혹은 편집하는 카메라측 얼굴 사전 편집 처리에 대해서, 도 3의 흐름도를 참조해서 구체적인 처리를 설명한다. 상기 흐름도에 대응하는 처리는, 카메라 CPU(101)가, 예를 들면 카메라 2차 기억부(102)에 기억되어 있는 대응하는 처리 프로그램을 판독하여, 카메라 1차 기억부(103)에 전개해서 실행함으로써 실현될 수 있다. 또한, 본 카메라측 얼굴 사전 편집 처리는, 예를 들면 유저에 의해 디지털 카메라(100)의 모드가 얼굴 사전등록 모드로 설정된 것을 나타내는 제어신호를, 카메라 CPU(101)가 카메라 조작부(109)로부터 수신했을 때에 개시되는 것으로 한다.
(얼굴 사전의 데이터 구조)
우선, 본 실시예에 따른 얼굴 사전의 데이터 구조에 대해서, 도 4를 사용하여 설명한다. 또한, 본 실시예에서는, 얼굴 사전은 각 인물에 대하여 1개씩 생성되는 것으로 설명한다. 그렇지만, 본 발명의 실시는 이것에 한정되는 것이 아니고, 디지털 카메라(100) 내부에서 인물마다 특징량을 관리할 수 있는 구성이면, 1개의 사전에 복수의 인물에 대한 얼굴 인식용의 데이터가 포함되어도 된다.
도 4에 나타나 있는 바와 같이, 1사람의 대상인물에 관한 얼굴 사전은, 얼굴 사전에 관한 편집이 행해지는 일시인 갱신 일시(401), 상기 대상인물에 관한 간략적인 인물명인 닉네임(402)(제1의 인물명), 예를 들면 상기 대상인물의 풀 네임(403)(제2의 인물명), 및 적어도 1개의 얼굴 화상의 상세정보(404)(얼굴 화상 정보(1) 410, 얼굴 화상 정보(2) 420,…, 얼굴 화상 정보(N))로 구성된다.
또한, 상세 정보에 포함되는 얼굴 화상 정보의 각각은, 얼굴 화상 정보(1) 410을 예로 들면,
1. 임의의 화상으로부터 대상인물의 얼굴영역을 추출하고, 소정의 화소수의 화상으로 리사이즈함으로써 취득된 얼굴 화상 데이터(1) 411
2. 얼굴 화상 데이터(1) 411의 얼굴영역의 특징량을 나타내는 특징량 데이터(1) 412를 포함한다.
또한, 본 실시예에서는 상기 대상인물의 풀 네임을 제2의 인물명으로서 얼굴 사전에 포함하지만, 제2의 인물명의 필드에 포함된 인물명의 정보는, 대상인물의 풀 네임에 한정되는 것이 아니다. 본 실시예에서는, 얼굴 사전은, PC(200)의 화상 열람 어플리케이션에 있어서의, 다양한 인물명에 대응하는 유연한 인물 화상의 검색을 실현하기 위해서, 제1의 인물명 및 제2의 인물명의 복수의 인물명이 얼굴 사전에 포함되어 있다. 다시 말해, 얼굴 인식 처리에 의해 특정된 인물이 포함되는 화상을, 메타데이터로서 복수의 인물명과 관련지음으로써, 보다 많은 키워드로 대상 인물이 포함되는 화상을 검색할 수 있다.
또한, 상기한 바와 같이, 일반적인 디지털 카메라와 디지털 비디오카메라는, 유저에 의한 다양한 문자종의 문자 입력에 대응하지 않는 것이 많다. 본 실시예에 있어서의 디지털 카메라(100)는, 이렇게 다양한 문자종의 문자의 입력 및 표시에 대응하지 않고, 예를 들면 ASCII 코드로 나타낸 문자의 입력 및 표시에만 대응하고 있는 것으로 한다. 또한, 본 실시예에 있어서의 디지털 카메라(100)는, 얼굴 사전을 사용한 얼굴 인식 처리에 의해 취득되는 얼굴 인식 결과, 즉 인물명을, 예를 들면 촬상화상에 중첩시켜, 촬상화상과 함께 카메라 표시부(107)에 표시한다. 이때, 카메라 표시부(107)에 표시되는, 얼굴 인식 결과, 즉 인물명은 얼굴 사전으로부터 취득되지만, 디지털 카메라(100)에 있어서 표시가능한 문자 코드, 즉 ASCII 코드로 나타낼 필요가 있다. 또, 상기한 바와 같이, 얼굴 인식 결과로서 인물명을 촬상화상에 중첩해서 표시할 경우, 간략적인 인물명은, 촬상화상의 시인성을 확보하기 위해서 사용될 수 있다. 이 때문에, 본 실시예에서는, 간략적인 인물명이 입력되는 닉네임(402)은, 디지털 카메라(100)의 카메라 표시부(107)에 표시가능한 ASCII 코드(제1의 문자코드)에 대응한다. 또, 시인성 확보를 위해서, 본 실시예에서는, 닉네임(402)의 최대 데이터 길이는 소정값 이하에 제한되므로, 풀 네임(403)의 최대 데이터 길이보다도 짧다.
또한, 디지털 카메라(100)에 있어서의 문자입력 및 임의의 문자표시의 빈도가 낮기 때문에, 디지털 카메라(100)에 있어서의 입력 및 표시가 가능한 문자 코드는, 바이트 표현의 패턴이 적고, 표시용의 문자 화상 데이터의 총량이 적은 것이, 스토리지 영역의 비용 상승을 제압하는 관점에서 바람직하다. 그것은 닉네임(402)이 본 실시예와 같이, 바이트 표현의 패턴이 적은, ASCII 코드를 이용하는 1바이트계 문자 인코딩 방식에 대응할 수 있는 것을 의미한다. 그렇지만, 특히 아시아권 등, 공용어의 문자입력에 있어서 일반적으로 2바이트계 문자가 사용되는 구역에서는, 촬영된 화상에 대해서 인물명을 사용한 검색을 행할 경우, 1바이트계 문자가 아니라 2바이트계 문자가 사용되는 것이 상정된다. 본 실시예에서는, 얼굴 인식 결과와 관련된 화상에 대해서, PC(200)의 화상 열람 어플리케이션에 있어서 2바이트계 문자를 이용한 검색에 대응하도록, 풀 네임(403)은 예를 들면 Shift-JIS 코드로 나타낸 2바이트계 문자나, PC(200)에 있어서 널리 이용되고 있는 Unicode에 대응한다. 또한, 본 실시예에서는 제1의 인물명은 1바이트계 문자 코드에 대응하고, 제2의 인물명은 2바이트계 문자 코드에 대응하지만, 본 발명의 실시는 이것에 한정되지 않는다. 다시 말해, 제1 및 제2의 인물명은, 얼굴 인식 결과로서 상기 인물명과 관련된 화상에 대해서, 다양한 문자 인코딩 방식으로 표현된 인물명에 대응하는 유연한 인물화상의 검색을 실현하기 위해서, 각각 다른 문자 인코딩 방식에 대응하고 있으면 된다.
또한, 본 실시예에서는, 제1의 인물명은 디지털 카메라(100)에 있어서 입력 및 표시 가능한 문자 코드에 대응하고 있지만, 제2의 인물명은 디지털 카메라(100)에 있어서 입력 불가능 혹은 표시 불가능한 문자 코드에 대응하고 있다는 점에 유념한다. 이 때문에, 본 실시예에서는, 디지털 카메라(100)에 있어서 생성된 얼굴 사전에 등록되는 제2의 인물명은, 디지털 카메라(100)가 PC(200)에 접속되었을 때에, PC(200)에 입력된다.
또한, 본 실시예에서는, 얼굴 사전에는, 대상인물의 얼굴 인식을 위해서 사용되는 상세정보로서, 얼굴 화상 및 상기 얼굴 화상의 얼굴영역의 특징량이 포함되지만, 얼굴 사전에 포함되는 정보는 이것에 한정되지 않는다. 얼굴 인식 처리는, 얼굴 화상 및 특징량 중 어느 하나가 이용가능하면 실행가능하기 때문에, 얼굴 사전에는 얼굴 화상 및 상기 얼굴 화상의 특징량 중의 적어도 하나가 포함되어 있으면 된다.
카메라측 얼굴 사전 편집 처리를 실행하면, 카메라 CPU(101)는 스텝 S301에서, 유저에 의한 신규 얼굴 사전 등록 지시가 이루어졌는지 기존의 얼굴 사전 편집 지시가 이루어졌는지를 판단한다. 좀더 구체적으로, 카메라 CPU(101)는, 신규 얼굴 사전 등록 지시 혹은 기존의 얼굴 사전 편집 지시에 대응하는 제어신호를, 카메라 조작부(109)로부터 수신했는지 아닌지를 판단한다. 카메라 CPU(101)는 유저에 의한 신규 얼굴 사전 등록 지시가 이루어졌다고 판단한 경우에는, 처리를 스텝 S303로 진행시킨다. 카메라 CPU(101)는 유저에 의한 기존의 얼굴 사전 편집 지시가 이루어졌다고 판단한 경우에는, 처리를 스텝 S302로 진행시킨다. 카메라 CPU(101)는, 유저에 의한 신규 얼굴 사전 등록 지시도 기존의 얼굴 사전 편집 지시도 이루어지지 않았다고 판단한 경우에는, 스텝 S301의 처리를 반복한다.
스텝 S302에서, 카메라 CPU(101)는, 카메라 스토리지(106)에 기억되어 있는 기존의 얼굴 사전 중, 편집하는 얼굴 사전의 선택 지시를 접수한다. 좀더 구체적으로, 카메라 CPU(101)는, 현재 카메라 스토리지(106)에 기억되어 있는 얼굴 사전의 일람을 카메라 표시부(107)에 표시하고, 유저에 의한 편집 대상의 얼굴 사전의 선택이 이루어진 것을 나타내는 제어신호를 카메라 조작부(109)로부터 수신할 때까지 대기한다. 카메라 표시부(107)에 표시되는 얼굴 사전의 일람은, 예를 들면 닉네임(402)의 문자열이나, 각 얼굴 사전에 포함되는 얼굴 화상 중의 1개의 대표 화상이 표시되는 형태를 취해도 된다. 카메라 CPU(101)가 카메라 조작부(109)로부터 얼굴 사전의 선택 동작에 대응하는 제어신호를 수신하면, 선택된 얼굴 사전을 나타내는 정보를 카메라 1차 기억부(103)에 기억시키고 처리를 스텝 S305로 진행시킨다.
한편, 카메라 CPU(101)가 스텝 S301에서 유저에 의한 신규 얼굴 사전 등록 지시가 이루어졌다고 판단했을 경우, 카메라 CPU(101)는 스텝 S303에서 모든 필드가 널 데이터(null data)(초기 데이터)인 얼굴 사전(신규 얼굴 사전 데이터)을 카메라 1차 기억부(103)에 생성한다.
스텝 S304에서, 카메라 CPU(101)는, 스텝 S303에서 카메라 1차 기억부(103)에 생성한 신규 얼굴 사전 데이터에 대해서, 얼굴 인식 결과로서 표시되는 닉네임의 입력을 접수한다. 좀더 구체적으로, 카메라 CPU(101)는, 닉네임의 입력을 접수하는 GUI 데이터를 사용해서 생성된 화면을 카메라 표시부(107)에 표시한다. 그리고, 카메라 CPU(101)는, 유저에 의한 닉네임의 입력이 완료한 것을 나타내는 제어신호를 카메라 조작부(109)로부터 수신할 때까지 대기한다. 카메라 CPU(101)는, 카메라 조작부(109)로부터, 닉네임의 입력이 완료한 것을 나타내는 제어신호를 수신하면, 입력된 닉네임을 취득하고, 카메라 1차 기억부(103)의 신규 얼굴 사전 데이터의 닉네임(402)의 필드에 기록한다. 또한, 본 실시예의 디지털 카메라(100)에 있어서 얼굴 사전을 작성할 경우, 유저가 얼굴 인식 결과의 표시에 사용하기 위해서 닉네임(402)을 입력해야 한다.
스텝 S305에서, 카메라 CPU(101)는, 얼굴 사전에 포함시키는 대상인물의 얼굴 화상을 취득한다. 좀더 구체적으로는 카메라 CPU(101)는, 예를 들면 대상인물의 얼굴의 촬영을 유저에게 촉진시키는 메시지를 카메라 표시부(107)에 표시한다. 그리고, 카메라 CPU(101)는, 유저에 의해 촬영 지시가 이루어진 것을 나타내는 제어신호를 카메라 조작부(109)로부터 수신할 때까지 대기한다. 카메라 CPU(101)는, 촬영 지시에 대응하는 제어신호를 수신하면, 카메라 광학계(104) 및 카메라 촬상부(105)를 제어하고 촬영 처리를 실행하여 촬상 화상을 취득한다.
스텝 S306에서, 카메라 CPU(101)는, 스텝 S305에서 취득한 촬상 화상에 대하여 얼굴 검출 처리를 행해서 얼굴 영역의 화상(얼굴 화상)을 추출한다. 한층 더, 카메라 CPU(101)는, 추출한 얼굴 화상에 대해서, 얼굴영역의 특징량의 취득을 행한다. 그리고, 카메라 CPU(101)는, 얼굴 화상 데이터와 각 얼굴 화상의 특징량 데이터를, 스텝 S302에서 선택한 얼굴 사전 데이터 혹은 스텝 S303에서 작성한 신규 얼굴 사전 데이터의 얼굴 화상 정보에 기록한다.
스텝 S307에서, 카메라 CPU(101)는, 대상인물의 얼굴 사전 데이터에 포함되는 얼굴 화상 정보의 수가 최대수에 달했는지 아닌지를 판단한다. 카메라 CPU(101)는, 대상인물의 얼굴 사전 데이터에 포함되는 얼굴 화상 정보의 수가 최대수에 달했다고 판단한 경우에는, 처리를 스텝 S308로 진행시키고, 그렇지 않은 경우에는 처리가 스텝 S305로 되돌아간다.
본 실시예에서는, 1개의 얼굴 사전에 포함시키는 얼굴 화상 정보, 즉 얼굴 화상의 최대수는 5장으로 설정되어 있다. 본 카메라측 얼굴 사전 편집 처리에서는, 신규 얼굴 사전 작성 지시 혹은 기존의 얼굴 사전 편집 지시에 응답해서, 최대수의 얼굴 화상이 등록된 얼굴 사전을 출력한다. 또한, 기존 얼굴 사전 편집 지시가 이루어진 경우에는, 편집 대상의 얼굴 사전이 예를 들면 (후술하는) PC측 얼굴 사전 편집 처리에 의해 최대수 미만의 얼굴 화상으로부터 생성되면, 카메라 CPU(101)는 단순하게 얼굴 화상 정보의 추가를 행하면 된다. 그렇지만, 편집 대상의 얼굴 사전이 최대수의 얼굴 화상 정보를 가지고 있는 경우에는, 카메라 CPU(101)는 예를 들면, 스텝 S302에 있어서의 편집 대상의 얼굴 사전의 선택 후에 삭제되는 얼굴 화상의 선택을 접속하고, 스텝 S305 내지 S307의 처리에서, 삭제한 얼굴 화상의 수에 대응하는 수의 얼굴 화상 정보를 추가할 필요가 있다.
스텝 S308에서, 카메라 CPU(101)는, 대상인물의 얼굴 사전 데이터를, 카메라 스토리지(106)에 얼굴 사전 파일로서 저장한다. 이때, 카메라 CPU(101)는, 현재의 일시를 취득하고, 대상인물의 얼굴 사전 데이터의 갱신 일시(401)에 기록해서 저장한다.
<PC측 얼굴 사전 편집 처리>
다음에, 본 실시예에 따른 PC(200)의, 1사람의 대상인물에 관한 얼굴 사전을 작성 또는 편집하는 PC측 얼굴 사전 편집 처리에 대해서, 도 5의 흐름도를 사용해서 구체적으로 설명한다. 도 5의 흐름도에 대응하는 처리는, CPU(201)가, 예를 들면 2차 기억부(202)에 기억되어 있는 대응하는 처리 프로그램을 판독하고, 1차 기억부(203)에 전개해서 실행하는 것에 의해 실현될 수 있다. 또한, 본 PC측 얼굴 사전 편집 처리는, PC(200)에 있어서 기동되고 있는 화상 열람 어플리케이션에 있어서, 유저에 의해 신규 얼굴 사전 작성 지시 혹은 기존의 얼굴 사전 편집 지시가 이루어졌을 때에 개시된다는 점에 유념한다.
스텝 S501에서, CPU(201)는, 유저에 의한 신규 얼굴 사전 등록 지시 또는 기존의 얼굴 사전 편집 지시가 이루어졌는지 아닌지를 판단한다. 좀더 구체적으로는, CPU(201)는, 신규 얼굴 사전 등록 지시 혹은 기존의 얼굴 사전 편집 지시에 대응하는 제어신호를, 조작부(206)로부터 수신했는지 아닌지를 판단한다. CPU(201)는, 유저에 의해 신규 얼굴 사전 등록 지시가 이루어졌다고 판단한 경우에는, 처리를 스텝 S503로 진행시킨다. 또, CPU(201)는, 유저에 의해 기존의 얼굴 사전 편집 지시가 이루어졌다고 판단한 경우에는, 처리를 스텝 S502로 진행시킨다. 또, CPU(201)는, 유저에 의해 신규 얼굴 사전 등록 지시도 기존의 얼굴 사전 편집 지시도 이루어지지 않았다고 판단한 경우에는, 본 스텝 S501의 처리를 반복한다.
스텝 S502에서, CPU(201)는, 2차 기억부(202)에 기억되어 있는 기존의 얼굴사전 중, 편집하는 얼굴 사전의 선택 지시를 접수한다. 좀더 구체적으로는, CPU(201)는, 현재 2차 기억부(202)에 기억되어 있는 얼굴 사전의 일람을 표시부(204)에 표시하고, 유저에 의해 편집 대상의 얼굴 사전의 선택이 이루어졌다는 것을 나타내는 제어신호를 조작부(206)로부터 수신할 때까지 대기한다. 표시부(204)에 표시되는 얼굴 사전의 일람은, 예를 들면 풀 네임(403)의 문자열이나, 각 얼굴 사전에 포함되는 얼굴 화상 중의 1개의 대표 화상이 표시되는 형태이면 된다. CPU(201)는, 조작부(206)로부터 얼굴 사전의 선택에 대응하는 제어신호를 수신하면, 선택된 얼굴 사전을 나타내는 정보를 1차 기억부(203)에 기억시키고 처리를 스텝 S507로 진행시킨다.
한편, CPU(201)가 스텝 S501에서 신규 얼굴 사전 등록 지시가 이루어졌다고 판단했을 경우, CPU(201)는 스텝 S503에서 모든 필드가 널(null)인 신규 얼굴 사전 데이터를 1차 기억부(203)에 생성한다.
스텝 S504에서, CPU(201)는, 스텝 S503에서 1차 기억부(203)에 생성한 신규얼굴 사전 데이터에 대해서, PC(200)에서 작동하고 있는 화상 열람 어플리케이션의 인물명 검색에 주로 사용되는 것이 상정되는 풀 네임의 입력을 접수한다. 좀더 구체적으로, CPU(201)는, 풀 네임의 입력을 접수하는 GUI 데이터를 사용해서 생성된 화면을 표시부(204)에 표시한다. 그리고 CPU(201)는, 유저에 의한 풀 네임의 입력이 완료한 것을 나타내는 제어신호를 조작부(206)로부터 수신할 때까지 대기한다. CPU(201)는, 조작부(206)로부터 풀 네임의 입력이 완료한 것을 나타내는 제어신호를 수신하면, 입력된 풀 네임을 취득하여, 1차 기억부(203)의 신규 얼굴 사전 데이터의 풀 네임(403)의 필드에 기록한다. 또한, 본 PC측 얼굴 사전 편집 처리에서는, 유저가 디지털 카메라(100)에 있어서 입력 및 표시 가능한 문자 코드와는 다른 문자 코드에 대응하는 풀 네임의 입력을 입력해야 한다는 점에 유념해야 한다. 그렇지만, CPU(201)는 닉네임의 입력을 접수해도 된다.
또한, 스텝 S504 이후의 스텝에서, 닉네임의 입력을 접수하기 위한 UI을 표시시켜, 닉네임의 입력을 접수하게 하고 그 입력을 생략하게 해도 된다. 또한, 닉네임의 유저에 의한 입력을 생략했을 경우에, 특정한 번호를 디폴트로서 설정해도 된다.
이렇게 함으로써, 카메라에서 이 얼굴 사전을 사용할 때에, 닉네임이 표시되지 않거나, 얼굴 사전이 존재하는데도 불구하고 촬영시에 이름이 표시되지 않는 문제의 빈도를 줄일 수 있다.
스텝 S505에서, CPU(201)는, 2차 기억부(202)에 기억되어 있는 화상 중, 얼굴 사전에 등록하는 대상인물이 포함되는 화상을 취득한다. 좀더 구체적으로는, CPU(201)는, 2차 기억부(202)에 기억되어 있는 화상의 일람을 표시부(204)에 표시하고, 유저에 의해 대상인물이 포함되는 화상의 선택이 이루어졌다는 것을 나타내는 제어신호를 조작부(206)로부터 수신할 때까지 대기한다. CPU(201)는, 조작부(206)로부터 대상인물이 포함되는 화상의 선택동작에 대응하는 제어신호를 수신하면, 선택된 화상을 1차 기억부(203)에 기억시키고, 처리를 스텝 S506로 진행시킨다. 본 실시예에서는, 상술한 선택동작에 있어서 대상인물이 포함되어 있는 화상을 선택하도록 유저에게 지시한다는 점에 유념한다. 또한, 대상인물이 포함되는 적어도 한 개의 화상은, 유저에 의해서 선택되어야만 한다.
스텝 S506에서, CPU(201)는, 스텝 S505에서 선택된 대상인물이 포함되는 화상에 대하여 얼굴 검출 처리를 행해서 얼굴 화상을 추출한다. CPU(201)는, 추출한 모든 얼굴 화상에 대해서 얼굴영역의 특징량을 취득하고, 취득된 모든 특징량 데이터를 1차 기억부(203)에 기억시킨다.
스텝 S507에서, CPU(201)는, 스텝 S502에서 선택된 얼굴 사전에 포함되는 모든 특징량 데이터, 혹은 스텝 S506에서 취득한 모든 특징량 데이터를, 템플릿으로서, 사용하는 2차 기억부(202)에 기억되어 있는 화상 중에서 대상인물이 포함된다고 생각되는 화상을 추출한다. 좀더 구체적으로는, CPU(201)는, 우선 2차 기억부(202)에 기억되어 있는 화상 중 하나를 선택하고, 얼굴 검출 처리에 의해 얼굴 영역을 특정한다. 다음에, CPU(201)는, 특정한 얼굴영역과, 템플릿으로서 기능하는 모든 특징량 데이터의 각각의 유사도를 산출한다. 상기 유사도가 소정값 이상인 경우에는, 선택한 화상을 대상 인물이 포함된다고 생각되는 화상으로서 나타내는 정보를 1차 기억부(203)에 기억시킨다. CPU(201)는 선택된 화상이 2차 기억부(202)에 기억되어 있는 모든 화상에 대해서 대상인물을 포함하는지 아닌지를 판단한 후, 대상인물이 포함된다고 생각되는 화상의 일람을 표시부(204)에 표시한다.
스텝 S508에서, CPU(201)는, 표시부(204)에 표시된 대상인물이 포함된다고 생각되는 화상의 일람으로부터 유저에 의해 선택된 대상인물이 포함되는 화상을 취득한다. 좀더 구체적으로, CPU(201)는, 대상인물이 포함된다고 생각되는 화상을, 대상인물이 포함되지 않는 화상으로서 표시 일람에서 제외하는 유저에 의한 지시에 대응하는 제어신호를, 조작부(206)로부터 수신할 때까지 대기한다. CPU(201)는, 표시 일람에서 특정한 화상을 제외하는 지시에 대응하는 제어신호를 수신하면, 상기지시가 이루어진 화상을 나타내는 정보를 1차 기억부(203)로부터 삭제한다. 또, CPU(201)는, 대상인물이 포함되는 화상의 추출이 완료한 것을 나타내는 제어신호를 조작부(206)로부터 수신했을 경우에, 처리를 스텝 S509로 진행시킨다.
스텝 S509에서, CPU(201)는, 추출된 대상인물이 포함되는 화상 중에서, 대상인물의 얼굴 사전에 포함되는 화상을 결정한다. 좀더 구체적으로, CPU(201)는, 예를 들면 스텝 S507에서 산출된 유사도의 내림차순으로, 얼굴 사전 데이터에 포함시키는 얼굴 화상 정보의 최대수의 화상을, 얼굴 사전에 포함시키는 화상으로서 결정한다. CPU(201)는, 결정된 얼굴 사전에 포함시키는 화상을 나타내는 정보를 1차 기억부(203)에 기억시키고, 처리를 스텝 S510으로 진행시킨다.
스텝 S510에서, CPU(201)는, 스텝 S509에서 결정된 얼굴 사전에 포함시키는 화상의 각각에 대하여 얼굴 검출 처리를 행해서 얼굴 화상을 추출한다. 한층 더, CPU(201)는, 추출한 얼굴 화상의 각각에 대해서 얼굴 영역의 특징량의 취득을 행한다. 그리고, CPU(201)는, 얼굴 화상 데이터와 각 얼굴 화상의 특징량 데이터를, 스텝 S502에서 선택한 얼굴 사전 데이터 혹은 스텝 S503에서 작성한 신규 얼굴 사전 데이터의 얼굴 화상 정보에 기록한다.
스텝 S511에서, CPU(201)는, 대상 인물의 얼굴 사전 데이터를, 2차 기억부(202)에 얼굴 사전 파일로서 기록한다. 이때, CPU(201)는, 현재의 일시를 취득하고, 대상인물의 얼굴 사전 데이터의 갱신 일시(401)에 기록해서 기억한다.
본 실시예에서는, 이와 같이 카메라측 얼굴 사전 편집 처리 및 PC측 얼굴 사전 편집 처리를 실행함으로써, 디지털 카메라(100)와 PC(200)는, 각각 다른 문자 인코딩 방식으로 나타낸 인물명을 가지는 얼굴 사전을 새로 만들거나, 혹은 편집할 수 있다.
<촬영 처리>
이하, 본 실시예에 따른 디지털 카메라(100)의 촬상 화상의 기억을 행하는 촬영 처리에 대해서, 도 6의 흐름도를 사용해서 구체적으로 설명한다. 상기 흐름도에 대응하는 처리는, 카메라 CPU(101)가, 예를 들면 카메라 2차 기억부(102)에 기억되어 있는 대응하는 처리 프로그램을 판독하고, 카메라 1차 기억부(103)에 전개해서 실행함으로써 실현할 수 있다. 본 촬영 처리는, 예를 들면 디지털 카메라(100)가 촬영 모드에서 기동되었을 때에 개시된다는 점에 유념한다.
스텝 S601에서, 카메라 CPU(101)는, 카메라 광학계(104) 및 카메라 촬상부(105)를 제어해서 촬영동작을 행함으로써, 촬상 화상을 취득한다. 이때 취득한 촬영 화상은, (후술하는) 스텝 S604에서 카메라 표시부(107)에 표시되어서, 촬영자는 이 화상을 보면서 구도와 촬영 조건을 변경하면서, 원하는 타이밍에서 셔터 버튼을 누른다. 이 촬영 모드에서 필요에 따라 촬상부(105)가 취득하는 화상을 표시하는 처리를 "스루 화상 표시(through image display)"라고 부르고 있다.
스텝 S602에서, 카메라 CPU(101)는, 촬상 화상에 인물의 얼굴이 포함되어 있는지 아닌지를 판단한다. 좀더 구체적으로, 카메라 CPU(101)는 촬상 화상에 대하여 얼굴 검출 처리를 실행해서 얼굴 영역이 검출되었는지 아닌지를 판단한다. 카메라 CPU(101)는, 촬상 화상에 인물의 얼굴이 포함되어 있다고 판단한 경우에는, 처리를 스텝 S603로 진행시키고, 그렇지 않은 경우에는, 촬상 화상을 카메라 표시부(107)에 표시시킨 후, 처리를 스텝 S605로 진행시킨다.
스텝 S603에서, 카메라 CPU(101)는, 촬상 화상에 포함되는 모든 인물의 얼굴에 대해서, 얼굴 인식 처리를 행하고, 인물명을 특정한다. 좀더 구체적으로, 카메라 CPU(101)는, 촬상 화상에 포함되는 인물의 얼굴을 1개씩 선택하고, 각 인물의 얼굴 영역의 화상에 대해서 얼굴 인식 처리를 행한다.
(얼굴 인식 처리)
본 실시예에 따른 디지털 카메라(100)로 실행되는 얼굴 인식 처리에 대해서, 도 7의 흐름도를 참조해서 상세히 설명한다.
스텝 S701에서, 카메라 CPU(101)는, 1개의 얼굴 화상(대상 얼굴 화상)에 대해서 얼굴 영역의 특징량을 취득한다.
스텝 S702에서, 카메라 CPU(101)는, 카메라 스토리지(106)에 기억되어 있는 얼굴 사전으로부터, 아직 선택되지 않은 1개의 얼굴 사전을 선택한다. 그리고 카메라 CPU(101)는, 스텝 S701에서 취득한 대상 얼굴 화상의 특징량과, 선택한 얼굴 사전에 포함된 얼굴 화상의 특징량의 각각의 유사도를 산출한다.
스텝 S703에서, 카메라 CPU(101)는, 스텝 S702에서 산출한 유사도의 합계값이 소정값 이상인지의 여부를 판단한다. 카메라 CPU(101)는, 유사도의 합계값이 소정값 이상이라고 판단한 경우에는, 처리를 스텝 S704로 진행시키고, 그렇지 않은 경우에는, 처리를 스텝 S705로 진행시킨다.
스텝 S704에서, 카메라 CPU(101)는, 현재 선택된 얼굴 사전을 나타내는 정보를, 얼굴 인식 결과로서 카메라 1차 기억부(103)에 기억시키고, 본 얼굴 인식 처리를 완료한다.
한편, 카메라 CPU(101)는 스텝 S703에서 유사도의 합계값이 소정값 미만이라고 판단했을 경우, 아직 선택되지 않은 얼굴 사전이 카메라 스토리지(106)에 존재하는지 아닌지를 판단한다. 카메라 CPU(101)는, 스텝 S705에서, 아직 선택되지 않은 얼굴 사전이 카메라 스토리지(106)에 존재한다고 판단한 경우에는, 처리를 스텝 S702로 되돌리고, 그렇지 않은 경우에는 처리를 스텝 S706로 진행시킨다.
스텝 S706에서, 카메라 CPU(101)는, 얼굴 인식을 할 수 없었다는 것을 나타내는 정보를, 얼굴 인식 결과로서 카메라 1차 기억부(103)에 기억시키고, 본 얼굴 인식 처리를 완료한다.
이렇게 해서 얼굴 인식 처리를 실행한 후, 카메라 CPU(101)는 처리를 스텝 S604로 진행시킨다.
스텝 S604에서, 카메라 CPU(101)는, 촬상 화상을 뷰파인더인 카메라 표시부(107)에 스루 화상(through image)으로서 표시한다. 이때, 카메라 CPU(101)는, 카메라 1차 기억부(103)에 기억되어 있는 얼굴 인식 결과를 참조하여, 상기 얼굴 인식 결과에 의존해서 카메라 표시부(107)에 표시된 내용을 변경한다. 좀더 구체적으로, 카메라 CPU(101)는, 얼굴 인식 결과로서 얼굴 사전을 나타내는 정보가 카메라 1차 기억부(103)에 기억되어 있는 경우에는, 대응하는 인물의 얼굴영역의 주변에 프레임을 표시한다. 그리고, 카메라 CPU(101)는, 상기 얼굴 사전에 포함되는 닉네임(402)의 인물명의 문자열 화상도 스루 화상 위에 중첩해서 카메라 표시부(107)에 표시한다. 그렇지만, 카메라 CPU(101)는, 얼굴 인식 결과로서 얼굴 인식을 할 수 없다는 것을 나타내는 정보가 기억되어 있는 경우에는, 프레임이나 이름의 화상을 중첩하는 않고 촬상 화상을 카메라 표시부(107)에 표시한다.
스텝 S605에서, 카메라 CPU(101)는, 유저에 의해 촬상 화상의 기억 지시가 이루어졌는지 아닌지를 판단한다. 좀더 구체적으로, 카메라 CPU(101)는, 기억 지시에 대응하는 제어신호를 카메라 조작부(109)로부터 수신했는지 아닌지를 판단한다. 카메라 CPU(101)는, 유저에 의해 촬상 화상의 기억 지시가 이루어졌다고 판단한 경우에는, 처리를 스텝 S606로 진행시키고, 그렇지 않은 경우에는, 처리를 스텝 S601로 되돌린다.
스텝 S606에서, 카메라 CPU(101)는, 스텝 S601과 마찬가지로, 새로운 촬상 화상을 취득하고, 취득된 화상을 기억용의 화상으로서 카메라 1차 기억부(103)에 기억시킨다.
스텝 S607에서, 카메라 CPU(101)는, 스텝 S602와 마찬가지로, 기억용의 화상에 인물의 얼굴이 포함되어 있는지 아닌지를 판단한다. 카메라 CPU(101)는, 기억용의 화상에 인물의 얼굴이 포함되어 있다고 판단한 경우에는, 처리를 스텝 S608로 진행시키고, 그렇지 않은 경우에는, 처리를 스텝 S610로 진행시킨다.
스텝 S608에서, 카메라 CPU(101)는, 기억용의 화상에 포함되는 모든 인물의 얼굴에 대해서 얼굴 인식 처리를 행하여, 각 인물의 얼굴에 대응하는 인물명을 특정한다.
스텝 S609에서, 카메라 CPU(101)는, 기억용의 화상에 포함되는 얼굴의 각각에 관한 얼굴 인식 결과를 참조하여, 얼굴 사전을 나타내는 정보가 기억되어 있는 경우에는, 상기 얼굴 사전에 포함되는 인물명을, 메타데이터로서 포함하고, 기억용의 화상을 화상 파일로서 카메라 스토리지(106)에 기억한다.
이때, 카메라 CPU(101)는, 얼굴 인식 결과로서 기억된 얼굴 사전의 닉네임(402) 및 풀 네임(403)의 각 필드에 인물명이 입력되어 있는지 아닌지를 판단한다. 카메라 CPU(101)는 각 필드에 인물명이 입력되어 있었다고 판단한 경우에는, 이 필드의 정보를 메타데이터로서 포함시켜서 화상 파일을 기억한다. 다시 말해, 유저에 의해 촬상 화상의 기억 지시가 이루어졌을 경우, 카메라 CPU(101)는, 화상에 포함되는 인물의 얼굴 인식 결과에 대응하는 얼굴 사전에 있어서의 화상에 대해서 화상에 포함되는 모든 인물명의 정보를 기억한다.
카메라 CPU(101)는 스텝 S607에서 기억용의 화상에 인물의 얼굴이 포함되어 있지 않다고 판단했을 경우, 스텝 S610에서, 메타데이터로서 인물명을 포함시키지 않고 기억용의 화상을 화상 파일로서 기억한다.
이와 같이, 본 실시예의 디지털 카메라(100)에서는, 기억하는 촬상 화상에 대한 얼굴 인식 처리의 결과로서 특정된 인물에 대한 얼굴 사전에 제2의 인물명이 포함되어 있는 경우에는, 이 화상이 상기 제2의 인물명과 관련지어서 기억될 수 있다.
<인물 화상 검색 처리>
다음에, 본 실시예에 따른 PC(200)의, 대상인물이 포함되는 화상을 검색하는 인물 화상 검색 처리에 대해서, 도 8의 흐름도를 참조해서 구체적으로 설명한다. 상기 흐름도에 대응하는 처리는, CPU(201)가, 예를 들면 2차 기억부(202)에 기억되어 있는 대응하는 처리 프로그램을 판독하여, 1차 기억부(203)에 전개해서 실행하는 것에 의해 실현될 수 있다. 본 인물 화상 검색 처리는, PC(200)에서 기동되고 있는 화상 열람 어플리케이션에 있어서 유저에 의해 화상의 인물명 검색이 이루어질 때에 개시된다는 점에 유념한다.
본 실시예에서는, 화상 열람 어플리케이션에 있어서의 인물명 검색 방법으로서, 유저에 의해 선택된 인물명에 대해서 2차 기억부(202)에 기억되어 있는 모든 얼굴 사전에 포함되는 인물명의 일람의 검색을 행하는 방법에 대해서 설명한다.
스텝 S801에서, CPU(201)는, 유저에 의해 선택된 인물명에 대응하는 얼굴 사전을 취득한다. 좀더 구체적으로, CPU(201)는, 2차 기억부(202)에 기억되어 있는 얼굴 사전의 모두에 대해서, 닉네임(402), 풀 네임(403), 및 얼굴 상세 정보(404)의 각 필드를 참조하여, 선택된 인물명이 포함되는 얼굴 사전(대상 얼굴 사전)을 취득한다.
스텝 S802에서, CPU(201)는, 2차 기억부(202)에 기억되어 있는 화상으로부터 아직 선택되지 않은 화상(선택 화상)을 선택한다.
스텝 S803에서, CPU(201)는, 선택 화상의 메타데이터를 참조하여, 이 메타데이터에 인물명이 포함되어 있는지 아닌지를 판단한다. CPU(201)는, 선택 화상의 메타데이터에 인물명이 포함되어 있다고 판단한 경우에는, 처리를 스텝 S804로 진행시키고, 그렇지 않은 경우에는, 처리를 스텝 S807로 진행시킨다.
스텝 S804에서, CPU(201)는, 선택 화상의 메타데이터에 포함되는 인물명과, 대상 얼굴 사전의 닉네임(402) 또는 풀 네임(403)에 포함되는 인물명이 일치하는지 아닌지를 판단한다. CPU(201)는, 선택 화상의 메타데이터에 포함되는 인물명이, 대상 얼굴 사전에 포함되는 닉네임 혹은 풀 네임과 일치한다고 판단한 경우에는, 처리를 스텝 S805로 진행시키고, 그렇지 않은 경우에는, 처리를 스텝 S806로 진행시킨다.
스텝 S805에서, CPU(201)는, 선택 화상을 대상 인물의 얼굴이 포함되어 있는 화상으로서, 화상 열람 어플리케이션의 GUI에 있어서의, "검색 결과(확정)"의 에어리어 내의 표시 일람에 추가하고, 이 화상을 카메라 표시부(107)에 표시시킨다.
스텝 S806에서, CPU(201)는, 2차 기억부(202)에 아직 선택되지 않은 화상이 존재하는지 아닌지를 판단한다. CPU(201)는, 아직 선택되지 않은 화상이 2차 기억부(202)에 존재한다고 판단한 경우에는, 처리를 스텝 S802로 되돌리고, 그렇지 않은 경우에는, 본 인물 화상 검색 처리를 완료한다.
한편, CPU(201)는 스텝 S803에서, 선택 화상의 메타데이터에 인물명이 포함되어 있지 않다고 판단했을 경우, 선택 화상에 인물의 얼굴이 포함되어 있는지 아닌지를 판단한다. 좀더 구체적으로, CPU(201)는, 선택 화상에 대하여 얼굴 검출 처리를 실행해서 얼굴영역이 검출되는지 아닌지를 판단한다. CPU(201)는, 스텝 S807에서, 선택 화상에 인물의 얼굴이 포함되어 있다고 판단한 경우에는, 처리를 스텝 S808로 진행시키고, 그렇지 않은 경우에는 처리를 스텝 S806로 진행시킨다.
스텝 S808에서, CPU(201)는, 선택 화상에 포함되는 모든 인물의 얼굴과 대상 얼굴 사전에 포함되는 얼굴 화상과의 유사도를 산출한다. 좀더 구체적으로, CPU(201)는 우선, 선택 화상에 포함되는 모든 인물의 얼굴의 각각에 대해서 얼굴 영역의 특징량을 취득한다. 그리고 CPU(201)는, 대상 얼굴 사전에 포함되는 얼굴 화상 정보를 1개씩 판독하고, 상기 얼굴 화상 정보에 포함되는 특징량과, 선택 화상에 포함되는 얼굴 영역의 특징량과의 유사도를 산출한다.
스텝 S809에서, CPU(201)는, 스텝 S808에서 산출한 유사도의 합계값이 소정값 이상인지의 여부를 판단한다. CPU(201)는, 유사도의 합계값이 소정값 이상이라고 판단한 경우에는, 처리를 스텝 S810로 진행시키고, 그렇지 않은 경우에는 처리를 스텝 S806로 진행시킨다.
스텝 S810에서, CPU(201)는, 선택 화상을, 대상 인물의 얼굴이 포함되어 있다고 생각되는 화상으로서, 화상 열람 어플리케이션의 GUI에 있어서의, "검색 결과(후보)"의 에어리어 내의 표시 일람에 추가하고, 이 화상을 카메라 표시부(107)에 표시시킨다.
이렇게 해서, 본 실시예의 PC(200)에서 기동하고 있는 화상 열람 어플리케이션에서는, 인물명에 의한 화상 검색을 행했을 경우에, 상기 인물명과 관련되어 있는 화상과, 상기 인물명에 대응하는 인물이 포함된다고 생각되는 화상을 분류해서 표시할 수 있다.
또한, 본 인물 화상 검색 처리에 의해, "검색 결과(후보)"의 에어리어에 분류된 화상에 대해서는, 유저에게, 정말로 그 화상에 대상 인물의 얼굴이 포함되는지 아닌지를 판단하게 하기 위해서, 예를 들면 "콜렉트(correct)" 및 "인콜렉트(incorrect)" 마크 버튼을 이 화상과 함께 표시한다. 이것에 의해 예를 들면, "콜렉트" 마크를 선택함으로써 대상 인물이 후보가 아니라 동일 인물이라고 확정하고, "인콜렉트" 마크를 선택함으로써 다른 인물이라고 확정하는 조작을 실현한다. 대상 인물을 확실히 동일 인물이라고 확정하는 조작을 접수했을 경우에는, 그 화상의 메타데이터에, 대상 인물의 인물명을 기억시키면 된다. 또한, CPU(201)는, 검색 결과(후보)의 표시 일람에 포함되는 화상 중에서 유저에 의한 대상 인물의 얼굴이 포함되지 않은 화상의 삭제가 행해진 후에, 나머지의 화상에 대상 얼굴 사전에 포함되는 모든 인물명을, 메타데이터에 포함시켜도 된다.
각 화상의 메타데이터에 얼굴 사전에 포함되는 인물명을 기억시킨 후에는, 대응하는 화상이 그후에 동일 인물의 인물명을 이용해서 검색을 행했을 경우에, "검색 결과(확정)"의 에어리어에 표시된다.
<접속시 처리>
다음에, 본 실시예에 따른 PC(200)의, 디지털 카메라(100)와 PC(200)와의 사이에서 얼굴 사전을 공유하는 접속시 처리에 대해서, 도 9의 흐름도를 사용해서 구체적으로 설명한다. 상기 흐름도에 대응하는 처리는, CPU(201)가, 예를 들면 2차 기억부(202)에 기억되어 있는 대응하는 처리 프로그램을 판독하여, 1차 기억부(203)에 전개해서 실행하는 것에 의해 실현될 수 있다. 본 접속시 처리는, 예를 들면 PC(200)에 있어서 화상 열람 어플리케이션이 기동되고 있는 상태에서 디지털 카메라(100)와 PC(200)가 접속되었을 때에 개시된다는 점에 유념한다.
스텝 S901에서, CPU(201)는, 통신부(205)를 거쳐서 디지털 카메라(100)의 카메라 스토리지(106)에 기억되어 있는 모든 얼굴 사전을 취득하고, 1차 기억부(203)에 기억시킨다.
스텝 S902에서, CPU(201)는, 스텝 S901에서 1차 기억부(203)에 기억된 얼굴 사전으로부터, 아직 선택되지 않은 얼굴 사전(대상 얼굴 사전)을 선택한다.
스텝 S903에서, CPU(201)는, 대상 얼굴 사전에 특정된 인물에 관한 얼굴 사전이 2차 기억부(202)에 기억되어 있는지 아닌지를 판단한다.
(동일 얼굴 사전 판단 처리)
여기에서는, 대상 얼굴 사전에 특정된 인물에 관한 얼굴 사전이 2차 기억부(202)에 기억되어 있는지 아닌지를 판단하는, 본 실시예의 동일 얼굴 사전 판단 처리에 대해서 도 10의 흐름도를 사용해서 상세하게 설명한다.
스텝 S1001에서, CPU(201)는, 대상 얼굴 사전의 닉네임(402) 및 풀 네임(403)의 필드의 정보를 취득한다.
스텝 S1002에서, CPU(201)는, 대상 얼굴 사전과 동일한 닉네임(402) 및 풀 네임(403)을 가지는 얼굴 사전이 2차 기억부(202)에 기억되어 있는지 아닌지를 판단한다. CPU(201)는, 대상 얼굴 사전과 동일한 닉네임(402) 및 풀 네임(403)을 가지는 얼굴 사전이 2차 기억부(202)에 기억되어 있다고 판단한 경우에는, 처리를 스텝 S1003로 진행시키고, 그렇지 않은 경우에는, 처리를 스텝 S1004로 진행시킨다.
스텝 S1003에서, CPU(201)는, 대상 얼굴 사전과 동일한 닉네임(402) 및 풀 네임(403)을 가지는 얼굴 사전을 나타내는 정보를, 판단 결과로서 1차 기억부(203)에 기억시키고, 본 동일 얼굴 사전 판단 처리를 완료한다.
스텝 S1004에서, CPU(201)는, 대상 얼굴 사전에 특정된 인물에 관한 얼굴 사전이 2차 기억부(202)에 기억되어 있지 않다는 것을 나타내는 정보를, 판단 결과로서 1차 기억부(203)에 기억시키고, 본 동일 얼굴 사전 판단 처리를 완료한다.
CPU(201)는, 동일 얼굴 사전 판단 처리를 실행해서 얻은 판단 결과를 참조하고, 상기 판단 결과가, 대상 얼굴 사전에 특정된 인물에 대한 얼굴 사전이 2차 기억부(202)에 기억되어 있지 않다는 것을 나타내는 정보인 것을 확인한 경우에는, 처리를 스텝 S904로 진행시킨다. 이것은, 대상 얼굴 사전이, 디지털 카메라(100)로 작성한 후에 아직 PC(200)에 전송되지 않은 얼굴 사전, 혹은 PC(200)의 2차 기억부(202)로부터 삭제된 얼굴 사전 중 하나인 것을 의미한다.
그렇지만, CPU(201)는, 상기 판단 결과가 특정한 얼굴 사전을 나타내는 정보인 것을 확인한 경우에는, 대상 얼굴 사전에 특정된 인물에 관한 얼굴 사전이 2차 기억부(202)에 기억되어 있다고 판단하고, 처리를 스텝 S908로 진행시킨다.
스텝 S904에서, CPU(201)는, 대상 얼굴 사전의 풀 네임(403)이 널 데이터(초기 데이터)라고 판단한다. CPU(201)가, 대상 얼굴 사전의 풀 네임(403)이 널 데이터라고 판단한 경우에는, 처리를 스텝 S905로 진행시키고, 그렇지 않은 경우에는 처리를 스텝 S907로 진행시킨다.
스텝 S905에서, CPU(201)는, 대상 얼굴 사전에 대해서 풀 네임의 입력을 접수한다. 좀더 구체적으로, CPU(201)는, 풀 네임의 입력을 접수하는 GUI 데이터를 사용해서 생성한 화면을 표시부(204)에 표시시킨다. 그리고, CPU(201)는, 유저에 의한 풀 네임의 입력이 완료한 것을 나타내는 제어신호를 조작부(206)로부터 수신할 때까지 대기한다. CPU(201)는, 조작부(206)로부터, 풀 네임의 입력이 완료한 것을 나타내는 제어신호를 수신하면, 입력된 풀 네임을 취득하여, 대상 얼굴 사전의 풀 네임(403)의 필드에 기록한다. 이때, CPU(201)는, 현재의 일시를 취득하여, 대상 얼굴 사전의 갱신 일시(401)의 필드에 기록한다.
스텝 S906에서, CPU(201)는, 풀 네임이 기록된 대상 얼굴 사전을, 통신부(205)를 거쳐서 카메라 스토리지(106)에 기억시킨다. 이때, CPU(201)는 카메라 스토리지(106)에 기억되어 있었던 풀 네임이 없는 대상 얼굴 사전을 갱신 혹은 삭제해서 신규 대상 얼굴 사전을 기억시킨다. 다시 말해, 본 스텝 S906에서, 디지털 카메라(100)에 의해 작성된 얼굴 사전에는, 유저에 의해 설정된 풀 네임이 추가된다. 이 때문에, 디지털 카메라(100)에 의해 기억된 촬상 화상 중, 대상 얼굴 사전에 특정된 인물의 얼굴이 포함되는 촬상 화상과는, 닉네임뿐만 아니라 풀 네임도 관련될 수 있다.
스텝 S907에서, CPU(201)는, 대상 얼굴 사전을 1차 기억부(203)로부터 2차 기억부(202)로 이동해서 2차 기억부(202)에 기억시킨다. 이것은, 스텝 S907에서, 디지털 카메라(100)에 의해 작성된 얼굴 사전은, 풀 네임을 기록한 뒤에, 화상 열람 어플리케이션이 관리하는 얼굴 사전으로서 2차 기억부(202)에 기억된다는 것을 의미한다.
한편, CPU(201)는 스텝 S903에서 대상 얼굴 사전에 특정된 인물에 관한 얼굴 사전이 2차 기억부(202)에 기억되어 있다고 판단한 경우, 스텝 S908에서, 동일 얼굴 사전 판단 처리에 의해 특정된 대응하는 얼굴 사전과 대상 얼굴 사전의 갱신 일시(401)를 비교한다. 이때, 대상 얼굴 사전의 갱신 일시가 더 최근인 경우, CPU(201)는 대상 얼굴 사전을 사용해서 2차 기억부(202)에 기억되어 있는 대응하는 얼굴 사전을 갱신한다. 그렇지만, 대응하는 얼굴 사전의 갱신 일시가 더 최근인 경우에는, CPU(201)는 이 얼굴 사전을 통신부(205)를 거쳐서 카메라 스토리지(106)에 전송하고, 카메라 스토리지(106)에 기억되어 있는 대상 얼굴 사전을 갱신한다.
스텝 S909에서, CPU(201)는, 대상 얼굴 사전으로서 아직 선택되지 않은 얼굴 사전이 1차 기억부(203)에 존재하는지 아닌지를 판단한다. CPU(201)는, 아직 선택되지 않은 얼굴 사전이 1차 기억부(203)에 존재한다고 판단한 경우에는, 처리를 스텝 S902로 되돌리고, 그렇지 않은 경우에는, 처리를 스텝 S910로 진행시킨다.
스텝 S910에서, CPU(201)는, 디지털 카메라(100)의 카메라 스토리지(106)에는 기억되어 있지 않고, PC(200)의 2차 기억부(202)에만 기억되어 있는 얼굴 사전이 존재하는지 아닌지를 판단한다. 좀더 구체적으로, CPU(201)는, 스텝 S901에서 디지털 카메라(100)의 카메라 스토리지(106)로부터 취득한 모든 얼굴 사전에 대해서 동일 얼굴 사전 판단 처리를 실행한 결과, 대응하는 얼굴 사전으로서 선택되지 않은 얼굴 사전이 존재하는지 아닌지를 판단한다. CPU(201)는, PC(200)의 2차 기억부(202)에만 기억된 얼굴 사전이 존재한다고 판단한 경우에는, 처리를 스텝 S911로 진행시키고, 그렇지 않은 경우에는, 본 접속시 처리를 완료한다.
스텝 S911에서, CPU(201)는, 2차 기억부(202)에만 기억된 얼굴 사전 중, 아직 선택되지 않은 얼굴 사전을 대상 얼굴 사전으로서 선택한다.
스텝 S912에서, CPU(201)는, 대상 얼굴 사전의 닉네임(402)이 널 데이터(null data)인지의 여부를 판단한다. CPU(201)는, 대상 얼굴 사전의 닉네임(402)이 널 데이터라고 판단한 경우에는, 처리를 스텝 S913로 진행시키고, 그렇지 않은 경우에는, 처리를 스텝 S914로 진행시킨다.
스텝 S913에서, CPU(201)는, 대상 얼굴 사전에 대해서 닉네임의 입력을 접수한다. 좀더 구체적으로, CPU(201)는, 닉네임의 입력을 접수하는 GUI 데이터를 사용해서 생성한 화면을 표시부(204)에 표시시킨다. 그리고 CPU(201)는, 유저에 의한 닉네임의 입력이 완료한 것을 나타내는 제어신호를 조작부(206)로부터 수신할 때까지 대기한다. CPU(201)는, 조작부(206)로부터, 풀 네임의 입력이 완료한 것을 나타내는 제어신호를 수신하면, 입력된 닉네임을 취득하여, 대상 얼굴 사전의 닉네임(402)의 필드에 기록한다. 이때, CPU(201)는, 현재의 일시를 취득하여, 대상 얼굴 사전의 갱신 일시(401)의 필드에 기록한다.
스텝 S914에서, CPU(201)는, 대상 얼굴 사전을 통신부(205)를 거쳐서 전송하여, 디지털 카메라(100)의 카메라 스토리지(106)에 기억시킨다. 이것은, 스텝 S914에서, PC(200)에 의해 작성된 얼굴 사전이, 얼굴 인식 처리에 사용하는 얼굴 사전으로서 디지털 카메라(100)의 카메라 스토리지(106)에 기억되어 있는 것을 의미한다.
스텝 S915에서, CPU(201)는, 아직 대상 얼굴 사전으로서 선택되지 않고, 2차 기억부(202)에만 기억되는 얼굴 사전이 존재하는지 아닌지를 판단한다. CPU(201)는, 아직 대상 얼굴 사전으로서 선택되지 않고, 2차 기억부(202)에만 기억되는 얼굴 사전이 존재한다고 판단한 경우에는, 처리를 S911로 되돌리고, 그렇지 않은 경우에는, 본 접속시 처리를 완료한다.
이와 같이 함으로써, 디지털 카메라(100)와 PC(200)를 접속했을 때에, 각각의 기기에만 기억되어 있는 얼굴 사전을 공유하는 것과 동시에, 서로의 얼굴 사전을 최신의 상태로 갱신할 수 있다.
이상 설명한 바와 같이, 본 실시예의 촬상장치는, 유저의 시인성을 확보한 얼굴 인식 결과의 표시, 및 유연한 인물명 검색에 대응하는 화상의 기억 중 적어도 중 하나를 달성할 수 있다. 좀더 구체적으로, 촬상장치는, 촬상장치에 있어서 입력 및 표시 가능한 제1의 문자코드에 대응한 제1의 인물명과, 제1의 문자코드와는 다른 제2의 문자코드에 대응한 제2의 인물명을 각각 갖는 등록된 각 인물에 대한 얼굴 인식용 데이터를 사용해서 얼굴 인식 처리를 행한다. 촬상장치는, 작성하는 얼굴 인식용 데이터에 포함시키는 얼굴 화상을 취득하면, 취득된 얼굴 화상에 대응하는 제1의 인물명의 입력을 접수하고, 얼굴 화상 혹은 상기 얼굴 화상의 특징량과 제1의 인물명을 관련지어서 얼굴 인식용 데이터를 생성해서 기억한다. 또, 촬상장치는, 촬상 화상에 대하여, 기억된 얼굴 인식용 데이터를 사용해서 얼굴 인식 처리를 행하고, 상기 촬상 화상에 포함되는 특정된 인물에 대응하는 제1의 인물명을, 촬상 화상과 관련지어서 기억한다. 이때, 촬상장치는, 특정된 인물에 대응하는 얼굴 인식용 데이터와 제2의 인물명이 관련되어 있을 때, 상기 제2의 인물명을 촬상화상과 관련지어서 기억한다.
[제1의 변형 예]
전술한 실시예에서는, 동일 얼굴 사전 판단 처리에 있어서, 서로 다른 얼굴 사전에 있어서의 닉네임 및 풀 네임의 양쪽이 서로 일치하는지 아닌지에 근거하여, 대상 얼굴 사전에 특정된 인물에 관한 얼굴 사전이 2차 기억부(202)에 기억되어 있는지 아닌지를 판단한다. 그렇지만, 이 방법에서는, 닉네임 및 풀 네임이 동일한 서로 다른 인물, 즉 동성동명의 인물이 존재하는 경우에는, 서로 다른 얼굴 사전이 동일한 인물을 나타내는 것이라고 오인식되거나, 또는 한 인물의 얼굴 사전을 또 다른 인물의 얼굴 사전을 이용해서 갱신해버리는 경우가 있을 수 있다. 본 변형 예에서는, 닉네임 및 풀 네임이 동일한 서로 다른 인물, 즉 동성동명의 인물이 존재하는 경우에도, 대응가능한 동일 얼굴 사전 판단 처리에 관하여 설명한다.
<동일 얼굴 사전 판단 처리>
이하, 도 11에 나타낸 흐름도를 참조하여 본 변형 예에 따른 동일 얼굴 사전판단 처리에 관해서 설명한다. 또한, 본 변형 예의 동일 얼굴 사전 판단 처리에 있어서, 전술한 실시와 같이 동일한 처리를 행하는 스텝에 관해서는 동일한 참조 부호를 부착해서 설명을 생략하고, 본 변형 예에 특징적인 처리를 행하는 스텝에 대해서만 설명한다.
CPU(201)는 스텝 S1002에 있어서 대상 얼굴 사전과 동일한 닉네임(402) 및 풀 네임(403)을 가지는 얼굴 사전이 2차 기억부(202)에 기억되어 있다고 판단했을 경우, 처리를 스텝 S1101로 진행시킨다.
스텝 S1101에서, CPU(201)는, 대상 얼굴 사전에 포함되는 모든 얼굴 화상의 특징량과, 대상 얼굴 사전과 동일한 닉네임(402) 및 풀 네임(403)을 가지는 얼굴 사전에 포함되는 모든 얼굴 화상의 특징량과의 유사도를 산출한다.
스텝 S1102에서, CPU(201)는, 스텝 S1101에서 산출한 유사도의 합계값이 소정값 이상인지 아닌지를 판단한다. CPU(201)는, 유사도의 합계값이 소정값 이상이라고 판단한 경우에는, 처리를 스텝 S1003에 진행시키고, 그렇지 않은 경우에는, 처리를 스텝 S1004로 진행시킨다.
이와 같이 함으로써, 동성동명의 서로 다른 인물에 대한 얼굴 사전이 존재했을 경우에도, 상기 얼굴 사전을 갱신에 의해 소실하는 일없이, 관리할 수 있다.
[제2의 변형 예]
또, 전술한 실시예 또는 제1의 변형 예에서는, 얼굴 사전에는 제1의 인물명인 닉네임과 제2의 인물명인 풀 네임이, 각각 1종류씩 포함되어 있다. 그렇지만, 자유도가 높은, 인물명을 이용해서 화상 검색을 실현하기 위해서, 복수의 제2의 인물명을 사용해도 된다. 이 경우, 접속시 처리에 있어서 디지털 카메라(100) 및 PC(200)에 기억되어 있는 동일한 인물에 관한 얼굴 사전을, 갱신 일시에 따라 어느 쪽인가의 얼굴 사전을 이용해서 갱신했을 경우에, 제2의 인물명이 소실해버릴 가능성이 있다.
예를 들면, 동일한 인물에 관한 얼굴 사전을 디지털 카메라(100)와 PC(200)와의 사이에서 공유하고, PC(200)에 있어서 PC측의 얼굴 사전에 제2의 인물명이 추가되며, 디지털 카메라에 있어서 카메라측의 얼굴 사전에 새로운 얼굴 화상이 추가된 경우를 생각한다. 이때, 카메라 얼굴 사전의 갱신 일시가 더 최근이기 때문에, CPU(201)는, 디지털 카메라(100)와 PC(200)가 서로 접속되었을 때, 카메라측의 얼굴 사전을 이용해서 PC측의 얼굴 사전을 갱신한다. 이때, PC측의 얼굴 사전에 추가된 제2의 인물명은 갱신에 의해 소실한다.
본 변형 예에서는, 얼굴 사전에 복수의 풀 네임을 포함시킬 수 있을 경우에 대해서, 접속시 처리에서 행하는 인물명 머지 처리에 관하여 설명한다.
<인물명 머지 처리>
이하, 도 12의 흐름도를 사용하여, 본 변형 예의 인물명 머지 처리에 관하여 설명한다. 또한, 본 인물명 머지 처리는, 예를 들면 접속시 처리의 스텝 S908에서 얼굴 사전의 갱신이 이루어지기 전의, 갱신 일시의 비교시에 실행된다는 점에 유념한다.
스텝 S1201에서, CPU(201)는, 동일 얼굴 사전 판단 처리에 의해 특정된 대응하는 얼굴 사전과 대상 얼굴 사전의 갱신 일시(401)를 비교하여, 갱신 일시가 다른 것보다 더 최근인 얼굴 사전(갱신 얼굴 사전)을 특정한다.
스텝 S1202에서, CPU(201)는, 갱신 일시가 더 오래된 얼굴 사전(피갱신 얼굴 사전)에 포함되어 있으며, 갱신 얼굴 사전에는 포함되어 있지 않은 제2의 인물명이 존재하는지 아닌지를 판단한다. 좀더 구체적으로, CPU(201)는, 갱신 얼굴 사전의 풀 네임(403)과 피갱신 얼굴 사전의 풀 네임(403)을 비교하여, 갱신 얼굴 사전에 포함되지 않은 제2의 인물명이 존재하는지 아닌지를 판단한다. CPU(201)는, 피갱신 얼굴 사전에 갱신 얼굴 사전에 포함되지 않은 제2의 인물명이 포함되어 있다고 판단한 경우에는, 처리를 S1203로 진행시키고, 그렇지 않은 경우에는, 본 인물명 머지 처리를 완료한다.
스텝 S1203에서, CPU(201)는, 피갱신 얼굴 사전에는 포함되며, 갱신 얼굴 사전에는 포함되지 않는 제2의 인물명을 취득하여, 갱신 얼굴 사전의 풀 네임(403)의 필드에 기록한다. 또, 이때, CPU(201)는, 현재의 일시를 취득하여, 갱신 얼굴 사전의 갱신 일시(401)의 필드에 기록한다.
이렇게 함으로써, 얼굴 사전에 복수의 제2의 인물명을 포함시킬 수 있을 경우에도, 제2의 인물명의 소실을 발생시키지 않고 얼굴 사전의 갱신을 행할 수 있다.
또한, 본 변형 예에서는, 피갱신 얼굴 사전이 갱신 얼굴 사전에 포함되지 않는, 제2의 인물명을 포함하지만, 제1의 인물명에 같은 것을 적용한다. 이 경우, 동일 얼굴 사전 판단 처리에 있어서는, 디지털 카메라(100)와 PC(200) 양쪽에 동일한 인물의 얼굴 사전이 기억되어 있는지 아닌지를, 동일한 제1의 인물명 및 동일한 제2의 인물명 중의 적어도 하나가 이 얼굴 사전에 기억되어 있는지 아닌지에 의거해서 판단한다.
[제3의 변형 예]
전술한 접속시 처리에서는, CPU(201)는 PC(200)에 접속된 촬상장치에, 상기 촬상장치에 기억되지 않는 얼굴 사전을 전송한다. 그렇지만, 예를 들어, 또 다른 인물의 촬상장치가 PC(200)에 접속되었을 경우에는, 얼굴 사전과 그것에 포함되는 얼굴 화상을 이 인물의 촬상장치에 전송하는 것은, 유저에 따라서는 바람직하지 않은 경우가 있다.
이 때문에, CPU(201)는, 얼굴 사전이 PC(200)에 저장되기 전에, 상기 얼굴 사전을 작성한 촬상장치 이외의 촬상장치에의 얼굴 사전의 전송동작을 허가하는지 아닌지를 유저에 문의해도 된다. 유저가 이 전송동작을 허가하는지 아닌지를 나타내는 정보는, 예를 들면 2차 기억부(202)에 기억되는 얼굴 사전과 관련되어 있으면 된다. 이 경우, 얼굴 사전을 작성한 촬상장치의 정보로서, 상기 촬상장치의 USB ID(vendor ID 및 프로덕트 ID)가 함께 얼굴 사전과 관련되어 있으면 된다.
[제4의 변형 예]
또한, 유저의 시인성을 확보한 얼굴 인식 결과의 표시, 및 유연한 인물명 검색에 대응하는 화상의 저장은, 전술한 실시예 및 변형 예 이외의 기술을 이용해서도 실현 가능하다. 이것은 예를 들면, 간단한 얼굴 인식 결과의 표시에 사용하기 위해서 등록하는 제1의 인물명에 관해서는 최대 데이터 길이(제1의 최대 데이터 길이)를 제한하고, 자유도가 높은 인물명을 이용한 검색을 위한 제2의 인물명에 대해서는 제1의 최대 데이터 길이 이외의 제2의 최대 데이터 길이를 설정함으로써도 달성할 수 있다.
[그 외의 실시예]
본 발명의 국면들은, 상술한 실시 예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시 예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.
본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims (11)

  1. 얼굴 화상에 대응하는 인물의 인식에 사용되는 얼굴 인식 데이터를 관리하고, 상기 얼굴 인식 데이터는 등록되어 있는 인물마다 상기 얼굴 화상의 특징량, 제1의 인물명, 및 상기 제1의 인물명과는 다른 제2의 인물명을 서로 관련지어서 관리하는, 관리 유닛과,
    상기 얼굴 인식 데이터로 관리되는 상기 특징량을 사용하여, 촬영 화상에 포함되는 얼굴 화상에 대응하는 인물을 특정하는 얼굴 인식 유닛과,
    상기 얼굴 인식 유닛에 의해 특정된 인물에 대한 상기 제2의 인물명을, 상기 촬영 화상과 관련지어서 스토리지에 기억시키는 기억 유닛과,
    상기 스토리지에 기억되어 있는 화상을 판독하고, 상기 판독한 화상과 관련된 상기 제2의 인물명을 표시하지 않고, 상기 판독한 화상을, 상기 얼굴 인식 데이터로 관리되며 상기 판독한 화상과 관련된 상기 제2의 인물명에 대응하는 상기 제 1의 인물명과 함께 표시 유닛에 표시하는 표시 제어 유닛을 구비하는, 촬상장치.
  2. 얼굴 화상에 대응하는 인물의 인식에 사용되는 얼굴 인식 데이터를 관리하고, 상기 얼굴 인식 데이터는 등록되어 있는 인물마다 상기 얼굴 화상의 특징량, 제1의 인물명, 및 상기 제1의 인물명과는 다른 제2의 인물명을 관리하는, 관리 유닛과,
    상기 얼굴 인식 데이터로 관리되는 상기 특징량을 사용하여, 촬상 유닛으로부터 출력된 스루 화상(through image)에 포함되는 얼굴 화상에 대응하는 인물을 특정하는 얼굴 인식 유닛과,
    인물에 대한 상기 제2의 인물명이 없는 상기 얼굴 인식 유닛에 의해 특정된 인물에 대한 상기 제1의 인물명을, 상기 스루 화상과 함께 표시 유닛에 표시하는 표시 제어 유닛과,
    촬영 지시가 이루어졌을 경우에 상기 촬상 유닛으로부터 출력된 촬상 화상과, 상기 촬상 화상에 대해서 상기 얼굴 인식 유닛에 의해 특정된 인물에 대한 상기 제2의 인물명을 관련지어서 스토리지에 기억시키는 기억 유닛을 구비하는, 촬상장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제1의 인물명은 닉네임을 포함하고, 상기 제2의 인물명은 풀 네임을 포함하는, 촬상장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 제1의 인물명 및 상기 제2의 인물명은 미리 정해진 최대 데이터 길이를 갖고, 상기 제2의 인물명의 최대 데이터 길이는 상기 제1의 인물명의 최대 데이터 길이보다 긴, 촬상장치.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 제1의 인물명의 문자 인코딩 방식(character encoding scheme)은, 상기 제2의 인물명의 문자 인코딩 방식과 다른, 촬상장치.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 제1의 인물명은 1바이트 문자 인코딩으로 기억되고, 상기 제2의 인물명은 2바이트 문자 인코딩으로 기억되는, 촬상장치.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 제2의 인물명의 문자 인코딩 방식은, 외부장치에 있어서 입력 및 표시 가능한 문자 코드를 사용하는, 촬상장치.
  8. 삭제
  9. 얼굴 화상에 대응하는 인물의 인식에 사용되는 얼굴 인식 데이터를 관리하고, 상기 얼굴 인식 데이터는, 등록되어 있는 인물마다 상기 얼굴 화상의 특징량, 제1의 인물명, 및 상기 제1의 인물명과는 다른 제2의 인물명을 서로 관련지어서 관리하는 관리 단계와,
    상기 얼굴 인식 데이터로 관리되는 상기 특징량을 사용하여, 촬영 화상에 포함되는 얼굴 화상에 대응하는 인물을 특정하는 얼굴 인식 단계와,
    상기 얼굴 인식 단계에 있어서 특정된 인물에 대한 상기 제2의 인물명을, 상기 촬영 화상과 관련지어서 스토리지에 기억시키는 기억 단계와,
    상기 스토리지에 기억되어 있는 화상을 판독하고, 상기 판독한 화상과 관련된 상기 제2의 인물명을 표시하지 않고, 상기 판독한 화상을, 상기 얼굴 인식 데이터로 관리되며 상기 판독한 화상과 관련된 상기 제2의 인물명에 대응하는 상기 제 1의 인물명과 함께 표시 유닛에 표시하는 표시 제어 단계를 포함하는, 촬상장치의 제어 방법.
  10. 얼굴 화상에 대응하는 인물의 인식에 사용되는 얼굴 인식 데이터를 관리하고, 상기 얼굴 인식 데이터는, 등록되어 있는 인물마다 상기 얼굴 화상의 특징량, 제1의 인물명, 및 상기 제1의 인물명과는 다른 제2의 인물명을 관리하는 관리 단계와,
    상기 얼굴 인식 데이터로 관리되는 상기 특징량을 사용하여, 촬상 유닛으로부터 출력된 스루 화상에 포함되는 얼굴 화상에 대응하는 인물을 특정하는 얼굴 인식 단계와,
    인물에 대한 상기 제2의 인물명이 없는 상기 얼굴 인식 단계에 있어서, 특정된 인물에 대한 상기 제1의 인물명을, 상기 스루 화상과 함께 표시 유닛에 표시하는 표시 제어 단계와,
    촬영 지시가 이루어졌을 경우에 상기 촬상 유닛으로부터 출력된 촬상 화상과, 상기 촬상 화상에 대해서 상기 얼굴 인식 단계에 있어서 특정된 인물에 대한 상기 제2의 인물명을 관련지어서 스토리지에 기억시키는 기억 단계를 포함하는, 촬상장치의 제어 방법.


  11. 삭제
KR1020120145879A 2011-12-21 2012-12-14 촬상장치, 정보처리장치, 및 제어 방법 KR101560203B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011280245A JP5868164B2 (ja) 2011-12-21 2011-12-21 撮像装置、情報処理システム、制御方法、及びプログラム
JPJP-P-2011-280245 2011-12-21

Publications (2)

Publication Number Publication Date
KR20130072138A KR20130072138A (ko) 2013-07-01
KR101560203B1 true KR101560203B1 (ko) 2015-10-14

Family

ID=48638939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120145879A KR101560203B1 (ko) 2011-12-21 2012-12-14 촬상장치, 정보처리장치, 및 제어 방법

Country Status (4)

Country Link
US (1) US20130163814A1 (ko)
JP (1) JP5868164B2 (ko)
KR (1) KR101560203B1 (ko)
CN (1) CN103179344B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617627B2 (ja) * 2010-12-28 2014-11-05 オムロン株式会社 監視装置および方法、並びにプログラム
US9049382B2 (en) * 2012-04-05 2015-06-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9384384B1 (en) * 2013-09-23 2016-07-05 Amazon Technologies, Inc. Adjusting faces displayed in images
JP5780569B1 (ja) * 2014-03-19 2015-09-16 株式会社 テクノミライ デジタルロス・デフェンスセキュリティシステム、方法及びプログラム
KR20150113572A (ko) * 2014-03-31 2015-10-08 삼성전자주식회사 영상데이터를 획득하는 전자장치 및 방법
US10063751B2 (en) * 2015-09-24 2018-08-28 Qualcomm Incorporated System and method for accessing images with a captured query image
JP6910208B2 (ja) * 2017-05-30 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN109241928B (zh) * 2018-09-19 2021-02-26 释码融和（上海）信息科技有限公司 一种识别异质虹膜的方法及计算设备
CN112036310A (zh) * 2020-08-31 2020-12-04 北京字节跳动网络技术有限公司 一种图片处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329679A (ja) 2006-06-07 2007-12-20 Fujifilm Corp 画像表示装置及び画像表示方法
JP2008112386A (ja) 2006-10-31 2008-05-15 Fujifilm Corp ネットワークコミュニケーション装置、システム、方法およびプログラム
JP2010113682A (ja) 2008-11-10 2010-05-20 Brother Ind Ltd 来訪者情報検索方法、来訪者情報検索装置およびインターホンシステム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258281A1 (en) * 2003-05-01 2004-12-23 David Delgrosso System and method for preventing identity fraud
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
JP4595750B2 (ja) * 2005-08-29 2010-12-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8259995B1 (en) * 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US8024343B2 (en) * 2006-04-07 2011-09-20 Eastman Kodak Company Identifying unique objects in multiple image collections
WO2007145331A1 (ja) * 2006-06-16 2007-12-21 Pioneer Corporation カメラ制御装置、カメラ制御方法、カメラ制御プログラムおよび記録媒体
JP4305672B2 (ja) * 2006-11-21 2009-07-29 ソニー株式会社 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム
US8774767B2 (en) * 2007-07-19 2014-07-08 Samsung Electronics Co., Ltd. Method and apparatus for providing phonebook using image in a portable terminal
JP4896838B2 (ja) * 2007-08-31 2012-03-14 カシオ計算機株式会社 撮像装置、画像検出装置及びプログラム
JP5273998B2 (ja) * 2007-12-07 2013-08-28 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8538943B1 (en) * 2008-07-24 2013-09-17 Google Inc. Providing images of named resources in response to a search query
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8867779B2 (en) * 2008-08-28 2014-10-21 Microsoft Corporation Image tagging user interface
US8396246B2 (en) * 2008-08-28 2013-03-12 Microsoft Corporation Tagging images with labels
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
JP5401420B2 (ja) * 2009-09-09 2014-01-29 パナソニック株式会社 撮像装置
US8503739B2 (en) * 2009-09-18 2013-08-06 Adobe Systems Incorporated System and method for using contextual features to improve face recognition in digital images
US9064160B2 (en) * 2010-01-20 2015-06-23 Telefonaktiebolaget L M Ericsson (Publ) Meeting room participant recogniser
JP5653131B2 (ja) * 2010-08-25 2015-01-14 キヤノン株式会社 オブジェクト認識装置およびその認識方法
JP5997545B2 (ja) * 2012-08-22 2016-09-28 キヤノン株式会社 信号処理方法及び信号処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329679A (ja) 2006-06-07 2007-12-20 Fujifilm Corp 画像表示装置及び画像表示方法
JP2008112386A (ja) 2006-10-31 2008-05-15 Fujifilm Corp ネットワークコミュニケーション装置、システム、方法およびプログラム
JP2010113682A (ja) 2008-11-10 2010-05-20 Brother Ind Ltd 来訪者情報検索方法、来訪者情報検索装置およびインターホンシステム

Also Published As

Publication number Publication date
US20130163814A1 (en) 2013-06-27
CN103179344A (zh) 2013-06-26
JP2013131919A (ja) 2013-07-04
JP5868164B2 (ja) 2016-02-24
KR20130072138A (ko) 2013-07-01
CN103179344B (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
KR101560203B1 (ko) 촬상장치, 정보처리장치, 및 제어 방법
US8599251B2 (en) Camera
US7756362B2 (en) Image processing apparatus, control method therefor, computer program, and computer-readable storage medium
US11523062B2 (en) Image capture apparatus and method for controlling the same
JP2007259415A (ja) 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
JP5869805B2 (ja) 情報処理装置、撮像装置、およびそれらの制御方法、プログラム、並びに記憶媒体
CN101621650A (zh) 图像数据处理设备和图像数据处理方法
US20160334948A1 (en) Image display apparatus equipped with a touch panel
JP2014164697A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
US8363886B2 (en) Image processing apparatus for providing metadata to captured image and method thereof
JP2014154891A (ja) 情報処理装置およびその制御方法、プログラム、並びに記憶媒体
JP2007110262A (ja) 画像鑑賞用ソフトウェア及び画像蓄積装置
JP5874982B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2003150617A (ja) 画像処理装置およびプログラム
JP2010205121A (ja) 情報処理装置および携帯端末
JP4603569B2 (ja) 画像処理装置およびプログラム
JP6056375B2 (ja) 情報処理システム、情報処理方法、及び、コンピュータプログラム
JP6210634B2 (ja) 画像検索システム
JP2009049886A (ja) 画像検索装置、撮影装置、画像検索方法及びプログラム
JP4614396B2 (ja) 撮像装置及びその制御方法
JP6566804B2 (ja) 電子機器、方法及びプログラム並びに記憶媒体
KR101477535B1 (ko) 이미지 검색 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP2005217505A (ja) 撮像装置、ビューワソフト、通信ソフト及び画像管理ソフト
US20130170771A1 (en) Image processing apparatus and method for controlling the same
JP2023009680A (ja) 通信装置、制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 4