KR20140057520A - 전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체 - Google Patents

전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR20140057520A
KR20140057520A KR1020140052981A KR20140052981A KR20140057520A KR 20140057520 A KR20140057520 A KR 20140057520A KR 1020140052981 A KR1020140052981 A KR 1020140052981A KR 20140052981 A KR20140052981 A KR 20140052981A KR 20140057520 A KR20140057520 A KR 20140057520A
Authority
KR
South Korea
Prior art keywords
face
image
index
faces
image processing
Prior art date
Application number
KR1020140052981A
Other languages
English (en)
Inventor
고지현
박성하
배성철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140052981A priority Critical patent/KR20140057520A/ko
Publication of KR20140057520A publication Critical patent/KR20140057520A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Abstract

본 발명의 일 실시예의 일 측면에 따르면, 전자 장치의 이미지 처리 방법에 있어서, 상기 전자 장치의 디스플레이부에 헤드샷 이미지들의 세트로서 이전에 캡쳐되고 인덱스된 얼굴들로부터 하나 이상의 선택 가능한 얼굴들을 디스플레이하는 단계로서, 상기 디스플레이된 하나 이상의 선택 가능한 얼굴들 각각은 이전에 생성된 얼굴 인덱스에 관련된, 디스플레이하는 단계; 상기 하나 이상의 선택 가능한 얼굴들 중 한 얼굴의 선택을 수신하는 단계; 상기 디스플레이된 이미지와 다른 이미지들 중에서 상기 선택된 얼굴의 얼굴 인덱스에 대응되는 얼굴을 가진 적어도 하나의 저장된 이미지를 검색하는 단계; 및 상기 선택되고 디스플레이된 이미지와 다른 상기 선택된 얼굴에 대응되는 상기 검색된 적어도 하나의 저장된 이미지를 디스플레이하는 단계를 포함하는, 이미지 처리 방법이 제공된다.

Description

전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체{Electronic apparatus, image processing method, and computer-readable medium}
전자 장치, 이미지 처리 방법, 및 상기 이미지 처리 방법을 수행하기 위한 컴퓨터 판독가능 매체에 관한 것이다.
디지털 이미지 처리장치의 일 예인 디지털 촬영장치는 촬영모드에서 촬영동작에 의하여 얻어진 이미지를 저장매체에 저장하고, 이 저장매체에 저장되어 있는 이미지를 플레이백 모드에서 디스플레이부에 디스플레이한다. 물론 촬영모드에서도 촬영동작에 의하여 얻어진 이미지를 재생하기도 한다. 디지털 촬영장치 외에 컴퓨터, PDA 등 역시 디지털 이미지 처리장치의 일 예인데, 이러한 디지털 이미지 처리장치는 저장매체에 저장된 이미지를 디스플레이부에서 디스플레이한다.
이러한 디지털 이미지 처리장치의 저장매체에 저장되는 또는 저장된 이미지는 얼굴을 포함하는 경우가 많은데, 특히 한 이미지에 복수개의 얼굴들이 포함될 수 있다. 이러한 복수개의 얼굴들을 포함하는 복수개의 이미지들이 저장매체에 저장되어 있을 시, 종래의 디지털 이미지 처리장치를 이용할 경우 사용자는 어떠한 사람의 이미지가 저장매체에 저장되어 있는지, 저장매체에 저장된 복수개의 이미지들에 포함된 복수개의 얼굴들 중 상호 관련된 얼굴들은 어떤 얼굴들인지, 또는 저장매체에 저장된 이미지들에 있어서 복수개의 얼굴들 중 어떠한 얼굴들이 함께 포함된 이미지들이 얼마나 있는지 등을 효과적으로 알 수 없다는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 관련된 얼굴에 관한 정보를 용이하게 파악할 수 있는 디지털 이미지 처리장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공하는 것을 목적으로 한다.
본 발명은 (i) 이미지를 저장하기 위한 저장매체와, (ii) 상기 저장매체에 저장되어 있는 이미지를 디스플레이하는 디스플레이부와, (iii) 얼굴을 포함하는 이미지를 상기 저장매체에 저장할 시 상기 이미지에서 얼굴을 인식하는 얼굴 인식부와, (iv) 얼굴을 포함하는 이미지에서 인식된 얼굴이 기 인식된 얼굴이 아닐 경우 상기 인식된 얼굴에 얼굴인덱스를 부여하는 얼굴인덱스 부여부와, (v) 얼굴을 포함하는 이미지에 복수개의 얼굴들이 포함되어 있다면 상기 이미지에 포함된 얼굴에 있어서 상기 이미지에 포함된 타 얼굴에 대한 관계인덱스를 업데이트하는 관계인덱스 업데이트부를 구비하는 것을 특징으로 하는 디지털 이미지 처리장치를 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 얼굴인덱스는 개인 정보를 포함하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 관계인덱스 업데이트부는, (i) 상기 이미지에 포함된 일 얼굴에 있어서 타 얼굴에 대한 관계인덱스가 존재하지 않으면 상기 일 얼굴에 관계인덱스를 부여하는 관계인덱스 부여부와, (ii) 상기 이미지에 포함된 일 얼굴에 있어서 타 얼굴에 대한 관계인덱스가 존재하면 상기 관계인덱스를 변화시키는 관계인덱스 수정부를 구비하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 관계인덱스 부여부는 1의 값을 갖는 관계인덱스를 부여하며, 상기 관계인덱스 수정부는 관계인덱스의 값을 1만큼 증가시키는 것으로 할 수 있다.
본 발명은 또한, 저장매체에 저장되어 있는 이미지를 디스플레이부에 디스플레이하는 디지털 이미지 처리장치의 제어방법에 있어서, (a) 얼굴을 포함하는 이미지에서 얼굴을 인식하는 단계와, (b) 인식된 얼굴이 기 인식된 얼굴이 아닐 경우 상기 인식된 얼굴에 얼굴인덱스를 부여하는 단계와, (c) 상기 이미지에 복수개의 얼굴들이 포함되어 있다면 상기 이미지에 포함된 얼굴에 있어서 상기 이미지에 포함된 타 얼굴에 대한 관계인덱스를 업데이트하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지 처리장치의 제어방법을 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 얼굴인덱스는 개인 정보를 포함하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, (d) 저장매체에 저장된 이미지들에 포함된 얼굴들 중 일 얼굴이 사용자에 의해 선택되면, 저장매체에 저장된 이미지들 중 상기 일 얼굴을 포함하는 이미지들을 디스플레이부에 디스플레이하는 단계를 더 포함하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (c) 단계는, (c1) 상기 이미지에 복수개의 얼굴들이 포함되어 있고 일 얼굴에 있어서 타 얼굴에 대한 관계인덱스가 존재하지 않으면 상기 일 얼굴에 관계인덱스를 부여하는 단계와, (c2) 상기 이미지에 복수개의 얼굴들이 포함되어 있고 일 얼굴에 있어서 타 얼굴에 대한 관계인덱스가 존재하면 상기 관계인덱스를 변화시키는 단계를 포함하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (c2) 단계에서 관계인덱스를 변화시키는 단계는 관계인덱스를 증가시키는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (c1) 단계는 1의 값을 갖는 관계인덱스를 부여하는 단계이고, 상기 (c2) 단계는 관계인덱스의 값을 1만큼 증가시키는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, (e) 일 이미지를 디스플레이부에 디스플레이할 시 상기 일 이미지에 포함된 얼굴을 디스플레이부에 디스플레이하되, 저장매체에 저장된 이미지들 중 상기 얼굴을 포함하는 이미지들의 개수를 상기 얼굴과 함께 디스플레이하는 단계를 더 포함하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, (f) 디스플레이부에 디스플레이되는 상기 일 이미지가 복수개의 얼굴들을 포함하고 상기 일 이미지에 포함된 복수개의 얼굴들이 디스플레이부에 디스플레이되며 디스플레이된 복수개의 얼굴들 중 일 얼굴이 사용자에 의해 선택되면, 저장매체에 저장된 이미지들 중 상기 일 얼굴을 포함하는 이미지를 디스플레이부에 디스플레이하는 단계를 더 포함하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, (g) 복수개의 얼굴들을 포함하는 일 이미지를 디스플레이부에 디스플레이할 시 상기 일 이미지에 포함된 얼굴들을 디스플레이하고, 디스플레이된 복수개의 얼굴들 중 일 얼굴이 사용자에 의해 선택되면, 상기 일 얼굴과 관련된 관계인덱스를 갖는 타 얼굴들을 디스플레이부에 디스플레이하는 단계를 더 포함하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 일 얼굴과 관련된 관계인덱스를 갖는 타 얼굴들을 디스플레이부에 디스플레이할 시, 상기 각 타 얼굴에 대한 상기 일 얼굴의 관계인덱스 값을 Ir, 저장매체에 저장된 얼굴을 포함하는 이미지들의 개수를 N이라 할 때, 하기 수학식 1에 의해 계산된 상기 각 타 얼굴에 대한 친밀도를 상기 타 얼굴들과 함께 디스플레이하는 것으로 할 수 있다:
[수학식 1]
(Ir/N)×100
본 발명의 또 다른 특징에 의하면, (h) 저장매체에 저장된 이미지들을 분류하되, 저장매체에 저장된 이미지들에 포함된 얼굴들 중 특정한 일 얼굴에 있어서 저장매체에 저장된 이미지들에 포함된 타 얼굴에 대한 관계인덱스 값을 Ir, 저장매체에 저장된 얼굴을 포함하는 이미지들의 개수를 N이라 할 때, 하기 수학식 1에 따라 각 타 얼굴에 대한 친밀도를 계산하여 이에 따라 저장매체에 저장된 이미지들을 분류하는 단계;를 더 포함하는 것으로 할 수 있다:
[수학식 1]
(Ir/N)×100
본 발명의 또 다른 특징에 의하면, 상기 특정한 일 얼굴은, 저장매체에 저장된 이미지들에 포함된 각 얼굴에 있어서 저장매체에 저장된 이미지들 중 상기 각 얼굴을 포함하는 이미지들의 개수가 가장 많은 얼굴인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 저장매체에 저장된 이미지들이 분류될 그룹들의 개수 및 각 그룹에 해당하는 친밀도의 영역은 사용자에 의해 설정 가능한 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 특정한 일 얼굴은 사용자에 의해 설정 가능한 것으로 할 수 있다.
본 발명은 또한 상기와 같은 방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.
상기한 바와 같이 이루어진 본 발명의 디지털 이미지 처리장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 따르면, 사용자로 하여금 관련된 얼굴에 관한 정보를 용이하게 파악할 수 있는 환경을 제공함으로써, 사용자 편의를 대폭 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 디지털 이미지 처리장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 디지털 이미지 처리장치의 일부를 설명하기 위한 블록도이다.
도 3은 본 발명의 다른 일 실시예에 따른 디지털 이미지 처리장치의 작동을 설명하기 위한 개념도이다.
도 4는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 작동을 설명하기 위한 개념도이다.
도 5a 및 5b는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 작동을 설명하기 위한 개념도들이다.
도 5c는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 작동을 설명하기 위한 개념도이다.
도 6a는 본 발명의 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트이다.
도 6b는 본 발명의 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트이다.
도 6c는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트이다.
도 7a는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트이다.
도 7b는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 디지털 이미지 처리장치의 일 예인 디지털 촬영장치를 설명하기 위한 블록도이다.
디지털 촬영장치의 전체 동작은 CPU(100)에 의해 통괄된다. 그리고 디지털 촬영장치에는 사용자로부터의 전기적 신호를 발생시키는 키 등을 포함하는 조작부(200)가 구비된다. 이 조작부(200)로부터의 전기적 신호는 CPU(100)에 전달되어, CPU(100)가 전기적 신호에 따라 디지털 촬영장치를 제어할 수 있도록 한다.
촬영 모드일 경우, 사용자로부터의 전기적 신호가 CPU(100)에 인가됨에 따라 CPU(100)는 그 신호를 파악하여 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31)를 제어하며, 이에 따라 오토포커싱을 위한 각각 렌즈(10)의 위치, 조리개(20)의 개방 정도 및 촬상소자(30)의 감도 등이 제어된다. 촬상소자(30)로부터 이미지에 대한 데이터신호가 출력되면 이는 아날로그/디지털 변환부(40)에 의해 디지털 이미지 데이터로 변환되어, CPU(100) 및 디지털 신호 처리부(50)에 입력된다. 디지털 신호 처리부(50)는 감마(gamma) 보정, 화이트 밸런스 조정 등의 디지털 신호 처리를 한다.
디지털 신호 처리부(50)로부터 출력된 이미지 데이터는 메모리(60)를 통하여 또는 직접 디스플레이 제어부(91)에 전달된다. 여기서 메모리(60)는 ROM 또는 RAM 등을 포함하는 개념이다. 디스플레이 제어부(91)는 디스플레이부(90)를 제어하여 디스플레이부(90)에 이미지를 디스플레이한다. 그리고 디지털 신호 처리부(50)로부터 출력된 이미지 데이터는 메모리(60)를 통하여 저장/판독 제어부(70)에 입력될 수 있는데, 이 저장/판독 제어부(70)는 사용자로부터의 신호에 따라 또는 자동으로 이미지 데이터를 저장매체(80)에 저장한다. 물론 저장/판독 제어부(70)는 저장매체(80)에 저장된 이미지 파일로부터 이미지 데이터를 판독하고, 이를 메모리(60)를 통해 디스플레이 제어부(91)에 입력하여 디스플레이부(90)에 이미지가 디스플레이되도록 할 수도 있다.
물론 도 1 및 상기와 같은 본 실시예에 따른 디지털 촬영장치는 본 발명의 일 실시예이며, 본 발명에 따른 이미지 처리장치는 이와 같은 디지털 촬영장치에 한정되지 않음은 물론이다. 즉, 본 발명은 이미지를 촬영하고 이를 재생할 수 있는 디지털 촬영장치 외에, 저장매체에 저장된 이미지들을 재생할 수 있는 PDA, 휴대폰 또는 컴퓨터 등에도 적용 가능함은 물론이다. 또한 디지털 촬영장치라 하더라도 도 1에 도시된 것과 같은 구성에 한정되지 않음은 물론이다. 본 실시예 및 후술하는 실시예들에 있어서는 편의상 주로 디지털 촬영장치의 경우에 대해 설명하지만, 본 발명은 디지털 촬영장치에 한정되지 않는다.
도 2는 본 발명의 일 실시예에 따른 디지털 이미지 처리장치의 일부를 개략적으로 설명하기 위한 블록도이다. 도 2에 도시된 이미지 처리장치의 일부는 도 1의 디지털 촬영장치의 일부, 또는 도 1에 도시된 디지털 촬영장치가 아닌 본 발명에 따른 PDA, 휴대폰 또는 컴퓨터 등과 같은 이미지 처리장치의 일부일 수 있다. 예컨대 도 2에 도시된 구성요소는 도 1에 도시된 CPU(100)의 일부일 수 있다. 물론 도 1에는 도시되어 있지 않으나, 도 2에 도시된 구성요소가 CPU의 일부가 아닌 별도의 독립적인 구성요소일 수도 있다. 도 2를 참조하면, 본 실시예에 따른 디지털 이미지 처리장치는 얼굴 인식부(110)와, 얼굴인덱스 부여부(120)와, 관계인덱스 업데이트부(130)를 구비한다.
얼굴 인식부(110)는 얼굴을 포함하는 이미지에서 얼굴을 인식한다. 예컨대 도 2에 도시된 디지털 이미지 처리장치의 일부가 도 1에 도시된 디지털 촬영장치의 일부일 경우, 얼굴 인식부(110)는 메모리(60, 도 1 참조)에 저장된 후술하는 것과 같은 얼굴 부분을 검출하기 위한 데이터를 활용하여, 디지털 신호 처리부(50, 도 1 참조)로부터 출력된 이미지 데이터를 분석하여 이미지 내에서 얼굴 부분을 인식한다. 물론 얼굴 인식부(110)는 디지털 신호 처리부(50, 도 1 참조)로부터 출력된 이미지 데이터가 아닌 A/D 변환부(40, 도 1 참조)로부터 출력된 이미지 데이터를 분석하여 이미지 내에서 얼굴 부분을 인식할 수도 있는 등 다양한 변형이 가능함은 물론이다. 이때 얼굴 인식부(110)는 이미지 내에서의 얼굴을 인식할 뿐만 아니라, 인식된 얼굴에서의 특징점도 추출하여 인식된 얼굴이 기존에 인식된 얼굴인지 아니면 새로이 인식된 얼굴인지도 인식한다.
얼굴 부분을 인식하는 방법은 다양한 방법을 이용할 수 있는데, 예컨대 이미지에서의 얼굴 부분을 인식하고 그 얼굴에서의 특징점을 추출하여 인식된 얼굴이 기존에 인식된 얼굴인지 아니면 새로이 인식된 얼굴인지 인식한다. 물론 얼굴 부분을 인식하는 단계와 얼굴에서의 특징점을 추출하는 단계가 동시에 이루어질 수도 있는 등 다양한 변형이 가능하다.
이미지에서 얼굴 부분을 인식하는 것은 예컨대 얼굴의 주된 색에 관한 데이터가 사전 입력되어 있어 이미지 데이터 중 얼굴의 주된 색에 관한 데이터가 있는지 여부를 판단하여 얼굴 부분을 인식할 수도 있고, 얼굴의 눈동자 또는 눈의 형상에 관한 데이터가 사전 입력되어 있어 이미지 데이터 중 얼굴의 눈동자 또는 눈의 형상에 관한 데이터가 있는지 여부를 판단하여 얼굴 부분을 인식할 수도 있으며, 눈썹 부분(또는 눈 부분)과 코 부분이 이루는 T 형상에 관한 데이터가 사전 입력되어 있어 이미지 데이터 중 그와 같은 T 형상에 관한 데이터가 있는지 여부를 판단하여 얼굴 부분을 인식할 수도 있는 등 다양한 방법을 이용할 수 있다.
인식된 얼굴이 기존에 인식된 얼굴인지 아니면 새로이 인식된 얼굴인지 인식하는 것은 눈썹, 눈, 코, 입, 턱선 등의 형상과 같은 특징점에 관한 데이터를 추출하고 분석함으로써 이루어질 수 있다. 구체적으로, 눈동자를 검출하고 쌍꺼풀을 추출하며, 코의 크기와 코볼의 형태 및 콧구멍의 위치 등을 검출하고, 입과 턱선의 형태 등을 추출하고 분석함으로써 인식된 얼굴이 기존에 인식된 얼굴인지 아니면 새로이 인식된 얼굴인지 인식한다. 물론 이러한 얼굴 인식 방법은 일 예이며, 본 발명은 이에 한정되지 않는다.
얼굴인덱스 부여부(120)는, 인식된 얼굴이 기존에 인식된 얼굴인지 아니면 새로이 인식된 얼굴인지 판단하는 얼굴 인식부(110)에서의 인식 결과에 따라, 인식된 얼굴이 기 인식된 얼굴이 아니라면 인식된 얼굴에 얼굴인덱스를 부여한다. 물론 도 2에 도시된 바와 같이 인식된 얼굴이 기 인식된 얼굴이라면, 얼굴인덱스 부여부(120)를 거치지 않고 얼굴 인식부(110)에서 관계인덱스 업데이트부(130)로 데이터가 전달될 수도 있다. 얼굴인덱스는 이름과 같은 개인 정보를 포함할 수 있으며, 따라서 사용자는 디지털 이미지 처리장치의 사용과정에서 디지털 이미지 처리장치에 이름과 같은 개인정보를 입력하여 특정한 얼굴을 선택할 수 있다.
관계인덱스 업데이트부(130)는 관계인덱스를 업데이트한다. 즉, 이미지에 복수개의 얼굴들이 포함되어 있다면 이미지에 포함된 각 얼굴에 있어서 이미지에 포함된 타 얼굴에 대한 관계인덱스를 업데이트한다. 만일 이미지에 한 개의 얼굴이 포함되어 있다면, 아무런 조치를 취하지 않을 수도 있고 필요에 따라서는 그 얼굴의 당해 얼굴 자신에 대한 관계인덱스를 업데이트할 수도 있다. 관계인덱스 업데이트부(130)는 얼굴을 포함하는 이미지를 저장매체에 저장할 시 관계인덱스를 업데이트할 수 있다. 물론, 이와 달리 저장매체에 이미지들이 저장되어 있는 상태에서 사용자로부터의 신호에 의해 관계인덱스 업데이트부(130)가 관계인덱스를 업데이트할 수도 있다.
구체적으로 관계인덱스 업데이트부(130)는 도 2에 도시된 것과 같이 관계인덱스 부여부(131)와 관계인덱스 수정부(133)를 구비할 수 있다.
관계인덱스 부여부(131)는 이미지에 포함된 일 얼굴에 있어서 타 얼굴에 대한 관계인덱스가 존재하지 않으면 그 일 얼굴에 관계인덱스를 부여한다. 물론 이미지에 포함된 얼굴이 한 개이고 그 얼굴이 저장매체에 저장된 이미지들에 포함된 얼굴이 아니라면 그 얼굴에 당해 얼굴 자신에 대한 관계인덱스를 부여할 수도 있다.
관계인덱스 수정부(133)는 이미지에 포함된 일 얼굴에 있어서 타 얼굴에 대한 관계인덱스가 존재하면 그 관계인덱스를 변화시킨다. 여기서 관계인덱스 수정부(133)가 관계인덱스를 변화시키는 것은 다양한 방식으로 이루어질 수 있는데, 예컨대 관계인덱스를 증가시키는 것일 수 있으며, 이 경우 관계인덱스를 1만큼 증가시키는 것일 수 있다. 물론 이와는 달리 관계인덱스 수정부(133)가 관계인덱스를 감소시키는 것일 수도 있고 증가시키더라도 1이 아닌 다른 크기만큼 증가시킬 수도 있는 등 다양한 변형이 가능함은 물론이다. 이하의 본 실시예 및 후술하는 실시예들에 있어서는 편의상 관계인덱스 수정부(133)가 관계인덱스를 1만큼 증가시키는 경우에 대해서 설명한다. 이때 관계인덱스 부여부(131)는 1의 값을 갖는 관계인덱스를 부여하는 것일 수 있다. 만일 이미지에 한 개의 얼굴이 포함되어 있으며 그 얼굴에는 해당 얼굴 자신에 대한 관계인덱스가 이미 부여되어 있다면, 관계인덱스 수정부(133)는 이 관계인덱스를 1만큼 증가시킬 수도 있다.
예컨대 A, B 및 C의 세 얼굴이 다음 표 1에서와 같은 짝을 이루어 15 개의 이미지들이 저장매체에 저장된 경우에 대해 설명하면 다음과 같다.
Figure pat00001
A와 B를 포함하는 첫 번째 이미지(Im1)에 있어서, A의 B에 대한 관계인덱스 IAB와 B의 A에 대한 관계인덱스 IBA가 설정되어 각각 1의 값을 갖는다. 역시 A와 B를 포함하는 두 번째 이미지(Im2)에 있어서, A의 B에 대한 관계인덱스 IAB와 B의 A에 대한 관계인덱스 IBA는 각각 업데이트되어 각각 2의 값을 갖는다. A와 C를 포함하는 세 번째 이미지(Im3)에 있어서, A의 C에 대한 관계인덱스 IAC 및 C의 A에 대한 관계인덱스 ICA가 각각 설정되어 각각 1의 값을 갖는다. B와 C를 포함하는 네 번째 이미지(Im4)에 있어서, B의 C에 대한 관계인덱스 IBC 및 C의 B에 대한 관계인덱스 ICB가 각각 설정되어 각각 1의 값을 갖는다. A, B 및 C를 포함하는 다섯 번째 이미지(Im5)에 있어서, A의 B에 대한 관계인덱스 IAB와 B의 A에 대한 관계인덱스 IBA는 각각 업데이트되어 각각 3의 값을 갖게 되며, A의 C에 대한 관계인덱스 IAC와 C의 A에 대한 관계인덱스 ICA는 각각 업데이트되어 각각 2의 값을 갖게 되고, B의 C에 대한 관계인덱스 IBC 및 C의 B에 대한 관계인덱스 ICB는 각각 업데이트되어 각각 3의 값을 갖게 된다. 이와 같은 방식으로 Im1 내지 Im15의 15개의 이미지들이 상기 표 1과 같이 저장매체에 저장되거나 저장되어 있을 시, A, B 및 C는 다음 표 2와 같은 관계인덱스를 갖게 된다.
Figure pat00002
상기 표 2에서 알 수 있는 바와 같이 A에 있어서 B에 대한 관계인덱스는 B에 있어서 A에 대한 관계인덱스와 같다. 즉, 특정 일 얼굴에 있어서 특정 타 얼굴에 대한 관계인덱스는 상기 타 얼굴에 있어서 상기 일 얼굴에 대한 관계인덱스와 같다. 따라서 필요에 따라 특정 일 얼굴에 있어서 특정 타 얼굴에 대한 관계인덱스만을 부여하고 이를 업데이트하고, 상기 타 얼굴에 있어서 상기 일 얼굴에 대한 관계인덱스는 부여하지 않을 수도 있는 등 다양한 변형이 가능하다.
이와 같은 본 실시예에 따른 디지털 이미지 처리장치는 이미지에 포함된 얼굴을 인식하고 저장매체에 저장된 이미지들에 포함된 얼굴들에 있어서 각 얼굴 상호 간의 관계인덱스를 업데이트함으로써, 향후 다양한 사용자 요구에 따른 얼굴들 상호 간의 관계 데이터를 처리할 수 있는 환경을 제공할 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 디지털 이미지 처리장치의 작동을 설명하기 위한 개념도이다. 본 실시예에 따른 디지털 이미지 처리장치는 도 2를 참조하여 전술한 실시예에 따른 디지털 이미지 처리장치에서의 얼굴 인식부, 얼굴인덱스 부여부 및 관계인덱스 업데이트부를 구비할 수 있다.
본 실시예에 따른 디지털 이미지 처리장치는, 저장매체에 저장된 이미지들에 포함된 얼굴들 중 일 얼굴이 사용자에 의해 선택되면, 저장매체에 저장된 이미지들 중 선택된 일 얼굴을 포함하는 이미지들을 디스플레이부에 디스플레이한다. 예컨대 A, B 및 C의 세 얼굴이 상기 표 1에서와 같은 짝을 이루어 15 개의 이미지들이 저장매체에 저장된 상태에서 C가 사용자에 의해 선택되면, 도 3에 도시된 것과 같이 저장매체에 저장된 이미지들 중 선택된 C를 포함하는 7개의 이미지들(Im3, Im4, Im5, Im6, Im8, Im11, Im12)을 디스플레이부(90)에 디스플레이한다. 도 3에서 스커트를 입고 있는 여성이 A, 한쪽 눈이 머리카락으로 가려진 인물이 B, 반바지를 입고 있는 인물이 C에 해당한다.
저장매체에 저장된 이미지들에 포함된 얼굴들 중 일 얼굴을 사용자가 선택하는 방법은 다양한 방법으로 가능하다. 예컨대 디지털 이미지 처리장치가 전술한 바와 같이 얼굴인덱스 부여부를 구비하여 새로이 인식된 얼굴에 개인정보를 포함하는 얼굴인덱스를 부여하므로, 사용자는 디지털 이미지 처리장치에 이름과 같은 개인정보를 입력하여 특정한 얼굴을 선택할 수 있다. 또한, 이 외의 다양한 방법이 가능한데, 예컨대 디스플레이부에 이미지가 디스플레이될 시 이미지에 포함된 얼굴을 사용자가 커서를 이용하여 선택할 수 있도록 할 수 있다. 또는 디스플레이부가 터치 스크린 기능을 갖도록 하고, 디스플레이부에 이미지가 디스플레이될 시 이미지에 포함된 얼굴 부분을 사용자가 터치함으로써 선택할 수 있도록 할 수도 있는 등 다양한 변형이 가능하다.
저장매체에 저장된 이미지들 중 선택된 일 얼굴을 포함하는 이미지를 선별하는 것은 다양한 방법을 통해 이루어질 수 있다. 예컨대 디지털 이미지 처리장치가 전술한 바와 같이 얼굴인덱스 부여부를 구비하여 새로이 인식된 얼굴에 개인정보를 포함하는 얼굴인덱스를 부여하므로, 이 얼굴인덱스에 그 얼굴을 포함하는 이미지에 관한 정보가 포함되도록 하여 이 정보를 이용할 수도 있다.
도 4는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 작동을 설명하기 위한 개념도이다. 본 실시예에 따른 디지털 이미지 처리장치는 도 2를 참조하여 전술한 실시예에 따른 디지털 이미지 처리장치에서의 얼굴 인식부, 얼굴인덱스 부여부 및 관계인덱스 업데이트부를 구비할 수 있다.
본 실시예에 따른 디지털 이미지 처리장치는 일 이미지를 디스플레이부에 디스플레이할 시, 이 이미지에 포함된 얼굴을 디스플레이부에 디스플레이한다. 이때, 저장매체에 저장된 이미지들 중 상기 얼굴을 포함하는 이미지들의 개수를 상기 얼굴과 함께 디스플레이한다. 예컨대 A, B 및 C의 세 얼굴이 상기 표 1에서와 같은 짝을 이루어 15 개의 이미지들이 저장매체에 저장된 상태에서 도 4에 도시된 바와 같이 A와 C 두 얼굴이 포함된 이미지(Im3)를 디스플레이부(90)에 디스플레이할 시, A와 C 두 얼굴들(ImA, ImC)을 디스플레이부(90)에 디스플레이한다. 이때, 저장매체에 저장된 이미지들 중 A의 얼굴을 포함하는 이미지들의 개수 13과 C의 얼굴을 포함하는 이미지들의 개수 7을 A와 C의 얼굴들과 함께 디스플레이한다. 이를 통해 사용자는 디스플레이부(90)에 디스플레이된 이미지에 포함된 얼굴이 저장매체에 저장된 이미지들 중 몇 개의 이미지들에 포함되어 있는가에 관한 정보를 용이하게 즉각적으로 파악할 수 있다.
한편, 이와 같이 일 이미지(Im3)에 포함된 복수개의 얼굴들(A, C)이 디스플레이부(90)에 디스플레이된 상태에서 일 얼굴이 사용자에 의해 선택되면, 저장매체에 저장된 이미지들 중 선택된 일 얼굴을 포함하는 이미지를 디스플레이부에 디스플레이하여 사용자가 그 이미지들을 즉각 확인하도록 할 수도 있다. 예컨대 도 4에 도시된 것과 같은 상태에서 C가 사용자에 의해 선택되면, 도 3에 도시된 것과 같이 C를 포함하는 이미지들을 디스플레이부(90)에 디스플레이함으로써, 사용자가 C를 포함하는 이미지들을 즉각 확인하도록 할 수도 있다.
도 5a 및 5b는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 작동을 설명하기 위한 개념도들이다. 본 실시예에 따른 디지털 이미지 처리장치는 도 2를 참조하여 전술한 실시예에 따른 디지털 이미지 처리장치에서의 얼굴 인식부, 얼굴인덱스 부여부 및 관계인덱스 업데이트부를 구비할 수 있다.
*본 실시예에 따른 디지털 이미지 처리장치는, 도 5a에 도시된 것과 같이 복수개의 얼굴들을 포함하는 일 이미지를 디스플레이부에 디스플레이할 시 그 일 이미지에 포함된 얼굴들을 디스플레이한다. 도 5a에서는 A와 C 두 얼굴들을 포함하는 이미지(Im3)를 디스플레이부(90)에 디스플레이할 시, 그 이미지(Im3)에 포함된 A와 C 두 얼굴들(ImA, ImC)을 디스플레이부(90)에 디스플레이하는 것을 나타내고 있다.
이와 같은 상태에서 디스플레이된 복수개의 얼굴들 중 일 얼굴이 사용자에 의해 선택되면, 선택된 일 얼굴과 관련된 관계인덱스를 갖는 타 얼굴들을 디스플레이부에 디스플레이한다. 예컨대 A, B 및 C의 세 얼굴이 상기 표 1에서와 같은 짝을 이루어 15 개의 이미지들이 저장매체에 저장된 상태에서 도 5a에서 얼굴 C가 선택되면, C와 관련된 관계인덱스를 갖는 얼굴은 A와 B이므로 도 5b에 도시된 것과 같이 A와 B 두 얼굴들(ImA, ImB)이 디스플레이부에 디스플레이된다. 이를 통해 사용자는 이미지에 포함된 얼굴들 중 일 얼굴을 선택하여, 선택된 그 얼굴과 함께 촬영되어 저장매체에 저장된 얼굴들을 용이하게 즉각적으로 파악할 수 있다. 물론 도 5b에 도시된 것과 달리 C의 얼굴(ImC)은 디스플레이부에 디스플레이하지 않고, C와 관련된 관계인덱스를 갖는 A와 B 두 얼굴들(ImA, ImB)만을 디스플레이부에 디스플레이할 수도 있다.
한편, 도 5a와 같이 디스플레이된 상태에서 복수개의 얼굴들 중 일 얼굴이 사용자에 의해 선택되면, 저장매체에 저장된 이미지들 중 선택된 일 얼굴을 포함하는 이미지들을 디스플레이부에 디스플레이하도록 할 수도 있다.
또는 도 5a가 아닌 도 4에 도시된 것과 같이, 일 이미지(Im3)를 디스플레이부에 디스플레이할 시 그 이미지에 포함된 얼굴들(ImA, ImC)을 디스플레이부에 디스플레이하고, 이때, 저장매체에 저장된 이미지들 중 상기 얼굴들(ImA, ImC)을 포함하는 이미지들의 개수를 상기 얼굴들(ImA, ImC)과 함께 디스플레이할 수 있다. 이 경우 저장매체에 저장된 이미지들 중 상기 얼굴들(ImA, ImC)을 포함하는 이미지들의 개수 옆에 임의의 형상의 아이콘(미도시)이 디스플레이되도록 하고, 이 아이콘을 클릭하면 그 해당 얼굴과 관련된 관계인덱스를 갖는 타 얼굴들이 디스플레이부에 디스플레이되도록 할 수도 있다. 또한, 아이콘이 아닌 얼굴들(ImA, ImC) 중 일 얼굴을 클릭하면, 저장매체에 저장된 이미지들 중 선택된 그 얼굴을 포함하는 이미지들이 디스플레이부에 디스플레이되도록 할 수도 있는 등 다양한 변형이 가능하다.
도 5c는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 작동을 설명하기 위한 개념도이다. 본 실시예에 따른 디지털 이미지 처리장치는 도 2를 참조하여 전술한 실시예에 따른 디지털 이미지 처리장치에서의 얼굴 인식부, 얼굴인덱스 부여부 및 관계인덱스 업데이트부를 구비한다. 그리고 본 실시예에 따른 디지털 이미지 처리장치는 일 얼굴에 있어서 타 얼굴에 대한 친밀도를 계산하는 친밀도 계산부를 구비한다. 이에 따라 본 실시예에 따른 디지털 이미지 처리장치가 도 5b를 참조하여 전술한 실시예에 따른 디지털 이미지 처리장치와 상이한 것은, 친밀도 계산부에 의해 계산된 친밀도를 얼굴과 함께 디스플레이부에 디스플레이한다는 것이다. 예컨대 본 실시예에 따른 디지털 이미지 처리장치가 디지털 촬영장치라면, 친밀도 계산부는 예컨대 도 1에 도시된 CPU(100)의 일부일 수 있다. 물론 친밀도 계산부는 CPU의 일부가 아닌 별도의 독립적인 구성요소일 수도 있다.
본 실시예에 따른 디지털 이미지 처리장치 역시 도 5a에 도시된 것과 같이 복수개의 얼굴들을 포함하는 일 이미지를 디스플레이부에 디스플레이할 시 그 일 이미지에 포함된 얼굴들을 디스플레이한다. 도 5a에서는 A와 C 두 얼굴을 포함하는 이미지(Im3)를 디스플레이부(90)에 디스플레이할 시, 그 이미지(Im3)에 포함된 A와 C 두 얼굴들(ImA, ImC)을 디스플레이부(90)에 디스플레이하는 것을 나타내고 있다.
이와 같은 상태에서 디스플레이된 복수개의 얼굴들 중 일 얼굴이 사용자에 의해 선택되면, 선택된 일 얼굴과 관련된 관계인덱스를 갖는 타 얼굴들을 디스플레이부에 디스플레이하되, 도 5c에 도시된 것과 같이 친밀도 계산부에 의해 계산된 친밀도를 얼굴과 함께 디스플레이부에 디스플레이한다. 예컨대 A, B 및 C의 세 얼굴이 상기 표 1에서와 같은 짝을 이루어 15 개의 이미지들이 저장매체에 저장된 상태에서 도 5a에서 얼굴 C가 선택되면, C와 관련된 관계인덱스를 갖는 얼굴은 A와 B이므로 도 5c에 도시된 것과 같이 A와 B 두 얼굴들(ImA, ImB)이 디스플레이부에 디스플레이된다. 그리고 선택된 얼굴인 C에 있어서 A에 대한 친밀도 33.3%와 선택된 얼굴인 C에 있어서 B에 대한 친밀도인 33.3%를 디스플레이부(90)에 디스플레이한다. 친밀도 계산부에 의해 계산되는 일 얼굴에 있어 타 얼굴에 대한 친밀도는, 저장매체에 저장된 얼굴을 포함하는 이미지들의 개수를 N이라 하고 타 얼굴에 대한 일 얼굴의 관계인덱스 값을 Ir이라고 하면, 하기 수학식 1에 의해 계산된다.
Figure pat00003
일 얼굴에 있어서 타 얼굴에 대한 관계인덱스는 결국 상기 일 얼굴과 상기 타 얼굴이 함께 촬영된 이미지의 개수를 의미하므로, 친밀도는 저장매체에 저장된 이미지들 중 상기 일 얼굴과 상기 타 얼굴이 함께 촬영된 이미지의 비율을 의미한다. 전술한 바와 같이 A, B 및 C의 세 얼굴이 상기 표 1에서와 같은 짝을 이루어 15 개의 이미지들이 저장매체에 저장된 상태에서는 상기 표 2에서와 같은 관계인덱스가 결정되므로, 도 5c에 있어서 저장매체에 저장된 이미지들의 개수인 15개 중 A와 C가 함께 촬영된 이미지들의 개수(C에 있어서 A에 대한 관계인덱스)는 5이기에 33.3%의 친밀도가 계산되고, 저장매체에 저장된 이미지들의 개수인 15개 중 B와 C가 함께 촬영된 이미지들의 개수(C에 있어서 B에 대한 관계인덱스)는 5이기에 33.3%의 친밀도가 계산된다. 본 실시예에서는 친밀도를 퍼센트로 나타내었으나 이 외의 다양한 비율을 나타내는 방식으로 이루어질 수도 있음은 물론이다. 이를 통해 사용자는 이미지에 포함된 얼굴들 중 일 얼굴을 선택하여, 선택된 그 얼굴과 함께 촬영되어 저장매체에 저장된 얼굴들을 파악함과 동시에, 선택된 그 얼굴과 타 얼굴 사이의 친밀도를 용이하게 즉각적으로 파악할 수 있다. 물론 도 5c에 도시된 것과 달리 C의 얼굴(ImC)을 디스플레이부에 디스플레이하지 않고, C와 관련된 관계인덱스를 갖는 A와 B 두 얼굴들(ImA, ImB)만을 디스플레이부에 디스플레이하면서 친밀도를 디스플레이할 수도 있다.
한편, 도면에 도시하지는 않았으나 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치는, 도 2를 참조하여 전술한 실시예에 따른 디지털 이미지 처리장치에서의 얼굴 인식부, 얼굴인덱스 부여부 및 관계인덱스 업데이트부와, 도 5c를 참조하여 전술한 실시예에 따른 디지털 이미지 처리장치에서의 친밀도 계산부를 구비한다. 그리고 본 실시예에 따른 디지털 이미지 처리장치는 이미지 분류부를 더 구비한다. 친밀도 계산부는 예컨대 도 1에 도시된 CPU(100)의 일부일 수 있다. 물론 친밀도 계산부는 CPU의 일부가 아닌 별도의 독립적인 구성요소일 수도 있다. 또한, 이미지 분류부는 예컨대 도 1에 도시된 CPU(100)의 일부일 수 있다. 물론 이미지 분류부는 CPU의 일부가 아닌 별도의 독립적인 구성요소일 수도 있다.
이미지 분류부는 저장매체에 저장된 이미지들을 분류하되, 저장매체에 저장된 이미지들에 포함된 얼굴들 중 특정한 일 얼굴에 있어서, 저장매체에 저장된 이미지들에 포함된 타 얼굴에 대한 친밀도에 따라 저장매체에 저장된 이미지들을 분류한다. 특정한 일 얼굴은 다양한 방법으로 선택될 수 있는데, 사용자에 의해 선택될 수도 있고 디지털 이미지 처리장치에 의해 자동으로 선택될 수도 있다. 디지털 이미지 처리장치에 의해 자동으로 선택될 경우, 예컨대 저장매체에 저장된 이미지들에 포함된 각 얼굴에 있어서 관계인덱스들의 값의 합이 가장 큰 얼굴인 것으로 할 수 있다. 또는 저장매체에 저장된 이미지들에 포함된 각 얼굴에 있어서 저장매체에 저장된 이미지들 중 상기 각 얼굴을 포함하는 이미지들의 개수가 가장 많은 얼굴인 것으로 할 수 있다. 이하에서는 편의상 저장매체에 저장된 이미지들에 포함된 각 얼굴에 있어서 저장매체에 저장된 이미지들 중 상기 각 얼굴을 포함하는 이미지들의 개수가 가장 많은 얼굴이 선택되는 경우에 대해 설명한다.
예컨대 A, B 및 C의 세 얼굴이 상기 표 1에서와 같은 짝을 이루어 15 개의 이미지들이 저장매체에 저장된 상태라면, A는 13회 촬영되어 저장되었고(Im1, Im2, Im3, Im5, Im6, Im7, Im8, Im9, Im10, Im11, Im13, Im14, Im15), B는 12회 촬영되어 저장되었으며(Im1, Im2, Im4, Im5, Im6, Im7, Im8, Im9, Im10, Im11, Im14, Im15), C는 7회 촬영되어 저장되었으므로(Im3, Im4, Im5, Im6, Im8, Im11, Im12), A를 기준으로 하여 A의 B 및 C에 대한 친밀도에 따라 저장매체에 저장된 이미지들을 분류한다.
이미지 분류부는 저장매체에 저장된 이미지들을 친밀도에 따라 복수개의 그룹으로 분류한다. 이때, 저장매체에 저장된 이미지들이 분류될 그룹들의 개수 및 각 그룹에 해당하는 친밀도의 영역은 사용자에 의해 설정 가능하다. 예컨대 저장매체에 저장된 이미지들을 그룹1과 그룹2 두 개의 그룹으로 분류하고 각각 2:1의 가중치를 부여한다면, 그룹1에는 선택된 특정한 얼굴인 A를 기준으로 2/(2+1)×100=66.6% 이상의 친밀도를 갖는 얼굴을 포함하는 이미지들이 속하도록 하고 그룹2에는 선택된 특정한 얼굴인 A를 기준으로 66.6%보다 작은 친밀도를 갖는 얼굴을 포함하는 이미지들이 속하도록 할 수 있다. 예컨대 A, B 및 C의 세 얼굴이 상기 표 1에서와 같은 짝을 이루어 15 개의 이미지들이 저장매체에 저장된 상태라면, A에 있어서 B에 대한 친밀도는 11/15×100=73.3%이고 A에 있어서 C에 대한 친밀도는 5/15×100=33.3%이므로, 그룹1에는 A가 포함된 이미지 및 B가 포함된 이미지가 속하게 되고, 그룹2에는 A 및 B를 포함하지 않고 C만 포함된 이미지가 속하게 된다. 즉, A, B 및 C의 세 얼굴이 상기 표 1에서와 같은 짝을 이루어 15 개의 이미지들이 저장매체에 저장된 상태라면, A와 B를 포함하지 않고 C만 포함된 이미지(Im12)가 그룹2에 속하게 되고 A 또는 B를 포함하는 다른 이미지들은 그룹1에 속하게 된다. 물론 필요에 따라 그룹1에는 A가 포함된 이미지 및 B가 포함된 이미지가 속하도록 하고, 그룹2에는 A 또는 B가 포함되는 것과 관계없이 C가 포함된 이미지는 모두 속하도록 할 수도 있다. 이 경우 그룹1과 그룹2에 중복되어 속하는 이미지가 있을 수도 있다.
통상적으로 함께 촬영되는 얼굴들의 경우 상호 친밀도가 높아지게 되며 이들은 같은 그룹에 속할 확률이 높아진다. 따라서 본 실시예에 따른 디지털 이미지 처리장치의 경우 사용자의 경우 이와 같이 친밀도가 높은 얼굴을 포함하는 이미지들을 별도로 분류하고 싶을 경우 용이하고 간편하게 분류할 수 있는 환경을 제공한다. 물론 본 실시예에서는 A, B 및 C 세 얼굴들이 포함된 이미지들이 저장매체에 저장되고 이들이 그룹1과 그룹2의 두 그룹으로 분류되는 경우에 대해 설명하였으나 본 실시예가 이에 한정되지 않음은 물론이다. 예컨대 4개의 그룹으로 분류하고 가중치를 16:9:4:1로 부여할 경우, 특정한 얼굴에 있어서 그룹1에는 16/30×100=53.3% 이상인 친밀도를 갖는 얼굴을 포함하는 이미지들이, 그룹2에는 53.3%보다 작고 9/30×100=30.0% 이상인 친밀도를 갖는 얼굴을 포함하는 이미지들이, 그룹3에는 30.0%보다 작고 4/30×100=13.3% 이상인 친밀도를 갖는 얼굴을 포함하는 이미지들이, 그룹4에는 13.3%보다 작은 친밀도를 갖는 얼굴을 포함하는 이미지들이 속하도록 할 수 있다. 여기서 이미지가 분류되는 것은 일 예로 저장매체 내에 각 그룹에 해당하는 폴더를 생성하고 해당 폴더에 각 그룹의 이미지들이 위치하도록 하는 것을 들 수 있다. 또한, 이와 같은 그룹의 명칭은 사용자에 의해 수정 가능하며, 또한 특정 그룹에 속하는 사진은 사용자에 의해 수동으로 타 그룹에 속하는 것으로 수정되는 것도 가능하다. 그리고 각 이미지에 그 이미지가 속하는 그룹에 관한 정보가 포함되도록 할 수도 있는 등 다양한 변형이 가능함은 물론이다.
도 6a는 본 발명의 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트이다.
도 6a를 참조하면, 이미지에서 얼굴을 인식한다(S100). 그리고 인식된 얼굴에 이름 정보 등과 같은 개인 정보를 포함하는 얼굴인덱스를 부여한다(S200). 그리고 이미지에 포함된 얼굴에 있어서 관계인덱스를 업데이트한다(S300). 관계인덱스를 업데이트하는 것은 도 1 및 도 2를 참조하여 전술한 실시예에서 설명한 바와 같이 이루어질 수 있다.
이와 같은 본 실시예에 따른 디지털 이미지 처리장치의 제어방법은 이미지에 포함된 얼굴을 인식하고 얼굴인덱스를 부여하며 저장매체에 저장된 이미지들에 포함된 얼굴들에 있어서 각 얼굴 상호간의 관계인덱스를 업데이트함으로써, 향후 다양한 사용자 요구에 따른 얼굴들 상호간의 관계 데이터를 처리할 수 있는 환경을 제공할 수 있다.
도 6b는 본 발명의 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트이다. 본 실시예에 따른 제어방법이 도 6a를 참조하여 전술한 제어방법과 상이한 것은, 기 인식된 얼굴인지 여부를 판단하는 단계(S210)와, 이미지에 포함된 얼굴이 한 개인지 여부를 판단하는 단계(S320)를 거친다는 것이다.
인식된 얼굴이 기 인식된 얼굴인지 여부를 판단하여(S210), 기 인식된 얼굴이 아닌 새로운 얼굴이라면 이름 정보 등과 같은 개인 정보를 포함하는 얼굴인덱스를 부여하고(S220), 이미지에 포함된 얼굴이 한 개인지 여부를 판단하는 단계(S320)로 이어진다. 인식된 얼굴이 기 인식된 얼굴인지 여부를 판단하여(S210) 기 인식된 얼굴이라면, 얼굴인덱스를 새로이 부여하지는 않고 이미지에 포함된 얼굴이 한 개인지 여부를 판단하는 단계(S320)로 이어진다. 물론 이미지에 복수개의 얼굴들이 포함되어 있어 복수개의 얼굴들이 인식되었다면, 각 얼굴에 대하여 기 인식된 얼굴인지 여부를 판단하여(S210), 기 인식된 얼굴이 아닌 새로운 얼굴이라면 이름 정보 등과 같은 개인 정보를 포함하는 얼굴인덱스를 부여한다(S220).
이미지에 포함된 얼굴이 한 개인지 여부를 판단하는 단계(S320)를 거쳐 이미지에 복수개의 얼굴들이 포함되어 있다면, 이미지에 포함된 얼굴에 있어서 이미지에 포함된 타 얼굴에 대한 관계인덱스를 업데이트한다(S340). 만일 이미지에 얼굴이 한 개만 포함되어 있다면, 관계인덱스를 업데이트하지 않고 종료(즉 저장매체에 이미지를 저장)한다. 물론 도 6c에 도시된 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트에 나타난 것과 같이, 이미지에 포함된 얼굴이 한 개인지 여부를 판단하는 단계(S320)를 거쳐 이미지에 한 개의 얼굴이 포함된 것으로 판단되면, 그 한 개의 얼굴의 당해 얼굴 자신에 대한 관계인덱스를 업데이트하는 단계를 거칠 수도 있다(S330).
이와 같은 본 실시예에 따른 디지털 이미지 처리장치의 제어방법은 이미지에 포함된 얼굴을 인식하고 저장매체에 저장된 이미지들에 포함된 얼굴들에 있어서 각 얼굴 상호간의 관계인덱스를 업데이트함으로써, 향후 다양한 사용자 요구에 따른 얼굴들 상호간의 관계 데이터를 처리할 수 있는 환경을 제공할 수 있다.
도 7a는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트이다. 도 7a를 참조하면, 얼굴을 포함하는 이미지에서 얼굴을 인식한다(S100). 그리고 인식된 얼굴이 기 인식된 얼굴인지 여부를 판단하여(S210), 기 인식된 얼굴이 아닌 새로운 얼굴이라면 이름 정보 등과 같은 개인 정보를 포함하는 얼굴인덱스를 부여하고(S220), 이미지에 포함된 얼굴이 한 개인지 여부를 판단하는 단계(S320)로 이어진다. 인식된 얼굴이 기 인식된 얼굴인지 여부를 판단하여(S210) 기 인식된 얼굴이라면, 얼굴인덱스를 새로이 부여하지는 않고 이미지에 포함된 얼굴이 한 개인지 여부를 판단하는 단계(S320)로 이어진다.
이미지에 포함된 얼굴이 한 개인지 여부를 판단하여(S320) 만일 이미지에 얼굴이 한 개만 포함되어 있다면, 관계인덱스를 업데이트하지 않고 종료한다. 이미지에 복수개의 얼굴들이 포함되어 있다면, 각 얼굴에 있어서 타 얼굴에 대한 관계인덱스가 존재하는지 여부를 판단한다(S341). 판단 결과 일 얼굴에 있어서 타 얼굴에 대한 관계인덱스가 존재하지 않으면 그 일 얼굴에 관계인덱스를 부여한다(S345). 만일 일 얼굴에 있어서 타 얼굴에 대한 관계인덱스가 존재하면 그 관계인덱스를 변화시킨다(S343). 여기서 관계인덱스를 변화시키는 단계는 관계인덱스를 증가시키는 단계일 수 있다. 구체적으로, 관계인덱스를 부여하는 단계는 1의 값을 갖는 관계인덱스를 부여하는 단계이고, 관계인덱스를 변화시키는 단계는 관계인덱스의 값을 1만큼 증가시키는 단계일 수 있다. 물론 이와 달리 상이한 관계인덱스를 부여하거나 상이한 방식으로 관계인덱스를 변화시킬 수도 있다. 본 실시예 및 후술하는 실시예들에 있어서는 편의상 관계인덱스를 부여하는 단계는 1의 값을 갖는 관계인덱스를 부여하는 단계이고, 관계인덱스를 변화시키는 단계는 관계인덱스의 값을 1만큼 증가시키는 단계인 경우에 대해 설명한다.
이와 같은 본 실시예에 따른 디지털 이미지 처리장치의 제어방법은 이미지에 포함된 얼굴을 인식하고 저장매체에 저장된 이미지들에 포함된 얼굴들에 있어서 각 얼굴 상호간의 관계인덱스를 업데이트함으로써, 향후 다양한 사용자 요구에 따른 얼굴들 상호간의 관계 데이터를 처리할 수 있는 환경을 제공할 수 있다.
*도 7b는 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법을 설명하기 위한 플로우챠트이다. 본 실시예에 따른 디지털 이미지 처리장치의 제어방법이 도 7a를 참조하여 전술한 실시예에 따른 디지털 이미지 처리장치의 제어방법과 상이한 것은, 이미지에 포함된 얼굴이 한 개인 경우에 대한 처리이다. 본 실시예에 따른 디지털 이미지 처리장치의 제어방법의 경우, 이미지에 포함된 얼굴이 한 개인지 여부를 판단한다(S320). 만일 이미지에 얼굴이 한 개만 포함되어 있다면, 그 얼굴에 그 얼굴 자신에 대한 관계인덱스가 존재하는지 여부를 판단한다(S331). 만일 관계인덱스가 존재하지 않는다면 관계인덱스를 부여하고(S335), 관계인덱스가 존재한다면 관계인덱스를 변화시킨다(S333).
이와 같은 본 실시예에 따른 디지털 이미지 처리장치의 제어방법은 이미지에 포함된 얼굴을 인식하고 저장매체에 저장된 이미지들에 포함된 얼굴들에 있어서 각 얼굴 상호간의 관계인덱스를 업데이트함으로써, 향후 다양한 사용자 요구에 따른 얼굴들 상호간의 관계 데이터를 처리할 수 있는 환경을 제공할 수 있다.
상기와 같은 다양한 디지털 이미지 처리장치의 제어방법이 제공하는 환경을 이용하면, 다음과 같은 다양한 사용자 편의를 위한 디지털 이미지 처리장치의 제어방법을 실현할 수 있다.
예컨대 저장매체에 저장된 이미지들에 포함된 얼굴들 중 일 얼굴이 사용자에 의해 선택되면, 저장매체에 저장된 이미지들 중 선택된 일 얼굴을 포함하는 이미지들을 디스플레이부에 디스플레이함으로써, 사용자가 선택된 일 얼굴을 포함하는 이미지들을 즉각적으로 용이하게 파악할 수 있도록 할 수 있다. 또한, 일 이미지를 디스플레이부에 디스플레이할 시 그 일 이미지에 포함된 얼굴을 디스플레이부에 디수플레 이하되, 저장매체에 저장된 이미지들 중 상기 얼굴을 포함하는 이미지들의 개수를 상기 얼굴과 함께 디스플레이함으로써, 사용자가 관련된 이미지들의 개수를 즉각적으로 파악할 수 있게 할 수 있다. 이러한 제어방법의 변형으로서 일 이미지를 디스플레이부에 디스플레이할 시 그 일 이미지에 포함된 얼굴들을 디스플레이부에 디스플레이하고 사용자에 의해 디스플레이된 얼굴들 중 일 얼굴이 선택되면, 저장매체에 저장된 이미지들 중 선택된 일 얼굴을 포함하는 이미지를 디스플레이부에 디스플레이하도록 할 수도 있다.
또한, 일 이미지를 디스플레이부에 디스플레이할 시 그 일 이미지에 포함된 얼굴들을 디스플레이부에 디스플레이하고 사용자에 의해 디스플레이된 얼굴들 중 일 얼굴이 선택되면, 상기 일 얼굴과 관련된 관계인덱스를 갖는 타 얼굴들을 디스플레이부에 디스플레이하는 제어방법을 구현할 수도 있다. 이때, 전술한 실시예들에서 설명한 바와 같은 관계인덱스를 이용한 친밀도를 상기 타 얼굴들과 함께 디스플레이할 수도 있다.
그리고 본 발명의 또 다른 일 실시예에 따른 디지털 이미지 처리장치의 제어방법에 따르면, 전술한 바와 같이 친밀도에 따라 저장매체에 저장된 이미지들을 분류하는 제어방법을 구현할 수도 있다.
이상에서 언급된 디지털 이미지 처리장치의 제어방법을 디지털 이미지 처리장치에서 실행시키기 위한 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매체라 함은 예컨대 도 1에 도시된 디지털 촬영장치의 경우에는 저장매체(80)일 수도 있고, 메모리(60)일 수도 있으며, 이와 다른 별도의 기록매체일 수도 있다. 여기서 기록매체는 마그네틱 저장매체(예컨대, 롬(ROM), 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다. 물론 예컨대 도 1에서의 CPU(100)일 수도 있고 그 일부일 수도 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10: 렌즈 20: 조리개
30: 촬상소자 40: A/D 변환부
50: 디지털 신호 처리부 60: 메모리
70: 저장/판독 제어부 80: 저장매체
90: 디스플레이부 100: CPU
110: 얼굴 인식부 130: 관계인덱스 업데이트부
131: 관계인덱스 부여부 133: 관계인덱스 수정부

Claims (6)

  1. 촬영 장치의 이미지 처리 방법에 있어서,
    이미지를 촬영하는 단계;
    상기 촬영된 이미지에서 얼굴을 검출하는 단계;
    상기 검출된 얼굴에 이름을 포함하는 얼굴 인덱스를 부여하는 단계;
    상기 얼굴 인덱스가 할당된 적어도 하나의 얼굴들 각각에 대한 적어도 하나의 얼굴 썸네일을 표시하는 단계;
    상기 적어도 하나의 얼굴 썸네일 중 하나를 선택하는 사용자 입력을 수신하는 단계;
    상기 얼굴 인덱스를 이용하여, 상기 선택된 얼굴의 이름에 대응되는 얼굴을 가진 적어도 하나의 저장된 이미지를 검색하는 단계; 및
    상기 검색된 적어도 하나의 저장된 이미지를 디스플레이하는 단계를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    적어도 하나의 얼굴 특징을 이용하여 얼굴 인식을 수행하는 단계를 더 포함하는, 이미지 처리 방법.
  3. 제1항에 있어서, 상기 얼굴의 선택은 디스플레이된 얼굴 상에 커서를 움직임에 의해 수신되는, 이미지 처리 방법.
  4. 이미지를 촬영하는 촬영부;
    상기 촬영된 영상을 디스플레이하는 디스플레이부;
    상기 촬영된 영상을 저장하는 저장부; 및
    처리부를 포함하고,
    상기 처리부는,
    상기 촬영된 이미지에서 얼굴을 검출하고,
    상기 검출된 얼굴에 이름을 포함하는 얼굴 인덱스를 부여하고,
    상기 얼굴 인덱스가 할당된 적어도 하나의 얼굴들 각각에 대한 적어도 하나의 얼굴 썸네일을 표시하고,
    상기 적어도 하나의 얼굴 썸네일 중 하나를 선택하는 사용자 입력을 수신하고,
    상기 얼굴 인덱스를 이용하여, 상기 선택된 얼굴의 이름에 대응되는 얼굴을 가진 적어도 하나의 저장된 이미지를 검색하고,
    상기 검색된 적어도 하나의 저장된 이미지를 디스플레이하도록 구성되는, 촬영 장치.
  5. 제4항에 있어서,
    상기 처리부는, 적어도 하나의 얼굴 특징을 이용하여 얼굴 인식을 수행하도록 더 구성되는, 촬영 장치.
  6. 제4항에 있어서, 선택을 위해 디스플레이된 얼굴 상에 커서를 이동시키는 이동부를 더 포함하는, 촬영 장치.
KR1020140052981A 2014-04-30 2014-04-30 전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체 KR20140057520A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140052981A KR20140057520A (ko) 2014-04-30 2014-04-30 전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140052981A KR20140057520A (ko) 2014-04-30 2014-04-30 전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140018663A Division KR20140024949A (ko) 2014-02-18 2014-02-18 전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체

Publications (1)

Publication Number Publication Date
KR20140057520A true KR20140057520A (ko) 2014-05-13

Family

ID=50888243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140052981A KR20140057520A (ko) 2014-04-30 2014-04-30 전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체

Country Status (1)

Country Link
KR (1) KR20140057520A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951500A (zh) * 2015-04-24 2015-09-30 小米科技有限责任公司 头像显示方法、装置及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951500A (zh) * 2015-04-24 2015-09-30 小米科技有限责任公司 头像显示方法、装置及终端
CN104951500B (zh) * 2015-04-24 2018-05-29 小米科技有限责任公司 头像显示方法、装置及终端

Similar Documents

Publication Publication Date Title
KR101378372B1 (ko) 디지털 이미지 처리장치, 그 제어방법 및 제어방법을실행시키기 위한 프로그램을 저장한 기록매체
US9977952B2 (en) Organizing images by correlating faces
KR101346539B1 (ko) 얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기
US20190156204A1 (en) Training a neural network model
CN102687140B (zh) 用于有助于基于内容的图像检索的方法和装置
US20140153832A1 (en) Facial expression editing in images based on collections of images
US10679041B2 (en) Hybrid deep learning method for recognizing facial expressions
JP6529314B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020035095A (ja) アノテーション装置およびアノテーション方法
JP2005148900A (ja) 画像分類装置、画像分類方法、および、プログラム
US10755087B2 (en) Automated image capture based on emotion detection
US10705720B2 (en) Data entry system with drawing recognition
CN110298380A (zh) 图像处理方法、装置及电子设备
CN106815803B (zh) 图片的处理方法及装置
JP2020507159A (ja) ピクチャプッシュの方法、移動端末および記憶媒体
WO2011096010A1 (ja) パターン認識装置
US20220308742A1 (en) User interface with metadata content elements for video navigation
KR20140057520A (ko) 전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체
JPH09114846A (ja) ブラウジング表示方法および画像表示システム
KR20140024949A (ko) 전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체
JP2001195579A (ja) 画像評価装置
KR20130086022A (ko) 전자 장치, 이미지 처리 방법, 및 컴퓨터 판독가능 매체
WO2021190412A1 (zh) 一种生成视频缩略图的方法、装置和电子设备
US20220114207A1 (en) Method and system for image searching and evaluation using tags
US20170032218A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20141203

Effective date: 20150423