KR102121529B1 - 디지털 영상 처리 방법 및 디지털 영상 처리 장치 - Google Patents

디지털 영상 처리 방법 및 디지털 영상 처리 장치 Download PDF

Info

Publication number
KR102121529B1
KR102121529B1 KR1020130104516A KR20130104516A KR102121529B1 KR 102121529 B1 KR102121529 B1 KR 102121529B1 KR 1020130104516 A KR1020130104516 A KR 1020130104516A KR 20130104516 A KR20130104516 A KR 20130104516A KR 102121529 B1 KR102121529 B1 KR 102121529B1
Authority
KR
South Korea
Prior art keywords
jump
priority
image
images
image processing
Prior art date
Application number
KR1020130104516A
Other languages
English (en)
Other versions
KR20150026123A (ko
Inventor
진현성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130104516A priority Critical patent/KR102121529B1/ko
Priority to US14/467,456 priority patent/US9600712B2/en
Publication of KR20150026123A publication Critical patent/KR20150026123A/ko
Application granted granted Critical
Publication of KR102121529B1 publication Critical patent/KR102121529B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 처리 방법 및 디지털 영상 처리 장치를 개시한다.
본 발명의 영상 처리 방법은, 입력되는 복수의 점프 영상들에서 얼굴들을 인식하는 단계; 각 점프 영상에 대해 얼굴 인식 정보를 지표로 하는 우선순위를 결정하는 단계; 및 상기 우선순위에 따라 상기 복수의 점프 영상들을 정렬하는 단계;를 포함할 수 있다.

Description

디지털 영상 처리 방법 및 디지털 영상 처리 장치{Method for proccessing digital image and apparatus of the same}
본 발명은 디지털 영상 처리 방법 및 디지털 영상 처리 장치에 관한 것이다.
점프 영상 촬영의 경우 빠른 연사를 통해 가능한 많은 양의 영상을 찍어 가장 최적의 영상이 포함되도록 하고 있다. 무작위로 촬영하는 방식으로 많은 영상을 빠르게 찍을수록 최적의 점프 영상을 획득할 확률이 높다.
그러나, 기술의 발달로 연사속도가 늘어날수록 그만큼 낭비되는 리소스와 다수의 영상들을 비교 대조하면서 최적의 점프 영상을 선택해야 하는 점에서 사용자의 불편함이 따른다.
본 발명의 실시예는 최적의 점프 영상을 선택하기 위해 빠른 연사로 촬영된 복수의 점프 영상들을 정렬하기 위한 영상 처리 방법을 제공한다.
본 발명의 일 실시예에 따른 영상 처리 방법은, 입력되는 복수의 점프 영상들에서 얼굴들을 인식하는 단계; 각 점프 영상에 대해 얼굴 인식 정보를 지표로 하는 우선순위를 결정하는 단계; 및 상기 우선순위에 따라 상기 복수의 점프 영상들을 정렬하는 단계;를 포함할 수 있다.
상기 점프 영상 정렬 단계는, 우선순위가 높은 순서로 정해진 개수의 점프 영상 이외의 점프 영상을 삭제하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 복수의 점프 영상들 중 사용자가 선택한 점프 영상들의 얼굴 인식 정보를 기초로 사용자가 선호하는 우선순위 선택 기준을 분석하는 단계; 및 상기 우선순위 선택 기준 분석 결과를 데이터베이스에 저장하는 단계;를 더 포함할 수 있다.
상기 우선순위 결정 단계는, 상기 데이터베이스로부터 추출된 우선순위 선택 기준에 따라 각 점프 영상에 대해 우선순위를 결정하는 단계;를 포함할 수 있다.
상기 우선순위 선택 기준은 얼굴 인식 정보의 통계치들에 대한 가중치일 수 있다.
상기 얼굴 인식정보는 상기 얼굴들의 위치, 개수 및 표정 중 적어도 하나를 포함할 수 있다.
상기 방법은, 사용자의 영상 합성 요청에 따라, 인물별로 우선순위가 가장 높은 점프 영상들을 합성한 합성 영상을 생성하는 단계;를 더 포함할 수 있다.
상기 얼굴 인식 단계는, 얼굴 누락이 검출되면, 누락된 얼굴의 위치를 예측하는 단계;를 포함할 수 있다.
상기 얼굴 인식 단계는, 영상 센서의 셔터 스피드 및 중력 가속도를 이용하여 상기 누락된 얼굴의 위치를 예측하는 단계를 포함할 수 있다.
상기 우선순위 결정 단계는, 사용자가 입력한 우선순위 선택 기준에 따라 각 점프 영상의 우선순위를 결정하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 디지털 영상 처리 장치는, 입력되는 복수의 점프 영상들에서 얼굴들을 인식하는 얼굴인식부; 각 점프 영상에 대해 얼굴 인식 정보를 지표로 하는 우선순위를 결정하는 우선순위 결정부; 및 상기 우선순위에 따라 상기 복수의 점프 영상들을 정렬하는 영상정렬부;를 포함할 수 있다.
상기 영상정렬부는, 우선순위가 높은 순서로 정해진 개수의 점프 영상 이외의 점프 영상을 삭제할 수 있다.
상기 우선순위 결정부는, 상기 복수의 점프 영상들 중 사용자가 선택한 점프 영상들의 얼굴 인식 정보를 기초로 사용자가 선호하는 우선순위 선택 기준을 분석하여 데이터베이스에 저장할 수 있다
상기 우선순위 결정부는, 상기 데이터베이스로부터 추출된 우선순위 선택 기준에 따라 각 점프 영상에 대해 우선순위를 결정할 수 있다.
상기 우선순위 선택 기준은 얼굴 인식정보의 통계치들에 대한 가중치일 수 있다.
상기 얼굴 인식정보는 상기 얼굴들의 위치, 개수 및 표정 중 적어도 하나를 포함할 수 있다.
상기 장치는, 사용자의 영상 합성 요청에 따라, 인물별로 우선순위가 가장 높은 점프 영상들을 합성한 합성 영상을 생성하는 합성부;를 더 포함할 수 있다.
상기 얼굴인식부는, 얼굴 누락이 검출되면, 누락된 얼굴의 위치를 예측할 수 있다.
상기 얼굴인식부는, 영상 센서의 셔터 스피드 및 중력 가속도를 이용하여 상기 누락된 얼굴의 위치를 예측할 수 있다.
상기 우선순위 결정부는, 사용자가 입력한 우선순위 선택 기준에 따라 각 점프 영상의 우선순위를 결정할 수 있다.
본 발명의 실시예는 빠른 연사로 촬영된 복수의 점프 영상들을 우선순위에 따라 정렬함으로써 최적의 점프 영상을 빠르고 편하게 선택할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디지털 영상 처리 장치를 개략적으로 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 디지털 영상 처리 장치에서 디지털 신호 처리부를 개략적으로 도시하는 블록도이다.
도 3a 및 도 3b는 점프 영상에서 얼굴 인식 결과를 보여주는 일 예이다.
도 4는 본 발명의 다른 실시예에 따른 디지털 영상 처리 장치에서 디지털 신호 처리부를 개략적으로 도시하는 블록도이다.
도 5a 내지 도 5c는 점프 영상 합성을 보여주는 예시 영상들이다.
도 6은 본 발명의 일 실시예에 따른 점프 영상 정렬을 위한 디지털 영상 처리 방법을 개략적으로 설명하는 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 점프 영상 정렬을 위한 디지털 영상 처리 방법을 개략적으로 설명하는 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 실시예들에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 실시예들에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 디지털 영상 처리 장치(1)를 개략적으로 도시하는 블록도이다.
디지털 영상 처리 장치(1)는 디지털 카메라, 핸드폰, 캠코더, 감시 카메라, 로봇, PDA(personal digital assistants), PMP(personal multimedia player), PC(personal computer) 등 다양한 디지털 영상 처리 장치를 포함할 수 있다.
디지털 영상 처리 장치(1)의 전체 동작은 CPU(100)에 의해 통괄된다. 그리고 디지털 영상 처리 장치(1)에는 사용자로부터의 전기적 신호를 발생시키는 키 등을 포함하는 사용자 입력부(200)가 구비된다. 사용자 입력부(200)로부터의 전기적 신호는 CPU(100)에 전달되어, CPU(100)가 전기적 신호에 따라 디지털 영상 처리 장치(1)를 제어할 수 있도록 한다.
촬영 모드일 경우, 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호가 전기적 신호로서 CPU(100)에 인가됨에 따라 CPU(100)는 그 신호를 파악하여 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31)를 제어하며, 이에 따라 각각 렌즈(10)의 위치, 조리개(20)의 개방 정도 및 촬상소자(30)의 감도 등이 제어된다.
렌즈(10)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등 적어도 하나의 렌즈를 포함할 수 있다. 조리개(20)는 광량을 조절할 수 있다. 촬상소자(30)는 입력된 광으로부터 이미지에 관한 데이터를 생성하며, 아날로그/디지털 변환부(40)는 촬상소자(30)에서 출력되는 아날로그 데이터를 디지털 데이터로 변환한다. 물론 촬상소자(30)의 특성에 따라 아날로그/디지털 변환부(40)가 필요 없는 경우도 있을 수 있다.
촬상소자(30)로부터의 데이터는 메모리(60)를 거쳐 디지털 신호 처리부(50)에 입력될 수도 있고, 메모리(60)를 거치지 않고 디지털 신호 처리부(50)에 입력될 수도 있으며, 필요에 따라 CPU(100)에도 입력될 수도 있다.
메모리(60)는 디지털 신호 처리부(50) 의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(60)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디지털 영상 처리 장치(1) 는 인터넷(internet) 상에서 메모리(60)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
디지털 영상 처리 장치(1)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(50)를 포함한다.
디지털 신호 처리부(50)는 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31), 표시부(460) 등과 전기적으로 연결되며, 각각의 구성 요소의 작동을 제어하기 위해 이들 구성 요소와 제어 신호를 주고받거나, 데이터를 처리하는 등의 기능을 수행한다. 디지털 신호 처리부(50)는 마이크로 칩이나, 마이크로 칩을 구비하는 회로 보드로 구현될 수 있으며, 디지털 신호 처리부(50)에 포함되는 각 구성 요소들은 디지털 신호 처리부(50)에 내장되는 소프트웨어나 회로들에 의해 구현될 수 있다.
디지털 신호 처리부(50)는 영상 신호 처리를 수행하며, 처리 결과에 따라 각 구성부를 제어할 수 있다. 또한 사용자 입력부(200)를 통해 입력된 사용자의 제어 신호에 따라 각 구성부를 제어할 수 있다. 또한, 디지털 신호 처리부(50)는 라이브뷰 영상을 표시하도록 제어한다. 상기 디지털 신호 처리부(50)의 제어 동작은 후술하겠다.
디지털 신호 처리부(50)는 필요에 따라 영상 신호를 사람의 시각에 맞게 변환하도록 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 영상 신호 처리를 수행할 수 있다. 또한, 디지털 신호 처리부(50)는 그 기능이 설정된 경우 오토화이트밸런스(Auto White Balance)나 오토익스포저(Auto Exposure) 알고리즘을 수행할 수 있다. 또한, 디지털 신호 처리부(50)는 영상 데이터를 스케일러를 이용하여 그 크기를 조절하며, 압축하여 소정 형식의 영상 파일을 형성할 수 있다. 반대로 디지털 신호 처리부(50)는 이미지 파일의 압축을 해제할 수도 한다. 영상의 압축 형식은 가역 형식 또는 비 가역 형식이어도 된다.
디지털 신호 처리부(50)로부터 출력된 영상 데이터는 메모리(60)를 통하여 또는 직접 디스플레이 제어부(81)에 전달된다. 디스플레이 제어부(81)는 디스플레이부(80)를 제어하여 디스플레이부(80)에 영상을 디스플레이한다. 그리고 디지털 신호 처리부(50)로부터 출력된 영상 데이터는 메모리(60)를 통하여 또는 직접 저장/판독 제어부(71)에 입력되는데, 이 저장/판독 제어부(71)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 저장매체(70)에 저장한다.
물론 저장/판독 제어부(71)는 저장매체(70)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(60)를 통해 또는 다른 경로를 통해 디스플레이 제어부(81)에 입력하여 디스플레이부(80)에 영상이 디스플레이 되도록 할 수도 있다. 저장매체(70)는 착탈 가능한 것일 수도 있고 디지털 영상 처리 장치(1)에 영구 장착된 것일 수 있다.
사용자 입력부(200)는 사용자가 디지털 영상 처리 장치(1) 의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(200)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 디스플레이부(80)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다. 본 발명의 일 실시 예에 따르면, 사용자는 사용자 입력부(200)를 통하여 연속 촬영을 선택할 수 있다. 그리고 사용자는 사용자 입력부(200)를 통하여 점프 영상 정렬을 위한 우선순위 선택 기준을 입력할 수 있다. 또한 사용자는 사용자 입력부(200)를 통하여 복수의 점프 영상들의 인물 합성을 요청할 수 있다.
디스플레이부(80)는 액정 디스플레이(LCD), 유기 발광 디스플레이(OLED), 전기 영동 디스플레이(EPD), 플렉서블 디스플레이, 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다.
디스플레이부(80)와 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(80)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치스크린은 터치 입력 위치, 터치된 면적뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다. 또한, 터치스크린은 상기 터치(real-touch) 뿐만 아니라 근접 터치(proximity touch)도 검출될 수 있도록 구성될 수 있다.
이와 같이 디지털 영상 처리 장치(1)는 렌즈(10)를 통과하여 촬상소자(30)에 입사한 광으로부터 영상 데이터를 생성하여, 최종적으로 영상 데이터를 갖는 디지털 영상 파일을 저장매체(70)에 저장한다.
도 2는 본 발명의 일 실시예에 따른 디지털 영상 처리 장치(1)에서 디지털 신호 처리부를 개략적으로 도시하는 블록도이다.
도 2를 참조하면, 디지털 신호 처리부(50A)는 얼굴인식부(91), 우선순위 결정부(93) 및 영상정렬부(95)를 포함할 수 있다.
얼굴인식부(91)는 입력되는 복수의 영상들 각각에서 얼굴들을 인식할 수 있다. 입력 영상은 디지털 영상 처리 장치(1)의 촬상소자(30)를 통해 소정 프레임율로 연속 촬영된 영상으로서, 저장매체(70)에 저장된 영상일 수 있다. 입력 영상은 사용자의 조작에 의해 수동으로 입력되거나, 네트워크를 통해서 웹 서버로부터 입력될 수 있다. 본 실시예에서는 적어도 한 명의 점프 장면을 연속 촬영한 복수의 점프 영상들을 예로서 설명하겠다.
얼굴인식부(91)는 원본 점프 영상에 스크린 네일(screen nail)을 적용하여 축소된 영상, 즉 디스플레이부(80) 화면의 가시 영역의 크기에 맞추어 압축된 스크린 네일 영상으로부터 얼굴 영역을 검출함으로써 얼굴을 인식할 수 있다. 이에 따라 풀 해상도의 영상에 대해 얼굴 인식을 수행함으로써 발생하는 전력 소모 및 처리 시간 지연을 최소화하면서 빠르게 얼굴 영역을 검출할 수 있다.
얼굴인식부(91)는 얼굴 영역 검출에 의해 얼굴 인식 정보를 추출할 수 있다. 얼굴 인식 정보는 각 점프 영상 내 얼굴들의 위치, 각 점프 영상 내 얼굴의 개수 및 표정 등 다양한 정보를 적어도 하나 포함할 수 있다. 얼굴의 위치는 바닥면을 기준으로 계산될 수 있다.
얼굴인식부(91)는 빠른 연속 촬영에 의해 점프 영상 내에 얼굴이 누락된 경우, 셔터 스피드와 중력 가속도를 이용하여 누락된 얼굴의 위치를 예측함으로써 얼굴 영역을 검출할 수 있다. 이에 따라, 얼굴인식부(91)는 얼굴 인식 정보를 보다 정확하게 추출할 수 있다. 얼굴인식부(91)는 시간상 전후 점프 영상의 얼굴 인식 정보로부터 현재 점프 영상의 얼굴 누락을 검출할 수 있다.
얼굴 영역 검출 기법 및 알고리즘은 많은 기술이 존재하며, 본 발명의 실시예에 따른 얼굴 검출에 사용할 수 있다. 예를 들면, 움직임 벡터 기법, 특징점 검출 기법, 아다부스트(Adaboost) 학습 기법 등을 사용하여 얼굴 영역을 검출할 수 있다.
우선순위 결정부(93)는 정해진 우선순위 선택 기준에 따라 각 점프 영상의 우선순위를 결정할 수 있다. 우선순위 선택 기준은 변경될 수 있다.
우선순위 선택 기준은 사용자의 입력에 의해 결정될 수 있다. 이 경우, 디스플레이부(80)는 내부 제어 신호 또는 사용자 입력부(200)를 통해 입력된 제어 신호에 따라 생성된 메뉴 항목 등을 표시할 수 있다. 사용자가 사용자 입력부(200)를 통해 연속 촬영을 선택한 경우 또는 점프 영상 촬영을 선택한 경우, 디스플레이부(80)는 복수의 우선순위 선택 기준들을 사용자가 직접 또는 간접으로 선택하기 위한 메뉴 항목 등을 표시할 수 있다. 디스플레이부(80)는 시각 및/또는 청각적인 방법으로 메뉴 항목 등을 표시함으로써 사용자가 우선순위 선택 기준을 선택할 수 있도록 할 수 있다. 우선순위 결정부(93)는 사용자의 우선순위 선택 기준에 따라 각 점프 영상에 우선순위를 결정할 수 있다.
우선순위 선택 기준은 사용자가 선택한 점프 영상의 분석을 통해 결정될 수 있다. 이 경우, 우선순위 결정부(93)는 임의의 기준으로 정렬된 복수의 점프 영상들 중 사용자가 선택한 점프 영상들의 얼굴 인식 정보를 분석할 수 있다. 우선순위 결정부(93)는 점프 영상 분석을 통해 사용자가 선호하는 우선순위 선택 기준을 추출하여 데이터베이스화할 수 있다. 우선순위 결정부(93)는 분석 결과를 데이터베이스(DB)에 저장하고, 사용자의 점프 영상 선택이 있을 때마다 데이터베이스(DB)를 업데이트할 수 있다. 데이터베이스(DB)는 저장매체(70)와 별도의 메모리 또는 저장매체일 수 있다. 우선순위 결정부(93)는 데이터베이스(DB)로부터 최근의 사용자가 선호하는 우선순위 선택 기준을 검색하여, 검색된 우선순위 선택 기준에 따라 각 점프 영상에 우선순위를 결정할 수 있다.
우선순위는 얼굴 인식 정보를 지표로 할 수 있다. 우선순위는 얼굴 인식 정보의 통계치들로부터 결정될 수 있다. 얼굴 인식 정보의 통계치는 예를 들어, 점프 영상 내 얼굴들의 위치 평균, 점프 영상 내 얼굴들의 얼굴 위치 평균에 대한 편차 정도, 얼굴 개수 등을 포함할 수 있다.
점프 영상에 대한 우선순위 선택 기준은, 예를 들어, 얼굴들의 위치 평균이 가장 높은 점프 영상, 얼굴 위치 평균에 대한 편차가 가장 작은 점프 영상, 얼굴 수가 가장 많은 점프 영상 등 복수의 선택 기준 중 적어도 하나일 수 있다. 얼굴들의 위치 평균이 가장 높은 점프 영상은 인물 전원의 점프 높이가 최대일 때 촬영된 영상일 수 있다. 얼굴 위치 평균에 대한 편차가 가장 작은 점프 영상은 인물들이 같은 높이에 있을 때 촬영된 영상일 수 있다. 얼굴 수가 가장 많은 점프 영상은 인물 전원이 촬영되고, 번짐이나 흐려짐 없이 촬영된 영상일 수 있다. 본 발명의 실시예는 전술된 우선순위 선택 기준에 한정되지 않고, 사용자가 선호하는 최적의 점프 영상 기준에 따라 다양하게 설정될 수 있다.
우선순위 선택 기준은 얼굴 인식정보의 통계치들에 대한 가중치일 수 있다. 예를 들어, 우선순위 결정부(93)는 얼굴들의 위치 평균에 0.5의 가중치를 주고, 얼굴 위치 평균에 대한 편차 정도에 0.3의 가중치를 주고, 얼굴 개수에 0.2의 가중치를 줌으로써, 세 가지 우선순위 선택 기준을 모두 고려하여 각 점프 영상에 대한 우선순위를 결정할 수 있다.
도 3a 및 도 3b는 점프 영상에서 얼굴 인식 결과를 보여주는 일 예이다. 도 3a 및 도 3b에서는 얼굴 검출 영역이 박스로 표시되어 있다. 각 인물에 대해 얼굴 인식을 수행하게 되면 누가 높이 뛰고 있는지 쉽게 파악할 수 있다.
우선순위 결정부(93)는 도 3a 및 도 3b 중 얼굴 위치 평균이 더 높고, 각 얼굴 위치가 평균에 대해 편차가 더 작고, 전원 얼굴 인식이 된 도 3b의 우선순위를 도 3a보다 높게 결정할 수 있다.
영상 정렬부(95)는 우선순위에 따라 복수의 점프 영상들을 정렬할 수 있다. 영상 정렬부(95)는 미리 정해진 우선순위 선택 기준 또는 데이터베이스(DB)로부터 검색한 사용자가 선호하는 우선순위 선택 기준에 의해 각 점프 영상에 결정된 우선순위에 따라 우선순위가 높은 순으로 복수의 점프 영상들을 정렬하여 디스플레이부(80)에 표시할 수 있다.
디스플레이부(80)에는 복수의 영상들을 썸네일(thumb nail) 영상으로 우선순위에 따라 화면에 복수로 표시할 수 있다. 사용자는 사용자 입력부(200)를 이용하여 디스플레이부(80)에 정렬된 복수의 점프 영상들 중 적어도 하나를 선택할 수 있다. 사용자의 점프 영상 선택 결과는 우선순위 결정부(93)에 의해 분석되고, 분석 결과는 데이터베이스(DB)에 저장될 수 있다.
영상 정렬부(95)는 우선순위가 높은 순서로 정해진 개수의 점프 영상들만을 디스플레이부(80)에 표시하고, 나머지 점프 영상은 삭제할 수 있다. 이에 따라 사용자는 최적의 점프 영상을 신속하게 선택할 수 있다. 또는 영상 정렬부(95)는 사용자가 정렬된 복수의 점프 영상들 중 선택한 점프 영상들만을 디스플레이부(80)에 잔존시키고, 나머지 점프 영상은 삭제할 수 있다. 이때 디스플레이부(80)는 영상 삭제 여부에 대하여 사용자에게 질의하는 메뉴 항목을 표시할 수 있다.
영상 정렬부(95)는 도 3a 및 도 3b 중 우선순위가 높게 설정된 도 3b를 디스플레이부(80)에 도 3a보다 앞선 위치에 정렬시킬 수 있다.
도 4는 본 발명의 다른 실시예에 따른 디지털 영상 처리 장치(1)에서 디지털 신호 처리부를 개략적으로 도시하는 블록도이다.
도 4를 참조하면, 디지털 신호 처리부(50B)는 얼굴인식부(91), 우선순위 결정부(93), 영상정렬부(95) 및 합성부(97)를 포함할 수 있다. 이하에서는 도 2와 동일한 구성 요소에 대한 상세한 설명은 생략하겠다.
얼굴인식부(91)는 연속 촬영되어 입력되는 복수의 점프 영상들 각각에서 얼굴들을 인식할 수 있다.
얼굴인식부(91)는 스크린 네일(screen nail) 영상으로부터 얼굴 영역을 검출함으로써 빠르게 얼굴 영역을 검출할 수 있다. 또한 얼굴인식부(91)는 빠른 연속 촬영에 의해 점프 영상 내에 얼굴이 누락된 경우, 셔터 스피드와 중력 가속도를 이용하여 누락된 얼굴의 위치를 예측함으로써 얼굴 영역을 검출할 수 있다.
얼굴인식부(91)는 얼굴 영역 검출에 의해 얼굴 인식 정보를 추출할 수 있다. 얼굴 인식 정보는 각 점프 영상 내 얼굴들의 위치 및 각 점프 영상 내 얼굴의 개수 등 다양한 정보를 적어도 하나 포함할 수 있다.
우선순위 결정부(93)는 정해진 우선순위 선택 기준에 따라 각 점프 영상의 우선순위를 결정할 수 있다. 우선순위 선택 기준은 사용자의 입력에 의해 결정될 수 있다. 또는 우선순위 선택 기준은 사용자가 선택한 점프 영상의 분석을 통해 결정될 수 있다. 우선순위 결정부(93)는 점프 영상 분석을 통해 사용자가 선호하는 우선순위 선택 기준을 추출하여 데이터베이스화할 수 있다. 우선순위 결정부(93)는 분석 결과를 데이터베이스(DB)에 저장하고, 사용자의 점프 영상 선택이 있을 때마다 데이터베이스(DB)를 업데이트할 수 있다. 우선순위 결정부(93)는 데이터베이스(DB)로부터 최근의 사용자가 선호하는 우선순위 선택 기준을 검색하여, 검색된 우선순위 선택 기준에 따라 각 점프 영상에 우선순위를 결정할 수 있다.
영상 정렬부(95)는 우선순위에 따라 복수의 점프 영상들을 정렬할 수 있다. 영상 정렬부(95)는 미리 정해진 우선순위 선택 기준 또는 데이터베이스(DB)로부터 검색한 사용자가 선호하는 우선순위 선택 기준에 의해 각 점프 영상에 결정된 우선순위에 따라 우선순위가 높은 순으로 복수의 점프 영상들을 정렬하여 디스플레이부(80)에 표시할 수 있다. 사용자는 사용자 입력부(200)를 이용하여 디스플레이부(80)에 정렬된 복수의 점프 영상들 중 적어도 하나를 선택할 수 있다. 영상 정렬부(95)는 우선순위가 높은 순서로 정해진 개수의 점프 영상들만을 디스플레이부(80)에 표시하고, 나머지 점프 영상은 삭제할 수 있다.
짧은 시간에 많은 영상을 촬영할수록 최적의 점프 영상을 획득할 수 있기 때문에, 다수의 사람이 한 번 점프할 때 고성능 카메라의 경우 초당 수 장 내지 수 십장을 고속으로 촬영할 수 있다. 촬영된 점프 영상이 적절한지 확인하기 위해서는 점프 영상 하나하나 확인해야하며, 만약 점프 영상들이 만족스럽지 않다면 다시 모든 사람들이 재촬영을 해야 한다. 재촬영까지 대기 시간은 촬영 횟수가 많을수록 더 늘어날 수밖에 없다.
본 발명의 실시예는 사용자가 디스플레이부(80)에 정렬된 점프 영상들이 최적의 점프 영상으로 만족스럽지 않은 경우, 다시 재촬영을 수행하지 않고, 사용자 입력부(200)를 통해 기 촬영된 점프 영상들을 합성할 수 있다.
이를 위해, 우선순위 결정부(93)는 인물별로 각 점프 영상의 우선순위를 결정할 수 있다. 인물의 얼굴 인식 정보를 개별적으로 평가하여 인물별로 점프 영상의 우선순위를 결정함으로써, 인물마다 우선순위가 높은 점프 영상이 상이할 수 있다. 예를 들어, 복수의 인물들(인물a, 인물b, 인물c, 인물d)에 대한 복수의 점프 영상들(영상A, 영상B, ..., 영상N) 중 영상A는 인물a에 대해서 우선순위가 가장 높은 영상이고, 영상B는 인물c에 대해서 우선순위가 가장 높은 영상일 수 있다.
합성부(97)는 인물마다 우선순위가 가장 높은 점프 영상으로부터 해당 인물들을 추출하여 동일 배경 내에 합성한 합성 영상을 생성할 수 있다. 이로써 사용자 및 피 촬영자들은 재촬영까지 대기할 필요없이 최적의 점프 영상을 획득할 수 있다.
도 5a 내지 도 5c는 합성부(97)의 점프 영상 합성을 보여주는 예시 영상들이다.
도 5a 및 도 5b에는 인물a를 큰 박스로 선택하여 각 점프 영상에서 인물a에 대한 얼굴 인식 정보를 개별적으로 평가함을 도시하고 있다. 도 5a에 도시된 영상A는 인물a, 인물b, 인물c에 대해서 우선순위가 가장 높은 점프 영상이고, 도 5b에 도시된 영상B는 인물d에 대해서 우선순위가 가장 높은 점프 영상이다.
합성부(97)는 사용자의 영상 합성 요청에 따라, 도 5c와 같이 영상A의 인물a, 인물b, 인물c와 영상B의 인물d를 동일 배경 내에 합성한 합성 영상을 최적의 점프 영상으로 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 점프 영상 정렬을 위한 영상 처리 방법을 개략적으로 설명하는 흐름도이다.
도 6을 참조하면, 디지털 영상 처리 장치는 입력되는 복수의 점프 영상들을 수신(S601)하고, 각 점프 영상에서 얼굴들을 인식할 수 있다(S602). 디지털 영상 처리 장치는 점프 영상 내에 얼굴이 누락된 경우, 셔터 스피드와 중력 가속도를 이용하여 누락된 얼굴의 위치를 예측함으로써 얼굴 영역을 검출할 수 있다. 얼굴 영역 검출에 의해 얼굴 인식 정보가 추출될 수 있다. 얼굴 인식 정보는 얼굴들의 위치, 얼굴 개수 등을 포함할 수 있다.
디지털 영상 처리 장치는 각 점프 영상에 대해 우선순위를 결정할 수 있다(S603). 우선순위는 얼굴 인식 정보를 지표로 하며, 정해진 우선순위 선택 기준에 따라 우선순위가 결정될 수 있다. 우선순위 선택 기준은 사용자의 입력에 의해 또는 사용자가 선택한 점프 영상의 분석을 통해 결정될 수 있다.
디지털 영상 처리 장치는 우선순위에 따라 복수의 점프 영상들을 정렬하여 디스플레이부에 표시할 수 있다(S604). 디지털 영상 처리 장치는 우선순위가 높은 순서로 정해진 개수의 점프 영상들만을 디스플레이부에 표시하고, 그 이외의 점프 영상들은 삭제할 수 있다.
디지털 영상 처리 장치는 사용자로부터 디스플레이부에 표시된 복수의 점프 영상들 중 적어도 하나의 점프 영상을 선택하는 입력을 수신할 수 있다(S605).
디지털 영상 처리 장치는 사용자가 선택한 점프 영상들의 얼굴 인식정보를 기초로 사용자가 선호하는 우선순위 선택 기준을 분석할 수 있다(S606).
그리고 디지털 영상 처리 장치는 우선순위 선택 기준 분석 결과를 데이터베이스에 저장하여 업데이트할 수 있다(S607).
디지털 영상 처리 장치는 점프 영상 촬영이 있는 경우, 데이터베이스로부터 사용자가 선호하는 우선순위 선택 기준을 추출하고 추출된 우선순위 선택 기준에 따라 각 점프 영상에 대해 우선순위를 결정할 수 있다. 그러나, 디지털 영상 처리 장치는 사용자로부터 우선순위 선택 기준 입력을 수신한 경우, 입력된 우선순위 선택 기준에 따라 각 점프 영상에 대해 우선순위를 결정할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 점프 영상 정렬을 위한 영상 처리 방법을 개략적으로 설명하는 흐름도이다. 이하에서는 도 6에 도시된 영상 처리 방법과 중복하는 내용의 상세한 설명은 생략하겠다.
도 7을 참조하면, 디지털 영상 처리 장치는 입력되는 복수의 점프 영상들을 수신(S701)하고, 각 점프 영상에서 얼굴들을 인식할 수 있다(S702).
디지털 영상 처리 장치는 각 점프 영상에 대해 우선순위를 결정할 수 있다(S703). 우선순위는 얼굴 인식 정보를 지표로 하며, 정해진 우선순위 선택 기준에 따라 우선순위가 결정될 수 있다. 우선순위 선택 기준은 사용자의 입력에 의해 또는 사용자가 선택한 점프 영상의 분석을 통해 결정될 수 있다. 또한 디지털 영상 처리 장치는 인물별로 각 점프 영상의 우선순위를 결정할 수 있다. 디지털 영상 처리 장치는 각 인물의 위치와 표정을 함께 고려하여 우선순위를 결정할 수 있다.
디지털 영상 처리 장치는 우선순위에 따라 복수의 점프 영상들을 정렬하여 디스플레이부에 표시할 수 있다(S704). 디지털 영상 처리 장치는 우선순위가 높은 순서로 정해진 개수의 점프 영상들만을 디스플레이부에 표시하고, 그 이외의 점프 영상들은 삭제할 수 있다.
디지털 영상 처리 장치는 사용자로부터 점프 영상의 합성을 요청하는 입력을 수신할 수 있다(S705).
디지털 영상 처리 장치는 사용자의 영상 합성 요청에 따라, 인물별로 우선순위가 가장 높은 점프 영상들을 합성한 합성 영상을 생성할 수 있다(S707). 디지털 영상 처리 장치는 인물마다 우선순위가 가장 높은 점프 영상으로부터 해당 인물들을 추출하여 동일 배경 내에 합성한 합성 영상을 최적의 점프 영상으로 생성할 수 있다.
향후 기술의 발달로 연사속도가 증가하게 되면, 사용자가 최적의 점프 영상을 선택하고 삭제하기가 어려워진다. 본 발명의 실시예는 소정 기준에 따라 우선순위를 각 점프 영상에 결정함으로써 최적의 점프 영상 가능성이 있는 점프 영상들을 소정 개수 정렬하고, 그 외 점프 영상들을 자동으로 삭제되도록 하여 빠르게 최적의 점프 영상을 검출할 수 있도록 한다.
또한 본 발명의 실시예는 자동으로 최적의 점프 영상을 선택하는 것이 아니라, 리스트업에 의해 정렬된 점프 영상들 중 사용자가 일부 점프 영상들을 선택하면, 사용자의 선택 결과를 기반으로 사용자가 선호하는 최적 점프 영상의 선택 기준을 추출하여 다음 점프 영상 리스트를 출력시 반영하도록 한다.
또한 본 발명의 실시예는 복수의 점프 영상들이 만족스럽지 않은 경우 촬영된 점프 영상들을 합성하여 재편집함으로써 최적의 점프 영상을 제공할 수 있다.
본 발명의 실시예에 따른 디지털 영상 처리 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
1: 디지털 영상 처리 장치
10: 렌즈 11: 렌즈 구동부
20: 조리개 21: 조리개 구동부
30: 촬상소자 31: 촬상소자 제어부
40: A/D 변환부 50, 50A, 50B: 디지털 신호 처리부
60: 메모리 71: 저장/판독 제어부
70: 저장매체 81: 디스플레이 제어부
80: 디스플레이부 100: CPU
200: 사용자 입력부 210: 통신부
91: 얼굴 인식부 93: 우선순위 결정부
95: 영상 정렬부 97: 합성부

Claims (20)

  1. 연사로 촬영된 복수의 점프 영상들을 정렬하는 영상 처리 방법에 있어서,
    입력되는 상기 복수의 점프 영상들에서 얼굴들을 인식하는 단계;
    각 점프 영상에 대해 얼굴 인식 정보를 지표로 하는 우선순위를 결정하는 단계; 및
    상기 우선순위에 따라 상기 복수의 점프 영상들을 정렬하는 단계;를 포함하고,
    상기 얼굴 인식 정보는, 상기 얼굴들의 위치, 개수 및 표정 중 적어도 하나를 포함하는 영상 처리 방법.
  2. 제1항에 있어서, 상기 점프 영상 정렬 단계는,
    우선순위가 높은 순서로 정해진 개수의 점프 영상 이외의 점프 영상을 삭제하는 단계;를 더 포함하는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 복수의 점프 영상들 중 사용자가 선택한 점프 영상들의 얼굴 인식 정보를 기초로 사용자가 선호하는 우선순위 선택 기준을 분석하는 단계; 및
    상기 우선순위 선택 기준 분석 결과를 데이터베이스에 저장하는 단계;를 더 포함하는 영상 처리 방법.
  4. 제3항에 있어서, 상기 우선순위 결정 단계는,
    상기 데이터베이스로부터 추출된 우선순위 선택 기준에 따라 각 점프 영상에 대해 우선순위를 결정하는 단계;를 포함하는 영상 처리 방법.
  5. 제3항에 있어서,
    상기 우선순위 선택 기준은 얼굴 인식 정보의 통계치들에 대한 가중치인 영상 처리 방법.
  6. 삭제
  7. 제1항에 있어서,
    사용자의 영상 합성 요청에 따라, 인물별로 우선순위가 가장 높은 점프 영상들을 합성한 합성 영상을 생성하는 단계;를 더 포함하는 영상 처리 방법.
  8. 제1항에 있어서, 상기 얼굴 인식 단계는,
    얼굴 누락이 검출되면, 누락된 얼굴의 위치를 예측하는 단계;를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    영상 센서의 셔터 스피드 및 중력 가속도를 이용하여 상기 누락된 얼굴의 위치를 예측하는 영상 처리 방법.
  10. 제1항에 있어서, 상기 우선순위 결정 단계는,
    사용자가 입력한 우선순위 선택 기준에 따라 각 점프 영상의 우선순위를 결정하는 단계;를 포함하는 영상 처리 방법.
  11. 연사로 촬영된 복수의 점프 영상들을 정렬하는 디지털 영상 처리 장치에 있어서,
    하나 이상의 프로그램들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 프로그램들을 실행하는 디지털 신호 처리부를 포함하고,
    상기 디지털 신호 처리부는, 상기 하나 이상의 프로그램들을 실행함으로써,
    입력되는 상기 복수의 점프 영상들에서 얼굴들을 인식하고,
    각 점프 영상에 대해 얼굴 인식 정보를 지표로 하는 우선순위를 결정하며,
    상기 우선순위에 따라 상기 복수의 점프 영상들을 정렬하고,
    상기 얼굴 인식 정보는, 상기 얼굴들의 위치, 개수 및 표정 중 적어도 하나를 포함하는 디지털 영상 처리 장치.
  12. 제11항에 있어서, 상기 디지털 신호 처리부는,
    우선순위가 높은 순서로 정해진 개수의 점프 영상 이외의 점프 영상을 삭제하는 디지털 영상 처리 장치.
  13. 제11항에 있어서, 상기 디지털 신호 처리부는,
    상기 복수의 점프 영상들 중 사용자가 선택한 점프 영상들의 얼굴 인식 정보를 기초로 사용자가 선호하는 우선순위 선택 기준을 분석하여 데이터베이스에 저장하는 디지털 영상 처리 장치.
  14. 제13항에 있어서, 상기 디지털 신호 처리부는,
    상기 데이터베이스로부터 추출된 우선순위 선택 기준에 따라 각 점프 영상에 대해 우선순위를 결정하는 디지털 영상 처리 장치.
  15. 제14항에 있어서,
    상기 우선순위 선택 기준은 얼굴 인식정보의 통계치들에 대한 가중치인 디지털 영상 처리 장치.
  16. 삭제
  17. 제11항에 있어서,
    상기 디지털 신호 처리부는,
    사용자의 영상 합성 요청에 따라, 인물별로 우선순위가 가장 높은 점프 영상들을 합성한 합성 영상을 생성하는 디지털 영상 처리 장치.
  18. 제11항에 있어서, 상기 디지털 신호 처리부는,
    얼굴 누락이 검출되면, 누락된 얼굴의 위치를 예측하는 디지털 영상 처리 장치.
  19. 제18항에 있어서, 상기 디지털 신호 처리부는,
    영상 센서의 셔터 스피드 및 중력 가속도를 이용하여 상기 누락된 얼굴의 위치를 예측하는 디지털 영상 처리 장치.
  20. 제11항에 있어서, 상기 디지털 신호 처리부는,
    사용자가 입력한 우선순위 선택 기준에 따라 각 점프 영상의 우선순위를 결정하는 디지털 영상 처리 장치.
KR1020130104516A 2013-08-30 2013-08-30 디지털 영상 처리 방법 및 디지털 영상 처리 장치 KR102121529B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130104516A KR102121529B1 (ko) 2013-08-30 2013-08-30 디지털 영상 처리 방법 및 디지털 영상 처리 장치
US14/467,456 US9600712B2 (en) 2013-08-30 2014-08-25 Method and apparatus for processing digital images using face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130104516A KR102121529B1 (ko) 2013-08-30 2013-08-30 디지털 영상 처리 방법 및 디지털 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR20150026123A KR20150026123A (ko) 2015-03-11
KR102121529B1 true KR102121529B1 (ko) 2020-06-10

Family

ID=52583328

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130104516A KR102121529B1 (ko) 2013-08-30 2013-08-30 디지털 영상 처리 방법 및 디지털 영상 처리 장치

Country Status (2)

Country Link
US (1) US9600712B2 (ko)
KR (1) KR102121529B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11169661B2 (en) 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
CN108304904A (zh) * 2017-12-08 2018-07-20 南通爱欧塔智能科技有限公司 受控物的标识生成及其设备、存储装置
US11538257B2 (en) 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
US11087119B2 (en) * 2018-05-16 2021-08-10 Gatekeeper Security, Inc. Facial detection and recognition for pedestrian traffic
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
CN114079724A (zh) * 2020-07-31 2022-02-22 北京小米移动软件有限公司 起跳抓拍方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110063440A1 (en) 2009-09-11 2011-03-17 Neustaedter Carman G Time shifted video communications
US20140029859A1 (en) 2012-07-30 2014-01-30 Evernote Corporation Extracting multiple facial photos from a video clip
US20140270370A1 (en) 2013-03-18 2014-09-18 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918499B2 (ja) * 1996-09-17 1999-07-12 株式会社エイ・ティ・アール人間情報通信研究所 顔画像情報変換方法および顔画像情報変換装置
US20110304774A1 (en) * 2010-06-11 2011-12-15 Microsoft Corporation Contextual tagging of recorded data
KR101805626B1 (ko) 2011-11-18 2017-12-08 삼성전자주식회사 디지털 촬영 장치 및 이의 연속 촬영 제어 방법
TW201344546A (zh) * 2012-04-20 2013-11-01 Primax Electronics Ltd 相片資料夾之代表縮圖之自動選擇方法及自動選擇系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110063440A1 (en) 2009-09-11 2011-03-17 Neustaedter Carman G Time shifted video communications
US20140029859A1 (en) 2012-07-30 2014-01-30 Evernote Corporation Extracting multiple facial photos from a video clip
US20140270370A1 (en) 2013-03-18 2014-09-18 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method

Also Published As

Publication number Publication date
US9600712B2 (en) 2017-03-21
KR20150026123A (ko) 2015-03-11
US20150063636A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
KR102121529B1 (ko) 디지털 영상 처리 방법 및 디지털 영상 처리 장치
KR102618495B1 (ko) 영상 처리 장치 및 방법
KR101657635B1 (ko) 사진들을 자동적으로 공유하기 위한 스마트 카메라
KR101185243B1 (ko) 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법
KR100956159B1 (ko) 라이프로그 장치 및 정보 자동 태그 입력 방법
JP5540762B2 (ja) 撮像装置、画像表示装置及び画像表示プログラム
US20130177293A1 (en) Method and apparatus for the assignment of roles for image capturing devices
JP5799817B2 (ja) 指位置検出装置、指位置検出方法及び指位置検出用コンピュータプログラム
CN106254807B (zh) 提取静止图像的电子设备和方法
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
CN102265602A (zh) 图像拍摄装置
KR20190120106A (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
KR101595263B1 (ko) 앨범 관리 방법 및 장치
US20220321792A1 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
JP2011090411A (ja) 画像処理装置、画像処理方法
JP2013232060A (ja) 画像認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
US8941767B2 (en) Mobile device and method for controlling the same
US8866953B2 (en) Mobile device and method for controlling the same
JP2017085204A (ja) メタデータの登録制御
JP6292872B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2013165413A (ja) 画像表示装置
KR20150142317A (ko) 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템
JP6873397B2 (ja) 画像表示装置、画像表示制御方法及びプログラム
CN109660712A (zh) 选择视频序列的帧的方法、系统和装置
KR101477535B1 (ko) 이미지 검색 방법 및 장치, 이를 이용한 디지털 촬영 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant