KR20140134549A - 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법 - Google Patents

연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법 Download PDF

Info

Publication number
KR20140134549A
KR20140134549A KR1020130054588A KR20130054588A KR20140134549A KR 20140134549 A KR20140134549 A KR 20140134549A KR 1020130054588 A KR1020130054588 A KR 1020130054588A KR 20130054588 A KR20130054588 A KR 20130054588A KR 20140134549 A KR20140134549 A KR 20140134549A
Authority
KR
South Korea
Prior art keywords
image
difference value
images
determined
extracting
Prior art date
Application number
KR1020130054588A
Other languages
English (en)
Other versions
KR102065362B1 (ko
Inventor
김현준
최영상
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130054588A priority Critical patent/KR102065362B1/ko
Priority to PCT/KR2014/004272 priority patent/WO2014185691A1/ko
Priority to CN201480026824.4A priority patent/CN105229700B/zh
Priority to EP14797460.4A priority patent/EP2998928B1/en
Publication of KR20140134549A publication Critical patent/KR20140134549A/ko
Priority to US14/940,545 priority patent/US9940718B2/en
Application granted granted Critical
Publication of KR102065362B1 publication Critical patent/KR102065362B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법이 개시된다. 일 양상에 따른 고조점 이미지 추출 장치는, 연속 촬영된 이미지 중 하나를 선택하는 이미지 선택부와, 미리 설정된 기준에 따라 적어도 하나 이상의 기준 이미지를 결정하는 기준 이미지 결정부와, 결정된 적어도 하나 이상의 기준 이미지와 선택된 이미지의 차이값을 산출하는 차이값 산출부와, 산출된 차이값을 기반으로 연속 촬영된 이미지 중에서 고조점 이미지를 판별하는 고조점 이미지 판별부를 포함할 수 있다.

Description

연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법{Apparatus and Method for extracting peak image in continuously photographed image}
이미지 처리 기술과 관련된 것으로, 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법에 관한 것이다.
연속적으로 촬영된 영상 이미지를 바탕으로 인식 작업을 수행하고자 하는 경우, 연속적으로 촬영된 영상 이미지에는 인식 작업을 수행하고자 하는 목적 이미지 이외의 다양한 이미지가 포함될 수가 있어, 인식의 성능을 높이기 위해서는 이미지에 포함된 객체의 변화 등을 잘 관찰하는 노력이 필요하다. 그러나, 이러한 방법은 스틸 이미지(still image)의 인식과는 다른 새로운 학습기 구성이 필요하며, 새로운 학습기를 구성하여 인식 작업을 수행하더라도 인식의 정확도를 향상시키는데 어려움이 있다. 더욱이 이러한 방법은 스틸 이미지의 인식보다 많은 계산량을 필요로 하기 때문에, 스마트 폰 또는 태블릿 PC 등 휴대성을 중요시하는 모바일 기기에 적용하는 데도 어려움이 있다.
연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법을 제공하는 것을 목적으로 한다.
일 양상에 따른 고조점 이미지 추출 장치는, 연속 촬영된 이미지 중 하나를 선택하는 이미지 선택부와, 미리 설정된 기준에 따라 적어도 하나 이상의 기준 이미지를 결정하는 기준 이미지 결정부와, 결정된 적어도 하나 이상의 기준 이미지와 선택된 이미지의 차이값을 산출하는 차이값 산출부와, 산출된 차이값을 기반으로 연속 촬영된 이미지 중에서 고조점 이미지를 판별하는 고조점 이미지 판별부를 포함할 수 있다.
기준 이미지 결정부는, 선택된 이미지의 직전 프레임 또는 직후 프레임의 이미지, 사용자에 의해 기준 이미지로 등록된 이미지, 연속 촬영된 이미지 중 임의의 하나, 사용자의 사용 로그에 비추어 사용자가 가장 많이 짓는 표정 또는 가장 적게 짓는 표정과 관련된 이미지 중 적어도 하나를 기준 이미지로 결정할 수 있다.
차이값 산출부는, 결정된 적어도 하나 이상의 기준 이미지와 선택된 이미지의 특징값을 추출하고 추출된 특징값을 이용하여 차이값을 산출할 수 있다.
차이값 산출부는, 복수의 기준 이미지가 결정된 경우, 복수의 기준 이미지 각각과 선택된 이미지의 개별 차이값을 누적하거나, 복수의 기준 이미지의 평균 특징값과 선택된 이미지의 특징값을 비교할 수 있다.
차이값 산출부는, 이미지 내 피사체의 특정 부위에 가중치를 적용하여 결정된 기준 이미지와 선택된 이미지의 차이값을 산출할 수 있다.
고조점 이미지 판별부는, 차이값이 미리 설정된 임계값 이상인 이미지, 또는 연속 촬영된 이미지 중에서 차이값이 가장 크거나 가장 작은 이미지를 고조점 이미지로 판별할 수 있다.
고조점 이미지 추출 장치는, 피사체를 연속 촬영하여 연속 촬영 이미지를 생성하는 연속 촬영 이미지 생성부를 더 포함할 수 있다.
다른 양상에 따른 고조점 이미지 추출 방법은, 연속 촬영된 이미지 중 하나를 선택하는 단계와, 미리 설정된 기준에 따라 적어도 하나 이상의 기준 이미지를 결정하는 단계와, 결정된 적어도 하나 이상의 기준 이미지와 선택된 이미지의 차이값을 산출하는 단계와, 산출된 차이값을 기반으로 연속 촬영된 이미지 중에서 고조점 이미지를 판별하는 단계를 포함할 수 있다.
기준 이미지를 결정하는 단계는, 선택된 이미지의 직전 프레임 또는 직후 프레임의 이미지, 사용자에 의해 기준 이미지로 등록된 이미지, 연속 촬영된 이미지 중 임의의 하나, 사용자의 사용 로그에 비추어 사용자가 가장 많이 짓는 표정 또는 가장 적게 짓는 표정과 관련된 이미지 중 적어도 하나를 기준 이미지로 결정할 수 있다.
차이값을 산출하는 단계는, 결정된 적어도 하나 이상의 기준 이미지와 선택된 이미지의 특징값을 추출하는 단계와, 추출된 특징값을 이용하여 차이값을 산출하는 단계를 포함할 수 있다.
차이값을 산출하는 단계는, 복수의 기준 이미지가 결정된 경우, 복수의 기준 이미지 각각과 선택된 이미지의 개별 차이값을 누적하거나, 복수의 기준 이미지의 평균 특징값과 선택된 이미지의 특징값을 비교할 수 있다.
차이값을 산출하는 단계는, 이미지 내 피사체의 특정 부위에 가중치를 적용하여 결정된 기준 이미지와 선택된 이미지의 차이값을 산출할 수 있다.
고조점 이미지를 판별하는 단계는, 기준 이미지와의 차이값이 미리 설정된 임계값 이상인 이미지, 또는 연속 촬영된 이미지 중에서 기준 이미지와의 차이값이 가장 크거나 가장 작은 이미지를 고조점 이미지로 판별할 수 있다.
고조점 이미지 추출 방법은, 피사체를 연속 촬영하여 연속 촬영 이미지를 생성하는 단계를 더 포함할 수 있다.
촬영 대상의 표정 또는 제스처 등의 변화를 감지하고, 다수의 연속 촬영 이미지 중에서 변화가 가장 큰 시점의 이미지 또는 변화가 발생한 시점의 이미지를 추출함으로써, 표정 인식, 제스처 인식, 얼굴 인식에서 의미 있는 장면만을 선별함으로써 인식의 성능을 높일 수 있다.
표정의 지속 시간을 계산함으로써 사용자의 집중도 등의 추가적인 상태를 감지할 수 있다.
도 1은 일 실시 예에 따른 고조점 이미지 추출 장치의 구성도이다.
도 2는 기준 이미지에 따라 고조점 이미지를 판별하는 방법을 설명하기 위한 예시도이다.
도 3은 일 실시 예에 따른 고조점 이미지 추출 방법의 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 설명되는 고조점 이미지(peak image)란 연속 촬영된 이미지 내의 대상물 또는 피사체의 포즈 또는 제스처의 변화가 가장 큰 시점의 이미지 또는 변화가 발생한 시점의 이미지를 의미한다.
도 1은 일 실시 예에 따른 고조점 이미지 추출 장치의 구성도이다.
이때, 본 명세서의 일 실시 예에 나타나는 각 구성부는 그 기능에 따라 구분한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 표현한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고, 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
도 1을 참조하면, 일 실시 예에 따른 고조점 이미지 추출 장치(100)는 연속 촬영 이미지 생성부(110), 이미지 선택부(120), 기준 이미지 결정부(130), 차이값 산출부(140), 고조점 이미지 판별부(150)를 포함할 수 있다.
연속 촬영 이미지 생성부(110)는 피사체를 연속적으로 촬영하여 연속 촬영된 이미지(이하, 연속 촬영 이미지)를 생성할 수 있다. 일 실시 예에 따르면, 연속 촬영 이미지 생성부(110)는 피사체를 연속적으로 촬영하여 복수의 연속 촬영 이미지를 생성할 수 있는 디지털 카메라, 캠코더, 휴대폰, PMP, 웹 캠 등으로 구현될 수 있다.
한편, 연속 촬영 이미지 생성부(110)는 도시된 바와 같이 고조점 이미지 추출 장치(100)의 내부에 구현될 수도 있지만, 고조점 이미지 추출 장치(100)의 외부에 별도의 장치로 구현되는 것도 가능하다.
이미지 선택부(120)는 연속 촬영된 이미지 중 하나의 이미지를 선택할 수 있다. 일 실시 예에 따르면, 이미지 선택부(120)는 연속 촬영된 이미지 중에서 시간적으로 먼저 생성된 이미지부터 순차적으로 선택할 수 있다.
기준 이미지 결정부(130)는 미리 설정된 기준에 따라 기준 이미지를 결정할 수 있다. 일 실시 예에 따르면, 기준 이미지 결정부(130)는 이미지 선택부(120)에서 선택된 이미지의 직전 프레임의 이미지 또는 직후 프레임의 이미지, 사용자가 기준 이미지로 사용하기 위해 등록한 이미지, 연속 촬영 이미지 중 임의의 하나, 사용자의 사용 로그에 비추어 사용자가 가장 많이 짓는 표정 또는 가장 적게 짓는 표정과 관련된 이미지 등을 기준 이미지로 결정할 수 있다. 그러나, 이에 한정되는 것은 아니며, 발명의 용도 또는 성능에 따라 연속 촬영 이미지 중에서 특정 범위 내에 있는 다수의 이미지를 기준 이미지로 결정하는 등 다양한 기준에 의하여 기준 이미지를 결정할 수 있다.
기준 이미지 결정부(130)가 사용자의 사용 로그에 비추어 사용자가 가장 많이 짓는 표정 또는 가장 적게 짓는 표정과 관련된 이미지를 기준 이미지로 결정하는 경우, 고조점 이미지 추출 장치(100)는 사용자의 사용 로그 정보를 저장하는 사용 로그 저장부(미도시)를 더 포함할 수 있다.
일 실시 예에 따르면, 기준 이미지 결정부(130)는 기준 이미지로 하나의 이미지만을 결정하는 것도 가능하며, 발명의 용도 또는 기능에 따라 복수의 기준 이미지를 결정하는 것도 가능하다. 복수의 기준 이미지가 결정된 경우, 후술하는 바와 같이, 각 기준 이미지 별로 가중치를 부여하고, 각 기준 이미지와의 차이값에 해당 가중치를 적용하여, 이를 기반으로 고조점 이미지를 판별할 수 있다.
차이값 산출부(140)는 이미지 선택부(120)에서 선택된 이미지와 기준 이미지 결정부(130)에서 결정된 기준 이미지의 차이값을 산출할 수 있다.
일 실시 예에 따르면, 차이값 산출부(140)는 이미지 선택부(120)에서 선택된 이미지와 기준 이미지 결정부(130)에서 결정된 기준 이미지를 각각 분석하여 특징값을 추출하고, 추출된 특징값을 비교하여 유사도를 판단함으로써, 차이값을 산출할 수 있다. 이때, 유사도 판단 방법으로는 각 정해진 영역의 화소에 대한 경계 히스토그램(edge histogram)을 이용하는 방법, 얼굴 안면의 랜드 마크를 활용한 Active Shape Model을 이용하는 방법, 양 이미지의 색상 히스토그램을 비교하는 방법, 양 이미지의 색상 변화량을 비교하는 방법, SIFT(Scalar Invariant Feature Transform), SURF(Speeded Up Robust Features) 알고리즘을 이용하는 방법 등을 이용할 수 있으나, 이에 한정되는 것은 아니며, 다양한 이미지 유사도 판단 알고리즘을 이용할 수 있다.
일 실시 예에 따르면, 기준 이미지 결정부(130)가 하나의 기준 이미지를 결정한 경우, 차이값 산출부(140)는 기준 이미지와 이미지 선택부(120)에서 선택한 이미지의 차이값을 산출할 때, 양 이미지 내 피사체의 특정 부위에 가중치를 적용할 수 있다. 즉, 차이값 산출부(140)는 이미지 내의 피사체의 눈, 코, 입 등에 각각 서로 다른 가중치를 적용하고, 이를 기반으로 양 이미지의 차이값을 산출할 수 있다.
일 실시 예에 따르면, 기준 이미지 결정부(130)가 복수의 기준 이미지를 결정한 경우, 차이값 산출부(140)는 복수의 기준 이미지와 이미지 선택부(120)에서 선택한 이미지의 차이값을 산출할 때, 복수의 기준 이미지 각각 과의 차이값을 누적하거나, 복수의 기준 이미지의 특징값에 대하여 평균값을 산출하고 산출된 특징값의 평균값과 이미지 선택부(120)에서 선택한 이미지의 특징값을 비교함으로써, 복수의 기준 이미지와의 차이값을 산출할 수 있다. 이때, 기준 이미지 별로 서로 다른 가중치를 부여하여 각 기준 이미지와의 차이값에 해당 가중치를 적용하는 것도 가능하다.
고조점 이미지 판별부(150)는 차이값 산출부(140)에서 산출된 차이값을 기반으로 연속 촬영된 이미지 중에서 고조점 이미지를 판별할 수 있다. 일 실시 예에 따르면, 고조점 이미지 판별부(150)는 기준 이미지와의 차이값이 미리 설정된 임계값 이상인 이미지를 고조점 이미지로 판별하거나, 연속 촬영 이미지 생성부(110)에서 생성된 연속 촬영 이미지 중에서 기준 이미지와의 차이값이 가장 크거나 가장 작은 이미지를 고조점 이미지로 판별할 수 있다.
도 2는 기준 이미지에 따라 고조점 이미지를 판별하는 방법을 설명하기 위한 예시도이다. 이때, 연속 촬영된 이미지 생성부(110)는 1초 동안 10 장의 연속 촬영 이미지(210a 내지 210j)를 생성하였다고 가정한다.
도 2를 참조하면, Case 1은 기준 이미지가 이미지 선택부(120)에서 선택된 이미지의 직전 프레임의 이미지인 경우를, Case 2는 기준 이미지가 사용자의 무표정 이미지인 경우를, Case 3은 기준 이미지가 사용자의 웃는 표정 이미지인 경우를 나타낸다. 이때, Case 2 및 3의 기준 이미지는 사용자가 기준 이미지로 사용하기 위해 미리 등록한 이미지, 연속 촬영 이미지 중 임의의 하나 또는 사용자의 사용 로그에 비추어 사용자가 가장 많이 짓는 표정 또는 가장 적게 짓는 표정과 관련된 이미지로서 기준 이미지 결정부(130)에 의해 기준 이미지로 결정된 이미지이다.
기준 이미지가 이미지 선택부(120)에서 선택된 이미지의 직전 프레임의 이미지인 경우(Case 1), 차이값 산출부(140)는 서로 이웃하는 이미지를 상호 비교하여 그 차이값을 산출하게 된다. 이때, 고조점 이미지 판별부(150)는 연속 촬영 이미지(210a 내지 210j) 중에서 기준 이미지와의 차이값이 미리 설정된 임계값 이상인 이미지(210c, 210j)를 고조점 이미지로 판별할 수 있다.
기준 이미지가 사용자의 무표정 이미지인 경우(Case 2), 차이값 산출부(140)는 기준 이미지로 결정된 무표정 이미지와 연속 촬영 이미지 각각을 비교하여 그 차이값을 산출하게 된다. 이때, 고조점 이미지 판별부(150)는 연속 촬영 이미지(210a 내지 210j) 중에서 기준 이미지와의 차이값이 가장 큰 이미지(210f)를 고조점 이미지로 판별할 수 있다.
기준 이미지가 사용자의 웃는 표정 이미지인 경우(Case 3), 차이값 산출부(140)는 기준 이미지로 결정된 웃는 표정 이미지와 연속 촬영 이미지 각각을 비교하여 그 차이값을 산출하게 된다. 이때, 고조점 이미지 판별부(150)는 연속 촬영 이미지(210a 내지 210j) 중에서 기준 이미지와의 차이값이 가장 작은 이미지(210f)를 고조점 이미지로 판별할 수 있다.
한편, Case 1 내지 3을 설명함에 있어, 각 case 별로 고조점 이미지를 판별할 때 사용되는 기준을 다르게 적용하였으나, 발명의 용도 또는 성능에 따라 동일 기준이 적용될 수도 있으며, 각 case별로 서로 다른 둘 이상의 기준이 동시에 적용될 수도 있다.
이하, 고조점 이미지 추출 장치(100)가 적용되는 시스템을 예를 들어 설명한다. 고조점 이미지 추출 장치(100)는 표정 인식 시스템, 얼굴 인식 시스템 등에 적용할 수 있다.
표정 인식 시스템은 사용자의 표정을 인식하여 사용자의 감정 상태를 추측하여 추측된 감정 상태를 기반으로 다양한 서비스를 제공하기 위한 것으로, 표정 변화가 없는 부분 보다 표정 변화가 있는 부분이 중요한 의미를 가질 수 있다. 따라서, 고조점 이미지 추출 장치(100)가 표정 인식 시스템에 적용되는 경우, 고조점 이미지 추출 장치(100)는 연속 촬영된 이미지 중에서 사용자의 표정 변화가 발생한 이미지(210c, 210j) 또는 표정 변화가 가장 큰 부분의 이미지(210f)를 추출하여 표정 인식 시스템의 입력으로 제공함으로써, 표정 인식 시스템의 정확도(precision)를 향상시키고, 표정 인식의 에러 비율(error rate)을 낮출 수 있다.
얼굴 인식 시스템은 사용자의 얼굴을 인식하여, 사용자를 식별하고, 이에 따른 다양한 서비스를 제공하기 위한 것으로, 표정 변화가 있는 부분 보다 표정 변화가 없는 부분이 중요한 의미를 가질 수 있다. 따라서, 고조점 이미지 추출 장치(100)가 얼굴 인식 시스템에 적용되는 경우, 고조점 이미지 추출 장치(100)는 얼굴 인식의 에러를 발생시킬 수 있는 갑작스런 표정 변화를 인식하고, 이를 고조점 이미지로 추출하여, 추출된 이미지를 제외한 나머지 이미지를 얼굴 인식 시스템의 입력으로 제공함으로써, 얼굴 인식의 정확도를 향상시킬 수 있다.
지금까지, 고조점 이미지 추출 장치(100)가 표정 인식 시스템, 얼굴 인식 시스템에 적용되는 예를 설명하였으나, 이는 일 예에 불과할 뿐, 이에 한정되는 것은 아니며, 제스처 인식 시스템 등 다양한 인식 시스템에 적용 가능하다. 또한, 짧은 시간의 표정 변화를 인식하여 사용자의 선호도 정보를 파악함으로써 다양한 서비스를 제공하는 시스템, 표정의 지속 시간 등을 계산함으로써 사용자의 집중도 등의 사용자 상태를 감지하여 다양한 서비스를 제공하는 시스템에도 적용이 가능하다.
도 3은 일 실시 예에 따른 고조점 이미지 추출 방법의 흐름도이다.
도 3을 참조하면, 일 실시 예에 따른 고조점 이미지 추출 방법은, 먼저, 피사체를 연속 촬영하여 연속 촬영 이미지를 생성한다(310). 예를 들어, 연속 촬영 이미지 생성부(110)는 피사체를 연속 촬영하여 연속 촬영 이미지를 생성할 수 있다.
그 후, 생성된 연속 촬영 이미지 중 하나를 선택한다(320). 예를 들어, 이미지 선택부(120)는 연속 촬영 이미지 중에서 시간적으로 먼저 생성된 이미지부터 순차적으로 선택할 수 있다.
그 후, 미리 설정된 기준에 따라 단계 320에서 선택된 이미지와의 차이값을 산출하기 위한 기준 이미지를 결정한다(330). 예를 들어, 기준 이미지 결정부(130)는 이미지 선택부(120)에서 선택된 이미지의 직전 프레임 또는 직후 프레임의 이미지, 사용자가 기준 이미지로 사용하기 위해 등록한 이미지, 연속 촬영 이미지 중 임의의 하나, 사용자의 사용 로그에 비추어 사용자가 가장 많이 짓는 표정 또는 가장 적게 짓는 표정과 관련된 이미지 등을 기준 이미지로 결정할 수 있다. 이때, 기준 이미지 결정부(130)는 기준 이미지로 하나의 이미지만을 결정하는 것도 가능하며, 발명의 용도 또는 기능에 따라 복수의 기준 이미지를 결정하는 것도 가능하다.
그 후, 단계 320에서 선택된 이미지와 기준 이미지를 비교하여 차이값을 산출한다(140). 예를 들어, 차이값 산출부(140)는 양 이미지를 각각 분석하여 특징값을 추출하고, 추출된 특징값을 비교하여 유사도를 판단함으로써, 차이값을 산출할 수 있다. 차이값 산출부(140)는 양 이미지의 차이값을 산출할 때, 양 이미지 내 피사체의 특정 부위에 가중치를 적용할 수 있다. 또한, 기준 이미지 결정부(130)가 복수의 기준 이미지를 결정한 경우, 차이값 산출부(140)는 복수의 기준 이미지 각각과의 차이값을 누적하거나, 복수의 기준 이미지의 특징값에 대하여 평균값을 산출하고 산출된 특징값의 평균값을 이용하여 차이값을 산출할 수 있다. 또한, 기준 이미지 별로 서로 다른 가중치를 부여하고, 각 기준 이미지와의 차이값에 해당 가중치를 적용하는 것도 가능하다.
그 후, 산출된 차이값을 기반으로 고조점 이미지를 판별한다(350). 예를 들어, 고조점 이미지 판별부(150)는 산출된 차이값을 기반으로 연속 촬영된 이미지 중에서 고조점 이미지를 판별할 수 있다. 일 실시 예에 따르면, 기준 이미지와의 차이값이 미리 설정된 임계값 이상인 이미지를 고조점 이미지로 판별하거나, 연속 촬영 이미지 중에서 기준 이미지와의 차이값이 가장 크거나 가장 작은 이미지를 고조점 이미지로 판별할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
100: 고조점 이미지 추출 장치, 110: 연속 촬영 이미지 생성부,
120: 이미지 선택부, 130: 기준 이미지 결정부,
140: 차이값 산출부, 150: 고조점 이미지 판별부.

Claims (14)

  1. 연속 촬영된 이미지 중 하나를 선택하는 이미지 선택부;
    미리 설정된 기준에 따라 적어도 하나 이상의 기준 이미지를 결정하는 기준 이미지 결정부;
    상기 결정된 적어도 하나 이상의 기준 이미지와 상기 선택된 이미지의 차이값을 산출하는 차이값 산출부; 및
    상기 산출된 차이값을 기반으로 상기 연속 촬영된 이미지 중에서 고조점 이미지를 판별하는 고조점 이미지 판별부; 를 포함하는 고조점 이미지 추출 장치.
  2. 제 1항에 있어서,
    상기 기준 이미지 결정부는, 상기 선택된 이미지의 직전 프레임 또는 직후 프레임의 이미지, 사용자에 의해 기준 이미지로 등록된 이미지, 상기 연속 촬영된 이미지 중 임의의 하나, 사용자의 사용 로그에 비추어 사용자가 가장 많이 짓는 표정 또는 가장 적게 짓는 표정과 관련된 이미지 중 적어도 하나를 기준 이미지로 결정하는 고조점 이미지 추출 장치.
  3. 제 1항에 있어서,
    상기 차이값 산출부는, 상기 결정된 적어도 하나 이상의 기준 이미지와 상기 선택된 이미지의 특징값을 추출하고 추출된 특징값을 이용하여 차이값을 산출하는 고조점 이미지 추출 장치.
  4. 제 1항에 있어서,
    상기 차이값 산출부는, 복수의 기준 이미지가 결정된 경우, 상기 복수의 기준 이미지 각각과 상기 선택된 이미지의 개별 차이값을 누적하거나, 상기 복수의 기준 이미지의 평균 특징값과 상기 선택된 이미지의 특징값을 비교하는 고조점 이미지 추출 장치.
  5. 제 1항에 있어서,
    상기 차이값 산출부는 이미지 내 피사체의 특정 부위에 가중치를 적용하여 상기 결정된 적어도 하나 이상의 기준 이미지와 상기 선택된 이미지의 차이값을 산출하는 고조점 이미지 추출 장치.
  6. 제 1항에 있어서,
    상기 고조점 이미지 판별부는, 상기 차이값이 미리 설정된 임계값 이상인 이미지, 또는 상기 연속 촬영된 이미지 중에서 상기 차이값이 가장 크거나 가장 작은 이미지를 고조점 이미지로 판별하는 고조점 이미지 추출 장치.
  7. 제 1항에 있어서,
    피사체를 연속 촬영하여 연속 촬영 이미지를 생성하는 연속 촬영 이미지 생성부; 를 더 포함하는 고조점 이미지 추출 장치.
  8. 연속 촬영된 이미지 중 하나를 선택하는 단계;
    미리 설정된 기준에 따라 적어도 하나 이상의 기준 이미지를 결정하는 단계;
    상기 결정된 적어도 하나 이상의 기준 이미지와 상기 선택된 이미지의 차이값을 산출하는 단계; 및
    상기 산출된 차이값을 기반으로 상기 연속 촬영된 이미지 중에서 고조점 이미지를 판별하는 단계; 를 포함하는 고조점 이미지 추출 방법.
  9. 제 8항에 있어서,
    상기 기준 이미지를 결정하는 단계는, 상기 선택된 이미지의 직전 프레임 또는 직후 프레임의 이미지, 사용자에 의해 기준 이미지로 등록된 이미지, 상기 연속 촬영된 이미지 중 임의의 하나, 사용자의 사용 로그에 비추어 사용자가 가장 많이 짓는 표정 또는 가장 적게 짓는 표정과 관련된 이미지 중 적어도 하나를 기준 이미지로 결정하는 고조점 이미지 추출 방법.
  10. 제 8항에 있어서,
    상기 차이값을 산출하는 단계는,
    상기 결정된 적어도 하나 이상의 기준 이미지와 상기 선택된 이미지의 특징값을 추출하는 단계; 및
    상기 추출된 특징값을 이용하여 차이값을 산출하는 단계; 를 포함하는 고조점 이미지 추출 방법.
  11. 제 8항에 있어서,
    상기 차이값을 산출하는 단계는, 복수의 기준 이미지가 결정된 경우, 상기 복수의 기준 이미지 각각과 상기 선택된 이미지의 개별 차이값을 누적하거나, 상기 복수의 기준 이미지의 평균 특징값과 상기 선택된 이미지의 특징값을 비교하는 고조점 이미지 추출 방법.
  12. 제 8항에 있어서,
    상기 차이값을 산출하는 단계는, 이미지 내 피사체의 특정 부위에 가중치를 적용하여 상기 결정된 기준 이미지와 상기 선택된 이미지의 차이값을 산출하는 고조점 이미지 추출 방법.
  13. 제 8항에 있어서,
    상기 고조점 이미지를 판별하는 단계는, 상기 차이값이 미리 설정된 임계값 이상인 이미지, 또는 상기 연속 촬영된 이미지 중에서 상기 차이값이 가장 크거나 가장 작은 이미지를 고조점 이미지로 판별하는 고조점 이미지 추출 방법.
  14. 제 8항에 있어서,
    피사체를 연속 촬영하여 연속 촬영 이미지를 생성하는 단계; 를 더 포함하는 고조점 이미지 추출 방법.

















KR1020130054588A 2013-05-14 2013-05-14 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법 KR102065362B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130054588A KR102065362B1 (ko) 2013-05-14 2013-05-14 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
PCT/KR2014/004272 WO2014185691A1 (ko) 2013-05-14 2014-05-13 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
CN201480026824.4A CN105229700B (zh) 2013-05-14 2014-05-13 用于从多个连续拍摄图像提取峰图像的设备和方法
EP14797460.4A EP2998928B1 (en) 2013-05-14 2014-05-13 Apparatus and method for extracting high watermark image from continuously photographed images
US14/940,545 US9940718B2 (en) 2013-05-14 2015-11-13 Apparatus and method for extracting peak image from continuously photographed images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130054588A KR102065362B1 (ko) 2013-05-14 2013-05-14 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140134549A true KR20140134549A (ko) 2014-11-24
KR102065362B1 KR102065362B1 (ko) 2020-01-13

Family

ID=51898610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130054588A KR102065362B1 (ko) 2013-05-14 2013-05-14 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법

Country Status (5)

Country Link
US (1) US9940718B2 (ko)
EP (1) EP2998928B1 (ko)
KR (1) KR102065362B1 (ko)
CN (1) CN105229700B (ko)
WO (1) WO2014185691A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102156899B1 (ko) * 2019-11-14 2020-09-16 한국광기술원 디자인 생성장치 및 방법
US12086212B2 (en) 2021-02-08 2024-09-10 Samsung Electronics Co., Ltd. Burst image-based image restoration method and apparatus

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
CN109902189B (zh) * 2018-11-30 2021-02-12 华为技术有限公司 一种图片选择方法及相关设备
CN112967166A (zh) * 2021-03-19 2021-06-15 北京星汉博纳医药科技有限公司 一种基于openCV的图片水印自动识别处理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089077A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081682A (ja) * 2005-09-13 2007-03-29 Canon Inc 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
KR100692526B1 (ko) 2005-12-08 2007-03-12 한국전자통신연구원 시스템 자동제어용 제스처 인식 장치 및 그 방법
KR101351091B1 (ko) * 2006-12-22 2014-01-14 삼성전자주식회사 화상형성장치 및 그 연사촬영 이미지의 제어방법
JP4853320B2 (ja) 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
WO2009069831A1 (en) * 2007-11-29 2009-06-04 Kabushiki Kaisha Toshiba Picture processing method and picture processing apparatus
JP2009278287A (ja) * 2008-05-13 2009-11-26 Canon Inc 撮像装置及び撮像方法
KR100988323B1 (ko) 2008-07-24 2010-10-18 포항공과대학교 산학협력단 표정 증폭을 이용한 미세 표정인식 방법 및 장치
JP2010068190A (ja) 2008-09-10 2010-03-25 Nikon Corp デジタルカメラ、画像処理装置およびデジタルカメラシステム
KR101560690B1 (ko) * 2008-11-27 2015-10-16 동부대우전자 주식회사 디지털 녹화기의 썸네일 생성 장치 및 방법
US20120189208A1 (en) 2009-09-16 2012-07-26 Pioneer Corporation Image processing apparatus, image processing method, image processing program, and storage medium
KR20110037485A (ko) * 2009-10-07 2011-04-13 (주)아구스 상황 변화 인식 방법 및 이를 이용한 영상 처리 장치
KR20120012208A (ko) * 2010-07-30 2012-02-09 주식회사 케이티 비쥬얼 리듬을 이용한 장면 전환 검출 방법 및 장치
JP5631106B2 (ja) * 2010-08-18 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
KR20120084517A (ko) 2011-01-20 2012-07-30 원광대학교산학협력단 실시간 미소 훈련 시스템
KR101748372B1 (ko) 2011-02-18 2017-06-19 에스케이플래닛 주식회사 얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법
JP2013003706A (ja) 2011-06-14 2013-01-07 Nippon Telegr & Teleph Corp <Ntt> 表情認識装置、方法、及びプログラム
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089077A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dynamics of facial expression: recognition of facial actions and their temporal segments from face profile image sequences *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102156899B1 (ko) * 2019-11-14 2020-09-16 한국광기술원 디자인 생성장치 및 방법
US12086212B2 (en) 2021-02-08 2024-09-10 Samsung Electronics Co., Ltd. Burst image-based image restoration method and apparatus

Also Published As

Publication number Publication date
EP2998928A1 (en) 2016-03-23
EP2998928A4 (en) 2017-02-22
KR102065362B1 (ko) 2020-01-13
CN105229700A (zh) 2016-01-06
EP2998928B1 (en) 2023-02-15
WO2014185691A1 (ko) 2014-11-20
US20160071273A1 (en) 2016-03-10
US9940718B2 (en) 2018-04-10
CN105229700B (zh) 2018-10-26

Similar Documents

Publication Publication Date Title
KR102122348B1 (ko) 얼굴 생체 내 검출 방법 및 장치
US9619708B2 (en) Method of detecting a main subject in an image
EP2866170B1 (en) Image processing device and image processing method
EP3767520B1 (en) Method, device, equipment and medium for locating center of target object region
JP4988770B2 (ja) モード間の関心領域画像オブジェクト区分
US8515124B2 (en) Method and apparatus for determining fake image
JP5010905B2 (ja) 顔認証装置
US8983202B2 (en) Smile detection systems and methods
JP4642128B2 (ja) 画像処理方法、画像処理装置及びシステム
KR101159164B1 (ko) 위조 영상 판별 장치 및 그 방법
KR101937323B1 (ko) 위장 얼굴 판별 장치 및 방법
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN113302907B (zh) 拍摄方法、装置、设备及计算机可读存储介质
JP2016095808A (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP6157165B2 (ja) 視線検出装置及び撮像装置
US11315360B2 (en) Live facial recognition system and method
KR20140134549A (ko) 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
CN108875488B (zh) 对象跟踪方法、对象跟踪装置以及计算机可读存储介质
CN113469135A (zh) 对象身份信息的确定方法、装置、存储介质及电子装置
CN105450973A (zh) 一种视频图像的获取方法及装置
KR102194511B1 (ko) 대표 영상프레임 결정시스템 및 이를 이용한 방법
JP2015158745A (ja) 行動識別器生成装置、行動認識装置及びプログラム
CN111191484A (zh) 视频图像中人物说话的识别方法和装置
Dixit et al. SIFRS: Spoof Invariant Facial Recognition System (A Helping Hand for Visual Impaired People)
KR20150057475A (ko) 유해 동영상 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant