KR101785204B1 - 로우 레벨 차이 맵과 하이 레벨 피처를 이용하는 핵심 영역 검출 방법 및 시스템 - Google Patents

로우 레벨 차이 맵과 하이 레벨 피처를 이용하는 핵심 영역 검출 방법 및 시스템 Download PDF

Info

Publication number
KR101785204B1
KR101785204B1 KR1020160056939A KR20160056939A KR101785204B1 KR 101785204 B1 KR101785204 B1 KR 101785204B1 KR 1020160056939 A KR1020160056939 A KR 1020160056939A KR 20160056939 A KR20160056939 A KR 20160056939A KR 101785204 B1 KR101785204 B1 KR 101785204B1
Authority
KR
South Korea
Prior art keywords
low level
super pixels
image
level feature
map
Prior art date
Application number
KR1020160056939A
Other languages
English (en)
Inventor
김준모
이가영
유윙타이
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160056939A priority Critical patent/KR101785204B1/ko
Application granted granted Critical
Publication of KR101785204B1 publication Critical patent/KR101785204B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

일실시예에 따르면, 핵심 영역 검출 방법은 이미지에 포함되는 복수의 슈퍼픽셀(superpixel)들 사이의 로우 레벨 피처(low level feature)의 차이를 나타내는 로우 레벨 차이 맵(low level distance map)을 생성하는 단계; 상기 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행하는 단계; 상기 로우 레벨 차이 맵 및 상기 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여, 상기 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 획득하는 단계; 및 상기 복수의 슈퍼픽셀들 각각의 핵심 스코어에 기초하여, 상기 이미지에서 핵심 영역을 검출하는 단계를 포함한다.

Description

로우 레벨 차이 맵과 하이 레벨 피처를 이용하는 핵심 영역 검출 방법 및 시스템{SALIENT REGION DETECTION METHOD AND SYSTEM USING LOW LEVEL DISTANCE MAP AND HIGH LEVEL FEATURE}
아래의 실시예들은 이미지에서 핵심 영역(salient region)을 검출하는 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 로우 레벨 피처(low level feature) 및 하이 레벨 피처(high level feature) 모두를 이용하여 핵심 영역을 검출하는 기술에 대한 것이다.
핵심 영역 검출 기술은 이미지에서 사람의 시선을 잡아 끄는 핵심 물체(salient object)를 검출하는 기술로서, image segmentation 및 semantic image compressing 등의 다양한 컴퓨터 비전 분야에서 널리 이용되고 있다.
그러나, 핵심 영역 검출 기술은 물체의 종류 및 색상이 다양하고, 물체가 배치되는 배경이 복잡한 경우, 배경과 물체의 구분이 힘들기 때문에, 정확도가 낮으며 연산의 복잡도가 높은 단점이 있다.
이에, 아래의 실시예들은 핵심 물체를 검출하는 정확도를 향상시키고, 연산의 복잡도를 낮추는 기술을 제안한다.
일실시예들은 로우 레벨 피처 및 하이 레벨 피처 모두를 이용하여 핵심 영역을 검출하는 기술을 제공한다.
구체적으로, 일실시예들은 이미지에 포함되는 복수의 슈퍼픽셀(superpixel)들 사이의 로우 레벨 피처의 차이 및 이미지에 대해 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여 복수의 슈퍼픽셀들 각각의 핵심 스코어를 획득함으로써, 핵심 스코어를 기반으로 이미지에서 핵심 영역을 검출하는 기술을 제공한다.
일실시예에 따르면, 핵심 영역 검출 방법은 이미지에 포함되는 복수의 슈퍼픽셀(superpixel)들 사이의 로우 레벨 피처(low level feature)의 차이를 나타내는 로우 레벨 차이 맵(low level distance map)을 생성하는 단계; 상기 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행하는 단계; 상기 로우 레벨 차이 맵 및 상기 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여, 상기 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 획득하는 단계; 및 상기 복수의 슈퍼픽셀들 각각의 핵심 스코어에 기초하여, 상기 이미지에서 핵심 영역을 검출하는 단계를 포함한다.
상기 로우 레벨 차이 맵(low level distance map)을 생성하는 단계는 상기 이미지를 상기 복수의 슈퍼픽셀들로 분할하는 단계; 상기 복수의 슈퍼픽셀들 중 적어도 일부를 상기 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하는 단계; 상기 복수의 슈퍼픽셀들 각각에 대해, 상기 복수의 그리드셀들 각각에 할당된 슈퍼픽셀과의 로우 레벨 피처 차이값을 계산하는 단계; 및 상기 로우 레벨 피처 차이값을 상기 복수의 그리드셀들 각각에 대응하여 저장하는 단계를 포함할 수 있다.
상기 로우 레벨 차이 맵(low level distance map)을 생성하는 단계는 상기 로우 레벨 피처 차이값이 저장된 로우 레벨 차이 맵을 압축하는 단계를 더 포함할 수 있다.
상기 로우 레벨 피처 차이값은 픽셀 내 선의 차이값, 색상의 차이값 또는 텍스처의 차이값 중 적어도 어느 하나를 포함할 수 있다.
상기 복수의 슈퍼픽셀들 중 적어도 일부를 상기 로우 레벨 차이 맵에 포함되는 수의 그리드셀들에 할당하는 단계는 상기 복수의 슈퍼픽셀들의 사이즈 순서에 따라, 상기 복수의 슈퍼픽셀들 중 적어도 일부를 상기 복수의 그리드셀들에 할당하는 단계를 포함할 수 있다.
상기 복수의 그리드셀들은 균일한 사이즈로 형성될 수 있다.
상기 복수의 슈퍼픽셀들은 불균일한 사이즈로 형성될 수 있다.
상기 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행하는 단계는 상기 이미지 내 물체의 형태 또는 의미 중 적어도 어느 하나를 파악하기 위한 상기 하이 레벨 피처 탐색 알고리즘을 수행하는 단계일 수 있다.
상기 복수의 슈퍼픽셀들 각각의 핵심 스코어를 획득하는 단계는 상기 복수의 슈퍼픽셀들 중 적어도 어느 하나의 슈퍼픽셀이 변경되는 경우, 상기 로우 레벨 차이 맵을 업데이트하는 단계; 및 상기 이미지에 대해 상기 하이 레벨 피처 탐색 알고리즘이 수행된 결과를 재사용하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 핵심 영역 검출 시스템은 이미지에 포함되는 복수의 슈퍼픽셀(superpixel)들 사이의 로우 레벨 피처(low level feature)의 차이를 나타내는 로우 레벨 차이 맵(low level distance map)을 생성하는 맵 생성부; 상기 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행하는 알고리즘 수행부; 상기 로우 레벨 차이 맵 및 상기 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여, 상기 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 획득하는 핵심 스코어 획득부; 및 상기 복수의 슈퍼픽셀들 각각의 핵심 스코어에 기초하여, 상기 이미지에서 핵심 영역을 검출하는 핵심 영역 검출부를 포함한다.
상기 맵 생성부는 상기 이미지를 상기 복수의 슈퍼픽셀들로 분할하고, 상기 복수의 슈퍼픽셀들 중 적어도 일부를 상기 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하며, 상기 복수의 슈퍼픽셀들 각각에 대해, 상기 복수의 그리드셀들 각각에 할당된 슈퍼픽셀과의 로우 레벨 피처 차이값을 계산하고, 상기 로우 레벨 피처 차이값을 상기 복수의 그리드셀들 각각에 대응하여 저장할 수 있다.
상기 맵 생성부는 상기 로우 레벨 피처 차이값이 저장된 로우 레벨 차이 맵을 압축할 수 있다.
상기 로우 레벨 피처 차이값은 픽셀 내 선의 차이값, 색상의 차이값 또는 텍스처의 차이값 중 적어도 어느 하나를 포함할 수 있다.
상기 알고리즘 수행부는 상기 이미지 내 물체의 형태 또는 의미 중 적어도 어느 하나를 파악하기 위한 상기 하이 레벨 피처 탐색 알고리즘을 수행할 수 있다.
일실시예들은 로우 레벨 피처 및 하이 레벨 피처 모두를 이용하여 핵심 영역을 검출하는 기술을 제공할 수 있다.
구체적으로, 일실시예들은 이미지에 포함되는 복수의 슈퍼픽셀들 사이의 로우 레벨 피처의 차이 및 이미지에 대해 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여 복수의 슈퍼픽셀들 각각의 핵심 스코어를 획득함으로써, 핵심 스코어를 기반으로 이미지에서 핵심 영역을 검출하는 기술을 제공할 수 있다.
따라서, 일실시예들은 이미지에서 복잡한 물체를 포착하고, 물체와 배경의 경계선을 정확하게 분리함으로써, 핵심 영역 검출 정확도를 향상시키고 그 연산의 복잡도를 낮출 수 있다.
도 1은 일실시예에 따른 핵심 영역 검출 방법을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 로우 레벨 차이 맵(low level distance map)을 생성하는 과정을 나타낸 도면이다.
도 3은 일실시예에 따른 로우 레벨 차이 맵을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 핵심 영역 검출 방법이 수행된 결과를 나타낸 도면이다.
도 5는 일실시예에 따른 핵심 영역 검출 방법을 나타낸 플로우 차트이다.
도 6은 일실시예에 따른 핵심 영역 검출 시스템을 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 핵심 영역 검출 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따른 핵심 영역 검출 방법은 로우 레벨 피처 및 하이 레벨 피처 모두를 이용하여 이미지에서 핵심 영역을 검출한다. 여기서, 로우 레벨 피처는 픽셀 내의 선, 색상 또는 텍스처 등의 파라미터를 나타내고, 하이 레벨 피처는 이미지 내 물체의 전체적인 형태 또는 의미 등의 파라미터를 나타낸다. 이하, 핵심 영역 검출 방법은 핵심 영역 검출 시스템에 의해 수행되는 것으로 기재한다.
구체적으로, 핵심 영역 검출 시스템은 제1 과정(로우 레벨 차이 맵을 생성하는 과정)(110) 및 제2 과정(하이 레벨 피처 탐색 알고리즘을 수행하는 과정)(120)을 모두 수행함으로써, 이미지에 포함되는 복수의 슈퍼픽셀들 각각의 핵심 스코어를 획득하고(130), 이를 기반으로 이미지에서 핵심 영역을 검출한다.
예를 들어, 핵심 영역 검출 시스템은 제1 과정(110)에서, 이미지를 복수의 슈퍼픽셀들로 분할한 뒤, 복수의 슈퍼픽셀들 중 핵심 스코어를 획득하고자 하는 슈퍼픽셀(=query superpixel=query region)에 대한 정보를 포함하는 로우 레벨 차이 맵을 생성할 수 있다. 이 때, 핵심 스코어를 획득하고자 하는 슈퍼픽셀에 대한 정보는 해당 슈퍼픽셀과 복수의 슈퍼픽셀들 중 해당 슈퍼픽셀을 제외한 나머지 슈퍼픽셀들 각각 사이의 로우 레벨 피처 차이값을 포함한다. 핵심 영역 검출 시스템은 이와 같은 과정을 복수의 슈퍼픽셀들 각각에 대해 수행함으로써, 복수의 슈퍼픽셀들 각각에 대응하는 로우 레벨 피처 차이값이 저장된 로우 레벨 차이 맵을 완성할 수 있다.
따라서, 핵심 영역 검출 시스템은 복수의 슈퍼픽셀들 사이의 로우 레벨 피처 차이값을 포함하는 로우 레벨 차이 맵을 기반으로, 이미지 내에서 복수의 슈퍼픽셀들 각각의 로우 레벨 피처가 유사한 영역들 또는 상이한 영역들을 구별할 수 있다. 여기서, 로우 레벨 피처가 유사한 영역들은 하나의 물체에 포함되는 영역을 의미할 수 있고, 로우 레벨 피처가 상이한 영역들은 서로 다른 물체에 포함되는 영역(또는 물체 및 배경에 각각 포함되는 영역)을 의미할 수 있다.
더 나아가, 이미지 내에서 로우 레벨 피처가 유사한 영역들이 이미지의 중앙에 위치하는지 또는 이미지의 테두리에 위치하는지에 따라, 해당 영역들이 핵심 영역인지 아닌지가 구별될 수도 있다. 이에, 핵심 영역 검출 시스템은 상술한 원리를 기반으로 배경과 핵심 영역(물체)의 경계선을 정확하게 분리할 수 있다.
또한, 핵심 영역 검출 시스템은 로우 레벨 차이 맵에 포함되는 다양한 정보(선, 색상 및 텍스처의 차이값)를 종합적으로 고려하기 위해, 완성된 로우 레벨 차이 맵을 필터를 이용하여 반복적으로 압축, 비선형성(nonlinearity)를 증가시킨 로우 레벨 인코디드 차이 맵(low level encoded distance map)을 형성할 수 있다.
이와 같은 제1 과정(110)에 대한 상세한 설명은 도 2를 참조하여 더 기재하기로 한다.
또한, 핵심 영역 검출 시스템은 제2 과정(120)에서 이미지 내 물체의 형태 또는 의미 중 적어도 어느 하나를 파악하기 위한 하이 레벨 피처 탐색 알고리즘을 수행할 수 있다.
예를 들어, 핵심 영역 검출 시스템은 이미지로부터 획득되는 복수의 레이어들을 이용하여 이미지 내 하이 레벨 피처를 검출/생성하는 CNN(convolutional neural network) 알고리즘을 수행함으로써, 이미지 내 핵심 물체의 형태 또는 의미 중 어느 하나를 파악한 뒤, 해당 정보를 복수의 슈퍼픽셀들 각각에 반영할 수 있다. 도면에는 VGG16 모델이 사용되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 기존의 다양한 방식이 사용될 수 있다.
제1 과정(110) 및 제2 과정(120) 모두가 수행된 뒤, 핵심 영역 검출 시스템은 제1 과정(110)을 통하여 생성된 로우 레벨 차이 맵 및 제2 과정(120)의 결과값을 이용함으로써, 복수의 슈퍼픽셀들 각각의 핵심 스코어를 획득할 수 있다(130).
여기서, 복수의 슈퍼픽셀들 각각의 핵심 스코어는 해당 슈퍼픽셀이 핵심 영역인지 아닌지를 나타내는 파라미터로, 미리 설정된 기준값 이상인 경우, 해당 슈퍼픽셀이 핵심 영역에 포함되는 것으로 해석될 수 있다.
만약, 이미지에 포함되는 복수의 슈퍼픽셀들 중 적어도 어느 하나의 슈퍼픽셀이 변경되는 경우, 핵심 영역 검출 시스템은 제1 과정(110)을 다시 반복 수행하여, 로우 레벨 차이 맵을 업데이트함으로써, 변경된 슈퍼픽셀을 고려하여 복수의 슈퍼픽셀들 각각의 핵심 스코어를 재획득할 수 있다. 이 때, 핵심 영역 검출 시스템은 적어도 어느 하나의 슈퍼픽셀이 변경되었더라도, 제2 과정(120)을 다시 반복 수행할 필요 없이, 이전에 획득한 제1 과정(120)의 결과값을 재사용함으로써, 연산의 복잡도를 낮출 수 있다.
이와 같이, 일실시예에 따른 핵심 영역 검출 시스템은 제1 과정 및 제2 과정을 통하여 로우 레벨 피처 및 하이 레벨 피처 모두를 이용함으로써, 복잡한 물체를 포착하고, 물체와 배경의 경계선을 정확하게 분리하여 핵심 영역 검출 정확도를 향상시키며, 그 연산의 복잡도를 낮출 수 있다. 이에 대한 상세한 설명은 도 4를 참조하여 기재하기로 한다.
도 2는 일실시예에 따른 로우 레벨 차이 맵(low level distance map)을 생성하는 과정을 나타낸 도면이다.
도 2를 참조하면, 일실시예에 따른 핵심 영역 검출 시스템은 도 1을 참조하여 기재된 제1 과정을 구체적으로 다음과 같이 수행함으로써, 로우 레벨 차이 맵을 생성할 수 있다.
우선, 핵심 영역 검출 시스템은 이미지(210)를 복수의 슈퍼픽셀들(211)로 분할할 수 있다. 여기서, 복수의 슈퍼픽셀들(211)은 이미지(210) 내 임의의 위치 각각에 분균일한 사이즈로 형성될 수 있다. 예를 들어, 핵심 영역 검출 시스템은 이미지(210)를 200 내지 300개의 서로 다른 사이즈를 갖는 슈퍼픽셀들(211)로 분할할 수 있다.
이어서, 핵심 영역 검출 시스템은 복수의 슈퍼픽셀들(211) 중 적어도 일부를 로우 레벨 차이 맵(220)에 포함되는 복수의 그리드셀들(221)에 할당할 수 있다. 이 때, 복수의 그리드셀들(221)은 적용하고자 하는 neural net classifier에 따라, 균일한 사이즈로 형성될 수 있다.
예를 들어, 핵심 영역 검출 시스템은 복수의 슈퍼픽셀들(211)의 사이즈 순서에 따라 복수의 슈퍼픽셀들(211) 중 적어도 일부를 복수의 그리드셀들(221)에 할당할 수 있다. 따라서, 복수의 슈퍼픽셀들(211) 중 사이즈가 작은 슈퍼픽셀은 복수의 그리드셀들(221)에 할당되지 않을 수도 있다. 그러나, 후술되겠지만, 복수의 그리드셀들(221)에 할당되지 않은 슈퍼픽셀과 핵심 스코어를 획득하고자 하는 슈퍼픽셀 사이의 로우 레벨 피처 차이값은 복수의 그리드셀들(221)에 필수적으로 저장될 수 있다.
복수의 슈퍼픽셀들(211) 중 적어도 일부가 복수의 그리드셀들(221)에 할당되면, 핵심 영역 검출 시스템은 복수의 슈퍼픽셀들(211) 각각에 대해, 복수의 그리드셀들(221) 각각에 할당된 슈퍼픽셀과의 로우 레벨 피처 차이값을 계산한 뒤, 계산된 로우 레벨 피처 차이값을 복수의 그리드셀들(221) 각각에 대응하여 저장할 수 있다.
예를 들어, 핵심 영역 검출 시스템은 핵심 스코어를 획득하고자 하는 슈퍼픽셀로 r1 슈퍼픽셀을 설정한 후, c11 그리드셀, c12 그리드셀, ... , c44 그리드셀 각각에 할당된 슈퍼픽셀(r1, r2, ... , r17)과의 로우 레벨 피처 차이값을 계산하여 c11 그리드셀, c12 그리드셀, ... , c44 그리드셀 각각에 저장할 수 있다. 핵심 영역 검출 시스템은 이와 같은 과정을 복수의 슈퍼픽셀들(211)에 대해 반복 수행함으로써(핵심 스코어를 획득하고자 하는 슈퍼픽셀을 복수의 슈퍼픽셀들(211) 모두에 대해 순차적으로 각각 설정함), 복수의 그리드셀들(221) 각각에 복수의 슈퍼픽셀들(211) 사이의 로우 레벨 피처 차이값을 각각 저장하여 로우 레벨 차이 맵(220)을 생성할 수 있다.
더 구체적인 예를 들면, 핵심 영역 검출 시스템은 이미지(210)를 23*23 사이즈로 균일하게 나눈 복수의 그리드셀들(221) 각각에 54개의 로우 레벨 피처 차이값(예컨대, 복수의 슈퍼픽셀들(211) 각각의 평균 색깔 차이값, 색상 히스토그램 차이값 또는 텍스처 차이값 등)을 저장하여 로우 레벨 차이 맵(220)을 생성할 수 있다.
이에, 생성된 로우 레벨 차이 맵(220)은 23*23*54 사이즈를 갖게 될 수 있으나, 도 1을 참조하여 기재된 바와 같이, 로우 레벨 차이 맵(220)은 필터를 통하여 반복적으로 압축될 수 있다. 생성된 로우 레벨 차이 맵(220)에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
도 3은 일실시예에 따른 로우 레벨 차이 맵을 설명하기 위한 도면이다.
도 3을 참조하면, 일실시예에 따른 로우 레벨 차이 맵(310, 320)은 도 2를 참조하여 기재된 과정을 거쳐 생성될 수 있다.
예를 들어, 제1 이미지(330)에서 핵심 스코어를 획득하고자 하는 슈퍼픽셀(331)이 도면에 도시된 바와 같은 경우, 해당 쿼리 슈퍼픽셀(331)을 기준으로 제1 이미지(330)에 포함되는 복수의 슈퍼픽셀들 각각과의 로우 레벨 피처 차이값으로 인한 채널 이미지들(311, 312, 313)에서 물체와 배경의 경계선은 비교적 정확하게 분리됨을 알 수 있다.
특히, 필터를 통하여 반복적으로 압축된 제1 로우 레벨 차이 맵(310)에서는 해당 쿼리 슈퍼픽셀(331)을 기준으로 물체와 배경의 경계선이 더욱 뚜렷함을 알 수 있다.
마찬가지로, 제2 이미지(340)에서 핵심 스코어를 획득하고자 하는 슈퍼픽셀(341)이 도면에 도시된 바와 같은 경우, 해당 쿼리 슈퍼픽셀(341)을 기준으로 제2 이미지(340)에 포함되는 복수의 슈퍼픽셀들 각각과의 로우 레벨 피처 차이값으로 인한 채널 이미지들(321, 322, 323)에서 물체와 배경의 경계선은 비교적 정확하게 분리됨을 알 수 있고, 필터를 통하여 반복적으로 압축된 제2 로우 레벨 차이 맵(320)에서는 해당 쿼리 슈퍼픽셀(341)을 기준으로 물체와 배경의 경계선이 더욱 뚜렷함을 알 수 있다.
도 4는 일실시예에 따른 핵심 영역 검출 방법이 수행된 결과를 나타낸 도면이다.
도 4를 참조하면, 일실시예에 따른 핵심 영역 검출 시스템은 도 1 내지 2를 참조하여 상술한 바와 같이, 이미지(410)에 포함되는 복수의 슈퍼픽셀들 각각에 대해, 복수의 그리드셀들 각각에 할당된 슈퍼픽셀과의 로우 레벨 피처 차이값을 기반으로 로우 레벨 차이 맵(420)을 생성한 뒤, 이미지(410)에 대해 하이 레벨 피처 탐색 알고리즘을 수행한 결과(430)에 로우 레벨 차이 맵(420)을 반영함으로써, 핵심 영역이 검출된 이미지(440)를 획득할 수 있다.
이와 같이, 핵심 영역 검출 시스템은 로우 레벨 피처 및 하이 레벨 피처 모두를 이용함으로써, 복잡한 물체를 포착하고, 물체와 배경의 경계선을 정확하게 분리하여 핵심 영역 검출 정확도를 향상시키며, 그 연산의 복잡도를 낮출 수 있다.
도 5는 일실시예에 따른 핵심 영역 검출 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 일실시예에 따른 핵심 영역 검출 시스템은 이미지에 포함되는 복수의 슈퍼픽셀(superpixel)들 사이의 로우 레벨 피처(low level feature)의 차이를 나타내는 로우 레벨 차이 맵(low level distance map)을 생성한다(510).
여기서, 복수의 슈퍼픽셀들은 불균일한 사이즈로 형성될 수 있다.
구체적으로, 510 단계에서, 핵심 영역 검출 시스템은 이미지를 복수의 슈퍼픽셀들로 분할하고, 복수의 슈퍼픽셀들 중 적어도 일부를 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하며, 복수의 슈퍼픽셀들 각각에 대해, 복수의 그리드셀들 각각에 할당된 슈퍼픽셀과의 로우 레벨 피처 차이값을 계산한 뒤, 로우 레벨 피처 차이값을 복수의 그리드셀들 각각에 대응하여 저장함으로써, 로우 레벨 차이 맵을 생성할 수 있다.
여기서, 복수의 그리드셀들은 균일한 사이즈로 형성될 수 있고, 로우 레벨 피처 차이값은 픽셀 내 선의 차이값, 색상의 차이값 또는 텍스처의 차이값 중 적어도 어느 하나를 포함할 수 있다.
이 때, 복수의 슈퍼픽셀들 중 적어도 일부를 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하는 과정에서, 핵심 영역 검출 시스템은 복수의 슈퍼픽셀들의 사이즈 순서에 따라, 복수의 슈퍼픽셀들 중 적어도 일부를 복수의 그리드셀들에 할당할 수 있다.
또한, 로우 레벨 차이 맵을 생성하는 과정에서, 핵심 영역 검출 시스템은 로우 레벨 피처 차이값이 저장된 로우 레벨 차이 맵을 압축할 수도 있다.
이어서, 핵심 영역 검출 시스템은 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행한다(520).
여기서, 520 단계는 이미지 내 물체의 형태 또는 의미 중 적어도 어느 하나를 파악하기 위한 하이 레벨 피처 탐색 알고리즘을 수행하는 단계를 의미할 수 있다.
그 다음, 핵심 영역 검출 시스템은 로우 레벨 차이 맵 및 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여, 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 획득한다(530).
만약, 복수의 슈퍼픽셀들 중 적어도 어느 하나의 슈퍼픽셀이 변경되는 경우, 530 단계에서, 핵심 영역 검출 시스템은 510 단계를 반복 수행하여 로우 레벨 차이 맵을 업데이트할 수 있고, 520 단계를 반복 수행하는 대신에, 이미 수행된 520 단계의 결과를 재사용함으로써, 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 재획득할 수 있다.
그 후, 핵심 영역 검출 시스템은 복수의 슈퍼픽셀들 각각의 핵심 스코어에 기초하여, 이미지에서 핵심 영역을 검출한다(540).
도 6은 일실시예에 따른 핵심 영역 검출 시스템을 나타낸 블록도이다.
도 6을 참조하면, 일실시예에 따른 핵심 영역 검출 시스템은 맵 생성부(610), 알고리즘 수행부(620), 핵심 스코어 획득부(630) 및 핵심 영역 검출부(640)를 포함한다. 이 때, 핵심 영역 검출 시스템은 모듈의 형태뿐만 아니라, 전자 기기를 구현하는 컴퓨터와 결합하도록 매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수도 있다.
맵 생성부(610)는 이미지에 포함되는 복수의 슈퍼픽셀(superpixel)들 사이의 로우 레벨 피처(low level feature)의 차이를 나타내는 로우 레벨 차이 맵(low level distance map)을 생성한다.
여기서, 복수의 슈퍼픽셀들은 불균일한 사이즈로 형성될 수 있다.
구체적으로, 맵 생성부(610)는 이미지를 복수의 슈퍼픽셀들로 분할하고, 복수의 슈퍼픽셀들 중 적어도 일부를 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하며, 복수의 슈퍼픽셀들 각각에 대해, 복수의 그리드셀들 각각에 할당된 슈퍼픽셀과의 로우 레벨 피처 차이값을 계산한 뒤, 로우 레벨 피처 차이값을 복수의 그리드셀들 각각에 대응하여 저장함으로써, 로우 레벨 차이 맵을 생성할 수 있다.
여기서, 복수의 그리드셀들은 균일한 사이즈로 형성될 수 있고, 로우 레벨 피처 차이값은 픽셀 내 선의 차이값, 색상의 차이값 또는 텍스처의 차이값 중 적어도 어느 하나를 포함할 수 있다.
이 때, 복수의 슈퍼픽셀들 중 적어도 일부를 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하는 과정에서, 맵 생성부(610)는 복수의 슈퍼픽셀들의 사이즈 순서에 따라, 복수의 슈퍼픽셀들 중 적어도 일부를 복수의 그리드셀들에 할당할 수 있다.
또한, 로우 레벨 차이 맵을 생성하는 과정에서, 맵 생성부(610)는 로우 레벨 피처 차이값이 저장된 로우 레벨 차이 맵을 압축할 수도 있다.
알고리즘 수행부(620)는 핵심 영역 검출 시스템은 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행한다.
여기서, 하이 레벨 피처 탐색 알고리즘은 이미지 내 물체의 형태 또는 의미 중 적어도 어느 하나를 파악하기 위한 알고리즘을 의미할 수 있다.
핵심 스코어 획득부(630)는 로우 레벨 차이 맵 및 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여, 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 획득한다.
만약, 복수의 슈퍼픽셀들 중 적어도 어느 하나의 슈퍼픽셀이 변경되는 경우, 핵심 스코어 획득부(630)는 맵 생성부(610)로 하여금 로우 레벨 차이 맵을 생성하는 과정을 반복 수행하도록 제어하여 로우 레벨 차이 맵을 업데이트할 수 있고, 알고리즘 수행부(620)로 하여금 하이 레벨 피처 탐색 알고리즘을 반복 수행하도록 제어하는 대신에, 알고리즘 수행부(620)에서 이미 수행된 하이 레벨 피처 탐색 알고리즘의 결과를 재사용함으로써, 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 재획득할 수 있다.
핵심 영역 검출부(640)는 복수의 슈퍼픽셀들 각각의 핵심 스코어에 기초하여, 이미지에서 핵심 영역을 검출한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 이미지에 포함되는 복수의 슈퍼픽셀(superpixel)들 사이의 로우 레벨 피처(low level feature)의 차이를 나타내는 로우 레벨 차이 맵(low level distance map)을 생성하는 단계;
    상기 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행하는 단계;
    상기 로우 레벨 차이 맵 및 상기 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여, 상기 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 획득하는 단계; 및
    상기 복수의 슈퍼픽셀들 각각의 핵심 스코어에 기초하여, 상기 이미지에서 핵심 영역을 검출하는 단계
    를 포함하고,
    상기 로우 레벨 차이 맵(low level distance map)을 생성하는 단계는
    상기 이미지를 상기 복수의 슈퍼픽셀들로 분할하는 단계;
    상기 복수의 슈퍼픽셀들 중 적어도 일부를 상기 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하는 단계;
    상기 복수의 슈퍼픽셀들 각각에 대해, 상기 복수의 그리드셀들 각각에 할당된 슈퍼픽셀과의 로우 레벨 피처 차이값을 계산하는 단계; 및
    상기 로우 레벨 피처 차이값을 상기 복수의 그리드셀들 각각에 대응하여 저장하는 단계
    를 포함하는 핵심 영역 검출 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 로우 레벨 피처 차이값이 저장된 로우 레벨 차이 맵을 압축하는 단계
    를 더 포함하는 핵심 영역 검출 방법.
  4. 제1항에 있어서,
    상기 로우 레벨 피처 차이값은
    픽셀 내 선의 차이값, 색상의 차이값 또는 텍스처의 차이값 중 적어도 어느 하나를 포함하는, 핵심 영역 검출 방법.
  5. 제1항에 있어서,
    상기 복수의 슈퍼픽셀들 중 적어도 일부를 상기 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하는 단계는
    상기 복수의 슈퍼픽셀들의 사이즈 순서에 따라, 상기 복수의 슈퍼픽셀들 중 적어도 일부를 상기 복수의 그리드셀들에 할당하는 단계
    를 포함하는 핵심 영역 검출 방법.
  6. 제1항에 있어서,
    상기 복수의 그리드셀들은
    균일한 사이즈로 형성되는, 핵심 영역 검출 방법.
  7. 제1항에 있어서,
    상기 복수의 슈퍼픽셀들은
    불균일한 사이즈로 형성되는, 핵심 영역 검출 방법.
  8. 제1항에 있어서,
    상기 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행하는 단계는
    상기 이미지 내 물체의 형태 또는 의미 중 적어도 어느 하나를 파악하기 위한 상기 하이 레벨 피처 탐색 알고리즘을 수행하는 단계인, 핵심 영역 검출 방법.
  9. 제1항에 있어서,
    상기 복수의 슈퍼픽셀들 각각의 핵심 스코어를 획득하는 단계는
    상기 복수의 슈퍼픽셀들 중 적어도 어느 하나의 슈퍼픽셀이 변경되는 경우, 상기 로우 레벨 차이 맵을 업데이트하는 단계; 및
    상기 이미지에 대해 상기 하이 레벨 피처 탐색 알고리즘이 수행된 결과를 재사용하는 단계
    를 더 포함하는 핵심 영역 검출 방법.
  10. 전자 기기를 구현하는 컴퓨터와 결합하여 핵심 영역 검출 방법을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 핵심 영역 검출 방법은
    이미지에 포함되는 복수의 슈퍼픽셀(superpixel)들 사이의 로우 레벨 피처(low level feature)의 차이를 나타내는 로우 레벨 차이 맵(low level distance map)을 생성하는 단계;
    상기 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행하는 단계;
    상기 로우 레벨 차이 맵 및 상기 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여, 상기 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 획득하는 단계; 및
    상기 복수의 슈퍼픽셀들 각각의 핵심 스코어에 기초하여, 상기 이미지에서 핵심 영역을 검출하는 단계
    를 포함하고,
    상기 로우 레벨 차이 맵(low level distance map)을 생성하는 단계는
    상기 이미지를 상기 복수의 슈퍼픽셀들로 분할하는 단계;
    상기 복수의 슈퍼픽셀들 중 적어도 일부를 상기 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하는 단계;
    상기 복수의 슈퍼픽셀들 각각에 대해, 상기 복수의 그리드셀들 각각에 할당된 슈퍼픽셀과의 로우 레벨 피처 차이값을 계산하는 단계; 및
    상기 로우 레벨 피처 차이값을 상기 복수의 그리드셀들 각각에 대응하여 저장하는 단계
    를 포함하는 매체에 저장된 컴퓨터 프로그램.
  11. 이미지에 포함되는 복수의 슈퍼픽셀(superpixel)들 사이의 로우 레벨 피처(low level feature)의 차이를 나타내는 로우 레벨 차이 맵(low level distance map)을 생성하는 맵 생성부;
    상기 이미지에 대해 하이 레벨 피처(high level feature) 탐색 알고리즘을 수행하는 알고리즘 수행부;
    상기 로우 레벨 차이 맵 및 상기 하이 레벨 피처 탐색 알고리즘이 수행된 결과에 기초하여, 상기 복수의 슈퍼픽셀들 각각의 핵심 스코어(saliency score)를 획득하는 핵심 스코어 획득부; 및
    상기 복수의 슈퍼픽셀들 각각의 핵심 스코어에 기초하여, 상기 이미지에서 핵심 영역을 검출하는 핵심 영역 검출부
    를 포함하고,
    상기 맵 생성부는
    상기 이미지를 상기 복수의 슈퍼픽셀들로 분할하고, 상기 복수의 슈퍼픽셀들 중 적어도 일부를 상기 로우 레벨 차이 맵에 포함되는 복수의 그리드셀들에 할당하며, 상기 복수의 슈퍼픽셀들 각각에 대해, 상기 복수의 그리드셀들 각각에 할당된 슈퍼픽셀과의 로우 레벨 피처 차이값을 계산하고, 상기 로우 레벨 피처 차이값을 상기 복수의 그리드셀들 각각에 대응하여 저장하는 핵심 영역 검출 시스템.
  12. 삭제
  13. 제11항에 있어서,
    상기 맵 생성부는
    상기 로우 레벨 피처 차이값이 저장된 로우 레벨 차이 맵을 압축하는, 핵심 영역 검출 시스템.
  14. 제11항에 있어서,
    상기 로우 레벨 피처 차이값은
    픽셀 내 선의 차이값, 색상의 차이값 또는 텍스처의 차이값 중 적어도 어느 하나를 포함하는, 핵심 영역 검출 시스템.
  15. 제11항에 있어서,
    상기 알고리즘 수행부는
    상기 이미지 내 물체의 형태 또는 의미 중 적어도 어느 하나를 파악하기 위한 상기 하이 레벨 피처 탐색 알고리즘을 수행하는, 핵심 영역 검출 시스템.
KR1020160056939A 2016-05-10 2016-05-10 로우 레벨 차이 맵과 하이 레벨 피처를 이용하는 핵심 영역 검출 방법 및 시스템 KR101785204B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160056939A KR101785204B1 (ko) 2016-05-10 2016-05-10 로우 레벨 차이 맵과 하이 레벨 피처를 이용하는 핵심 영역 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160056939A KR101785204B1 (ko) 2016-05-10 2016-05-10 로우 레벨 차이 맵과 하이 레벨 피처를 이용하는 핵심 영역 검출 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101785204B1 true KR101785204B1 (ko) 2017-10-17

Family

ID=60297989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160056939A KR101785204B1 (ko) 2016-05-10 2016-05-10 로우 레벨 차이 맵과 하이 레벨 피처를 이용하는 핵심 영역 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101785204B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215926A (ja) 2013-04-26 2014-11-17 オムロン株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016081472A (ja) 2014-10-22 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215926A (ja) 2013-04-26 2014-11-17 オムロン株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016081472A (ja) 2014-10-22 2016-05-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jiang et al. Salient region detection by ufo: Uniqueness, focusness and objectness. ICCV, 2013년, pp. 1976-1983.

Similar Documents

Publication Publication Date Title
JP5275489B2 (ja) 画像処理装置および方法
CN111091091A (zh) 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
KR101896301B1 (ko) 깊이 영상 처리 장치 및 방법
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
US9443137B2 (en) Apparatus and method for detecting body parts
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
EP3200442B1 (en) Method and apparatus for image processing
EP2797051A2 (en) Image saliency map determination device, method, program, and recording medium
CN110544300B (zh) 一种基于二维手绘图像特征自动生成三维模型的方法
CN106650615A (zh) 一种图像处理方法及终端
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
JP2016509805A (ja) 画像ストリームの高フレームレート化
CN113658044A (zh) 提高图像分辨率的方法、系统、装置及存储介质
JP3952460B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
CN114689036A (zh) 地图更新方法、自动驾驶方法、电子设备及存储介质
CN112232292B (zh) 应用于移动端的人脸检测方法及装置
CN113759338B (zh) 一种目标检测方法、装置、电子设备及存储介质
EP3496042A1 (en) System and method for generating training images
KR101785204B1 (ko) 로우 레벨 차이 맵과 하이 레벨 피처를 이용하는 핵심 영역 검출 방법 및 시스템
CN110046623B (zh) 一种图像特征点提取方法和相机
CN116958927A (zh) 一种基于bev图识别矮小柱状体的方法及装置
CN105096309B (zh) 一种基于x光的边缘检测方法及装置
JP2018180646A (ja) 物体候補領域推定装置、物体候補領域推定方法、及び物体候補領域推定プログラム
CN111179408B (zh) 三维建模的方法及设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant