KR20120127247A

KR20120127247A - 화상 처리 방법과 화상 처리 장치

Info

Publication number: KR20120127247A
Application number: KR1020120048891A
Authority: KR
Inventors: 시민 후; 밍밍 쳉; 궈신 즈앙; 제이 미트라 닐로이; 시앙 루안
Original assignee: 칭화 유니버시티; 오므론 가부시키가이샤
Priority date: 2011-05-13
Filing date: 2012-05-09
Publication date: 2012-11-21
Also published as: JP2012243313A; CN102779338A; EP2523165B1; JP5422018B2; CN102779338B; EP2523165A2; US9014467B2; KR101333347B1; EP2523165A8; US20120288189A1; EP2523165A3

Abstract

본 발명은, 영역의 콘트라스트에 의거하여 화상의 시각적 현저성을 검출하는 화상 처리 방법과 화상 처리 장치에 관한 것이다. 당해 방법은, 자동분할 알고리즘을 이용하여 입력 화상을 복수의 영역으로 분할하는 분할 스텝과, 상기 복수의 영역 중의 하나의 영역과 기타의 영역과의 색,의 차분의 무게부여 합을 이용하여, 당해 영역의 현저성치를 산출하는 산출 스텝을 포함한다. 본 발명은 화상에서의 시각적 현저성을 갖는 영역을 자동적으로 분석할 수 있고, 그 분석 결과는 중요한 목표 물체의 분할, 물체 식별, 적응적 화상 압축, 내용에 응한 화상의 리사이징, 및 화상 검색 등의 응용 분야에 적용 가능하다.

Description

화상 처리 방법과 화상 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSING DEVICE}

본 발명은 화상 처리 기술의 분야에 속하고, 화상의 시각적 현저성(顯著性)을 검출하는 화상 처리 방법과 화상 처리 장치에 관한 것으로, 보다 구체적으로는, 영역의 콘트라스트에 의거하여 화상의 시각적 현저성을 검출하는 화상 처리 방법과 화상 처리 장치에 관한 것이다.

시각적 주의(注意)는, 인간의 시각 시스템이 신을 정확하면서 유효하게 식별하는 것을 돕는 하나의 중요한 메커니즘이다. 연산이라는 수법에 의해 화상에서의 현저성 영역을 취득하는 것은, 컴퓨터 비전 분야의 하나의 중요한 연구 과제이고, 화상 처리 시스템이 후속 처리 스텝에서 연산 리소스를 합리적으로 할당하는 것을 돕는다. 현저성 맵(Saliency map)은 많은 컴퓨터 비전 어플리케이션에 폭넓게 적용되고, 예를 들면, 주목 물체의 분할(중국 특허200910046276, 중국 특허200910081069를 참조), 물체 식별, 적응적 화상 압축, 내용에 응한 화상의 리사이징 (중국 특허200910092756을 참조), 및, 화상 검색 등에 적용되고 있다.

화상의 시각적 현저성의 검출은 종래로부터, 연구자에게 많이 주목받고 있는 과제의 하나이다. 시각적 주의에 관한 이론 연구에서는, 시각적 주의를 2종류로 분류한다. 즉, 처리가 신속하고 태스크에 의존하지 않는, 데이터 구동에 관한 현저성 검출과, 처리가 느리고 태스크에 의존하는, 목표 구동에 관한 현저성 검출로 분류한다. 본 발명에 관한 방법은 그 전자에 속한다. 생리학의 연구로부터 알 수 있는 바와 같이, 인간의 시각 세포는 센싱 필드 내의 높은 콘트라스트의 자극에 우선적으로 응답한다. 종래, 데이터 구동에 관한 시각적 현저성의 검출 연구의 대부분은, 여러 형식의 화상 내용과 신과의 콘트라스트를 산출함에 의해 시각적 현저성을 산출하는 것이다. 여기서, 설명을 간소화하기 위해, 다시 이와 같은 연구를 2개의 하위의 종류로 분류한다. 즉, 국부 콘트라스트에 의거한 방법과, 전역(全域) 콘트라스트에 의거한 방법으로 분류한다.

국부 콘트라스트에 의거한 방법은, 화상 영역과, 그 상대적인 작은 인접 영역과의 차분에 의해 현저성을 산출하는 것이다. Itti들은 1998년에 「A model of saliency-based visual attention for rapid sceneanalysis」(IEEE TPAMI, 20(11) : 1254-1259, 1998)를 제안하였다. 그 방법은, 멀티 스케일 화상 사이에서, 중심의 특징과 인접 영역의 특징과의 차분으로 화상 현저성을 정의한다. 또한, Ma와 Zhang은 2003년에 「Contrast-based image attention analysis by using fuzzy growing」(In ACM Multimedia, pages 374-381, 2003)를 제안하였다. 그 방법은, 국부 콘트라스트의 분석에 의해 현저성 맵을 얻는다. 또한, Liu들은 2007년에 「Learning to detect a salient object」(IEEE TPAMI, 33(2) : 353-367, 2011)를 제안하였다. 그 방법은, 학습 방식을 이용하여 색공간 분포나, 멀티 스케일 콘트라스트나, 중심 인접 영역의 히스토그램 차분 등, 현저성 검출 방법의 결과로서 무게부여값의 최적의 조합을 찾는다. 또한, Goferman들은 2010년의 워크인 「Context-aware saliency detection」(In CVPR, 2010)에서, 로 레벨의 단서(clue), 전체의 고려, 조직 룰, 및, 하이 레벨의 특징에 관해 모델을 구축한다. 이들의 국부적 방법의 결과, 시각적 현저성으로서 물체 전체를 균일적으로 돌출시키는 것은 아니고, 통상은 물체의 에지 부근에서 보다 높은 현저성치를 생성하였다.

전역 콘트라스트에 의거한 방법은 화상 영역과 화상 전체와의 차분을 측정함으로써 그 현저성을 평가한다. Zhai와 Shah은 2006년에 「Visual attention detection in video sequences using spatiotemporal cues」(In ACM Multimedia, pages 815-824, 2006)를 제안하였다. 그 방법은, 하나의 픽셀과 그 이외의 모든 화상 픽셀과의 휘도의 차분에 의해, 당해 픽셀의 현저성치를 산출한다. 그 방법은, 효율면이 고려되어, 화상의 휘도 정보만을 이용하고, 그 이외의 색 채널에서의 구별성을 무시하였다. Achanta 등은 2009년에 「Frequency-tuned salient region detection」(In CVPR, pages 1597-1604, 2009)를 제안하였다. 그 방법은 픽셀마다, 평균색과의 차분을 산출함으로써 현저성치를 취득한다. 그러나, 이와 같은 간단한 방법으로는, 복잡하면서 변화가 많은 자연 화상을 유효하게 분석하는데는 불충분하다.

그 분야에서, 지금까지의 관련 중국 특허로서, 학습에 의거한 영상에 있어서의 현저 물체 시퀀스의 자동 검출 방법(중국 특허 제200810150324호)이 있다. 그 방법에서는, 하나의 프레임을 처리하는데 통상 수초간의 시간이 걸리기 때문에, 다수의 리얼타임 처리에의 응용 니즈를 채우는 것이 곤란하다.

(1) 해결고자 하는 기술 과제

본 발명은 본 분야의 종래 기술의 부족을 감안하고 된 것이고, 그 해결고자 하는 기술 과제는, 어떻게 하여 신속하면서 유효하게 화상 픽셀의 현저성치를 분석하여, 화상에서의 중요 물체 영역을 균일적으로 표현하는지에 있다.

(2) 기술적 방안

상기 기술 과제를 해결하기 위해, 본 발명은, 영역의 콘트라스트에 의거하여 화상의 시각적 현저성을 검출(산출)하는 화상 처리 방법과 화상 처리 장치를 제공한다. 얻어진 현저성 맵은 일련의 컴퓨터 비전에의 응용에 적용 가능하다.

본 발명에 관한 기술적 방안 1의 화상 처리 방법은, 영역의 콘트라스트에 의거하여 화상의 시각적 현저성을 검출하는 화상 처리 방법으로서,

자동분할 알고리즘을 이용하여 입력 화상을 복수의 영역으로 분할하는 분할 스텝과,

상기 복수의 영역 중의 하나의 영역과 기타의 영역과의 색의 차분의 무게부여 합을 이용하여, 당해 영역의 현저성치를 산출하는 산출 스텝을 포함하는 것을 특징으로 한다.

기술적 방안 2.

기술적 방안 1의 화상 처리 방법에서, 상기 산출 스텝은, 상기 복수의 영역에서의 영역(r_k)의 현저성(S(r_k))은 이하의 식으로 정의되고,

그 중, D_s(r_k,r_i)및 D_c(r_k,r_i)은 각각, 영역(r_k)과 영역(r_i)과의 공간거리, 및, 영역(r_k)과 영역(r_i)과의 색의 차분이고, i, k는 자연수이고, w(r_i)은 영역(r_i)의 무게부여값이고, σ_s ²는 거리 요소 영향 제어 파라미터이다.

기술적 방안 3.

기술적 방안 2의 화상 처리 방법에서, 화상 픽셀의 공간 좌표를 0 내지 1로 정규화한 경우, 상기 σ_s ²는 0.1 이상 1.0 이하이다.

기술적 방안 4.

기술적 방안 2의 화상 처리 방법에서, 상기 영역(r_i)에 포함된 픽셀의 수를 상기 영역(r_i)의 무게부여값(w(r_i))으로 한다.

기술적 방안 5.

기술적 방안 2의 화상 처리 방법에서, 상기 영역(r_k)과 영역(r_i)과의 색의 차분(D_c(r_k,r_i)) 은 이하의 식으로 정의되고,

그 중, f(c_k _,i)은 영역(r_k)에 포함되는 n_k종류의 색의 i번째의 c_k의 출현 빈도이고, D(c₁ _,i,c₂ _,j)은 2개의 색(c₁ _,i, c₂ _,j)의 색공간에서의 유클리드 거리이고, k={1, 2}이다.

기술적 방안 6.

기술적 방안 5의 화상 처리 방법에서, 색 채널마다, 8급 이상 128 급 이하의 컬러로 근사한다.

기술적 방안 7.

기술적 방안 1 내지 6의 어느 하나의 화상 처리 방법에서,

산출된 현저성치를 출력하는 출력 스텝과,

산출된 현저성치를 표시하는 표시 스텝과,

산출된 현저성치를 격납하는 격납 스텝과,

의 적어도 하나의 스텝을 또한 포함한다.

기술적 방안 8.

영역의 콘트라스트에 의거하여 화상의 시각적 현저성을 검출하는 화상 처리 장치로서,

자동분할 알고리즘을 이용하여 입력 화상을 복수의 영역으로 분할하는 분할 유닛과,

상기 복수의 영역 중의 하나의 영역과 기타의 영역과의 색의 차분의 무게부여 합을 이용하여, 당해 영역의 현저성치를 산출하는 산출 유닛을 포함하는 것을 특징으로 한다.

기술적 방안 9.

기술적 방안 8의 화상 처리 장치에 있어서, 상기 복수의 영역에서의 영역(r_k)의 현저성(S(r_k))은 이하의 식으로 정의되고,

그 중, D_s(r_k,r_i)및 D_c(r_k,r_i)은 각각, 영역(r_k)과 영역(r_i)과의 공간거리, 및 영역(r_k)과 영역(r_i)과의 색의 차분이고, i, k는 자연수이고, w(r_i)은 영역(r_i)의 무게부여값이고, σ_s ²는 거리 요소 영향 제어 파라미터이다.

기술적 방안 10.

기술적 방안 9의 화상 처리 장치에 있어서, 화상 픽셀의 공간 좌표를 0 내지 1로 정규화한 경우, 상기 σ_s ²는 0.1 이상 1.0 이하이다.

기술적 방안 11.

기술적 방안 9의 화상 처리 장치에 있어서, 상기 영역(r_i)에 포함되는 픽셀의 수를 상기 영역(r_i)의 무게부여값(w(r_i))으로 한다.

기술적 방안 12.

기술적 방안 9의 화상 처리 장치에 있어서, 상기 영역(r_k)과 영역(r_i)과의 색의 차분 (D_c(r_k,r_i))은 이하의 식으로 정의되고,

그 중, f(c_k _,i)은 영역(r_k)에 포함되는 n_k종류의 색의 i번째의 c_k의 출현 빈도이고, D(c₁ _,i,c₂ _,j)는 2개의 색(c₁ _,i, c₂ _,j)의 색공간에서의 유클리드 거리이고, k={1,2}이다.

기술적 방안 13.

기술적 방안 12의 화상 처리 장치에 있어서, 색 채널마다, 8급 이상 128급 이하의 컬러로 근사한다.

기술적 방안 14.

기술적 방안 8 내지 13의 어느 하나의 화상 처리 장치에 있어서,

산출된 현저성치를 출력하는 출력 유닛과,

산출된 현저성치를 표시하는 표시 유닛과,

산출된 현저성치를 격납하는 격납 유닛과,

의 적어도 하나의 유닛을 또한 포함한다.

(3) 유익적인 효과

본 발명의 상기 기술적 방안에 의하면, 본 발명의, 영역의 콘트라스트에 의거하여 화상의 시각적 현저성을 검출(산출)하는 화상 처리 방법과 화상 처리 장치는, 자동분할 알고리즘에 의해 분할된 영역마다, 당해 영역과 기타의 영역과의 색의 차분의 무게부여 합을 이용하여 당해 영역의 현저성치를 산출함으로써, 화상 픽셀의 현저성치를 신속하면서 유효하게 분석할 수 있고, 화상에서의 중요 물체 영역을 균일적으로 표현할 수 있다. 국제적으로 최대 규모인 화상의 시각적 현저성의 측정 데이터 세트로 테스트한 결과, 본 방법은 종래의 방법보다 분명히 우수하다. 본 방법에 의하면, 복잡하면서 변화가 많은 자연 화상을 유효하게 분석할 수 있음과 함께, 다수의 리얼타임 처리에의 응용 니즈를 충족할 수 있다. 본 발명은 화상에서의 시각적 현저성 영역을 자동적으로 분석할 수 있고, 그 분석 결과는, 중요한 목표 물체의 분할, 물체 식별, 적응적 화상 압축, 내용에 응한 화상의 리사이징, 및, 화상 검색 등의 응용 분야에 적용 가능하다.

도 1은 본 발명의 실시의 형태에 관한 화상 처리 방법을 설명하는 플로우 차트.
도 2는 본 발명의 다른 실시의 형태에 관한 화상 처리 방법을 설명하는 플로우 차트.
도 3은 본 발명의 실시의 형태에 관한 화상 처리 장치를 설명하는 블록도.
도 4는 본 발명의 다른 실시의 형태에 관한 화상 처리 장치를 설명하는 블록도.
도 5는 본 발명에 관한 입력 화상을 처리하는 한 예를 도시하는 도면이다.

이하, 도면과 실시예를 조합시켜서, 본 발명의 구체적인 실시 형태에 관해 상세히 설명하다. 그리고, 이하의 실시예는 본 발명을 설명하기 위한 것이고, 본 발명의 범위를 한정하는 것이 아니다.

본 발명은 어느 화상 영역과 그 다른 화상 영역과의 색의 차분의 무게부여 합을 산출하여 당해 화상 영역의 현저성치를 산출하는 화상 처리 방법과 화상 처리 장치를 공개하였다. 당해 방법과 장치에 의해 검출된 현저성치는 일련의 화상 처리에의 응용에 대한 서포트를 제공 가능하다. 그들의 응용은 중요한 목표 물체의 분할, 내용에 응한 화상의 리사이징, 및, 화상 검색 등을 포함한다.

도 1은 본 발명의 실시의 형태에 관한 화상 처리 방법을 설명하는 플로우 차트이다.

도 1에 도시하는 바와 같이, 분할 스텝 S1에서, 유저 등에 입력된 임의의 하나의 화상 (예를 들면, 도 5의 (a)에 도시하는 입력 화상)에 대해, 임의의 화상 자동분할 알고리즘에 의해 입력 화상을 복수의 영역 블록으로 분할한다. 상기 입력 화상은 유선 또는 무선 수단으로 장치의 외부로부터 입력되어도 좋고, 촬상 장치에 촬상된 화상이 리얼타임으로 또는 나중에 입력되어도 좋고, 장치의 내장 또는 외부 부착의 격납 유닛으로부터 화상을 판독하여 입력 화상으로 하여도 좋다. 입력 화상을 자동적으로 분할하기 위한 자동분할 알고리즘으로서, 예를 들면, Felzenszwalb과 Huttenlocher가 2004년에 제안한 「Efficient graph-based image segmentation」(IJCV, 59(2) : 167-181)의 방법을 이용한다. 물론, 그 밖의 기존의 화상 자동분할 알고리즘을 이용하여도 좋다.

산출 스텝 S2에서, 분할 스텝 S1에서 자동분할 알고리즘에 의해 복수의 영역 블록으로 분할된 입력 화상 (예를 들면, 도 5의 (b)에 도시하는 것)에 관해, 분할된 영역마다, 당해 영역과 기타의 영역과의 색의 차분의 무게부여 합을 산출함으로써 당해 영역의 현저성치를 산출(검출)한다. 모든 영역에 관해 각각의 현저성치를 산출하면, 도 5의 (c)에 도시하는 화상의 현저성을 얻을 수 있다.

상기 화상 처리 방법에 의하면, 화상 픽셀의 현저성치를 신속하면서 유효하게 분석할 수 있다. 복잡하면서 변화가 많은 자연 화상을 유효하게 분석하는 것을 가능하게 함과 함께, 다수의 리얼타임 처리에의 응용 니즈를 만족시킬 수 있다.

또한, 그 화상 처리 방법에서, 분할된 복수의 영역(1, 2, ...k...m)에서의 영역(r_k)의 현저성(S(r_k))은 이하의 식으로 정의되고,

그 중, D_s(r_k,r_i)및 D_c(r_k,r_i)은, 각각 영역(r_k)과 영역(r_i)과의 공간거리, 및 영역(r_k)과 영역(r_i)과의 색의 차분이고, i, k, m은 자연수이고, w(r_i)은 영역(r_i)의 무게부여값이고, σ_s ²는 거리 요소 영향 제어 파라미터이다.

또한, 그 화상 처리 방법에서, 거리 요소 영향 제어 파라미터(σ_s ²)는 클수록, 거리 요소의 영향은 작아진다. 한편, 거리 요소 영향 제어 파라미터(σ_s ²)는 작을수록, 거리 요소의 영향은 커진다. 화상 픽셀의 공간 좌표를 0 내지 1로 정규화(선형 주밍)한 경우, 상기 거리 요소 영향 제어 파라미터(σ_s ²)는 0.01 이상 10 이하의 값을 취할 수 있다. 바람직하게는, 거리 요소 영향 제어 파라미터(σ_s ²)는 0.1 이상 1.0 이하이다. σ_s ²=0.4일 때, 우수한 화상 현저성 검출(계산) 효과를 얻을 수 있다.

또한, 그 화상 처리 방법에서, 상기 영역(r_i)에 포함되는 픽셀의 수를 상기 영역의 무게부여값 w(r_i)으로 하여도 좋다.

또한, 그 화상 처리 방법에서, 상기 영역(r_k)과 영역(r_i)과의 색의 차분(D_c(r_k,r_i))은 이하의 식으로 정의되고,

그 중, f(c_k _,i)은 영역(r_k)에 포함되는 n_k종류의 색의 i번째의 c_k의 출현 빈도이고, D(c₁ _,i,c₂ _,j)은 2개의 색(c₁ _,i, c₂ _,j)의 색공간에서의 유클리드 거리 (Euclidean distance)이고, k={1.2}이다.

또한, 그 화상 처리 방법에서, 색 채널마다 2급 이상 256급 이하의 컬러로 계산한다. 채용된 컬러의 등급(레벨)이 낮을수록, 계산의 양이 적어지지만, 정밀도가 나빠진다. 채용된 컬러의 등급(레벨)이 높을수록, 계산의 양이 많아지지만, 정밀도가 좋아진다. 계산을 가속하기 위해, 색 채널마다 256급의 풀 컬러로 하는 것이 필요 없고, 예를 들면, 바람직하게는 색 채널마다 8급 이상 128급 이하의 컬러로 근사한다. 본 발명의 현저성 검출 방법에 의하면, 색 채널마다 12급 컬러로 근사하면, 우수한 효과를 얻을 수 있다. 따라서 검출된 화상 현저성의 정밀도를 확보하면서, 계산의 양을 대폭적으로 저감할 수 있다.

도 2는 본 발명의 다른 실시의 형태에 관한 화상 처리 방법을 설명하는 플로우 차트이다.

도 2에 도시하는 바와 같이, 그 화상 처리 방법에서, 분할 스텝 S1과 산출 스텝 S2 외에, 산출된 현저성치를 출력하는 출력 스텝 S3과, 산출된 현저성치를 표시하는 표시 스텝 S4와, 산출된 현저성치를 격납하는 격납 스텝 S5의 적어도 하나의 스텝을 또한 포함하여도 좋다. 즉, 출력 스텝과, 표시 스텝과, 격납 스텝을 임의적으로 조합시킴으로써, 얻어진 현저성 검출 결과를 희망하는 신에 응용할 수 있다. 출력 스텝과, 표시 스텝과, 격납 스텝의 순번에 관해서는 한정되는 것이 아니다.

도 3은 본 발명의 실시의 형태에 관한 화상 처리 장치를 설명하는 블록도이다.

도 3에 도시하는 바와 같이, 본 실시 형태에 관한 화상 처리 장치(1)는 영역의 콘트라스트에 의거하여 화상의 시각적 현저성을 검출한다. 상기 화상 처리 장치(1)는, 자동분할 알고리즘을 이용하여 입력 화상을 복수의 영역으로 분할하는 분할 유닛(10)과, 상기 복수의 영역 중의 하나의 영역과 기타의 영역과의 색의 차분의 무게부여 합을 당해 하나의 영역의 현저성치로서 산출하는 산출 유닛(20)을 포함한다.

분할 유닛(10)은, 유저 등에 입력된 임의의 하나의 화상(예를 들면, 도 5의 (a)에 도시하는 입력 화상)에 대해, 임의의 화상 자동분할 알고리즘에 의해 입력 화상을 복수의 영역 블록으로 분할한다. 상기 입력 화상은 유선 또는 무선 수단으로 장치의 외부로부터 입력되어도 좋고, 촬상 장치에 촬상된 화상이 리얼타임으로 또는 나중에 입력되어도 좋고, 장치의 내장 또는 외부 부착의 격납 유닛으로부터 화상을 판독하여 입력 화상으로 하여도 좋다. 입력 화상을 자동적으로 분할하기 위한 자동분할 알고리즘으로서, 예를 들면, Felzenszwalb와 Huttenlocher가 2004년에 제안한 「Efficient graph-based image segmentation」(IJCV, 59(2) : 167-181)의 방법을 이용한다. 물론, 그 밖의 기존의 화상 자동분할 알고리즘을 이용하여도 좋다.

산출 유닛(20)은, 분할 유닛(10)에서 자동분할 알고리즘에 의해 복수의 영역 블록으로 분할된 입력 화상(예를 들면, 도 5의 (b)에 도시하는 것)에 관해, 분할된 영역마다, 당해 영역과 기타의 영역과의 색의 차분의 무게부여 합을 산출함으로써 당해 영역의 현저성치를 산출(검출)한다. 모든 영역에 관해 각각의 현저성치를 산출하면, 도 5의 (c)에 도시하는 화상의 현저성을 얻을 수 있다.

상기 화상 처리 장치에 의하면, 화상 픽셀의 현저성치를 신속하면서 유효하게 분석할 수 있다. 본 발명에 의하면, 복잡하면서 변화가 많은 자연 화상을 유효하게 분석하는 것을 가능하게 함과 함께, 다수의 리얼타임 처리에의 응용 니즈를 만족시킬 수 있다.

또한, 그 화상 처리 장치(1)에서, 분할된 복수의 영역(1, 2, ...k...m)에서의 영역(r_k)의 현저성(S(r_k))은 이하의 식으로 정의되고,

그 중, D_s(r_k,r_i)및 D_c(r_k,r_i) 은, 각각 영역(r_k)과 영역(r_i)과의 공간거리, 및 영역(r_k)과 영역(r_i)과의 색의 차분이고, i, k, m은 자연수이고, w(r_i)은 영역(r_i)의 무게부여값이고, σ_s ²는 거리 요소 영향 제어 파라미터이다.

또한, 그 화상 처리 장치(1)에서, 거리 요소 영향 제어 파라미터(σ_s ²)는 클수록, 거리 요소의 영향은 작아진다. 한편, 거리 요소 영향 제어 파라미터(σ_s ²)는 작을수록, 거리 요소의 영향은 커진다. 화상 픽셀의 공간 좌표를 0 내지 1로 정규화(선형 주밍)한 경우, 상기 거리 요소 영향 제어 파라미터(σ_s ²)는 0.01 이상 10 이하의 값을 취할 수 있다. 바람직하게는, 거리 요소 영향 제어 파라미터(σ_s ²)는 0.1 이상 1.0 이하이다. σ_s ²=0.4일 때, 우수한 화상 현저성 검출(계산) 효과를 얻을 수 있다.

또한, 그 화상 처리 장치(1)에서, 상기 영역(r_i)에 포함되는 픽셀의 수를 상기 영역(r_i)의 무게부여값(w(r_i))로 하여도 좋다.

또한, 그 화상 처리 장치(1)에서, 상기 영역(r_k)과 영역(r_i)과의 색의 차분(D_c(r_k,r_i))은 이하의 식으로 정의되고,

그 중, f(c_k _,i)은 영역(r_k)에 포함되는 n_k종류의 색의 i번째의 c_k의 출현 빈도이고, D(c₁ _,i,c₂ _,j)은 2개의 색(c₁ _,i, c₂ _,j)의 색공간에서의 유클리드 거리(Euclidean distance)이고, k={1,2}이다.

또한, 그 화상 처리 장치(1)에서, 색 채널마다 2급 이상 256급 이하의 컬러로 계산한다. 채용된 컬러의 등급(레벨)이 낮을수록, 계산의 양이 적어지지만, 정밀도가 나빠진다. 채용된 컬러의 등급(레벨)이 높을수록, 계산의 양이 많아 지지만, 정밀도가 좋아진다. 계산을 가속하기 위해, 색 채널마다 256급의 풀 컬러로 하는 것이 필요 없고, 예를 들면, 바람직하게는 색 채널마다 8급 이상 128급 이하의 컬러로 근사한다. 본 발명의 현저성 검출 방법에 의하면, 색 채널마다 12급 컬러로 근사하면, 우수한 효과를 얻을 수 있다. 따라서 검출된 화상 현저성의 정밀도를 확보하면서, 계산의 양을 대폭적으로 저감할 수 있다. 복잡하면서 변화가 많은 자연 화상을 유효하게 분석할 수 있으면서 다수의 리얼타임 처리에의 응용 니즈를 만족할 수 있다.

도 4는 본 발명의 다른 실시의 형태에 관한 화상 처리 장치를 설명하는 블록도이다.

도 4에 도시하는 바와 같이, 화상 처리 장치(1)에서, 분할 유닛(10)과 산출 유닛(20) 외에, 산출된 현저성치를 출력하는 출력 유닛(30)과, 산출된 현저성치를 표시하는 표시 유닛(40)과, 산출된 현저성치를 격납하는 격납 유닛(50)의 적어도 하나의 유닛을 또한 포함하여도 좋다. 즉, 출력 유닛(30)과, 표시 유닛(40)과, 격납 유닛(50)을 임의적으로 조합시킴으로써, 얻어진 현저성 검출 결과를 희망하는 신에 응용할 수 있다. 본 발명에 의하면, 검출된 화상 현저성의 정밀도를 확보하면서, 계산의 양을 대폭적으로 저감할 수 있다. 복잡하면서 변화가 많은 자연 화상을 유효하게 분석하는 것을 가능하게 함과 함께, 다수의 리얼타임 처리에의 응용 니즈를 만족시킬 수 있다.

이상 본 발명은 특정한 실시예를 참조하면서 설명되어 왔지만, 그들은 단순한 예시에 지나지 않고, 당업자는 다양한 변형례, 수정례, 대체례, 치환례 등을 이해할 수 있을 것이다. 발명의 이해를 촉구하기 위해 구체적인 수치예를 이용하여 설명이 이루어졌지만, 특히 단서가 없는 한, 그들의 수치는 단순한 한 예에 지나지 않고, 적절한 여하한 값이 사용되어도 좋다. 실시예 또는 항목의 구분은 본 발명에 본질적이 아니고, 2 이상의 실시예 또는 항목에 기재된 사항이 필요에 응하여 조합시켜서 사용되어도 좋다. 설명의 편의상, 본 발명의 실시예에 관한 장치는 기능적인 블록도를 이용하여 설명되었지만, 그와 같은 장치는 하드웨어로, 소프트웨어로 또는 그들의 조합으로 실현되어도 좋다. 본 발명은 상기 실시예로 한정되지 않고, 본 발명의 정신으로부터 일탈하는 일 없이, 다양한 변형례, 수정례, 대체예, 치환례 등이 본 발명에 포함된다.

Claims

영역의 콘트라스트에 의거하여 화상의 시각적 현저성을 검출하는 화상 처리 방법으로서,
자동분할 알고리즘을 이용하여 입력 화상을 복수의 영역으로 분할하는 분할 스텝과,
상기 복수의 영역 중의 하나의 영역과 기타의 영역과의 색의 차분의 무게부여 합을 이용하여, 당해 영역의 현저성치를 산출하는 산출 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
제 1항에 있어서,
상기 산출 스텝에서, 상기 복수의 영역에서의 영역(r_k)의 현저성(S(r_k))은 이하의 식으로 정의되고,

그 중, D_s(r_k,r_i)및 D_c(r_k,r_i)은 각각, 영역(r_k)과 영역(r_i)과의 공간거리, 및 영역(r_k)과 영역(r_i)과의 색의 차분이고, i, k는 자연수이고, w(r_i)은 영역(r_i)의 무게부여값이고, σ_s ²는 거리 요소 영향 제어 파라미터인 것을 특징으로 하는 화상 처리 방법.
제 2항에 있어서,
화상 픽셀의 공간 좌표를 0 내지 1로 정규화한 경우, 상기 σ_s ²는 0.1 이상 1.0 이하인 것을 특징으로 하는 화상 처리 방법.
제 2항에 있어서,
상기 영역(r_i)에 포함된 픽셀의 수를 상기 영역(r_i)의 무게부여값(w(r_i))으로 하는 것을 특징으로 하는 화상 처리 방법.
제 2항에 있어서,
상기 영역(r_k)과 영역(r_i)과의 색의 차분(D_c(r_k, ri))은 이하의 식으로 정의되고,

그 중, f(c_k _,i)는 영역(r_k)에 포함되는 n_k종류의 색의 i번째의의 출현 빈도이고, D(c₁ _,i,c₂ _,j)은 2개의 색(c₁ _,i, c₂ _,j)의 색공간에서의 유클리드 거리이고, k={1,2}인 것을 특징으로 하는 화상 처리 방법.
제 5항에 있어서,
색 채널마다 8급 이상 128급 이하의 컬러로 근사하는 것을 특징으로 하는 화상 처리 방법.
제 1항 내지 제 6항 중 어느 한 항에 있어서,
산출된 현저성치를 출력하는 출력 스텝과,
산출된 현저성치를 표시하는 표시 스텝과,
산출된 현저성치를 격납하는 격납 스텝 중의 적어도 하나의 스텝을 또한 포함하는 것을 특징으로 하는 화상 처리 방법.
영역의 콘트라스트에 의거하여 화상의 시각적 현저성을 검출하는 화상 처리 장치로서,
자동분할 알고리즘을 이용하여 입력 화상을 복수의 영역으로 분할하는 분할 유닛과,
상기 복수의 영역 중의 하나의 영역과 기타의 영역과의 색의 차분의 무게부여 합을 이용하여, 당해 영역의 현저성치를 산출하는 산출 유닛을 포함하는 것을 특징으로 하는 화상 처리 장치.
제 8항에 있어서,
상기 복수의 영역에서의 영역(r_k)의 현저성(S(r_k))은 이하의 식으로 정의되고,

그 중, D_s(r_k,r_i)및 D_c(r_k,r_i)은 각각, 영역(r_k)과 영역(r_i)과의 공간거리, 및 영역(r_k)과 영역(r_i)과의 색의 차분이고, i, k는 자연수이고, w(ri)는 영역(r_i)의 무게부여값이고, σ_s ²는 거리 요소 영향 제어 파라미터인 것을 특징으로 하는 화상 처리 장치.
제 9항에 있어서,
화상 픽셀의 공간 좌표를 0 내지 1로 정규화한 경우, 상기 σ_s ²는 0.1 이상 1.0 이하인 것을 특징으로 하는 화상 처리 장치.
제 9항에 있어서,
상기 영역 에 포함되는 픽셀의 수를 상기 영역(r_i)의 무게부여값(w(r_i))으로 하는 것을 특징으로 하는 화상 처리 장치.
제 9항에 있어서,
상기 영역(r_k)과 영역(r_i)과의 색의 차분(D_c(r_k,r_i))은 이하의 식으로 정의되고,

그 중, f(c_k _,i)은 영역(r_k)에 포함되는 n_k종류의 색의 i번째의 c_k의 출현 빈도이고, D(c₁ _,i, c₂ _,j)는 2개의 색(c₁ _,i, c₂ _,j)의 색공간에서의 유클리드 거리이고, k={1,2}인 것을 특징으로 하는 화상 처리 장치.
제 12항에 있어서,
색 채널마다 8급 이상 128급 이하의 컬러로 근사하는 것을 특징으로 하는 화상 처리 장치.
제 8항 내지 제 13항 중 어느 한 항에 있어서,
산출된 현저성치를 출력하는 출력 유닛과,
산출된 현저성치를 표시하는 표시 유닛과,
산출된 현저성치를 격납하는 격납 유닛 중의 적어도 하나의 유닛을 또한 포함하는 것을 특징으로 하는 화상 처리 장치.