KR101178777B1 - 화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체 - Google Patents

화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체 Download PDF

Info

Publication number
KR101178777B1
KR101178777B1 KR1020100080210A KR20100080210A KR101178777B1 KR 101178777 B1 KR101178777 B1 KR 101178777B1 KR 1020100080210 A KR1020100080210 A KR 1020100080210A KR 20100080210 A KR20100080210 A KR 20100080210A KR 101178777 B1 KR101178777 B1 KR 101178777B1
Authority
KR
South Korea
Prior art keywords
pixel
image
tracking
pixels
peripheral
Prior art date
Application number
KR1020100080210A
Other languages
English (en)
Other versions
KR20110023762A (ko
Inventor
고이치 나카고미
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20110023762A publication Critical patent/KR20110023762A/ko
Application granted granted Critical
Publication of KR101178777B1 publication Critical patent/KR101178777B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

본 발명은 화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체에 관한 것으로서, 상기 화상 처리 장치는, 화상을 취득하도록 구성된 취득 수단(unit)과, 상기 화상의 단부에 적어도 하나의 화소를 지정하도록 구성된 지정 수단(unit)과, 상기 적어도 하나의 화소 주변의 주변 화소 중, 상기 적어도 하나의 화소와 유사한 화소를 추적하도록 구성된 추적 수단(unit)과, 상기 추적 수단에 의해 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역으로서 추정하도록 구성된 추정 수단(unit)을 구비하는 것을 특징으로 한다.

Description

화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND COMPUTER READABLE-MEDIUM}
본 원은 2009년 8월 31일에 출원된 일본 특허 출원 2009-199675를 우선권 주장하는 것으로서, 상기 출원의 전체 내용은 참조에 의해 본 발명에 원용된다.
본 발명은, 화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체에 관한 것이다.
화상 처리의 분야에 있어서는, 화상으로부터 얻어지는 복수개의 물리적 특징을 나타내는 특징 맵을 생성하고, 이들을 통합함으로써, 처리 대상의 화상으로부터 특정한 영역을 주목 영역으로서 검출하는 기술이 알려져 있다.
보다 구체적인 방법으로서, 예를 들면, Treisman의 특징 통합 이론은, 복수개의 특징 맵을 통합하고, 현저성 맵을 얻는다. 또한, Itti나 Koch 등의 이론은, 각 특징 맵을 각각의 평균값과의 제곱 오차(square error)로 정규화하고, 모든 특징 맵을 선형 결합에 의해 통합한 후, 가우시안 필터의 차이(difference-of-Gaussian filter)에 의해 통합 특징 맵을 재귀적으로 필터링하고, 최종적으로 얻어지는 필터링 결과의 국소적인 피크를 주목 영역으로서 추출한다(예를 들면, 비특허 문헌 1 참조).
또한, 전술한 이론에서 사용되는 복수개의 특징 맵으로서는, 높은 명도나 특정 색, 강한 콘트라스트 등, 인간의 시각 프로세스의 초기 단계에 있어서 지각적으로 현저한 물체를 우선적으로 주목하는 성질을 이용하는 것이 일반적으로 되어 있다.
Laurent Itti, Christof Koch, and Ernst Niebur, 「A Model of Saliency-Based Visual Attention for Rapid Scene Analysis」, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, (미국), IEEE Computer Society, 1998년 11월, 제20 권, 제11 호, p.1254-1259
그러나, 전술한 이론에 의한 주목 영역의 검출 방법의 경우, 처리 대상 화상에 있어서의 개개의 화상 영역의 특징의 검출에는 유효하지만, 그 처리 대상 화상이 화상 전체적으로 가지는 정보(예를 들면, 구도 등)를 고려하여 개개의 화상 영역의 특징을 검출하는 것에 대해서는 고려하지 않았다.
본 발명의 실시예는, 전술한 문제점 및 언급되지 않은 다른 문제점을 감안한 것이다. 그러나, 본 발명은 전술한 문제점을 반드시 극복할 필요는 없으며, 따라서 본 발명의 하나의 실시예는 전술한 문제점을 극복하지 않을 수도 있다.
따라서, 본 발명의 구체적 태양은, 구도를 고려하여 화상으로부터 주목 영역을 검출할 수 있는 화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체를 제공하는 것이다.
본 발명의 1 이상의 구체적 태양에 의하면 화상 처리 장치가 제공된다. 상기 화상 처리 장치는, 화상을 취득하도록 구성된 취득 수단(unit)과, 상기 화상의 단부(端部)에 적어도 하나의 화소를 지정하도록 구성된 지정 수단(unit)과, 상기 적어도 하나의 화소 주변의 주변 화소 중, 상기 적어도 하나의 화소와 유사한 화소를 추적하도록 구성된 추적 수단(unit)과, 상기 추적 수단에 의해 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역으로서 추정하도록 구성된 추정 수단(unit)을 구비한다.
본 발명의 1 이상의 구체적 태양에 의하면, 화상 처리 방법이 제공된다. 상기 화상 처리 방법은, (a) 화상을 취득하고, (b) 상기 화상의 단부에 적어도 하나의 화소를 지정하고, (c) 상기 적어도 하나의 화소 주변의 주변 영역 중, 상기 적어도 하나의 화소와 유사한 화소를 추적하고, (d) 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역으로서 추정하는 단계를 포함한다.
본 발명의 1 이상의 구체적 태양에 의하면, 컴퓨터로 판독 가능한 매체가 제공된다. 상기 컴퓨터로 판독 가능한 매체는, (a) 화상을 취득하고, (b) 상기 화상의 단부에 적어도 하나의 화소를 지정하고, (c) 상기 적어도 하나의 화소 주변의 주변 영역 중, 상기 적어도 하나의 화소와 유사한 화소를 추적하고, (d) 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역으로서 추정하는 동작을 컴퓨터에게 실행시키기 위한 프로그램을 기억한다.
도 1은 본 발명의 일실시예에 의한 촬상 장치를 나타낸 블록도이다.
도 2는 도 1의 촬상 장치에 의한 주목 영역 추정 처리에 대한 동작의 일례를 나타낸 흐름도이다.
도 3의 (a) 및 3의 (b)는 주목 영역 추정 처리를 설명하기 위한 도면이다.
도 4는 주목 영역 추정 처리에서의 추적 범위를 설명하기 위한 도면이다.
도 5의 (a) 및 5의 (b)는 주목 영역 추정 처리를 설명하기 위한 도면이다.
이하에서, 도면을 참조하여 본 발명의 전형적인 실시예를 설명한다. 다만, 본 발명의 범위는 도시한 예로 한정되지 않는다. 도 1은, 본 발명의 일실시예의 촬상 장치(100)의 개략적인 구성을 나타낸 블록도이다.
본 발명의 실시예에 의하면, 촬상 장치(100)는, 화상을 취득하도록 구성된 취득 수단(unit)과, 상기 화상의 단부에 적어도 하나의 화소를 지정하도록 구성된 지정 수단(unit)과, 상기 적어도 하나의 화소 주변의 주변 화소 중, 상기 적어도 하나의 화소와 유사한 화소를 추적하도록 구성된 추적 수단(unit)과, 상기 추적 수단에 의해 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역으로서 추정하도록 구성된 추정 수단(unit)을 구비한다.
구체적으로는, 도 1에 나타낸 바와 같이, 촬상 장치(100)는, 촬상부(1)와, 촬상 제어부(2)와, 화상 데이터 생성부(3)와, 메모리(4)와, 화상 처리부(5)와, 표시 제어부(6)와, 표시부(7)와, 기록 매체(8)와, 조작 입력부(9)와, 중앙 제어부(10)를 구비하고 있다.
촬상부(1)는 피사체를 촬상하여 화상 프레임을 생성한다. 구체적으로는, 촬상부(1)는, 도시는 생략하지만, 줌 렌즈나 포커스 렌즈 등의 복수개의 렌즈로 구성된 렌즈부와, 렌즈부를 통과하는 광의 양을 조정하는 조리개와, CCD(Charge Coupled Device)나 CMOS(Complementary Metal-oxide Semiconductor) 등의 이미지 센서로 구성되며, 렌즈부의 각종 렌즈를 통과한 광학상을 2차원 화상 신호로 변환하는 전자 촬상부를 구비하고 있다.
촬상 제어부(2)는, 도시는 생략하지만, 타이밍 발생기, 드라이버 등을 구비하고 있다. 그리고, 촬상 제어부(2)는, 타이밍 발생기, 드라이버에 의해 전자 촬상부를 주사 구동하여, 소정 주기마다 광학상을 전자 촬상부에 의해 2차원 화상 신호로 변환시켜, 상기 전자 촬상부의 촬상 영역으로부터 1화면분씩 화상 프레임을 판독하여 화상 데이터 생성부(3)에 출력시킨다.
또한, 촬상 제어부(2)는, 촬상 조건의 조정 제어로서, AE(자동 노출 처리), AF(자동 초점 처리), AWB(자동 화이트 밸런스) 등을 행한다.
화상 데이터 생성부(3)는, 전자 촬상부로부터 전송된 화상 데이터의 아날로그 값의 신호에 대하여 RGB의 각 색 성분마다 적절하게 게인 조정한 후, 샘플 홀드 회로(도시 생략)에서 샘플 홀딩하여 A/D 변환기(도시 생략)에서 디지털 데이터로 변환하여, 컬러 프로세스 회로(도시 생략)에서 화소 보간 처리 및 γ 보정 처리를 포함하는 컬러 프로세스 처리를 행한 후, 디지털 값의 휘도 신호 Y 및 색차 신호 Cb, Cr(YUV 색 공간의 화상 데이터)을 생성한다.
컬러 프로세스 회로로부터 출력되는 휘도 신호 Y 및 색차 신호 Cb, Cr은, 도시하지 않은 DMA 컨트롤러를 통하여, 버퍼 메모리로서 사용되는 메모리(4)에 DMA 전송된다.
메모리(4)는, 예를 들면, DRAM 등에 의해 구성되며, 화상 처리부(5)나 중앙 제어부(10) 등에 의해 처리되는 데이터 등을 일시적으로 기억한다.
화상 처리부(5)는, 촬상부(1)에 의해 촬상된 화상 F1을 처리 대상 화상으로서 취득하는 화상 취득부(취득 수단)(5a)를 구비하고 있다.
구체적으로는, 화상 취득부(5a)는, 예를 들면, 라이브 뷰 화상이나 기록용 화상의 촬상 시에 화상 데이터 생성부(3)에 의해 생성된 화상 F1의 YUV 데이터를 취득한다.
또한, 화상 처리부(5)는, 화상 취득부(5a)에 의해 취득된 화상 F1의 YUV 데이터에 기초하여, 수평(x축) 및 수직(y축) 모두를 소정 비율로 축소한 축소 화상 F2를 생성하는 화상 축소부(5b)를 구비하고 있다.
화상 축소부(5b)는, 예를 들면, 취득한 화상 F1의 YUV 데이터에 대하여 소정의 필터(예를 들면, 가우시안 필터)를 사용한 필터링 처리를 행함으로써, 수평(x축) 및 수직(y축)이 소정 화소(예를 들면, x축×y축: 40×30 화소 등)로 이루어지는 축소 화상 F2를 생성한다. 그리고, 도 3의 (a), 도 3의 (b) 및 도 5의 (a), 도 5의 (b)에 있어서는, x축×y축: 54×40 화소로 이루어지는 축소 화상 F2를 예시하고 있지만, 이는 일례이며 이것으로 한정되는 것은 아니다.
여기서, 화상 축소부(5b)는, 화상 취득부(5a)에 의해 취득된 화상 F1의 축소 화상 F2를 생성하는 화상 축소 수단을 구성하고 있다.
또한, 화상 처리부(5)는, 화상 축소부(5b)에 의해 생성된 축소 화상 F2의 단부측 중 적어도 하나의 화소를 지정하는 화소 지정부(5c)를 구비하고 있다.
화소 지정부(5c)는, 구체적으로는, 축소 화상 F2의 4개의 코너의 각각의 화소 Pix(0,0), Pix(x,0), Pix(0,y), Pix(x,y)를 주변 화소 Pix(i,j)로서 지정한다[x, y; 축소 화상 F2의 화소수에 따라 규정되는 실수(實數)].
그리고, 주변 화소 Pix(i,j)로서 축소 화상 F2의 4개의 코너의 화소를 지정하였으나, 이것으로 한정되지 않고, 축소 화상 F2의 단부측의 화소이면 어떤 위치의 화소라도 된다. 또한, 반드시 축소 화상 F2의 4개의 코너의 모든 화소를 주변 화소 Pix(i,j)로서 지정할 필요는 없고, 적어도 하나의 코너의 화소를 주변 화소 Pix(i,j)로서 지정하면 된다.
여기서, 화소 지정부(5c)는, 화상 취득부(5a)에 의해 취득된 화상 F1의 단부 측 중 적어도 하나의 화소를 지정하는 지정 수단을 구성하고 있다.
또한, 화상 처리부(5)는, 화소 지정부(5c)에 의해 지정된 축소 화상 F2의 4개의 코너의 화소 중, 적어도 하나의 코너의 화소[주변 화소 Pix(i,j)]의 주변 영역에 대하여, 상기 주변 화소 Pix(i,j)와 유사한 화소를 추적하는 화소 추적부(5d)를 구비하고 있다.
즉, 화소 추적부(5d)는, 화소 지정부(5c)에 의해 주변 화소 Pix(i,j)로서 지정된 하나의 화소의 화소값과 상기 하나의 화소 주변의 화소의 화소값의 일치도가 소정값 이상인지의 여부를 판정하는 판정부(판정 수단)(5e)를 가지고 있다. 여기서, 화소값은, 예를 들면, RGB 색 공간, HSV 색 공간, YUV 색 공간 등의 소정의 색 공간에서 표현되는 각 화소의 색 정보(각 성분의 값)이다. 그리고, 화소 추적부(5d)는, 판정부(5e)에 의해 일치도가 소정값 이상인 것으로 판정된 화소를, 주변 화소 Pix(i,j)와 유사한 화소로서 추적한다.
구체적으로는, 화소 추적부(5d)는, 화소 지정부(5c)에 의해 지정된 주변 화소 Pix(i, j)의 8개의 인접 화소 Pix(i-1, j-1), Pix(i, j-1), Pix(i+1, j-1), Pix(i-1, j), Pix(i+1, j), Pix(i-1, j+1), Pix(i, j+1), Pix(i+1, j+1)를 추적 범위로 한다(도 4 참조). 그리고, 화소 추적부(5d)는, 상기 추적 범위의 각각의 화소를 화소값의 비교 판정의 대상 화소로 하고, 예를 들면, 화소끼리의 L2-norm 등을 일치도로서 산출하여 화소값이 근접한지의 여부를 판정부(5e)에 의해 판정한다.
예를 들면, 도 3의 (b)에 나타낸 바와 같이, 좌상(左上) 코너부의 화소 Pix(0, 0)를 주변 화소 Pix(i, j)로 한 경우, 화소 추적부(5d)는, 인접 화소 Pix(i+1, j), Pix(i, j+1), Pix(i+1, j+1)를 비교 판정의 대상 화소로 한다. 계속하여, 화소 추적부(5d)는, YUV 색 공간의 화상 데이터를 소정의 변환식에 따라 RGB 색 공간의 화상 데이터로 변환한 후, 하기 식 (1)에 따라 화소끼리의 화소값을 판정부(5e)에 의해 비교 판정한다. 그리고, 화소 추적부(5d)는, 상기 식 (1)을 만족시키는 화소(화소값의 일치도가 소정값 이상인 화소)를 주변 화소 Pix(i, j)와 유사한 화소인 것으로 판단하여 추적한다.
Figure 112010053397237-pat00001
…(1)
그리고, PR은, RGB 색 공간에서 표현되는 각 화소의 R 성분의 값이며, PG는, RGB 색 공간에서 표현되는 각 화소의 G 성분의 값이며, PB는, RGB 색 공간에서 표현되는 각 화소의 B 성분의 값이다. 또한, TH1은, 현재의 대상 픽셀과 인접 픽셀의 색이 가까운지의 여부를 판정하기 위한 임계값이며, 추적 정밀도에 따라 적절하게 또한 임의로 변경할 수 있다.
이 때, 주변 화소 pix(i, j)와 화소값이 소정값 이상 이격되어 있는 화소는, 상기 주변 화소 pix(i, j)와 색이 너무 이격되어 있고, 화소 추적부(5d)에 의한 추적 불가능으로 상정되므로, 주변 화소 pix(i, j)와 화소값이 소정값 이상 이격되어 있는 화소를 하기 식 (2)에 따라서 미리 제외하는 것이 바람직하다.
Figure 112010053397237-pat00002
…(2)
그리고, TH2는, 주변 화소 pix(i, j)와 색이 너무 이격되어 있는 화소를 제외하기 위한 임계값이며, 추적 정밀도에 따라 적절하게 또한 임의로 변경할 수 있다.
또한, 화소 추적부(5d)는, 상기 추적 범위 내에서 주변 화소 pix(i, j)와 유사한 화소(화소값의 일치도가 소정값 이상인 화소)로서 추적된 추적 화소[예를 들면, 인접 화소 Pix(i+1, j)]의 주위의 8개의 인접 화소를 새로운 추적 범위로 한다. 그리고, 화소 추적부(5d)는, 상기 새로운 추적 범위의 각 화소[Pix(i+1, j)의 주변 화소]에 대하여, 전술한 바와 마찬가지로 Pix(i+1, j)와의 화소값이 가까운지의 여부를 판정부(5e)에 의해 판정한다.
화소 추적부(5d)는, 전술한 처리를 반복적으로 실행함으로써, 주변 화소 pix(i, j)와 유사한 화소로서 추적된 추적 화소에 기초하여, 새로운 추적 범위를 차례로 설정하고, 차례로 화소를 추적해 간다[도 5의 (a) 및 도 5의 (b) 참조].
화소 추적부(5d)는, 상기 적어도 하나의 화소 주변의 주변 화소 중, 상기 적어도 하나의 화소와 유사한 화소를 추적하도록 구성되어 있다.
또한, 화상 처리부(5)는, 화소 추적부(5d)에 의한 추적 결과에 기초하여, 축소 화상 F2로부터 주목 영역 A를 추정하여 검출하는 주목 영역 검출부(5f)를 구비하고 있다.
주목 영역 검출부(5f)는, 구체적으로는, 예를 들면, 도 5의 (b)에 나타낸 바와 같이, 축소 화상 F2에 있어서의, 화소 추적부(5d)에 의해 추적된 복수개의 화소[도 5의 (b)에서는, 모눈으로 나타내어지는 화소]에 의해 구성되는 영역 이외의 영역[예를 들면, 도 5의 (b)에 있어서는, 주로 버팔로가 존재하는 영역]을 주목 영역 A로 추정한다. 그리고, 주목 영역 검출부(5f)는, 화상 취득부(5a)에 의해 취득된 화상 F1에 대응시키도록, 추정된 주목 영역 A를 수평(x축) 및 수직(y축) 모두 화상 축소부(5b)에 의한 축소 비율에 대응하는 비율로 확대한다.
즉, 화상 내에서 보다 단부 측에 위치하는 화소에 의해 구성되는 영역은, 예를 들면, 하늘과 지면과 같이 무시해도 좋을 영역이며, 사용자의 주목도가 낮은 촬상 대상일 가능성이 높다. 그러므로, 처리 대상 화상에서의 추적된 화소 이외의 영역을 사용자의 주목도가 높은 주목 영역 A로 추정할 수 있다.
여기서, 주목 영역 검출부(5f)는, 화소 추적부(5d)에 의해 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역 A로 추정하도록 구성되어 있다.
표시 제어부(6)는, 메모리(4)에 일시적으로 기억되어 있는 표시용 화상 데이터를 판독하여 표시부(7)에 표시하게 하는 제어를 행한다.
구체적으로는, 표시 제어부(6)는, VRAM, VRAM 컨트롤러, 디지털 비디오 인코더 등을 구비하고 있다. 그리고, 디지털 비디오 인코더는, 중앙 제어부(10)의 제어 하에서 메모리(4)로부터 판독되어 VRAM(도시 생략)에 기억되어 있는 휘도 신호 Y 및 색차 신호 Cb, Cr을, VRAM 컨트롤러를 통하여 VRAM으로부터 정기적으로 판독하여, 이들 데이터를 기초로 하여 비디오 신호를 발생하여 표시부(7)에 출력한다.
표시부(7)는, 예를 들면, 액정 표시 장치이며, 표시 제어부(6)로부터의 비디오 신호에 기초하여 전자 촬상부에 의해 촬상된 화상 등을 표시 화면에 표시한다. 구체적으로는, 표시부(7)는, 정지 화상 촬상 모드나 동영상 촬상 모드에 의해, 촬상부(1)에 의한 피사체의 촬상에 의해 생성된 복수개의 화상 프레임을 소정의 프레임 레이트로 축차(逐次) 갱신하면서 라이브 뷰 화상을 표시한다. 또한, 표시부(7)는, 정지 화상으로서 기록되는 화상[렉뷰 화상(rec view image)]을 표시하거나, 동영상으로서 기록 중인 화상을 표시한다.
기록 매체(8)는, 예를 들면, 불휘발성 메모리(플래시 메모리) 등에 의해 구성되며, 화상 처리부(5)의 부호화부(도시 생략)에 의해 소정의 압축 형식으로 부호화된 기록용 정지 화상 데이터나 복수개의 화상 프레임으로 이루어지는 동화상 데이터를 기억한다.
조작 입력부(9)는, 촬상 장치(100)의 소정 조작을 행하기 위한 것이다. 구체적으로는, 조작 입력부(9)는, 피사체의 촬영 지시에 관한 셔터 버튼, 촬상 모드나 기능 등의 선택 지시에 관한 선택 결정 버튼, 줌 량의 조정 지시에 관한 줌 버튼 등을 구비하고(모두 도시 생략), 이들 버튼의 조작에 따라 소정의 조작 신호를 중앙 제어부(10)에 출력한다.
중앙 제어부(10)는, 촬상 장치(100)의 각 부를 제어하는 것이다. 구체적으로는, 중앙 제어부(10)는, CPU(도시 생략)를 구비하고, 촬상 장치(100)용 각종 처리 프로그램(도시 생략)에 따라 각종 제어 동작을 행한다.
다음으로, 촬상 장치(100)에 의해 피사체를 촬영할 때, 화상 처리부(5)에 의해 실행되는 주목 영역 추정 처리에 대하여, 도 2～도 5의 (b)를 참조하여 설명한다.
도 2는, 주목 영역 추정 처리에 관한 동작의 일례를 나타낸 흐름도이다.
도 2에 나타낸 바와 같이, 화상 취득부(5a)는, 예를 들면, 촬상부(1)에 의해 라이브 뷰 화상이나 기록용 화상 등을 촬상함으로써 화상 데이터 생성부(3)에 의해 생성된 화상 F1의 YUV 색 공간의 화상 데이터를 취득한다(단계 S1). 계속하여, 화상 축소부(5b)는, 예를 들면, 화상 F1의 YUV 데이터에 대하여 소정의 필터(예를 들면, 가우시안 필터)를 사용한 필터링 처리를 행함으로써, 수평(x축) 및 수직(y축) 모두 소정의 비율 비율로 축소하여 축소 화상 F2를 생성한다(단계 S2).
다음으로, 화소 지정부(5c)는, 화상 축소부(5b)에 의해 생성된 축소 화상 F2의 4개의 코너의 각 화소 Pix(0, 0), Pix(x, 0), Pix(0, y), Pix(x, y)를 주변 화소 Pix(i, j)로서 지정한다(단계 S3). 그리고, x, y는 축소 화상 F2의 화소수에 따라 규정되는 실수이다.
계속하여, 화소 추적부(5d)는, 화소 지정부(5c)에 의해 지정된 주변 화소 Pix(i, j)의 8개의 인접 화소 Pix(i-1, j-1), Pix(i, j-1), Pix(i+1, j-1), Pix(i-1, j), Pix(i+1, j), Pix(i-1, j+1), Pix(i, j+1), Pix(i+1, j+1)을 추적 범위로서 특정한다(단계 S4).
그리고, 화소 추적부(5d)는, 상기 추적 범위의 각 화소를 화소값의 비교 판정의 대상 화소로 한다. 그 후, 화소 추적부(5d)는, YUV 색 공간의 화상 데이터를 소정의 변환식에 따라 RGB 색 공간의 화상 데이터로 변환한 후, 축소 화상 F2의 4개의 코너의 각 화소 Pix(0, 0), Pix(x, 0), Pix(0, y), Pix(x, y)에 대하여, 비교 판정의 대상 화소와의 화소값의 일치도로서, 예를 들면, 화소끼리의 L2-norm 등을 산출한다(단계 S5). 계속하여, 화소 추적부(5d)의 판정부(5e)는, 하기 식 (3) 및 (4)에 따라 화소끼리의 화소값을 비교 판정함으로써, 화소값의 일치도가 소정값 이상인지의 여부를 판정한다(단계 S6).
Figure 112010053397237-pat00003
…(3)
Figure 112010053397237-pat00004
…(4)
단계 S6에서, 화소값의 일치도가 소정값 이상으로 판정되면(단계 S6; YES), 즉, 전술한 식을 만족시키고, 화소값의 일치도가 소정값 이상이라고 판단되면, 화소 추적부(5d)는, 주변 화소 pix(i, j)와 유사한 화소, 즉 화소값의 일치도가 소정값 이상인 모든 화소[예를 들면, 인접 화소 Pix(i+1, j)]를 추적 화소로서, 상기 추적 화소 주위의 8개의 인접 화소를 새로운 추적 범위로서 특정한다(단계 S7).
그리고, 화소 추적부(5d)는, 상기 새로운 추적 범위의 각 화소를 화소값의 비교 판정의 대상 화소로서, 전술한 바와 마찬가지로, 축소 화상 F2의 4개의 코너의 각각의 화소 Pix(0, 0), Pix(x, 0), Pix(0, y), Pix(x, y)에 대하여, 새로운 추적 범위 내의 비교 판정의 대상 화소와의 화소값의 일치도로서, 예를 들면, 화소끼리의 L2-norm 등을 산출한다(단계 S8). 계속하여, 화소 추적부(5d)의 판정부(5e)는, 상기 식 (3) 및 (4)에 따라 화소끼리의 화소값을 비교 판정함으로써, 화소값의 일치도가 소정값 이상인지의 여부를 판정한다(단계 S9).
단계 S9에서, 화소값의 일치도가 소정값 이상으로 판정되면(단계 S6; YES), 즉, 전술한 각 식을 만족시키고, 화소값의 일치도가 소정값 이상인 것으로 판단되면, 처리를 단계 S7로 이행하여, 그 이후의 처리를 실행한다.
단계 S7 이후의 처리는, 단계 S9에서, 새로운 추적 범위 내의 비교 판정의 대상 화소에 대하여, 대응하는 축소 화상 F2의 4개의 코너의 각각의 화소 Pix(0, 0), Pix(x, 0), Pix(0, y), Pix(x, y)와의 화소값의 일치도가 소정값 이상이 아니라고 판정될 때까지(단계 S9; NO), 반복적으로 행해진다. 이로써, 화소 추적부(5d)는, 주변 화소 pix(i, j)와 유사한 화소로서 추적된 추적 화소에 기초하여, 새로운 추적 범위를 차례로 설정해 간다[도 5의 (a), 도 5의 (b)].
그리고, 단계 S9에서, 새로운 추적 범위 내의 비교 판정의 대상 화소에 대하여, 화소값의 일치도가 소정값 이상이 아닌 것으로 판정되면(단계 S9; NO), 주목 영역 검출부(5f)는, 축소 화상 F2에 있어서의, 4개의 코너의 각각의 화소 Pix(0, 0), Pix(x, 0), Pix(0, y), Pix(x, y)와의 화소값의 일치도가 소정값 이상의 화소[도 5의 (b)에 있어서는, 모눈으로 나타내어지는 화소]에 의해 구성되는 영역 이외의 영역을 주목 영역 A로 추정한다(단계 S10).
그 후, 주목 영역 검출부(5f)는, 화상 취득부(5a)에 의해 취득된 축소 전의 화상 F1에 대응시키도록, 추정된 주목 영역 A를 수평(x축) 및 수직(y축) 모두 화상 축소부(5b)에 의한 축소 비율에 대응하는 비율로 확대한 것을 메모리(4)에 출력하고(단계 S11), 주목 영역 추정 처리를 종료한다.
그리고, 단계 S6에서, 추적 범위 내의 비교 판정 대상 화소에 대하여, 화소값의 일치도가 소정값 이상이 아닌 것으로 판정된 경우에도(단계 S6; NO), 주목 영역 추정 처리를 종료한다.
이상과 같이, 본 실시예의 촬상 장치(100)에 의하면, 처리 대상 화상의 4개의 코너 중 적어도 하나의 화소 주변 영역에 대하여, 상기 적어도 하나의 화소와 유사한 화소를 추적해 감으로써, 구도(화각) 내에서 보다 단부 측에 위치하는 사용자의 주목도가 낮은 촬상 대상, 즉 예를 들면, 무시해도 될 영역을 특정할 수 있다.
그리고, 처리 대상 화상 중, 화소 추적부(5d)에 의해 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역 A로 추정한다. 즉, 처리 대상 화상에 있어서, 추적된 화소에 의해 구성되는 영역, 즉 구도 내에서 보다 단부 측에 위치하는 화소에 의해 구성되는 영역은, 예를 들면, 하늘이나 지면과 같이 무시해도 좋은 상태로 되어, 사용자의 주목도가 낮은 촬상 대상일 가능성이 높다. 이로써, 처리 대상 화상에 있어서의 추적된 화소 이외의 영역을 사용자의 주목도가 높은 주목 영역 A로 추정할 수 있고, 피사체의 구도를 고려하여, 처리 대상 화상 내의 사용자의 주목도가 높은 주목 영역[예를 들면, 도 5의 (b)에 있어서는, 주로 버팔로가 존재하는 영역]을 검출할 수 있다.
또한, 처리 대상 화상의 4개의 코너 중 적어도 하나의 화소로부터 상기 화상 F2에 있어서의 상기 하나의 화소와 유사한 화소를 추적한다. 구체적으로는, 처리 대상 화상의 4개의 코너 중 적어도 하나의 화소의 인접 화소를 추적 범위로 하고, 상기 추적 범위 내에서 4개의 코너 중 적어도 하나의 화소와 유사한 화소로서 추적된 화소의 인접 화소를 새로운 추적 범위로서 차례로 추적하므로, 구도 내에서 보다 사용자의 주목도가 높은 영역(주목 영역 A)을 남기면서, 보다 단부 측에 위치하는 화소에 의해 구성되는 사용자의 주목도가 낮은 영역의 특정을 적절하게 행할 수 있고, 처리 대상 화상으로부터의 주목 영역 A의 검출 정밀도를 향상시킬 수 있다.
또한, 처리 대상 화상의 4개의 코너 중 적어도 하나의 화소와의 화소값의 일치도가 소정값 이상으로 판정된 화소를 상기 4개의 코너 중 적어도 하나의 화소와 유사한 화소로서 추적하므로, 처리 대상 화상의 4개의 코너의 화소와 유사한 색의 화소를 추적할 수 있고, 구도 내에서 보다 단부 측에 위치하는 화소에 의해 구성되는 사용자의 주목도가 낮은 영역의 특정을 적절하게 행할 수 있다.
또한, 화상 취득부(5a)에 의해 취득된 화상 F1의 축소 화상 F2를 생성하여, 이 축소 화상 F2를 처리 대상 화상으로 할 수 있고, 축소 화상 F2의 4개의 코너의 화소와 유사한 화소의 추적 처리나 사용자의 주목도가 높은 주목 영역 A의 추정 처리의 처리 속도를 더욱 고속화할 수 있다.
그리고, 본 발명은, 상기 실시예로 한정되지 않고, 본 발명의 취지를 벗어나지 않는 범위에 있어서, 각종 개량 및 설계의 변경을 행해도 된다.
예를 들면, 처리 대상 화상(축소 화상 F2)의 4개의 코너의 각각의 화소의 인접 화소를 추적 범위로 하고, 상기 추적 범위 내에서 4개의 코너의 각각의 화소와 유사한 화소로서 추적된 화소의 인접 화소를 새로운 추적 범위로 하도록 했지만, 추적 범위나 새로운 추적 범위의 설정 방법은 이것으로 한정되지 않고, 처리 대상 화상(축소 화상 F2)의 4개의 코너의 각각의 화소와 유사한 화소를 추적하는 방법이면 적절하게 또한 임의로 변경할 수 있다.
또한, 상기 실시예에 있어서는, 주목 영역 A의 추정 처리의 대상 화상으로서, 화상 취득부(5a)에 의해 취득된 화상 F1을 축소한 축소 화상 F2를 사용하였지만, 축소 화상 F2를 생성할 것인지의 여부나, 축소의 비율(정도) 등은 장치의 능력에 따라 적절하게 또한 임의로 변경할 수 있다.
또한, 촬상 장치(100)의 구성은, 상기 실시예에 예시한 것은 일례이며, 이것으로 한정되는 것은 아니다. 즉, 화상 처리 장치로서 촬상 장치(100)를 예시했지만, 이것으로 한정되는 것은 아니다. 예를 들면, 처리 대상 화상의 촬상은, 촬상 장치(100)와는 상이한 촬상 장치에 의해 행하고, 이 촬상 장치로부터 전송된 처리 대상 화상의 화상 데이터를 취득하여, 주목 영역 A의 검출을 행하는 화상 처리 장치라도 된다.
여기에 더하여, 상기 실시예에 있어서는, 취득 수단, 지정 수단, 추적 수단, 추정 수단으로서의 기능을, 중앙 제어부(10)의 제어 하에서, 화상 처리부(5)의 화상 취득부(5a), 화소 지정부(5c), 화소 추적부(5d), 주목 영역 검출부(5f)가 구동함으로써 실현되는 구성으로 하였으나, 이것으로 한정되지 않고, 중앙 제어부(10)의 CPU에 의해 소정의 프로그램 등이 실행됨으로써 실현되는 구성으로 해도 된다.
즉, 프로그램을 기억하는 프로그램 메모리(도시 생략)에, 취득 처리 루틴, 지정 처리 루틴, 추적 처리 루틴, 추정 처리 루틴을 포함하는 프로그램을 기억시켜 둔다. 그리고, 취득 처리 루틴에 의해 중앙 제어부(10)의 CPU를, 화상을 취득하는 취득 수단으로서 기능하도록 해도 된다. 또한, 지정 처리 루틴에 의해 중앙 제어부(10)의 CPU를, 취득 수단에 의해 취득된 화상의 단부 측 중 적어도 하나의 화소를 지정하는 지정 수단으로서 기능하도록 해도 된다. 또한, 추적 처리 루틴에 의해 중앙 제어부(10)의 CPU를, 지정 수단에 의해 지정된 적어도 하나의 화소 주변 영역에 대하여, 상기 하나의 화소와 유사한 화소를 추적하는 추적 수단으로서 기능하도록 해도 된다. 또한, 추정 처리 루틴에 의해 중앙 제어부(10)의 CPU를, 화상 중, 추적 수단에 의해 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역 A로 추정하는 추정 수단으로서 기능하도록 해도 된다.
이상, 구체적인 실시예를 참조에 의해 나타내고, 또한 설명했으나, 다양한 형태와 상세한 설명에 따른 실시예는 첨부된 청구항에 의해 정의된 본 발명의 정신과 범위로부터 일탈하지 않는 범위 내에서 이루어진 것으로 이해되어야 할 것이다. 따라서, 본 발명의 정신과 범위를 일탈하지 않는 이러한 모든 변경과 개량은, 첨부된 청구항에서 커버한다.

Claims (7)

  1. 화상의 적어도 하나의 화소를 추적 개시 화소로서 지정하도록 구성된 지정 수단;
    상기 하나의 화소의 주변 화소를 추적 범위로 함과 함께, 상기 하나의 화소에 유사한 화소를 상기 추적 범위로부터 순차적으로 추적하는 추적 수단;
    상기 추적 수단에 의해 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역으로서 추정하는 추정 수단;
    상기 하나의 화소의 화소값과 상기 주변 화소의 화소값의 일치도가 제1 소정값 이상인지 여부를 판정하는 제1 판정 수단; 및
    상기 지정 수단에 의해 지정된 상기 추적 개시 화소의 화소값과 상기 주변 화소의 화소값의 차이가 제2 소정값 미만인지 여부를 판정하는 제2 판정 수단
    을 포함하고,
    상기 추적 수단은,
    상기 주변 화소 중 하나에 대한 상기 제1 판정 수단에 의한 일치도가 제1 소정값 이상이고, 상기 제2 판정 수단에 의한 차이가 제2 소정값 미만인 경우에는, 상기 주변 화소 중 하나가 상기 하나의 화소와 유사하다고 판정하고, 상기 주변 화소 중 하나를 추적하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 하나의 화소는 상기 화상의 하나의 코너에 존재하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 하나의 화소는 상기 화상의 단부에 존재하는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 화상의 축소 화상을 생성하는 화상 축소 수단을 더 포함하고,
    상기 지정 수단은, 상기 축소 화상의 단부의 적어도 하나의 화소를 지정하는, 화상 처리 장치.
  5. 화상의 단부에 적어도 하나의 화소를 추적 개시 화소로서 지정하도록 구성된 지정 단계;
    상기 하나의 화소의 주변 화소를 추적 범위로 함과 함께, 상기 하나의 화소에 유사한 화소를 상기 추적 범위로부터 순차적으로 추적하는 추적 단계;
    상기 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역으로서 추정하는 추정 단계;
    상기 하나의 화소의 화소값과 상기 주변 화소의 화소값의 일치도가 제1 소정값 이상인지 여부를 판정하는 제1 판정 단계; 및
    상기 지정 단계에서 지정된 상기 추적 개시 화소의 화소값과 상기 주변 화소의 화소값의 차이가 제2 소정값 미만인지 여부를 판정하는 제2 판정 단계
    를 포함하고,
    상기 추적 단계는,
    상기 주변 화소 중 하나에 대한 상기 제1 판정 단계에서의 일치도가 제1 소정값 이상이고, 상기 제2 판정 단계에서의 차이가 제2 소정값 미만인 경우에, 상기 판정 단계는, 상기 주변 화소 중 하나가 상기 하나의 화소와 유사하다고 판정하고, 상기 주변 화소 중 하나를 추적하는, 화상 처리 방법.
  6. 화상 처리 장치를 포함하는 컴퓨터를,
    화상의 단부에 적어도 하나의 화소를 추적 개시 화소로서 지정하도록 구성된 지정 수단;
    상기 하나의 화소의 주변 화소를 추적 범위로 함과 함께, 상기 하나의 화소에 유사한 화소를 상기 추적 범위로부터 순차적으로 추적하는 추적 수단;
    상기 추적된 화소에 의해 구성되는 영역 이외의 영역을 주목 영역으로서 추정하는 추정 수단;
    상기 하나의 화소의 화소값과 상기 주변 화소의 화소값의 일치도가 제1 소정값 이상인지 여부를 판정하는 제1 판정 수단; 및
    상기 지정 수단에 의해 지정된 상기 추적 개시 화소의 화소값과 상기 주변 화소의 화소값의 차이가 제2 소정값 미만인지 여부를 판정하는 제2 판정 수단
    으로 기능하게 하고,
    상기 추적 수단은,
    상기 주변 화소 중 하나에 대한 상기 제1 판정 수단에 의한 일치도가 제1 소정값 이상이고, 상기 제2 판정 수단에 의한 차이가 제2 소정값 미만인 경우에, 상기 판정 수단은, 상기 주변 화소 중 하나가 상기 적어도 하나의 화소와 유사하다고 판정하고, 상기 주변 화소 중 하나를 추적하는, 프로그램을 기록한 컴퓨터로 판독 가능한 매체.
  7. 삭제
KR1020100080210A 2009-08-31 2010-08-19 화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체 KR101178777B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-199675 2009-08-31
JP2009199675A JP4868046B2 (ja) 2009-08-31 2009-08-31 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20110023762A KR20110023762A (ko) 2011-03-08
KR101178777B1 true KR101178777B1 (ko) 2012-09-07

Family

ID=43625017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100080210A KR101178777B1 (ko) 2009-08-31 2010-08-19 화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체

Country Status (5)

Country Link
US (1) US8295609B2 (ko)
JP (1) JP4868046B2 (ko)
KR (1) KR101178777B1 (ko)
CN (1) CN102006485B (ko)
TW (1) TWI469085B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013033830A2 (pt) * 2012-05-25 2017-02-14 Panasonic Corp método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e decodificação de imagem
JP6135283B2 (ja) * 2013-04-26 2017-05-31 オムロン株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6232982B2 (ja) * 2013-12-02 2017-11-22 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
JP6642970B2 (ja) 2015-03-05 2020-02-12 キヤノン株式会社 注目領域検出装置、注目領域検出方法及びプログラム
TWI712909B (zh) * 2018-04-17 2020-12-11 和碩聯合科技股份有限公司 輔助臉部辨識的防僞方法及系統
US20220051399A1 (en) * 2018-09-14 2022-02-17 Health Partners Pte Ltd Method and system for determining well-being indicators
JP7423951B2 (ja) 2019-09-19 2024-01-30 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
CN112738625B (zh) * 2020-12-24 2023-03-31 广东九联科技股份有限公司 基于机顶盒的视频图像增强方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11288465A (ja) * 1998-02-06 1999-10-19 Fujitsu Ltd カラー画像処理装置及びパターン抽出装置
JP2005149439A (ja) * 2003-11-20 2005-06-09 Oki Data Corp 画像処理装置及び画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008091483A2 (en) * 2007-01-23 2008-07-31 Euclid Discoveries, Llc Computer method and apparatus for processing image data
TWI348659B (en) * 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking
CN100512374C (zh) * 2007-12-05 2009-07-08 北京航空航天大学 一种基于阈值分割的图像边缘检测方法
CN101447079B (zh) * 2008-12-11 2012-11-28 香港理工大学 基于模糊拓扑的图像区域目标提取方法
CN101493892B (zh) * 2009-02-27 2012-03-28 中国农业大学 图像特征提取方法及装置
US8565531B2 (en) * 2009-10-09 2013-10-22 Xerox Corporation Edge detection for mixed raster content (MRC) images for improved compression and image quality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11288465A (ja) * 1998-02-06 1999-10-19 Fujitsu Ltd カラー画像処理装置及びパターン抽出装置
JP2005149439A (ja) * 2003-11-20 2005-06-09 Oki Data Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20110052070A1 (en) 2011-03-03
JP2011053759A (ja) 2011-03-17
US8295609B2 (en) 2012-10-23
KR20110023762A (ko) 2011-03-08
TWI469085B (zh) 2015-01-11
CN102006485A (zh) 2011-04-06
JP4868046B2 (ja) 2012-02-01
TW201129943A (en) 2011-09-01
CN102006485B (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
EP3477931B1 (en) Image processing method and device, readable storage medium and electronic device
KR101178777B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터가 판독 가능한 기억 매체
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
JP4748244B2 (ja) 画像選択装置、画像選択方法及びプログラム
KR101441786B1 (ko) 피사체 판정 장치, 피사체 판정 방법, 및 기록 매체
KR20200031168A (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
US8472747B2 (en) Image composition device, image composition method, and storage medium storing program
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
CN110636216B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111368819B (zh) 光斑检测方法和装置
CN107959841B (zh) 图像处理方法、装置、存储介质和电子设备
US20130265412A1 (en) Image processing apparatus and control method therefor
JP6198389B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US8582813B2 (en) Object detection device which detects object based on similarities in different frame images, and object detection method and computer-readable medium recording program
US20140029806A1 (en) Object searching apparatus, object searching method and computer-readable recording medium
JP5395650B2 (ja) 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
US20130293741A1 (en) Image processing apparatus, image capturing apparatus, and storage medium storing image processing program
JP5287965B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012084178A (ja) 画像処理装置、画像処理方法及びプログラム
JP2009130840A (ja) 撮像装置及びその制御方法及びプログラム
JP6601062B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
JP2008263320A (ja) 撮像装置及び制御方法
JP2012009980A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150817

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160727

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 7