KR101098169B1 - 이미지 프로세싱 장치, 이미지 프로세싱 방법, 및 컴퓨터 판독가능 매체 - Google Patents

이미지 프로세싱 장치, 이미지 프로세싱 방법, 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR101098169B1
KR101098169B1 KR1020100012698A KR20100012698A KR101098169B1 KR 101098169 B1 KR101098169 B1 KR 101098169B1 KR 1020100012698 A KR1020100012698 A KR 1020100012698A KR 20100012698 A KR20100012698 A KR 20100012698A KR 101098169 B1 KR101098169 B1 KR 101098169B1
Authority
KR
South Korea
Prior art keywords
value
threshold
block
equal
representative pixel
Prior art date
Application number
KR1020100012698A
Other languages
English (en)
Other versions
KR20100097016A (ko
Inventor
겐타로우 니이쿠라
Original Assignee
르네사스 일렉트로닉스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르네사스 일렉트로닉스 가부시키가이샤 filed Critical 르네사스 일렉트로닉스 가부시키가이샤
Publication of KR20100097016A publication Critical patent/KR20100097016A/ko
Application granted granted Critical
Publication of KR101098169B1 publication Critical patent/KR101098169B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Abstract

대표 픽셀값 계산 유닛 (120) 은 미가공 데이터 (D0) 에 의해 나타낸 이미지를 복수의 블록으로 분할하고 각 블록에 대한 대표 픽셀값 (S) 을 계산한다. 검출 유닛 (130) 은 복수의 블록 중에서, 블로우아웃 하이라이트 또는 블로킹업 섀도우를 포함하는 블록인 오브젝트 블록을 검출한다. 검출 유닛 (130) 의 B-검출 유닛 (134) 은, 대표 픽셀값에 의해 나타낸 컬러와 그레이 사이의 차이, 및 이 차이를 근사적으로 나타낼 수 있는 값 중 하나를 특성값으로서 획득하고 이 특성값이 제 1 임계치 이하인 블록을 오브젝트 블록으로서 검출하는 제 1 검출 프로세싱을 수행한다. 결과적으로, 이미지에 포함된 블로우아웃 하이라이트 또는 블로킹업 섀도우는 보다 고속으로 검출될 수 있고, 검출 누락이 방지될 수 있다.

Description

이미지 프로세싱 장치, 이미지 프로세싱 방법, 및 컴퓨터 판독가능 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND COMPUTER-READABLE MEDIUM}
본 출원은 2009년 2월 25일에 출원된 일본특허출원 제 2009-042536호에 기초하고 이의 우선권의 이익을 주장하며, 그 개시물은 본 명세서에서 전부 참조로서 포함된다.
본 발명은 이미지에서 블로우아웃 (blow-out) 하이라이트 또는 블로킹업 (block-up) 섀도우를 검출하는 기술에 관한 것이다.
디지털 카메라와 같은 이미지 픽업 장치에서, 화이트 밸런스 제어 및 노출 제어가 수행된다. 이러한 제어를 정확히 수행하기 위해, 블로우아웃 하이라이트 부분과 블로킹업 섀도우 부분을 제거하는 것이 필요하다. 이러한 이유로, 블로우아웃 하이라이트 부분 및 블로킹업 섀도우 부분이 검출된다.
최근에, DSLR (digital single-lens reflex) 카메라와 같이, 점점 더 많은 수의 고성능 카메라가 미가공 (raw) 이미지를 그대로 저장하는 기능을 가진다. 미가공 이미지를 프로세싱하는 이미지 프로세싱 장치에서, 화이트 밸런스 보정 및 노출 보정이 수행된다. 높은 정확도로 이러한 보정을 수행하기 위해, 블로우아웃 하이라이트 부분 및 블로킹업 섀도우 부분을 제거하는 것이 필요하다. 이러한 이유로, 블로우아웃 하이라이트 부분 및 블로킹업 섀도우 부분이 이미지 프로세싱 장치에서도 검출된다.
블로우아웃 하이라이트 및 블로킹업 섀도우의 검출은 보통 픽셀의 휘도에 기초하여 수행된다. 그러나, 각 픽셀에서 블로우아웃 하이라이트와 블로킹업 섀도우의 검출은 바람직스럽지 못하게 시간 소비적이다. 블로우아웃 하이라이트와 블로킹업 섀도우가 하드웨어를 이용하여 검출되는 경우, 회로 사이즈가 증가하는 문제가 발생한다. 특히 이미지 픽업 장치의 분야에서, 다운사이징에 대한 시장 요구를 충족시키는 것이 어렵다.
미심사된 일본특허공개공보 제 2005-109705호는 상기 언급된 문제를 해결하기 위한 기술을 개시한다. 이 기술에 따르면, 이미지는 복수의 블록으로 분할되고, 블로우아웃 하이라이트 또는 블로킹업 섀도우를 포함하는 블록은 각 블록에 대해 획득된 평균 픽셀값에 기초하여 검출된다. 화이트 밸런스 보정을 위한 보정값을 획득하는 경우에, 블로우아웃 하이라이트 또는 블로킹업 섀도우를 포함하는 검출된 블록 이외의 블록에 대해 연산이 수행된다.
상세하게는, 이 기술에 따르면, R 값, G 값, 및 B 값의 평균 픽셀 값 모두가 소정의 임계치 (이하 "블로우아웃 하이라이트 임계치"로 지칭) 이상인 블록이 블로우아웃 하이라이트 영역으로서 검출되고, R 값, G 값, 및 B 값의 평균 픽셀 값 모두가 소정의 임계치 (이하 "블로킹업 섀도우 임계치"로 지칭) 이하인 블록이 블로킹업 섀도우 영역으로서 검출되도록 검출이 수행된다.
본 발명자는 후술하는 바와 같은 문제를 발견하였다. 블록에 포함된 픽셀의 일부가 블로우아웃 하이라이트 픽셀인 경우에도, 이 블록의 평균 픽셀값은 항상 블로우아웃 하이라이트 임계치 이상은 아니다. 마찬가지로, 블록에 포함된 픽셀의 일부가 블로킹업 섀도우 픽셀인 경우에도, 이 블록의 평균 픽셀값은 항상 블로킹업 섀도우 임계치 이하는 아니다. 이러한 이유로, 미심사된 일본특허공개공보 제 2005-109705호에 개시된 기술은 블로우아웃 하이라이트 또는 블로킹업 섀도우를 포함하는 블록의 검출 누락이 발생할 수도 있는 문제를 가진다. 이러한 검출 누락은 화이트 밸런스/노출 제어 및 보정에 악영향을 가진다. 따라서, 검출 누락을 방지할 필요가 있다.
본 발명의 제 1 예시적인 양태는 이미지 프로세싱 장치이다. 이 이미지 프로세싱 장치는 이미지를 복수의 블록으로 분할하고 복수의 블록 각각에 대한 대표 픽셀값을 계산하는 대표 픽셀값 계산 유닛, 및 복수의 블록 중에서 오브젝트 블록을 검출하는 검출 유닛을 포함하며, 상기 오브젝트 블록은 블로우아웃 하이라이트와 블로킹업 섀도우 중 하나를 포함하는 블록이다.
검출 유닛은, 대표 픽셀값에 의해 나타낸 컬러와 그레이 사이의 차이, 및 이 차이를 근사적으로 나타낼 수 있는 값 중 하나를 특성값으로서 획득하고, 제 1 임계치 이하의 특성값을 갖는 블록을 오브젝트 블록으로서 검출하는 제 1 검출 프로세싱을 수행한다.
본 발명의 제 1 예시적인 양태에 따른 장치를 방법과 시스템, 및 이 장치의 기능 및 이 장치의 기능의 일부를 컴퓨터로 하여금 실행하게 하는 프로그램으로 치환하는 것은 본 발명의 실시형태로서 또한 효과적이다.
본 발명의 기술에 따르면, 이미지에 포함된 블로우아웃 하이라이트 또는 블로킹업 섀도우는 보다 고속으로 검출될 수 있고, 검출 누락이 방지될 수 있다.
상기 예시적인 양태, 이점 및 특징과 다른 예시적인 양태, 이점 및 특징은 첨부 도면과 관련하여 취해진 일정한 예시적인 실시형태의 다음의 설명으로부터 더욱 명백해질 것이다.
도 1 은 본 발명의 예시적인 실시형태에 따른 디지털 카메라를 도시한 도면.
도 2 는 도 1 에 도시된 디지털 카메라에 의해 수행되는 프로세싱의 흐름을 도시한 흐름도.
본 발명의 예시적인 실시형태를 첨부 도면을 참조하여 후술할 것이다. 설명을 명확히 하기 위해, 다음의 설명 및 도면은 필요에 따라 단순화 및 요약된다. 다양한 프로세싱을 수행하는 기능 블록으로서 도면에 도시된 엘리먼트는 CPU, 메모리, 및 다른 회로에 의해 하드웨어적으로 구현될 수도 있고, 메모리-로딩된 프로그램 등에 의해 소프트웨어적으로 구현될 수도 있다. 따라서, 이러한 기능 블록이 하드웨어에 의해서만, 소프트웨어에 의해서만, 또는 이 둘의 조합에 의해서 다양한 형태로 구현될 수도 있지만 하나에 제한되지 않는다는 것이 당업자에게는 명백하다.
이하, 본 발명의 예시적인 실시형태에 따른 디지털 카메라 (100) 를 도시한 도 1 을 참조한다. 디지털 카메라 (100) 는 이미지 픽업 유닛 (110), 대표 픽셀값 계산 유닛 (120), 검출 유닛 (130), 및 보정 유닛 (140) 을 포함한다. 검출 유닛 (130) 은 A-검출 유닛 (132) 및 B-검출 유닛 (134) 을 포함한다.
이미지 픽업 유닛 (110) 은 예를 들어 이미지 센서를 포함한다. 이미지 픽업 유닛 (110) 은 오브젝트의 이미지를 픽업하여 미가공 데이터 (D0) 를 획득한 후, 이 획득된 데이터를 대표 픽셀값 계산 유닛 (120) 및 보정 유닛 (140) 각각으로 출력한다. 이 예시적인 실시형태에서, 미가공 데이터 (D0) 의 픽셀값은 RGB 값이다.
대표 픽셀값 계산 유닛 (120) 은 미가공 데이터 (D0) 에 의해 나타낸 이미지를 복수의 블록으로 분할하고, 각 블록에 대한 대표 픽셀값 (S) 을 계산한다. 이 예시적인 실시형태에서, 대표 픽셀값 계산 유닛 (120) 은 각 블록에 대한 대표 픽셀값 (S) 으로서 평균 RGB 값 (R0, G0, 및 B0) 을 계산한다.
검출 유닛 (130) 은 대표 픽셀값 계산 유닛 (120) 에 의해 계산된 평균 RGB 값에 기초하여, 블로우아웃 하이라이트 픽셀을 포함하는 블록 및 블로킹업 섀도우 픽셀을 포함하는 블록을 검출한다. 블로우아웃 하이라이트 픽셀 또는 블로킹업 섀도우 픽셀을 포함하는 블록은 이하 "오브젝트 블록"으로 지칭된다.
검출 유닛 (130) 에서, A-검출 유닛 (132) 은 제 2 검출 프로세싱을 수행하고, B-검출 유닛 (134) 은 제 1 검출 프로세싱을 수행한다. 제 2 검출 프로세싱 및 제 1 검출 프로세싱은 후에 상세히 설명될 것이다.
A-검출 유닛 (132) 은 각 블록의 대표 픽셀값 (S) 에 의해 나타낸 휘도에 기초하여 오브젝트 블록을 검출하는 제 2 검출 프로세싱을 수행한다. 상세하게는, A-검출 유닛 (132) 은, 평균 RGB 값 (R0, G0, 및 B0) 모두가 소정의 임계치 T2 (예를 들어, 8-비트 데이터의 경우에 250) 이상인 블록 및 평균 RGB 값 (RO, GO, 및 B0) 모두가 소정의 임계치 T3 (예를 들어, 8-비트 데이터의 경우에 10) 이하인 블록을 오브젝트 블록으로서 검출한다.
여기서, 평균 RGB 값 (RO, GO, 및 BO) 모두가 임계치 T2 이상인 블록은 블로우아웃 하이라이트 픽셀을 포함하는 블록이다. 평균 RGB 값 (RO, GO, 및 BO) 모두가 임계치 T3 이하인 블록은 블로킹업 섀도우 픽셀을 포함하는 블록이다.
B-검출 유닛 (134) 은, 대표 픽셀값 (S) 에 의해 나타낸 컬러와 그레이 사이의 차이를 나타낼 수 있는 특성값을 획득하고 이 특성값에 기초하여 오브젝트 블록을 검출하는 제 1 검출 프로세싱을 수행한다. 제 1 검출 프로세싱의 원리를 본 명세서에서 설명한다.
디지털 이미지 픽업 장치에 의해 캡처된 이미지의 특성에 대한 강력한 연구 및 조사의 결과로서, 본 발명자는 다음의 사실을 발견하였다.
디지털 이미지 픽업 장치에 의해 오브젝트를 픽업함으로써 획득되는 미가공 데이터는 CCD 와 같은 광전 변환 센서로부터 수신된 신호를 디지털화함으로써 획득된 데이터이다. 일반적으로, 센서 감도 특성 및 렌즈 특성 (광학 필터 등의 영향) 으로 인해, 오브젝트의 그레이 부분에 대응하는 미가공 데이터의 픽셀값 (R, G, B) 은 디스플레이와 같은 출력 디바이스 상에 최종적으로 디스플레이되는 그레이 컬러를 표시하는 값 (R=G=B) 과 동일하지 않다. 한편, 블로우아웃 하이라이트 픽셀 또는 블로킹업 섀도우 픽셀에서, 픽셀값 (R, G, 및 B 값 모두) 은 상술한 물리적 특성과 무관하게 디지털 형태로 표현될 수 있는 동작 범위의 상한 또는 하한 (0) 으로 수렴한다. 따라서, R, G, 및 B 값은 서로 가까워진다. 이러한 이유로, 픽셀의 픽셀값에 의해 나타낸 컬러는 그레이에 가깝다.
제 1 검출 프로세싱은 이들 발견에 기초한다. 상세하게는, 블록의 대표 픽셀값에 의해 나타낸 컬러와 그레이 사이의 차이를 나타낼 수 있는 특성값이 획득되고, 이 특성값이 소정의 임계치 이하인 경우, 이 블록은 오브젝트 블록으로서 검출된다.
이 예시적인 실시형태에서, B-검출 유닛 (134) 은 대표 픽셀값 (이 경우에는 평균 RGB 값 (R0, G0, 및 B0)) 에 의해 나타낸 컬러와 그레이 사이의 차이를 나타낼 수 있는 특성값으로서 │R0/G0-1│ 및 │B0/G0-1│ 을 계산한다. 그 후, B-검출 유닛 (134) 은, │R0/G0-1│이 소정의 임계치에 대응하는 임계치 (임계치 A) 이하인 블록 및 │B0/G0-1│이 소정의 임계치에 대응하는 임계치 (임계치 B) 이하인 블록을 오브젝트 블록으로서 검출한다. 이 경우에, │R0/G0-1│ 와 │B0/G0-1│의 세트는 "특성값"의 역할을 한다. 이 임계치 A 및 임계치 B 는, │R0/G0-1│이 임계치 A 이하인 경우 및 │B0/G0-1│이 임계치 B 이하인 경우에 "R0, G0, B0" 에 의해 나타낸 컬러와 그레이 사이의 차이가 소정의 임계치 이하가 되도록 결정된다. 따라서, 임계치 A 및 B 는 계산의 편의를 위해 동일한 것이 바람직하지만, 이들 임계치는 반드시 동일한 것은 아니다. 이 예시적인 실시형태에서, 임계치 T1 (예를 들어, 0.2) 이 임계치 A 와 임계치 B 둘 다에 적용된다.
검출 유닛 (130) 은, A-검출 유닛 (132) 및 B-검출 유닛 (134) 에 의해 검출된 오브젝트 블록을 표시하는 정보를 보정 유닛 (140) 에 출력한다. 보정 유닛 (140) 은 검출 유닛 (130) 으로부터의 정보에 기초하여 보정 프로세싱을 수행한다. 이 예시적인 실시형태에서, 보정 유닛 (140) 은 화이트 밸런스 보정 및 노출 보정을 수행한다.
상세하게는, 보정 유닛 (140) 은 검출 유닛 (130) 에 의해 검출된 오브젝트 블록의 데이터 이외에 미가공 데이터 (D0) 의 데이터를 이용함으로써 보정값을 계산한다. 그 후, 계산된 보정값을 이용하여 미가공 데이터 (D0) 에 대해 보정 프로세싱이 수행됨으로써, 보정된 데이터 (D1) 를 획득한다.
도 2 는 디지털 카메라 (100) 의 이미지 픽업 유닛 (110) 에 의해 획득된 미가공 데이터 (D0) 에 대해 수행된 프로세싱의 흐름을 나타낸 흐름도이다.
먼저, 대표 픽셀값 계산 유닛 (120) 은 미가공 데이터 (D0) 에 의해 나타낸 이미지를 복수의 블록으로 분할하고 (S100), 각 블록에 대한 대표 픽셀값 (S) (이 경우에, 평균 RGB 값 (R0, G0, 및 B0)) 을 계산한다 (S102).
그 후, A-검출 유닛 (132) 은 각 블록에 대해 제 2 검출 프로세싱을 수행한다. 상세하게는, 평균 RGB 값 (R0, G0, 및 B0) 모두가 임계치 T2 이상이거나, 임계치 T3 이하인 경우, A-검출 유닛 (132) 은 이 조건을 만족하는 블록을 오브젝트 블록으로서 검출한다 (S110: 예, S114).
B-검출 유닛 (134) 은 오브젝트 블록으로서 A-검출 유닛 (132) 에 의해 검출된 블록 이외의 블록에 대해 제 1 검출 프로세싱을 수행한다. 상세하게는, B-검출 유닛 (134) 은 이들 블록에 대해 │R0/G0-1│ 및 │B0/G0-1│을 계산하고, │R0/G0-1│ 과 │B0/G0-1│둘 다가 임계치 T1 이하인 블록을 오브젝트 블록으로서 검출한다 (S110: 아니오, S120, S122: 예, S114).
보정 유닛 (140) 은 검출 유닛 (130) 의 A-검출 유닛 (132) 및 B-검출 유닛 (134) 에 의해 검출된 오브젝트 블록의 데이터 이외에 미가공 데이터 (D0) 의 데이터를 이용함으로써 화이트 밸런스 보정 및 노출 보정을 위한 보정값을 계산하고, 이 계산된 보정값을 이용하여 미가공 데이터 (D0) 를 보정한다 (S140, S142).
이미지를 복수의 블록으로 분할하여, 각 블록의 대표 픽셀값 (S) 을 이용함으로써 오브젝트 블록을 검출하는 경우에, 이 예시적인 실시형태에서의 디지털 카메라 (100) 는 대표 픽셀값 (S) 에 의해 나타낸 휘도에 기초한 제 2 검출 프로세싱에 더하여, 대표 픽셀값 (S) 에 의해 나타낸 컬러와 그레이 사이의 차이를 나타낼 수 있는 특성값에 기초한 제 1 검출 프로세싱을 수행한다. 각 블록에 대한 검출은 프로세싱 속도를 개선하고 회로 사이즈를 감소시키는 것을 가능하게 하고, 검출의 누락을 방지한다.
이 예시적인 실시형태에서, │R0/G0-1│ 및 │B0/G0-1│은 대표 픽셀값 (S) 에 의해 나타낸 컬러와 그레이 사이의 차이를 근사적으로 나타낼 수 있는 특성값으로 이용된다. 예를 들어, 대표 픽셀값 (S) 에 의해 나타낸 컬러가 블랙 또는 마젠타색인 경우, G0 은 "0" 이다. 이 경우에, B-검출 유닛 (134) 이 이러한 블록에 대해서도 프로세싱을 수행하면, │R0/G0-1│ 및 │B0/G0-1│의 연산은 붕괴된다. 한편, 이 예시적인 실시형태에서, B-검출 유닛 (134) 은 A-검출 유닛 (132) 에 의해 오브젝트 블록으로서 검출된 블록 이외의 블록에 대해 제 2 검출 프로세싱을 수행하고, 따라서 G0 이 "0" 인 블록은 이들 블록에서 제외된다. 이는 연산의 붕괴를 방지하는 것을 가능하게 한다.
평균 RGB 값은 디지털 카메라 (100) 에서 대표 픽셀값 (S) 으로 이용된다. 다른 방법으로는, 미가공 데이터 (D0) 의 픽셀값이 YCC 값인 경우, 평균 YCC 값 (Y0, Cb0, 및 Cr0) 이 대표 픽셀값 (S) 으로 이용될 수도 있다. 이 경우에, B-검출 유닛 (134) 은 Cb0 및 Cr0 을 특성값으로 이용하여, Cb0 과 Cr0 모두가 소정의 임계치 이하인 블록을 오브젝트 블록으로서 검출할 수도 있다.
RGB 및 YCC 컬러 좌표계 이외의 컬러 좌표계 (XYZ, La*b* 등) 의 경우에, 대표 픽셀값 및 특성값은 오브젝트 블록을 검출하도록 컬러 좌표계에 따라 결정될 수도 있다.
A-검출 유닛 (132) 은, Y0 이 소정의 임계치 (블로우아웃 하이라이트 임계치) 이상인 블록 및 Y0 이 다른 소정의 임계치 (블로킹업 섀도우 임계치) 이하인 블록을 오브젝트 블록으로서 검출할 수도 있다.
이 예시적인 실시형태의 디지털 카메라 (100) 는 A-검출 유닛 (132) 에 의해 수행된 제 2 재검출 프로세싱에서 오브젝트 블록으로서 검출되지 않은 블록을 B-검출 유닛 (134) 이 검출하도록 구성된다. 예를 들어, B-검출 유닛 (134) 은 먼저 제 1 검출 프로세싱을 수행할 수도 있고, 그 후 A-검출 유닛 (132) 은 B-검출 유닛 (134) 에 의해 오브젝트 블록으로서 검출되지 않은 블록을 검출할 수도 있다. 이 경우에, 연산의 붕괴를 방지하기 위해, │R0/G0-1│ 및 │B0/G0-1│ 이외의 값은 특성값으로 이용될 수도 있다.
B-검출 유닛 (134) 및 A-검출 유닛 (132) 은 동시에 검출을 수행할 수도 있고, 자체 검출 결과를 자체 보정 유닛 (140) 에 출력할 수도 있다. 이 경우에, 보정 유닛 (140) 은, B-검출 유닛 (134) 과 A-검출 유닛 (132) 중 어느 하나에 의해 오브젝트 블록으로서 검출된 블록 및 B-검출 유닛 (134) 과 A-검출 유닛 (132) 둘 다에 의해 오브젝트 블록으로서 검출된 블록을 제외한 블록에 대한 보정값을 계산할 수도 있다.
이 예시적인 실시형태의 디지털 카메라 (100) 에서, B-검출 유닛 (134) 은 대표 픽셀값 (S) 에 의해 나타낸 컬러와 그레이 사이의 차이를 나타내는 특성값으로서 │R0/G0-1│ 및 │B0/G0-1│ 을 이용한다. 다른 방법으로는, 예를 들어, 평균 RGB 값 (R0, G0, 및 B0) 중 최대값과 최소값 사이의 차이가 특성값으로 이용될 수도 있다.
또한, 이 예시적인 실시형태의 디지털 카메라 (100) 는 A-검출 유닛 (132) 에 의해 수행된 제 2 검출 프로세싱 및 B-검출 유닛 (134) 에 의해 수행된 제 1 검출 프로세싱을 통해 오브젝트 블록을 검출한다. 다른 방법으로는, 오브젝트 블록의 검출은, 평균 RGB 값 (R0, G0, 및 B0) 중 최대값과 최소값 사이의 차이와 같이, 제 1 검출 프로세싱 동안에 연산을 붕괴하는 어떠한 문제도 야기하지 않는 임의의 특성값을 이용함으로써, 그리고 제 1 검출 프로세싱만을 수행함으로써 달성될 수도 있다.
본 발명에 따른 기술은 디지털 카메라와 같은 이미지 픽업 장치에 제한되지 않고, 프린터 및 이미지 디스플레이 디바이스를 포함하는 이미지 재생 장치와 같은 디지털 이미지 픽업 장치에 의해 획득된 미가공 데이터를 프로세싱하는 임의의 이미지 프로세싱 장치에 또한 적용가능하다.
게다가, 이 예시적인 실시형태에서, 이미지의 블로우아웃 하이라이트 부분 및 블로킹업 섀도우 부분은 화이트 밸런스 보정 등을 위한 보정값을 획득하는 경우에 블로우아웃 하이라이트 부분 또는 블로킹업 섀도우 부분을 제거하도록 검출된다. 추가적인 다른 방법으로, 예를 들어, 디지털 이미지 픽업 장치에서, 본 발명에 따른 기술은 노출 제어 등을 수행하는데 있어 블로우아웃 하이라이트 및 블로킹업 섀도우의 검출에 적용될 수 있다. 이 검출은, 블로우아웃 하이라이트 및 블로킹업 섀도우의 발생을 방지하도록, 동작 범위를 초과하는 블로우아웃 하이라이트 및 블로킹업 섀도우 (그레이스케일이 표현되지 않은 영역) 의 양을 체크하면서 수행된다.
상기의 예시적인 실시형태에서 본 발명을 설명하였지만, 당업자는 첨부된 청구항의 사상 및 범위 내의 다양한 변경을 이용하여 본 발명을 실시할 수 있으며 본 발명이 상술한 실시예에 제한되지 않는다는 것을 알 것이다.
또한, 청구항의 범위는 상술한 예시적인 실시형태에 의해 제한되지 않는다.
게다가, 출원인의 의도는 출원 계속 중 이후에 보정되더라도 모든 청구 요소의 균등물을 포괄하는 것이라는 것을 주목한다.

Claims (20)

  1. 이미지를 복수의 블록으로 분할하고 상기 복수의 블록 각각에 대한 대표 픽셀값을 계산하는 대표 픽셀값 계산 유닛; 및
    상기 복수의 블록 중에서 오브젝트 블록을 검출하는 검출 유닛을 포함하며,
    상기 오브젝트 블록은 블로우아웃 (blow-out) 하이라이트와 블로킹업 (block-up) 섀도우 중 하나를 포함하는 블록이고,
    상기 검출 유닛은, 상기 대표 픽셀값에 의해 나타낸 컬러와 그레이 사이의 차이, 및 상기 차이를 근사적으로 나타낼 수 있는 값 중 하나를 특성값으로서 획득하고, 제 1 임계치 이하의 특성값을 갖는 블록을 상기 오브젝트 블록으로서 검출하는 제 1 검출 프로세싱을 수행하는, 이미지 프로세싱 장치.
  2. 제 1 항에 있어서,
    상기 대표 픽셀값은 상기 블록에서의 픽셀의 픽셀값의 평균값인, 이미지 프로세싱 장치.
  3. 제 1 항에 있어서,
    상기 대표 픽셀값은 RGB 값 (R0, G0, 및 B0) 이고,
    상기 검출 유닛은 상기 제 1 검출 프로세싱에서 │R0/G0-1│ 및 │B0/G0-1│ 을 상기 특성값으로서 계산하고, │R0/G0-1│ 이 상기 제 1 임계치에 대응하는 값 이하이고 │B0/G0-1│ 이 상기 제 1 임계치에 대응하는 값 이하인 블록을 상기 오브젝트 블록으로서 검출하는, 이미지 프로세싱 장치.
  4. 제 1 항에 있어서,
    상기 대표 픽셀값은 RGB 값 (R0, G0, 및 B0) 이고,
    상기 검출 유닛은 상기 제 1 검출 프로세싱에서 상기 RGB 값 중 최대값과 최소값 사이의 차이를 상기 특성값으로서 계산하고, 상기 차이가 상기 제 1 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하는, 이미지 프로세싱 장치.
  5. 제 1 항에 있어서,
    상기 대표 픽셀값은 YCC 값 (Y0, Cb0, 및 Cr0) 이고,
    상기 검출 유닛은 상기 제 1 검출 프로세싱에서 상기 Cb0 및 상기 Cr0 을 상기 특성값으로서 획득하고, 상기 Cb0 이 상기 제 1 임계치에 대응하는 값 이하이고 상기 Cr0 이 상기 제 1 임계치에 대응하는 값 이하인 블록을 상기 오브젝트 블록으로서 검출하는, 이미지 프로세싱 장치.
  6. 제 1 항에 있어서,
    상기 검출 유닛은, 상기 대표 픽셀값에 의해 나타낸 휘도가 제 2 임계치 이상인 블록 및 상기 휘도가 제 3 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하는 제 2 검출 프로세싱을 수행하며,
    상기 제 3 임계치는 상기 제 2 임계치보다 작은, 이미지 프로세싱 장치.
  7. 제 6 항에 있어서,
    상기 검출 유닛은 먼저 상기 복수의 블록에 대해 상기 제 2 검출 프로세싱을 수행한 후, 상기 제 2 검출 프로세싱에 의해 검출된 상기 오브젝트 블록 이외의 블록에 대해 상기 제 1 검출 프로세싱을 수행하는, 이미지 프로세싱 장치.
  8. 제 6 항에 있어서,
    상기 대표 픽셀값이 RGB 값 (R0, G0, 및 B0) 인 경우에, 상기 검출 유닛은 상기 제 2 검출 프로세싱에서 상기 RGB 값 (R0, G0, 및 B0) 모두가 상기 제 2 임계치에 대응하는 임계치 이상인 블록 및 상기 RGB 값 (R0, G0, 및 B0) 모두가 상기 제 3 임계치에 대응하는 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하고,
    상기 대표 픽셀값이 YCC 값 (Y0, Cb0, 및 Cr0) 인 경우에, 상기 검출 유닛은 상기 제 2 검출 프로세싱에서 상기 Y0 이 상기 제 2 임계치 이상인 블록 및 상기 Y0 이 상기 제 3 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하는, 이미지 프로세싱 장치.
  9. 제 1 항에 있어서,
    상기 이미지에 대해 화이트 밸런스 보정과 노출 보정 중 적어도 하나를 수행하는 보정 유닛을 더 포함하며,
    상기 보정 유닛은 상기 검출 유닛에 의해 검출된 상기 오브젝트 블록 이외의 블록에 대한 보정값을 획득하는, 이미지 프로세싱 장치.
  10. 제 1 항에 있어서,
    디지털 이미지 픽업 장치인, 이미지 프로세싱 장치.
  11. 제 1 항에 있어서,
    이미지 재생 장치인, 이미지 프로세싱 장치.
  12. 이미지를 복수의 블록으로 분할하는 단계;
    상기 복수의 블록 각각에 대한 대표 픽셀값을 계산하는 단계; 및
    상기 복수의 블록 중에서 블로우아웃 하이라이트와 블로킹업 섀도우 중 하나를 포함하는 오브젝트 블록을 검출하는 경우에, 상기 대표 픽셀값에 의해 나타낸 컬러와 그레이 사이의 차이, 및 상기 차이를 근사적으로 나타낼 수 있는 값 중 하나를 특성값으로서 획득하고, 상기 특성값이 제 1 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하기 위해, 제 1 검출 프로세싱을 수행하는 단계를 포함하는, 이미지 프로세싱 방법.
  13. 제 12 항에 있어서,
    상기 대표 픽셀값은 상기 블록에서의 픽셀의 픽셀값의 평균값인, 이미지 프로세싱 방법.
  14. 제 12 항에 있어서,
    상기 대표 픽셀값은 RGB 값 (R0, G0, 및 B0) 이고,
    상기 제 1 검출 프로세싱은 │R0/G0-1│ 및 │B0/G0-1│ 을 상기 특성값으로서 계산하는 것, 및 │R0/G0-1│ 이 상기 제 1 임계치에 대응하는 값 이하이고 │B0/G0-1│ 이 상기 제 1 임계치에 대응하는 값 이하인 블록을 상기 오브젝트 블록으로서 검출하는 것을 포함하는, 이미지 프로세싱 방법.
  15. 제 12 항에 있어서,
    상기 대표 픽셀값은 RGB 값 (R0, G0, 및 B0) 이고,
    상기 제 1 검출 프로세싱은 상기 RGB 값 중 최대값과 최소값 사이의 차이를 상기 특성값으로서 계산하는 것, 및 상기 차이가 상기 제 1 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하는 것을 포함하는, 이미지 프로세싱 방법.
  16. 제 12 항에 있어서,
    상기 대표 픽셀값은 YCC 값 (Y0, Cb0, 및 Cr0) 이고,
    상기 제 1 검출 프로세싱은 상기 Cb0 및 상기 Cr0 을 상기 특성값으로서 획득하는 것, 및 상기 Cb0 이 상기 제 1 임계치에 대응하는 값 이하이고 상기 Cr0 이 상기 제 1 임계치에 대응하는 값 이하인 블록을 상기 오브젝트 블록으로서 검출하는 것을 포함하는, 이미지 프로세싱 방법.
  17. 제 12 항에 있어서,
    상기 대표 픽셀값에 의해 나타낸 휘도가 제 2 임계치 이상인 블록 및 상기 휘도가 제 3 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하는 제 2 검출 프로세싱을 수행하는 단계를 더 포함하며,
    상기 제 3 임계치는 상기 제 2 임계치보다 작은, 이미지 프로세싱 방법.
  18. 제 17 항에 있어서,
    상기 제 2 검출 프로세싱은 먼저 상기 복수의 블록에 대해 수행되고, 상기 제 1 검출 프로세싱은 상기 제 2 검출 프로세싱에 의해 검출된 상기 오브젝트 블록 이외의 블록에 대해 수행하는, 이미지 프로세싱 방법.
  19. 제 17 항에 있어서,
    상기 대표 픽셀값이 RGB 값 (R0, G0, 및 B0) 인 경우에, 상기 제 2 검출 프로세싱은 상기 RGB 값 (R0, G0, 및 B0) 모두가 상기 제 2 임계치에 대응하는 임계치 이상인 블록 및 상기 RGB 값 (R0, G0, 및 B0) 모두가 상기 제 3 임계치에 대응하는 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하는 것을 포함하고,
    상기 대표 픽셀값이 YCC 값 (Y0, Cb0, 및 Cr0) 인 경우에, 상기 제 2 검출 프로세싱은 상기 Y0 이 상기 제 2 임계치 이상인 블록 및 상기 Y0 이 상기 제 3 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하는 것을 포함하는, 이미지 프로세싱 방법.
  20. 프로그램을 저장하는 컴퓨터 판독가능 매체로서,
    상기 프로그램은 컴퓨터로 하여금,
    이미지를 복수의 블록으로 분할하는 프로세싱;
    상기 복수의 블록 각각에 대한 대표 픽셀값을 계산하는 프로세싱; 및
    상기 복수의 블록 중에서 블로우아웃 하이라이트와 블로킹업 섀도우 중 하나를 포함하는 블록을 오브젝트 블록으로서 검출하는 검출 프로세싱을 실행하게 하며,
    상기 검출 프로세싱은 상기 대표 픽셀값에 의해 나타낸 컬러와 그레이 사이의 차이, 또는 상기 차이를 근사적으로 나타낼 수 있는 값을 특성값으로서 계산하고, 상기 특성값이 제 1 임계치 이하인 블록을 상기 오브젝트 블록으로서 검출하는 제 1 검출 프로세싱을 포함하는, 프로그램을 저장하는 컴퓨터 판독가능 매체.
KR1020100012698A 2009-02-25 2010-02-11 이미지 프로세싱 장치, 이미지 프로세싱 방법, 및 컴퓨터 판독가능 매체 KR101098169B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-042536 2009-02-25
JP2009042536A JP5399739B2 (ja) 2009-02-25 2009-02-25 画像処理装置

Publications (2)

Publication Number Publication Date
KR20100097016A KR20100097016A (ko) 2010-09-02
KR101098169B1 true KR101098169B1 (ko) 2011-12-23

Family

ID=42227579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100012698A KR101098169B1 (ko) 2009-02-25 2010-02-11 이미지 프로세싱 장치, 이미지 프로세싱 방법, 및 컴퓨터 판독가능 매체

Country Status (5)

Country Link
US (1) US8682068B2 (ko)
EP (1) EP2224726A3 (ko)
JP (1) JP5399739B2 (ko)
KR (1) KR101098169B1 (ko)
CN (1) CN101815221A (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531542B2 (en) * 2010-09-01 2013-09-10 Apple Inc. Techniques for acquiring and processing statistics data in an image signal processor
CN102096102B (zh) * 2010-11-30 2013-01-09 中国石油集团川庆钻探工程有限公司 一种用于地震勘探的数字化建模方法
CN102096104B (zh) * 2010-12-10 2012-11-21 中国石油集团川庆钻探工程有限公司 地震纸剖面解释层位快速数字化方法
JP5799550B2 (ja) * 2011-03-31 2015-10-28 株式会社リコー 撮像装置、撮像方法および撮像プログラム
JP5500194B2 (ja) * 2012-03-22 2014-05-21 日本電気株式会社 撮影画像処理装置及び撮影画像処理方法
CN102722872B (zh) * 2012-05-30 2014-07-09 山东神思电子技术股份有限公司 数字图像局部高光溢出消除方法
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
CN103679123B (zh) * 2012-09-17 2018-01-12 浙江大华技术股份有限公司 一种atm面板上遗留物检测的方法和系统
US8902480B1 (en) * 2013-08-27 2014-12-02 Kabushiki Kaisha Toshiba Image forming apparatus, reading apparatus and reading method
JP7362284B2 (ja) * 2019-03-29 2023-10-17 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3150452B2 (ja) 1992-10-21 2001-03-26 日本電信電話株式会社 動画像符号化装置
US5982926A (en) * 1995-01-17 1999-11-09 At & T Ipm Corp. Real-time image enhancement techniques
US5926562A (en) * 1995-06-23 1999-07-20 Fuji Photo Film Co., Ltd. Image processing method using reference values to determine exposure state
JPH11275454A (ja) 1998-03-23 1999-10-08 Ricoh Co Ltd デジタルビデオカメラ
JPH11317873A (ja) 1998-05-06 1999-11-16 Canon Inc 画像補正装置および記録媒体
JP4018310B2 (ja) * 1999-04-21 2007-12-05 株式会社リコー 画像二値化装置、画像撮像装置、画像二値化方法、画像撮像方法およびその方法の各工程としてコンピュータを機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体
JP2003085556A (ja) 2001-09-07 2003-03-20 Fuji Xerox Co Ltd 画像処理装置およびプログラム
JP4006347B2 (ja) * 2002-03-15 2007-11-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2004228948A (ja) * 2003-01-23 2004-08-12 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
CN1817047A (zh) * 2003-06-30 2006-08-09 株式会社尼康 用于处理具有排列的不同色彩分量的图像的图像处理装置,图像处理程序,电子照相机,以及图像处理方法
JP3838243B2 (ja) * 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP3839429B2 (ja) * 2003-09-29 2006-11-01 三菱電機株式会社 撮像処理装置
US20070047803A1 (en) * 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
JP4680753B2 (ja) * 2005-11-15 2011-05-11 ルネサスエレクトロニクス株式会社 画像処理方法、画像処理装置及び撮像装置
JP2008118491A (ja) * 2006-11-07 2008-05-22 Sharp Corp 画像処理装置、固体撮像装置、電子機器、画像処理方法、及び画像処理プログラム
JP4932504B2 (ja) 2007-01-18 2012-05-16 富士フイルム株式会社 画像処理方法、装置及びプログラム並びに撮像装置
JP5250996B2 (ja) * 2007-04-25 2013-07-31 株式会社ニコン ホワイトバランス調整装置、撮像装置、およびホワイトバランス調整プログラム
JP4958680B2 (ja) * 2007-08-08 2012-06-20 キヤノン株式会社 撮像装置、そのホワイトバランス制御方法、プログラムおよび記憶媒体
JP5148989B2 (ja) * 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置
CN101242542B (zh) * 2008-02-26 2010-04-21 北京中星微电子有限公司 一种图像坏点检测方法与装置

Also Published As

Publication number Publication date
EP2224726A2 (en) 2010-09-01
CN101815221A (zh) 2010-08-25
US8682068B2 (en) 2014-03-25
JP2010199985A (ja) 2010-09-09
US20100215260A1 (en) 2010-08-26
EP2224726A3 (en) 2012-04-11
KR20100097016A (ko) 2010-09-02
JP5399739B2 (ja) 2014-01-29

Similar Documents

Publication Publication Date Title
KR101098169B1 (ko) 이미지 프로세싱 장치, 이미지 프로세싱 방법, 및 컴퓨터 판독가능 매체
US8922680B2 (en) Image processing apparatus and control method for image processing apparatus
US7973850B2 (en) Image processing apparatus and image processing method
US20090074324A1 (en) Image Processing Device And Image Processing Method
KR101340518B1 (ko) 영상의 색수차 보정 방법 및 장치
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
US8588521B2 (en) Image processing apparatus and control method therefor
US20170257584A1 (en) Image processing device, image processing method, and image processing system
US9582868B2 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
JP2016127389A (ja) 画像処理装置およびその制御方法
JP2008160300A (ja) 画像処理装置及び撮像装置
WO2021004066A1 (zh) 图像处理方法及装置
JP5782311B2 (ja) 撮像装置及びその制御方法
US9438832B2 (en) Image processing apparatus and image processing method
US20110234858A1 (en) Image processing apparatus and method, and image processing program
KR100906606B1 (ko) 불량 화소 처리 방법 및 장치
KR100690171B1 (ko) 이미지 보정 회로 및 이미지 보정 방법
JP2007028040A (ja) 画像処理装置
JP2015041900A (ja) 画像処理装置、その制御方法、および制御プログラム
JP6552325B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP6388507B2 (ja) 画像処理装置
US8654220B2 (en) Image processing apparatus and control method for the same
US8675106B2 (en) Image processing apparatus and control method for the same
JP2013070241A (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2014158165A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141120

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171120

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181206

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 9