KR20180080297A - 이미지 프로세싱 장치 및 이미지 프로세싱 방법 - Google Patents
이미지 프로세싱 장치 및 이미지 프로세싱 방법 Download PDFInfo
- Publication number
- KR20180080297A KR20180080297A KR1020187015846A KR20187015846A KR20180080297A KR 20180080297 A KR20180080297 A KR 20180080297A KR 1020187015846 A KR1020187015846 A KR 1020187015846A KR 20187015846 A KR20187015846 A KR 20187015846A KR 20180080297 A KR20180080297 A KR 20180080297A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image processing
- processing apparatus
- images
- image capturing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 155
- 238000003672 processing method Methods 0.000 title claims description 5
- 239000002131 composite material Substances 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims description 71
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 61
- 238000003384 imaging method Methods 0.000 description 57
- 239000007787 solid Substances 0.000 description 35
- 238000012937 correction Methods 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 23
- 230000002950 deficient Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000011112 process operation Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 229910021474 group 7 element Inorganic materials 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G06T3/0056—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H04N5/232—
-
- H04N5/2355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
이미지를 프로세싱하기 위한 이미지 프로세싱 장치는, 이미지 캡처링 동작들을 상이한 이미지 캡처링 조건들 하에서 복수회 수행하여 복수의 캡처된 이미지들을 생성하고, 복수의 캡처된 이미지들 중 캡처된 이미지를 변환하여 휘도 및 색차를 나타내는 변환된 이미지를 생성하며, 이미지 캡처링 조건들 각각에 대해 변환된 이미지에 의해 나타내어지는 휘도에 대한 계수를 나타내는 계수 데이터를 저장하고, 계수 데이터에 기반하여 복수의 변환된 이미지들을 합성함으로써 합성 이미지를 생성하여 양호한 이미지 품질을 갖는 이미지를 출력한다.
Description
본 발명은 이미지 프로세싱 장치 및 이미지 프로세싱 방법에 관한 것이다.
이미지 캡처링 동작들을 다수회 수행함으로써 획득되는 다수의 이미지들을 합성함으로써 이미지를 생성하기 위한 기술들이 알려져있다.
예를 들어, 다수의 노출 이미지들을 합성하는데 있어서 동적 범위(dynamic range)를 증가시키기 위한 기술이 알려져있다. 이 기술은 다수의 이미지들의 픽셀값들의 비교에 기반하여 다수의 이미지들 중에서 하나의 이미지의 픽셀값들을 선택하는 이미지 합성 프로세스, 및 다수의 이미지들을 함께 더하거나 하나의 이미지를 다른 이미지로부터 빼는 이미지 합성 프로세스를 제공하고, 이미지 합성 프로세스는 이미지 캡처링 모드에 따라 선택된다(특허 문헌 1을 보라).
그러나, 종래의 기술들에서, 상이한 이미지 캡처링 조건들하에서 다수의 이미지들이 캡처되었을 때, 출력되는 이미지의 이미지 품질이 저하될 수 있다.
관련 기술의 위에서의 문제들의 관점에서, 본 발명의 일 목적은 상이한 이미지 캡처링 조건들하에서 다수의 이미지들이 캡처되었을 때 양호한 이미지 품질을 갖는 이미지를 출력하는 이미지 프로세싱 장치를 제공하는 것이다.
본 개시의 일 실시예에 따르면, 이미지를 프로세싱하는 이미지 프로세싱 장치는, 이미지 캡처링 동작들을 상이한 이미지 캡처링 조건들 하에서 복수회 수행하여 복수의 캡처된 이미지들을 생성하는 이미지 캡처링 유닛, 복수의 캡처된 이미지들 중 캡처된 이미지를 변환하여 휘도(luminance) 및 색차(color difference)를 나타내는 변환된 이미지를 생성하는 변환 유닛, 이미지 캡처링 조건들 각각에 대해 변환된 이미지에 의해 나타내어지는 휘도에 대한 계수를 나타내는 계수 데이터를 저장하는 스토리지 유닛, 및 계수 데이터에 기반하여 복수의 변환된 이미지를 합성함으로써 합성 이미지를 생성하는 이미지 생성 유닛을 포함한다.
본 발명의 실시예들에 따르면, 상이한 이미지 캡처링 조건들 하에서 다수의 이미지들이 캡처되었을 때 양호한 이미지 품질을 갖는 이미지를 출력할 수 있는 이미지 프로세싱 장치가 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 프로세싱 장치의 예시적인 전체 구성을 예시하는 단면도이다.
도 2는 본 발명의 실시예에 따른 이미지 프로세싱 장치의 예시적인 하드웨어 구성을 예시하는 블록도이다.
도 3은 본 발명의 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 전체 프로세스를 예시하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 RAW 이미지 프로세싱 단계들을 예시하는 흐름도이다.
도 5는 본 발명의 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 이미지 생성 프로세스를 예시하는 흐름도이다.
도 6은 본 발명의 실시예에 따른 계수 데이터의 예시를 예시하는 도면이다.
도 7은 본 발명의 제 2 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 전체 프로세스를 예시하는 흐름도이다.
도 8은 본 발명의 실시예에 따른 이미지 프로세싱 장치의 예시적인 기능 구성을 예시하는 블록도이다.
도 2는 본 발명의 실시예에 따른 이미지 프로세싱 장치의 예시적인 하드웨어 구성을 예시하는 블록도이다.
도 3은 본 발명의 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 전체 프로세스를 예시하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 RAW 이미지 프로세싱 단계들을 예시하는 흐름도이다.
도 5는 본 발명의 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 이미지 생성 프로세스를 예시하는 흐름도이다.
도 6은 본 발명의 실시예에 따른 계수 데이터의 예시를 예시하는 도면이다.
도 7은 본 발명의 제 2 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 전체 프로세스를 예시하는 흐름도이다.
도 8은 본 발명의 실시예에 따른 이미지 프로세싱 장치의 예시적인 기능 구성을 예시하는 블록도이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시예들이 설명된다. 본 설명 및 도면들에서, 실질적을 동일한 기능 피처들을 갖는 엘리먼트들은 동일한 참조 번호들이 부여되고, 중복되는 설명들은 생략될 수 있다는 점을 유념한다.
<제 1 실시예>
<이미지 프로세싱 장치 예시>
도 1은 본 발명의 실시예에 따른 이미지 프로세싱 장치의 예시적인 전체 구성을 예시하는 단면도이다. 이미지 프로세싱 장치(10)는, 예를 들어 복안(compound eye) 구성을 가질 수 있다. 구체적으로, 이미지 프로세싱 장치(10)는 이미지 캡처링 디바이스(12), 하우징(14), 및 셔터 버튼(18)을 포함한다.
이미지 캡처링 디바이스(12)는, 예를 들어 이미징 광학 시스템(20A), 이미징 광학 시스템(20B), 고체 상태(solid-state) 이미징 엘리먼트(22A), 및 고체 상태 이미징 엘리먼트(22B)를 포함할 수 있다.
고체 상태 이미징 엘리먼트(22A) 및 고체 상태 이미징 엘리먼트(22B)는, CCDs(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서들과 같은 광학 센서들이다.
이미징 광학 시스템(20A) 및 이미징 광학 시스템(20B)은, 예를 들어 소위 6그룹 7엘리먼트들을 갖는 어안(fisheye) 렌즈들일 수 있다. 또한, 이미징 광학 시스템(20A) 및 이미징 광학 시스템(20B)의 결합된 이미지 캡처링 범위는 바람직하게 360°보다 크거나 360°와 동일하다. 또한, 바람직하게, 이미징 광학 시스템(20A) 및 이미징 광학 시스템(20B)은 적어도 180°의 시야(fields of view), 더 바람직하게 적어도 185° 또는 적어도 190°의 시야를 각각 갖고, 이미징 광학 시스템(20A) 및 이미징 광학 시스템(20B)은 중복되는 이미지 캡처링 범위들을 갖는다. 중복되는 이미지 캡처링 범위들이 이미지들을 함께 스티칭(stitching)하기 위한 스티칭 프로세스를 수행할 때 참조로서 사용될 수 있다는 점을 유념한다.
이미징 광학 시스템(20A) 및 이미징 광학 시스템(20B)은 프리즘들, 필터들, 및 다이어프램들과 같은 광학 시스템들을 포함한다.
고체 상태 이미징 엘리먼트(22A) 및 고체 상태 이미징 엘리먼트(22B)는 이미징 광학 시스템(20A) 및 이미징 광학 시스템(20B)에 각각 대응한다. 또한, 예시된 바와 같이, 고체 상태 이미징 엘리먼트(22A) 및 고체 상태 이미징 엘리먼트(22B)의 위치들은, 예를 들어 각 이미징 광학 시스템에 입사하는 광이 대응하는 고체 상태 이미징 엘리먼트의 수광 영역의 중앙부와 교차하고, 수광 영역이 대응하는 렌즈의 결합면을 구성하도록 배열될 수 있다. 또한, 각 고체 상태 이미징 엘리먼트는 수광 영역을 갖고, 수광 영역에 입사하는 광을 이미지 신호로 변환하고, 이미지 신호를 출력할 수 있다. 본 예시에서, 이미징 광학 시스템(20A) 및 이미징 광학 시스템(20B)이 동일한 사양을 갖고, 고체 상태 이미징 엘리먼트(22A) 및 고체 상태 이미징 엘리먼트(22B)가 동일한 사양을 가지며, 이들 엘리먼트들이 자신의 광축들이 일치하도록 서로 반대로 배열된다고 가정한다.
이미지 캡처링 디바이스가 2개의 고체 상태 이미징 엘리먼트들 및 2개의 이미징 광학 시스템들을 갖는 구성에 제한되는 것은 아니라는 점을 유념한다. 이미지 캡처링 디바이스는, 예를 들어 3개 이상의 고체 상태 이미징 엘리먼트들 및 3개 이상의 이미징 광학 시스템들을 가질 수 있다. 이하에서, 이미지 캡처링 디바이스가 2쌍의 고체 상태 이미징 디바이스들 및 이미징 광학 시스템들을 갖는 예시적인 경우가 설명될 것이다.
하우징(14)은 이미지 캡처링 디바이스(12)의 컨트롤러 및 전원으로서의 배터리와 같은 컴포넌트들을 포함한다. 또한, 셔터 버튼(18)은 이미지 캡처링 디바이스(12)의 셔터를 릴리징하는 동작을 가능하게 하기 위해 하우징(14)에 배열된다.
이미지 프로세싱 장치(10)는 이미지 캡처링 디바이스(12)에 의해 캡처된 이미지들(이후부터 "캡처된 이미지들"로 지칭됨)을 함께 스티칭하는 프로세스를 수행한다. 이어서, 이미지 프로세싱 장치(10)는 4π 스테라디안(steradians)의 입체각을 커버하는 합성 이미지[이후부터 "전방향(omnidirectional) 이미지"로 지칭됨]를 생성하기 위해 다수의 캡처된 이미지들을 함께 스티칭하고 합성하는 프로세스를 수행한다. 전방향 이미지는 이미지 캡처링 지점으로부터 볼 수 있는 모든 방향들을 캡처한 이미지라는 점을 유념한다. 즉, 전방향 이미지는, 수평면이 360° 이미지 캡처링 범위를 커버하는 소위 파노라마 이미지일 수 있다.
이미지 프로세싱 장치(10)는 고체 상태 이미징 엘리먼트(22A) 및 고체 상태 이미징 엘리먼트(22B)의 주사(scanning) 방향들을 일치되도록 배열함으로써 프로세스들의 실행을 용이하게 할 수 있다. 즉, 스티칭 프로세스가 실행될 부분들에서 주사 방향들 및 순서가 일치되도록 배열함으로써, 각 고체 상태 이미징 엘리먼트에 의해 캡처된 이미지 객체, 특히 움직이는 객체를 함께 스티칭하는 프로세스를 실행하는 것이 쉬워진다. 예를 들어, 고체 상태 이미징 엘리먼트(22A)의 이미지의 상단 좌측 부분 및 고체 상태 이미징 엘리먼트(22B)의 이미지의 하단 좌측 부분이 서로 일치하여 스티칭 프로세스가 실행될 부분들을 구성할 때, 고체 상태 이미징 엘리먼트(22A)의 주사 방향이 위에서 아래를 향하고 우측에서 좌측을 향하도록 배열될 수 있다. 또한, 고체 상태 이미징 엘리먼트(22A)의 이미지의 상단 좌측 부분 및 고체 상태 이미징 엘리먼트(22B)의 이미지의 하단 좌측 부분이 서로 일치하여 스티칭 프로세스가 실행될 부분들을 구성할 때, 고체 상태 이미징 엘리먼트(22B)의 주사 방향이 아래에서 위를 향하고 좌측에서 우측을 향하도록 배열될 수 있다. 스티칭 프로세스가 실행될 부분들에 기반하여 주사 방향들을 일치하도록 배열함으로써, 이미지 프로세싱 장치(10)는 스티칭 프로세스의 실행을 용이하게 할 수 있다.
이미지 프로세싱 장치(10)는, 예를 들어 디스플레이 디바이스 또는 이미지 형성 장치와 같은 출력 디바이스가 프로세싱된 이미지를 출력하도록 할 수 있다. 또한, 이미지 프로세싱 장치(10)는, 예를 들어 SD(등록 상표) 카드 또는 CompactFlash(등록 상표) 카트와 같은 기록 매체에 이미지를 출력할 수 있다.
<하드웨어 구성 예시>
도 2는 본 발명의 실시예에 따른 이미지 프로세싱 장치의 예시적인 하드웨어 구성을 예시하는 블록도이다. 예시된 이미지 프로세싱 장치는 이미지 캡처링 디바이스(12)를 포함한다. 이미지 캡처링 디바이스(12)는 광학 시스템의 예시로서 렌즈(1)를, 고체 상태 이미징 엘리먼트의 예시로서 CMOS 센서(2)를 포함한다.
이미지 캡처링 디바이스(12)는 디지털 스틸 카메라 프로세서(5)에 연결된다. 또한, 이미지 캡처링 디바이스(12)는, 디지털 스틸 카메라 프로세서(5) 내에 포함되는 CPU(Central Processing Unit, 29)에 의해 제어된다. 또한, 이미지 프로세싱 장치는, NAND FLASH와 같은 ROM(Read-Only Memory, 26)을 포함한다. 또한, ROM(26)은 CPU(29)에 의해 사용되는 제어 프로그램들 및 파라미터들과 같은 데이터를 저장한다.
이미지 프로세싱 장치는 전원 스위치와 같은 스위치(21)를 포함한다. 스위치(21)가 턴온되었을 때, ROM(26) 내에 저장된 제어 프로그램을 메인 메모리에 로딩하는 등과 같은 프로세스들이 수행되고, 이미지 프로세싱 장치가 활성화된다. 또한, CPU(29)는 프로그램에 기반하여 다양한 컴포넌트들의 동작들을 제어한다. 또한, 제어 및 프로세스 동작들의 실행시, CPU(29)는 SDRAM(Synchronous Dynamic Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 RAM(15) 내에 데이터를 저장한다. NAND FLASH와 같은 재기록가능 플래시 ROM을 ROM(26)으로서 사용함으로써, ROM(26) 내에 저장되는 제어 프로그램 또는 제어 파라미터들이 변경될 수 있고 이에 의해 기능 업그레이드를 용이하게 한다는 점을 유념한다.
ISP(Image Signal Processor, 6)는, CMOS 센서(2)에 의해 입력되는 이미지 데이터에 대해 화이트 밸런스, 감마 보정, 및 이미지 데이터에 의해 나타내어지는 픽셀값들을 휘도 및 색차값들로 변환하기 위한 변환 프로세스들과 같은 다양한 프로세스들을 수행한다.
USB(Universal Serial Bus, 27)는 PC(Personal Computer)와 같은 외부 디바이스와의 USB 통신을 수행한다. 또한, SPI(Serial Peripheral Interface, 23)는 외부 디바이스와의 시리얼 통신을 수행한다. 또한, JPEG 코덱(16)은 이미지 데이터를 JPEG 포맷으로 압축하고 JPEG 포맷의 이미지 데이터의 압축을 푼다. 또한, H.264 비디오 코덱(17)은 이미지 데이터를 H.264 포맷으로 압축하고 H.264 포맷의 이미지 데이터의 압축을 푼다. 또한, 리사이저(resizer, 19)는 이미지 데이터에 대해 보간(interpolation) 프로세스 등을 수행하여 이미지 사이즈를 확대 또는 감소시킨다. 또한, 이미지 프로세싱 장치는, 예를 들어 SD(등록 상표) 카드(25) 내에 이미지 데이터를 저장할 수 있다. SD(등록 상표) 카드(25)는, 예를 들어 메모리 카드 슬롯에/메모리 카드 슬롯으로부터 부착/탈착될 수 있다.
이미지 프로세싱 장치는 또한, 예를 들어 ISP(6) 및 왜곡 보정/합성 프로세스 디바이스(24)에 의해 사용되는 이미지 데이터를 저장하는 SDRAM(4)을 포함한다. 또한, 왜곡 보정/합성 프로세스 디바이스(24)는, 예를 들어 3축 가속도 센서(36)로부터 취득되는 데이터를 사용하여 상하 반전 보정, 기울기(inclination) 보정 등을 수행할 수 있다. 또한, 얼굴(face) 검출 디바이스(37)는, 예를 들어 보정된 이미지로부터 사람 얼굴을 검출할 수 있다. 이 방식으로, 예를 들어 이미지 내의 캡처된 얼굴의 위치가 결정될 수 있다.
이미지 데이터가 디지털 스틸 카메라 프로세서(5) 내에 로딩된다는 점을 유념한다. 예를 들어, 이미지 데이터는 ISP(6)에 의해 화이트 밸런스 및 감마 보정이 행해진 "RAW-RGB 이미지 데이터"일 수 있다. 또한, 이미지 데이터는, 예를 들어 ISP(6)에 의해 휘도 및 색차 보정이 행해진 "YCbCr 이미지 데이터"일 수도 있다. 또한, 이미지 데이터는, 예를 들어 JPEG 코덱(16)에 의해 JPEG 압축이 행해진 "JPEG 이미지 데이터"일 수 있다.
이미지 프로세싱 장치는 또한, LCD(Liquid Crystal Display) 드라이버를 포함한다. 이 방식으로, 이미지 프로세싱 장치는 LCD 모니터(35)와 같은 연결된 출력 디바이스가 이미지를 출력하도록 할 수 있다. 즉, LCD 드라이버는 LCD 모니터(35)를 구동하기 위한 구동 회로이다. LCD 드라이버는 LCD 모니터(35)의 디스플레이를 제어하기 위해 다양한 상태들을 신호들로 변환하기 위한 프로세스들을 수행한다.
이미지 프로세싱 장치는, 예를 들어 사용자에 의해 생성되는 오디오를 입력하는 마이크로폰(32)에 연결된다. 또한, 이미지 프로세싱 장치는 마이크로폰(32)에 의한 오디오 입력의 오디오 신호를 증폭하기 위한 증폭기를 포함한다. 또한, 이미지 프로세싱 장치는 오디오 신호를 나타내는 데이터를 저장하기 위한 스토리지 디바이스를 포함한다.
또한, 이미지 프로세싱 장치는 저장된 오디오를 출력하는 스피커(33)에 연결된다. 또한, 이미지 프로세싱 장치는 스피커(33)가 오디오를 출력하도록 하기 위한 오디오 신호를 증폭하기 위한 증폭기를 포함한다.
<전체 프로세스 예시>
도 3은 본 발명의 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 전체 프로세스를 예시하는 흐름도이다.
단계(S01)에서, 이미지 프로세싱 장치가 이미지를 캡처한다. 단계(S01)에서 이미지를 캡처하기 위해 브래키팅(bracketing)으로 지칭되는 이미지 캡처링 기술이 사용된다는 점을 유념한다. 구체적으로, 이미지 프로세싱 장치는 노출 조건들과 같은 이미지 캡처링 조건들을 변경하고, 상이한 이미지 캡처링 조건들 하에서 이미지 캡처링 동작들을 다수회 수행한다. 이하에서, 이미지 캡처링 동작들이 수행되는 횟수(M)가 "M = 4"로 설정된 예시가 설명될 것이다. 본 예시에서, 상이한 이미지 캡처링 조건들에서 상이한 노출 조건들이 사용된다. 예를 들어, 노출 조건들은 "PropExp", "U2Exp", "U1Exp", 및 "O1Exp"를 포함할 수 있다. 또한, 본 예시에서, 노출 조건은 예를 들어 EV(Exposure Value)로 나타내어진다고 가정한다. EV는 조리개(aperture)(f값) 및 셔터 속도와 같은 노출 밝기를 특정하는 조건의 예시적인 지시자(indicator)이다.
이하에서, "PropExp = 0 EV", "U2Exp = -2 EV", "U1Exp = -1 EV", 및 "O1Exp = +2 EV"인 예시가 설명될 것이다. 그러나, 이미지 캡처링 조건들이 "PropExp = 0 EV", "U2Exp = -2 EV", "U1Exp = -1 EV", 및 "O1Exp = +2 EV"인 조건들에 제한되는 것은 아니라는 점을 유념한다. 예를 들어, 이미지 캡처링 조건들은 카메라 특성들에 기반하여 설정되는 상한 및 하한을 고려하여 설정될 수 있다. 구체적으로, 예를 들어, "U1Exp"가 "U2Exp"의 노출의 절반으로 정의되고, "U2Exp = -0.6 EV"가 "U2Exp"의 상한에 도달하도록 설정된 경우, "U1Exp"는 "-0.3 EV"로 설정될 수 있다.
이미지 캡처링 동작들이 바람직하게 통상의 AE(Auto Exposure)보다 낮은 ISO 조건들 하에서 수행된다는 점을 유념한다. 환언하면, 이미지 캡처링 동작들이 수행되는 횟수가 "M = 1"로 설정된 경우와 비교하여 이미지 캡처링 동작들이 다수회 수행될 때, 이미지 캡처링 동작들은 바람직하게 더 낮은 광감도(light sensitivity) 조건들 하에서 수행된다. 위에서 설명된 바와 같이 낮은 ISO 조건들 하에서 이미지 캡처링 동작들을 수행함으로써, 이미지 프로세싱 장치는 노이즈의 영향을 감소시킬 수 있다.
단계(S01)에서, 이미지 캡처링 조건들 각각 하에서 이미지 데이터가 생성된다. 본 예시에서, 조건("PropExp") 하에서 제 1 이미지 데이터("RawProp")가 생성된다. 또한, 조건("U2Exp") 하에서 제 2 이미지 데이터("RawU2")가 생성된다. 또한, 조건("U1Exp") 하에서 제 3 이미지 데이터("RawU1")가 생성된다. 또한, 조건("O1Exp") 하에서 제 4 이미지 데이터("RawO1")가 생성된다. 제 1 이미지 데이터("RawProp"), 제 2 이미지 데이터("RawU2"), 제 3 이미지 데이터("RawU1") 및 제 4 이미지 데이터("RawO1")가 raw 이미지 포맷이라는 점을 유념한다.
단계(S02)에서, 이미지 프로세싱 장치는 raw 이미지 프로세싱을 수행한다. 즉, 단계(S02)에서, 이미지 프로세싱 장치는 제 1 이미지 데이터("RawProp"), 제 2 이미지 데이터("RawU2"), 제 3 이미지 데이터("RawU1"), 및 제 4 이미지 데이터("RawO1") 각각에 현상(developing) 프로세스들을 수행하여 YCbCr 이미지를 생성한다.
도 4는 본 발명의 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 raw 이미지 프로세싱 단계들을 예시하는 흐름도이다. 예를 들어, 단계(S02)에서, 이미지 프로세싱 장치는 예시된 프로세싱 단계들을 raw 이미지 포맷의 이미지 데이터의 각 세트에 대해 수행할 수 있다. 이하에서, 제 1 이미지 데이터("RawProp")에 대해 raw 이미지 프로세싱 단계들을 수행하는 예시적인 경우가 설명될 것이다.
단계(S10)에서, 이미지 프로세싱 장치는 OB(Optical Black) 보정을 수행한다. 예를 들어, 단계(S10)에서, 이미지 프로세싱 장치는 유효 픽셀 영역의 출력 신호들을 플레어(flares) 또는 어두운 부분들의 노이즈의 크기(magnitude)에 따라 클램핑(clamping)하는 클램핑 보정 프로세스를 수행할 수 있다.
단계(S11)에서, 이미지 프로세싱 장치는 결함 픽셀 보정을 수행한다. 고체 상태 이미징 엘리먼트는 복수의 픽셀들을 갖는다. 이와 같이, 고체 상태 이미징 엘리먼트는, 예를 들어 반도체 기판 상에 포토다이오드들과 같은 복수의 감광 엘리먼트들을 형성함으로써 제조될 수 있다. 고체 상태 이미징 엘리먼트의 제조시, 예를 들어 반도체 기판의 불순물 오염으로 인해, 픽셀값들을 캡처할 수 없는 소위 결함 픽셀들이 생산될 수 있다. 그러한 결함 픽셀을 보상하기 위해, 이미지 프로세싱 장치는 결함 픽셀의 이웃하는 픽셀들의 픽셀값들에 기반하여 결함 픽셀의 출력을 보상하는 픽셀값을 생성한다.
단계(S12)에서, 이미지 프로세싱 장치는 선형(linear) 보정을 수행한다. 즉, 단계(S12)에서, 이미지 프로세싱 장치는 색상(color)들[R(red), G(green), 및 B(blue)] 각각에 대해 선형 보정을 수행한다.
단계(S13)에서, 이미지 프로세싱 장치는 음영(shading) 보정을 수행한다. 예를 들어, 단계(S13)에서, 이미지 프로세싱 장치는 미리결정된 보정 계수를 유효 픽셀 영역의 출력 신호에 곱하여 유효 픽셀 영역의 음영으로 인한 왜곡을 보정할 수 있다. 보정 계수는 고정된 값이라는 점을 유념한다.
단계(S14)에서, 이미지 프로세싱 장치는 휘도값을 계산한다. 구체적으로, 우선, 단계(S14)에서 이미지 프로세싱 장치는 이미지를 미리결정된 영역들로 분할한다. 이어서, 이미지 프로세싱 장치는 각 영역의 픽셀값들에 기반하여 각 영역의 평균 휘도값을 계산한다. 계산된 평균 휘도값이 예를 들어 AE 프로세싱을 위해 사용될 수 있다는 점을 유념한다.
단계(S15)에서, 이미지 프로세싱 장치는 화이트 밸런스 프로세싱을 수행한다. 고체 상태 이미징 엘리먼트는 각 포토다이오드 상에 배열된 색상 필터를 갖는다. 색상 필터의 분광 투과율(spectral transmittance)이 필터의 색상에 따라 상이하므로, 각 포토다이오드 내에 축적되는 전하량이 상이할 수 있다. 또한, 종종, 고체 상태 이미징 엘리먼트는 그린에 매우 민감하다. 다른 한편으로, 고체 상태 이미징 엘리먼트의 레드 및 블루 감도들은 종종 그린 감도와 비교하여 더 낮고, 종종 그린 감도의 대략 절반일 수 있다. 따라서, 화이트 밸런스 프로세싱에서, 예를 들어 색상 감도에 대한 차이들을 보상하고 이미지 내에 캡처된 화이트 색상을 화이트로 디스플레이하기 위해 레드 및 블루에 색상 이득을 적용하는 프로세스가 수행될 수 있다. 또한, 이미지 객체의 색상은 광원(예를 들어, 태양광 또는 형광)의 색상에 따라 상이할 수 있다. 따라서, 화이트 밸런스 프로세싱에서, 예를 들어 광원에 따라 화이트 색상을 화이트로 디스플레이하기 위해 각 광원에 대해 색상 이득이 변경될 수 있다.
단계(S16)에서, 이미지 프로세싱 장치는 감마 보정을 수행한다. 구체적으로, 감마 보정에서, 비선형 입력/출력 변환이 수행된다. 출력이 입력과 비선형 관계를 가질 때, 종종 출력 이미지의 밝기가 스무스한 그라데이션을 갖지 않을 수 있다. 또한, 이미지가 어두워지면, 이미지가 사람 눈에 보이지 않을 수 있다. 따라서, 이미지 프로세싱 장치는 출력 디바이스의 특성들을 고려하여, 출력의 선형성을 유지하도록 입력 신호에 대해 비선형 변환을 수행한다.
단계(S12)에서, 이미지 프로세싱 장치는 베이어(Bayer) 보간을 수행한다. 고체 상태 이미징 엘리먼트의 포토다이오드들이 그 위에 배열되는 다양한 색상들의 색상 필터들을 가질 때, 고체 상태 이미징 엘리먼트에 의해 출력되는 이미지 데이터는 각 픽셀에 대해 한 색상의 픽셀값을 나타낸다. 다른 한편으로, 색상 이미지를 디스플레이하기 위해, 레드, 그린 및 블루 3개 색상들의 픽셀값들이 필요된다. 따라서, 이미지 프로세싱 장치는, 빠진(missing) 색상들의 픽셀값들을 이웃하는 픽셀들로부터 보간하기 위해 각 픽셀에 대해, 이중선형(bilinear) 보간 프로세스와 같은 보간 프로세스를 수행한다.
단계(S18)에서, 이미지 프로세싱 장치는 YCbCr 변환을 수행한다. 즉, 단계(S18)에서, 이미지 프로세싱 장치는 RGB값들을 나타내는 raw 이미지 포맷의 이미지 데이터를, Y가 휘도를 나타내고 Cb 및 Cr이 색차들을 나타내는 YCbCr 이미지 포맷의 이미지 데이터로 변환한다.
그러한 YCbCr 변환을 수행함으로써, 예를 들어 변환된 이미지의 예시로서의 YCbCr 이미지가 생성된다. 이어지는 예시에서, YCbCr 이미지에서 "Y"는 휘도의 예시이다. YCbCr 이미지에서 "Cb"는 제 1 색차의 예시이고, YCbCr 이미지에서 "Cr"은 제 2 색차의 예시이다.
변환된 이미지가 YCbCr 이미지 포맷의 이미지에 제한되는 것은 아니라는 점을 유념한다. 예를 들어, 변환된 이미지는 또한, CIE(Commission Internationale de l'eclairage) 1976에 의해 정의된 L*U*V* 색상 공간, CIE 1976에 의해 정의된 L*a*b* 색상 공간, 또는 YUV 이미지 포맷과 같은 일부 다른 포맷의 이미지일 수 있다. 이하에서, 변환된 이미지가 YCbCr 이미지인 예시적인 경우가 설명될 것이다.
JPEG 이미지들이 YUV 이미지 포맷의 이미지 데이터로부터 종종 변환된다는 점을 유념한다. 따라서, 예를 들어 JPEG 이미지들로의 변환을 위해 이미지 데이터는 YUV 이미지 포맷으로 변환될 수 있다.
단계(S19)에서, 이미지 프로세싱 장치는 에지 강조(YCFLT)를 수행한다. 예를 들어, 이미지 프로세싱 장치는, 휘도에 기반하여 에지들을 추출하기 위한 에지 추출 필터링 프로세스, 추출된 에지에 이득을 곱하기 위한 이득 곱셈, 노이즈를 감소시키기 위한 LPF(low pass filter) 프로세스, 및 이득 곱셈 및 LPF 프로세스 후의 이미지 데이터 추가를 수행할 수 있다.
단계(S20)에서, 이미지 프로세싱 장치는 색상 보정을 수행한다. 예를 들어, 이미지 프로세싱 장치는, 채도(saturation) 설정, 색조(hue) 설정, 부분적 색조 변경 설정, 색상 억제(suppression), 또는 이들의 조합을 수행할 수 있다.
예시된 raw 이미지 프로세싱 단계들을 수행한 결과로서, YCbCr 이미지 포맷의 제 1 YCbCr 이미지 데이터("YCbCrProp")가 출력된다.
RAW 이미지 프로세싱 단계들이 예시된 프로세싱 단계들에 제한되는 것은 아니라는 점을 유념한다. 예를 들어, 예시된 프로세싱 단계들 중 일부가 생략될 수 있거나 다른 프로세싱 단계들이 추가적으로 수행될 수 있다.
또한, 예를 들어, 도 4에 예시된 프로세싱 단계들은 또한, 도 3에 예시된 제 2 이미지 데이터("RawU2"), 제 3 이미지 데이터("RawU1"), 및 제 4 이미지 데이터("RawO1")에 대해 수행될 수 있다. 이 방식으로, 제 2 YCbCr 이미지 데이터("YCbCrU2"), 제 3 YCbCr 이미지 데이터("YCbCrU1"), 및 제 4 YCbCr 이미지 데이터("YCbCrO1")가 생성될 수 있다.
도 3을 다시 참조하면, 단계(S03)에서, 이미지 프로세싱 장치는 이미지 생성 프로세스를 수행한다.
도 5는 본 발명의 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 이미지 생성 프로세스를 예시하는 흐름도이다. 예를 들어, 도 3의 단계(S03)에서, 이미지 프로세싱 장치는, 단계(S02)에서 생성된 제 1 YCbCr 이미지 데이터("YCbCrProp"), 제 2 YCbCr 이미지 데이터("YCbCrU2"), 제 3 YCbCr 이미지 데이터("YCbCrU1"), 및 제 4 YCbCr 이미지 데이터("YCbCrO1")를 합성함으로써 합성 이미지를 생성할 수 있다.
단계(S30)에서, 이미지 프로세싱 장치는 YCbCr 이미지들의 색차값들을 서로 비교하고 비교된 값들 중 최대값들을 채용한다. 우선, 이미지 프로세싱 장치는 YCbCr 이미지들로부터 색차값 데이터, 즉 Cr값 데이터 및 Cv값 데이터를 추출한다. 이어서, 이미지 프로세싱 장치는 각 픽셀의 Cr값들 및 Cb값들을 비교한다. 본 예시에서, 4개의 YCbCr 이미지들의 Cr값들 및 Cb값들 중, 가장 큰 절대값을 갖는 Cr 값 및 Cb값이 채용된다. 위에서 설명된 바와 같이 최대값들을 채용함으로써, 이미지 프로세싱 장치는 큰 절대값들을 갖는 색차값들을 사용하여 합성 이미지를 생성할 수 있다. 이 방식으로, 이미지 프로세싱 장치는 강조된 채도를 갖는 고품질 합성 이미지를 생성할 수 있다. 또한, 단계(S30)와 연관된 연산들이 고속으로 수행될 수 있기 때문에, 이미지 프로세싱 장치는 프로세싱 속도를 가속할 수 있다.
채도 보정의 정도(extent)가 억제되기 희망될 때, 예를 들어 이미지 프로세싱 장치는, YCbCr 이미지의 Cb값의 제곱에 대응하는, 제 1 색차 제곱값의 예시로서의 Cb 제곱값, 및 YCbCr 이미지의 Cr값의 제곱에 대응하는, 제 2 색차 제곱값의 예시로서의 Cr 제곱값을 함께 가산함으로써 색차 제곱값들의 합을 계산하고, 다수의 YCbCr이미지들에 대해 계산된 합들을 비교할 수 있다는 점을 유념한다. 즉, 각 픽셀에 대해, 이미지 프로세싱 장치는 계산된 합들 중에서 가장 큰 절대값을 갖는 합의 계산에서 사용된 Cb값 및 Cr값을 결정할 수 있고, 이 최대값들을 사용하여 합성 이미지를 생성한다.
또한, 이미지 프로세싱 장치는 위에서의 최대값들을 계산하기 위해 모든 캡처된 이미지들을 원본 이미지들로서 사용할 필요는 없다. 예를 들어, 이미지 프로세싱 장치는 최대값 계산시 조건("O1Exp") 하에서 생성된 이미지 데이터와 같은 이미지들의 일부를 제외할 수 있다. 위에서 설명된 바와 같은 적절한 색차를 생성할 것으로 예상될 수 있는 이미지들만을 사용함으로써, 이미지 프로세싱 장치는 더 적절한 채도를 갖는 고품질 합성 이미지를 생성할 수 있다. 이하에서, 단계(S30)에서 생성된 합성 이미지의 Cr값 및 Cb값을 나타내는 이미지 데이터가 합성 CbCr 이미지("CbCr")로 지칭될 것이다.
단계(S31)에서, 이미지 프로세싱 장치는 마진(margin)을 추가하는 프로세스를 수행한다. 구체적으로, 우선, 이미지 프로세싱 장치는 YCbCr 이미지들로부터 휘도 데이터, 즉 Y값 데이터를 추출한다. 이어서, 이미지 프로세싱 장치는, Y값 데이터가 미리결정된 수의 피라미드 레벨들에 의해 나타내어질 수 있도록, 예를 들어 Y값 데이터에 마진을 추가함으로써 데이터 사이즈를 조정한다.
예를 들어, 후속 프로세스들과 관련하여 아래에서 설명되는 바와 같이, 생성될 피라미드 레벨들의 수가 "N"이라고 가정하면, 이미지 프로세싱 장치는 Y값 데이터의 폭 및 높이를 나타내는 값들이 "2(N-1)"로 나누어질 수 있는지의 여부를 결정한다. 값들이 "2(N-1)"로 나누어질 수 없으면, 이미지 프로세싱 장치는 Y값 데이터에 마진을 추가한다.
마진을 추가하는 방법으로서, 예를 들어 Y값 데이터의 에지들의 픽셀값들이 복사될 수 있다. 또한, 마진을 추가하는 다른 가능한 방법들은, 예를 들어 고정된 값의 픽셀 값들을 추가하는 것을 포함한다.
이하에서, 단계(S31)에서 추가된 마진이 Y값 데이터가 마진 추가된 Y값 데이터("YP")로 지칭된다. 마진 추가된 Y값 데이터("YP")가 4개의 YCbCr 이미지들의 각 YCbCr 이미지 데이터에 대해 생성된다는 점을 유념한다. 이어지는 설명들에서, 4개의 YCbCr 이미지들의 마진 추가된 Y값 데이터 중에서 선택된 한 이미지의 마진 추가된 Y값 데이터가 마진 추가된 Y값 데이터("YP")로 지칭된다.
단계(S32)에서, 이미지 프로세싱 장치는 계수를 결정한다. 예를 들어, 계수는 미리 입력된 계수 데이터[이후부터 계수 데이터("DLUT")로 칭해짐]에 기반하여 결정될 수 있다. 상이한 세트들의 계수 데이터(DLUT)가 예를 들어 상이한 노출 조건들에 대해 제공된다는 점을 유념한다. 또한, 계수 데이터(DLUT)는, 예를 들어 LUT(Look Up Table) 포맷의 데이터일 수 있다.
계수는 각 픽셀에 대해 Y값 데이터의 가중치들을 정규화하기 위해 사용된다. 예를 들어, 정규화는 다음의 식(1)에 의해 표현될 수 있다.
위의 식(1)에서, "we"는 노출 조건("e")에 대한 정규화된 가중치 계수를 나타낸다. 또한, "LUTe "는 노출 조건("e")에 대한 계수 데이터(DLUT), 즉 LUT를 나타낸다. 또한, "Ye"는 노출 조건("e") 하에서의 휘도를 나타낸다. 위로부터 이해될 수 있는 바와 같이, 정규화는, 각 노출 조건에 대한 가중치 계수들의 합이 "1"과 동일해지도록 각 픽셀에 대해 구현되는 프로세스이다.
도 6은 본 발명의 실시예에 따른 계수 데이터의 예시를 예시하는 그래프이다. 계수 데이터는 휘도값("Y")을 나타내는 입력에 대한 "사용 비율"을 나타내는 값을 출력하는 LUT일 수 있다. 즉, "사용 비율"이 증가하면, 합성 이미지의 생성시 대응하는 휘도에 대해 사용되는 가중치가 증가한다. 또한, 도 6에서, 각 이미지 캡처링 조건에 대해 수평축은 입력을 나타내고 수직축은 입력에 대응하는 출력을 나타낸다. "0"보다 큰 값이 사용 비율로서 설정된다. 또한, "Y"의 값은 0 내지 255 범위 내에 있다. 또한, 이어지는 예시에서, "사용 비율"은 "255"와 동일한 분모 및 "1 내지 255"의 값과 동일한 분자를 갖는다고 가정한다. 즉, LUT는 8비트값을 8비트값으로 변환한다. 이와 같이, 본 예시에서, LUT는 256바이트의 데이터이다.
본 예시에서, 고휘도 부분의 해상도를 증가시키기 위해 어두운 이미지를 캡처하는 "U2Exp"에 대한 LUT는, 밝은측의 값에 대한 비율이 증가되는 한편 어두운측의 값에 대한 비율이 감소되도록 설정된다. 도 6에 도시된 바와 같이, "U2EXP"에 대한 LUT는, 밝은측의 휘도값, 즉 미리결정된 값 이상의 휘도값이 입력일 때 "1"과 같은 고출력이 출력되도록 설정된다. 이 방식으로, 합성 이미지의 생성시 미리결정된 값 이상의 휘도값에 대해 사용되는 가중치가 증가될 수 있다.
다른 한편으로, 저휘도 부분의 해상도를 증가시키기 위해 밝은 이미지를 캡처하는 "O1Exp"에 대한 LUT는, 밝은측의 값에 대한 비율이 감소되는 한편 어두운측의 값에 대한 비율이 증가되도록 설정된다. 도 6에 도시된 바와 같이, "O1Exp"에 대한 LUT는, 어두운측의 휘도값, 즉 미리결정된 값 이하의 휘도값이 입력일 때 "1"과 같은 고입력이 출력되도록 설정된다. 이 방식으로, 합성 이미지의 생성시 미리결정된 값 이하의 휘도값에 대해 사용되는 가중치가 증가될 수 있다.
본 예시에서, 미리결정된 값은 "255 ÷ 2 
127"로 설정된다는 점을 유념한다. 또한, 미리결정된 값은 미리설정된 값이다.
또한, 중간레벨 이미지 캡처링 조건들 하에서 이미지들을 캡처링하기 위한 "PropExp" 및 "U1Exp"에 대한 LUT들은 "Y = 0.5"인 중앙 부근의 값들에 대한 비율이 증가되도록 설정된다. 예를 들어, "PropExp" 및 "U1Exp"에 대한 LUT들은 도 6에 예시된 바와 같이 실질적으로 동일할 수 있다. 위에서 설명된 방식으로 각 이미지 캡처링 조건에 대해 계수 데이터를 설정함으로써, 이미지 프로세싱 장치는 밝은 영역들 및 어두운 영역들의 해상도들을 증가시켜 전체 밝기가 유지되는 이미지를 생성할 수 있다. 이하에서, 그러한 LUT를 사용하여 생성된 이미지는 가중된 이미지("LImg")로 지칭될 것이다.
도 5를 다시 참조하면, 단계(S33)에서, 이미지 프로세싱 장치는 가우시안(Gaussian) 피라미드 프로세스를 수행한다. 예를 들어, 가우시안 피라미드 프로세스는, 단계(S32)에서 생성되는 가중된 이미지(LImg)로부터 가우시안 피라미드(LPM)를 생성하는 것을 포함한다. 생성된 가우시안 피라미드(LPM)가 레벨("N")(N은 미리결정된 수)까지의 피라미드 레벨들을 갖는다고 가정한다. 피라미드 프로세스는, 예를 들어 한 이미지의 해상도를 변경하여 복수의 이미지들을 생성하는 프로세스일 수 있다. 이하에서, 그러한 프로세스를 지칭하기 위해 이 용어가 사용된다.
단계(S34)에서, 이미지 프로세싱 장치는 Y 라플라시안(Laplacian) 피라미드 프로세스를 수행한다. 예를 들어, Y 라플라시안 피라미드 프로세스는, 각 YCbCr 이미지의 Y값으로부터 라플라시안 피라미드(YPM)를 생성하는 것을 포함한다. 생성된 라플라시안 피라미드(YPM)가 레벨("N")(N은 미리결정된 수)까지의 피라미드 레벨들을 갖는다고 가정한다.
단계(S35)에서, 이미지 프로세싱 장치는 Y 가중치 평균 프로세싱을 수행한다. 더 구체적으로, 단계(S35)에서, 이미지 프로세싱 장치는, 가우시안 피라미드(LPM)에 라플라시안 피라미드(YPM)를 곱하여 합성 라플라시안 피라미드(CPM)를 생성한다. 합성 라플라시안 피라미드(CPM)는 다음의 식(2)에 의해 표현될 수 있다.
위의 식(2)에서, "Ywj"는 합성 라플라시안 피라미드(CPM)에서의 레벨("j")의 이미지를 나타낸다. 위의 식(2)에서, "we,j"는 노출 조건("e")과 연관된 정규화된 가중치 계수에 적용되는 가중화된 이미지로부터 생성된 가우시안 피라미드(LPM)에서의 레벨("j")의 이미지를 나타낸다. 또한, 위의 식(2)에서, "Ye,j"는 노출 조건("e")과 연관된 Y값 데이터로부터 생성된 라플라시안 피라미드(YPM)에서의 레벨("j")의 이미지를 나타낸다.
단계(S36)에서, 이미지 프로세싱 장치는 Y 역라플라시안 피라미드 프로세스를 수행한다. 즉, 단계(S36)에서, 이미지 프로세싱 장치는, 단계(S35)에서 생성된 합성 라플라시안 피라미드(CPM)에 대해 Y 역라플라시안 프로세스를 수행하여 합성후 Y값 데이터(YB)를 생성한다. 합성후 Y값 데이터(YB)가 마진을 포함한다는 점을 유념한다.
단계(S37)에서, 이미지 프로세싱 장치는 마진을 삭제한다. 즉, 이미지 프로세싱 장치는, 단계(S36)에서 생성된 합성후 Y값 데이터(YB)로부터 마진을 삭제한다. 이하에서, 단계(S37)에서 생성된 이미지 데이터에 의해 나타내어지는 이미지는 합성 Y 이미지("Y")로 지칭된다.
합성 Y 이미지("Y") 및 합성 CbCr 이미지("CbCr")의 이미지 데이터를 합성함으로써, 합성 이미지 데이터("CYCbCr")가 생성된다.
도 5에 예시된 이미지 생성 프로세스에서, 바람직하게 단계(S30)의 프로세스와 같은 CbCr 관련 프로세싱이 Y 관련 프로세싱 전에 수행된다는 점을 유념한다. 그러한 프로세싱 순서로, CbCr 관련 프로세싱을 위해 사용되는 메모리가 Y 관련 프로세싱에서의 사용을 위해 해제될 수 있다. 즉, CbCr 관련 프로세싱이 먼저 수행되도록 프로세싱 순서를 정렬함으로써, 이미지 프로세싱 장치는 메모리 사용 효율을 향상시킬 수 있다.
<제 2 실시예>
이하에서, 2개의 어안 렌즈들로 전방향 이미지를 캡처하는 카메라(이후부터 "전방향 카메라"로 지칭됨)를 사용하는 예시가 설명될 것이다. 전방향 카메라는 복수의 캡처된 이미지들을 함께 스티칭함으로써 출력 이미지를 생성한다. 전방향 카메라가 2개의 고체 상태 이미지 픽업(pickup) 엘리먼트들을 갖는 소위 복안 이미지 프로세싱 장치의 예시인 점을 유념한다. 고체 상태 이미징 엘리먼트들에 의해 캡처된 캡처된 이미지들은 바람직하게, 다수의 노출 이미지의 생성을 가능하게 하기 위한 마진들 및 피라미드 이미지들을 레벨("N")까지 생성하기 위한 피라미트 프로세싱을 가능하게 하기 위한 마진들을 갖는다. 구체적으로, 캡처된 이미지들은 바람직하게, 캡처된 이미지들이 함께 스티칭되는 영역들 상에 적어도 "2(N-1)" 마진 픽셀들 상에 광이 입사됨으로써 형성된다.
<전체 프로세스 예시>
도 7은 본 발명의 제 2 실시예에 따른 이미지 프로세싱 장치에 의해 구현되는 예시적인 전체 프로세스를 예시하는 흐름도이다. 도 7의 프로세스의 이어지는 설명에서, 도 3의 프로세스 단계들과 실질적으로 동일한 프로세스 단계들은 동일한 참조 번호들이 부여되고 중복되는 설명들은 생략된다. 도 7의 프로세스는 단계(S41) 이상의 추가 프로세스들을 포함한다는 점에서 도 3의 프로세스와 상이하다. 또한, 2개의 고체 상태 이미징 엘리먼트들을 갖는 전방향 카메라에서, 캡처된 이미지에 관한 프로세스들은 고체 상태 이미징 엘리먼트들 각각에 의해 생성된 각 캡처된 이미지에 대해 수행된다. 따라서, 본 예시에서, 캡처된 이미지에 관한 프로세스들은 각각 2회 수행되며, 프로세싱되는 이미지는 캡처된 이미지들 각각에 기반하여 생성된다.
단계(S41)에서, 이미지 프로세싱 장치는 왜곡 보정을 수행한다. 즉, 단계(S41)에서, 이미지 프로세싱 장치는 왜곡 보정을 수행하여 소위 정거 원통(equidistant cylindrical) 이미지를 생성한다. 정거 원통 이미지는, 예를 들어 소위 어안 이미지들에 대응하는 복수의 캡처된 이미지들로 구성된다. 또한, 정거 원통 이미지를 생성할 때, 어안 이미지들이 함께 스티칭되는 부분들에 스티칭 프로세스가 수행된다.
본 예시에서, 각 어안 이미지는 합성 이미지 데이터("CYCbCr")에 의해 나타내어지는 이미지에 대응한다. 따라서, 합성 이미지 데이터("CYCbCr")에 의해 나타내어지는 각 이미지가 왜곡 보정되어 복안 이미지("CImg")를 생성한다.
단계(S42)에서, 이미지 프로세싱 장치는 색상 휘도 보정을 수행한다. 예를 들어, 플레어 등의 영향으로 인해, 2개의 고체 상태 이미징 엘리먼트들에 의해 캡처된 이미지들간에 색차 또는 휘도 차이가 생성될 수 있다. 이와 같이, 예를 들어 스티칭된 부분들에 밝기 또는 색상 밴딩(단차들)이 발생할 수 있다. 따라서, 단계(S42)에서, 이미지 프로세싱 장치는 그러한 단차들을 보정하기 위한 색상 휘도 보정을 수행한다. 예를 들어, 색상 휘도 보정 프로세스는 스티칭된 부분을 이미지의 적도(equatorial) 부분에 배열하는 것, 및 스티칭된 부분에 대해 보정을 수행하여 보정된 이미지("CorImg")를 생성하는 것을 포함할 수 있다.
바람직하게, 단계(S42)의 프로세스는 단계(S03)와 같은 캡처된 이미지에 관한 프로세스들이 수행된 후 수행된다는 점을 유념한다. 이 방식으로, 각 고체 상태 이미징 엘리먼트에 의해 캡처된 각 이미지가 분리적으로 프로세싱될 수 있다. 결과적으로, 이미지 프로세싱 장치는 출력 이미지의 이미지 품질을 향상시킬 수 있다.
단계(S41)에서, 이미지 프로세싱 장치는 정점(zenith) 보정을 수행한다. 예를 들어, 정점 보정은 가속도 센서 데이터("DC")에 기반하여 수행될 수 있다. 본 예시에서, 이미지 프로세싱 장치는 가속도 센서 데이터("DC")에 의해 나타내어지는 정점 방향을 이미지에 의해 나타내어지는 방향을 보정하기 위한 기준으로서 사용한다. 그러한 보정을 수행한 결과로서 출력 이미지("OutImg")가 생성된다.
<기능 구성 예시>
도 8은 본 발명의 실시예에 따른 이미지 프로세싱 장치의 예시적인 기능적 구성을 예시하는 블록도이다. 도 8에서, 이미지 프로세싱 장치(10)는 이미지 캡처링 유닛(10F1), 변환 유닛(10F2), 이미지 생성 유닛(10F3), 및 스토리지 유닛(10F4)을 포함한다.
이미지 캡처링 유닛(10F1)은 이미지 캡처링 동작들을 상이한 이미지 캡처링 조건들 하에서 다수회 수행하여 다수의 캡처된 이미지들("RawImg")을 생성한다. 캡처된 이미지들은, 예를 들어 도 3에 예시된 제 1 이미지 데이터("RawProp"), 제 2 이미지 데이터("RawU2"), 제 3 이미지 데이터("RawU1"), 및 제 4 이미지 데이터("RawO1")에 대응할 수 있다. 또한, 이미지 캡처링 유닛(10F1)은, 예를 들어 도 2에 예시된 이미지 캡처링 디바이스(12)에 의해 구현될 수 있다.
변환 유닛(10F2)은 캡처된 이미지("RawImg")를 변환하여 YCbCr 이미지("YCbCrImg")를 생성한다. 변환 유닛(10F2)이, 예를 들어 도 4에 예시된 프로세스 동작들을 수행하여, 캡처된 이미지("RawImg")에 기반한 YCbCr 이미지("YCbCrImg")를 생성할 수 있다는 점을 유념한다. 또한, 변환 유닛(10F2)은, 예를 들어 도 2에 예시된 ISP(6)에 의해 구현될 수 있다.
스토리지 유닛(10F4)은 각 이미지 캡처링 조건에 대해 YCbCr 이미지("YCbCrImg")의 휘도에 대한 계수를 나타내는 계수 데이터를 저장한다. 스토리지 유닛(10F4)은, 예를 들어 도 5에 예시된 바와 같은 계수 데이터(DLUT)를 저장할 수 있다. 즉, 스토리지 유닛(10F4)은, 예를 들어 도 6에 예시된 바와 같은 계수 데이터를 저장할 수 있다. 또한, 스토리지 유닛(10F4)은, 예를 들어 도 2에 예시된 ROM(26)에 의해 구현될 수 있다.
이미지 생성 유닛(10F3)은 스토리지 유닛(10F4) 내에 저장된 계수 데이터에 기반하여 다수의 YCbCr 이미지들을 합성함으로써 합성 이미지("CYCbCr")를 생성한다. 예를 들어, 이미지 생성 유닛(10F3)은 도 5에 예시된 프로세스 동작들을 수행하여 합성 이미지("CYCbCr")를 생성할 수 있다. 또한, 이미지 생성 유닛(10F3)은, 예를 들어 도 2에 예시된 ISP(6)에 의해 구현될 수 있다.
또한, 이미지들을 캡처하기 위해 복안을 사용하는 전방향 카메라와 같은 이미지 프로세싱 장치는 또한, 예를 들어 이미지 생성 유닛(10F3)에 의해 생성된 다수의 합성 이미지들(CYCbCr)에 대해 도 7에 예시된 바와 같은 프로세스들(예를 들어, 왜곡 보정)을 수행할 수 있다. 이 경우, 이미지 프로세싱 장치는 또한, 예를 들어 다수의 합성 이미지들(CYCbCr)을 함께 스티칭하는 프로세스들을 수행할 수 있고, 이미지 프로세싱 장치는 또한, 출력 이미지를 출력하기 위한 출력 유닛을 포함할 수 있다.
색차는 YCbCr 이미지의 Cr값 및 Cb값에 제한되는 것은 아니라는 점을 유념한다. 예를 들어, 색차는 Lab 색상 공간에서의 "a" 및 "b"일 수 있다. 또한, 색차는 예를 들어 YUV 색상 공간에서의 "U" 및 "V"일 수 있다.
본 발명의 실시예들에 따른 프로세스들 전부 또는 일부가, 예를 들어 어셈블러(assembler), C, C++, C#, 또는 자바(등록 상표)와 같은 기존 프로그래밍 언어, 또는 객체 지향 프로그래밍 언어로 기술된 컴퓨터에 의해 실행되는 프로그램에 의해 구현될 수 있다는 점을 유념한다. 즉, 프로그램은 이미지 프로세싱 장치 내에 포함되는 컴퓨터가 이미지 프로세싱 방법을 실행하도록 하기 위한 컴퓨터 프로그램이다.
또한, 프로그램은, 예를 들어 ROM 또는 EEPROM(Electrically Erasable Programmable ROM)과 같은 컴퓨터 판독가능 기록 매체 내에 저장되고, 그러한 저장된 상태로 배포될 수 있다. 또한, 기록 매체는 또한, 예를 들어 EPROM(Erasable Programmable ROM), 플래시 메모리, 플렉서블 디스크, CD-ROM, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, 블루레이 디스크, SD(등록 상표) 카드, 또는 MO(magneto-optical) 디스크일 수 있다. 프로그램은 또한, 예를 들어 전기 통신 라인을 통해 배포될 수 있다.
본 발명이 몇몇 예시적인 실시예들에 대해 위에서 설명되었지만, 본 발명은 이들 실시예들에 제한되는 것은 아니며, 본 발명의 범위로부터 벗어나지 않고 다양한 변형들 및 수정들이 이루어질 수 있다.
본 출원은 2015년 12월 15일에 출원된 일본 특허 출원 제 2015-243679 호의 우선권 데이터에 기반하고 이 우선권 데이터의 이익을 주장하며, 이 우선권 데이터의 전체 내용은 참조로서 본원에 포함된다.
10: 이미지 프로세싱 장치
RawImg: 캡처된 이미지
YCbCrImg: YCbCr 이미지 DLUT: 계수 데이터
CYCbCr: 합성 이미지
YCbCrImg: YCbCr 이미지 DLUT: 계수 데이터
CYCbCr: 합성 이미지
Claims (6)
- 이미지를 프로세싱하는 이미지 프로세싱 장치에 있어서,
이미지 캡처링 동작들을 상이한 이미지 캡처링 조건들 하에서 복수회 수행하여 복수의 캡처된 이미지들을 생성하는 이미지 캡처링 유닛;
상기 복수의 캡처된 이미지들 중 캡처된 이미지를 변환하여 휘도(luminance) 및 색차(color difference)를 나타내는 변환된 이미지를 생성하는 변환 유닛;
상기 이미지 캡처링 조건들 각각에 대해 상기 변환된 이미지에 의해 나타내어지는 상기 휘도에 대한 계수를 나타내는 계수 데이터를 저장하는 스토리지 유닛; 및
상기 계수 데이터에 기반하여 복수의 상기 변환된 이미지를 합성함으로써 합성 이미지를 생성하는 이미지 생성 유닛
을 포함하는, 이미지를 프로세싱하는 이미지 프로세싱 장치. - 제 1 항에 있어서,
상기 이미지 생성 유닛은, 상기 변환된 이미지들 각각에 의해 나타내어지는 상기 색차를 서로 비교하고, 각 픽셀에 대해, 상기 비교된 색차들 중에서 가장 큰 절대값을 갖는 색차를 채용하여 상기 합성 이미지를 생성하는 것인, 이미지 프로세싱 장치. - 제 1 항에 있어서,
상기 변환된 이미지들 각각에 의해 나타내어지는 상기 색차는 제 1 색차, 및 상기 제 1 색차와는 상이한 제 2 색차를 포함하고;
상기 이미지 생성 유닛은 상기 변환된 이미지들 각각에 대해 제 1 색차 제곱값 - 상기 제 1 색차 제곱값은 상기 제 1 색차의 제곱에 대응함 - 및 제 2 색차 제곱값 - 상기 제 2 색차 제곱값은 상기 제 2 색차의 제곱에 대응함 - 의 합을 계산하고, 상기 변환된 이미지들 각각에 대한 합을 서로 비교하며;
상기 이미지 생성 유닛은, 각 픽셀에 대해, 상기 비교된 합들 중에서 가장 큰 절대값을 갖는 합의 계산에서 사용된 상기 제 1 색차 및 상기 제 2 색차를 채용하여 상기 합성 이미지를 생성하는 것인, 이미지 프로세싱 장치. - 제 1 항에 있어서,
상기 상이한 이미지 캡처링 조건들은 상기 캡처된 이미지들이 상대적으로 어두워지도록 하는 이미지 캡처링 조건, 및 상기 캡처된 이미지들이 상대적으로 밝아지도록 하는 이미지 캡처링 조건을 포함하고;
상기 캡처된 이미지들이 상대적으로 어두워지도록 하는 상기 이미지 캡처링 조건에 대한 상기 계수 데이터는, 상기 합성 이미지의 생성시 미리결정된 값 이상인 휘도에 대해 사용되는 가중치가 증가되도록 설정되며;
상기 캡처된 이미지들이 상대적으로 밝아지도록 하는 상기 이미지 캡처링 조건에 대한 상기 계수 데이터는, 상기 합성 이미지의 생성시 미리결정된 값 이하인 휘도에 대해 사용되는 가중치가 증가되도록 설정되는 것인, 이미지 프로세싱 장치. - 복안(compound eye)을 사용하여 이미지를 캡처하고 상기 이미지를 프로세싱하는 이미지 프로세싱 장치에 있어서,
이미지 캡처링 동작들을 상이한 이미지 캡처링 조건들 하에서 복수회 수행하여 복수의 캡처된 이미지들을 생성하는 이미지 캡처링 유닛;
상기 복수의 캡처된 이미지들 중 캡처된 이미지를 변환하여 휘도 및 색차를 나타내는 변환된 이미지를 생성하는 변환 유닛;
상기 이미지 캡처링 조건들 각각에 대해 상기 변환된 이미지에 의해 나타내어지는 상기 휘도에 대한 계수를 나타내는 계수 데이터를 저장하는 스토리지 유닛;
상기 계수 데이터에 기반하여 복수의 상기 변환된 이미지를 합성함으로써 합성 이미지를 생성하는 이미지 생성 유닛; 및
복수의 상기 합성 이미지들을 함께 스티칭(stitching)하여 출력 이미지를 출력하는 출력 유닛
을 포함하는, 이미지 프로세싱 장치. - 이미지를 프로세싱하는 이미지 프로세싱 장치에 의해 구현되는 이미지 프로세싱 방법에 있어서,
상기 이미지 프로세싱 장치가 이미지 캡처링 동작들을 상이한 이미지 캡처링 조건들 하에서 복수회 수행하여 복수의 캡처된 이미지들을 생성하는 단계;
상기 이미지 프로세싱 장치가 상기 복수의 캡처된 이미지들 중 캡처된 이미지를 변환하여 휘도 및 색차를 나타내는 변환된 이미지를 생성하는 단계;
상기 이미지 프로세싱 장치가 상기 이미지 캡처링 조건들 각각에 대해 상기 변환된 이미지에 의해 나타내어지는 상기 휘도에 대한 계수를 나타내는 계수 데이터를 저장하는 단계; 및
상기 이미지 프로세싱 장치가 상기 계수 데이터에 기반하여 복수의 상기 변환된 이미지를 합성함으로써 합성 이미지를 생성하는 단계
를 포함하는, 이미지 프로세싱 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015243679 | 2015-12-15 | ||
| JPJP-P-2015-243679 | 2015-12-15 | ||
| PCT/JP2016/085294 WO2017104395A1 (ja) | 2015-12-15 | 2016-11-29 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180080297A true KR20180080297A (ko) | 2018-07-11 |
| KR102102740B1 KR102102740B1 (ko) | 2020-04-21 |
Family
ID=59056259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187015846A KR102102740B1 (ko) | 2015-12-15 | 2016-11-29 | 이미지 프로세싱 장치 및 이미지 프로세싱 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10699393B2 (ko) |
| EP (1) | EP3393117A4 (ko) |
| JP (1) | JP6597794B2 (ko) |
| KR (1) | KR102102740B1 (ko) |
| CN (1) | CN108293090B (ko) |
| WO (1) | WO2017104395A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6981106B2 (ja) | 2017-08-29 | 2021-12-15 | 株式会社リコー | 撮像装置、画像表示システム、操作方法、プログラム |
| KR102526145B1 (ko) * | 2017-11-24 | 2023-04-28 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치 및 이의 구동 방법 |
| US10645358B2 (en) * | 2018-02-20 | 2020-05-05 | Gopro, Inc. | Saturation management for luminance gains in image processing |
| CN109410162A (zh) * | 2018-10-19 | 2019-03-01 | 北斗巡星信息科技有限公司 | 一种用于伪装的技术 |
| JP7395259B2 (ja) * | 2019-03-15 | 2023-12-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
| CN113615156A (zh) * | 2019-03-15 | 2021-11-05 | 佳能株式会社 | 图像处理设备、图像处理方法、计算机程序和存储介质 |
| CN111369533B (zh) * | 2020-03-05 | 2023-06-06 | 中国铁道科学研究院集团有限公司基础设施检测研究所 | 基于偏振图像融合的钢轨廓形检测方法及装置 |
| US11961206B2 (en) | 2021-09-09 | 2024-04-16 | Samsung Electronics Co., Ltd. | Image generation using non-linear scaling and tone-mapping based on cubic spline curves |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011091595A (ja) * | 2009-10-22 | 2011-05-06 | Kyocera Mita Corp | 画像処理装置、画像処理方法及び画像形成装置 |
| JP2012191360A (ja) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | 画像合成装置、画像合成方法および画像合成プログラム |
| JP2013098805A (ja) * | 2011-11-01 | 2013-05-20 | Clarion Co Ltd | 画像処理装置、撮像装置および画像処理プログラム |
| KR20130051584A (ko) | 2011-11-10 | 2013-05-21 | 삼성전자주식회사 | 드럼 세탁기 |
| JP2013138301A (ja) * | 2011-12-28 | 2013-07-11 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
| JP2015084512A (ja) * | 2013-09-18 | 2015-04-30 | 株式会社リコー | 画像処理システム |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4573080B2 (ja) | 2001-02-20 | 2010-11-04 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2005197952A (ja) * | 2004-01-06 | 2005-07-21 | Sony Corp | 撮像装置及び撮像方法 |
| JP4379408B2 (ja) * | 2004-12-07 | 2009-12-09 | セイコーエプソン株式会社 | 信号処理部および撮像装置 |
| CN100539648C (zh) * | 2006-05-11 | 2009-09-09 | 精工爱普生株式会社 | 摄像元件及摄像装置和方法 |
| JP5136665B2 (ja) * | 2010-07-21 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
| JP5791336B2 (ja) * | 2011-04-01 | 2015-10-07 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP5822606B2 (ja) | 2011-08-31 | 2015-11-24 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
| JP5990004B2 (ja) * | 2012-02-08 | 2016-09-07 | キヤノン株式会社 | 撮像装置 |
| JP6123274B2 (ja) | 2012-03-08 | 2017-05-10 | 株式会社リコー | 撮像装置 |
| JP2013214947A (ja) | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
| JP6079031B2 (ja) | 2012-08-01 | 2017-02-15 | 株式会社リコー | 撮像装置 |
| JP6065474B2 (ja) | 2012-09-11 | 2017-01-25 | 株式会社リコー | 撮像制御装置、撮像制御方法およびプログラム |
| US10666860B2 (en) | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
| JP5971207B2 (ja) | 2012-09-18 | 2016-08-17 | 株式会社リコー | 画像調整装置、画像調整方法およびプログラム |
| JP2014112302A (ja) | 2012-12-05 | 2014-06-19 | Ricoh Co Ltd | 所定領域管理システム、通信方法、及びプログラム |
| JP6044328B2 (ja) | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
| JP6192416B2 (ja) * | 2013-08-05 | 2017-09-06 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
| JP6119719B2 (ja) * | 2014-02-05 | 2017-04-26 | カシオ計算機株式会社 | 医療用皮膚検査装置、皮膚病変を検査する方法並びにプログラム |
| JP2016040870A (ja) | 2014-08-12 | 2016-03-24 | 株式会社リコー | 画像処理装置、像形成方法およびプログラム |
-
2016
- 2016-11-29 JP JP2017555955A patent/JP6597794B2/ja active Active
- 2016-11-29 CN CN201680071233.8A patent/CN108293090B/zh active Active
- 2016-11-29 WO PCT/JP2016/085294 patent/WO2017104395A1/ja unknown
- 2016-11-29 KR KR1020187015846A patent/KR102102740B1/ko active IP Right Grant
- 2016-11-29 EP EP16875379.6A patent/EP3393117A4/en not_active Withdrawn
-
2018
- 2018-05-15 US US15/979,928 patent/US10699393B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011091595A (ja) * | 2009-10-22 | 2011-05-06 | Kyocera Mita Corp | 画像処理装置、画像処理方法及び画像形成装置 |
| JP2012191360A (ja) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | 画像合成装置、画像合成方法および画像合成プログラム |
| JP2013098805A (ja) * | 2011-11-01 | 2013-05-20 | Clarion Co Ltd | 画像処理装置、撮像装置および画像処理プログラム |
| KR20130051584A (ko) | 2011-11-10 | 2013-05-21 | 삼성전자주식회사 | 드럼 세탁기 |
| JP2013138301A (ja) * | 2011-12-28 | 2013-07-11 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法及び撮像装置 |
| JP2015084512A (ja) * | 2013-09-18 | 2015-04-30 | 株式会社リコー | 画像処理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3393117A4 (en) | 2018-11-14 |
| CN108293090B (zh) | 2020-10-20 |
| US10699393B2 (en) | 2020-06-30 |
| CN108293090A (zh) | 2018-07-17 |
| JP6597794B2 (ja) | 2019-10-30 |
| US20180260945A1 (en) | 2018-09-13 |
| KR102102740B1 (ko) | 2020-04-21 |
| JPWO2017104395A1 (ja) | 2018-09-06 |
| WO2017104395A1 (ja) | 2017-06-22 |
| EP3393117A1 (en) | 2018-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102102740B1 (ko) | 이미지 프로세싱 장치 및 이미지 프로세싱 방법 | |
| JP5971207B2 (ja) | 画像調整装置、画像調整方法およびプログラム | |
| US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
| US10021313B1 (en) | Image adjustment techniques for multiple-frame images | |
| CN102316331B (zh) | 图像处理装置以及图像处理方法 | |
| US9426437B2 (en) | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing | |
| JP6455601B2 (ja) | 制御システム、撮像装置、およびプログラム | |
| US20030184659A1 (en) | Digital color image pre-processing | |
| US8797427B2 (en) | Image processing apparatus | |
| JP6933059B2 (ja) | 撮影装置、情報処理システム、プログラム、画像処理方法 | |
| JP5843027B1 (ja) | 撮像装置、制御方法およびプログラム | |
| JP2009017306A (ja) | 画像表示装置及びそれを用いた撮像装置 | |
| JP5589660B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
| WO2016117137A1 (ja) | 撮像装置、撮像方法、および画像表示装置 | |
| US9432646B2 (en) | Image processing apparatus, image processing method, program and electronic apparatus | |
| JP6299116B2 (ja) | 撮像装置、撮像方法および記録媒体 | |
| JP2015192338A (ja) | 画像処理装置および画像処理プログラム | |
| JP5487737B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2006333113A (ja) | 撮像装置 | |
| JP4335727B2 (ja) | 顔抽出を行うディジタルカメラ | |
| JP2016040870A (ja) | 画像処理装置、像形成方法およびプログラム | |
| US9055232B2 (en) | Image processing apparatus capable of adding soft focus effects, image processing method, and storage medium | |
| JP2023090628A (ja) | 画像処理装置および画像処理方法、撮像装置 | |
| JP5513311B2 (ja) | 撮像モジュール、画像処理装置および画像信号処理方法 | |
| JP2006148791A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |