KR20120024448A

KR20120024448A - 촬상 장치, 신호 처리 방법 및 프로그램

Info

Publication number: KR20120024448A
Application number: KR1020110083961A
Authority: KR
Inventors: 유따까 사또
Original assignee: 소니 주식회사
Priority date: 2010-08-31
Filing date: 2011-08-23
Publication date: 2012-03-14
Also published as: TW201223268A; US8699827B2; US20120051630A1; EP2424228A3; BRPI1104778A2; JP5617445B2; RU2538308C2; EP2424228A2; CN102387291A; JP2012054661A; RU2011135245A

Abstract

촬상 장치가 통상 화상 생성의 경우 및 와이드 다이나믹 레인지 화상 생성의 경우 메모리의 입출력 경로를 상이하게 제어한다. 통상 화상 생성의 경우, 화상 보정 후에 화상 신호가 메모리에 저장되고 메모리로부터 판독된다. 와이드 다이나믹 레인지 화상 생성의 경우, 화상 신호가, 보정되기 전에 메모리에 저장되고 메모리로부터 판독된다.

Description

촬상 장치, 신호 처리 방법 및 프로그램 {IMAGING APPARATUS, SIGNAL PROCESSING METHOD, AND PROGRAM}

본 발명은 촬상 장치, 신호 처리 방법, 및 프로그램에 관한 것이다. 더 자세하게는, 본 발명은 노광 시간이 상이한 복수의 화상을 이용하여 화상 합성 처리(image synthesizing processing)를 함으로써 넓은 다이나믹 레인지(Dynamic Range) 및 고품질을 갖는 화상을 생성할 수 있게 하는 촬상 장치, 신호 처리 방법, 및 프로그램에 관한 것이다.

비디오 카메라 및 디지털 스틸 카메라 등에 의해 이용되는 CCD(Charge-Coupled Device) 이미지 센서 및 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등과 같은 고체 촬상 소자는 입사 광량에 대응하는 전하를 축적하고, 축적된 전하에 대응하는 전기 신호가 출력되는 광전 변환을 수행한다. 그러나, 광전 변환 소자에 축적되는 전하량에 대한 상한이 있고, 일정한 양 이상의 빛을 받는 경우에는, 축적된 전하량이 포화 레벨에 도달하여, 어느 정도 이상의 밝기를 갖는 피사체 영역들이 포화된 휘도 레벨로 설정되는 "클립드 화이트(clipped whites)"라고 지칭되는 것이 발생해 버린다.

그러한 현상을 방지하기 위해, 외부의 빛의 변화 등에 따라 광전 변환 소자에서의 전하 축적 기간을 제어함으로써 노광 시간을 조정하여 감도를 최적치로 제어하는 것 등과 같은 처리가 수행된다. 예를 들어, 밝은 피사체에 대해서는, 셔터를 고속으로 작동시켜 노광 시간을 단축하고, 그럼으로써 광전 변환 소자에서의 전하 축적 기간을 단축하며, 축적된 전하량이 포화 레벨에 도달하기 전에 전기 신호를 출력한다. 그러한 처리는 피사체에 대응하는 계조(gradient)가 정확하게 재현된 화상을 출력할 수 있게 한다.

그러나, 밝은 부분과 어두운 부분을 모두 포함하는 피사체를 촬상하는 경우에는, 셔터를 고속으로 작동시키면 어두운 부분에서의 노광 시간이 불충분해지고, S/N(Signal-to-Noise) 비를 열화시키며 화질이 떨어진다. 밝은 부분과 어두운 부분이 모두 있는 피사체의 촬영 화상에서의 밝은 부분과 어두운 부분의 휘도 레벨을 정확하게 재현하기 위해서는, 이미지 센서에 대한 입사광이 적은 화소에 대해서는 긴 노광 시간에 의해 높은 S/N(Source-to-Noise) 비가 실현되어야 하고, 입사광이 많은 화소에서는 포화를 회피하기 위한 처리가 실현되어야 한다.

종래 기술에서는 노광 시간이 상이한 복수의 화상을 이용한다. 이 기술은 어두운 화상에 대해서는 장기간 노광 화상을 이용하고, 긴 노광 기간에 의해 클립드 화이트가 발생할 수 있는 화상 영역에 대해서는 단기간 노광 화상을 이용하여 최적의 화소 레벨을 결정하는 것에 관한 것이다. 다수의 상이한 노광 화상들을 합성함으로써, 넓은 다이나믹 레인지를 갖고 클립드 화이트가 없는 화상이 얻어질 수 있다.

예를 들어, 일본 미심사 특허 출원공보 2008-99158호 및 일본 미심사 특허 출원공보 2008-227697호에는 넓은 다이나믹 레인지를 갖는 화상을 얻기 위해 노광량이 상이한 복수의 화상을 합성하기 위한 구성이 개시되어 있다.

도 1은 각각의 수직 기간마다 장시간 노광과 단시간 노광 사이에서 촬상 소자의 노광 시간을 전환함으로써 얻어진 2개의 유형의 감도를 갖는 화상들을 합성하고, 와이드 다이나믹 레인지 화상(wide dynamic range image)을 생성하는 종래 기술에 따른 촬상 장치(10)의 블록 다이어그램이다.

촬상 장치(10)에 의해 와이드 다이나믹 레인지 화상을 생성하기 위한 처리에 대해 설명하겠다. 렌즈(11)를 통해 입사된 빛은 촬상 소자(12)에서 광전 변환되며, 출력되는 영상신호들은 아날로그 프런트 엔드(13)에서 상관 이중 샘플링 처리(correlated double sampling processing) 및 AGC(Automatic Gain Control) 되고, A/D(Analog-to-Digital) 변환되어 디지털 신호로 된다. 아날로그 프런트 엔드(13)에서 출력된 디지털 촬상 신호들이 신호 처리부(20)에 입력된다.

우선, 신호 처리부(20)에서, YRGB 생성 회로(21)에 의해 휘도 신호인 Y 신호, 및 색신호인 R 신호, G 신호, 및 B 신호가 생성되며, YRGB는 루미넌스(Luminance) RGB라고 지칭되기도 한다. YRGB 생성 회로(21)로부터 출력된 Y 신호, R 신호, G 신호, 및 B 신호는 제1 신호 처리부(22)에서 적절하게 신호 처리되고, 메모리(23)에 대한 기입 처리(write processing)가 수행된다.

메모리(23)는 촬상 소자에서의 노광 시간이 상이한 저감도 화상 및 고감도 화상, 즉, 장시간 노광 화상 및 단시간 노광 화상을 저장한다. 그 후, 장시간 노광 화상 및 단시간 노광 화상이 메모리(23)로부터 판독되어 화상 합성부(24)(WDR(Wide Dynamic Range) 합성을 수행함)에 입력되며, 화상 합성에 의해 와이드 다이나믹 레인지를 얻기 위한 처리가 수행된다.

그 후, 와이드 다이나믹 레인지를 갖는 합성된 화상이 화상 보정부(25)에 입력되어 예를 들어 YRGB 신호를 색차 신호(color difference signal)를 포함하는 YCbCr 신호로 변환하기 위한 처리를 포함하는 γ 보정 처리 등을 수행하고, 또한, 제2 신호 처리부(26)에서 최종 신호 처리가 수행되어 최종의 출력 화상이 생성된다.

주목할 것은, 흔히, 제1 신호 처리부(22)가 주파수 보정, 신호 레벨 보정, WB(White Balance) 보정 등을 수행하고, 제1 신호 처리부(22)와 제2 신호 처리부(26)가 메모리(23)의 제어에 연동하여 화상의 수직 반전, 슬로우 셔터 / 스틸 셔터 조작, 손떨림 보정, 전자적 줌 등을 수행하며, 제2 신호 처리부(26)가 피크 클리핑(peak clipping), 색차 신호 생성, OSD(On Screen Display), 출력 인코딩 처리 등을 수행한다는 것이다.

장시간 노광 화상과 단시간 노광 화상을 합성 처리함으로써 와이드 다이나믹 레인지 화상을 생성하는 촬상 장치에 있어서, 와이드 다이나믹 레인지 화상을 이루지 않는 통상 화상과 와이드 다이나믹 레인지 화상을 이룬 화상 사이에 촬상 장치(10)로부터의 출력 신호 레벨의 정격치 (Rated value)가 동일하다. 따라서, 와이드 다이나믹 레인지 화상을 이루지 않는 통상 화상과 와이드 다이나믹 레인지 화상을 이룬 화상에서의 피사체의 콘트라스트(contrast) 및 밝기는 피사체의 상태에 따라 서로 다를 것이고, 와이드 다이나믹 레인지 화상을 이룬 화상은 흔히 양호한 화상이 아니며, 따라서, 많은 장치 구성들이 와이드 다이나믹 레인지 화상을 이루지 않는 통상 화상과 와이드 다이나믹 레인지 화상을 이룬 화상을 모두 촬영할 수 있게 한다. 많은 장치 구성들이 와이드 다이나믹 레인지 화상을 이룰지 여부가 피사체의 상태에 따라 선택되도록 되어 있다.

여기에서 도 1에 도시된 바와 같이, 화상을 합성함으로써 와이드 다이나믹 레인지 화상을 이루기 위한 처리를 수행하는 화상 합성부(24)에 의한 합성 처리는 화상 보정부(25)에 의한 γ 처리 전에 수행되어야 한다. 따라서, 예를 들어, 종래 기술에 따라 각각 8 비트의 Y, Cr 및 Cb를 출력 신호로서 생성하는 촬상 장치에 있어서, 메모리에 대한 기입/판독 데이터는, 도 2a 및 도 2b에 도시된 바와 같이, 각각 10비트 이상의 휘도 신호 (Y) 및 색신호 (G), (R), (B)에서, 휘도 신호 2화소에 대해 한 쌍의 색신호의 분해능을 갖는 422 형식이라고 지칭되는 데이터 형식으로 기입/판독된다.

도 2a에 도시된 바와 같이, 데이터 판독/기입은, 휘도 신호 (Y)에 대해서는 화소 단위 신호(signals in increments of pixels)가 이용되지만, 색신호 (G), (R), (B)에 대해서는 2화소의 평균치가 이용되는, 422 형식으로 수행된다. 도 2b는 10 비트의 휘도 신호 (Y) 및 12 비트의 색신호 (G), (R), (B)에 의해 판독/기입을 수행하는 경우에서의 신호들의 각각에 대한 설정 비트의 한 예를 도시한다.

주목할 것은, 촬상 소자로부터의 데이터 판독 방법을 위해, 종래 기술은 모든 화소들이 독립적 신호로서 판독되는 프로그래시브 판독 방법(progressive read method) 및 2개의 상하 인접 라인의 화소들이 혼합되어 판독되는 인터레이스드 판독 방법(interlaced read method)을 포함한다는 것이다.

인터레이스드 표시 방식(interlaced display format)인 NTSC 및 PAL 방식에 대한 촬상 소자 구동 주파수는, 촬상 소자로부터 인터레이스드 판독하는 경우에는 13.5MHz, 14MHz, 18MHz 등이고, 프로그래시브 판독의 경우에는, 그 2배인 27MHz, 28MHz, 및 36MHz가 흔히 이용된다.

촬상 소자로부터의 판독 방법이 프로그래시브 판독인 경우에는, 와이드 다이나믹 레인지를 이루기 위해 2개의 화상의 합성 처리를 수행하기 위해서는 1회의 기입마다 2회의 판독이 수행되어야 하므로, 하나의 메모리(23)를 갖기 위해서는 촬상 소자의 구동 주파수의 적어도 3배인 주파수로 작동되어야 하고, 프로그래시브 판독의 경우에는 그 2배인 81MHz, 약 86MHz 및 108MHz가 된다.

422 형식으로 YRGB의 판독/기입을 수행하기 위해, 한 클록 당 50 ÷ 2 = 25 비트의 데이터가 이용되므로, 32비트 데이터 폭 메모리를 이용하거나, 또는 16비트 메모리를 이용하기 위해서는 주파수가 2배로 되어 162MHz, 약 171MHz 및 216MHz로 되어야 한다. NTSC 또는 PAL 방식을 지원하는 촬상 장치에서 와이드 다이나믹 레인지 화상을 얻기 위해서는 4개의 화상이 저장되어야 하며, 프로그래시브로 작동할 경우에도 데이터 크기는 64MB 미만도 충분하지만, 64MB에 대응하는 메모리인 경우의 최대주파수는 133 내지 166MHz이므로, 133MHz를 이용하는 대신에, 데이터 폭이 32 비트이어야 하거나, 또는 고속 메모리가 채용되어야 한다.

종래 기술에 의하면, 메모리 제어선이 증가하거나 또는 2개의 메모리 장치를 이용함으로 인해 메모리 장착 면적이 커지고, 수요가 적은 유형의 메모리 장치를 이용해야 함으로 인해 비용이 비싸다는 등의 문제가 있었다. 또한, 메모리의 데이터 형식을 16 비트 이하로 낮추는 경우에는 불충분한 데이터 분해능으로 인한 화질 열화의 문제가 있었고, 특히, 와이드 다이나믹 레인지를 이루기 위한 WDR 합성을 수행하지 않는 경우에 이러한 화질 열화가 현저해졌다. 또한, 와이드 다이나믹 레인지 화상과 통상 화상이라는 2개 유형의 데이터 형식 사이를 전환시키면서 동작하는 촬상 장치에 있어서의 전환시에 화상 오류가 발생되는 문제가 있었다.

촬상 장치에 의해 와이드 다이나믹 레인지 화상 및 통상 화상을 이룬 화상으로 된 2개 유형의 화상을 촬영할 수 있고, 메모리 용량이 감축될 수 있으며, 와이드 다이나믹 레인지 화상 및 통상 화상을 이룬 화상으로 된 2개 유형의 화상의 촬영 모드 사이를 전환시에 출력 오류의 발생이 방지될 수 있으며, 원활한 모드 전환이 가능한, 촬상 장치, 신호 처리 방법, 및 프로그램을 제공하는 것이 바람직하다는 것이 밝혀졌다.

본 발명의 한 실시예는, 제1 신호 처리부, 제2 신호 처리부 및 제3 신호 처리부, 화상 신호를 저장하는 메모리, 및 제1 스위치, 제2 스위치, 제3 스위치 및 제4 스위치를 포함하는 화상 신호용 신호 처리부를 포함한다. 제1 스위치는 제2 신호 처리부의 입력에 접속된다. 제1 스위치는 메모리의 출력과 제1 신호 처리부의 출력 사이를 전환한다. 제2 스위치는 제3 신호 처리부의 입력에 접속된다. 제2 스위치는 메모리의 출력과 제2 신호 처리부의 출력 사이를 전환한다. 제3 스위치는 메모리의 입력에 접속된다. 제3 스위치는 제2 신호 처리부로부터의 출력과 제1 신호 처리부로부터의 출력 사이를 전환한다. 제4 스위치는 메모리의 출력에 접속된다. 제4 스위치는 제3 신호 처리부에 대한 입력과 제2 신호 처리부에 대한 입력 사이를 전환한다.

다른 실시예에서는, 메모리의 입출력 경로가 제어된다. 통상 화상 생성의 경우, 화상 신호가 화상 보정 후에 메모리에 저장되며 메모리로부터 판독된다. 와이드 다이나믹 레인지 화상 생성의 경우, 화상 신호가 보정되기 전에 메모리에 저장되며 메모리로부터 판독된다.

다른 실시예에 따르면, 통상 화상 생성의 경우, 제1 스위치는 제1 신호 처리 회로의 출력에 접속된다. 제2 스위치는 메모리의 출력에 접속된다. 제3 스위치는 제2 신호 처리부의 출력에 접속된다. 제4 스위치는 제3 신호 처리부에 대한 입력에 접속된다.

다른 실시예에서는, 와이드 다이나믹 레인지 화상 생성의 경우, 제1 스위치는 메모리의 출력에 접속된다. 제2 스위치는 제2 신호 처리부의 출력에 접속된다. 제3 스위치는 제1 신호 처리부의 출력에 접속된다. 제4 스위치는 제2 신호 처리부의 입력에 접속된다.

또다른 실시예에 따르면, 제2 신호 처리부는 메모리에 저장된 화상 신호로부터 와이드 다이나믹 레인지 화상을 생성하는 합성부를 포함한다. 합성부는 화상 합성 처리를 실행한다. 통상 화상 생성의 경우, 화상 합성 처리가 실행되지 않는다.

또다른 실시예에서는, 제2 신호 처리부는 메모리에 저장된 화상 신호로부터 와이드 다이나믹 레인지 화상을 생성하여 화상 합성 처리를 실행하는 화상 합성부를 포함한다. 제2 신호 처리부는 화상 보정부 및 신호 처리 장치도 포함한다. 화상 보정부는 화상 신호를 보정한다. 신호 처리 장치는 화상 신호를 색차 신호로 변환한다. 통상 화상 생성의 경우, 화상 합성부에 의한 화상 합성 처리가 실행되지 않는다.

다른 실시예에서는, 화상 처리부가 콘트롤러로부터의 제어 신호에 응답하여 통상 화상 생성 동작과 와이드 다이나믹 레인지 화상 생성 동작 간의 처리를 전환한다. 신호 처리부는 메모리, 화상 보정부 및 스위칭 장치를 포함한다. 메모리는 화상 신호를 저장한다. 화상 보정부는 화상 신호를 보정한다. 스위칭 장치는 메모리 및 화상 보정부에 접속되고 화상 보정부로의/로부터의 메모리의 입출력 경로를 전환한다.

또다른 실시예에서는, 메모리의 입출력 경로는 통상 화상 생성과 와이드 다이나믹 레인지 화상 생성의 경우 상이하게 제어된다. 통상 화상 생성의 경우, 화상 신호가 화상 보정부에 의한 화상 보정 후에 메모리에 저장되고 메모리로부터 판독된다. 와이드 다이나믹 레인지 화상 생성의 경우, 화상 신호가 화상 보정부에 의해 보정되기 전에 메모리에 저장되고 메모리로부터 판독된다.

다른 실시예에서는, 화상 신호 처리 시스템이 메모리, 제어부, 신호 처리부, 및 스위칭부를 포함한다. 신호 처리부는 화상 보정부 및 화상 합성부를 포함한다. 메모리는 화상 신호를 저장한다. 제어부는 메모리의 입출력 경로에 대한 신호 경로 제어를 실행한다. 화상 보정부는 화상 신호를 보정한다. 화상 합성부는 메모리에 저장된 화상 신호로부터 와이드 다이나믹 레인지 화상을 생성하여 화상 합성 처리를 실행한다. 스위칭부는 메모리 및 신호 처리부에 접속되고 신호 처리부로의/로부터의 메모리의 신호 경로를 전환한다.

또다른 실시예에서는, 화상 신호 처리 시스템이 통상 화상 생성 및 와이드 다이나믹 레인지 화상 생성을 위해 메모리의 입출력 경로를 제어한다. 통상 화상 생성의 경우, 화상 신호가 화상 보정부에 의한 화상 보정 후에 메모리에 저장되고 메모리로부터 판독된다. 와이드 다이나믹 레인지 화상 생성의 경우, 화상 신호가 합성부에 의해 화상 신호가 합성되고 화상 보정부에 의해 보정되기 전에 메모리에 저장되고 메모리로부터 판독된다.

다른 실시예에서는, 통상 화상 생성의 경우, 화상 합성부에 의한 화상 합성 처리가 실행되지 않는다.

본 발명의 다른 목적 및 장점은 첨부된 도면에 도시된 바와 같은 본 발명의 양호한 실시예들에 대한 다음의 설명으로부터 명백해질 것이다.

도 1은 2종류의 감도를 갖는 화상들을 합성함으로써 와이드 다이나믹 레인지 화상을 생성하는 촬상 장치의 구성례를 설명하는 다이어그램이고,
도 2a 및 도 2b는 촬상 장치의 메모리에 저장된 데이터의 구성례를 설명하는 다이어그램이며,
도 3은 한 실시예에 따른 촬상 장치의 구성례를 설명하는 다이어그램이고,
도 4는 한 실시예에 따른 촬상 장치에 있어서 통상 화상을 생성하기 위한 통상 화상 모드가 설정된 경우의 스위치 설정 및 처리를 설명하는 다이어그램이고,
도 5는 한 실시예에 따른 촬상 장치에 있어서 와이드 다이나믹 레인지 화상을 생성하기 위한 와이드 다이나믹 레인지 모드가 설정된 경우의 스위치 설정 및 처리를 설명하는 다이어그램이며,
도 6a 및 도 6b는 한 실시예에 따른 촬상 장치에 있어서의 메모리에 저장된 데이터의 형식의 예를 설명하는 다이어그램이고,
도 7은 한 실시예에 따른 촬상 장치에 있어서의 메모리에 저장된 데이터의 형식의 한 예를 설명하는 다이어그램이며,
도 8은 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성 시퀀스를 설명하는 다이어그램이고,
도 9는 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 프로그래시브 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제1 예)를 설명하는 다이어그램이며,
도 10은 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 프로그래시브 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제2 예)를 설명하는 다이어그램이고,
도 11은 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 인터레이스드 출력에 있어서의 통상 화상 생성 시퀀스(제1 예)를 설명하는 다이어그램이며,
도 12는 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 인터레이스드 출력에 있어서의 통상 화상 생성 시퀀스(제2 예)를 설명하는 다이어그램이고,
도 13은 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제1 예)를 설명하는 다이어그램이며,
도 14는 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제2 예)를 설명하는 다이어그램이고,
도 15는 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제3 예)를 설명하는 다이어그램이며,
도 16은 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제4 예)를 설명하는 다이어그램이고,
도 17은 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성과 와이드 다이나믹 레인지 화상 생성 사이를 전환시키는 시퀀스를 설명하는 다이어그램이며,
도 18은 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성과 와이드 다이나믹 레인지 화상 생성 사이를 전환시키는 시퀀스에서의 스위치 설정을 설명하는 다이어그램이고,
도 19는 한 실시예에 따른 촬상 장치에서의 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성과 와이드 다이나믹 레인지 화상 생성 사이를 전환시키는 시퀀스에서의 스위치 설정을 설명하는 다이어그램이며, 및
도 20은 통상 화상 생성과 와이드 다이나믹 레인지 화상 생성 사이를 전환시키는 시퀀스에서의 문제점을 설명하는 다이어그램이다.

이제, 본 발명에 따른 촬상 장치, 신호 처리 방법, 및 프로그램에 대해 도면을 참조하여 설명하겠다. 설명은 다음의 항목들의 순서로 이루어질 것이다.

1. 촬상 장치의 전반적인 구성례에 관하여

2. 통상 화상 생성 처리 및 와이드 다이나믹 레인지 화상 생성 처리를 수행하는 경우의 설정에 관하여

3. 메모리에 저장된 데이터의 형식에 관하여

4. 상세한 화상 생성 처리 시퀀스에 관하여

(4-A) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성 시퀀스

(4-B) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제1 예)

(4-C) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제2 예)

(4-D) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 통상 화상 생성 시퀀스(제1 예)

(4-E) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 통상 화상 생성 시퀀스(제2 예)

(4-F) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제1 예)

(4-G) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제2 예)

(4-H) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제3 예)

(4-I) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제4 예)

(4-J) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성과 와이드 다이나믹 레인지 화상 생성 사이를 전환시키는 시퀀스

1. 촬상 장치의 전반적인 구성례에 관하여

도 3은 본 발명에 따른 촬상 장치의 한 실시예를 도시하는 블록 다이어그램이다. 본 발명이 촬상 장치의 한 실시예에 의해 설명될 것이지만, 본 발명은 촬상 장치로 제한되는 것이 아니고, 촬상된 신호를 입력하는 촬상 부분을 갖지 않고 신호 처리를 수행하는 화상 처리 장치를 포함하는 다른 형태들에 적용될 수 있는 것임을 이해하여야 한다.

도 3에 도시된 촬상 장치(100)의 구성 및 처리에 대해 설명하겠다. 렌즈(101)를 통해 입사된 빛은 촬상 소자(102)에서 광전 변환된다. 촬상 소자(102)에서 생성된 화상에 대응하는 전기 신호는 아날로그 프런트 엔드(103)에서 상관 이중 샘플링 처리 및 AGC(Automatic Gain Control) 되고 A/D(Analog-to-Digital) 변환되어 화상에 대응하는 디지털 신호로 된다.

또한, 아날로그 프런트 엔드(103)로부터 출력된 디지털 신호는 신호 처리부(120)의 YRGB 생성부(121)에 입력되어, YRGB 생성부(121)에서 휘도 신호인 Y 신호, 및 색신호인 R 신호, G 신호, 및 B 신호로 생성된다.

YRGB 생성부(121)로부터 출력된 Y 신호, R 신호, G 신호, 및 B 신호는 제1 신호 처리부(122)에서 적절하게 신호 처리되고, 스위치(a)(인용 부호 151a로 나타내고, 이후 "스위치(151a)"라고도 지칭됨)의 N측 입력 단자 및 스위치(c)(인용 부호 151c로 나타내고, 이후 "스위치(151c)"라고도 지칭됨)의 W측 입력 단자에 입력된다.

스위치(151a)의 출력은 화상 합성부(123)에 입력되고 적절하게 화상 합성 처리되며, 즉, 단시간 노광 화상과 장시간 노광 화상의 화상 합성 처리에 의해 와이드 다이나믹 레인지를 이루는 처리가 실행된다. 주목할 것은, 통상 화상을 생성하는 경우에, 화상 합성부(123)는 화상 합성 처리를 실행하지 않으며, 제2 신호 처리부(125)에서 제2 신호 처리가 실행되기에 충분한 분해능을 갖는 제1 신호 처리부(122)로부터의 입력이 변화 없이 화상 보정부(γ 보정)(124)에 출력된다는 것이다.

주목할 것은, 제1 신호 처리부(122)가 메모리(130)에 대해 저장된 통상 화상의 데이터(다음에 설명하는 도 6a 및 도 6b에서 형식 1(f1)을 따르는 데이터)를 생성할 수 있는 신호를, 예를 들어 각각 10 비트의 YRGB 신호를 출력한다는 것이다.

화상 보정부(γ 보정)(124)는 YRGB 신호의 각각이 γ 보정 처리되게 하고 보정된 화상을 제2 신호 처리부(125)에 출력한다.

제2 신호 처리부(125)는 예를 들어 색차 신호 (YCbCr) 등을 포함하는 신호로 변환하기 위한 처리를 수행하고, 처리된 화상을 스위치(b)(인용 부호 151b로 나타내고, 이후 "스위치(151b)"라고 지칭하기도 함)의 W측 입력 단자 및 스위치(151c)의 N측 입력 단자에 출력한다. 스위치(151b)의 출력은 최종 신호 처리가 수행되는 제3 신호 처리부(126)에 입력되고, 그럼으로써 촬상 장치 출력 신호를 생성하여 출력한다.

스위치(151c)의 출력은 메모리(130)에 대한 기입 데이터이며, 메모리(130)로부터의 판독 데이터는 스위치(d)(인용 부호 151d로 나타내고, 이후 "스위치(151d)"라고 지칭되기도 함)에 입력된다. 스위치(151d)의 N측 입력 단자로부터 출력된 신호는 스위치(151b)의 N측 입력 단자에 입력되고, 스위치(151d)의 W측 출력단자로부터 출력되는 신호는 스위치(151a)의 W측 입력 단자에 입력된다.

주목할 것은, 제1 신호 처리부(122)에 의해, 주파수 보정, 신호 레벨 보정, WB(White Balance) 보정 등이 수행된다는 것이다. 흔히, 제2 신호 처리부(125)에서, 피크 클리핑, 색차 신호 생성, 보정 등이 수행되고, 제3 신호 처리부(126)에서, OSD(On Screen Display), 출력 인코딩 처리 등이 수행되지만, 이러한 신호 처리부의 역할은 적절하게 변화될 수 있을 것이다.

도 3에 도시된 촬상 장치(100)는 다음의 처리, 즉

(1) 촬상 소자(102)로부터 출력된 화상 프레임 상에 하나의 출력 화상으로서 생성하는 통상 화상 생성 처리, 및

(2) 각각의 수직 기간마다 장시간 노광과 단시간 노광 간의 촬상 소자(102)의 노광 시간을 전환함으로써 얻어지는 2종류의 감도를 갖는 화상들이 합성되어 와이드 다이나믹 레인지를 갖는 화상을 생성하는 WDR(Wide Dynamic Range) 화상 생성 처리를 선택적으로 실행할 수 있는 구성을 갖는다.

통상 화상 생성 처리에서 양호한 밝기로 출력되는 피사체는 흔히 와이드 다이나믹 레인지 화상으로 되는 경우에는 어둡고 낮은 콘트라스트를 갖는 화상이다. 따라서, 와이드 다이나믹 레인지 화상을 만들 수 있는 비디오 카메라라도, 와이드 다이나믹 레인지 화상이 양호한 피사체 조건 및 통상 화상이 양호한 피사체 조건을 갖는다.

도 3에 도시된 촬상 장치(100)에 있어서, 제어부(105)는 예를 들어 입력부(106)를 통해 사용자 설정을 검출하고, 통상 화상 생성 동작과 와이드 다이나믹 레인지 화상 생성 동작 사이를 전환시키는 것을 가능하게 한다.

선택적으로, 예를 들어, 제어부(105)가 장시간 노광에 의해 얻어진 고감도 화상의 휘도 신호의 히스토그램을 분석하고, 예를 들어, 클립드 화이트 영역의 비율이 높다고 판단하는 경우에는, 단시간 노광에 의한 저감도 화상의 촬상을 수행하기 위한 촬상이 실행되게 하는 제어가 효과가 있을 수 있다. 예를 들어, 고감도 촬상을 수행하는 경우의 히스토그램에서 클립드 블랙 및 클립드 화이트의 영역이 작은 경우에는, 와이드 다이나믹 레인지 화상이 양호하지 못하다는 판단이 이루어지고, 설정이 통상 화상 촬영 동작으로 전환된다.

제어부(105)는 예를 들어 어드레스 설정 및 액세스 시퀀스의 제어 등과 같은 메모리에 관한 액세스 제어를 수행한다. 또한, 통상 화상 생성 동작과 와이드 다이나믹 레인지 화상 생성 동작 사이의 전환 처리시에, 제어부(105)는 예를 들어 메모리(130)에 대한 입출력 경로의 전환을 수반하는 신호 경로 제어를 실행한다. 주목할 것은, 내장된 저장부 또는 도시되지 않은 저장부에 저장된 프로그램에 따라 제어부(105)가 다양한 유형의 처리를 실행하고 제어한다는 것이다.

제어부(105)가 실행하는 제어의 하나인 통상 화상 생성 동작과 와이드 다이나믹 레인지 화상 생성 동작 사이의 전환 처리의 구체적 처리의 한 예는 다음과 같은 처리이다. 화상 합성부(123)에서의 화상 합성 처리가 수행되지 않는 통상 화상 생성시에는, 신호 경로 제어가 화상 보정부(124)에 의한 보정 후의 신호를 메모리(130)에 대해서 및 메모리(130)로부터의 판독/기입을 위한 신호로서 설정하도록 실행되고, 화상 합성부(123)에서 화상 합성 처리가 수행되는 와이드 다이나믹 레인지 화상 생성시에는, 신호 경로 제어가 화상 보정부(124)에 의한 보정 전의 신호를 메모리(130)에 대해서 및 메모리(130)로부터의 판독/기입을 위한 신호로서 설정하도록 실행된다.

따라서, 촬상 장치(100)는 사용자 설정에 의하거나 또는 제어부(105)에 의해 수행된 자동 제어에 의해 통상 화상 생성 모드와 와이드 다이나믹 레인지 화상 생성 모드 사이를 전환시키기 위한 구성을 갖는다. 제어부(105)는, 통상 화상 생성 모드의 경우에는, 신호 처리부(120)의 스위치(151a 내지 151d)가 N측 접속 구성되고, 와이드 다이나믹 레인지 화상 생성 모드의 경우에는, 신호 처리부(120)의 스위치(151a 내지 151d)가 W측 접속 구성되도록 제어를 수행한다.

또한, 통상 화상 생성 모드의 경우에는, 제어부(105)는 화상 합성부(123)에서의 화상 합성 처리를 정지시키고 제1 신호 처리부(122)로부터의 입력을 화상 보정부(124)에 직접 출력하도록 제어를 수행한다.

와이드 다이나믹 레인지 화상 생성 모드의 경우에는, 화상 합성부(123)에서의 화상 합성 처리가 실행된다. 화상 합성부(123)는 장시간 노광에 의해 고감도 화상 얻어지는 클립드 화이트 영역에 단시간 노광에 의해 얻어지는 저감도 화상의 유효한 화소값을 설정하기 위한 화상 합성 처리를 실행함으로써 와이드 다이나믹 레인지 화상을 생성한다.

도 3에서의 촬상 장치(100)의 구성에 있어서, 통상 화상을 생성하기 위한 통상 동작을 수행하는 경우와 와이드 다이나믹 레인지 화상을 생성하기 위한 와이드 다이나믹 레인지 동작을 수행하는 경우 간에는 스위치(151a 내지 151d)의 설정이 다르고 신호 흐름도 다르다.

이러한 모드 차이로 인한 신호 흐름 차이에 대해 도 4 및 도 5를 참조하여 설명하겠다. 도 4는 통상 화상을 생성하기 위한 통상 동작을 수행할 때의 신호 흐름이 굵은 선으로 도시된 다이어그램이다. 도 5는 와이드 다이나믹 레인지 화상을 생성하기 위한 와이드 다이나믹 레인지 동작을 수행할 때의 신호 흐름이 굵은 선으로 도시된 다이어그램이다.

우선, 통상 화상을 생성하기 위한 통상 동작을 수행할 때의 신호 흐름에 대해 도 4를 참조하여 설명하겠다. 통상 화상을 생성하기 위한 통상 동작을 수행할 때, 스위치(151a 내지 151d)는 N측으로 전환된다. 촬상 소자(102)로부터의 입력 신호가 아날로그 프런트 엔드(103)를 거쳐 디지털 신호로 변환된 후, 이 신호는 신호 처리부(120)의 YRGB 생성부(121)에 입력되고, 휘도 신호 Y 및 색신호 R, G, B가 생성된다.

휘도 신호 Y 및 색신호 R, G, B는 제1 신호 처리부(122)에서 신호 처리되고, 스위치(151a)를 거쳐 화상 합성부(123)에 입력된다. 통상 화상 생성 동작을 수행할 때, 화상 합성부(123)는 화상 합성 처리를 수행하지 않고, 입력 신호를 변화 없이 화상 보정부(124)에 출력한다.

화상 보정부(124)는 YRGB 신호의 각각에 대해 γ 보정을 수행하고, 보정된 신호를 제2 신호 처리부(125)에 출력한다. 제2 신호 처리부(125)에서, 예를 들어 색차 신호 (YCbCr) 등을 포함하는 신호로의 변환, 피크 클리핑 및 기타의 신호 처리가 수행되고, 처리된 신호는 메모리(130)의 입력 부분에서 스위치(151c)를 거쳐 메모리(130)에 기입된다.

또한, 메모리(130)로부터의 판독 신호는 스위치(151d 및 151b)를 거쳐 제3 신호 처리부(126)에 입력된다. 제3 신호 처리부(126)는 메모리(130)로부터 판독된 신호에 관한 최종 신호 처리를 실행하고 촬상 장치로부터 출력되는 통상 화상을 생성 및 출력한다.

다음에, 와이드 다이나믹 레인지 화상을 생성하기 위한 와이드 다이나믹 레인지 동작을 수행할 때의 신호 흐름에 대해 도 5를 참조하여 설명하겠다. 와이드 다이나믹 레인지 화상을 생성하기 위한 와이드 다이나믹 레인지 동작을 수행할 때, 스위치(151a 내지 151d)는 W측으로 전환된다.

촬상 소자(102)로부터의 입력 신호는 아날로그 프런트 엔드(103)를 통해 디지털 신호로 변환되고, 신호 처리부(120)의 YRGB 생성부(121)에 입력되며, 그럼으로써 휘도 신호 Y 및 색신호 R, G, B를 생성한다.

휘도 신호 Y 및 색신호 R, G, B가 제1 신호 처리부(122)에서 신호 처리된 YRGB 신호는 후속 신호 처리를 수행하기 전에 메모리(130)에 임시로 저장된다. 메모리(130)에 대한 기입은 메모리(130)의 입력 부분에서 스위치(151c)를 거쳐 수행된다.

앞서 설명한 바와 같이, 와이드 다이나믹 레인지 화상을 생성하기 위한 화상 합성 처리는 장시간 노광 화상 및 단시간 노광 화상이라는 2개의 화상을 이용한다. 따라서, 지금까지 설명한 메모리(130)에서의 화상 저장을 통해 촬상 소자(102)에 의해 화상을 촬영하는 처리는,

(a) 단시간 노광 화상(저감도 화상: Ln) 및

(b) 장시간 노광 화상(고감도 화상: Hn)이라는

2개의 연속으로 촬영된 화상에 대해 수행되는 처리로서 수행된다.

주목할 것은, 구체적 처리 시퀀스가 아래에서 상세하게 설명된다는 것이다.

메모리(130)에 저장된 2개의 화상이 메모리(130)의 출력 부분에서 스위치(151d)를 거쳐 메모리(130)로부터 판독되고, 스위치(151a)를 거쳐 화상 합성부(123)에 입력된다. 메모리(130)로부터의 화상의 판독 처리는,

(a) 단시간 노광 화상(저감도 화상: Ln) 및

(b) 장시간 노광 화상(고감도 화상: Hn)이라는

2개의 화상의 각각의 메모리 스토리지 어드레스를 이용하여 병렬로 판독하기 위한 처리로서 실행된다.

화상 합성부(123)는 메모리(130)로부터 판독된 단시간 노광 화상과 장시간 노광 화상을 합성하고, 와이드 다이나믹 레인지 화상을 생성한다. 생성된 와이드 다이나믹 레인지 화상은 화상 보정부(124)에 출력된다.

화상 보정부(124)는 YRGB 신호의 각각에 대해 γ 보정을 수행하고, 보정된 신호를 제2 신호 처리부(125)에 출력한다. 제2 신호 처리부(125)는 예를 들어, 색차 신호 (YCbCr) 등을 포함하는 신호로의 변환 처리, 피크 클리핑 및 기타의 신호 처리를 수행하고, 처리된 신호는 스위치(151b)를 거쳐 제3 신호 처리부(126)에 입력된다. 제3 신호 처리부(126)는 메모리(130)로부터 판독된 신호에 관한 최종 신호 처리를 실행하고 촬상 장치로부터 출력되는 와이드 다이나믹 레인지 화상을 생성한다.

도 4를 참조하여 설명한 통상 화상 생성 처리와 도 5를 참조하여 설명한 와이드 다이나믹 레인지 화상 생성 처리 간의 주요한 차이 중 하나는 다음의 메모리 판독 및 기입 타이밍에 있다.

도 4를 참조하여 설명한 통상 화상 생성 처리에 있어서, 메모리(130)에 대한 기입 및 메모리(130)로부터의 판독은 화상 보정부(124)에서의 화상 보정(γ 보정) 및 제2 신호 처리부(125)에서의 신호 처리 후에 수행된다. 그 후, 메모리(130)로부터 판독된 신호는 제2 신호 처리부(125)에서 최종 신호 처리되고, 통상 화상이 출력된다.

한편, 도 5를 참조하여 설명한 와이드 다이나믹 레인지 화상 생성 처리에 있어서, 화상 합성부(123)에서의 화상 합성 처리, 화상 보정부(124)에서의 화상 보정(γ 보정), 및 제2 신호 처리부(125)에서의 신호 처리 전에 메모리(130)에 대해 기입/판독 처리가 수행된다.

그 후, 메모리(130)로부터 판독된 신호가 화상 합성부(123)에서의 화상 합성 처리, 화상 보정부(124)에서의 화상 보정(γ 보정), 제2 신호 처리부(125)에서의 신호 처리가 행해지고, 제2 신호 처리부(125)에서의 최종 신호 처리가 더 행해져, 와이드 다이나믹 레인지 화상이 출력된다.

주목할 것은, 와이드 다이나믹 레인지 화상 생성 처리에 있어서, 메모리(130)에 대한 기입은,

(a) 단시간 노광 화상(저감도 화상: Ln) 및

(b) 장시간 노광 화상(고감도 화상: Hn)이라는

2개의 화상이 개별적 메모리 어드레스 지정 위치에 순차적으로 기입되고, 판독시에는, 이 화상들이 2개의 메모리 어드레스를 이용하여 병렬로 판독되도록 수행된다는 것이다.

주목할 것은, 도 4를 참조하여 설명한 통상 화상 생성 처리에 있어서, 화상 보정부(124)에서의 화상 보정(γ 보정) 후에, 예를 들어, 구체적으로는 YCbCr 신호인 신호가 메모리(130)에 기입되고 그로부터 판독된다는 것이다.

한편, 와이드 다이나믹 레인지 화상 생성 처리에 있어서, 메모리(130)에 대한 기입 및 메모리(130)로부터의 판독은 화상 보정부(124)에서의 화상 보정(γ 보정) 전에 수행된다. 말하자면, 제1 신호 처리부(122)의 출력인 YRGB 신호가 기입 및 판독된다는 것이다.

주목할 것은, 도 5를 참조하여 설명한 와이드 다이나믹 레인지 화상 생성을 수행할 때,

(a) 단시간 노광 화상(저감도 화상: Ln) 및

(b) 장시간 노광 화상(고감도 화상: Hn)이라는

2개의 화상의 각각의 YRGB의 각각의 신호값이 메모리(130)에 저장된다는 것이다.

3. 메모리에 저장된 데이터의 형식에 관하여

위에서 설명한 바와 같이, 도 4를 참조하여 설명한 통상 화상 생성 처리에 있어서, 화상 보정부(124)에서의 화상 보정(γ 보정) 및 제2 신호 처리부(125)에서의 신호 처리의 결과인 YCbCr 신호가 메모리(130)에 기입되고, 그로부터 판독된다. 메모리에 저장된 데이터의 구성례는 도 6a 및 도 6b에서 (1a) 및 (1b)로서 도시되어 있다.

도 6a의 (1a)에 도시된 바와 같이, 휘도 신호 (Yn)의 2화소에 대해 한 쌍의 색차 신호 (Cbn, Crn)의 분해능을 갖는 이른바 422 형식, 또는 도 6b의 (1b)에 도시된 바와 같이, 출력 신호와 동일하게, 8 비트의 휘도 신호 (Y) 및 8 비트의 색신호 (Cr = R - Y, Cb = B - Y)에 의해 휘도 신호의 4화소에 대한 한 쌍의 색신호의 분해능을 갖는 이른바 411 형식 데이터 형식의 신호로 된 데이터 형식(이후, 데이터 형식 1(f1)이라고 지칭됨)으로 메모리(130)에 대한 데이터 저장이 수행된다.

주목할 것은, 도 6b의 (1b)에 도시된 2개의 Cb1이 동일한 8비트 데이터(예를 들어, 2화소의 평균)를 의미한다는 것이다. 2개의 Cr1도 동일한 Cr1의 8비트 데이터이다. 한편, 도 5를 참조하여 설명한 와이드 다이나믹 레인지 화상을 생성할 때, 제1 신호 처리부(122)의 출력 신호가 메모리(130)에 저장된다.

이 때 메모리에 저장된 데이터의 구성례는 도 7의 (2)에 도시된 바와 같다. 도 7의 (2)에 도시된 바와 같이, 9 비트의 휘도 신호 (Y) 및 10 비트의 색신호 (G) 및 각각 9 비트의 색신호 (R) 및 (B)에 의해 휘도 신호의 4화소에 대한 한 쌍의 색신호의 분해능을 갖는 이른 411 형식 데이터 형식(이후, 데이터 형식 2(f2)라고 지칭됨)으로 데이터가 메모리(130)에 기입되어 메모리(130)로부터 판독된다.

위에서 설명한 바와 같이, 제어부(105)는, 화상 합성부(123)에서 아무런 화상 합성 처리도 수행되지 않는 통상 화상 생성을 수행할 때는, 화상 보정부(124)에서의 보정 후의 신호가 메모리(130)에 기입되어 메모리(130)로부터 판독될 신호로서 설정되고, 화상 합성부(123)에서의 화상 합성 처리가 수행되는 와이드 다이나믹 레인지 화상 생성을 수행할 때에는, 화상 보정부(124)에서의 보정 전의 신호가 메모리(130)에 기입되어 메모리(130)로부터 판독되는 신호로서 설정되도록 신호 경로 제어를 수행한다.

제2 신호 처리부(125)는, 8 비트의 휘도 신호 (Y) 및 색차 신호 (Cb, Cr)와 관련하여 각각 8 비트의 (Cb), (Cr)로 설정함에 의해 4개의 휘도 (Y)에 대하여 각각 2개의 색차 신호 (Cb, Cr)의 비율을 갖거나 또는 4개의 휘도 (Y)에 대하여 각각 1개의 색차 신호 (Cb, Cr)의 비율을 갖는 도 6a 및 도 6b에 도시된 형식(f1)에 따른 신호를 출력하고, 화상 합성부(123)에서 아무런 화상 합성 처리도 수행되지 않는 통상 화상 생성시에, 제어부(105)는, 도 6a 및 도 6b에 도시된 형식(f1)에 따른 신호가 메모리(130)에 기입되어 메모리(130)로부터 판독되는 신호로서 설정되도록 신호 경로 제어를 수행한다.

제1 신호 처리부(122)는, 9 비트의 휘도 신호 (Y) 및 색신호 (R, G, B)와 관련하여 10 비트의 (G) 및 각각 9 비트의 (R) 및 (B)로 설정함에 의해 4개의 휘도 (Y)에 대하여 각각 1개의 색신호 (R, G, B)의 비율을 갖는 도 7에 도시된 형식(f2)에 따른 신호를 출력하고, 화상 합성부(123)에서의 화상 합성 처리가 수행되는 와이드 다이나믹 레인지 화상 생성시에, 제어부(105)는, 형식(f2)에 따른 신호가 메모리(130)에 기입되어 메모리(130)로부터 판독되는 신호로서 설정되도록 신호 경로 제어를 수행한다.

4. 상세한 화상 생성 처리 시퀀스에 관하여

도 3 내지 5를 참조하여 설명한 바와 같이, 본 발명에 따른 촬상 장치는, 도 4를 참조하여 설명한 통상 화상 모드에서 실행되는 통상 화상 생성 처리 및 도 5를 참조하여 설명한 와이드 다이나믹 레인지 모드에서 실행되는 와이드 다이나믹 레인지 화상 생성 처리에 의해, 2개의 모드에서 상이한 화상을 생성한다.

본 발명에 따른 촬상 장치는, 이러한 상이한 화상 생성 처리를 위해, 메모리(130)에 대한 데이터 저장이 변화되거나 또는 메모리 기입 및 판독 타이밍이 달라지는 처리를 수행한다. 다음에서는, 본 발명에 따른 촬상 장치가 수행하는 다양한 화상 생성 처리 시퀀스의 세부 사항에 관해 설명하겠다.

주목할 것은, 촬상 소자로부터의 화소 판독의 형태로서, 화상을 이루는 화소들의 화소값이 단일의 스캔(single scan)으로 판독되는 프로그래시브 판독, 및 짝수 라인 스캔(even line scan)과 홀수 라인 스캔(odd line scan)이 독립적으로 실행되어 판독되는 인터레이스드 판독이 있다는 것이다. 또한, 표시장치에 대해 출력되는 촬상 장치로부터의 출력의 형태에 대해서는, 화상을 이루는 화소들의 화소값이 단일의 스캔으로 출력되는 프로그래시브 출력, 및 짝수 라인 스캔과 홀수 라인 스캔이 독립적으로 실행되어 출력하는 인터레이스드 출력이 있다.

다음에서는, 이러한 판독 및 출력 형태들의 다양한 조합에 대응하는 구체적 화상 생성 처리 시퀀스의 세부 사항에 대해 개별적으로 설명하겠다. 다음의 처리의 각각이 순차적으로 설명될 것이다.

(4-A) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성 시퀀스(도 8)

(4-B) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제1 예)(도 9)

(4-C) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제2 예)(도 10)

(4-D) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 통상 화상 생성 시퀀스(제1 예)(도 11)

(4-E) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 통상 화상 생성 시퀀스(제2 예)(도 12)

(4-F) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제1 예)(도 13)

(4-G) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제2 예)(도 14)

(4-H) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제3 예)(도 15)

(4-I) 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제4 예)(도 16)

(4-J) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성과 와이드 다이나믹 레인지 화상 생성 사이를 전환시키는 시퀀스(도 17)

우선, 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성 시퀀스의 세부 사항에 관해 도 8을 참조하여 설명하겠다. 도 8은 본 발명에 따른 촬상 장치에 의해, 프로그래시브 판독에 의해 촬상 소자를 동작시키고 촬상 장치 출력을 프로그래시브 동작시킴으로써, 통상 화상을 생성하기 위한 통상 동작(도 4 참조)을 수행할 때의 상세한 시퀀스를 도시하는 다이어그램이다.

경과 시간(시간 t0 내지 t6)이 좌에서 우로 도시되어 있고, 다음의 데이터 및 설정이 이러한 시간의 각각에 도시되어 있다.

(1) 촬상 소자(102)의 노출 및 출력

(2) 스위치(151a 및 151c)의 설정

(3) 메모리(130)에 대한 기입 어드레스 및 기입 데이터

(4) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(5) 스위치(151d 및 151b)의 설정

(6) 촬상 장치(100)의 출력

t0 내지 t1, t1 내지 t2 등의 시간 간격은 촬상 소자(102)로부터의 신호 판독 주기인 수직 주기에 상당하는 것이다. 도 8의 (1)에 도시된 바와 같이, 촬상 소자(102)는 수직 주기(t0 내지 t1, t1 내지 t2 등)의 각각에서 노광된 결과에 따른 촬상 소자 출력으로서의 (VI1), (VI2), (VI3), (VI4) 등을 출력한다. 수치 1, 2 등은 촬상 소자로부터의 출력 순서를 나타내는 식별 번호이다.

도 8의 (2)에 도시된 바와 같이, 스위치(151a 및 151c)의 설정은, 위에서 도 4를 참조하여 설명한 바와 같이, 통상 화상 생성 모드에서는 모두 단자 N측으로 설정된다. 주목할 것은, 이러한 설정이 제어부(105)에 의해 수행된다는 것이다.

제2 신호 처리부(125)의 처리 결과는 이러한 스위치 설정에 따라 메모리(130)에 저장된다. 도 8의 (3)에 도시된 바와 같이, 제2 신호 처리부(125)의 처리 결과로서의 데이터 (f1_1), (f1_2), (f1_3) 등을 순차적으로 저장하기 위해 2개의 메모리 어드레스(AD1 및 AD2)가 교대로 이용된다. 주목할 것은, f1은 메모리에서의 저장이 메모리 저장 형식 1에 따라 수행될 것임을 의미한다는 것이다.

형식 1(f1)은 앞서 도 6a 및 도 6b를 참조하여 설명된 형식에 대응하며, 제2 신호 처리부(125)의 처리 결과인 YCbCr 신호를 도 6a 또는 도 6b의 제1 형식으로 저장한다.

통상 화상 생성 모드에서는, 제3 신호 처리부(126)의 처리 결과로서 출력된 YCbCr 신호가 도 6a 또는 도 6b에 도시된 제1 형식(f1)으로 메모리(130)에 기록된다. 말하자면, 도 6a에 도시된 바와 같이 휘도 신호 (Yn)의 2 화소에 대해 한 쌍의 색차 신호 (Cbn, Crn)의 분해능을 갖는 이른바 422 형식의 신호, 또는 도 6b에 도시된 바와 같이 8 비트의 휘도 신호 (Y) 및 8 비트의 색차 신호 (Cr, Cb)에 의해 휘도 신호의 4화소에 대한 한 쌍의 색신호의 분해능을 갖는 이른바 411 형식의 신호가 메모리(130)에 기입된다는 것이다.

주목할 것은, 도 8의 (1)에 도시된 촬상 소자 출력(VI1)에 대한 제2 신호 처리부(125)의 처리 결과로서 작용하는 데이터가 도 8의 (3)에 도시된 메모리에 저장된 데이터(f1_1)에 대응한다는 것이다. 촬상 소자(102)로부터의 출력으로부터 메모리(130)에 저장하기까지의 처리는 시간 t0 내지 t1의 기간에 수행된다.

이 시간 t0 내지 t1에 수행되는 것은 데이터(f1_1)를 메모리 어드레스(AD1)에 의해 지정된 위치에서 형식 1(f1)로 저장하기까지의 처리이다.

차기 시간 t1 내지 t2에서는, "(1) 촬상 소자"로부터 "(3) 메모리에 대한 기입"까지의 처리에 있어서, 시간 t0 내지 t1에서의 촬상 소자 출력(VI1)에 대한 처리와 동일한 처리가 차기 촬상 소자 출력(VI2)에 대해 수행된다. 그러나, 주목할 것은, 시간 t0 내지 t1에서 메모리가 저장된 어드레스와 다른 어드레스(AD2)를 갖는 메모리 위치에 데이터(f1_2)가 기입된다는 것이다.

또한, 이 시간 t1 내지 t2에서는, 도 8에서 "(4) 메모리로부터의 판독"으로부터 "(6) 촬상 장치 출력"까지의 처리도 수행된다. 이것은 시간 t0 내지 t1에서 메모리에 기입된 데이터(f1_1)에 관한 처리이다.

도 8의 "(4) 메모리로부터의 판독"의 칸(space)에 도시된 바와 같이, 데이터(f1_1)는 어드레스(AD1) 위치로부터 판독된다. 도 8의 (5)의 스위치 설정은 스위치(151d 및 151b)의 설정 상태를 도시한다. 도 4를 참조하여 설명한 바와 같이, 통상 화상 생성 처리 모드에서는, 스위치(151d 및 151b)가 모두 N측 접속으로 설정된다.

이러한 스위치 설정에 따라 메모리(130)로부터 판독되는 데이터(f1_1)가 제3 신호 처리부(126)에 공급되고, 최종 신호 처리되며, 통상 화상에 따른 출력(VO1)으로서 출력된다.

도 8에 도시된 프로그래시브 판독 및 프로그래시브 출력에 의한 통상 화상 생성 시퀀스에 있어서, 데이터 형식 1(f1)에 의해 데이터를 교대로 기입하기 위해 2개의 어드레스(AD1 및 AD2)가 이용된다. 데이터 판독은 기입 처리에 적용된 어드레스와 다른 어드레스를 이용하여 데이터 기입 처리와 함께 수행된다.

시간 t1 후에, 이러한 방식으로 어드레스(AD1 및 AD2) 중 하나를 이용하여 촬상 소자로부터 입력되는 데이터가 기입되고, 그 중 다른 하나를 이용하여 메모리에 미리 기입된 데이터의 판독이 수행된다.

이 처리는 반복적으로 실행되며, 그럼으로써 통상 화상의 촬상 장치 출력(VO1, VO2, VO3, VO4 등)을 출력한다.

다음에, 프로그래시브 판독 및 프로그래시브 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스의 세부 사항에 대해 도 9를 참조하여 설명하겠다. 도 9는 본 발명에 따른 촬상 장치에 의해, 프로그래시브 판독에 의해 촬상 소자를 동작시키고 촬상 장치 출력을 프로그래시브 동작시킴으로써, 와이드 다이나믹 레인지 화상을 생성하기 위한 와이드 다이나믹 레인지 동작(도 5 참조) 수행시의 상세한 시퀀스를 도시하는 다이어그램이다.

경과 시간(시간 t0 내지 t6)은 좌에서 우로 도시되고, 이 시간들의 각각에서 다음의 데이터 및 설정이 도시된다.

(1) 촬상 소자(102)의 노출 및 출력

(2) 스위치(151a 및 151c)의 설정

(3) 메모리(130)에 대한 기입 어드레스 및 기입 데이터

(4a) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(4b) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(5) 스위치(151d 및 151b)의 설정

(6) 촬상 장치(100)의 출력

이 예에 있어서, 메모리(130)로부터의 데이터 판독은 화상 합성부(123)에서 수행되는 화상 합성 처리에 적용되는 장시간 노광 화상(고감도 화상(Hn))과 단시간 노광 화상(저감도 화상(Ln))이라는 2세트의 화상 데이터의 판독 처리로서 실행된다. 이 병렬 판독 처리는 (4a) 및 (4b)의 처리에 대응한다.

t0 내지 t1, t1 내지 t2 등의 시간 간격은 촬상 소자(102)로부터의 신호 판독 주기인 수직 주기에 상당하는 것이다. 도 9의 (1)에 도시된 바와 같이, 촬상 소자(102)는 수직 주기(t0 내지 t1, t1 내지 t2 등)의 각각에서 노광된 결과에 따른 촬상 소자 출력으로서의 (VIL1), (VIH1), (VIL2), (VIH2) 등을 출력한다. 주목할 것은, L은 단시간 노광 화상(낮은 감도 화상)을 및 H는 장시간 노광 화상(높은 감도 화상)을 의미한다는 것이다. 수치 1, 2 등은 촬상 소자로부터의 출력 순서를 나타내는 식별 번호이다.

도 9의 (2)에 도시된 바와 같이, 스위치(151a 및 151c)의 설정은, 위에서 도 5를 참조하여 설명한 바와 같이, 와이드 다이나믹 레인지 화상 생성 모드에서는 모두 단자 W측으로 설정된다. 주목할 것은, 이러한 설정이 제어부(105)에 의해 수행된다는 것이다.

제1 신호 처리부(122)의 처리 결과는 이러한 스위치 설정에 따라 메모리(130)에 저장된다. 도 9의 (3)에 도시된 바와 같이, 제1 신호 처리부(122)의 처리 결과로서의 데이터 (f2_L1), (f2_H1), (f2_L2), (f2_H2) 등을 순차적으로 저장하기 위해 4개의 메모리 어드레스(AD1, AD2, AD3, 및 AD4)가 반복적으로 이용된다. 말하자면, 단시간 노광 화상(저감도 화상(Ln))과 장시간 노광 화상(고감도 화상(Hn))이 순차적으로 저장된다는 것이다.

주목할 것은, f2가 메모리에서의 저장이 메모리 저장 형식 2를 따라 수행됨을 의미한다는 것이다. 형식 2(f2)는 앞서 도 7의 (2)를 참조하여 설명된 형식에 대응하며, 제1 신호 처리부(122)의 처리 결과인 YRGB 신호를 도 7의 (2)의 제2 형식으로 저장한다.

와이드 다이나믹 레인지 화상 생성 모드에서는, 제1 신호 처리부(122)의 처리 결과로서 출력된 YRGB 신호가 도 7의 (2)에 도시된 형식으로 메모리(130)에 기록된다. 말하자면, 메모리(130)에 기입되는 데이터는, 9 비트의 휘도 신호 (Y), 및 10 비트의 색신호 (G) 및 9 비트의 색신호 (R) 및 9 비트의 색신호 (B)에 의해, 4 화소의 휘도 신호에 대해 한 쌍의 색차 신호의 분해능을 갖는 데이터 형식인 이른바 411 형식(제2 형식(f2))의 신호라는 것이다.

주목할 것은, 도 9의 (1)에 도시된 촬상 소자 출력(VIL1)에 대한 제1 신호 처리부(122)의 처리 결과로서 작용하는 데이터가 도 9의 (3)에 도시된 메모리에 저장된 데이터(f2_L1)에 대응한다는 것이다. 촬상 소자(102)로부터의 출력으로부터 메모리(130)에 저장하기까지의 처리는 시간 t0 내지 t1의 기간에 수행된다.

이 시간 t0 내지 t1에 수행되는 것은 데이터(f2_L1)를 메모리 어드레스(AD1)에 의해 지정된 위치에서 형식 2(f2)로 저장하기까지의 처리이다.

차기 시간 t1 내지 t2에서는, "(1) 촬상 소자"로부터 "(3) 메모리에 대한 기입"까지의 처리에 있어서, 시간 t0 내지 t1에서의 촬상 소자 출력(VIL1)에 대한 처리와 동일한 처리가 차기 촬상 소자 출력(VIH1)에 대해 수행된다. 주목할 것은, 시간 t0 내지 t1에서의 촬상 소자 출력(VIL1) 및 촬상 소자 출력(VIH1)은 와이드 다이나믹 레인지 화상을 생성하기 위해 화상 합성 처리되는 2개의 화상이라는 것이다.

도 9의 “(3) 메모리에 대한 기입”에서는, 시간 t0 내지 t1에서 메모리가 저장된 어드레스(AD1)와 다른 어드레스(AD2)를 갖는 메모리 위치에 데이터(f2_H1)가 기입된다.

차기 시간 t2 내지 t3에서는, "(1) 촬상 소자"로부터 "(3) 메모리에 대한 기입"까지의 처리에 있어서, 시간 t0 내지 t1에서의 촬상 소자 출력(VIL1)에 대한 처리와 동일한 처리가 차기 촬상 소자 출력(VIL2)에 대해 수행된다. 도 9의 "(3) 메모리에 대한 기입"에 있어서, 시간 t0 내지 t1에서 메모리가 저장된 어드레스(AD1) 및 시간 t1 내지 t2에서 메모리가 저장된 어드레스(AD2)와 다른 어드레스(AD3)를 갖는 메모리 위치에 데이터(f2_ L2)가 기입된다.

또한, 차기 시간 t2 내지 t3에서는, 도 9에서 "(4) 메모리로부터의 판독"으로부터 "(6) 촬상 장치 출력"까지의 처리도 수행된다. 이것은 시간 t0 내지 t1에서 메모리에 기입된 데이터(f2_L1) 및 시간 t1 내지 t2에서 메모리에 기입된 데이터(f2_H1)에 관한 처리이다.

도 9의 "(4a) 메모리로부터의 판독"의 칸에 도시된 바와 같이, 데이터(f2_L1)는 어드레스(AD1) 위치로부터 판독된다. 또한, 도 9의 "(4b) 메모리로부터의 판독”의 칸에 도시된 바와 같이, 데이터(f2_H1)는 어드레스(AD2) 위치로부터 판독된다.

그러나, 주목할 것은, 데이터(f2_L1) 및 데이터(f2_H1)의 판독이 이 시간 t2 내지 t3로 제한되는 것이 아니고, 다음의 시간 t3 내지 t4에서도 동일한 데이터 판독이 실행된다는 것이다.

도 9에서의 t2 내지 t3, 및 t3 내지 t4에 대한 칸에 도시된 바와 같이, 합성 화상을 생성하기 위한 2개의 데이터, 즉, 어드레스(AD1)으로부터의 데이터(f2_L1)의 판독 및 어드레스(AD2)로부터의 데이터(f2_H1)의 판독은 시간 t2 내지 t3에서의 메모리(어드레스 AD3)에 대한 데이터(f2_L2)의 기입 시간 및 시간 t3 내지 t4에서의 메모리(어드레스 AD4)에 대한 데이터(f2_H2)의 기입 시간을 이용하여 수행된다.

말하자면, 합성 화상을 생성하기 위한 2개의 화상의 기입 처리시간에 병행하여, 미리 메모리에 기입된 합성 화상을 생성하기 위한 2개의 화상의 판독이 실행된다는 것이다.

도 9의 (5)의 스위치 설정은 스위치(151d 및 151b)의 설정 상태를 도시한다. 도 5를 참조하여 설명한 바와 같이, 와이드 다이나믹 레인지 화상 생성 처리 모드에서는, 스위치(151d 및 151b)가 모두 W측 접속으로 설정된다.

이러한 스위치 설정에 따라 메모리(130)로부터 판독되는 단시간 노광 화상 데이터(저감도 화상(f2_L1)) 및 장시간 노광 화상 데이터(고감도 화상(f2_H1))는 화상 합성부(123)에 출력된다. 화상 합성부(123)는 이러한 2개의 화상을 이용하여 화상 합성 처리를 수행하고, 와이드 다이나믹 레인지 화상을 생성한다.

그 후, 생성된 와이드 다이나믹 레인지 화상이 화상 보정부(124)에 출력된다. 화상 보정부(124)는 γ 보정을 수행하고 보정된 신호를 제2 신호 처리부(125)에 출력한다. 제2 신호 처리부(125)에서, YRGB 신호는 예를 들어 YCbCr 신호로 변환되며, 변환된 신호는 스위치(151b)를 거쳐 제3 신호 처리부(126)에 입력된다.

제3 신호 처리부(126)는 메모리(130)로부터의 판독 신호에 대한 최종 신호 처리를 실행하고, 촬상 장치로부터 출력되는 와이드 다이나믹 레인지 화상을 생성하여 출력한다. 최종의 출력은 도 9에서의 "(6) 촬상 장치 출력"(WV11)에 상당하는 것이다.

도 9에 도시된 프로그래시브 판독 및 프로그래시브 출력을 갖는 와이드 다이나믹 레인지 화상 생성 시퀀스에 있어서, 데이터 형식 2(f2)에 의해 4개의 메모리 어드레스(AD1, AD2, AD3, 및 AD4)가 순차적으로 이용되고, 단시간 노광 화상 데이터(저감도 화상(f2_Ln)) 및 장시간 노광 화상 데이터(고감도 화상(f2_Hn)), 그리고, 차기 단시간 노광 화상 데이터(저감도 화상(f2_Ln+1)) 및 장시간 노광 화상 데이터(고감도 화상(f2_Hn+1))이라는 화상 쌍들이 메모리의 상이한 위치에 순차적으로 기입된다.

시간 t2 이후의 처리로서 도시된 바와 같이, 기입 처리를 위해 적용된 어드레스가 아닌 2개의 어드레스를 이용하고 데이터 기입 처리와 병행하여, 합성 화상을 생성하기 위한 2개의 화상 데이터에 대한 판독이 실행된다.

시간 t2 이후에, 촬상 소자로부터 입력되는 데이터의 기입이 어드레스(AD1 내지 AD4) 중 하나를 이용하여 수행되고, AD1과 AD2의 어드레스 세트 또는 AD3와 AD4의 어드레스 세트를 이용하여 합성 화상을 생성하기 위해 메모리에 미리 기입된 2개의 화상 데이터의 판독이 실행된다. 이 처리는 반복적으로 실행되어 와이드 다이나믹 레인지 화상의 촬상 장치 출력(WV11, WV11, WV22, WV22 등)을 출력한다.

주목할 것은, WV은 와이드 다이나믹 레인지 화상을 의미하고, 후속 수치에 관해서는, 첫째 수치는 장시간 노광 화상(고감도 화상(H))의 식별 번호이며, 그 다음 수치는 단시간 노광 화상(저감도 화상(L))의 식별 번호라는 것이다.

예를 들어, 시간 t2 내지 t3에서의 출력 WV11은 메모리로부터 판독된 장시간 노광 화상(고감도 화상(H))(f2_H1)과 단시간 노광 화상(저감도 화상(L))(f2_L1)의 합성 처리에 의해 생성된 와이드 다이나믹 레인지 화상이다. 시간 t3 내지 t4의 출력 WV11도 동일한 출력이다.

시간 t4 내지 t5에서의 출력 WV22는 메모리로부터 판독된 장시간 노광 화상(고감도 화상(H))(f2_H2)과 단시간 노광 화상(저감도 화상(L))(f2_L2)의 합성 처리에 의해 생성된 와이드 다이나믹 레인지 화상이다.

주목할 것은, 이 처리예에서는, 2개의 연속하는 시간 t2 내지 t3와 t3 내지 t4 사이의 출력 화상이 동일한 와이드 다이나믹 레인지 화상이고, 차기 2개의 시간 t4 내지 t5와 t5 내지 t6 사이의 출력 화상도 동일한 와이드 다이나믹 레인지 화상이다는 것이다. 말하자면, 출력 속도가 앞서 도 8을 참조하여 설명한 통상 화상의 출력 속도보다 더 낮다는 것이다.

다음에, 프로그래시브 판독 및 프로그래시브 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스의 다른 예에 대해 도 10을 참조하여 설명하겠다. 도 10에 도시된 처리예는 도 9에서의 처리예와 동일하게, 프로그래시브 판독 및 프로그래시브 출력에 의한 와이드 다이나믹 레인지 화상 생성 시퀀스이다. 그러나, 주목할 것은, 도 10에 도시된 처리는 와이드 다이나믹 레인지 화상을 생성하기 위해 메모리(130)로부터 판독되는 화상 쌍이 항상 최신의 화상으로 설정된다는 점에서 다르다는 것이다.

예를 들어, 도 9에 도시된 시퀀스에 있어서, 시간 t2 내지 t3에서는, 어드레스(AD1)로부터의 데이터(f2_L1)의 판독, 및 어드레스(AD2)로부터의 데이터(f2_H1)의 판독이 실행되고, 또한, 시간 t3 내지 t4에서는, 어드레스(AD1)로부터의 데이터(f2_L1)의 판독, 및 어드레스(AD2)로부터의 데이터(f2_H1)의 판독이 실행된다.

한편, 도 10에 도시된 시퀀스에 있어서, 도 9에서는 아무런 판독도 수행되지 않았던 시간 t1 내지 t2에서, 어드레스(AD1)으로부터의 데이터(f2_L1)의 판독이 시작되고, 또한, 시간 t2 내지 t3에서, 어드레스(AD1)로부터의 데이터(f2_L1)의 판독 및 어드레스(AD2)로부터의 데이터(f2_H1)의 판독이 실행되며, 차기 시간 t3 내지 t4에서, 어드레스(AD3)로부터의 데이터(f2_L2)의 판독, 및 어드레스(AD2)로부터의 데이터(f2_H1)의 판독이 실행된다.

말하자면, 도 10에 도시된 이 처리예는 어드레스(AD3)로부터의 데이터(f2_L2)의 판독이 시간 t2 내지 t3에 수행된다는 점에서 다르다는 것이다. 이 데이터(f2_L2)는 시간 t2 내지 t3의 직전에 메모리(130)에 기입된 데이터이다. 이 처리예는 메모리(130)에 저장된 데이터 중 최신 데이터의 조합을 이용하여 합성 화상으로서의 와이드 다이나믹 레인지 화상을 생성하기 위한 시퀀스이다.

도 10에 도시된 시퀀스에서는, “(1) 촬상 소자”부터 “(3) 메모리에 대한 기입”까지의 처리는 도 9에서와 동일하다. (4a) 및 (4b) “메모리로부터의 판독”의 처리는, 위에서 설명한 바와 같이, 메모리에 저장된 데이터 중 최신 데이터, 즉, 최근 타이밍에 메모리(130)에 기입된 데이터가 판독된다는 점에서 다르다.

"(5) 스위치 설정"은 도 9의 시퀀스에서와 동일하고, 앞서 도 5를 참조하여 설명한 바와 같이 W측에 접속되도록 설정한다. "(6) 촬상 장치 출력"은 도 9를 참조하여 설명한 시퀀스에서의 출력과 다른 화상이다. 말하자면, 와이드 다이나믹 레인지 화상을 생성하기 위해 적용되는 화상의 조합이 다르다는 것이다.

도 10의 "(6) 촬상 장치 출력"에 도시된 바와 같이, 시간 t2 내지 t3의 출력이 WV11이고, 시간 t3 내지 t4의 출력이 WV12이며, 시간 t4 내지 t5의 출력이 WV22이고, 및 시간 t5 내지 t6의 출력이 WV23이도록 설정되어 있다. 주목할 것은, WV는 와이드 다이나믹 레인지 화상을 의미하고, 후속 수치에 관해서는, 첫째 수치는 장시간 노광 화상(고감도 화상(H))의 식별 번호이며, 그 다음 수치는 단시간 노광 화상(저감도 화상(L))의 식별 번호라는 것이다.

예를 들어, 시간 t2 내지 t3에서의 출력 WV11은 메모리로부터 판독된 장시간 노광 화상(고감도 화상(H))(f2_H1)과 단시간 노광 화상(저감도 화상(L))(f2_L1)의 합성 처리에 의해 생성된 와이드 다이나믹 레인지 화상이다. 시간 t3 내지 t4에서의 출력 WV12은 메모리로부터 판독된 장시간 노광 화상(고감도 화상(H))(f2_H1)과 단시간 노광 화상(저감도 화상(L))(f2_L2)의 합성 처리에 의해 생성된 와이드 다이나믹 레인지 화상이다.

따라서, 이 처리예는 메모리에 저장된 이용 가능한 최신 화상을 얻고 와이드 다이나믹 레인지 화상을 생성하기 위한 합성 처리를 수행하는 처리예이다. 이렇게 해서, 도 10에 도시된 처리예에 있어서, 메모리(130)의 4개의 어드레스(AD1 내지 AD4)를 이용하여 데이터 형식 2(f2)으로 제1 신호 처리부(122)의 출력을 기입하는 것이 순차적으로 수행된다. 메모리로부터의 데이터와 관련하여, 고감도 데이터 및 저감도 데이터의 각각의 최신의 것이 판독된다.

화상 합성부(123)는 최신의 화상 쌍을 이용하여 와이드 다이나믹 레인지를 이룬 비디오 신호를 생성하고, 촬상 장치 출력(WV11, WV12, WV22, WV23, WV33, WV34 등)으로서 출력한다. 따라서, 이 처리예는 와이드 다이나믹 레인지를 이루기 위한 처리에 적용되는 저감도 화상과 고감도 화상의 조합이 더 새로운 촬영 화상에 기초하여 생성되게 한다.

다음에, 프로그래시브 판독 및 인터레이스드 출력에 있어서의 통상 화상 생성 시퀀스의 세부 사항에 대해 도 11을 참조하여 설명하겠다. 도 11은 본 발명에 따른 촬상 장치에 의해, 프로그래시브 판독에 의해 촬상 소자를 동작시키고 촬상 장치 출력을 인터레이스드 동작시킴으로써, 통상 화상을 생성하기 위한 통상 동작(도 4 참조) 수행시의 상세한 시퀀스를 도시하는 다이어그램이다.

경과 시간(시간 t0 내지 t6)은 좌에서 우로 도시되어 있고, 이러한 시간의 각각에 다음의 데이터 및 설정이 도시되어 있다.

(1) 촬상 소자(102)의 노출 및 출력

(2) 스위치(151a 및 151c)의 설정

(3) 메모리(130)에 대한 기입 어드레스 및 기입 데이터

(4) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(5) 스위치(151d 및 151b)의 설정

(6) 촬상 장치(100)의 출력

t0 내지 t1, t1 내지 t2 등의 시간 간격은 촬상 소자(102)로부터의 신호 판독 주기인 수직 주기에 상당하는 것이다.

도 11의 "(4) 메모리로부터의 판독"의 칸에 도시된 바와 같이, 인터레이스드 출력에 있어서, 각각의 수직 주기마다 촬상 소자의 홀수 라인 출력 및 촬상 소자의 짝수 라인 출력이 판독된다. 주목할 것은, 예를 들어 메모리 시간 t2 내지 t3에서의 판독 데이터(f1_1o)는 메모리에 저장된 데이터가 형식 1(f1)의 제1 홀수 필드(o)의 것임을 의미한다는 것이다. 여기에서, "o"는 홀수 필드의 데이터이고, "e"는 짝수 필드의 데이터이다.

인터레이스드 출력에 있어서, (6)에 도시된 촬상 장치 출력은 각각의 수직 주기마다 촬상 소자의 홀수 라인 출력과 촬상 소자의 짝수 라인 출력을 판독함으로써 홀수와 짝수 필드 출력(VO1o, Vo1e, VO2o, Vo2e, VO3o, Vo3e 등)의 순서로 출력된다. 말하자면, 인터레이스드 출력이 실현된다는 것이다. 이 출력으로 인해, 홀수 + 짝수의 조합으로 출력 신호를 합성함으로써, 인터레이싱 블러링(interlacing blurring)이 없는 화상이 얻어질 수 있다.

도 11의 (1)에 도시된 바와 같이, 촬상 소자(102)는 수직 주기의 2배의 기간(t0 내지 t2, t2 내지 t4 등)에서 노광된 결과에 따른 촬상 소자 출력으로서의 (VI1), (VI2), (VI3) 등을 출력한다.

도 11의 (2)에 도시된 바와 같이, 스위치(151a 및 151c)의 설정은, 도 4를 참조하여 설명한 바와 같이, 통상 화상 생성 모드에서는 모두 단자 N측으로 설정된다. 주목할 것은, 이러한 설정이 제어부(105)에 의해 수행된다는 것이다.

도 11의 (3)에 도시된 바와 같이, 제2 신호 처리부(125)의 처리 결과로서의 데이터 (f1_1), (f1_2), (f1_3) 등을 순차적으로 저장하기 위해 2개의 메모리 어드레스(AD1 및 AD2)가 교대로 이용된다. 주목할 것은, f1은 도 6a 및 도 6b를 참조하여 설명한 형식 1에 따라 메모리에 저장된 것임을 의미한다는 것이다. 데이터(f1_1)은 시간 t2까지 메모리 어드레스(AD1)에 저장된다. 데이터(f1_2)는 시간 t4까지 메모리 어드레스(AD2)에 저장된다. 데이터(f1_3)은 시간 t6까지 메모리 어드레스(AD1)에 저장된다.

또한, 시간 t2 이후의 기간에는, 도 11에서의 “(4) 메모리로부터의 판독”부터 “(6) 촬상 장치 출력”까지의 처리도 수행된다. 이러한 처리는 메모리에 기입되는 데이터에 관한 처리이다.

시간 t2 내지 t3에서는, 도 11의 "(4) 메모리로부터의 판독"의 칸에 도시된 바와 같이, 어드레스(AD1o) 위치로부터 데이터(f1_1o)가 판독된다. 주목할 것은, 어드레스(AD1o)가 어드레스(AD1)의 일부를 구성하는 홀수 필드에 대응하는 데이터 판독 어드레스이다는 것이다.

어드레스(ADn)는 홀수 필드에 대응하는 데이터 판독 어드레스(ADno)와 짝수 필드에 대응하는 데이터 판독 어드레스(ADne)로 분리되어 이용될 수 있는 구성을 갖는다.

어드레스(AD1o) 위치로부터 판독된 데이터(f1_1o)는 출력 프레임을 이루는 모든 필드 중 단지 홀수 필드만의 데이터이다.

도 11의 (5)에서의 스위치 설정은 스위치(151d 및 151b)의 설정 상태를 도시한다. 도 4를 참조하여 설명한 바와 같이, 통상 화상 생성 처리 모드에서는, 스위치(151d 및 151b)가 모두 N측 접속으로 설정된다.

이러한 스위치 설정에 따라 메모리(130)로부터 판독된 데이터(f1_1o)는 제3 신호 처리부(126)에 공급되고, 최종 신호 처리되며, 통상 화상에 따른 출력(VO1o)으로서 출력된다.

출력(VO1o)은 어드레스(AD1o) 위치로부터 판독된 데이터(f1_1o)에 기초하여 생성된 출력이고, 출력 프레임을 이루는 모든 필드 중 단지 홀수 필드만의 출력이다.

차기 시간 t3 내지 t4에서는, 홀수 필드 출력(VO1o)에 대응하는 짝수 필드 출력(VO1e)이 어드레스(AD1e)에 의해 메모리(130)로부터 판독된 데이터(f1_1e)로부터 생성되어 출력된다.

따라서, 이 처리예에 있어서, 촬상 소자의 홀수 라인 출력과 촬상 소자의 짝수 라인 출력이 수직 주기마다 메모리(130)로부터 판독되고, 그럼으로써 촬상 장치 출력을 홀수 및 짝수 필드 출력(VO1o, VO1e, VO2o, VO2e, VO3o, VO3e 등)으로서 출력하며, 홀수 + 짝수의 조합으로 출력 신호를 합성함으로써 인터레이싱 블러링이 없는 화상이 얻어질 수 있다.

다음에, 프로그래시브 판독 및 인터레이스드 출력에 있어서의 통상 화상 생성 시퀀스의 제2 예의 세부 사항에 대해 도 12를 참조하여 설명하겠다. 도 12는 본 발명에 따른 촬상 장치에 의해, 프로그래시브 판독에 의해 촬상 소자를 동작시키고 촬상 장치 출력을 인터레이스드 동작시킴으로써, 통상 화상을 생성하기 위한 통상 동작(도 4 참조) 수행시의 상세한 시퀀스를 도시하는 다이어그램이다.

(1) 촬상 소자(102)의 노출 및 출력

(2) 스위치(151a 및 151c)의 설정

(3) 메모리(130)에 대한 기입 어드레스 및 기입 데이터

(4) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(5) 스위치(151d 및 151b)의 설정

(6) 촬상 장치(100)의 출력

도 12에 도시된 예는 앞서 설명한 도 11에서와 동일하게 프로그래시브 판독 및 인터레이스드 출력에 의한 통상 화상 생성 시퀀스이다. 도 11과 도 12 사이의 차이는 "(6) 촬상 장치 출력"의 시퀀스 이다.

도 11을 참조하여 설명한 처리에 있어서, 출력 순서는 VO1o, VO1e, VO2o, VO2e 등, 즉, 홀수 필드와 짝수 필드의 순서로 출력하는 구성이다.

한편, 도 12를 참조하여 설명한 처리에 있어서, 출력 순서는 VO1e, VO1o, VO2e, VO2o 등, 즉, 짝수 필드와 홀수 필드의 순서로 출력하는 구성이다.

출력 순서의 변화로 인해, "(4) 메모리로부터의 판독"의 순서는 홀수 필드(f1_1o)에 선행하여 짝수 필드(f1_1e)가 판독되게 한다. 기타 사항들은 앞서 도 11을 참조하여 설명한 처리와 동일하다.

앞서 도 11을 참조하여 설명한 처리예에서와 동일하게, 이 처리예에 있어서도, 촬상 소자의 홀수 라인 출력과 촬상 소자의 짝수 라인 출력이 수직 주기마다 메모리(130)로부터 판독되고, 그럼으로써 촬상 장치 출력을 짝수와 홀수 필드 출력(VO1e, VO1o, VO2e, VO2o, VO3e, VO3o 등)으로서 출력하며, 짝수 + 홀수의 조합으로 출력 신호를 합성함으로써 인터레이싱 블러링이 없는 화상이 얻어질 수 있다.

다음에, 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스의 세부 사항에 대해 도 13을 참조하여 설명하겠다. 도 13은 본 발명에 따른 촬상 장치에 의해, 프로그래시브 판독에 의해 촬상 소자를 동작시키고 촬상 장치 출력을 인터레이스드 동작시킴으로써, 와이드 다이나믹 레인지 화상을 생성하기 위한 와이드 다이나믹 레인지 동작(도 5 참조) 수행시의 상세한 시퀀스를 도시하는 다이어그램이다.

(1) 촬상 소자(102)의 노출 및 출력

(2) 스위치(151a 및 151c)의 설정

(3) 메모리(130)에 대한 기입 어드레스 및 기입 데이터

(4a) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(4b) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(5) 스위치(151d 및 151b)의 설정

(6) 촬상 장치(100)의 출력

t0 내지 t1, t1 내지 t2 등의 시간 간격은 촬상 소자(102)로부터의 신호 판독 주기인 수직 주기에 상당하는 것이다. 도 13의 (1)에 도시된 바와 같이, 촬상 소자(102)는 수직 주기(t0 내지 t1, t1 내지 t2 등)의 각각에서 노광된 결과에 따른 촬상 소자 출력으로서의 (VIL1), (VIH1), (VIL2), (VIH2) 등을 출력한다. 주목할 것은, L은 단시간 노광 화상(저감도 화상)을 의미하고, H는 장시간 노광 화상(고감도 화상)을 의미한다는 것이다. 수치 1, 2 등은 촬상 소자로부터의 출력 순서를 나타내는 식별 번호이다.

도 13의 (2)에 도시된 바와 같이, 스위치(151a 및 151c)의 설정은, 위에서 도 5를 참조하여 설명한 바와 같이, 와이드 다이나믹 레인지 화상 생성 모드에서는 모두 단자 W측으로 설정된다. 주목할 것은, 이러한 설정이 제어부(105)에 의해 수행된다는 것이다. 제1 신호 처리부(122)의 처리 결과는 이러한 스위치 설정에 따라 메모리(130)에 저장된다.

도 13의 (3)에 도시된 바와 같이, 제1 신호 처리부(122)의 처리 결과로서의 데이터 (f2_L1), (f2_H1), (f2_L2), (f2_H2) 등을 순차적으로 저장하기 위해 4개의 메모리 어드레스(AD1, AD2, AD3, 및 AD4)가 반복적으로 이용된다. 말하자면, 단시간 노광 화상(저감도 화상(Ln))과 장시간 노광 화상(고감도 화상(Hn))이 순차적으로 저장된다는 것이다.

형식 2(f2)는 앞서 도 7의 (2)를 참조하여 설명된 형식에 대응하며, 제1 신호 처리부(122)의 처리 결과인 YRGB 신호를 도 7의 (2)의 제2 형식으로 저장한다.

주목할 것은, 도 13의 (1)에 도시된 촬상 소자 출력(VIL1)에 대한 제1 신호 처리부(122)의 처리 결과로서 작용하는 데이터가 도 13의 (3)에 도시된 메모리에 저장된 데이터(f2_L1)에 대응한다는 것이다.

촬상 소자(102)로부터의 출력으로부터 메모리(130)에 저장하기까지의 처리는 시간 t0 내지 t1의 기간에 수행된다. 이 시간 t0 내지 t1에 수행되는 것은 데이터(f2_L1)를 메모리 어드레스(AD1)에 의해 지정된 위치에서 형식 2(f2)로 저장하기까지의 처리이다.

도 13의 “(3) 메모리에 대한 기입”에서는, 시간 t0 내지 t1에서 메모리가 저장된 어드레스(AD1)와 다른 어드레스(AD2)를 갖는 메모리 위치에 데이터(f2_H1)가 기입된다.

차기 시간 t2 내지 t3에서는, "(1) 촬상 소자"로부터 "(3) 메모리에 대한 기입"까지의 처리에 있어서, 시간 t0 내지 t1에서의 촬상 소자 출력(VIL1)에 대한 처리와 동일한 처리가 차기 촬상 소자 출력(VIL2)에 대해 수행된다.

도 13의 "(3) 메모리에 대한 기입"에 있어서, 시간 t0 내지 t1에서 메모리 기입을 위해 이용된 어드레스(AD1) 및 시간 t1 내지 t2에서 메모리 기입을 위해 이용된 어드레스(AD2)와 다른 어드레스(AD3)를 갖는 메모리 위치에 데이터(f2_ L2)가 기입된다.

또한, 차기 시간 t2 내지 t3에서는, 도 13에서 "(4) 메모리로부터의 판독"으로부터 "(6) 촬상 장치 출력"까지의 처리도 수행된다. 이것은 시간 t0 내지 t1에서 메모리에 기입된 데이터(f2_L1) 및 시간 t1 내지 t2에서 메모리에 기입된 데이터(f2_H1)에 관한 처리이다.

도 13의 "(4a) 메모리로부터의 판독"의 칸에 도시된 바와 같이, 데이터(f2_L1o)는 어드레스(AD1o) 위치로부터 판독된다. 또한, 도 13의 "(4b) 메모리로부터의 판독”의 칸에 도시된 바와 같이, 데이터(f2_H1o)는 어드레스(AD2o) 위치로부터 판독된다.

주목할 것은, 어드레스(AD1o)가 어드레스(AD1)의 일부를 구성하는 홀수 필드에 대응하는 데이터 판독 어드레스이다는 것이다. 어드레스(ADn)는 홀수 필드에 대응하는 데이터 판독 어드레스(ADno)와 짝수 필드에 대응하는 데이터 판독 어드레스(ADne)로 분리되어 이용될 수 있는 구성을 갖는다.

시간 t2 내지 t3에서는, 어드레스(AD1o) 위치로부터 판독된 데이터(f2_L1o)가 단시간 노광 화상(저감도 화상(L))의 홀수 필드 데이터이다. 어드레스(AD2o) 위치로부터 판독된 데이터(f2_H1o)는 장시간 노광 화상(고감도 화상(H))의 홀수 필드 데이터이다.

도 13의 (5)의 스위치 설정은 스위치(151d 및 151b)의 설정 상태를 도시한다. 도 5를 참조하여 설명한 바와 같이, 와이드 다이나믹 레인지 화상 생성 처리 모드에서는, 스위치(151d 및 151b)가 모두 W측 접속으로 설정된다.

이러한 스위치 설정에 따라 메모리(130)로부터 판독되는 단시간 노광 화상 데이터(저감도 화상(L))의 홀수 필드 데이터(f2_L1o) 및 장시간 노광 화상 데이터(고감도 화상(H))의 홀수 필드 데이터(f2_H1o)는 화상 합성부(123)에 출력된다. 화상 합성부(123)는 이러한 2개의 화상을 이용하여 화상 합성 처리를 수행하고, 와이드 다이나믹 레인지 화상의 홀수 필드에 대응하는 합성 화상을 생성한다.

그 후, 홀수 필드에 대응하는 생성된 와이드 다이나믹 레인지 화상이 화상 보정부(124)에 출력된다. 화상 보정부(124)는 γ 보정을 수행하고 보정된 신호를 제2 신호 처리부(125)에 출력한다. 제2 신호 처리부(125)에서, YRGB 신호는 예를 들어 YCbCr 신호로 변환되며, 변환된 신호는 스위치(151b)를 거쳐 제3 신호 처리부(126)에 입력된다.

제3 신호 처리부(126)는 메모리(130)로부터의 판독 신호에 대한 최종 신호 처리를 실행하고, 촬상 장치로부터 출력되는 와이드 다이나믹 레인지 화상을 생성하여 출력한다. 최종의 출력은 도 13에서의 "(6) 촬상 장치 출력"(WV11o)에 상당하는 것이다.

주목할 것은, WV은 와이드 다이나믹 레인지 화상을 의미하고, 후속 수치에 관해서는, 첫째 수치는 장시간 노광 화상(고감도 화상(H))의 식별 번호이며, 그 다음 수치는 단시간 노광 화상(저감도 화상(L))의 식별 번호라는 것이다. 여기에서, "o"는 홀수 필드 화상을 나타내고, "e"는 짝수 필드 화상을 나타낸다. 이 촬상 장치 출력(WV11o)은 홀수 필드만의 화상이다.

차기 시간 t3 내지 t4에서는, 촬상 장치 출력(WV11o)에 대응하는 짝수 필드 화상(WV11e)이 생성되어 출력된다. 시간 t3 내지 t4에서, 데이터(f2_L1e)는 어드레스(AD1e) 위치로부터 판독된다. 또한, 도 13의 "(4b) 메모리로부터의 판독”의 칸에 도시된 바와 같이, 데이터(f2_H1e)는 어드레스(AD2e) 위치로부터 판독된다. 주목할 것은, 어드레스(AD1e)가 어드레스(AD1)의 일부를 구성하는 짝수 필드에 대응하는 데이터 판독 어드레스이다는 것이다.

시간 t2 내지 t3에서는, 어드레스(AD1e) 위치로부터 판독된 데이터(f2_L1e)가 단시간 노광 화상(저감도 화상(L))의 짝수 필드 데이터이다. 어드레스(AD2e) 위치로부터 판독된 데이터(f2_H1e)는 장시간 노광 화상(고감도 화상(H))의 짝수 필드 데이터이다.

이러한 스위치 설정에 따라 메모리(130)로부터 판독되는 단시간 노광 화상 데이터(저감도 화상(L))의 짝수 필드 데이터(f2_L1e) 및 장시간 노광 화상 데이터(고감도 화상(H))의 짝수 필드 데이터(f2_H1e)는 화상 합성부(123)에 출력된다. 화상 합성부(123)는 이러한 2개의 화상을 이용하여 화상 합성 처리를 수행하고, 와이드 다이나믹 레인지 화상의 짝수 필드에 대응하는 합성 화상을 생성한다.

그 후, 짝수 필드에 대응하는 생성된 와이드 다이나믹 레인지 화상이 화상 보정부(124)에 출력된다. 화상 보정부(124)는 γ 보정을 수행하고 보정된 신호를 제2 신호 처리부(125)에 출력한다. 제2 신호 처리부(125)에서, YRGB 신호는 예를 들어 YCbCr 신호로 변환되며, 변환된 신호는 스위치(151b)를 거쳐 제3 신호 처리부(126)에 입력된다.

제3 신호 처리부(126)는 메모리(130)로부터의 판독 신호에 대한 최종 신호 처리를 실행하고, 촬상 장치로부터 출력되는 와이드 다이나믹 레인지 화상을 생성하여 출력한다. 최종의 출력은 도 13에서의 "(6) 촬상 장치 출력"(WV11e)에 상당하는 것이다.

이 촬상 장치 출력(WV11e)은 짝수 필드만의 화상이다. 이것은 이전(previous) 시간 t2 내지 t3에서의 촬상 장치 출력(WV11o)과 함께 출력되며, 전체 프레임 화상이 표시된다.

이 처리예에 있어서, 수직 주기마다 2개의 유형의 노광 시간을 교번시킴으로써 얻어지는 고감도와 저감도의 촬상 소자 출력(VIL1, VIH1, VIL2, VIH2, VIL3, VIH3 등)이 제1 신호 처리부(122)에서 신호 처리되고, 4개의 상이한 어드레스(AD1 내지 AD4)를 순차적으로 적용하여 메모리(130)에 저장된다.

또한, 어드레스(AD1 내지 AD4)의 홀수 라인 출력과 짝수 라인 출력이 수직 주기마다 판독되고, 화상 합성, 보정 처리 및 신호 처리되며, 촬상 장치 출력이 홀수 필드와 짝수 필드가 분리된 채로 출력된다. 도 13의 (6)에 도시된 바와 같이, 이 처리로 인해, 출력 신호들은 WV11o, WV11e, WV22o, WV22e 등과 같이 홀수 + 짝수의 조합으로서 합성되고, 인터레이스드 출력이 실행된다. 이 처리예에 있어서, 인터레이싱 블러링 거의 없는 와이드 다이나믹 레인지 화상의 출력이 실현된다.

다음에, 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스의 제2 예의 세부 사항에 대해 도 14를 참조하여 설명하겠다. 도 14는 프로그래시브 판독에 의해 촬상 소자를 동작시키고 촬상 장치 출력을 인터레이스드 동작시킴으로써 와이드 다이나믹 레인지 화상을 생성하기 위한 와이드 다이나믹 레인지 동작(도 5 참조) 수행시의 상세한 시퀀스를 도시하는 다이어그램이다.

(1) 촬상 소자(102)의 노출 및 출력

(2) 스위치(151a 및 151c)의 설정

(3) 메모리(130)에 대한 기입 어드레스 및 기입 데이터

(4a) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(4b) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(5) 스위치(151d 및 151b)의 설정

(6) 촬상 장치(100)의 출력

도 14에 도시된 예는, 위에서 설명한 도 13의 예에서와 동일하게, 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스이다. 도 13과 도 14 사이의 차이는 "(6) 촬상 장치 출력"의 시퀀스이다.

도 13을 참조하여 설명한 처리에 있어서, 출력 순서는 WV11o, WV11e, WV22o, WV22e 등, 즉, 홀수 필드와 짝수 필드의 순서로 출력하는 구성이다.

한편, 도 14를 참조하여 설명한 처리에 있어서, 출력 순서는 WV11e, WV11o, WV22e, WV22o 등, 즉, 짝수 필드와 홀수 필드의 순서로 출력하는 구성이다.

출력 순서의 변화로 인해, "(4) 메모리로부터의 판독"의 순서는 홀수 필드(f2_H1o)에 선행하여 짝수 필드(f2_H1e)가 판독되게 한다. 기타 사항들은 앞서 도 13을 참조하여 설명한 처리와 동일하다.

이 처리예에 있어서도, 촬상 소자의 홀수 라인 출력과 촬상 소자의 짝수 라인 출력이 수직 주기마다 메모리(130)로부터 판독되고, 그럼으로써 촬상 장치 출력을 짝수와 홀수 필드 출력(WV11e, WV11o, WV22e, WV22o 등)으로서 출력하며, 짝수 + 홀수의 조합으로 출력 신호를 합성함으로써 인터레이싱 블러링이 없는 화상이 얻어질 수 있다.

다음에, 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스의 제3 예의 세부 사항에 대해 도 15를 참조하여 설명하겠다.

도 15에 도시된 예는, 도 13의 예에서와 동일하게, 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스이다. 그러나, 주목할 것은, 도 15에 도시된 처리는 와이드 다이나믹 레인지 화상을 생성하기 위해 메모리(130)에 의해 판독되는 화상 쌍이 항상 최신 화상으로 설정된다는 점에서 다르다는 것이다.

예를 들어, 도 13에 도시된 시퀀스에 있어서, 시간 t2 내지 t3에서는, (4a)에서 어드레스(AD1o)로부터의 데이터(f2_L1o)의 판독, 및 (4b)에서 어드레스(AD2o)로부터의 데이터(f2_H1o)의 판독이 실행되고, 또한, 시간 t3 내지 t4에서는, (4a)에서 어드레스(AD1e)로부터의 데이터(f2_L1e)의 판독, 및 (4b)에서 어드레스(AD2e)로부터의 데이터(f2_H1e)의 판독이 실행된다.

한편, 도 15에 도시된 시퀀스에 있어서, 시간 t1 내지 t2에서는, (4a)에서 어드레스(AD1e)으로부터의 데이터(f2_L1e)의 판독이 실행되고, 또한, 시간 t2 내지 t3에서는, (4a)에서 어드레스(AD1o)로부터의 데이터(f2_L1o)의 판독 및 (4b)에서 어드레스(AD1o)로부터의 데이터(f2_H1o)의 판독이 실행되며, 차기 시간 t3 내지 t4에서는, (4a)에서 어드레스(AD3e)로부터의 데이터(f2_L2e)의 판독 및 (4b)에서 어드레스(AD2e)로부터의 데이터(f2_H1e)의 판독이 실행된다.

말하자면, 도 15에 도시된 이 처리예는 데이터 판독을 위해 최신 데이터가 이용된다는 점에서 다르다는 것이다. 이 처리예에 있어서, 각각의 판독타이밍에서 판독에 이용할 수 있는 데이터 중 최신 데이터가 얻어진다. 이 처리예는 메모리(130)에 저장된 데이터 중 최신 데이터의 조합을 이용하여 합성 화상으로서의 와이드 다이나믹 레인지 화상을 생성하기 위한 시퀀스이다.

도 15에 도시된 시퀀스에서는, “(1) 촬상 소자”부터 “(3) 메모리에 대한 기입”까지의 처리는 도 13에서와 동일하다. 시간 t1 이후의 메모리로부터의 데이터의 판독은, 메모리에 이미 저장된 데이터로부터 최신 데이터를 판독하도록 설정이 이루어진다는 점에서 도 13과 다르다.

도 13에서의 "(5) 스위치 설정"은 스위치(151d 및 151b)의 상태를 도시한다. 도 5를 참조하여 설명한 바와 같이, 와이드 다이나믹 레인지 화상 생성 처리 모드에서는, 스위치(151d 및 151b)가 모두 W측 접속으로 설정된다.

이러한 스위치 설정에 따라 메모리(130)로부터 판독되는 데이터는 화상 합성부(123)에 입력되고, 화상 합성에 의한 와이드 다이나믹 레인지 화상 생성 처리가 수행된다. 그러나, 주목할 것은, 시간 t1 내지 t2에는, 단시간 노광 화상 데이터(저감도 화상(L))(f2_L1e)만 (4a)의 어드레스(AD1e)로부터 판독되고, 장시간 노광 화상 데이터(고감도 화상(H))의 판독은 실행되지 않았으므로, 이 시간 t1 내지 t2에서는 아무런 화상 합성 처리도 실행되지 않는다는 것이다.

시간 t2 내지 t3에서는, (4a) 및 (4b)에서 각각 메모리(130)로부터 판독된, 단시간 노광 화상 데이터(저감도 화상(L)) 데이터(f2_L1o), 및 장시간 노광 화상 데이터(고감도 화상(H)) 데이터(f2_H1o)가 화상 합성 처리되며, 홀수 필드만의 와이드 다이나믹 레인지 화상이 생성된다.

이 촬상 장치 출력(WV11o)은 홀수 필드만의 화상이다. 이것은 차기 시간 t3 내지 t4에서의 촬상 장치 출력(WV11e)과 함께 출력되며, 전체 프레임 화상이 표시된다.

도 15의 "(4a) 메모리로부터의 판독"의 칸에 도시된 바와 같이, 시간 t3 내지 t4에 어드레스(AD3e) 위치로부터 데이터(f2_H1e) 가 판독된다.

시간 t2 내지 t3에서는, 어드레스(AD3e) 위치로부터 판독된 데이터(f2_L2e)가 단시간 노광 화상(저감도 화상(L))의 짝수 필드 데이터이다. 어드레스(AD2e) 위치로부터 판독된 데이터(f2_H1e)는 장시간 노광 화상(고감도 화상(H))의 짝수 필드 데이터이다.

도 15의 “(5) 스위치 설정”은 스위치(151d 및 151b)의 설정 상태를 도시한다. 도 5를 참조하여 설명한 바와 같이, 와이드 다이나믹 레인지 화상 생성 처리 모드에서는, 스위치(151d 및 151b)가 모두 W측 접속으로 설정된다.

이러한 스위치 설정에 따라 판독되는 단시간 노광 화상 데이터(저감도 화상(L))의 짝수 필드 데이터(f2_L2e) 및 장시간 노광 화상 데이터(고감도 화상(H))의 짝수 필드 데이터(f2_H1e)는 화상 합성부(123)에 출력된다. 화상 합성부(123)는 이러한 2개의 화상을 이용하여 화상 합성 처리를 수행하고, 와이드 다이나믹 레인지 화상의 짝수 필드에 대응하는 합성 화상을 생성한다.

제3 신호 처리부(126)는 메모리(130)로부터의 판독 신호에 대한 최종 신호 처리를 실행하고, 촬상 장치로부터 출력되는 와이드 다이나믹 레인지 화상을 생성하여 출력한다. 최종의 출력은 도 15에서의 "(6) 촬상 장치 출력"(WV12e)에 상당하는 것이다. 이 촬상 장치 출력(WV12e)은 짝수 필드만의 화상이다. 이것은 이전 시간 t2 내지 t3에서의 촬상 장치 출력(WV11o)과 함께 출력되며, 전체 프레임 화상이 표시된다.

또한, 어드레스(AD1 내지 AD4)의 홀수 라인 출력과 짝수 라인 출력이 수직 주기마다 판독되고, 화상 합성 및 보정 처리되며, 신호 처리되고, 촬상 장치 출력이 홀수 필드와 짝수 필드가 분리된 채로 출력된다.

도 15의 (6)에 도시된 바와 같이, 이 처리로 인해, WV11o, WV12e, WV22o, WV23e 등과 같이 인터레이스드 출력이 실행된다. 이 처리예에 있어서, 와이드 다이나믹 레인지 처리에 적용되는 저감도 화상과 고감도 화상의 조합이 더 새로운 촬영 화상에 기초하여 생성될 수 있다.

다음에, 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스의 제4 예의 세부 사항에 대해 도 16을 참조하여 설명하겠다. 도 16은, 프로그래시브 판독에 의해 촬상 소자를 동작시키고 촬상 장치 출력을 인터레이스드 동작시킴으로써, 와이드 다이나믹 레인지 화상을 생성하기 위해 와이드 다이나믹 레인지 동작(도 5 참조) 수행시의 상세한 시퀀스를 도시하는 다이어그램이다.

(1) 촬상 소자(102)의 노출 및 출력

(2) 스위치(151a 및 151c)의 설정

(3) 메모리(130)에 대한 기입 어드레스 및 기입 데이터

(4a) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(4b) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(5) 스위치(151d 및 151b)의 설정

(6) 촬상 장치(100)의 출력

도 16에 도시된 예는, 위에서 설명한 도 15의 예에서와 동일하게, 프로그래시브 판독 및 인터레이스드 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스이다. 도 15와 도 16 사이의 차이는 "(6) 촬상 장치 출력"의 시퀀스이다.

도 15을 참조하여 설명한 처리에 있어서, 출력 순서는 WV11o, WV12e, WV22o, WV23e 등, 즉, 홀수 필드와 짝수 필드의 순서로 출력하는 구성이다. 한편, 도 16에 도시된 설명한 처리에 있어서, 출력 순서는 WV11e, WV12o, WV22e, WV23o 등, 즉, 짝수 필드와 홀수 필드의 순서로 출력하는 구성이다.

출력 순서의 변화로 인해, (4)의 순서도 변한다. 말하자면, 도 15와 도 16 사이에서 짝수 필드 데이터와 홀수 필드 데이터의 판독순서가 전환된다는 것이다. 기타 사항들은 앞서 도 15를 참조하여 설명한 처리와 동일하다.

이 처리예에 있어서도, 촬상 소자의 홀수 라인 출력과 촬상 소자의 짝수 라인 출력이 수직 주기마다 메모리(130)로부터 판독되고, 그럼으로써 짝수와 홀수 필드 출력(WV11e, WV12o, WV22e, WV23o 등)으로서의 촬상 장치 출력의 인터레이스드 출력을 수행한다. 이 처리예에 있어서, 와이드 다이나믹 레인지 처리에 적용되는 저감도 화상과 고감도 화상의 조합이 더 새로운 촬영 화상에 기초하여 생성될 수 있다.

다음에, 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성과 와이드 다이나믹 레인지 화상 생성 사이를 전환시키는 시퀀스에 대해 도 17을 참조하여 설명하겠다. 도 17에 도시된 처리는 앞서 도 8을 참조하여 설명한 처리와 도 9를 참조하여 설명한 처리를 도중에 전환하기 위한 처리 시퀀스이다. 즉, 이것은,

(4-A) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성 시퀀스(도 8)와

사이를 전환하기 위한 처리이다.

도 17은, 프로그래시브 판독에 의해 촬상 소자를 동작시키고, 촬상 장치 출력에 대해서도 프로그래시브 동작하는 설정에 의해, 통상 화상을 생성하기 위한 정상 모드(도 4 참조)와 와이드 다이나믹 레인지 모드(도 5 참조) 사이에서 전환 제어를 수행하는 경우의 상세한 시퀀스를 도시하는 다이어그램이다.

주목할 것은, 모드를 전환할 때, 스위치(151a 내지 151d)의 모든 접속 설정을, N-접속으러부터 W-접속으로, 또는 모두 역으로 W-접속으로부터 N-접속으로 전환하기 위한 제어가 실행된다는 것이다. 이 전환은 제어부(105)에 의해 수행된다.

도 17은 경과 시간(시간 t0 내지 t17)을 좌에서 우로 도시하고, 이러한 시간의 각각에서 다음의 데이터 및 설정이 도시되어 있다.

(1) 촬상 소자(102)의 노출 및 출력

(2) 스위치(151a 및 151c)의 설정

(3) 메모리(130)에 대한 기입 어드레스 및 기입 데이터

(4a) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(4b) 메모리(130)로부터의 판독 어드레스 및 판독 데이터

(5) 스위치(151d 및 151b)의 설정

(6) 촬상 장치(100)의 출력

시간 Ta(t6)까지, 처리가 통상 화상 생성 처리인 정상 모드 동작으로 수행된다. 시간 t0 내지 t6의 처리는 앞서 도 8을 참조하여 설명한 처리이고, 즉, (4-A) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 통상 화상 생성 시퀀스와 동일한 처리가 수행된다. 도 17의 "(1) 촬상 소자의 노출/출력"부터 "(6) 촬상 장치 출력"까지에 도시된 설정은 도 8에 도시된 시간 t0 내지 t6의 처리를 위한 설정과 동일하다.

시간 Ta(t6)에서, 제어부(105)는 통상 화상 생성 처리로부터 와이드 다이나믹 레인지 화상 생성 처리로의 천이를 시작한다. 주목할 것은, 앞서 설명한 바와 같이, 이 모드 전환 처리는 예를 들어 제어부(105)에 의한 촬영 화상의 분석 결과에 기초한 자동 제어에 의해 또는 입력부(106)를 경유한 사용자 지시에 기초하여 수행된다는 것이다.

시간 Ta(t6) 후에, 촬상 소자에서, 단시간 노광 화상(저감도 화상(L))과 장시간 노광 화상(고감도 화상(H))이 교대로 촬영된다.

통상 동작으로부터 와이드 다이나믹 레인지 동작으로의 전환 처리시에, 제어부(105)는 다음의 전환 제어를 수행한다. 우선, 메모리(130)의 입력 부분에 있는 스위치인 스위치(151c)만 W측으로 전환된다. 이것은 시간 Ta(t6) 내지 Tb(t8)의 기간에 대한 스위치 설정이다.

이 스위치 설정은 도 18에 도시되어 있다. 도 18에 도시된 바와 같이, 메모리(130)의 입력 부분에 있는 스위치인 스위치(151c)만 W측으로 전환된다. 기타 스위치(151a, 151b, 및 151d)는 N측 접속 설정에 남아 있다.

시간 Ta(t6) 내지 Tb(t8)에서는, 메모리(130)로부터 데이터를 판독하기 위한 어드레스에 대해 동일한 어드레스(AD2)가 유지된다. 동일한 판독 어드레스를 적용하는 데이터 판독 처리로 인해, 이 기간의 출력은, "(6) 촬상 장치 출력"이 나타내는 바와 같이, 정상 출력인 (VO6)의 출력을 유지한다.

또한, 시간 Ta(t6) 내지 Tb(t8)에서는, 촬상 소자(102)에서 촬상되고 제1 신호 처리부(122)에서 신호 처리된 단시간 노광 화상(저감도 화상(L))과 장시간 노광 화상(고감도 화상(H))이, 이 판독 어드레스(AD2)가 아닌 다른 어드레스를 이용하여, 스위치(151c)를 거쳐 메모리(130)에 기록된다.

즉, 도 17에 도시된 바와 같이, 시간 t6 내지 t7에서는, 단시간 노광 화상(저감도 화상(L)) 데이터(f2_L1)가 어드레스(AD3)를 따라 기입된다. 시간 t7 내지 t8에서는, 장시간 노광 화상(고감도 화상(H)) 데이터(f2_H1)가 어드레스(AD4)를 따라 기입된다.

시간 Ta(t6) 내지 Tb(t8)에서는, 와이드 다이나믹 레인지 화상을 생성하기 위한 합성 처리에 적용되는 2개의 화상의 기입 후에, 스위치(151a, 151b, 및 151d)가 W측으로, 즉, 도 5를 참조하여 설명한 와이드 다이나믹 레인지 모드 설정으로 전환된다. 이 시간 Tb(t8)에서, 정상 모드로부터 와이드 다이나믹 레인지 모드로의 전환이 완료된다.

말하자면, 정상 모드로부터 와이드 다이나믹 레인지 모드로의 전환시에, 메모리(130)에 대한 입력 데이터만 와이드 다이나믹 레인지 화상의 입력으로 미리 전환되고, 메모리(130)로부터의 출력 및 기타 처리 부분의 접속은 정상 모드에 대한 설정(N측 설정)에 유지된다는 것이다.

와이드 다이나믹 레인지 화상을 생성하기 위한 화상이 메모리(130)에 저장된 후, 즉, 시간 Tb(t8)에서, 메모리(130)로부터의 출력 및 기타 처리 부분의 접속이 와이드 다이나믹 레인지 모드 설정(W측 접속)으로 변경된다.

도 17에서, 시간 Tb(t8) 내지 Tc(t14)의 처리는 앞서 도 9를 참조하여 설명한 처리이고, 즉, (4-B) 프로그래시브 판독 및 프로그래시브 출력에 있어서의 와이드 다이나믹 레인지 화상 생성 시퀀스(제1 예)와 동일한 처리가 수행된다. 도 17에서 시간 Tb(t8) 내지 Tc(t14)에 대해 "(1) 촬상 소자의 노출/출력"부터 "(6) 촬상 장치 출력"까지에 도시된 설정은 도 8에 도시된 시간 t0 내지 t6의 처리에 대한 설정과 동일하다.

주목할 것은, 도 17의 시간 t6 내지 t8에서, AD3 및 AD4은 메모리 기입 어드레스로서 미리 이용되었으므로, 도 9와 도 17 사이에서 어드레스와 데이터 식별자에 어긋남(offset)이 있다는 것이다. 또한, 처리는 모두 동일한 처리이다.

시간 Tc(t14)에서, 제어부(105)는 와이드 다이나믹 레인지 화상 생성 처리로부터 통상 화상 생성 처리로의 천이를 시작한다. 주목할 것은, 위에서 설명한 바와 같이, 이 모드 전환 처리가 예를 들어 제어부(105)에 의한 촬영 화상의 분석 결과에 기초한 자동 제어에 의하거나 입력부(106)를 경유한 사용자 지시에 기초하여 수행된다는 것이다.

시간 Tc(t14) 이후에, 촬상 소자에서 통상 화상들이 순차적으로 촬상된다. 와이드 다이나믹 레인지 동작으로부터 통상 동작으로의 전환 처리 수행시, 제어부(105)는 다음의 전환 제어를 수행한다.

우선, 메모리(130)의 입력 부분에 있는 스위치인 스위치(151c)만 N측으로 전환된다. 이것은 시간 Tc(t14) 내지 Td(t15)의 기간에 대한 스위치 설정이다.

이 스위치 설정은 도 19에 도시되어 있다. 도 19에 도시된 바와 같이, 메모리(130)의 입력 부분에 있는 스위치인 스위치(151c)만 N측으로 전환된다. 기타 스위치(151a, 151b, 및 151d)는 W측 접속 설정에 남아 있다.

시간 Ta(t14) 내지 Tb(t15)에서는, 메모리(130)로부터 데이터를 판독하기 위한 어드레스에 대해, 직전의 기간 t13 내지 t14에서와 동일한 어드레스(AD3 및 AD4)가 유지된다. 동일한 판독 어드레스를 적용하는 데이터 판독 처리로 인해, 이 기간의 출력은, "(6) 촬상 장치 출력"가 나타내는 바와 같이, 와이드 다이나믹 레인지 화상 출력인 WV33의 출력을 유지한다.

또한, 시간 Tc(t14) 내지 Td(t15)에서는, 촬상 소자(102)에서 촬상되고 제2 신호 처리부(125)에서의 신호 처리된 통상 화상이, 이 판독 어드레스가 아닌 다른 어드레스를 이용하여, 스위치(151c)를 거쳐 메모리(130)에 기록된다.

즉, 도 17에 도시된 바와 같이, 시간 Tc(t14) 내지 Td(t15)에서는, 어드레스(AD1)가 직전 시간 t13 내지 t14에서의 메모리(130)로부터의 데이터 판독 어드레스에 대한 판독 어드레스(AD3 및 AD4)와 동일한 어드레스를 유지하도록 되어 있다. 동일한 판독 어드레스를 적용하는 이 데이터 판독 처리로 인해, 이 기간의 출력은 "(6) 촬상 장치 출력"에 도시된 (WV33)의 와이드 다이나믹 레인지 화상의 출력에 유지된다. 스위치(151a)는 W측에 있고, 화상 합성부(123)에서 와이드 다이나믹 레인지 화상(WV33)이 생성되며, 보정부(124) 및 제2 신호 처리부(125)에서의 처리 결과로서의 형식 1의 와이드 다이나믹 레인지 화상의 데이터(f1_WV33)가 스위치(151c)를 거쳐 메모리(130)에 기입된다.

시간 Tc(t14) 내지 Td(t15)에서는, 메모리(130)에 통상 화상을 기입한 후, 스위치(151a, 151b, 및 151d)가 N측으로, 즉 도 4를 참조하여 설명한 통상 화상 모드 설정으로 전환된다. 이 시간 Tc(t14) 내지 Td(t15)에, 와이드 다이나믹 레인지 화상이 출력되고, Te(16)에서, 와이드 다이나믹 레인지 모드로부터 정상 모드로의 전환이 완료된다.

이 전환 제어는 제어부(105)의 제어에 의해 실행된다. 통상 화상 생성 처리 모드와 와이드 다이나믹 레인지 화상 생성 처리 모드 사이의 전환시에 제어부(105)는 데이터 전환 후 모드에 대응하는 데이터를 메모리(130)에 대한 입력 데이터로서 입력(입사)하고, 전환 전 모드에 대응하는 데이터를 메모리(130)로부터의 출력 데이터로서 출력하며, 천이 기간경과 후에는, 전환 후 모드에 대응하는 출력 데이터를 메모리(130)로부터의 출력 데이터로서 출력하도록 설정된 천이 기간을 제공하도록 제어한다.

구체적으로는, 제어부(105)가, 전환 후 모드가 와이드 다이나믹 레인지 화상 생성 처리 모드인 경우에는, 천이 기간이 와이드 다이나믹 레인지 화상을 생성하기 위한 장시간 노광 화상(고감도 화상)과 단시간 노광 화상(저감도 화상)의 저장을 종료하기까지의 기간이고, 전환 후 모드가 통상 화상 생성 처리 모드인 경우에는, 천이 기간이 통상 화상을 생성하기 위한 화상의 저장을 종료하기까지의 기간이도록 제어를 수행한다.

따라서, 본 발명에 따른 모드 전환 처리에 있어서, 메모리 입력 데이터만 미리 전환되고, 메모리에서 통상 화상을 생성하기 위한 1개의 화상 데이터 또는 와이드 다이나믹 레인지 화상을 생성하기 위한 2개의 화상 데이터의 저장이 완료된 시점에서, 메모리출력 데이터 및 기타 처리 회로의 스위치가 전환되게 하는 구성이 이루어진다.

이 제어로 인해, 각각의 전환 타이밍에서의 촬상 장치로부터의 출력이, 통상 화상 또는 와이드 다이나믹 레인지 화상 중 하나가 확실하게 출력되어, 원활한 모드 전환 및 모드 전환시의 화상 중단 없는 화상 출력을 실현하게 된다.

이제, 도 20은 모든 스위치(151a 내지 151d)가 동일한 타이밍에 전환되는 경우의 처리 시퀀스를 추천 시퀀스로서 도시한다. 도 20에 도시된 바와 같이, 그러한 제어의 수행은 모드 전환 후 일정 기간 동안 메모리판독오류나 촬상 장치 출력 오류를 발생시키게 된다.

예를 들어, 도 20의 시간 Ta에서, 통상 화상 모드로부터 와이드 다이나믹 레인지 화상 모드로의 전환시에 스위치(151a 내지 151d)가 N으로부터 W 접속으로 모두 전환되면, 와이드 다이나믹 레인지 화상을 생성하기 위한 화상이 메모리에 저장되지 않은 상태에서 와이드 다이나믹 레인지 화상 출력이 시작될 것이고, 아무런 화상도 출력될 수 없는 상태로 된다(도 20에서 "ERR").

도 20의 시간 Tb에서도, 와이드 다이나믹 레인지 화상 모드로부터 통상 화상 모드로의 전환시에 스위치(151a 내지 151d)가 W로부터 N 접속으로 모드 전환되면, 통상 화상을 생성하기 위한 화상이 메모리에 저장되지 않은 상태에서 통상 화상 출력이 시작될 것이고, 아무런 화상도 출력될 수 없는 상태로 된다(ERR).

이에 반해, 도 17을 참조하여 설명한 바와 같이, 메모리 입력 데이터만 미리 전환되도록 제어를 실행함으로써, 촬상 장치 출력 오류를 유발함이 없이 원활한 모드 전환 및 화상 출력 전환이 실현될 수 있다.

또한, 예를 들어 메모리에 저장된 데이터에 대해 수직 반전 등과 같은 처리가 수행될 수 있지만, 그러한 처리를 실행하는 경우에, 메모리(130)의 입력 부분의 스위치(151c)만 전환될 때의 메모리 기입 어드레스를 수직 반전에 대응시키거나, 나머지 스위치(151a, 151b, 및 151d)를 전환한 직후의 메모리 판독 어드레스를 일정 기간 동안 수직 반전되지 않도록 관련시키는 등과 같은 제어를 수행함으로써, 메모리(130)에 대한 판독/기입 실행될 수 있다. 말하자면, 제어부(105)는 어드레스와 데이터 사이의 관계를 오류 없이 유지하도록 메모리에 대한 데이터 기입/판독을 제어한다는 것이다.

본 발명에 따른 촬상 장치에 있어서, 통상 동작에서 통상 화상을 생성할 때, 앞서 도 6a 및 도 6b를 참조하여 각각 설명한 8 비트의 YCrCb의 422 형식으로의 기록이 메모리에 저장된 데이터에 대해 수행될 수 있다.

또한, 와이드 다이나믹 레인지 동작시에, 장시간 노광 화상(고감도 화상) 및 단시간 노광 화상(저감도 화상)이라는 2개의 화상에 기초하여 합성부에서 합성 화상이 생성된다. 이 화상 합성시에, 2개의 화상의 화소값이 1 미만의 값으로 곱해지고 더해지는 화소값 설정에 따른 합성 처리가 수행된다. 이 합성 처리는 각각의 화상의 불충분한 분해능을 보상하고, 와이드 다이나믹 레인지로 이루어진 화상이 생성된다.

또한, 앞서 도 6a 내지 도 7을 참조하여 설명한 바와 같이, 본 발명에 따른 촬상 장치에 의한 메모리(130)에 대한 데이터 저장은 통상 화상 생성 모드에서와 와이드 다이나믹 레인지 화상 생성 모드에서 상이한 데이터 형식으로 수행된다.

통상 화상 생성 모드에서는, 도 6a에 도시된 8비트 휘도 신호 (Y)의 2화소 에 대해 한 쌍의 8비트 색차 신호 (Cb, Cr)를 갖는 422 형식, 또는 도 6b에 도시된 휘도 신호 (Y)의 4화소에 대해 한 쌍의 색차 신호 (Cr, Cb)를 갖는 411 형식의 신호로 된 데이터 형식(데이터 형식 1(f1))으로 저장이 수행된다.

또한, 와이드 다이나믹 레인지 화상 생성 모드에서는, 9 비트의 휘도 신호 (Y), 10 비트의 색신호 (G), 및 각각 9 비트의 색신호 (R) 및 (B)에 의해, 휘도 신호의 4화소에 대해 한 쌍의 색신호를 갖는 분해능을 갖는 이른바 411 형식의 신호로 된 데이터 형식(데이터 형식 2(f2))으로 저장이 수행된다.

이러한 방식으로 상황별 메모리 저장 형식을 이용함으로써, 예를 들어 16비트 데이터 폭, 133MHz 액세스 속도, 및 64MB의 메모리용량을 갖는 하나의 메모리장치의 구성을 이용하여, NTSC 및 PAL 형식을 지원하는 통상 화상과 와이드 다이나믹 레인지 화상이라는 두 화상 모두를 출력하는 것이 가능하게 하는 촬상 장치가 실현되고, 메모리 이용 감소, 장착 면적 감소, 및 비용 감소가 실현될 수 있다.

또한, 도 17을 참조하여 설명한 바와 같이, 모드천이시에 미리 메모리 입력 데이터를 전환하기 위한 제어를 수행함으로써, 통상 동작시 및 와이드 다이나믹 레인지 동작시에 메모리 데이터 형식이 상이할지라도, 상이한 데이터 형식으로 인한 출력 또는 화상 오류가 방지되고, 원활한 모드천이가 실현될 수 있다.

지금까지 본 발명을 구체적 실시예를 참조하여 설명하였다. 그러나, 당 기술 분야에서 숙련된 자는 본 발명의 본질을 벗어남이 없이 실시예의 변경 및 대체를 이룰 수 있음이 자명하다. 말하자면, 예시적인 형태에 대한 개시가 이루어졌고 제한적으로 해석되지 않아야 한다는 것이다. 본 발명의 본질에 대한 어떤 해석이든 특허 청구 범위를 참조하여 이루어져야 한다.

또한, 명세서에서 설명한 일련의 처리는 하드웨어, 소프트웨어 또는 양자의 복합적 구성에 의해 실행될 수 있다. 소프트웨어에 의해 처리를 실행하는 경우에는, 처리 시퀀스를 기록하는 프로그램이 전용 하드웨어에 내장된 컴퓨터의 메모리에 설치되어 실행되거나, 또는 프로그램이 다양한 유형의 처리를 실행할 수 있는 범용 컴퓨터에 설치되어 실행될 수 있다. 예를 들어, 프로그램은 기록 매체에 미리 기록될 수 있다. 기록 매체로부터 컴퓨터에 설치하는 것 외에, 프로그램은 LAN(Local Area Network), 인터넷 등과 같은 통신망을 거쳐 수신되어 내장 하드디스크 등과 같은 저장 매체에 설치될 수 있다.

주목할 것은, 명세서에서 설명한 다양한 유형의 처리는 설명된 시계열로 실행되는 것으로 제한되는 것이 아니며, 처리를 실행할 장치의 용량에 따르거나 또는 형편에 따라, 병렬로 또는 개별적으로 실행될 수 있을 것이라는 것이다. 또한, 본 명세서에서 "시스템"이라는 용어는 다수의 장치들의 논리적 그룹 구성을 지칭하며, 동일한 하우징 내에 각각 구성되는 장치로 제한되는 것이 아니다.

본 발명은 2010년 8월 31일에 일본 특허청에 출원된 일본 우선권 특허 출원 2010-193692호에서 개시된 것과 관련된 요지를 포함하며, 그 전체 내용은 본원에 참조로서 원용된다.

당업자라면, 다양한 수정, 조합, 부조합 및 변경이 첨부된 특허청구범위 또는 그 균등물의 범위 내에 있는 한 그러한 수정, 조합, 부조합 및 변경이 설계 요건 및 기타 인자에 따라 가능하다는 것을 이해할 것이다.

Claims

화상 신호용 신호 처리부로서,
제1 신호 처리부, 제2 신호 처리부 및 제3 신호 처리부,
화상 신호를 저장하는 메모리, 및
제1 스위치, 제2 스위치, 제3 스위치 및 제4 스위치를 포함하고,
상기 제1 스위치는, 상기 제2 신호 처리부의 입력에 접속되며, 상기 메모리의 출력과 상기 제1 신호 처리부의 출력 사이를 전환하고,
상기 제2 스위치는, 상기 제3 신호 처리부의 입력에 접속되며, 상기 메모리의 출력과 상기 제2 신호 처리부의 출력 사이를 전환하고,
상기 제3 스위치는, 상기 메모리의 입력에 접속되며, 상기 제2 신호 처리부로부터의 출력과 상기 제1 신호 처리부로부터의 출력 사이를 전환시키며,
상기 제4 스위치는, 상기 메모리의 출력에 접속되며, 상기 제3 신호 처리부에 대한 입력과 상기 제2 신호 처리부에 대한 입력 사이를 전환하는, 신호 처리부.
제1항에 있어서,
상기 메모리의 입출력 경로는, (a) 통상 화상 생성의 경우, 화상 신호가 상기 제2 신호 처리부에 의한 화상 보정 후에만, 상기 메모리에 저장 및/또는 상기 메모리로부터 판독되고, (b) 와이드 다이나믹 레인지(wide dynamic range) 화상 생성의 경우, 화상 신호가 상기 제2 신호 처리부에 의해 보정되기 전에, 상기 메모리에 저장 및/또는 상기 메모리로부터 판독되도록 제어되는, 신호 처리부.
제1항에 있어서,
통상 화상 생성의 경우, 상기 제1 스위치는 상기 제1 신호 처리부의 출력에 접속되고, 상기 제2 스위치는 상기 메모리의 출력에 접속되며, 상기 제3 스위치는 상기 제2 신호 처리부의 출력에 접속되고, 상기 제4 스위치는 상기 제3 신호 처리부에 대한 입력에 접속되는, 신호 처리부.
제1항에 있어서,
와이드 다이나믹 레인지 화상 생성의 경우, 상기 제1 스위치는 상기 메모리의 출력에 접속되고, 상기 제2 스위치는 상기 제2 신호 처리부로부터의 출력에 접속되며, 상기 제3 스위치는 상기 제1 신호 처리부의 출력에 접속되고, 상기 제4 스위치는 상기 제2 신호 처리부의 입력에 접속되는, 신호 처리부.
제1항에 있어서,
상기 제2 신호 처리부는 상기 메모리에 저장된 상기 화상 신호로부터 와이드 다이나믹 레인지 화상을 생성하여 화상 합성 처리를 실행하는 합성부를 포함하고,
통상 화상 생성의 경우, 상기 합성부에 의한 상기 화상 합성 처리가 실행되지 않는, 신호 처리부.
제1항에 있어서,
상기 제2 신호 처리부는,
상기 메모리에 저장되는 와이드 다이나믹 레인지 신호를 생성하여 화상 합성 처리를 실행하는 화상 합성부,
상기 화상 신호를 보정하는 화상 보정부, 및
화상 신호를 색차 신호로 변환하는 신호 처리 장치를 포함하고,
통상 화상 생성의 경우, 상기 화상 합성부에 의한 상기 화상 합성 처리가 실행되지 않는, 신호 처리부.
콘트롤러로부터의 제어 신호에 응답하여 통상 화상 생성 동작과 와이드 다이나믹 레인지 화상 생성 동작 간의 처리를 전환하는 신호 처리부로서,
화상 신호를 저장하는 메모리,
상기 화상 신호를 보정하는 화상 보정부, 및
상기 메모리 및 상기 화상 보정부에 접속되고, 상기 화상 보정부로의/로부터의 상기 메모리의 입출력 경로를 전환하는 스위칭 장치를 포함하는, 신호 처리부.
제7항에 있어서,
상기 입출력 경로는, (a) 통상 화상 생성의 경우, 화상 신호가 상기 화상 보정부에 의한 화상 보정 후에만, 상기 메모리에 저장 및/또는 상기 메모리로부터 판독되고, (b) 와이드 다이나믹 레인지 화상 생성의 경우, 화상 신호가 상기 화상 보정부에 의해 보정되기 전에, 상기 메모리에 저장 및/또는 상기 메모리로부터 판독되도록 제어되는, 신호 처리부.
제7항에 있어서,
상기 스위칭 장치는 제1 스위치, 제2 스위치, 제3 스위치 및 제4 스위치를 포함하고,
상기 제1 스위치는, 상기 화상 보정부의 입력에 접속되며, 상기 메모리의 출력과 입력된 화상 신호 사이를 전환하고,
상기 제2 스위치는, 신호 처리부의 출력에 접속되며, 상기 메모리의 출력과 상기 화상 보정부의 출력 사이를 전환하고,
상기 제3 스위치는, 상기 메모리에 대한 입력에 접속되며, 상기 화상 보정부로부터의 출력과 상기 입력된 화상 신호 사이를 전환하고,
상기 제4 스위치는, 상기 메모리의 출력에 접속되며, 상기 신호 처리부의 출력과 상기 화상 보정부에 대한 입력 사이를 전환하는, 신호 처리부.
제9항에 있어서,
통상 화상 생성의 경우, 상기 제1 스위치는 상기 입력된 화상 신호에 접속되고, 상기 제2 스위치는 상기 메모리의 출력에 접속되며, 상기 제3 스위치는 상기 화상 보정부의 출력에 접속되고, 상기 제4 스위치는 상기 신호 처리부의 출력에 접속되는, 신호 처리부.
제9항에 있어서,
와이드 다이나믹 레인지 화상 생성의 경우, 상기 제1 스위치는 상기 메모리의 출력에 접속되고, 상기 제2 스위치는 상기 화상 보정부로부터의 출력에 접속되며, 상기 제3 스위치는 상기 입력된 화상 신호에 접속되고, 상기 제4 스위치는 상기 화상 보정부의 입력에 접속되는, 신호 처리부.
제7항에 있어서,
상기 메모리에 저장된 상기 화상 신호로부터 와이드 다이나믹 레인지 화상을 생성하여 화상 합성 처리를 실행하는 화상 합성부를 더 포함하고,
통상 화상 생성의 경우, 상기 화상 합성부에 의한 상기 화상 합성 처리가 실행되지 않는, 신호 처리부.
제7항에 있어서,
화상 신호를 색차 신호로 변환하는 신호 처리 장치, 및 상기 메모리에 저장된 화상 신호로부터 와이드 다이나믹 레인지 화상을 생성하여 화상 합성 처리를 실행하는 화상 합성부를 더 포함하고,
통상 화상 생성의 경우, 상기 화상 합성부에 의한 화상 합성 처리가 실행되지 않는, 신호 처리부.
화상 신호 처리 시스템으로서,
화상 신호를 저장하는 메모리,
상기 메모리의 입출력 경로에 대한 신호 경로 제어를 실행하는 제어부,
상기 화상 신호를 보정하는 화상 보정부 및 상기 메모리에 저장된 상기 화상 신호로부터 와이드 다이나믹 레인지 화상을 생성하여 화상 합성 처리를 실행하는 화상 합성부를 포함하는 신호 처리부, 및
상기 메모리 및 상기 신호 처리부에 접속되고 상기 신호 처리부로의/로부터의 상기 메모리의 신호 경로를 전환하는 스위칭부를 포함하는, 화상 신호 처리 시스템.
제14항에 있어서,
상기 메모리의 상기 입출력 경로는, (a) 통상 화상 생성의 경우, 화상 신호가 상기 화상 보정부에 의한 화상 보정 후에만, 상기 메모리에 저장 및/또는 상기 메모리로부터 판독되고, (b) 와이드 다이나믹 레인지 화상 생성의 경우, 화상 신호가 (1) 상기 화상 합성부에 의해 합성되고 (2) 상기 화상 보정부에 의해 보정되기 전에, 상기 메모리에 저장 및/또는 상기 메모리로부터 판독되도록 제어되는, 화상 신호 처리 시스템.
제14항에 있어서,
통상 화상 생성의 경우, 상기 합성부에 의한 화상 합성 처리가 실행되지 않는, 화상 신호 처리 시스템.
제14항에 있어서,
상기 스위칭부는 제1 스위치, 제2 스위치, 제3 스위치 및 제4 스위치를 포함하고,
상기 제1 스위치는, 상기 신호 처리부의 입력에 접속되며, 상기 메모리의 출력과 입력된 화상 신호 사이를 전환하고,
상기 제2 스위치는, 화상 신호 처리 시스템의 출력에 접속되며, 상기 메모리의 출력과 상기 신호 처리부의 출력 사이를 전환하고,
상기 제3 스위치는, 상기 메모리의 입력에 접속되며, 상기 신호 처리부로부터의 출력과 상기 입력된 화상 신호 사이를 전환하고,
상기 제4 스위치는, 상기 메모리의 출력에 접속되며, 상기 신호 처리 시스템의 출력과 상기 신호 처리부에 대한 입력 사이를 전환하는, 화상 신호 처리 시스템.
제17항에 있어서,
통상 화상 생성의 경우, 상기 제1 스위치는 상기 입력된 화상 신호에 접속되고, 상기 제2 스위치는 상기 메모리의 출력에 접속되며, 상기 제3 스위치는 상기 신호 처리부의 출력에 접속되고, 상기 제4 스위치는 상기 처리 시스템의 출력에 접속되는, 화상 신호 처리 시스템.
제17항에 있어서,
와이드 다이나믹 레인지 화상 생성의 경우, 상기 제1 스위치는 상기 메모리의 출력에 접속되고, 상기 제2 스위치는 상기 신호 처리부로부터의 출력에 접속되며, 상기 제3 스위치는 상기 입력된 화상 신호에 접속되고, 상기 제4 스위치는 상기 신호 처리부의 입력에 접속되는, 화상 신호 처리 시스템.
제14항에 있어서,
상기 신호 처리부는 화상 신호를 색차 신호로 변환하는 신호 처리 장치를 더 포함하는, 화상 신호 처리 시스템.