KR102184916B1 - 제어 장치, 제어 방법 및 전자 기기 - Google Patents

제어 장치, 제어 방법 및 전자 기기 Download PDF

Info

Publication number
KR102184916B1
KR102184916B1 KR1020167000163A KR20167000163A KR102184916B1 KR 102184916 B1 KR102184916 B1 KR 102184916B1 KR 1020167000163 A KR1020167000163 A KR 1020167000163A KR 20167000163 A KR20167000163 A KR 20167000163A KR 102184916 B1 KR102184916 B1 KR 102184916B1
Authority
KR
South Korea
Prior art keywords
pixel
exposure amount
mode
control unit
pixels
Prior art date
Application number
KR1020167000163A
Other languages
English (en)
Other versions
KR20160045051A (ko
Inventor
마사시 나카타
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160045051A publication Critical patent/KR20160045051A/ko
Application granted granted Critical
Publication of KR102184916B1 publication Critical patent/KR102184916B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H04N5/2356—
    • H04N5/35554—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 개시는, 적정한 노광량을 고속으로 설정할 수 있도록 하는 제어 장치, 제어 방법 및 전자 기기에 관한 것이다. 제어부는, 복수의 화소가 2차원 배치된 화소군의 노광량을 제어한다. 구체적으로는, 제어부는, 촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 제1의 모드보다도 적은 종류의 노광량을 화소군에 설정한다. 본 개시의 기술은, 예를 들면, 고체 촬상 소자를 제어하는 제어 장치 등에 적용할 수 있다.

Description

제어 장치, 제어 방법 및 전자 기기{CONTROL DEVICE, CONTROL METHOD, AND ELECTRONIC DEVICE}
본 개시는, 제어 장치, 제어 방법 및 전자 기기에 관한 것으로, 특히, 적정한 노광량을 고속으로 설정할 수 있도록 하는 제어 장치, 제어 방법 및 전자 기기에 관한 것이다.
근래, 촬영시의 다이내믹 레인지를 넓히는 수법으로서, 행렬형상으로 배치된 화소군에 대해, 큰 노광량을 설정한 화소와 작은 노광량을 설정한 화소를 혼재시키는 수법이 제안되어 있다(예를 들면, 특허 문헌 1 참조).
그러나, 화소군이 노광량의 큰 화소와 노광량의 작은 화소를 포함하는 경우, 예를 들면 노광량의 큰 화소는 밝음부에서는 포화되기 쉬워지고, 포화시에는 노광량의 작은 화소만이 출력 가능한 화소가 된다. 이 때, 화상을 만드는데 사용할 수 있는 화소가 감소하기 때문에, 해상도가 저하된다.
한편, 화소군의 전 화소가 동일한 노광량으로 통일되어 있는 경우, 화소가 포화한다면 정보를 전혀 얻을 수가 없다. 즉, 어떤 피사체가 있으며, 어떠한 휘도의 것이 있는가 라는 정보가 결락 되어 버리기 때문에, 자동 노광(Auto Exposure), 오토 포커스(Auto Focus), 오토 화이트 밸런스(Auto White Balance) 등의 제어에 필요한 정보를 전혀 취득할 수가 없게 된다.
특허 문헌 1 : 일본 특개2010-28423호 공보
근래, 스마트 폰 등으로 대표되도록 터치 패널을 갖는 촬상 장치가 보급되어오고 있다. 예를 들면, 촬영 중의 화상 내의 터치한 위치에 오토 포커스 등이 맞는 동작을 행하는 경우, 터치 위치가 포화되어 있으면, 그 개소가 어느 정도의 축적 시간이면 포화하지 않는지 라는 정보가 전혀 없기 때문에, 노광량을 적정치로 할 때까지 시간이 걸리고 있다.
즉, 일정 이상으로 노광량이 크면, 형광등이라도 태양이라도 동일하게 포화되어 버려, 형광등도 태양도 같은 출력치로 출력되고 버리기 때문에, 밝기의 차를 식별할 수 없다. 그 때문에, 어디까지 노광량을 내리면 포화하지 않는지는 숙식간에는 판별할 수가 없고, 서서히 노광량을 내려갈 수밖에 없기 때문에, 노광량을 적정치로 할 때까지 시간이 걸리고 있다.
본 개시는, 이와 같은 상황을 감안하여 이루어진 것이고, 적정한 노광량을 고속으로 설정할 수 있도록 하는 것이다.
본 개시의 제1의 측면의 제어 장치는, 복수의 화소가 2차원 배치된 화소군의 노광량을 제어하는 제어부를 구비하고, 상기 제어부는, 촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 상기 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량을 상기 화소군에 설정한다.
본 개시의 제1의 측면의 제어 방법은, 복수의 화소가 2차원 배치된 화소군의 노광량을 제어하는 제어 장치가, 촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 상기 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량을 상기 화소군에 설정한다.
본 개시의 제2의 측면의 전자 기기는, 복수의 화소가 2차원 배치된 화소군을 구비하는 고체 촬상 소자와, 촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 상기 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량을 상기 화소군에 설정한 제어부를 구비한다.
본 개시의 제1 및 제2의 측면에서는, 촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량이 화소군에 설정되고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량이 상기 화소군에 설정된다.
제어 장치 및 전자 기기는, 독립한 장치라도 좋고, 하나의 장치를 구성하고 있는 내부 블록이라도 좋다.
본 개시의 제1 및 제2의 측면에 의하면, 적정한 노광량을 고속으로 설정할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과라도 좋다.
도 1은 통상 촬영 모드와 HDR 촬영 모드의 특징을 정리한 도면.
도 2는 통상 촬영 모드와 HDR 촬영 모드의 차이를 설명하는 도면.
도 3은 통상 촬영 모드와 HDR 촬영 모드의 차이를 설명하는 도면.
도 4는 본 개시에 관한 촬상 장치의 구성례를 도시하는 블록도.
도 5는 고체 촬상 소자의 화소군의 일부를 도시하는 도면.
도 6은 배율 보정 처리를 설명하는 도면.
도 7은 HDR 촬영 모드일 때의 촬영 화상 데이터의 흐름을 도시하는 도면.
도 8은 프리뷰 촬영시의 화소 보완을 설명하는 도면.
도 9는 프리뷰 촬영시의 클리핑 처리를 설명하는 도면.
도 10은 HDR 촬영 모드에 의한 화상 데이터의 개념도를 도시하는 도면.
도 11은 통상 촬영 모드일 때의 촬영 화상 데이터의 흐름을 도시하는 도면.
도 12는 도 4의 촬상 장치와 일반적인 통상 촬영 모드 및 HDR 촬영 모드를 비교 설명하는 도면.
도 13은 본 개시의 촬상 장치에 의한 촬영 처리의 흐름을 도시하는 도면.
도 14는 프리뷰 촬영 처리를 설명하는 플로 차트.
도 15는 위상차 화소를 설명하는 도면.
도 16은 본 개시의 촬상 장치를 칩 형태로 한 구성례를 도시하는 도면.
도 17은 본 개시의 촬상 장치를 탑재한 캡슐 내시경의 단면 구성을 도시하는 도면.
도 18은 본 개시의 촬상 장치를 포함하는 스마트 폰의 외관 구성을 도시하는 도면.
도 19는 본 개시의 촬상 장치를 구비하는 안경형 촬상 장치의 구성례를 도시하는 도면.
이하, 본 개시를 실시하기 위한 형태(이하, 실시의 형태라고 한다)에 관해 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 통상 촬영 모드와 HDR 촬영 모드의 설명
2. 촬상 장치의 구성례
3. HDR 촬영 모드의 촬영 화상 데이터의 흐름
4. 통상 촬영 모드의 촬영 화상 데이터의 흐름
5. 촬영 처리의 흐름
6. 프리뷰 촬영 처리의 처리 플로
7. 변형례
8. 전자 기기에의 적용례
<1. 통상 촬영 모드와 HDR 촬영 모드의 설명>
이하에 상세히 기술하는 촬상 장치(1)(도 4)는, 통상 촬영 모드와 HDR 촬영 모드의 2개의 촬영 모드(촬영 방식)를 가지며, 그것들을 동작 상태에 의해 나누어 사용한다.
그래서, 처음에, 도 1 내지 도 3을 참조하여, 통상 촬영 모드와 HDR 촬영 모드의 일반적인 특징에 관해 설명한다.
도 1은, 통상 촬영 모드와 HDR 촬영 모드의 특징을 정리한 도면이다.
통상 촬영 모드에서는, 베이어(bayer) 배열로 배치된 각 화소에서, 일률적인 노광량이 설정된다. 그리고, 그 설정된 노광량에 의거하여, 각 화소의 출력 신호가 얻어진다. 통상 촬영 모드는, 해상도가 높다는 이점이 있는 반면, 다이내믹 레인지의 확대 기능이 없다는 결점을 갖는다. 「R1」은 적색의 광을 수광하는 R화소, 「G1」는 녹색의 광을 수광하는 G화소, 「B1」는 청색의 광을 수광하는 B화소를 나타낸다.
한편, HDR 촬영 모드는 하이 다이내믹 레인지(HDR)의 출력 신호를 얻을 수 있는 모드이고, 베이어 배열로 배치된 화소군에는, 큰 노광량이 설정되는 화소와, 작은 노광량이 설정되는 화소가 있다. 여기서, 노광량이란, 셔터 시간과 게인을 이용하여, 노광량=셔터 시간×게인의 관계로 표시되는 제어량이다.
이하에서는, 노광량의 큰 화소를 장축 화소, 노광량의 작은 화소를 단축 화소라고도 한다. 도 1에 있어서 「R1」, 「G1」, 「B1」가 표시된 흰바탕의 화소는 장축 화소를 나타내고, 「R0」, 「G0」, 「B0」가 표시된 검은바탕의 화소는 단축 화소를 나타내고 있다.
도 1에서는, 장축 화소와 단축 화소의 배치의 방법이 다른 2종류의 HDR 촬영 모드가 도시되어 있다. HDR 촬영 모드의 배열(P1)은, 홀수 라인의 전부가 장축 화소에 설정되고, 짝수 라인의 전부가 단축 화소에 설정되는 배열 방법이다. HDR 촬영 모드의 배열(P2)은, 장축 화소와 단축 화소의 각각이, 3화소 단위로 종방향과 횡방향을 전환하여, 전체로서 경사 방향의 라인이 되도록 배치되는 배열 방법이다.
HDR 촬영 모드에서는, 예를 들면, 장축 화소가 포화하였다고 하여도 단축 화소에서 신호를 얻을 수 있기 때문에, 단일 노광량의 통상 촬영 모드에서는 포화하는 신이라도, 단축 화소를 이용하여 계조를 갖게 하는 것이 가능해진다. 그 반면, 장축 화소가 포화하는 신에서는, 장축 화소로부터는 신호를 얻을 수가 없기 때문에, 해상도가 저하된다.
촬영한 화상의 예로, 통상 촬영 모드와 HDR 촬영 모드의 차이에 관해 더욱 설명한다.
예를 들면, 도 2에 도시되는 바와 같은 풍경을 피사체로서 촬영하는 경우를 생각한다. 도 2에 도시되는 피사체는, 상부의 영역이 태양광의 영향으로 밝은 영역(밝음부)이고, 하부의 영역이 나무 그늘로 비교적 어두운 영역(암부)이라고 한다.
도 3의 A는, 도 2의 피사체를 일반적인 통상 촬영 모드로 촬영한 화상을 도시하고, 도 3의 B는, 도 2의 피사체를 일반적인 HDR 촬영 모드로 촬영한 화상을 도시하고 있다.
도 3의 A의 통상 촬영 모드인 경우에는, 암부인 하부의 영역에 최적 노광량이 설정되고, 다이내믹 레인지가 충분하지 않기 때문에, 밝음부인 상부의 영역이 포화되어 있다.
이에 대해, 도 3의 B의 HDR 촬영 모드인 경우에는, 밝음부와 암부의 양쪽의 계조를 확보할 수 있게 되어 있다. 그러나, 도면에서는 나타나지 않지만, 밝음부인 상부 영역의 장축 화소는 포화되어 결락 화소로 되어 있고, 단축 화소만으로 표현되어 있기 때문에, 해상도는 저하되어 있다. 또한, 암부인 하부의 영역도, 단축 화소에서는 노이즈가 커지기 때문에, 단축 화소를 이용하지 않고 장축 화소만을 이용하도록 한 경우에는, 역시 해상도가 저하된다. 따라서 일반적으로, 다이내믹 레인지를 우선하는 것이라면, HDR 촬영 모드 쪽이 바람직하고, 해상도를 우선하는 것이라면, 통상 촬영 모드의 쪽이 바람직하다고 말할 수 있다.
본 개시에 관한 촬상 장치(1)는, 촬영 화상의 기록을 시작하기 전의 프리뷰 촬영에서는, HDR 촬영 모드를 실행하고, 촬영 화상을 기록하는 기록 촬영에서는, HDR 촬영 모드에서 취득한 노광량 정보를 이용하여, 통상 촬영 모드를 실행한다.
<2. 촬상 장치의 구성례>
도 4는, 본 개시에 관한 촬상 장치의 구성례를 도시하는 블록도이다.
광학 렌즈(11)는, 고체 촬상 소자(13)에 입사하는 피사체광의 초점 거리의 조정을 행한다. 광학 렌즈(11)의 후단에는, 고체 촬상 소자(13)에 입사하는 피사체광의 광량 조정을 행하는 조리개(도시 생략)가 마련되어 있다. 광학 렌즈(11)의 구체적인 구성은 임의이고, 예를 들면, 광학 렌즈(11)는 복수의 렌즈에 의해 구성되어 있어도 좋다.
광학 렌즈(11)를 투과한 피사체광은, 예를 들면, 적외광 이외의 광을 투과하는 IR 커트 필터 등으로서 구성되는 광학 필터(12)를 통하여 고체 촬상 소자(13)에 입사된다.
고체 촬상 소자(13)는, 복수의 화소가 2차원 배치된 화소군(화소 어레이부)을 가지며, 피사체광을 화소 단위로 전기 신호로 변환하고, 그 전기 신호를 A/D 변환부(14)에 공급한다.
고체 촬상 소자(13)는, 프리뷰 촬영시에는, 후술하는 3A 제어부(19)에 의해 HDR 촬영 모드로 설정되어 동작한다. 한편, 기록 촬영시에는, 고체 촬상 소자(13)는, 3A 제어부(19)에 의해 통상 촬영 모드로 설정되어 동작한다.
도 5의 A는, HDR 촬영 모드로 동작할 때의 고체 촬상 소자(13)의 상태를 도시하는 도면이고, 도 5의 B는, 통상 촬영 모드로 동작할 때의 고체 촬상 소자(13)의 상태를 도시하는 도면이다.
HDR 촬영 모드에서는, 도 5의 A에 도시되는 바와 같이, 장축 화소와 단축 화소가 2행 단위로 교대로 배치되도록, 베이어 배열로 배열된 각 화소에 대해 노광량이 설정된다.
한편, 통상 촬영 모드에서는, 도 5의 B에 도시되는 바와 같이, 베이어 배열로 배열된 각 화소에 대해 단일한 노광량이 설정된다. 또한, 통상 촬영 모드에서는, HDR 촬영 모드에서의 장축 화소에 대해 설정된 노광량이, 전 화소에 대해 일률적으로 설정된다.
도 4로 되돌아와, A/D 변환부(14)는, 고체 촬상 소자(13)로부터 공급되는 아날로그의 전기 신호(화소 신호)를 디지털의 화소 신호로 변환한다. A/D 변환부(14)는, A/D 변환 후의 디지털의 화소 신호를 클램프부(15)에 공급한다.
클램프부(15)는, A/D 변환부(14)로부터 출력되어 온 화소 신호로부터, 흑색이라고 판정되는 레벨인 흑레벨을 감산한다. 그리고, 클램프부(15)는, 흑레벨 감산후의 화소 신호를 메모리부(16)에 출력한다.
메모리부(16)는, 클램프부(15)로부터의 화소 신호(화소 데이터)를 일시적으로 기억한다. 그리고, 메모리부(16)는, 장축 화소의 화소 데이터(이하, 장노광 데이터라고도 한다.)를 장축단축 합성부(18) 및 디모자이크부(21)에 공급하고, 단축 화소의 화소 데이터(이하, 단노광 데이터라고도 한다.)를 배율 연산부(17)에 공급한다.
배율 연산부(17)는, 메모리부(16)로부터 공급되는 단노광 데이터를 노광비배(露光比倍)함에 의해, 단노광 데이터를 장노광 데이터의 감도로 배율 보정한다. 그리고, 배율 연산부(17)는, 배율 보정 후의 단노광 데이터를 장축단축 합성부(18)에 공급한다.
도 6은, 배율 연산부(17)에 의한 배율 보정 처리를 설명하는 도면이다.
도 6의 A는, 장노광 데이터와 단노광 데이터의 관계를 도시하고 있다. 장축 화소에서는 포화되어 버리는 경우에도, 단축 화소에서는, 노광량이 작기 때문에, 포화 레벨에 도달하지 않고, 포화되기 어렵게 되어 있다.
배율 연산부(17)는, 단노광 데이터에 장축과 단축의 노광비를 곱셈함에 의해, 도 6의 B에 도시되는 배율 보정 후의 단노광 데이터를 생성한다. 이에 의해, 하이 다이내믹 레인지의 신호가 생성된다. 또한, 배율 보정 후의 단노광 데이터의 경사는, 장노광 데이터의 경사와 동등하다.
도 4에 재차 되돌아와, 장축단축 합성부(18)는, HDR 촬영 모드에서는, 배율 연산부(17)로부터 공급되는 배율 보정 후의 단노광 데이터와, 메모리부(16)로부터 공급되는 장노광 데이터를 합성한다. 그리고, 장축단축 합성부(18)는, 합성의 결과 얻어지는 합성 데이터를, 3A 제어부(19), 동피사체(動被寫體) 검출부(20) 및 패턴 검출부(28)에 공급한다.
한편, 통상 촬영 모드에서는, 장축 화소의 노광량이 전 화소 일률적으로 설정되기 때문에, 전 화소의 화소치가, 장노광 데이터로서, 메모리부(16)로부터 장축단축 합성부(18)에 공급된다. 장축단축 합성부(18)는, 그 장노광 데이터를, 3A 제어부(19), 동피사체 검출부(20) 및 패턴 검출부(28)에 공급한다.
또한, 장축단축 합성부(18)로부터, 3A 제어부(19), 동피사체 검출부(20) 및 패턴 검출부(28)에 공급되는 합성 데이터 및 장노광 데이터는, 화소 단위의 데이터라도 좋고, 화소군을 복수의 블록으로 분할하고, 블록 내의 각 화소 데이터의 평균치 등, 블록 단위의 화소 데이터라도 좋다.
3A 제어부(19)는, HDR 촬영 모드에서는, 장축단축 합성부(18)로부터 공급되는 하이 다이내믹 레인지의 신호인 합성 데이터에 의거하여 3A 제어를 행한다. 한편, 통상 촬영 모드에서는, 3A 제어부(19)는, 장축단축 합성부(18)로부터 공급되는 장노광 데이터에 의거한 3A 제어를 행한다.
여기서, 3A 제어란, 자동 노광(AutoExposure), 오토 포커스(Auto Focus), 오토 화이트 밸런스(Auto White Balance)의 제어인 것을 말한다.
따라서 보다 구체적으로 말하면, 3A 제어부(19)는, 장축단축 합성부(18)로부터 공급되는 합성 데이터 등의 콘트라스트 정보에 의거하여 합초(合焦)하고 있는지의 여부를 판정하고, 그 판정 결과에 의거하여 광학 렌즈(11)를 구동하는 제어를 행한다. 또한, 3A 제어부(19)는, 장축단축 합성부(18)로부터 공급되는 합성 데이터 등에 의거하여 고체 촬상 소자(13)의 각 화소의 셔터 시간과 게인을 결정하고, 고체 촬상 소자(13)에 설정한다. 또한, 3A 제어부(19)는, 장축단축 합성부(18)로부터 공급되는 합성 데이터 등에 의거하여, 화이트 밸런스 등의 색 처리를 행하기 위한 색 제어 정보를 생성하고, LM/WB/감마 보정부(22)에 공급한다.
동피사체 검출부(20)는, 촬영 화상 중의 동피사체를 검출하는 처리를 실행하고, 그 검출 결과를 제어부(30)에 공급한다.
디모자이크부(21)는, 메모리부(16)로부터의 장노광 데이터에 대해 디모자이크 처리를 행함으로써 색정보의 보완 등을 행하여, RGB 데이터로 변환한다. 디모자이크부(21)는, 디모자이크 처리 후의 화상 데이터를 LM/WB/감마 보정부(22)에 공급한다.
LM/WB/감마 보정부(22)는, 디모자이크부(21)로부터의 화상 데이터에 대해, 3A 제어부(19)로부터의 색 제어 정보를 이용하여 색 특성의 보정을 행한다. 구체적으로는, LM/WB/감마 보정부(22)는, 규격으로 정하여진 원색(RGB)의 색도점(色度点)과 실제의 카메라의 색도점의 차를 메우기 위해, 매트릭스 계수를 이용하여 화상 데이터의 각 색 신호를 보정하고, 색 재현성을 변화시키는 처리를 행한다. 또한, LM/WB/감마 보정부(22)는, 화상 데이터의 각 채널의 값에 관해 흰색에 대한 게인을 설정함으로써, 화이트 밸런스를 조정한다. 또한, LM/WB/감마 보정부(22)는, 화상 데이터의 색과 출력 디바이스 특성과의 상대 관계를 조절하여, 보다 오리지널에 가까운 표시를 얻기 위한 감마 보정을 행한다. LM/WB/감마 보정부(22)는, 보정 후의 화상 데이터를 휘도 크로마 신호 생성부(23)에 공급한다.
휘도 크로마 신호 생성부(23)는, LM/WB/감마 보정부(23)로부터 공급된 화상 데이터로부터 휘도 신호(Y)와 색차 신호(Cr, Cb)를 생성한다. 휘도 크로마 신호 생성부(23)는, 휘도 크로마 신호(Y, Cr, Cb)를 생성하면, 그 휘도 신호와 색차 신호를, 디스플레이(24)와 기록 제어부(26)에 공급한다.
디스플레이(24)는, 예를 들면 LCD(Liquid Crystal Display)나 유기 EL(Electro Luminescence) 디스플레이 등의 디스플레이와, 그 디스플레이를 구동하는 디스플레이 드라이버 등으로 구성된다.
디스플레이(24)는, 휘도 크로마 신호 생성부(23)로부터 공급되는 화상 데이터(휘도 크로마 신호)에 의거한 화상을 표시한다. 환언하면, 디스플레이(24)는, 고체 촬상 소자(13)에서 촬영된 동화 또는 정지화를 표시한다. 디스플레이(24)에는, 터치 패널(25)이 중첩되어 있고, 유저의 손가락 등에 의한 디스플레이(24)에의 조작 입력을 검지할 수 있다. 터치 패널(25)에 의해 검출된 터치 입력 정보는, 제어부(30)에 공급된다.
기록 제어부(26)는, 부도시의 녹화 버튼 등이 조작되어, 기록의 시작이 지시된 경우에, 휘도 크로마 신호 생성부(23)로부터 공급되는 화상 데이터에 대해, 소정의 부호화 방식에 의한 압축 부호화 처리를 시행하여, 기록 매체(27)에 기록한다. 기록 매체(27)는, 예를 들면, 반도체 메모리, 자기 기록 매체, 광자기 기록 매체 등으로 구성되고, 압축 부호화된 촬영 화상의 화상 데이터를 기억(기록)한다.
패턴 검출부(28)는, 장축단축 합성부(18)로부터 공급되는 합성 데이터 등에 의거하여, 촬영 화상의 사이에, 메모리부(29)에 미리 등록되어 있는 패턴 화상이라고 일치하는 것이 있는지의 여부를 검출하고, 그 검출 결과를 제어부(30)에 공급한다. 메모리부(29)는, 패턴 검출부(28)에 의한 패턴 검출에 필요한, 얼굴이나 물체의 패턴 화상을 기억하고 있다.
제어부(30)는, 촬상 장치(1) 전체의 동작을 제어한다. 예를 들면, 제어부(30)는, 기록의 온 오프를 조작하는 녹화 버튼(부도시)의 조작에 의거하여, 프리뷰 촬영인지 기록 촬영인지를 판단하고, 통상 촬영 모드와 HDR 촬영 모드를 전환하는 제어 신호를 3A 제어부(19)에 공급한다. 3A 제어부(19)는, 제어부(30)로부터의 제어 신호에 의거하여, 고체 촬상 소자(13)의 각 화소에 대해, 통상 촬영 모드나 또는 HDR 촬영 모드에 응한 노광량을 설정한다.
또한, 제어부(30)는, 동피사체 검출부(20)로부터 공급되는 동피사체 정보, 터치 패널(25)로부터 공급되는 터치 입력 정보, 패턴 검출부(28)로부터 공급되는 패턴 검출 정보 등에 의거하여, 3A 제어의 대상 영역을 나타내는 3A 제어 영역 신호를 생성하고, 3A 제어부(19)에 공급한다.
구체적으로는, 제어부(30)는, 터치 패널(25)로부터 공급되는 터치 입력 정보에 의거하여, 촬영 화상 중에서 유저가 지정한 영역을 나타내는 정보를, 포커스나 노광량 등을 맞추는 3A 제어의 대상 영역으로서, 3A 제어부(19)에 공급한다.
또한 예를 들면, 제어부(30)는, 동피사체 검출부(20)로부터 공급되는 동피사체 정보에 의거하여, 촬영 화상에서 검출되는 소정의 물체가 존재하는 영역을 나타내는 정보를, 포커스나 노광량 등을 맞추는 3A 제어의 대상 영역으로서, 3A 제어부(19)에 공급한다.
또한, 제어부(30)는, 패턴 검출부(28)로부터 공급되는 패턴 검출 정보에 의거하여, 촬영 화상 내에서 검출된 유저의 얼굴의 영역을 나타내는 정보를, 포커스나 노광량 등을 맞추는 3A 제어의 대상 영역으로서, 3A 제어부(19)에 공급한다.
따라서 동피사체 검출부(20), 터치 패널(25) 및 패턴 검출부(28)는, 3A 제어(예를 들면, 노광량의 결정)를 행하는 대상의 영역이 되는 화소군의 소정의 영역을 특정하는 영역 특정부로서 기능한다.
또한, 제어부(30)가, 동피사체 정보, 터치 입력 정보 및 패턴 검출 정보를 어떻게 선택 또는 조합시켜서 사용하는지는 임의이다.
또한, 3A 제어부(19)나 제어부(30)는, 예를 들면, ROM(Read Only Memory)에 기억된 프로그램을 판독하여 CPU(Central Processing Unit)에 실행시킴에 의해 실현할 수 있고, 3A 제어부(19)와 제어부(30)를 하나의 제어부(제어 장치)로서 마련하는 것도 가능하다.
또한, 3A 제어부(19)나 제어부(30)는, 고체 촬상 소자(13)와 함께 원칩으로서 구성된 형태나, 광학 렌즈(11)나 광학 필터(12)와 함께 패키징된 촬상 모듈의 형태로 하는 것도 가능하다.
또한, 3A 제어부(19)나 제어부(30)는, 배율 연산부(17)나 장축단축 합성부(18) 등과 함께, 하나의 제어 장치로서 구성하는 것도 가능하다. 즉, 촬상 장치(1)의 각 구성은, 임의의 단위로 분할 또는 통합하고, 하나의 장치, 모듈, 칩 등으로서 구성할 수 있다.
촬상 장치(1)는, 이상과 같이 구성되어 있다.
<3. HDR 촬영 모드의 촬영 화상 데이터의 흐름>
도 7은, 촬상 장치(1)가 HDR 촬영 모드로 동작할 때의 촬영 화상 데이터의 흐름을 도시하고 있다.
고체 촬상 소자(13)에서 장축 화소와 단축 화소의 어느 하나에 설정되어 얻어진 각 화소의 화소 데이터가, 메모리부(16)에 공급되고, 기억된다.
그리고, 단축 화소의 화소 데이터인 단노광 데이터는, 메모리부(16)로부터 배율 연산부(17)에 공급되고, 배율 연산부(17)에서 배율 보정된 후, 장축단축 합성부(18)에 공급된다.
한편, 장축 화소의 화소 데이터인 장노광 데이터는, 메모리부(16)로부터 장축단축 합성부(18)와 디모자이크부(21)에 공급된다.
장축단축 합성부(18)에서는, 배율 보정 후의 단노광 데이터와 장노광 데이터가 합성되고, 그 결과 얻어진 합성 데이터가, 3A 제어부(19)에 공급된다. 따라서 HDR 촬영 모드에서는, 하이 다이내믹 레인지의 합성 데이터에 의거하여, 3A 제어가 실행된다.
또한, 동피사체 검출부(20)와 패턴 검출부(28)에도, 하이 다이내믹 레인지의 합성 데이터가 공급된다. 이에 의해, 통상, 포화되어 보이지 않는 영역에 동피사체나 유저의 얼굴 영역이 존재한 경우라도, 동피사체 검출부(20) 및 패턴 검출부(28)는, 그것들을 검출할 수 있다.
한편, 디모자이크부(21)에는, 메모리부(16)로부터, 장노광 데이터만이 공급된다. 따라서 프리뷰 촬영시에 디스플레이(24)에 표시되는 화상은, 도 8의 A에 도시되는 바와 같은 솎아내어진 신호에 의거한 화상이 된다.
프리뷰 촬영시에 디스플레이(24)에 표시되는 화상은, 솎아내어진 신호에 의거한 화상이라도 좋지만, 물론, 도 8의 B에 도시되는 바와 같다, 결락된 단축 화소의 화소 데이터를 보완한 화상을 표시하여도 좋다.
단축 화소의 화소 데이터를 보완하는 방법은, 주변의 화소 데이터로부터 바이리니어 보완 등으로 추정하는 방법도 있지만, 예를 들면, 단축 화소의 화소 데이터를 사용하여도 좋다. 이 경우, 장축단축 합성부(18)가, 배율 보정 후의 단노광 데이터와 장노광 데이터를 합성하는 합성 데이터를 디모자이크부(21)에 공급한다. 단, 3A 제어부(19) 등에 공급되는 합성 데이터와는 달리, 도 9에 도시하는 바와 같이, 포화 레벨 이상의 화소 데이터는 공급되지 않고, 장축 화소와 동일한 출력 범위 내에 클리핑된 합성 데이터가, 디스플레이 표시용의 신호로서, 장축단축 합성부(18)로부터 디모자이크부(21)에 공급된다.
예를 들면, 장축 화소의 화소 데이터가, 10비트의 1024계조로 연산되어 있다고 하면, 단축 화소의 배율 보정 데이터도 1024계조로 표현된다. 이것은, 단축 화소의 배율 보정 데이터라면, 도 6의 B에 도시한 바와 같이, 더욱 밝은 영역을 표현하는 것이 가능하지만, 기록 촬영시는 통상 촬영 모드로 동작하는 것을 전제로 하고 있기 때문에, 프리뷰 촬영과 기록 촬영에서, 디스플레이 표시용의 화소 신호의 다이내믹 레인지에 차를 주지 않도록 하기 위해서다. 이에 의해, 프리뷰 촬영시에 디스플레이(24)에 표시되는 화상과, 기록 촬영시에 디스플레이(24)에 표시된 화상에 차이가 생기지 않기 때문에, 기록 촬영시에 유저가 의도한 영상을 촬영, 기록할 수 있도록 된다.
도 10은, 촬상 장치(1)의 HDR 촬영 모드에 의한 화상 데이터의 개념도를 도시하고 있다.
도 10 상단은, 메모리부(16)에 입력되는 단축 화소와 장축 화소의 화상 데이터의 개념도를 도시하고 있다. 화소 신호의 연산 비트 수가 10비트인 경우, 단축 화소와 장축 화소의 모두 1024계조로 표현된다.
도 10 하단은, 장축단축 합성부(18)에서 합성 처리된 후의 합성 데이터의 개념도를 도시하고 있다. 합성 처리된 후의 합성 데이터는, 1024계조를 초과하는 하이 다이내믹 레인지로 표현된다.
단, 상술한 바와 같이, 1024계조를 초과하는 하이 다이내믹 레인지의 합성 데이터가 입력된 것은 3A 제어부(19)뿐이고, 디스플레이(24)에서는, 합성 데이터가 1024계조로 클리핑된 화상이 표시된다.
3A 제어부(19)에는, 1024계조를 초과하는 하이 다이내믹 레인지의 합성 데이터가 입력되어 있기 때문에, 예를 들면, 디스플레이(24)상의 표시에서는 클리핑되어 있는 영역이 3A 제어 대상 영역으로서 지정된 경우라도, 곧바로, 그 영역이 최적 노광이 되도록 3A 제어를 실행할 수 있다.
일반적인 HDR 촬영 모드에서는, 디스플레이(24)의 표시로서도, 1024계조를 초과하는 하이 다이내믹 레인지의 합성 데이터가 사용되기 때문에, 본 개시의 촬상 장치(1)에서는, 이 점이 일반적인 HDR 촬영 모드와는 다르다.
<4. 통상 촬영 모드의 촬영 화상 데이터의 흐름>
도 11은, 촬상 장치(1)가 통상 촬영 모드로 동작할 때의 촬영 화상 데이터의 흐름을 도시하고 있다.
통상 촬영 모드에서는, 고체 촬상 소자(13)의 전 화소가 동일한 노광량으로 설정된다. 본 실시의 형태에서는, 상술한 바와 같이, 고체 촬상 소자(13)의 전 화소가, 프리뷰 촬영시의 최적 노광량인 장축 화소의 노광량으로 설정되기 때문에, 메모리부(16)에는, 장노광 데이터가 기억된다.
그리고, 메모리부(16)에 기억된 장노광 데이터는, 장축단축 합성부(18)와 디모자이크부(21)에 공급된다.
장축단축 합성부(18)는, 메모리부(16)로부터 공급된 장노광 데이터를, 그대로, 3A 제어부(19), 동피사체 검출부(20) 및 패턴 검출부(28)에 공급한다. 따라서 통상 촬영 모드에서는, 전 화소에서 노광량을 통일하여 얻어진 화상 데이터에 의거하여, 3A 제어가 실행된다.
또한, 디모자이크부(21)에도, 전 화소가 장축 화소의 노광량으로 설정되어 얻어진 화상 데이터가 공급되기 때문에, 최적 노광량으로 설정된 고해상도의 화상이 디스플레이(24)에 표시됨과 함께, 기록 매체(27)에 기록된다.
<일반적인 통상 촬영 모드 및 HDR 촬영 모드와의 비교>
도 12를 참조하여, 본 개시의 촬상 장치(1)와, 일반적인 통상 촬영 모드 및 HDR 촬영 모드를, 다시 비교 설명한다.
일반적인 통상 촬영 모드에서는, 프리뷰 촬영시에 디스플레이(24)에 표시되는 표시 화상, 3A 제어에 사용되는 신호 및, 기록 촬영시에 디스플레이(24)에 표시되는 표시 화상(기록 화상도 같음)의 어느 것이나, 해상도는 높지만 다이내믹 레인지가 좁은 화상이 된다.
역으로, 일반적인 HDR 촬영 모드에서는, 프리뷰 촬영시에 디스플레이(24)에 표시되는 표시 화상, 3A 제어에 사용되는 신호 및, 기록 촬영시에 디스플레이(24)에 표시되는 표시 화상의 어느 것이나, 다이내믹 레인지는 넓지만, 해상도를 희생으로 한 화상이 된다.
이에 대해, 촬상 장치(1)에서는, 프리뷰 촬영에서는, 일반적인 HDR 촬영 모드와 같은 구동으로 고체 촬상 소자(13)를 제어하고, 3A 제어에는 일반적인 HDR 촬영 모드와 같은 하이 다이내믹 레인지의 신호를 사용하지만, 디스플레이(24)에 표시되는 표시 화상으로서는 장축 화소의 신호만이 사용된다. 그리고, 기록 촬영시도, 장축 화소의 신호에 의거한 화상을 디스플레이(24)에 표시하기 때문에, 촬상 장치(1)에서는, 프리뷰 촬영의 표시 화상과, 기록 촬영의 표시 화상의 겉보기가 변하지 않는다는 특징이 있다.
또한, 촬상 장치(1)에서는, 3A 제어에는 하이 다이내믹 레인지의 신호를 사용하기 때문에, 예를 들면, 일반적인 통상 촬영 모드에서는 포화되어 있는 영역이 3A 제어 대상 영역으로서 유저에 의해 터치 입력된 경우라도, 터치 위치의 적절한 노광량을 즉석에서 연산하고, 제어할 수 있다.
그리고, 기록 촬영이 시작된 경우에는, 그 적절한 노광량이 전 화소에 대해 설정되기 때문에, 해상도가 높은 화상을 표시, 기록할 수 있다.
따라서 촬상 장치(1)에 의하면, 명암차가 심한 신을 촬영하는 경우라도, 프리뷰 촬영에서, 노광량이나 포커스 등을 순식간에 최적치로 설정할 수 있음과 함께, 일반적인 HDR 촬영 모드에서 발생하고 있던 기록 촬영 화상의 해상도가 낮다는 문제도 해결할 수 있다.
환언하면, 촬상 장치(1)는, 화상을 남기지 않는 프리뷰 촬영에서는, 다이내믹 레인지가 넓은 화소 신호를 사용하는 제어를 행하고, 화상을 남기는 기록 촬영에서는, 단일한 노광량으로 설정하여 해상도를 올리는 제어를 행한다.
<5. 촬영 처리의 흐름>
도 13은, 촬상 장치(1)에 의한 촬영 처리의 흐름을 도시하고 있다.
프리뷰 촬영에서, 다이내믹 레인지가 좁은(클리핑된) 화상(51)이 디스플레이(24)에 표시된다.
그리고, 예를 들면, 유저가, 디스플레이(24)에 표시된 화상(51) 중에서, 포화되어 있는 영역(화소)(52)을 3A 제어 대상 영역으로서 터치하였다고 한다. 이 때, 터치 패널(25)에서 검출된 터치 위치가 제어부(30)를 통하여 3A 제어부(19)에 공급된다.
3A 제어부(19)에는, 합성 데이터에 의거한 하이 다이내믹 레인지의 신호가 공급되고 있기 때문에, 3A 제어부(19)는, 디스플레이(24)상에서는 표시되지 않은 영역(52)의 적절한 3A 제어량을 연산할 수 있고, 터치 위치가 적정한 노광량, 포커스 위치 및 화이트 밸런스로 되도록 제어한다. 이에 의해, 노광량, 포커스 위치 등이 터치 위치에 맞추어서 적절하게 설정된 화상(53)이, 디스플레이(24)에 표시된다.
그리고, 녹화 버튼이 압하되면, 적절하게 설정된 노광량을 전 화소에 적용한 동화상(화상(54-1, 54-2, 54-3, …))이 촬영되고, 디스플레이(24)에 표시됨과 함께, 기록 매체(27)에 기록된다.
일반적인 통상 촬영 모드에서는, 터치 위치가 포화되어 있는 경우, 그 개소가 어느 정도의 축적 시간이면 포화하지 않게 되는지라는 정보가 전혀 없기 때문에, 서서히 노광량을 내려갈 수밖에 없기 때문에, 노광량을 적정치로 할 때까지 시간이 걸리고 있다.
본 개시의 촬상 장치(1)에서는, 상술한 바와 같이, 3A 제어에는 합성 데이터에 의거한 하이 다이내믹 레인지의 신호를 사용하고 있기 때문에, 터치 위치가 디스플레이(24) 다음 포화되어 있는 경우라도, 고속이면서 정확하게, 적정한 노광량을 설정할 수 있고, 포커스도 맞출 수 있다.
환언하면, 본 개시의 촬상 장치(1)에서는, 프리뷰 촬영의 3A 제어에만, 합성 데이터에 의거한 하이 다이내믹 레인지의 신호를 적용함으로써, 고속이면서 정확하게, 적정한 노광량을 설정할 수 있고, 포커스도 맞출 수 있다.
<6. 프리뷰 촬영 처리의 처리 플로>
다음에, 도 14의 플로 차트를 참조하여, 촬상 장치(1)의 프리뷰 촬영시의 처리인 프리뷰 촬영 처리에 관해 설명한다. 예를 들면, 촬상 장치(1)의 전원이 투입된 때, 도 14의 처리가 시작된다.
처음에, 스텝 S1에서, 3A 제어부(19)는, 제어부(30)로부터의 지령에 의거하여, 고체 촬상 소자(13)를 HDR 촬영 모드로 구동시킨다. 고체 촬상 소자(13)는 HDR 촬영 모드에 의한 구동을 시작한다. HDR 촬영 모드에서는, 도 5의 A에 도시한 바와 같이, 장축 화소이거나 또는 단축 화소의 어느 하나가 되도록 노광량이 설정되고, 촬영된 화소 데이터가 메모리부(16)에 공급된다.
스텝 S2에서, 메모리부(16)는, 단노광 데이터(단축 화소의 화소 데이터)를 배율 연산부(17)에 공급하고, 장노광 데이터(장축 화소의 화소 데이터)를 장축단축 합성부(18)와 디모자이크부(21)에 공급한다.
스텝 S3에서, 배율 연산부(17)는, 메모리부(16)로부터 공급되는 단노광 데이터를 노광비배하고, 배율 보정 후의 단노광 데이터를 장축단축 합성부(18)에 공급한다.
스텝 S4에서, 장축단축 합성부(18)는, 배율 연산부(17)로부터 공급되는 배율 보정 후의 단노광 데이터와, 메모리부(16)로부터 공급된 장노광 데이터를 합성한다.
그리고, 스텝 S5에서, 장축단축 합성부(18)는, 합성의 결과 얻어진 합성 데이터를, 3A 제어부(19), 동피사체 검출부(20) 및 패턴 검출부(28)에 공급한다.
스텝 S6에서, 3A 제어부(19)는, 하이 다이내믹 레인지의 신호인 합성 데이터에 의거하여, 3A 제어를 행한다.
스텝 S7에서, 디스플레이(24)는, 장노광 데이터에 의거한 화상을 표시한다. 또한, 스텝 S7의 처리는, 상술한 스텝 S3 내지 S6의 처리와 병행하여 실행할 수 있다.
스텝 S8에서, 제어부(30)는, 터치 패널(25)로부터의 터치 입력 정보에 의거하여, 디스플레이(24)에 유저의 터치가 있었는지 여부를 판정한다.
스텝 S8에서, 유저의 터치가 없다고 판정된 경우, 처리는 스텝 S1로 되돌아와, 그 이후의 처리가 재차 실행된다. 즉, 합성 데이터에 의거한 3A 제어와, 장노광 데이터에 의거한 화상의 디스플레이(24)에의 표시가 계속된다.
한편, 스텝 S8에서, 유저의 터치가 있다고 판정된 경우, 처리는 스텝 S9로 진행하고, 제어부(30)는, 터치 패널(25)로부터의 터치 입력 정보에 의거하여, 터치 위치를 나타내는 3A 제어 대상 영역 신호를, 3A 제어부(19)에 출력한다.
스텝 S10에서, 3A 제어부(19)는, 취득한 3A 제어 대상 영역 신호에 의거하여, 터치 위치는 장축 화소가 포화되어 있는 영역인지를 판정한다.
스텝 S10에서, 터치 위치가 장축 화소가 포화되어 있는 영역이라고 판정된 경우, 처리는 스텝 S11로 진행하고, 3A 제어부(19)는, 터치 위치 주변의 단노광 데이터를 이용하여 3A 제어를 행한다.
3A 제어부(19)는, 예를 들면, 이하의 계산식에 의해, 단축 화소의 화소 데이터를 이용하여, 최적의 노광량을 순식간에 계산할 수 있다.
최적 노광량(Y)<포화 신호치(a)÷(단축 화소치(b)×노광비(c))×장축 노광량(d)
또한, 최적의 노광량의 계산식은, 상기한 계산식으로 한정되지 않고, 임의의 계산식을 채용할 수 있다.
한편, 스텝 S10에서, 터치 위치가 장축 화소가 포화되어 있는 영역이 아니라고 판정된 경우, 처리는 스텝 S12로 진행하고, 3A 제어부(19)는, 터치 위치의 장노광 데이터를 이용하여 3A 제어를 행한다.
스텝 S11 및 스텝 S12의 처리에서는, 장축 화소의 노광량이, 최적의 노광량으로 설정된다. 단축 화소의 노광량은, 미리 설정한 임의의(고정의) 노광량, 또는, 최적치로 설정된 장축 화소의 노광량에 대해 소정의 노광비로 구한 노광량으로 할 수 있다.
스텝 S13에서, 제어부(30)는, 녹화 버튼이 압하되었는지의 여부를 판정한다. 스텝 S13에서, 녹화 버튼이 아직 압하되지 않았다고 판정된 경우, 처리는 스텝 S1로 되돌아와, 상술한 처리가 반복된다.
한편, 스텝 S13에서, 녹화 버튼이 압하되었다고 판정된 경우, 처리는 스텝 S14로 진행하고, 제어부(30)는, 촬영 모드를, HDR 촬영 모드로부터 통상 촬영 모드로 변경하고, 고체 촬상 소자(13)가 통상 촬영 모드에 의한 구동을 시작하고, 프리뷰 촬영 처리를 종료한다.
또한, 통상 촬영 모드가 시작되면, HDR 촬영 모드에서 고체 촬상 소자(13)의 장축 화소에 설정되어 있던 노광량이, 모든 화소에 대해 설정된다.
<7. 변형례>
상술한 예에서는, 프리뷰 촬영시의 HDR 촬영 모드에서는 장축 화소의 화소 데이터를 디스플레이(24)에 공급하고, 기록 촬영시의 통상 촬영 모드에서는, 장축 화소의 노광량으로 전 화소의 노광량을 통일하도록 하였지만, 단축 화소의 화소 데이터를 사용하도록 하여도 좋다. 즉, 프리뷰 촬영시의 HDR 촬영 모드에서는 단축 화소의 화소 데이터를 디스플레이(24)에 공급하고, 기록 촬영시의 통상 촬영 모드에서는, 단축 화소의 노광량으로 전 화소의 노광량을 통일하도록 하여도 좋다. 이 경우, 상술한 스텝 S11 및 S12의 처리에서 최적의 노광량으로 설정되는 것이, 단축 화소로 된다.
단축 화소의 화소 데이터를 이용하는 경우에는, 단축 화소는 포화되기 어렵기 때문에, 3A 제어에도 포화하지 않는 신호를 사용할 수 있다. 그러나, 단축 화소의 화소 데이터는, 축적 시간이 짧기 때문에 노이즈가 크기(S/N비가 작기) 때문에, 3A 제어를 행하는데 있어서, 예를 들면, 콘트라스트로부터 포커스 위치를 맞추는 AF 방식 등에 폐해를 발생시킨다. 따라서 장축 화소가 포화하지 않은 영역에서는, 도 14의 플로 차트에서 설명한 바와 같이, 노이즈가 작은(S/N비가 큰) 장축 화소를 이용하여 3A 제어(콘트라스트 AF 등)를 행하는 것이 바람직하다.
상술한 실시의 형태에서는, 프리뷰 촬영시의 HDR 촬영 모드에서의 노광량의 종류가, 단축과 장축의 2종류로 하였지만, HDR 촬영 모드에서의 노광량의 종류는, 3 이상의 종류로 할 수 있다. 그 경우, 기록 촬영시의 통상 촬영 모드에서의 노광량의 종류는, 프리뷰 촬영시의 HDR 촬영 모드에서의 노광량의 종류보다도 적은 종류가 된다.
예를 들면, 촬상 장치(1)는, 프리뷰 촬영시의 HDR 촬영 모드에서는, 노광량 +, 노광량 ++, 노광량 +++, 노광량 ++++의 4종류의 노광량을 이용한 3A 제어를 행한다. 여기서, 「+」는 일정한 노광량을 나타내고, 「+」의 개수가 많을수록, 노광량이 큰 것을 나타낸다.
이 경우, 프리뷰 촬영에서는, 촬상 장치(1)는, 노광량 +++와 노광량 ++++의 노광량이 큰 2종류의 화소 데이터를 이용한 화상을 디스플레이(24)에 표시한다. 그리고, 촬상 장치(1)는, 노광량 +++와 노광량 ++++의 화소가 최적의 노광량이 되도록 3A 제어를 행한다. 그 후, HDR 촬영 모드로부터 통상 촬영 모드로 변경한 때에는, 촬상 장치(1)는, 전 화소의 노광량을 노광량 +++이나 또는 노광량 ++++로에 설정하여 얻어진 화상을 기록 매체(27)에 기록한다.
이상과 같이, 촬상 장치(1)는, 프리뷰 촬영시의 HDR 촬영 모드에서는, 복수 종류의 노광량을 화소군에 설정하고, 기록 촬영시의 통상 촬영 모드에서는, 프리뷰 촬영시의 노광량의 적어도 하나를 포함하고, HDR 촬영 모드보다도 적은 종류의 노광량을 화소군에 설정할 수 있다. 이와 같은 경우에서도, 기록 촬영시에는, 프리뷰 촬영시보다도 노광량의 종류가 감소하여 해상도가 향상하기 때문에, 해상감(解像感)을 프리뷰 촬영시보다도 높일 수 있다.
또한, 프리뷰 촬영시의 HDR 촬영 모드에서의 단축 화소와 장축 화소의 배열 방법도, 도 5의 A에 도시한 배열로 한정되지 않고, 임의이다. 예를 들면, 도 1에 도시한 배열(P1이나 P2)과 같은 배열 방법이라도 좋다. 나아가서는, 일본 특개2010-28423호 공보에 기재와 같은, 2×2화소를 1단위화소로서 간주하는 배열이라도 좋다.
또한, 상술한 예에서는, 3A 제어 중, 노광량(AE)의 제어에 관해 주로 설명하였지만, 오토 포커스 제어나, 오토 화이트 밸런스 제어에 대해서도 마찬가지로 제어할 수 있음은 말할 필요도 없다.
또한, 오토 포커스 제어는, 단축 화소의 콘트라스트 정보를 이용하여 행하여도 좋고, 도 15에 도시하는 3×3화소의 중앙부에 배열되어 있는 바와 같은, 화소의 일부가 차광된 위상차 화소를 고체 촬상 소자(13)의 화소군에 혼재시켜, 위상차 화소로부터의 신호를 사용하여, 3A 제어부(19)가 오토 포커스 제어를 행하도록 하여도 좋다.
위상차 화소는, 일부가 차광되어 있기 때문에, 장축 화소로서 노광량이 설정되어 있다고 하여도 통상 화소보다도 포화되기 어렵지만, 가령 포화되어 있던 경우에는, 단축 화소로서 노광량이 설정되어 있는 위상차 화소를 이용하여 오토 포커스 제어를 행하면 좋다. 또한, 위상차 화소의 신호를 사용한 오토 포커스 제어의 방법에 관해서는, 예를 들면 일본 특개2010-160313호 공보에 기재되어 있다.
노광량이 큰 장축 화소에서는, 형광등이라도 태양이라도 포화되어 버리는데, 단축 화소는 어느 정도의 밝기(예를 들면 형광등)라면 포화하지 않도록 설정할 수 있다. 즉, 광원의 발광원 부근까지의 신호를 얻을 수 있기 때문에(광원으로부터 떨어질 수록, 복수의 광원의 색이 섞여 추정이 어려워진다), 그 광원의 RGB비로부터, 보다 정확하게 광원을 추정하는 것이 가능해진다. 3A 제어부(19)는, 광원 추정한 결과에 의거하여, 오토 화이트 밸런스를 적정하게 제어할 수 있다. 예를 들면, 광원이 난색계(暖色系) 백열 전구라면, 적색을 약간 강하게 한 화이트 밸런스로 하여, 기억색(記憶色)에 접근하는 등의 제어를 행할 수가 있다.
<8. 전자 기기에의 적용례>
상술한 촬상 장치(1)의 촬상 기능은, 예를 들면, 디지털 스틸 카메라나 비디오 카메라, 촬상 기능을 갖는 스마트 폰(다기능 휴대 전화기) 등의 휴대 단말, 캡슐 내시경, 안경에 촬상 기능이 부가된 안경형 촬상 장치 등의 전자 기기 전반에 대해 적용 가능하다.
이하에, 촬상 장치(1)의 촬상 기능을 적용하기 전자 기기의 구체례에 관해 설명한다. 또한, 촬상 장치(1)의 촬상 기능이란, 고체 촬상 소자(13)의 화소 신호를 생성하는 기능과, 배율 연산부(17), 장축단축 합성부(18), 3A 제어부(19), 디모자이크부(21), 제어부(30) 등이 행하는, 생성한 화소 신호를 사용하여 제어를 행하는 기능을 말한다.
<칩 형태의 촬상 장치>
도 16은, 촬상 장치(1)의 촬상 기능을 칩 형태로 한 구성례를 도시하고 있다. 즉, 촬상 장치(1)의 촬상 기능은, 도 16에서 촬상 장치(101 내지 103)로서 나타내는 바와 같은 칩 형태의 구성으로 할 수 있다.
도 16 상단에 도시되는 촬상 장치(101)는, 하나의 반도체 칩(121) 내에, 화소군이 형성되어 있는 화소 영역(122)과, 화소군에 제어 신호를 공급하는 제어 회로(123)와, 상술한 3A 제어부(19)나 제어부(30)의 신호 처리 회로를 포함하는 로직 회로(124)를 탑재하여 구성된다.
도 16 중단에 도시되는 촬상 장치(102)는, 제1의 반도체 칩부(131)와 제2의 반도체 칩부(132)로 구성된다. 제1의 반도체 칩부(131)에는, 화소 영역(133)과 제어 회로(134)가 탑재되고, 제2의 반도체 칩부(132)에는, 상술한 3A 제어부(19)나 제어부(30)의 신호 처리 회로를 포함하는 로직 회로(135)가 탑재된다. 그리고, 제1의 반도체 칩부(131)와 제2의 반도체 칩부(132)가 상호 전기적으로 접속됨으로써, 하나의 반도체 칩으로서의 촬상 장치(102)가 구성된다.
도 16 하단에 도시되는 촬상 장치(103)는, 제1의 반도체 칩부(141)와 제2의 반도체 칩부(142)로 구성된다. 제1의 반도체 칩부(141)에는, 화소 영역(143)이 탑재되고, 제2의 반도체 칩부(142)에는, 제어 회로(144)와, 상술한 3A 제어부(19)나 제어부(30)의 신호 처리 회로를 포함하는 로직 회로(145)가 탑재된다. 그리고, 제1의 반도체 칩부(141)와 제2의 반도체 칩부(142)가 상호 전기적으로 접속됨으로써, 하나의 반도체 칩으로서의 촬상 장치(103)가 구성된다.
<캡슐 내시경에의 적용례>
도 17은, 촬상 장치(1)의 촬상 기능을 탑재한 캡슐 내시경의 단면 구성을 도시하는 도면이다.
도 17의 캡슐 내시경(200)은, 예를 들면 양단면이 반구형상이고 중앙부가 원통형상의 몸체(210) 내에, 체강(體腔) 내의 화상을 촬영하기 위한 카메라(초소형 카메라)(211), 카메라(211)에 의해 촬영된 화상 데이터를 기록하기 위한 메모리(212) 및, 캡슐 내시경(200)이 피험자의 체외에 배출된 후에, 기록된 화상 데이터를 안테나(214)를 통하여 외부에 송신하기 위한 무선 송신기(213)를 구비하고 있다.
또한, 몸체(210) 내에는, CPU(215) 및 코일(자력·전류 변환 코일)(216)이 마련되어 있다.
CPU(215)는, 카메라(211)에 의한 촬영 및 메모리(212)에의 데이터 축적 동작을 제어함과 함께, 메모리(212)로부터 무선 송신기(213)에 의한 몸체(210) 밖의 데이터 수신 장치(도시 생략)에의 데이터 송신을 제어한다.
코일(216)은, 카메라(211), 메모리(212), 무선 송신기(213), 안테나(214) 및 후술하는 광원(211b)에의 전력 공급을 행한다.
또한, 몸체(210)에는, 캡슐 내시경(200)을 데이터 수신 장치에 세트한 때에, 이것을 검지하기 위한 리드(자기) 스위치(217)가 마련되어 있다. 이 리드 스위치(217)가 데이터 수신 장치에의 세트를 검지하고, 데이터의 송신이 가능해진 시점에서, 코일(216)로부터 무선 송신기(213)에의 전력 공급이 시작된다.
카메라(211)는, 예를 들면 체강 내의 화상을 촬영하기 위한 대물 광학계를 포함하는 고체 촬상 소자(211a)와, 체강 내를 조명하는 복수(여기서는 2개)의 광원(211b)을 갖고 있고, 광원(211b)은, 예를 들면 LED(Light Emitting Diode)로 구성된다.
고체 촬상 소자(211a)는, 도 4의 고체 촬상 소자(13)에 대응하고, CPU(215)는, 도 4의 3A 제어부(19)나 제어부(30)에 대응하는 제어를 행한다.
<스마트 폰에의 적용례>
도 18은, 촬상 장치(1)의 촬상 기능을 탑재한 스마트 폰의 외관 구성을 도시하는 도면이다.
스마트 폰(300)은, 스피커(311), 디스플레이(312), 조작 버튼(313), 마이크로폰(314), 촬상부(315) 등을 갖고 있다.
스마트 폰(300)에서 전화 기능이 실행되는 경우, 마이크로폰(314)으로부터 취득된 송화 음성이 통신부(도시 생략)를 통하여 기지국에 송신되고, 상대로부터의 수화 음성이, 통신부로부터 스피커(311)에 공급되어 음향 재생된다.
디스플레이(312)는, 예를 들면 LCD(Liquid Crystal Display)로 이루어지고, 전화 대기 화면 등의 소정의 화면을 표시한다. 디스플레이(312)에는, 터치 패널이 중첩되어 있고, 유저의 손가락 등에 의한 디스플레이(312)에의 조작 입력을 검지할 수 있다. 스마트 폰(300)은, 검지된 유저의 조작 입력에 응하여, 소정의 처리, 예를 들면, 촬영 기능의 실행 등을 할 수가 있다.
촬상부(315)는, 고체 촬상 소자와 광학 렌즈 등으로 이루어지고, 피사체를 촬상하고, 그 결과 얻어지는 화상 데이터를 내부 메모리 등에 기억한다. 촬상부(315)의 고체 촬상 소자가, 도 4의 고체 촬상 소자(13)에 대응하고, 3A 제어부(19)나 제어부(30)는, 스마트 폰(300) 내에 마련된 CPU로 실현된다.
<안경형 촬상 장치에의 적용례>
도 19는, 촬상 장치(1)의 촬상 기능을 탑재한 안경형 촬상 장치의 구성례를 도시하고 있다.
도 19의 안경형 촬상 장치(400)는, 프레임(411) 중앙부에 부착된 고체 촬상 소자(412)와, 안경 렌즈(413)를 고정함과 함께, 고체 촬상 소자(412)를 구동 제어한 화상 신호 처리 회로가 내장된 몸체(414)를 포함한다.
고체 촬상 소자(412)는 도 4의 고체 촬상 소자(13)에 대응하고, 몸체(414) 내에 마련된 화상 신호 처리 회로는, 도 4의 3A 제어부(19) 및 제어부(30)의 제어 기능을 구비하고, 유저의 안구의 움직임을 검지하고, 안구 방향(움직임)에 맞추어서, 3A 제어를 행한다.
고체 촬상 소자(412)로 촬영된 화상 데이터는, 통신 케이블(415)을 통하여, 외부 회로에 송신된다. 물론, 안경형 촬상 장치(400)가 무선 통신 기능을 구비하고, 무선 통신에 의해 화상 데이터를 송신하도록 하여도 좋다. 또한, 고체 촬상 소자(412)로 촬영된 화상은, 안경 렌즈(413)에 투영되도록 하여도 좋다.
본 개시의 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 여러 가지의 변경이 가능하다.
예를 들면, 상술한 복수의 실시의 형태의 전부 또는 일부를 조합시킨 형태를 채용할 수 있다.
상술한 예에서는, 고체 촬상 소자(13)의 화소군이 베이어 배열에 의해 배열되어 있는 것으로 하여 설명하였지만, 클리어 비트 배열 등의 그 밖의 배열로 배치되어 있어도 좋다. 또한, 컬러 필터에 대해서도 R, G, B만이 아니고, 화이트 필터(W)나 적외 필터(IR) 등을 포함하는 것이라도 좋다. 또한, 고체 촬상 소자(13)는, 이면 조사형 및 표면 조사형의 고체 촬상 소자라도 좋고, 일본 특개2011-29337호 공보에 개시되어 있는 바와 같은, 유기 광전 변환막과 무기 광전 변환층을 종방향으로 적층한 종방향 분광형의 고체 촬상 소자라도 좋다.
또한, 본 명세서에서, 플로 차트에 기술된 스텝은, 기재된 순서에 따라 시계열적으로 행하여지는 경우는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬로, 또는 호출이 행하여진 때 등의 필요한 타이밍에서 실행되어도 좋다.
본 명세서에 기재된 효과는 어디까지나 예시이고 한정되는 것이 아니고, 본 명세서에 기재된 것 이외의 효과가 있어도 좋다.
또한, 본 개시는 이하와 같은 구성도 취할 수 있다.
(1) 복수의 화소가 2차원 배치된 화소군의 노광량을 제어하는 제어부를 구비하고,
상기 제어부는, 촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 상기 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량을 상기 화소군에 설정하는 제어 장치.
(2) 상기 제어부는, 상기 제1의 모드에서 상기 화소군에 설정한 상기 복수 종류의 노광량 중의 적어도 하나를, 상기 제2의 모드에서 상기 화소군에 설정하는 상기 (1)에 기재된 제어 장치.
(3) 상기 제어부는, 상기 제1의 모드에서, 포화 화소의 화소 신호를 사용하지 않고, 비포화 화소의 화소 신호를 사용하여 구한 상기 노광량을 상기 화소군에 설정하는 상기 (1) 또는 (2)에 기재된 제어 장치.
(4) 상기 제어부는, 상기 복수 종류의 노광량의 화소 신호 중, S/N비가 큰 쪽의 상기 비포화 화소의 화소 신호를 사용하여 구한 상기 노광량을 상기 화소군에 설정하는 상기 (3)에 기재된 제어 장치.
(5) 상기 제어부는, 상기 제1의 모드에서, 상기 복수 종류의 노광량의 화소 신호 중, 하이 다이내믹 레인지의 화소 신호를 사용하여 구한 상기 노광량을 설정하는 상기 (1) 내지 (4)의 어느 하나에 기재된 제어 장치.
(6) 상기 제어부는, 디스플레이 표시용의 화소 신호보다도 상기 하이 다이내믹 레인지의 화소 신호를 사용하여 구한 상기 노광량을 설정하는 상기 (5)에 기재된 제어 장치.
(7) 상기 노광량을 결정하는 대상의 영역이 되는 상기 화소군의 소정의 영역을 특정하는 영역 특정부를 또한 구비하고,
상기 제어부는, 상기 영역 특정부에 의해 특정된 영역의 상기 하이 다이내믹 레인지의 화소 신호를 사용하여 구한 상기 노광량을 설정하는 상기 (5)에 기재된 제어 장치.
(8) 상기 영역 특정부는, 상기 노광량을 결정하는 대상의 영역이 되는 상기 소정의 영역으로서, 상기 촬영 화상 내의 유저의 얼굴의 영역을 특정하는 상기 (7)에 기재된 제어 장치.
(9) 상기 영역 특정부는, 상기 노광량을 결정하는 대상의 영역이 되는 상기 소정의 영역으로서, 상기 촬영 화상 내의 유저가 지정한 영역을 특정하는 상기 (7)에 기재된 제어 장치.
(10) 상기 영역 특정부는, 상기 노광량을 결정하는 대상의 영역이 되는 상기 소정의 영역으로서, 상기 촬영 화상 내의 소정의 물체가 존재하는 영역을 특정하는 상기 (7)에 기재된 제어 장치.
(11) 상기 제어부는, 상기 제1의 모드에서는, 2종류의 노광량을 상기 화소군에 설정하고, 상기 제2의 모드에서는, 1종류의 노광량을 상기 화소군에 설정하는 상기 (1) 내지 (10)의 어느 하나에 기재된 제어 장치.
(12) 노광량의 작은 화소의 화소 신호를 노광비배함에 의해 배율 보정한 화소 신호와, 노광량의 큰 화소의 화소 신호를 합성하는 합성부를 또한 구비하고,
상기 합성부는, 상기 제1의 모드에서는, 상기 배율 보정한 화소 신호와, 상기 노광량의 큰 화소의 화소 신호를 합성하여 상기 제어부에 공급하고, 상기 제2의 모드에서는, 1종류의 노광량의 화소 신호를 상기 제어부에 공급하는 상기 (11)에 기재된 제어 장치.
(13) 노광량의 작은 화소의 화소 신호를 노광비배함에 의해 배율 보정한 화소 신호와, 노광량의 큰 화소의 화소 신호를 합성하는 합성부를 또한 구비하고,
상기 합성부는, 상기 제1의 모드에서는, 상기 배율 보정한 화소 신호와, 상기 노광량의 큰 화소의 화소 신호를 합성한 신호를, 상기 제2의 모드의 표시 계조로 클리핑한 신호를, 디스플레이 표시용의 신호로서 출력하는 상기 (1) 내지 (12)의 어느 하나에 기재된 제어 장치.
(14) 상기 제어부는, 상기 제1의 모드에서, 상기 합성부에 의해 합성된 상기 신호에 의거하여, 오토 포커스 제어도 행하는 상기 (12)에 기재된 제어 장치.
(15) 상기 제어부는, 상기 제1의 모드에서, 상기 합성부에 의해 합성된 상기 신호에 의거하여, 화이트 밸런스를 위한 색 제어 정보도 생성하는 상기 (12) 또는 (14)에 기재된 제어 장치.
(16) 상기 화소군에는, 위상차 화소가 포함되어 있고,
상기 제어부는, 상기 위상차 화소의 화소 신호를 사용하여, 오토 포커스 제어도 행하는 상기 (1) 내지 (15)의 어느 하나에 기재된 제어 장치.
(17) 복수의 화소가 2차원 배치된 화소군의 노광량을 제어하는 제어 장치가,
촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 상기 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량을 상기 화소군에 설정하는 제어 방법.
(18) 복수의 화소가 2차원 배치된 화소군을 구비하는 고체 촬상 소자와,
촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 상기 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량을 상기 화소군에 설정한 제어부를 구비하는 전자 기기.
1 : 촬상 장치 13 : 고체 촬상 소자
16 : 메모리부 17 : 배율 연산부
18 : 장축단축 합성부 19 : 3A 제어부
24 : 디스플레이 25 : 터치 패널
26 : 기록 제어부 27 : 기록 매체
30 : 제어부 101 내지 103 : 촬상 장치
200 : 캡슐 내시경 300 : 스마트 폰
400 : 안경형 촬상 장치

Claims (18)

  1. 복수의 화소가 2차원 배치된 화소군의 노광량을 제어하는 제어부를 구비하고,
    상기 제어부는, 촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 상기 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량을 상기 화소군에 설정하며,
    상기 제1의 모드는 노광량이 큰 화소와 노광량이 적은 화소가 2행 단위로 교대로 베이어 배열(bayer array)로 배치되는 것을 특징으로 하는 제어 장치.
  2. 제 1항에 있어서,
    상기 제어부는, 상기 제1의 모드에서 상기 화소군에 설정한 상기 복수 종류의 노광량 중의 적어도 하나를, 상기 제2의 모드에서 상기 화소군에 설정하는 것을 특징으로 하는 제어 장치.
  3. 제 1항에 있어서,
    상기 제어부는, 상기 제1의 모드에서, 포화 화소의 화소 신호를 사용하지 않고, 비포화 화소의 화소 신호를 사용하여 구한 상기 노광량을 상기 화소군에 설정하는 것을 특징으로 하는 제어 장치.
  4. 제 3항에 있어서,
    상기 제어부는, 상기 복수 종류의 노광량의 화소 신호 중, S/N비가 큰 쪽의 상기 비포화 화소의 화소 신호를 사용하여 구한 상기 노광량을 상기 화소군에 설정하는 것을 특징으로 하는 제어 장치.
  5. 제 1항에 있어서,
    상기 제어부는, 상기 제1의 모드에서, 상기 복수 종류의 노광량의 화소 신호 중, 하이 다이내믹 레인지의 화소 신호를 사용하여 구한 상기 노광량을 설정하는 것을 특징으로 하는 제어 장치.
  6. 제 5항에 있어서,
    상기 제어부는, 디스플레이 표시용의 화소 신호보다도 상기 하이 다이내믹 레인지의 화소 신호를 사용하여 구한 상기 노광량을 설정하는 것을 특징으로 하는 제어 장치.
  7. 제 5항에 있어서,
    상기 노광량을 결정하는 대상의 영역이 되는 상기 화소군의 소정의 영역을 특정하는 영역 특정부를 또한 구비하고,
    상기 제어부는, 상기 영역 특정부에 의해 특정된 영역의 상기 하이 다이내믹 레인지의 화소 신호를 사용하여 구한 상기 노광량을 설정하는 것을 특징으로 하는 제어 장치.
  8. 제 7항에 있어서,
    상기 영역 특정부는, 상기 노광량을 결정하는 대상의 영역이 되는 상기 소정의 영역으로서, 상기 촬영 화상 내의 유저의 얼굴의 영역을 특정하는 것을 특징으로 하는 제어 장치.
  9. 제 7항에 있어서,
    상기 영역 특정부는, 상기 노광량을 결정하는 대상의 영역이 되는 상기 소정의 영역으로서, 상기 촬영 화상 내의 유저가 지정한 영역을 특정하는 것을 특징으로 하는 제어 장치.
  10. 제 7항에 있어서,
    상기 영역 특정부는, 상기 노광량을 결정하는 대상의 영역이 되는 상기 소정의 영역으로서, 상기 촬영 화상 내의 소정의 물체가 존재하는 영역을 특정하는 것을 특징으로 하는 제어 장치.
  11. 제 1항에 있어서,
    상기 제어부는, 상기 제1의 모드에서는, 2종류의 노광량을 상기 화소군에 설정하고, 상기 제2의 모드에서는, 1종류의 노광량을 상기 화소군에 설정하는 것을 특징으로 하는 제어 장치.
  12. 제 11항에 있어서,
    노광량의 작은 화소의 화소 신호를 노광비배함에 의해 배율 보정한 화소 신호와, 노광량의 큰 화소의 화소 신호를 합성하는 합성부를 또한 구비하고,
    상기 합성부는, 상기 제1의 모드에서는, 상기 배율 보정한 화소 신호와, 상기 노광량의 큰 화소의 화소 신호를 합성하여 상기 제어부에 공급하고, 상기 제2의 모드에서는, 1종류의 노광량의 화소 신호를 상기 제어부에 공급하는 것을 특징으로 하는 제어 장치.
  13. 제 11항에 있어서,
    노광량의 작은 화소의 화소 신호를 노광비배함에 의해 배율 보정한 화소 신호와, 노광량의 큰 화소의 화소 신호를 합성하는 합성부를 또한 구비하고,
    상기 합성부는, 상기 제1의 모드에서는, 상기 배율 보정한 화소 신호와, 상기 노광량의 큰 화소의 화소 신호를 합성한 신호를, 상기 제2의 모드의 표시 계조로 클리핑한 신호를, 디스플레이 표시용의 신호로서 출력하는 것을 특징으로 하는 제어 장치.
  14. 제 12항에 있어서,
    상기 제어부는, 상기 제1의 모드에서, 상기 합성부에 의해 합성된 상기 신호에 의거하여, 오토 포커스 제어도 행하는 것을 특징으로 하는 제어 장치.
  15. 제 12항에 있어서,
    상기 제어부는, 상기 제1의 모드에서, 상기 합성부에 의해 합성된 상기 신호에 의거하여, 화이트 밸런스를 위한 색 제어 정보도 생성하는 것을 특징으로 하는 제어 장치.
  16. 제 1항에 있어서,
    상기 화소군에는, 위상차 화소가 포함되어 있고,
    상기 제어부는, 상기 위상차 화소의 화소 신호를 사용하여, 오토 포커스 제어도 행하는 것을 특징으로 하는 제어 장치.
  17. 복수의 화소가 2차원 배치된 화소군의 노광량을 제어하는 제어 장치가,
    촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 상기 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량을 상기 화소군에 설정하며,
    상기 제1의 모드는 노광량이 큰 화소와 노광량이 적은 화소가 2행 단위로 교대로 베이어 배열(bayer array)로 배치되는 것을 특징으로 하는 제어 방법.
  18. 복수의 화소가 2차원 배치된 화소군을 구비하는 고체 촬상 소자와,
    촬영 화상의 기록을 시작하기 전의 제1의 모드에서는, 복수 종류의 노광량을 상기 화소군에 설정하고, 촬영 화상을 기록하는 제2의 모드에서는, 상기 제1의 모드보다도 적은 종류의 노광량을 상기 화소군에 설정하는 제어부를 구비하며,
    상기 제1의 모드는 노광량이 큰 화소와 노광량이 적은 화소가 2행 단위로 교대로 베이어 배열(bayer array)로 배치되는 것을 특징으로 하는 전자 기기.
KR1020167000163A 2013-08-22 2014-08-08 제어 장치, 제어 방법 및 전자 기기 KR102184916B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013171966A JP2015041890A (ja) 2013-08-22 2013-08-22 制御装置、制御方法、および電子機器
JPJP-P-2013-171966 2013-08-22
PCT/JP2014/071033 WO2015025740A1 (ja) 2013-08-22 2014-08-08 制御装置、制御方法、および電子機器

Publications (2)

Publication Number Publication Date
KR20160045051A KR20160045051A (ko) 2016-04-26
KR102184916B1 true KR102184916B1 (ko) 2020-12-01

Family

ID=52483518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000163A KR102184916B1 (ko) 2013-08-22 2014-08-08 제어 장치, 제어 방법 및 전자 기기

Country Status (6)

Country Link
US (1) US9998679B2 (ko)
JP (1) JP2015041890A (ko)
KR (1) KR102184916B1 (ko)
CN (1) CN105379248B (ko)
TW (1) TWI661727B (ko)
WO (1) WO2015025740A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024098A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 디지털 카메라에서 사진 합성 방법 및 장치
JP6146293B2 (ja) * 2013-12-25 2017-06-14 ソニー株式会社 制御装置、制御方法および制御システム
CN104243827A (zh) * 2014-09-23 2014-12-24 深圳市中兴移动通信有限公司 拍摄方法和装置
US9467632B1 (en) 2015-07-13 2016-10-11 Himax Imaging Limited Dual exposure control circuit and associated method
US9848137B2 (en) * 2015-11-24 2017-12-19 Samsung Electronics Co., Ltd. CMOS image sensors having grid array exposure control
EP3424403B1 (en) 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
CN108702467B (zh) 2016-03-24 2020-12-08 富士胶片株式会社 固体电子摄像装置的控制装置及其控制方法
JP6675917B2 (ja) * 2016-04-19 2020-04-08 オリンパス株式会社 撮像装置及び撮像方法
US10097766B2 (en) * 2016-08-31 2018-10-09 Microsoft Technology Licensing, Llc Provision of exposure times for a multi-exposure image
GB2561163B (en) * 2017-03-30 2021-05-12 Apical Ltd Control systems and image sensors
WO2019035245A1 (ja) * 2017-08-18 2019-02-21 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP2020043522A (ja) * 2018-09-12 2020-03-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2020198470A (ja) * 2019-05-30 2020-12-10 ソニーセミコンダクタソリューションズ株式会社 画像認識装置および画像認識方法
JP6628925B2 (ja) * 2019-07-01 2020-01-15 キヤノン株式会社 画像表示装置及びその制御方法
US11800235B2 (en) 2019-08-19 2023-10-24 Google Llc Dual exposure control in a camera system
JP7457473B2 (ja) 2019-09-12 2024-03-28 キヤノン株式会社 撮像装置及びその制御方法
KR20230032359A (ko) * 2021-08-30 2023-03-07 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법
US20230269486A1 (en) * 2022-02-24 2023-08-24 Qualcomm Incorporated Multi-frame auto exposure control (aec)
CN117241134B (zh) * 2023-11-15 2024-03-08 杭州海康威视数字技术股份有限公司 用于摄像机的拍摄模式切换方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135648A (ja) * 2000-10-26 2002-05-10 Olympus Optical Co Ltd 撮像装置
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
JP2012205244A (ja) * 2011-03-28 2012-10-22 Canon Inc 画像処理装置、及びその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232777A (ja) 2001-02-06 2002-08-16 Olympus Optical Co Ltd 撮像システム
JP4628937B2 (ja) * 2005-12-01 2011-02-09 オリンパス株式会社 カメラシステム
JP2009053296A (ja) * 2007-08-24 2009-03-12 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
TW201108728A (en) * 2009-08-25 2011-03-01 Hon Hai Prec Ind Co Ltd Method and system for exposing photograph by separated regions in camera devices
JP5609788B2 (ja) * 2011-06-23 2014-10-22 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法
EP2538661B1 (en) 2011-06-23 2014-07-16 JVC KENWOOD Corporation Image processing apparatus and image processing method
JP6019692B2 (ja) * 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135648A (ja) * 2000-10-26 2002-05-10 Olympus Optical Co Ltd 撮像装置
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
JP2012205244A (ja) * 2011-03-28 2012-10-22 Canon Inc 画像処理装置、及びその制御方法

Also Published As

Publication number Publication date
US20160173751A1 (en) 2016-06-16
TWI661727B (zh) 2019-06-01
CN105379248A (zh) 2016-03-02
KR20160045051A (ko) 2016-04-26
JP2015041890A (ja) 2015-03-02
TW201515466A (zh) 2015-04-16
CN105379248B (zh) 2019-08-09
WO2015025740A1 (ja) 2015-02-26
US9998679B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
KR102184916B1 (ko) 제어 장치, 제어 방법 및 전자 기기
US10366475B2 (en) Imaging device, and image processing method and program for imaging device
US11070710B2 (en) Display device configured as an illumination source
JP5701664B2 (ja) 撮像装置
JP3551123B2 (ja) 電子カメラ
US8842194B2 (en) Imaging element and imaging apparatus
US8947575B2 (en) Image pickup apparatus having warning region detection related to dynamic range expansion
US8908068B2 (en) Image pickup device and image pickup unit to form composite image
KR102158844B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
JP2007135140A (ja) 撮像装置
US8885078B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
JP2010147786A (ja) 撮像装置及び画像処理方法
US20230283920A1 (en) Electronic device comprising image sensor and method of operating same
JP3999321B2 (ja) 電子カメラ
JP2019071568A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US20050185066A1 (en) Image taking apparatus
CN115633252B (zh) 拍摄方法及其相关设备
JP5310331B2 (ja) 撮像装置および撮像方法
JP2009033289A (ja) 撮像装置及び撮像方法
JP6300514B2 (ja) 撮像装置、および撮像装置の制御方法
JP2005167465A (ja) デジタルカメラ及びデジタルカメラの撮像方法
JP2012227744A (ja) 撮像装置
JP5091734B2 (ja) 撮像装置および撮像方法
JP2006303755A (ja) 撮像装置及び撮像方法
KR20220134276A (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant