KR102649782B1 - 신호 처리 장치 및 촬상 장치 - Google Patents

신호 처리 장치 및 촬상 장치 Download PDF

Info

Publication number
KR102649782B1
KR102649782B1 KR1020177033624A KR20177033624A KR102649782B1 KR 102649782 B1 KR102649782 B1 KR 102649782B1 KR 1020177033624 A KR1020177033624 A KR 1020177033624A KR 20177033624 A KR20177033624 A KR 20177033624A KR 102649782 B1 KR102649782 B1 KR 102649782B1
Authority
KR
South Korea
Prior art keywords
data
imaging
frequency component
raw data
unit
Prior art date
Application number
KR1020177033624A
Other languages
English (en)
Other versions
KR20180133777A (ko
Inventor
히로아키 야마조
마사유키 타치
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20180133777A publication Critical patent/KR20180133777A/ko
Application granted granted Critical
Publication of KR102649782B1 publication Critical patent/KR102649782B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 개시의 한 실시의 형태의 신호 처리 장치는, 화각이 서로 다른 2개의 촬상 데이터 중 상대적으로 화각이 넓은 촬상 데이터인 제1 촬상 데이터의 저주파 성분과, 제1 촬상 데이터의 고주파 성분과, 2개의 촬상 데이터 중 상대적으로 화각이 좁은 촬상 데이터인 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하는 합성부를 구비하고 있다.

Description

신호 처리 장치 및 촬상 장치
본 개시는, 신호 처리 장치 및 촬상 장치에 관한 것이다.
종래로부터, 2개의 촬상 장치를 이용하여, 고시야(高視野)이면서 고해상도의 화상을 촬상하는 촬상 시스템이 제안되어 있다(예를 들면, 특허 문헌 1 참조). 종래의 촬상 시스템에서는, 예를 들면, 상대적으로 화각이 넓은 촬상 데이터에서, 고주파 성분을, 상대적으로 화각이 좁은 촬상 데이터의 고주파 성분으로 치환함에 의해, 고시야이면서 고해상도의 화상을 얻을 수 있다고 하고 있다.
특허 문헌 1 : 일본 특개2003-134375호 공보
그러나, 종래의 촬상 시스템에서는, 상대적으로 화각이 좁은 촬상 데이터에 흐림이 있기 때문에, 상대적으로 화각이 넓은 촬상 데이터에서, 고주파 성분을, 상대적으로 화각이 좁은 촬상 데이터의 고주파 성분으로 치환함에 의해, 오히려 해상도가 저하되어 버릴 우려가 있다. 따라서, 그와 같은 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피하는 것이 가능한 신호 처리 장치 및 촬상 장치를 제공하는 것이 바람직하다.
본 개시의 한 실시의 형태의 제1의 신호 처리 장치는, 화각이 서로 다른 2개의 촬상 데이터 중 상대적으로 화각이 넓은 촬상 데이터인 제1 촬상 데이터의 저주파 성분과, 제1 촬상 데이터의 고주파 성분과, 2개의 촬상 데이터 중 상대적으로 화각이 좁은 촬상 데이터인 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하는 합성부를 구비하고 있다.
본 개시의 한 실시의 형태의 제1의 촬상 장치는, 각각에서 화각이 서로 다른 촬상 데이터를 생성하는 2개의 촬상 디바이스를 구비하고 있다. 이 촬상 장치는, 또한, 일방의 촬상 디바이스에 의해 생성된 상대적으로 화각이 넓은 촬상 데이터인 제1 촬상 데이터의 저주파 성분과, 제1 촬상 데이터의 고주파 성분과, 타방의 촬상 디바이스에 의해 생성된 상대적으로 화각이 좁은 촬상 데이터인 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하는 합성부를 구비하고 있다.
본 개시의 한 실시의 형태의 제1의 신호 처리 장치 및 제1의 촬상 장치에서는, 상대적으로 화각이 넓은 제1 촬상 데이터의 저주파 성분과, 제1 촬상 데이터의 고주파 성분과, 상대적으로 화각이 좁은 제2 촬상 데이터에서의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터가 생성된다. 이에 의해, 상대적으로 화각이 넓은 제1 촬상 데이터에서, 고주파 성분을, 상대적으로 화각이 좁은 제2 촬상 데이터의 고주파 성분으로 치환한 경우에 비하여, 제2 촬상 데이터에 흐림이 있는 때의 흐림의 영향이 완화된다.
본 개시의 한 실시의 형태의 제2의 신호 처리 장치는, 화각이 서로 다른 2개의 촬상 데이터 중 상대적으로 화각이 넓은 촬상 데이터인 제1 촬상 데이터의 고주파 성분이, 2개의 촬상 데이터 중 상대적으로 화각이 좁은 촬상 데이터인 제2 촬상 데이터의 고주파 성분보다도 큰 경우에, 제1 촬상 데이터의 저주파 성분과, 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하는 합성부를 구비하고 있다. 이 합성부는, 또한, 제1 촬상 데이터의 고주파 성분이, 제2 촬상 데이터의 고주파 성분보다도 작은 경우에, 제1 촬상 데이터의 저주파 성분과, 제1 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제2 합성 촬상 데이터를 생성한다.
본 개시의 한 실시의 형태의 제2의 촬상 장치는, 각각에서 화각이 서로 다른 촬상 데이터를 생성하는 2개의 촬상 디바이스를 구비하고 있다. 이 촬상 장치는, 일방의 촬상 디바이스에 의해 생성된 상대적으로 화각이 넓은 촬상 데이터인 제1 촬상 데이터의 고주파 성분이, 타방의 촬상 디바이스에 의해 생성된 상대적으로 화각이 좁은 촬상 데이터인 제2 촬상 데이터의 고주파 성분보다도 큰 경우에, 제1 촬상 데이터의 저주파 성분과, 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하는 합성부를 구비하고 있다. 이 합성부는, 또한, 제1 촬상 데이터의 고주파 성분이, 제2 촬상 데이터의 고주파 성분보다도 작은 경우에, 제1 촬상 데이터의 저주파 성분과, 제1 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제2 합성 촬상 데이터를 생성한다.
본 개시의 한 실시의 형태의 제2의 신호 처리 장치 및 제2의 촬상 장치에서는, 상대적으로 화각이 넓은 촬상 데이터인 제1 촬상 데이터의 고주파 성분이, 상대적으로 화각이 좁은 촬상 데이터인 제2 촬상 데이터의 고주파 성분보다도 큰 경우에, 제1 촬상 데이터의 저주파 성분과, 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터가 생성된다. 또한, 제1 촬상 데이터의 고주파 성분이, 제2 촬상 데이터의 고주파 성분보다도 작은 경우에, 제1 촬상 데이터의 저주파 성분과, 제1 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제2 합성 촬상 데이터가 생성된다. 이에 의해, 상대적으로 화각이 넓은 제1 촬상 데이터에서, 고주파 성분을, 상대적으로 화각이 좁은 제2 촬상 데이터의 고주파 성분으로 치환한 경우에 비하여, 제2 촬상 데이터에 흐림이 있는 때의 흐림의 영향이 완화된다.
본 개시의 한 실시의 형태의 제1의 신호 처리 장치 및 제1의 촬상 장치에 의하면, 상대적으로 화각이 넓은 제1 촬상 데이터의 저주파 성분과, 제1 촬상 데이터의 고주파 성분과, 상대적으로 화각이 좁은 제2 촬상 데이터에서의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하도록 하였기 때문에, 제2 촬상 데이터에 흐림이 있는 때의 흐림의 영향을 완화할 수 있다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다.
본 개시의 한 실시의 형태의 제2의 신호 처리 장치 및 제2의 촬상 장치에 의하면, 상대적으로 화각이 넓은 촬상 데이터인 제1 촬상 데이터의 고주파 성분이, 상대적으로 화각이 좁은 촬상 데이터인 제2 촬상 데이터의 고주파 성분보다도 큰 경우에, 제1 촬상 데이터의 저주파 성분과, 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성함과 함께, 제1 촬상 데이터의 고주파 성분이, 제2 촬상 데이터의 고주파 성분보다도 작은 경우에, 제1 촬상 데이터의 저주파 성분과, 제1 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제2 합성 촬상 데이터를 생성하도록 하였기 때문에, 제2 촬상 데이터에 흐림이 있는 때의 흐림의 영향을 완화할 수 있다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다.
또한, 본 개시의 효과는, 여기에 기재된 효과에 반드시 한정되지 않고, 본 명세서 중에 기재된 어느 효과라도 좋다.
도 1은 본 개시의 제1의 실시의 형태에 관한 촬상 장치의 개략 구성의 한 예를 도시하는 도면.
도 2는 촬상 장치의 개략 구성의 한 예를 도시하는 도면.
도 3은 도 1, 도 2의 촬상 장치의 기능 블록의 한 예를 도시하는 도면.
도 4는 도 3의 촬상 소자에서의 화소 배열의 한 예를 도시하는 도면.
도 5는 도 3의 합성 처리부에서의 신호 처리의 개념의 한 예를 도시하는 도면.
도 6은 도 3의 합성 처리부의 기능 블록의 한 예를 도시하는 도면.
도 7은 도 6의 합성 처리부에서의 신호 처리 순서의 한 예를 도시하는 도면.
도 8은 화소 보간의 한 예를 도시하는 도면.
도 9는 중심 화소가 G화소일 때의 보간 필터의 한 예를 도시하는 도면.
도 10은 중심 화소가 R화소, B화소일 때의 보간 필터의 한 예를 도시하는 도면.
도 11은 도 6의 퓨전부에서의 신호 처리 순서의 개요의 한 예를 도시하는 도면.
도 12는 도 6의 퓨전부의 내부 구성의 한 예를 도시하는 도면.
도 13은 도 11의 퓨전부에서의 맵 작성 순서의 한 예를 도시하는 도면.
도 14는 도 11의 퓨전부에서의 신호 처리 순서의 한 예를 도시하는 도면.
도 15는 도 6의 LPF부의 내부 구성의 한 예를 도시하는 도면.
도 16은 도 15의 LPF부의 내부에 병렬 배치된 복수의 LPF부 중의 하나의 필터의 한 예를 도시하는 도면.
도 17은 도 15의 LPF부의 내부에 병렬 배치된 복수의 LPF부 중의 하나의 필터의 한 예를 도시하는 도면.
도 18a는 도 6의 상관 처리부에서의 상관 처리의 한 예를 도시하는 도면.
도 18b는 도 6의 상관 처리부에서의 상관 처리의 한 예를 도시하는 도면.
도 19는 도 6의 퓨전부에서의 신호 처리 순서의 개요의 한 예를 도시하는 도면.
도 20은 도 6의 퓨전부의 내부 구성의 한 예를 도시하는 도면.
도 21은 도 20의 퓨전부에서의 맵 작성 순서의 한 예를 도시하는 도면.
도 22는 도 20의 퓨전부에서의 신호 처리 순서의 한 예를 도시하는 도면.
도 23은 도 6의 퓨전부에서의 신호 처리 순서의 개요의 한 예를 도시하는 도면.
도 24는 도 6의 퓨전부의 내부 구성의 한 예를 도시하는 도면.
도 25는 도 24의 퓨전부에서의 맵 작성 순서의 한 예를 도시하는 도면.
도 26은 도 24의 퓨전부에서의 맵 작성 순서의 한 예를 도시하는 도면.
도 27은 도 24의 퓨전부에서의 신호 처리 순서의 한 예를 도시하는 도면.
도 28은 본 개시의 제2의 실시의 형태에 관한 촬상 장치의 기능 블록의 한 예를 도시하는 도면.
도 29는 도 28의 합성 처리부의 기능 블록의 한 예를 도시하는 도면.
도 30은 도 29의 퓨전부에서의 신호 처리 순서의 개요의 한 예를 도시하는 도면.
도 31은 도 29의 퓨전부에서의 신호 처리 순서의 개요의 한 예를 도시하는 도면.
도 32는 도 29의 퓨전부에서의 신호 처리 순서의 개요의 한 예를 도시하는 도면.
도 33은 차량 제어 시스템의 개략적인 구성의 한 예를 도시하는 블록도.
도 34는 차외(車外) 정보 검출부 및 촬상부의 설치 위치의 한 예를 도시하는 설명도.
이하, 본 개시를 실시하기 위한 형태에 관해, 도면을 참조하여 상세히 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1의 실시의 형태
RAW 데이터끼리를 합성하는 예
2. 제1의 실시의 형태의 변형례
3. 제2의 실시의 형태
컬러 화상 데이터끼리를 합성하는 예
4. 제2의 실시의 형태의 변형례
5. 공통의 변형례
<1. 제1의 실시의 형태>
[구성]
도 1, 도 2는, 본 개시의 제1의 실시의 형태에 관한 촬상 장치(1)의 개략 구성의 한 예를 도시한 것이다. 촬상 장치(1)는, 2개의 촬상 디바이스(10, 20)를 이용하여, 화각이 넓은, 고해상도의 화상을 얻거나, 기계적인 줌 기구를 이용하지 않고서 광학 줌을 행하거나 하는 것이다.
2개의 촬상 디바이스(10, 20)는, 예를 들면, 물리적인 배치가 서로 수평하게 되도록 배치되어 있다. 촬상 디바이스(10)의 광축(AX1)과, 촬상 디바이스(20)의 광축(AX2)은, 예를 들면, 도 1에 도시한 바와 같이, 서로 평행하게 되어 있다. 광축(AX1)과, 광축(AX2)은, 예를 들면, 도 2에 도시한 바와 같이, 서로 비 평행하게 되어 있어도 좋다. 이때, 광축(AX1) 및 광축(AX2)은, 촬상 장치(1)로부터 떨어짐에 따라 광축(AX1)과 광축(AX2)의 간극이 좁아지는 방향을 향하고 있는 것이 바람직하다.
도 1, 도 2에 도시한 바와 같이, 촬상 디바이스(20)는, 촬상 디바이스(10)의 촬상 영역(R1) 중 외연을 제외한 영역을 촬상 영역(R2)으로 하고 있다. 2개의 촬상 디바이스(10, 20)는, 각각에서 화각이 서로 다른 RAW 데이터(Iraw1, Iraw2)(촬상 데이터)를 생성한다. 촬상 디바이스(10)는, 상대적으로 화각이 넓은 RAW 데이터(Iraw1)(제1 촬상 데이터)를 촬상에 의해 생성한다. 촬상 디바이스(20)는, RAW 데이터(Iraw1)보다도 화각이 좁은 RAW 데이터(Iraw2)(제2 촬상 데이터)를 촬상에 의해 생성한다. RAW 데이터(Iraw1, Iraw2)에 관해서는, 후에 상세히 기술한다.
도 3은, 촬상 장치(1)의 기능 블록의 한 예를 도시한 것이다. 촬상 장치(1)는, 예를 들면, 2개의 촬상 디바이스(10, 20), 신호 처리부(30) 및 제어부(40)를 구비하고 있다. 제어부(40)는, 2개의 촬상 디바이스(10, 20) 및 신호 처리부(30)를 제어한다.
(촬상 디바이스(10))
촬상 디바이스(10)는, 예를 들면, 촬상 소자(11) 및 광학 렌즈(12)를 갖고 있다. 광학 렌즈(12)는, 피사체 광(L1)을 집광하여, 촬상 소자(11)의 광입사면에 입사시킨다. 광학 렌즈(12)는, 예를 들면, 촬상 디바이스(10)에서 고정되어 있다. 이때, 촬상 디바이스(10)의 초점 거리가 일정치로 고정되어 있다. 촬상 디바이스(10)는, 또한, 예를 들면, 아이리스나 가변 광학 LPF를, 촬상 소자(11)의 광입사면측에 갖고 있어도 좋다. 촬상 소자(11)에 관해서는 후술한다.
(촬상 디바이스(20))
촬상 디바이스(20)는, 예를 들면, 촬상 소자(21) 및 광학 렌즈(22)를 갖고 있다. 광학 렌즈(12)는, 피사체 광(L2)을 집광하여, 촬상 소자(21)의 광입사면에 입사시킨다. 광학 렌즈(22)는, 예를 들면, 촬상 디바이스(20)에서 고정되어 있다. 이때, 촬상 디바이스(20)의 초점 거리가 일정치로 고정되어 있다. 촬상 디바이스(20)는, 또한, 예를 들면, 아이리스나 가변 광학 LPF를, 촬상 소자(21)의 광입사면측에 갖고 있어도 좋다.
(촬상 소자(11, 21))
다음에, 촬상 소자(11, 21)에 관해 설명한다. 촬상 소자(11, 21)는, 예를 들면, 복수의 광전 변환 소자가 소정의 간격으로 2차원 배치된 수광부와, 수광부의 광입사면에 배치된 컬러 필터 어레이를 갖고 있다. 촬상 소자(11, 21)는, 단판식의 고체 촬상 소자이고, 예를 들면, 단판식의 CCD(charge Coupled Device) 이미지 센서나, 단판식의 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서에 의해 구성되어 있다. 촬상 소자(11, 21)에서, 컬러 필터 어레이는, 예를 들면, 도 4에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열로 되어 있다. 또한, 컬러 필터 어레이는, 예를 들면, RGBW 배열로 되어 있어도 좋고, Y(옐로), C(시안), M(마젠타) 등의 배열로 되어 있어도 좋다. 또한, 이하에서는, 컬러 필터 어레이가, RGB 배열로 이루어지는 베이어 배열로 되어 있는 경우를 예로 하여 설명한다.
촬상 소자(11, 21)는, 예를 들면, 광학 렌즈(12, 22) 등을 경유하여 입사하여 온 피사체 광(L1, L2)을, 수광부 및 컬러 필터 어레이로 이산적으로 샘플링함에 의해, RAW 데이터(Iraw1, Iraw2)를 생성한다. 촬상 소자(11)는, 상대적으로 화각이 넓은 RAW 데이터(Iraw1)를 생성한다. 예를 들면, 촬상 디바이스(10)의 초점 거리를 상대적으로 짧게 함에 의해, 화각이 상대적으로 넓은 RAW 데이터(Iraw1)를 얻을 수 있다. 촬상 소자(21)는, RAW 데이터(Iraw1)보다도 화각이 좁은 RAW 데이터(Iraw2)를 생성한다. 예를 들면, 촬상 디바이스(10)의 초점 거리를 상대적으로 길게 함에 의해, 화각의 상대적으로 좁은 RAW 데이터(Iraw2)를 얻을 수 있다.
RAW 데이터(Iraw1, Iraw2)는, 각각, 컬러 필터 어레이에 포함되는 복수종류의 색정보 중의 어느 1종류의 색정보가 화소마다 설정된 모자이크 데이터이다. 컬러 필터 어레이가, RGB 배열로 이루어지는 베이어 배열로 되어 있는 경우에는, RAW 데이터(Iraw1, Iraw2)는, 컬러 필터 어레이에 포함되는 적색 정보, 녹색 정보 및 청색 정보 중의 어느 1종류의 색정보가 화소마다 설정된 모자이크 데이터로 되어 있다. RAW 데이터(Iraw1, Iraw2)로부터 컬러 화상 데이터(Icol)를 생성하기 위해서는, 모든 화소에 관해 모든 색정보를, RAW 데이터(Iraw1, Iraw2)로부터 생성하는 디모자이크 처리가 필요해진다. 본 실시의 형태에서는, 디모자이크 처리를 행하기 전의 RAW 데이터(Iraw1, Iraw2)에서 합성이 행하여진다. RAW 데이터(Iraw1, Iraw2)의 합성에 관해서는, 후에 상세히 기술한다.
(신호 처리부(30))
다음에, 신호 처리부(30)에 관해 설명한다. 신호 처리부(30)는, 예를 들면, 도 3에 도시한 바와 같이, 합성 처리부(31) 및 카메라 신호 처리부(32)를 갖고 있다. 합성 처리부(31)는, 각각의 촬상 디바이스(10, 20)에 의해 생성된 2개의 RAW 데이터(Iraw1, Iraw2)를 서로 합성함에 의해, 합성 RAW 데이터(Iraw)를 생성한다. 카메라 신호 처리부(32)는, 합성 처리부(31)에서 생성된 합성 RAW 데이터(Iraw)에 대해 디모자이크 처리를 행함에 의해, 컬러 화상 데이터(Icol)를 생성한다. 컬러 화상 데이터(Icol)는, 예를 들면, 컬러 필터 어레이에 포함되는 모든 종류의 색정보를 화소마다 포함하여 구성되어 있다. 컬러 필터 어레이가 RGB의 베이어 배열로 되어 있는 경우에는, 컬러 화상 데이터(Icol)는, 예를 들면, 화소마다 RGB의 색정보를 포함하여 구성되어 있다.
도 5는, 합성 처리부(31)에서의 신호 처리의 개념의 한 예를 도시한 것이다. 도 5는, 합성 처리부(31)에서의 신호 처리의 알기 쉬움이 우선되어 있는 관계로, 간결한 설명으로 되어 있다. 그 때문에, 도 5에서는, 상기한 부호와는 다른 부호가 이용되고 있다.
합성 처리부(31)는, 촬상 디바이스(10)로부터 와이드 화상 데이터(Iwide)를 취득하고, 촬상 디바이스(20)로부터 텔레 화상 데이터(Itele)를 취득한다. 텔레 화상 데이터(Itele)에서는, 와이드 화상 데이터(Iwide)에 비하여, 화각이 작게 되어 있다. 텔레 화상 데이터(Itele)는, 와이드 화상 데이터(Iwide)의 외연을 제외한 소정의 영역(α)과 대응하고 있다. 합성 처리부(31)는, 촬상 디바이스(10, 20)의 배율과, 와이드 화상 데이터(Iwide) 및 텔레 화상 데이터(Itele)의 화상 사이즈에 의거하여, 소정의 영역(α)을 설정한다.
합성 처리부(31)는, 와이드 화상 데이터(Iwide)로부터, 소정의 영역(α)을 절출함에 의해, 와이드 화상 데이터(Iwide')를 생성한다. 합성 처리부(31)는, 촬상 디바이스(10, 20)의 배율에 의거하여, 텔레 화상 데이터(Itele)를 축소함에 의해, 텔레 화상 데이터(Itele')를 생성한다. 합성 처리부(31)는, 와이드 화상 데이터(Iwide'와 텔레 화상 데이터(Itele')를 서로 합성함에 의해, 합성 화상 데이터(Ifusion)를 생성한다. 촬상 디바이스(10)의 배율이 1배로 되어 있고, 촬상 디바이스(20)의 배율이 2배로 되어 있다고 한다. 이때, 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 1배일 때에는, 와이드 화상 데이터(Iwide)를, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 2배 이상일 때에는, 텔레 화상 데이터(Itele)를 유저에 의해 지정된 배율로 확대한 것을, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 1배∼2배일 때에는, 와이드 화상 데이터(Iwide)에서, 소정의 영역(α)을 합성 화상 데이터(Ifusion)로 치환한 것(합성 화상 데이터(Imerge))를 합성 RAW 데이터(Iraw)로서 출력한다.
또한, 실제로는, 와이드 화상 데이터(Iwide')와, 텔레 화상 데이터(Itele')에 는, 시차에 기인하는 위치 어긋남이나, 촬상 디바이스(10, 20) 사이의 감도 차이 및 노광 차이가 있는 경우가 있다. 합성 화상 데이터(Ifusion)에는, 촬상 디바이스(10, 20)의 나이키스트 주파수를 초과하는 고주파 성분이 포함되어 있는 경우도 있다. 원래, 와이드 화상 데이터(Iwide')나 텔레 화상 데이터(Itele')는 모자이크 데이터이기 때문에, 와이드 화상 데이터(Iwide')와 텔레 화상 데이터(Itele')를 서로 정밀도 좋게 합성하기 위해서는, 와이드 화상 데이터(Iwide')나 텔레 화상 데이터(Itele')에 대해 화소 보간을 행하는 것이 바람직하다. 따라서, 합성 처리부(31)는, 와이드 화상 데이터(Iwide')나 텔레 화상 데이터(Itele')에 대해, 이하에 나타내는 바와 같은 각종의 신호 처리를 행하는 것이 바람직하다.
도 6은, 합성 처리부(31)의 기능 블록의 한 예를 도시한 것이다. 도 7은, 합성 처리부(31)에서의 신호 처리 순서의 한 예를 도시한 것이다.
합성 처리부(31)는, 위치맞춤부(130) 및 합성부(140)를 갖고 있다. 위치맞춤부(130)는, 각각의 촬상 디바이스(10, 20)에 의해 생성된 2개의 RAW 데이터(Iraw1, Iraw2)에 의거하여, 2개의 RAW 데이터(Iraw1, Iraw2)의 위치맞춤 데이터를 생성한다. 합성부(140)는, 위치맞춤부(130)에 의해 생성된 위치맞춤 데이터에 의거하여 2개의 RAW 데이터(Iraw1, Iraw2)를 서로 합성한다.
위치맞춤부(130)는, 예를 들면, 절출부(131), 게인 보정부(132), 화소 보정부(133, 134), 축소부(135) 및 시차 산출부(136)를 갖고 있다.
절출부(131)는, RAW 데이터(Iraw1)에서, RAW 데이터(Iraw2)와의 합성을 행하는 퓨전 영역(β)(도 5의 영역(α)에 상당)을 지정한다. 구체적으로는, 절출부(131)는, 촬상 디바이스(10, 20)의 배율과, RAW 데이터(Iraw1, Iraw2)의 화상 사이즈에 의거하여, 퓨전 영역(β)을 지정한다. 절출부(131)는, 예를 들면, 촬상 디바이스(10, 20)의 배율과, RAW 데이터(Iraw1, Iraw2)의 화상 사이즈에 의거하여, RAW 데이터(Iraw1)에서의, 퓨전 영역(β)의 좌표를 지정한다. 절출부(131)는, 예를 들면, 지정한 좌표에 의거하여, 퓨전 영역(β)에 대응하는 RAW 데이터(Iraw1a)를, RAW 데이터(Iraw1)로부터 절출(segments)한다(스텝 S101).
또한, 합성 처리부(31)는, RAW 데이터(Iraw1a) 및 RAW 데이터(Iraw2)에 대해, OPB(Optical Black) 감산을 행하여도 좋다. OPB 감산이란, 암전류 등에 기인하여 생기는 노이즈 성분을 제외하는 것을 가리키고 있다. 합성 처리부(31)는, 예를 들면, RAW 데이터(Iraw1a, Iraw2)로부터, 촬상 디바이스(10, 20)가 차광되어 있을 때에 생기는 노이즈 성분을 제외하여도 좋다. 이때, 노이즈 성분의 제외에 의해, RAW 데이터(Iraw1a, Iraw2)에서 값이 부(負)로 되는 화소가 있는 경우에는, 합성 처리부(31)는, 그 화소의 좌표를 기억하여 둔다.
게인 보정부(132)는, RAW 데이터(Iraw1a, Iraw2)에서의 색정보마다의 게인비(예를 들면, RGB 게인비)를 산출한다. 게인 보정부(132)는, 예를 들면, RAW 데이터(Iraw1a) 내의 평균치를 색정보마다 산출함과 함께, RAW 데이터(Iraw2) 내의 평균치를 색정보마다 산출한다. 게인 보정부(132)는, 예를 들면, RAW 데이터(Iraw1a, Iraw2)에서의, 색정보마다의 평균치의 비로부터, 보정 게인을 색정보마다 산출한다. 게인 보정부(132)는, 산출한 보정 게인에 의거하여, RAW 데이터(Iraw2)를 보정하고(스텝 S102), 이에 의해, RAW 데이터(Iraw2a)를 생성한다.
화소 보정부(133)는, RAW 데이터(Iraw1a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw1a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw1b)를 생성한다(스텝 S103). 화소 보정부(134)는, RAW 데이터(Iraw2a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw2a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw2b)를 생성한다.
화소 보정부(133)는, 예를 들면, 도 8에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열을 갖는 RAW 데이터(Iraw1a)로부터, 녹색 정보로 이루어지는 보간 RAW 데이터(Iraw1b)를 생성한다. 화소 보정부(133)는, 또한, 예를 들면, 도 8에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열을 갖는 RAW 데이터(Iraw2a)로부터, 녹색 정보로 이루어지는 보간 RAW 데이터(Iraw2b)를 생성한다. 이때, 중심 화소(보간 대상의 화소)가 G화소일 때에는, 화소 보정부(133)는, 예를 들면, 도 9에 도시한 바와 같은 보간 필터(F)를 이용하여, 중심 화소의 녹색 정보를 보정한다. 또한, 중심 화소(보간 대상의 화소)가 R화소 또는 B화소일 때에는, 화소 보정부(133)는, 중심 화소의 색정보를, 예를 들면, 도 10에 도시하는 바와 같은 보간 필터(F)를 이용하여 생성한 녹색 정보로 치환한다.
축소부(135)는, 촬상 디바이스(10, 20)의 배율에 의거하여, 보간 RAW 데이터(Iraw2b)를 축소한다(스텝 S104). 시차 산출부(136)는, 보간 RAW 데이터(Iraw1b, Iraw2c)에 의거하여, 위치맞춤 데이터로서의 시차 정보(Disp)를 산출한다(스텝 S105). 시차 정보(Disp)는, 촬상 디바이스(10)와 촬상 디바이스(20)와의 위치가 서로 일치하지 않는 것으로 생기는 화상상의 위치 어긋남량에 상당하는 것이다. 시차 산출부(136)는, 예를 들면, 2개의 화상 사이에서의 움직임 벡터 추정법 등을 이용하여, 보간 RAW 데이터(Iraw1b, Iraw2c)로부터 시차 정보(Disp)를 생성한다.
합성부(140)는, 예를 들면, 퓨전부(141), LPF부(142), 상관 처리부(143), 머지부(144) 및 선택부(145)를 갖고 있다.
퓨전부(141)는, 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S106). 구체적으로는, 퓨전부(141)는, 시차 정보(Disp)에 의거하여 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성한다.
도 11은, 퓨전부(141)에서의 신호 처리 순서의 개요의 한 예를 도시한 것이다. 퓨전부(141)는, 상대적으로 화각이 좁은 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰지의 여부를 판정한다(스텝 S201). 그 결과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 경우에는, 퓨전부(141)는, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)(제2 합성 촬상 데이터)를 생성한다(스텝 S202). 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
퓨전부(141)는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과 동등한 경우에는, 예를 들면, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S202). 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과 동등한 각 화소에서, 예를 들면, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 경우에는, 퓨전부(141)는, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)(제1 합성 촬상 데이터)를 생성한다(스텝 S203). 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
도 12는, 퓨전부(141)의 내부 구성의 한 예를 도시한 것이다. 퓨전부(141)는, 예를 들면, LPF부(141A), HPF(141B), 시차 보정부(141C), 흐림 보정부(141D) 및 중첩부(141E)를 갖고 있다. LPF부(141A)는, 보간 RAW 데이터(Iraw1b)에서의 저주파 성분을 추출함에 의해, 보간 RAW 데이터(Iraw1c)를 생성한다. HPF(141B)는, 보간 RAW 데이터(Iraw2c)에서의 고주파 성분을 추출함에 의해, 보간 RAW 데이터(Iraw2d)를 생성한다. 시차 보정부(141C)는, 시차 정보(Disp) 의거하여 보간 RAW 데이터(Iraw2d)를 보정함에 의해, 보간 RAW 데이터(Iraw2e)를 생성한다. 흐림 보정부(141D)는, 보간 RAW 데이터(Iraw1b)와, 보간 RAW 데이터(Iraw2e)에 의거하여, 보간 RAW 데이터(Iraw4)를 생성한다. 중첩부(141E)는, 보간 RAW 데이터(Iraw1c)에, 보간 RAW 데이터(Iraw4)를 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
보간 RAW 데이터(Iraw4)는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H), 또는, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더한 것에 상당한다. 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 경우에는, 보간 RAW 데이터(Iraw4)는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)에 상당한다. 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 경우에는, 보간 RAW 데이터(Iraw4)는, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더하는 것에 상당한다.
흐림 보정부(141D)는, 예를 들면, HPF부(141F), 절대치화부(絶對値化部)(141G, 141H), 맵 작성부(141J) 및 선택부(141M)를 갖고 있다.
HPF부(141F)는, 보간 RAW 데이터(Iraw1b)에서의 고주파 성분을 추출함에 의해, 보간 RAW 데이터(Iraw1d)를 생성한다. 절대치화부(141G)는, 보간 RAW 데이터(Iraw1d)에 포함되는 각 데이터의 부호를 플러스로 재기록함에 의해, 보간 RAW 데이터(Iraw1e)를 생성한다. 절대치화부(141H)는, 보간 RAW 데이터(Iraw2e)에 포함되는 각 데이터의 부호를 플러스로 재기록함에 의해, 보간 RAW 데이터(Iraw2f)를 생성한다. 맵 작성부(141J)는, 보간 RAW 데이터(Iraw1e)와, 보간 RAW 데이터(Iraw2f)에 의거하여, 맵(Imap1)을 생성한다. 선택부(141M)는, 보간 RAW 데이터(Iraw1d)와, 보간 RAW 데이터(Iraw2e)와, 맵(Imap1)에 의거하여, 보간 RAW 데이터(Iraw4)를 생성한다.
도 13은, 맵 작성부(141J)에서의 맵 작성 순서의 한 예를 도시한 것이다. 또한, 도 13 중의 N은, 보간 RAW 데이터(Iraw1e)(x, y), 보간 RAW 데이터(Iraw2f)(x, y)에서의 x의 상한치이다. 도 13 중의 M은, 보간 RAW 데이터(Iraw1e)(x, y), 보간 RAW 데이터(Iraw2f)(x, y)에서의 y의 상한치이다.
맵 작성부(141J)는, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)(보간 RAW 데이터(Iraw1d))를 합성에 사용하는지의 여부를 선택하기 위한 맵을 작성한다. 맵 작성부(141J)는, 보간 RAW 데이터(Iraw1e(x, y), Iraw2f(x, y))에서, x=0, y=1을 설정한다(스텝 S301). 다음에, 맵 작성부(141J)는, x에 1을 가한다(스텝 S302). 다음에, 맵 작성부(141J)는, x가 N을 초과하고 있는지의 여부를 판정한다(스텝 S303). 그 결과, x가 N을 초과하지 않는 경우에는, 맵 작성부(141J)는, 설정된 x, y 좌표에서, 보간 RAW 데이터(Iraw2f)(x, y)가 보간 RAW 데이터(Iraw1e)(x, y) 이상으로 되어 있는지의 여부를 판정한다(스텝 S304). 그 결과, 보간 RAW 데이터(Iraw2f)(x, y)가 보간 RAW 데이터(Iraw1e)(x, y) 이상으로 되어 있는 경우에는, 맵 작성부(141J)는, 설정된 x, y 좌표에서, 맵(Imap1)(x, y)에 0을 기록한다(스텝 S305). 보간 RAW 데이터(Iraw2f)(x, y)가 보간 RAW 데이터(Iraw1e)(x, y)보다도 작은 경우에는, 맵 작성부(141J)는, 설정된 x, y 좌표에서, 맵(Imap1)(x, y)에 1을 기록한다(스텝 S306). 맵 작성부(141J)는, 스텝 S305, S306을 실행한 후, 스텝 S302로 되돌아온다.
스텝 S303에서, x가 N을 초과하고 있는 경우에는, 맵 작성부(141J)는, y가 M을 초과하고 있는지의 여부를 판정한다(스텝 S307). 그 결과, y가 M을 초과하고 있는 경우에는, 맵 작성부(141J)는, 맵(Imap1)(x, y)의 작성을 종료한다. y가 M을 초과하지 않는 경우에는, 맵 작성부(141J)는, y에 1을 가함과 함께, x를 0으로 하여, 스텝 S302로 되돌아온다(스텝 S308). 맵 작성부(141J)는, MxN행렬의 모든 좌표에서, 스텝 S302∼S308을 반복해서 행함에 의해, 맵(Imap1)(x, y)을 작성한다.
도 14는, 선택부(141M)에서의 퓨전 대상 데이터의 선택 순서의 한 예를 도시한 것이다. 또한, 도 14 중의 N은, 맵(Imap1)(x, y)에서의 x의 상한치이다. 도 14 중의 M은, 맵(Imap1)(x, y)에서의 y의 상한치이다.
선택부(141M)는, 보간 RAW 데이터(Iraw1b)의 저주파 성분에 더하는 데이터를, 화소마다, 보간 RAW 데이터(Iraw1b)의 고주파 성분(보간 RAW 데이터(Iraw1d)), 및 보간 RAW 데이터(Iraw2c)의 고주파 성분(보간 RAW 데이터(Iraw2e))의 어느 하나로부터 선택함에 의해, 보간 RAW 데이터(Iraw4)를 생성한다. 선택부(141M)는, 보간 RAW 데이터(Iraw1d)(x, y), 보간 RAW 데이터(Iraw2e)(x, y), 맵(Imap1)(x, y)에서, x=0, y=1을 설정한다(스텝 S401). 다음에, 선택부(141M)는, x에 1을 가한다(스텝 S402). 다음에, 선택부(141M)는, x가 N을 초과하고 있는지의 여부를 판정한다(스텝 S403). 그 결과, x가 N을 초과하지 않는 경우에는, 선택부(141M)는, 설정된 x, y 좌표에서, 보간 RAW 데이터(Iraw1d)(x, y)와 맵(Imap1)(x, y)을 서로 곱한 것과, 보간 RAW 데이터(Iraw2e)(x, y)를 서로 더한다(스텝 S404). 선택부(141M)는, 스텝 S404를 실행한 후, 스텝 S402로 되돌아온다. x가 N을 초과하고 있는 경우에는, 선택부(141M)는, y가 M을 초과하고 있는지의 여부를 판정한다(스텝 S405). 그 결과, y가 M을 초과하고 있는 경우에는, 선택부(141M)는, 보간 RAW 데이터(Iraw4)(x, y)의 작성을 종료한다. y가 M을 초과하지 않는 경우에는, 선택부(141M)는, y에 1을 가함과 함께, x를 0으로 하여, 스텝 S402로 되돌아온다(스텝 S406). 선택부(141M)는, MxN행렬의 모든 좌표에서, 스텝 S402∼S406을 반복해서 행함에 의해, 보간 RAW 데이터(Iraw4)(x, y)를 작성한다.
또한, 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw1c)에, 보간 RAW 데이터(Iraw4)를 더할 때에, 보간 RAW 데이터(Iraw4)에 대해 맵 처리를 행하는 맵 처리부를 갖고 있어도 좋다. 맵으로서는, 예를 들면, 퓨전 결과나 입력 신호, 시차 정보(Disp)로부터 퓨전이 실패하기 쉬운 부분을 검출하여, 퓨전 신뢰도를 생성한다. 본 맵을 사용하여 신뢰도가 낮은 개소는 퓨전 효과를 약하게 함으로써 퓨전의 실패를 최종 결과로 검지하기 어렵게 할 수 있다. 또한, 후술하는 상관 처리부(143)에 의해 생성되는 RAW 데이터(Iraw3c)와, RAW 데이터(Iraw1)를 서로 합성한 때에, RAW 데이터(Iraw3c)와, RAW 데이터(Iraw1)와의 경계에서 해상도의 변화를 매끈하게 하기 위해서도 맵을 이용하여도 좋다. 이 경우, 맵의 형상은 합성 데이터의 외연에 근접함에 따라 단계적으로 퓨전 효과를 약하게 하는 형상을 갖는다.
LPF부(142)는, 합성 RAW 데이터(Iraw3a)에 포함되는, 각 촬상 디바이스(10, 20)의 나이키스트 주파수를 초과하는 고주파 성분을 감쇠시킴에 의해, 합성 RAW 데이터(Iraw3b)를 생성한다(스텝 S107). 이에 의해, 위색의 발생이 억제된다. 도 15는, LPF부(142)의 내부 구성의 한 예를 도시한 것이다. LPF부(142)는, 예를 들면, 컷오프 주파수의 서로 다른 복수의 LPF가 병렬 배치된 구성으로 되어 있다. LPF부(142)는, 예를 들면, LPF(142A) 및 게인부(142D)가 직렬 접속되어 이루어지는 제1 패스(P1)와, LPF(142B) 및 게인부(142E)가 직렬 접속되어 이루어지는 제2 패스(P2)와, 게인부(142C)만이 마련된 제3 패스(P3)를 갖고 있다. LPF(142A)는, 예를 들면, 도 16에 도시한 바와 같이, 촬상 디바이스(10)의 나이키스트 주파수(Nyq1)를 컷오프 주파수로 함과 함께, 컷오프 주파수에 근접함에 따라 감쇠율이 높아지는 필터 특성으로 되어 있다. LPF(142B)는, 예를 들면, 도 17에 도시한 바와 같이, 촬상 디바이스(10)의 나이키스트 주파수(Nyq1)와, 촬상 디바이스(20)의 나이키스트 주파수(Nyq2) 사이의 주파수를 컷오프 주파수로 함과 함께, 컷오프 주파수에 근접함에 따라 감쇠율이 높아지는 필터 특성으로 되어 있다. 이에 의해, LPF부(142)에서는, LPF부(142A) 및 LPF(142B)의 선택에 의해, 고역(高域)의 감쇠에 대해 강약을 조정할 수 있다.
제1 패스(P1), 제2 패스(P2) 및 제3 패스(P3)는, 서로 병렬로 접속되어 있다. LPF부(142)는, 제어부(40)로부터의 제어 신호에 따라, 게인부(142C, 142D, 142E)의 각각의 게인이 서로 독립적으로 설정되도록 구성되어 있다. 따라서, 예를 들면, 게인부(142C, 142D)의 게인이 제로가 되고, 게인부(142E)의 게인이 1이 되도록, LPF부(142)에 대해 제어 신호가 입력된 경우에는, LPF부(142)는, LPF부(142B)로서 기능한다. 또한, 예를 들면, 게인부(142C)의 게인이 제로가 되고, 게인부(142D, 142E)의 게인이 1이 되도록, LPF부(142)에 대해 제어 신호가 입력된 경우에는, LPF부(142)는, 서로 병렬 배치된 LPF부(142A, 142B)로서 기능한다.
상관 처리부(143)는, 합성 RAW 데이터(Iraw3a) 또는 합성 RAW 데이터(Iraw3a)에 소정의 처리를 행한 것(합성 RAW 데이터(Iraw3b))에 대해, 상관 처리를 행한다(스텝 S108). 상관 처리부(143)는, 예를 들면, 도 18a에 도시한 바와 같이, 합성 RAW 데이터(Iraw3a) 또는 합성 RAW 데이터(Iraw3b)에 대해, RAW 데이터(Iraw1)와 보간 RAW 데이터(Iraw1b)와의 차분인 색차 성분(Iraw1-Iraw1b)을 부가한다. 상관 처리에는 색비(色比)를 이용하는 것도 가능하다. 상관 처리부(143)는, 예를 들면, 도 18b에 도시한 바와 같이, 합성 RAW 데이터(Iraw3a) 또는 합성 RAW 데이터(Iraw3b)에 대해, RAW 데이터(Iraw1)와 보간 RAW 데이터(Iraw1b)와의 비인 색비 성분(Iraw1/Iraw1b)을 곱하여도 좋다. 이에 의해, 상관 처리부(143)는, RAW 데이터(Iraw1, Iraw2)의 배열에 대응하는 배열의 RAW 데이터(Iraw3c)를 생성한다.
머지부(144)는, RAW 데이터(Irawa1)와, RAW 데이터(Iraw3c)를 서로 합성함에 의해, 디모자이크 처리용의 RAW 데이터(Iraw3d)(제4RAW 데이터)를 생성한다(스텝 S109). 이때, 머지부(144)는, 예를 들면, RAW 데이터(Iraw3c)의 주연에, 색정보 제로의 액자형상(額緣狀)의 영역을 마련함에 의해, RAW 데이터(Iraw3c)의 화상 사이즈를, RAW 데이터(Irawa1)의 화상 사이즈로 정돈한다. 계속해서, 머지부(144)는, 예를 들면, RAW 데이터(Irawa1) 중의 퓨전 영역(α)의 색정보를 제로로 한다. 또한, 머지부(144)는, 예를 들면, RAW 데이터(Irawa1)에, RAW 데이터(Irawa1)의 화상 사이즈로 정돈한 RAW 데이터(Iraw3c)를 더한다. 즉, 머지부(144)는, 예를 들면, RAW 데이터(Irawa1) 중의 퓨전 영역(α)을, RAW 데이터(Iraw3c)로 치환한다.
또한, 합성 처리부(31)가 OPB 감산을 행한 경우에는, 머지부(144)는, 합성 처리를 행하기 전에, OPB 감산에 의해 제외한 노이즈 성분을, 부호도 고려하고 나서, RAW 데이터(Iraw3c)에 가산하여도 좋다.
선택부(145)는, 유저에 의해 지정된 배율에 응하여, 출력하는 합성 RAW 데이터(Iraw)를 선택한다. 촬상 디바이스(10)의 배율이 1배로 되어 있고, 촬상 디바이스(20)의 배율이 2배로 되어 있다고 한다. 이때, 선택부(145)는, 예를 들면, 유저에 의해 지정된 배율이 1배일 때에는, RAW 데이터(Iraw1)를, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 2배 이상일 때에는, RAW 데이터(Iraw2)를 유저에 의해 지정된 배율로 확대한 것을, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 1배∼2배일 때에는, RAW 데이터(Iraw3d)를, 합성 RAW 데이터(Iraw)로서 출력한다.
[효과]
다음에, 촬상 장치(1)의 효과에 관해 설명한다.
종래로부터, 2개의 촬상 장치를 이용하여, 고시야이면서 고해상도의 화상을 촬상하는 촬상 시스템이 제안되어 있다. 종래의 촬상 시스템에서는, 예를 들면, 상대적으로 화각이 넓은 촬상 데이터에서, 고주파 성분을, 상대적으로 화각이 좁은 촬상 데이터의 고주파 성분으로 치환함에 의해, 고시야이면서 고해상도의 화상을 얻을 수 있다고 하고 있다. 그러나, 종래의 촬상 시스템에서는, 상대적으로 화각이 좁은 촬상 데이터에 흐림이 있기 때문에, 상대적으로 화각이 넓은 촬상 데이터에서, 고주파 성분을, 상대적으로 화각이 좁은 촬상 데이터의 고주파 성분으로 치환함에 의해, 오히려 해상도가 저하되어 버릴 우려가 있다.
한편, 본 실시의 형태에서는, 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과, 상대적으로 화각이 좁은 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이에 의해, 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)에서, 고주파 성분을, 상대적으로 화각이 좁은 보간 RAW 데이터(Iraw2c)의 고주파 성분으로 치환한 경우에 비하여, 보간 RAW 데이터(Iraw2c)에 흐림이 있는 때의 흐림의 영향을 완화할 수 있다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다.
또한, 본 실시의 형태에서는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이때는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
또한, 본 실시의 형태에서는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이때는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)에는, 합성에 영향을 주는 흐림이 있다고 추정된다. 그러나, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)도, 합성에 사용되고 있기 때문에, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)에 존재한다고 추정되는 흐림에 의한 영향을 저감할 수 있다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다.
또한, 본 실시의 형태에서는, 촬상 디바이스(10)의 촬상 영역(R1) 중 외연을 제외한 영역이 촬상 디바이스(20)의 촬상 영역(R2)으로 되어 있다. 또한, 본 실시의 형태에서는, 상대적으로 화각이 넓은 RAW 데이터(Iraw1)와, RAW 데이터(Iraw1)보다도 화각이 좁은 RAW 데이터(Iraw2)가 촬상 디바이스(10, 20)에 의해 생성된다. 이에 의해, 합성 RAW 데이터(Iraw) 중 외연을 제외한 소정의 영역(퓨전 영역(β))과, RAW 데이터(Iraw2)가 서로 합성된다. 환언하면, 테두리형상의 RAW 데이터(Iraw1)에, RAW 데이터(Iraw2)가 감입된다. 그 결과, 2개의 촬상 디바이스(10, 20)를 이용하여, 화각이 넓은, 고해상도의 화상을 얻거나, 기계적인 줌 기구를 이용하지 않고서 광학 줌을 행하거나 할 수 있다.
또한, 본 실시의 형태에서는, RAW 데이터(Iraw1, Iraw2)에 포함되는 소정 종류의 색정보에 의거하여, RAW 데이터(Iraw1, Iraw2)에 포함되는 모든 화소의 보간이 행하여진다. 이에 의해, RAW 데이터(Iraw1, Iraw2)에 대해 디모자이크 처리를 행한 다음에 합성 처리를 행하는 때와 같은 정도의 정밀도로, 합성 처리를 행할 수가 있다.
또한, 본 실시의 형태에서는, 2개의 RAW 데이터(Iraw1, Iraw2)로부터 생성한 2개의 보간 RAW 데이터(Iraw1b, Iraw2b)에 의거하여, 위치맞춤 데이터로서의 시차 정보(Disp)가 생성된다. 이에 의해, 시차 정보(Disp)를 이용함에 의해, 보간 RAW 데이터(Iraw1b)와 보간 RAW 데이터(Iraw2c)와의 합성 정밀도를 높게 할 수 있다.
또한, 본 실시의 형태에서는, 합성 RAW 데이터(Iraw3a)에 포함되는, 각 촬상 디바이스(10, 20)의 나이키스트 주파수를 초과하는 고주파 성분이 LPF(142)에 의해 감쇠된다. 이에 의해, RAW 데이터(Irawa1)와, RAW 데이터(Iraw3c)를 서로 합성한 때에, 위색의 발생을 억제할 수 있다. 또한, 본 실시의 형태에서는, LPF부(142A) 및 LPF(142B)가 병렬 배치되어 있고, 또한, LPF부(142A) 및 LPF(142B)의 어느 일방을 선택할 수 있다. 이에 의해, LPF부(142A) 및 LPF(142B)의 선택에 의해, 고역의 감쇠에 대해 강약을 조정할 수 있다.
또한, 본 실시의 형태에서는, 합성 RAW 데이터(Iraw3c) 또는 합성 RAW 데이터(Iraw3a)에 소정의 처리를 행한 것(합성 RAW 데이터(Iraw3b))에 대해, 색차 성분(Iraw1-Iraw1b)이 부가된다. 이와 같이, 본 실시의 형태에서는, 색정보를 적게 하여 합성 처리가 행하여진 후에, 합성 RAW 데이터(Iraw3c) 또는 합성 RAW 데이터(Iraw3b)에 대해, 잃어버려진 색정보가 되돌아온다. 따라서, 본 실시의 형태에서는, 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감하면서, 합성 정밀도를 높게 할 수 있다.
또한, 본 실시의 형태에서는, RAW 데이터(Iraw1)와, RAW 데이터(Iraw3c)를 서로 합성함에 의해 생성한 RAW 데이터(Iraw3d)에 대해 디모자이크 처리가 행하여진다. 이와 같이, 본 실시의 형태에서는, RAW 데이터에서의 합성이 이루어진 후에 디모자이크 처리가 행하여지기 때문에, 디모자이크 처리가 행하여진 후에 합성이 이루어지는 경우에 비하여, 처리 비용이나 소비 전력을 저감할 수 있다.
<2. 제1의 실시의 형태의 변형례>
다음에, 상기 실시의 형태에 관한 촬상 장치(1)의 변형례에 관해 설명한다.
[변형례 A]
도 19는, 본 변형례에 관한 퓨전부(141)에서의 신호 처리 순서의 개요의 한 예를 나타내 것이다. 퓨전부(141)는, 상대적으로 화각이 좁은 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰지의 여부를 판정한다(스텝 S201). 그 결과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 경우에는, 퓨전부(141)는, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S202). 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
퓨전부(141)는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과 동등한 경우에는, 예를 들면, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S202). 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과 동등한 각 화소에서, 예를 들면, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 경우에는, 퓨전부(141)는, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S204). 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
도 20은, 본 변형례에 관한 퓨전부(141)의 내부 구성의 한 예를 도시한 것이다. 퓨전부(141)는, 예를 들면, LPF부(141A), HPF(141B), 시차 보정부(141C), 흐림 보정부(141D) 및 중첩부(141E)를 갖고 있다. 본 변형례에서, 맵 작성부(141J)는, 보간 RAW 데이터(Iraw1d), 및 보간 RAW 데이터(Iraw2e)의 어느 일방을 선택하기 위한 맵(Imap1)을 작성한다. 선택부(141M)는, 맵(Imap1)에 의거하여, 보간 RAW 데이터(Iraw1d), 및 보간 RAW 데이터(Iraw2e)의 어느 일방을 선택함에 의해, 보간 RAW 데이터(Iraw4)를 생성한다.
도 21은, 맵 작성부(141J)에서의 맵 작성 순서의 한 예를 도시한 것이다. 또한, 도 21 중의 N은, 보간 RAW 데이터(Iraw1e)(x, y), 보간 RAW 데이터(Iraw2f)(x, y)에서의 x의 상한치이다. 도 21 중의 M은, 보간 RAW 데이터(Iraw1e)(x, y), 보간 RAW 데이터(Iraw2f)(x, y)에서의 y의 상한치이다.
맵 작성부(141J)는, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)(보간 RAW 데이터(Iraw1d))를 합성에 사용하는지의 여부를 선택하기 위한 맵을 작성한다. 맵 작성부(141J)는, 보간 RAW 데이터(Iraw1e(x, y), Iraw2f(x, y))에서, x=0, y=1을 설정한다(스텝 S301). 다음에, 맵 작성부(141J)는, x에 1을 가한다(스텝 S302). 다음에, 맵 작성부(141J)는, x가 N을 초과하고 있는지의 여부를 판정한다(스텝 S303). 그 결과, x가 N을 초과하지 않는 경우에는, 맵 작성부(141J)는, 설정된 x, y 좌표에서, 보간 RAW 데이터(Iraw2f)(x, y)가 보간 RAW 데이터(Iraw1e)(x, y) 이상으로 되어 있는지의 여부를 판정한다(스텝 S304). 그 결과, 보간 RAW 데이터(Iraw2f)(x, y)가 보간 RAW 데이터(Iraw1e)(x, y) 이상으로 되어 있는 경우에는, 맵 작성부(141J)는, 설정된 x, y 좌표에서, 맵(Imap1)(x, y)에 true를 기록한다(스텝 S309). 보간 RAW 데이터(Iraw2f)(x, y)가 보간 RAW 데이터(Iraw1e)(x, y)보다도 작은 경우에는, 맵 작성부(141J)는, 설정된 x, y 좌표에서, 맵(Imap1)(x, y)에 false를 기록한다(스텝 S310). 맵 작성부(141J)는, 스텝 S309, S310을 실행한 후, 스텝 S302로 되돌아온다.
스텝 S303에서, x가 N을 초과하고 있는 경우에는, 맵 작성부(141J)는, y가 M을 초과하고 있는지의 여부를 판정한다(스텝 S307). 그 결과, y가 M을 초과하고 있는 경우에는, 맵 작성부(141J)는, 맵(Imap1)(x, y)의 작성을 종료한다. y가 M을 초과하지 않는 경우에는, 맵 작성부(141J)는, y에 1을 가함과 함께, x를 0으로 하여, 스텝 S302로 되돌아온다(스텝 S308). 맵 작성부(141J)는, MxN행렬의 모든 좌표에서, 스텝 S302∼S308을 반복해서 행함에 의해, 맵(Imap1)(x, y)을 작성한다.
도 22는, 선택부(141M)에서의 퓨전 대상 데이터의 선택 순서의 한 예를 도시한 것이다. 또한, 도 22 중의 N은, 맵(Imap1)(x, y)에서의 x의 상한치이다. 도 22 중의 M은, 맵(Imap1)(x, y)에서의 y의 상한치이다.
선택부(141M)는, 보간 RAW 데이터(Iraw1b)의 저주파 성분에 더하는 데이터를, 화소마다, 보간 RAW 데이터(Iraw1b)의 고주파 성분(보간 RAW 데이터(Iraw1d)), 및 보간 RAW 데이터(Iraw2c)의 고주파 성분(보간 RAW 데이터(Iraw2e))의 어느 하나로부터 선택함에 의해, 보간 RAW 데이터(Iraw4)를 생성한다. 선택부(141M)는, 보간 RAW 데이터(Iraw1d)(x, y), 보간 RAW 데이터(Iraw2e)(x, y), 맵(Imap1)(x, y)에서, x=0, y=1을 설정한다(스텝 S401). 다음에, 선택부(141M)는, x에 1을 가한다(스텝 S402). 다음에, 선택부(141M)는, x가 N을 초과하고 있는지의 여부를 판정한다(스텝 S403).
그 결과, x가 N을 초과하지 않는 경우에는, 선택부(141M)는, 맵(Imap1)(x, y)이 true로 되어 있는지의 여부를 판정한다(스텝 S410). 그 결과, 맵(Imap1)(x, y)이 true로 되어 있는 경우에는, 선택부(141M)는, 보간 RAW 데이터(Iraw2e)를, 보간 RAW 데이터(Iraw4)(x, y)에 기록한다(스텝 S411). 맵(Imap1)(x, y)이 true로 되지 않은 경우에는, 선택부(141M)는, 보간 RAW 데이터(Iraw1d)(x, y)를, 보간 RAW 데이터(Iraw4)(x, y)에 기록한다(스텝 S412). 선택부(141M)는, 스텝 S411, S412를 실행한 후, 스텝 S402로 되돌아온다.
스텝 S403에서, x가 N을 초과하고 있는 경우에는, 선택부(141M)는, y가 M을 초과하고 있는지의 여부를 판정한다(스텝 S405). 그 결과, y가 M을 초과하고 있는 경우에는, 선택부(141M)는, 보간 RAW 데이터(Iraw4)(x, y)의 작성을 종료한다. y가 M을 초과하지 않는 경우에는, 선택부(141M)는, y에 1을 가함과 함께, x를 0으로 하여, 스텝 S402로 되돌아온다(스텝 S406). 선택부(141M)는, MxN행렬의 모든 좌표에서, 스텝 S402, S403, S405, S406, S410∼S412를 반복해서 행함에 의해, 보간 RAW 데이터(Iraw4)(x, y)를 작성한다.
본 변형례에서는, 상대적으로 화각이 좁은 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 경우에는, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 또한, 상대적으로 화각이 좁은 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 경우에는, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 즉, 본 변형례에서는, 보간 RAW 데이터(Iraw2c)의 흐림이 작은 때로 한하여, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 화상 합성에 사용된다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다.
또한, 본 변형례에서는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이때는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
또한, 본 변형례에서는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이때는, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
[변형례 B]
도 23은, 본 변형례에 관한 퓨전부(141)에서의 신호 처리 순서의 개요의 한 예를 나타내 것이다. 퓨전부(141)는, 상대적으로 화각이 좁은 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰지의 여부를 판정한다(스텝 S201). 그 결과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 경우에는, 퓨전부(141)는, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S202). 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
퓨전부(141)는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과 동등한 경우에는, 예를 들면, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S202). 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)과 동등한 각 화소에서, 예를 들면, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 경우에는, 퓨전부(141)는, 보간 RAW 데이터(Iraw1b)에서 화소치의 변화가 평탄한 에어리어가 있는지의 여부를 판정한다(스텝 S205). 그 결과, 보간 RAW 데이터(Iraw1b)에서 화소치의 변화가 평탄한 에어리어가 있는 경우에는, 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 에어리어로서, 또한, 보간 RAW 데이터(Iraw1b)에서의 화소치의 변화가 평탄한 에어리어에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S202).
보간 RAW 데이터(Iraw1b)에서 화소치의 변화가 평탄하지 않은 에어리어가 있는 경우에는, 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 에어리어로서, 또한, 보간 RAW 데이터(Iraw1b)에서의 화소치의 변화가 평탄하지 않은 에어리어에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S204). 퓨전부(141)는, 예를 들면, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 에어리어로서, 또한, 보간 RAW 데이터(Iraw1b)에서의 화소치의 변화가 평탄하지 않은 에어리어에서의 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)를 생성한다.
그런데, 화소치의 변화가 평탄한 에어리어인지 여부의 판정에는, 예를 들면, 이하의 분산(x, y)이 화소마다 산출된다. 또한, I(x, y)는, 좌표(x, y)에서의 보간 RAW 데이터(Iraw1b)의 화소치이다. 또한, Ave는, 좌표(x, y)를 중심으로 한, 소정의 영역(예를 들면, 5×5의 영역)에서의 보간 RAW 데이터(Iraw1b)의 화소치의 평균치이다. 퓨전부(141)는, 예를 들면, 이하의 분산(x, y)이 소정의 임계치보다도 작은 경우에는, 좌표(x, y)는 평탄한 에어리어라고 판정하고, 이하의 분산(x, y)이 소정의 임계치 이상의 값으로 되어 있는 경우에는, 좌표(x, y)는 평탄하지 않은 에어리어라고 판정한다.
[수식 1]
Figure 112017115724002-pct00001
도 24는, 본 변형례에 관한 퓨전부(141)의 내부 구성의 한 예를 도시한 것이다. 퓨전부(141)는, 예를 들면, LPF부(141A), HPF(141B), 시차 보정부(141C), 흐림 보정부(141D) 및 중첩부(141E)를 갖고 있다. 본 변형례에서, 흐림 보정부(141D)는, 예를 들면, HPF부(141F), 절대치화부(141G, 141H), 맵 작성부(141J, 141K), 맵 합성부(141L) 및 선택부(141M)를 갖고 있다.
맵 작성부(141J)는, 보간 RAW 데이터(Iraw1d), 및 보간 RAW 데이터(Iraw2e)의 어느 일방을 선택하기 위한 맵(Imap1)을 작성한다. 맵 작성부(141K)는, 보간 RAW 데이터(Iraw1b)에 의거하여, 맵(Imap2)을 생성한다. 맵 합성부(141L)는, 맵(Imap1)과 맵(Imap2)에 의거하여, 맵(Imap3)을 생성한다. 선택부(141M)는, 맵(Imap3)에 의거하여, 보간 RAW 데이터(Iraw1d), 및 보간 RAW 데이터(Iraw2e)의 어느 일방을 선택함에 의해, 보간 RAW 데이터(Iraw4)를 생성한다.
도 25는, 이 맵 작성부(141K)에서의 맵 작성 순서의 한 예를 도시한 것이다. 또한, 도 25 중의 N은, 보간 RAW 데이터(Iraw1b)(x, y)에서의 x의 상한치이다. 도 25 중의 M은, 보간 RAW 데이터(Iraw1b)(x, y)에서의 y의 상한치이다.
맵 작성부(141K)는, 맵(Imap1)에서 false로 되어 있는 에어리어에서, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw1b_H)(보간 RAW 데이터(Iraw2e))을 합성에 이용한 쪽이 좋은 에어리어를 규정하기 위한 맵을 작성한다. 맵 작성부(141K)는, 보간 RAW 데이터(Iraw1b)(x, y)에서, x=0, y=1을 설정한다(스텝 S501). 다음에, 맵 작성부(141K)는, x에 1을 가한다(스텝 S502). 다음에, 맵 작성부(141K)는, x가 N을 초과하고 있는지의 여부를 판정한다(스텝 S503). 그 결과, x가 N을 초과하지 않는 경우에는, 맵 작성부(141K)는, 설정된 x, y 좌표가 화소치의 변화가 평탄한 에어리어에 해당하는지의 여부를 판정한다(스텝 S504). 그 결과, 설정된 x, y 좌표가 평탄한 에어리어에 해당하는 경우에는, 맵 작성부(141K)는, 설정된 x, y 좌표에서, 맵(Imap2)(x, y)에 true를 기록한다(스텝 S505). 설정된 x, y 좌표가 평탄한 에어리어에 해당하지 않는 경우에는, 맵 작성부(141K)는, 설정된 x, y 좌표에서, 맵(Imap2)(x, y)에 false를 기록한다(스텝 S506). 맵 작성부(141K)는, 스텝 S505, S506을 실행한 후, 스텝 S502로 되돌아온다.
스텝 S503에서, x가 N을 초과하고 있는 경우에는, 맵 작성부(141K)는, y가 M을 초과하고 있는지의 여부를 판정한다(스텝 S507). 그 결과, y가 M을 초과하고 있는 경우에는, 맵 작성부(141K)는, 맵(Imap2)(x, y)의 작성을 종료한다. y가 M을 초과하지 않는 경우에는, 맵 작성부(141K)는, y에 1을 가함과 함께, x를 0으로 하여, 스텝 S402로 되돌아온다(스텝 S508). 맵 작성부(141K)는, MxN행렬의 모든 좌표에서, 스텝 S502∼S508을 반복해서 행함에 의해, 맵(Imap2)(x, y)을 작성한다.
도 26은, 맵 합성부(141L)에서의 맵 합성 순서의 한 예를 도시한 것이다. 또한, 도 26 중의 N은, 맵(Imap1(x, y), Imap2(x, y))에서의 x의 상한치이다. 도 26 중의 M은, 맵(Imap1(x, y), Imap2(x, y))에서의 y의 상한치이다.
맵 합성부(141L)는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)(보간 RAW 데이터(Iraw2e))를 합성에 사용하는지의 여부를 선택하기 위한 맵을 작성한다. 맵 합성부(141L)는, 맵(Imap1(x, y), Imap2(x, y))에서, x=0, y=1을 설정한다(스텝 S601). 다음에, 맵 합성부(141L)는, x에 1을 가한다(스텝 S602). 다음에, 맵 합성부(141L)는, x가 N을 초과하고 있는지의 여부를 판정한다(스텝 S603).
그 결과, x가 N을 초과하지 않는 경우에는, 맵 합성부(141L)는, 맵(Imap1)(x, y)이 true로 되어 있는지의 여부를 판정한다(스텝 S604). 그 결과, 맵(Imap1)(x, y)이 true로 되어 있는 경우에는, 맵 합성부(141L)는, 맵(Imap3)(x, y)에 true를 기록한다(스텝 S605). 맵(Imap1)(x, y)이 true로 되지 않은 경우에는, 맵 합성부(141L)는, 맵(Imap2)(x, y)이 true로 되어 있는지의 여부를 판정한다(스텝 S606). 그 결과, 맵(Imap2)(x, y)이 true로 되어 있는 경우에는, 맵 합성부(141L)는, 맵(Imap3)(x, y)에 true를 기록한다(스텝 S605). 맵(Imap2)(x, y)이 true로 되지 않은 경우에는, 맵 합성부(141L)는, 맵(Imap3)(x, y)에 false를 기록한다(스텝 S607). 맵 합성부(141L)는, 스텝 S605, S607을 실행한 후, 스텝 S602로 되돌아온다.
스텝 S603에서, x가 N을 초과하고 있는 경우에는, 맵 합성부(141L)는, y가 M을 초과하고 있는지의 여부를 판정한다(스텝 S608). 그 결과, y가 M을 초과하고 있는 경우에는, 맵 합성부(141L)는, 맵(Imap3)(x, y)의 작성을 종료한다. y가 M을 초과하지 않는 경우에는, 맵 합성부(141L)는, y에 1을 가함과 함께, x를 0으로 하여, 스텝 S602로 되돌아온다(스텝 S609). 맵 합성부(141L)는, MxN행렬의 모든 좌표에서, 스텝 S602∼S609를 반복해서 행함에 의해, 맵(Imap3)(x, y)을 작성한다.
도 27은, 선택부(141M)에서의 퓨전 대상 데이터의 선택 순서의 한 예를 도시한 것이다. 또한, 도 27 중의 N은, 맵(Imap3)(x, y)에서의 x의 상한치이다. 도 27 중의 M은, 맵(Imap3)(x, y)에서의 y의 상한치이다.
선택부(141M)는, 보간 RAW 데이터(Iraw1b)의 저주파 성분에 더하는 데이터를, 화소마다, 보간 RAW 데이터(Iraw1b)의 고주파 성분(보간 RAW 데이터(Iraw1d)), 및 보간 RAW 데이터(Iraw2c)의 고주파 성분(보간 RAW 데이터(Iraw2e))의 어느 하나로부터 선택함에 의해, 보간 RAW 데이터(Iraw4)를 생성한다. 선택부(141M)는, 보간 RAW 데이터(Iraw1d)(x, y), 보간 RAW 데이터(Iraw2e)(x, y), 맵(Imap3)(x, y)에서, x=0, y=1을 설정한다(스텝 S701). 다음에, 선택부(141M)는, x에 1을 가한다(스텝 S702). 다음에, 선택부(141M)는, x가 N을 초과하고 있는지의 여부를 판정한다(스텝 S703).
그 결과, x가 N을 초과하지 않는 경우에는, 선택부(141M)는, 맵(Imap3)(x, y)이 true로 되어 있는지의 여부를 판정한다(스텝 S704). 그 결과, 맵(Imap3)(x, y)이 true로 되어 있는 경우에는, 선택부(141M)는, 보간 RAW 데이터(Iraw2e)를, 보간 RAW 데이터(Iraw4)(x, y)에 기록한다(스텝 S705). 맵(Imap3)(x, y)이 true로 되지 않은 경우에는, 선택부(141M)는, 보간 RAW 데이터(Iraw1d)(x, y)를, 보간 RAW 데이터(Iraw4)(x, y)에 기록한다(스텝 S706). 선택부(141M)는, 스텝 S705, S706을 실행한 후, 스텝 S702로 되돌아온다.
스텝 S703에서, x가 N을 초과하고 있는 경우에는, 선택부(141M)는, y가 M을 초과하고 있는지의 여부를 판정한다(스텝 S707). 그 결과, y가 M을 초과하고 있는 경우에는, 선택부(141M)는, 보간 RAW 데이터(Iraw4)(x, y)의 작성을 종료한다. y가 M을 초과하지 않는 경우에는, 선택부(141M)는, y에 1을 가함과 함께, x를 0으로 하여, 스텝 S702로 되돌아온다(스텝 S708). 선택부(141M)는, MxN행렬의 모든 좌표에서, 스텝 S702∼S708을 반복해서 행함에 의해, 보간 RAW 데이터(Iraw4)(x, y)를 작성한다.
본 변형례에서는, 상대적으로 화각이 좁은 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 경우에는, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 또한, 상대적으로 화각이 좁은 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 상대적으로 화각이 넓은 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 경우에는, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 즉, 본 변형례에서는, 보간 RAW 데이터(Iraw2c)의 흐림이 작은 때로 한하여, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 화상 합성에 사용된다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다.
또한, 본 변형례에서는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 큰 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이때는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
또한, 본 변형례에서는, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)이 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)보다도 작은 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이때는, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
또한, 본 변형례에서는, 보간 RAW 데이터(Iraw1b)의 고주파 성분(Iraw1b_H)이 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)보다도 큰 각 화소 중, 화소치의 변화가 평탄한 에어리어에 포함되는 각 화소에서, 보간 RAW 데이터(Iraw1b)의 저주파 성분(Iraw1b_L)과, 보간 RAW 데이터(Iraw2c)의 고주파 성분(Iraw2c_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이에 의해, 고시야이면서 고해상도의 화상을 얻을 수 있다.
<3. 제2의 실시의 형태>
[구성]
다음에, 본 개시의 제2의 실시의 형태에 관한 촬상 장치(2)에 관해 설명한다. 도 28은, 촬상 장치(2)의 기능 블록의 한 예를 도시한 것이다. 촬상 장치(2)는, 2개의 촬상 디바이스(10, 20)를 이용하여, 화각이 넓은, 고해상도의 화상을 얻거나, 기계적인 줌 기구를 이용하지 않고서 광학 줌을 행하거나 하는 것이다. 촬상 장치(2)는, 예를 들면, 2개의 촬상 디바이스(10, 20), 신호 처리부(30) 및 제어부(40)를 구비하고 있다. 본 실시의 형태에서는, 신호 처리부(30)는, 2개의 카메라 신호 처리부(33, 34)와, 하나의 합성 처리부(35)를 갖고 있다. 합성 처리부(33)는, 촬상 디바이스(10)에 의해 생성된 RAW 데이터(Iraw1)에 대해 디모자이크 처리를 행함에 의해, 컬러 화상 데이터(Icol1)를 생성한다. 합성 처리부(34)는, 촬상 디바이스(20)에 의해 생성된 RAW 데이터(Iraw2)에 대해 디모자이크 처리를 행함에 의해, 컬러 화상 데이터(Icol2)를 생성한다. 합성 처리부(35)는, 2개의 합성 처리부(33, 34)에서 생성된 2개의 컬러 화상 데이터(Icol1, Icol2)를 서로 합성함에 의해, 컬러 화상 데이터(Icol)를 생성한다.
도 29는, 합성 처리부(35)의 기능 블록의 한 예를 도시한 것이다.
합성 처리부(35)는, 위치맞춤부(150) 및 합성부(160)를 갖고 있다. 위치맞춤부(150)는, 2개의 컬러 화상 데이터(Icol1, Icol2)에 의거하여, 2개의 컬러 화상 데이터(Icol1, Icol2)의 위치맞춤 데이터를 생성한다. 합성부(160)는, 위치맞춤부(150)에 의해 생성된 위치맞춤 데이터에 의거하여 2개의 컬러 화상 데이터(Icol1, Icol2)를 서로 합성한다.
위치맞춤부(150)는, 예를 들면, 절출부(151), 게인 보정부(152), 휘도 연산부(153), 154, 축소부(155) 및 시차 산출부(156)를 갖고 있다.
절출부(151)는, 컬러 화상 데이터(Icol1)에서, 컬러 화상 데이터(Icol2)와의 합성을 행하는 퓨전 영역(β)(도 5의 영역(α)에 상당)을 지정한다. 구체적으로는, 절출부(151)는, 촬상 디바이스(10, 20)의 배율과, 컬러 화상 데이터(Icol1, Icol2)의 화상 사이즈에 의거하여, 퓨전 영역(β)을 지정한다. 절출부(151)는, 예를 들면, 촬상 디바이스(10, 20)의 배율과, 컬러 화상 데이터(Icol1, Icol2)의 화상 사이즈에 의거하여, 컬러 화상 데이터(Icol1)에서의, 퓨전 영역(β)의 좌표를 지정한다. 절출부(151)는, 예를 들면, 지정한 좌표에 의거하여, 퓨전 영역(β)에 대응하는 컬러 화상 데이터(Icol1a)를, 컬러 화상 데이터(Icol1)로부터 절출한다.
게인 보정부(152)는, 컬러 화상 데이터(Icol1a, Icol2)에서의 색정보마다의 게인비(예를 들면, RGB 게인비)를 산출한다. 게인 보정부(152)는, 예를 들면, 컬러 화상 데이터(Icol1a) 내의 평균치를 색정보마다 산출함과 함께, 컬러 화상 데이터(Icol2) 내의 평균치를 색정보마다 산출한다. 게인 보정부(152)는, 예를 들면, 컬러 화상 데이터(Icol1a, Icol2)에서의, 색정보마다의 평균치의 비로부터, 보정 게인을 색정보마다 산출한다. 게인 보정부(152)는, 산출한 보정 게인에 의거하여, 컬러 화상 데이터(Icol2)를 보정하고, 이에 의해, 컬러 화상 데이터(Icol2a)를 생성한다.
휘도 연산부(153)는, 컬러 화상 데이터(Icol1a)에 포함되는 각 색 정보에 의거하여, 컬러 화상 데이터(Icol1a)에서의 각 화소의 휘도 데이터를 산출한다. 이에 의해, 휘도 연산부(153)는, 화소마다 휘도 데이터를 갖는 휘도 데이터(Icol1b)를 얻는다. 휘도 연산부(154)는, 컬러 화상 데이터(Icol2a)에 포함되는 각 색 정보에 의거하여, 컬러 화상 데이터(Icol2a)에서의 각 화소의 휘도 데이터를 산출한다. 이에 의해, 휘도 연산부(154)는, 화소마다 휘도 데이터를 갖는 휘도 데이터(Icol2b)를 얻는다.
축소부(155)는, 촬상 디바이스(10, 20)의 배율에 의거하여, 컬러 화상 데이터(Icol2a) 및 휘도 데이터(Icol2b)를 축소한다. 이에 의해, 축소부(155)는, 컬러 화상 데이터(Icol2c) 및 휘도 데이터(Icol2d)를 얻는다. 시차 산출부(156)는, 휘도 데이터(Icol1b, Icol2d)에 의거하여, 위치맞춤 데이터로서의 시차 정보(Disp)를 산출한다. 시차 산출부(156)는, 예를 들면, 2개의 화상 사이에서의 움직임 벡터 추정법 등을 이용하여, 휘도 데이터(Icol1b, Icol2d)로부터 시차 정보(Disp)를 생성한다.
합성부(160)는, 예를 들면, 퓨전부(161), LPF부(162), 머지부(163) 및 선택부(164)를 갖고 있다.
퓨전부(161)는, 2개의 컬러 화상 데이터(Icol1a, Icol2c)를 합성함에 의해 컬러 화상 데이터(Icol3a)를 생성한다. 구체적으로는, 퓨전부(161)는, 시차 정보(Disp)에 의거하여 2개의 컬러 화상 데이터(Icol1a, Icol2c)를 합성함에 의해 컬러 화상 데이터(Icol3a)를 생성한다.
본 실시의 형태에서는, 퓨전부(161)에서의 신호 처리는, 상기 실시의 형태에 관한 퓨전부(141)에서의 신호 처리와 실질적과 동등하게 되어 있다.
도 30은, 퓨전부(161)에서의 신호 처리 순서의 개요의 한 예를 도시한 것이다. 퓨전부(161)는, 상대적으로 화각이 좁은 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 상대적으로 화각이 넓은 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰지의 여부를 판정한다(스텝 S801). 그 결과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 경우에는, 퓨전부(161)는, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)(제2 합성 촬상 데이터)를 생성한다(스텝 S802). 퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2a)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다.
퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)과 동등한 경우에는, 예를 들면, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다(스텝 S802). 퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)과 동등한 각 화소에서, 예를 들면, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다.
컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 경우에는, 퓨전부(161)는, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)(제1 합성 촬상 데이터)를 생성한다(스텝 S803). 퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다.
[효과]
다음에, 촬상 장치(2)의 효과에 관해 설명한다.
본 실시의 형태에서는, 상대적으로 화각이 넓은 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 상대적으로 화각이 좁은 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 이에 의해, 상대적으로 화각이 넓은 컬러 화상 데이터(Icol1a)에서, 고주파 성분을, 상대적으로 화각이 좁은 컬러 화상 데이터(Icol2c)의 고주파 성분으로 치환한 경우에 비하여, 컬러 화상 데이터(Icol1a)에 흐림이 있는 때의 흐림의 영향을 완화할 수 있다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다.
또한, 본 실시의 형태에서는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 이때는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
또한, 본 실시의 형태에서는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 이때는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)에는, 합성에 영향을 주는 흐림이 있다고 추정된다. 그러나, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)도, 합성에 사용되고 있기 때문에, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)에 존재한다고 추정되는 흐림에 의한 영향을 저감할 수 있다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다
또한, 본 실시의 형태에서는, 촬상 디바이스(10)의 촬상 영역(R1) 중 외연을 제외한 영역이 촬상 디바이스(20)의 촬상 영역(R2)으로 되어 있다. 또한, 본 실시의 형태에서는, 상대적으로 화각이 넓은 컬러 화상 데이터(Icol1)와, 컬러 화상 데이터(Icol1)보다도 화각이 좁은 컬러 화상 데이터(Icol2)가 촬상 디바이스(10, 20) 및 카메라 신호 처리부(33, 34)에 의해 생성된다. 이에 의해, 컬러 화상 데이터(Icol1) 중 외연을 제외한 소정의 영역(퓨전 영역(β))과, 컬러 화상 데이터(Icol2)가 서로 합성된다. 환언하면, 테두리형상의 컬러 화상 데이터(Icol1)에, 컬러 화상 데이터(Icol2)가 감입된다. 그 결과, 2개의 촬상 디바이스(10, 20) 및 카메라 신호 처리부(33, 34)를 이용하여, 화각이 넓은, 고해상도의 화상을 얻거나, 기계적인 줌 기구를 이용하지 않고서 광학 줌을 행하거나 할 수 있다.
<4. 제2의 실시의 형태의 변형례>
다음에, 상기 제2의 실시의 형태에 관한 촬상 장치(2)의 변형례에 관해 설명한다. 이하의 변형례 C 및 변형례 D에 관한 퓨전부(161)에서의 신호 처리는, 상기 제1의 실시의 형태의 변형례 A 및 변형례 B에 관한 퓨전부(141)에서의 신호 처리와 실질적으로 동등하게 되어 있다.
[변형례 C]
도 31은, 본 변형례에 관한 퓨전부(161)에서의 신호 처리 순서의 개요의 한 예를 도시한 것이다. 퓨전부(161)는, 상대적으로 화각이 좁은 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 상대적으로 화각이 넓은 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰지의 여부를 판정한다(스텝 S801). 그 결과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 경우에는, 퓨전부(161)는, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다(스텝 S802). 퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2a)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다.
퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)과 동등한 경우에는, 예를 들면, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다(스텝 S802). 퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)과 동등한 각 화소에서, 예를 들면, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다.
컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 경우에는, 퓨전부(161)는, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다(스텝 S804). 퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다.
본 변형례에서는, 상대적으로 화각이 좁은 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 상대적으로 화각이 넓은 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 경우에는, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 또한, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 경우에는, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 즉, 본 변형례에서는, 컬러 화상 데이터(Icol2c)의 흐림이 작은 때로 한하여, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 화상 합성에 사용된다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다.
또한, 본 변형례에서는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 이때는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
또한, 본 변형례에서는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이때는, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
[변형례 D]
도 32는, 본 변형례에 관한 퓨전부(161)에서의 신호 처리 순서의 개요의 한 예를 도시한 것이다. 퓨전부(161)는, 상대적으로 화각이 좁은 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 상대적으로 화각이 넓은 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰지의 여부를 판정한다(스텝 S801). 그 결과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 경우에는, 퓨전부(161)는, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다(스텝 S802). 퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2a)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다.
퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)과 동등한 경우에는, 예를 들면, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다(스텝 S802). 퓨전부(161)는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)과 동등한 각 화소에서, 예를 들면, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다.
컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 경우에는, 퓨전부(161)는, 컬러 화상 데이터(Icol1a)에서 화소치의 변화가 평탄한 에어리어가 있는지의 여부를 판정한다(스텝 S805). 그 결과, 컬러 화상 데이터(Icol1a)에서 평탄한 에어리어가 있는 경우에는, 퓨전부(161)는, 예를 들면, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 에어리어로서, 또한, 컬러 화상 데이터(Icol1a)에서의 평탄한 에어리어에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다(스텝 S802).
컬러 화상 데이터(Icol1a)에서 화소치의 변화가 평탄하지 않은 에어리어가 있는 경우에는, 퓨전부(161)는, 예를 들면, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 에어리어로서, 또한, 컬러 화상 데이터(Icol1a)에서의 화소치의 변화가 평탄하지 않은 에어리어에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다(스텝 S804). 퓨전부(161)는, 예를 들면, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 에어리어로서, 또한, 컬러 화상 데이터(Icol1a)에서의 화소치의 변화가 평탄하지 않은 에어리어에서의 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)를 생성한다.
그런데, 화소치의 변화가 평탄한 에어리어인지 여부의 판정에는, 예를 들면, 상술한 분산(x, y)이 화소마다 산출된다. 또한, I(x, y)는, 좌표(x, y)에서의 컬러 화상 데이터(Icol1a)의 화소치이다. 또한, Ave는, 좌표(x, y)를 중심으로 한, 소정의 영역(예를 들면, 5×5의 영역)에서의 컬러 화상 데이터(Icol1a)의 화소치의 평균치이다. 퓨전부(161)는, 예를 들면, 상술한 분산(x, y)이 소정의 임계치보다도 작은 경우에는, 좌표(x, y)는 화소치의 변화가 평탄한 에어리어라고 판정하고, 이하의 분산(x, y)이 소정의 임계치 이상의 값으로 되어 있는 경우에는, 좌표(x, y)는 화소치의 변화가 평탄하지 않은 에어리어라고 판정한다.
본 변형례에서는, 상대적으로 화각이 좁은 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 상대적으로 화각이 넓은 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 경우에는, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 또한, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 경우에는, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 즉, 본 변형례에서는, 컬러 화상 데이터(Icol2c)의 흐림이 작은 때로 한하여, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 화상 합성에 사용된다. 따라서, 화상 합성에 기인하는 해상도의 저하를 간이한 방법으로 피할 수 있다.
또한, 본 변형례에서는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 이때는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
또한, 본 변형례에서는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 작은 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)을 서로 더함에 의해, 합성 RAW 데이터(Iraw3a)가 생성된다. 이때는, 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)에는, 합성에 영향을 주는 흐림이 없기 때문에, 고시야이면서 고해상도의 화상을 얻을 수 있다.
또한, 본 변형례에서는, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)이 컬러 화상 데이터(Icol1a)의 고주파 성분(Icol1a_H)보다도 큰 각 화소 중, 화소치의 변화가 평탄한 에어리어에 포함되는 각 화소에서, 컬러 화상 데이터(Icol1a)의 저주파 성분(Icol1a_L)과, 컬러 화상 데이터(Icol2c)의 고주파 성분(Icol2c_H)을 서로 더함에 의해, 컬러 화상 데이터(Icol3a)가 생성된다. 이에 의해, 고시야이면서 고해상도의 화상을 얻을 수 있다.
<5. 공통의 변형례>
다음에, 상기 각 실시의 형태 및 그 변형례에 관한 촬상 장치(1, 2)에 공통된 변형례에 관해 설명한다.
상기 각 실시의 형태 및 그 변형례에서는, 촬상 장치(1, 2)는 2개의 촬상 디바이스(10, 20)를 구비하고 있지만, 3개 이상의 촬상 디바이스를 구비하고 있어도 좋다. 3개 이상의 촬상 디바이스는, 예를 들면, 물리적인 배치가 서로 수평하게 되도록 배치되어 있다. 각 촬상 디바이스(10)의 광축은, 서로 비평행하게 되어 있다. 이때, 각 촬상 디바이스(10)의 광축은, 촬상 장치(1, 2)로부터 떨어짐에 따라 각 촬상 디바이스(10)의 광축의 각각의 간극이 서로 좁아지는 방향을 향하고 있는 것이 바람직하다. 각 촬상 디바이스(10)의 광축은, 서로 평행하게 되어 있어도 좋다.
이상, 실시의 형태 및 그 변형례를 들어 본 개시를 설명하였지만, 본 개시는 상기 실시의 형태 등으로 한정되는 것이 아니고, 여러가지 변형이 가능하다. 또한, 본 명세서 중에 기재된 효과는, 어디까지나 예시이다. 본 개시의 효과는, 본 명세서 중에 기재된 효과로 한정되는 것이 아니다. 본 개시가, 본 명세서 중에 기재된 효과 이외의 효과를 갖고 있어도 좋다.
<6. 이동체에의 응용례>
본 개시에 관한 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 자동차, 전기자동차, 하이브리드 전기자동차, 자동 이륜차, 자전거, 퍼스널모빌리티, 비행기, 드론, 선박, 로봇 등의 어느 하나의 종류의 이동체에 탑재되는 장치로서 실현되어도 좋다.
도 33은, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 한 예인 차량 제어 시스템의 개략적인 구성례를 도시하는 블록도이다.
차량 제어 시스템(12000)은, 통신 네트워크(12001)를 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 33에 도시한 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차량탐재 네트워크 I/F(interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각(舵角)을 조절하는 스티어링 기구, 및, 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은, 키레스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는, 헤드 램프, 백 램프, 브레이크 램프, 윙커 또는 포그램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체한 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은, 이들의 전파 또는 신호의 입력을 접수하여, 차량의 도어 록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외(車外) 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 의거하여, 사람(人), 차(車), 장애물, 표지 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행하여도 좋다.
촬상부(12031)는, 광을 수광하고, 그 광의 수광량에 응한 전기 신호를 출력하는 광센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 거리측정의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이라도 좋고, 적외선 등의 비가시광이라도 좋다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력된 검출 정보에 의거하여, 운전자의 피로 정도 또는 집중 정도를 산출하여도 좋고, 운전자가 앉아서 졸고 있지 않는지를 판별하여도 좋다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 의거하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하고, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 의거한 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수가 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득된 차량의 주위의 정보에 의거하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함에 의해, 운전자의 조작에 근거하지 않고서 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 의거하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 검지한 선행차 또는 대향차의 위치에 응하여 헤드 램프를 제어하고, 하이 빔을 로우 빔에 전환하는 등의 눈부심방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수가 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중의 적어도 일방의 출력 신호를 송신한다. 도 33의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되어 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 좋다.
도 34는, 촬상부(12031)의 설치 위치의 예를 도시하는 도면이다.
도 34에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노우즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실내의 프론트 유리의 상부 등의 위치에 마련된다. 프런트 노우즈에 구비되는 촬상부(12101) 및 차실내의 프론트 유리의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에서 취득된 전방의 화상은, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 34에는, 촬상부(12101 내지 12104)의 촬영 범위의 한 예가 도시되어 있다. 촬상 범위(12111)는, 프런트 노우즈에 마련된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 마련된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)에서 촬상된 화상 데이터가 겹쳐짐에 의해, 차량(12100)을 상방에서 본 조감 화상을 얻을 수 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 거리 정보를 취득하는 기능을 갖고 있어도 좋다. 예를 들면, 촬상부(12101 내지 12104)의 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라라도 좋고, 위상차 검출용의 화소를 갖는 촬상 소자라도 좋다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함에 의해, 특히 차량(12100)의 진행로상에 있는 가장 가까운 입체물로, 차량(12100)과 개략 동일 방향으로 소정의 속도(예를 들면, 0㎞/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차와의 앞 사이에 미리 확보하여야 할 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함하다)나 자동 가속 제어(추종 발진 제어도 포함한다) 등을 행할 수가 있다. 이와 같이 운전자의 조작에 근거하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초호, 입체물에 관한 입체물 데이터를, 2륜차, 보통 차량, 대형 차량, 보행자, 전신주 등 기타의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100)의 주변의 장애물을, 차량(12100)의 드라이버가 시인(視認) 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하고, 충돌 리스크가 설정치 이상으로 충돌 가능성이 있는 상황인 때에는, 오디오 스피커(12061)나 표시부(12062)를 통하여 드라이버에게 경보를 출력하는 것이나, 구동계 제어 유닛(12010)을 통하여 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수가 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 적외선을 검출하는 적외선 카메라라도 좋다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지의 여부를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에서의 특징점을 추출하는 순서와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지의 여부를 판별하는 순서에 의해 행하여진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에 강조를 위한 사각형(方形) 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망하는 위치에 표시하도록 표시부(12062)를 제어하여도 좋다.
이상, 본 개시에 관한 기술이 적용될 수 있는 차량 제어 시스템의 한 예에 관해 설명하였다. 본 개시에 관한 기술은, 이상 설명한 구성 중, 촬상부(12031)에 적용될 수 있다. 촬상부(12031)에 본 개시에 관한 기술을 적용함에 의해, 고해상도의 합성 화상을 얻을 수 있다.
또한, 예를 들면, 본 개시는 이하와 같은 구성을 취할 수 있다.
(1) 각각에서 화각이 서로 다른 촬상 데이터를 생성하는 2개의 촬상 디바이스와, 일방의 상기 촬상 디바이스에 의해 생성된 상대적으로 화각이 넓은 상기 촬상 데이터인 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분과, 타방의 상기 촬상 디바이스에 의해 생성된 상대적으로 화각이 좁은 상기 촬상 데이터인 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하는 합성부를 구비한 촬상 장치.
(2) 상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 작은 경우에, 상기 제1 합성 촬상 데이터를 생성하는 (1)에 기재된 촬상 장치.
(3) 상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 작은 각 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하는 (2)에 기재된 촬상 장치.
(4) 상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 큰 경우에는, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제2 합성 촬상 데이터를 생성하는 (2) 또는 (3)에 기재된 촬상 장치.
(5) 상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 큰 각 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제2 합성 촬상 데이터를 생성하는 (4)에 기재된 촬상 장치.
(6) 각 상기 촬상 데이터는, 화소마다 하나의 색정보가 설정된 RAW 데이터인 (1) 내지 (5)의 어느 하나에 기재된 촬상 장치.
(7) 각 상기 촬상 데이터는, 화소마다 복수종류의 색정보가 설정된 컬러 화상 데이터인 (1) 내지 (5)의 어느 하나에 기재된 촬상 장치.
(8) 2개의 상기 촬상 디바이스 중의 일방의 제1 촬상 디바이스는, 촬상에 의해 상기 제1 촬상 데이터를 생성하고, 2개의 상기 촬상 디바이스 중의 타방의 제2 촬상 디바이스는, 상기 제1 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제2 촬상 데이터를 생성하는 (1) 내지 (7)의 어느 하나에 기재된 촬상 장치.
(9) 상기 합성부는, 상기 제1 촬상 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 촬상 데이터에서의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하는 (8)에 기재된 촬상 장치.
(10) 각각에서 화각이 서로 다른 촬상 데이터를 생성하는 2개의 촬상 디바이스와, 일방의 상기 촬상 디바이스에 의해 생성된 상대적으로 화각이 넓은 상기 촬상 데이터인 제1 촬상 데이터의 고주파 성분이, 타방의 상기 촬상 디바이스에 의해 생성된 상대적으로 화각이 좁은 상기 촬상 데이터인 제2 촬상 데이터의 고주파 성분보다도 큰 경우에, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하고, 상기 제1 촬상 데이터의 고주파 성분이, 상기 제2 촬상 데이터의 고주파 성분보다도 작은 경우에, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제2 합성 촬상 데이터를 생성하는 합성부를 구비한 촬상 장치.
(11) 상기 합성부는, 상기 제1 촬상 데이터의 고주파 성분이, 상기 제2 촬상 데이터의 고주파 성분보다도 큰 각 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하고, 상기 제1 촬상 데이터의 고주파 성분이, 상기 제2 촬상 데이터의 고주파 성분보다도 작은 각 상기 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제2 합성 촬상 데이터를 생성하는 (10)에 기재된 촬상 장치.
(12) 상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 작은 각 화소 중, 화소치의 변화가 평탄한 에어리어에 포함되는 각 상기 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하는 (11)에 기재된 촬상 장치.
(13) 각 상기 촬상 데이터는, 화소마다 하나의 색정보가 설정된 RAW 데이터인 (10) 내지 (12)의 어느 하나에 기재된 촬상 장치.
(14) 각 상기 촬상 데이터는, 화소마다 복수종류의 색정보가 설정된 컬러 화상 데이터인 (10) 내지 (12)의 어느 하나에 기재된 촬상 장치.
(15) 2개의 상기 촬상 디바이스 중의 일방의 제1 촬상 디바이스는, 촬상에 의해 상기 제1 촬상 데이터를 생성하고, 2개의 상기 촬상 디바이스 중의 타방의 제2 촬상 디바이스는, 상기 제1 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제2 촬상 데이터를 생성하는 (10) 내지 (14)의 어느 하나에 기재된 촬상 장치.
(16) 상기 합성부는, 상기 제1 촬상 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 촬상 데이터에서의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하는 (15)에 기재된 촬상 장치.
(17) 화각이 서로 다른 2개의 촬상 데이터 중 상대적으로 화각이 넓은 상기 촬상 데이터인 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분과, 상기 2개의 촬상 데이터 중 상대적으로 화각이 좁은 상기 촬상 데이터인 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하는 합성부를 구비한 신호 처리 장치.
(18) 화각이 서로 다른 2개의 촬상 데이터 중 상대적으로 화각이 넓은 상기 촬상 데이터인 제1 촬상 데이터의 고주파 성분이, 상기 2개의 촬상 데이터 중 상대적으로 화각이 좁은 상기 촬상 데이터인 제2 촬상 데이터의 고주파 성분보다도 큰 경우에, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하고, 상기 제1 촬상 데이터의 고주파 성분이, 상기 제2 촬상 데이터의 고주파 성분보다도 작은 경우에, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제2 합성 촬상 데이터를 생성하는 합성부를 구비한 신호 처리 장치.
본 출원은, 일본 특허청에서 2016년 4월 13일에 출원된 일본 특허출원 번호 제2016-080132호를 기초로 하여 우선권을 주장하는 것이고, 이 출원의 모든 내용을 참조에 의해 본 출원에 원용한다.
당업자라면, 설계상의 요건이나 다른 요인에 응하여, 여러가지의 수정, 콤비네이션, 서브콤비네이션, 및 변경을 상도할 수 있는데, 그들은 첨부한 청구의 범위나 그 균등물의 범위에 포함되는 것으로 이해된다.

Claims (18)

  1. 각각에서 화각이 서로 다른 촬상 데이터를 생성하는 2개의 촬상 디바이스와,
    일방의 상기 촬상 디바이스에 의해 생성된 상대적으로 화각이 넓은 상기 촬상 데이터인 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분과, 타방의 상기 촬상 디바이스에 의해 생성된 상대적으로 화각이 좁은 상기 촬상 데이터인 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하는 합성부를 구비하고,
    상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 작은 경우에, 상기 제1 합성 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 작은 각 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  4. 제1항에 있어서,
    상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 큰 경우에는, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제2 합성 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  5. 제4항에 있어서,
    상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 큰 각 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제2 합성 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  6. 제1항에 있어서,
    각 상기 촬상 데이터는, 화소마다 하나의 색정보가 설정된 RAW 데이터인 것을 특징으로 하는 촬상 장치.
  7. 제1항에 있어서,
    각 상기 촬상 데이터는, 화소마다 복수종류의 색정보가 설정된 컬러 화상 데이터인 것을 특징으로 하는 촬상 장치.
  8. 제1항에 있어서,
    2개의 상기 촬상 디바이스 중의 일방의 제1 촬상 디바이스는, 촬상에 의해 상기 제1 촬상 데이터를 생성하고,
    2개의 상기 촬상 디바이스 중의 타방의 제2 촬상 디바이스는, 상기 제1 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제2 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  9. 제8항에 있어서,
    상기 합성부는, 상기 제1 촬상 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 촬상 데이터에서의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  10. 각각에서 화각이 서로 다른 촬상 데이터를 생성하는 2개의 촬상 디바이스와,
    일방의 상기 촬상 디바이스에 의해 생성된 상대적으로 화각이 넓은 상기 촬상 데이터인 제1 촬상 데이터의 고주파 성분이, 타방의 상기 촬상 디바이스에 의해 생성된 상대적으로 화각이 좁은 상기 촬상 데이터인 제2 촬상 데이터의 고주파 성분보다도 큰 경우에, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제1 합성 촬상 데이터를 생성하고, 상기 제1 촬상 데이터의 고주파 성분이, 상기 제2 촬상 데이터의 고주파 성분보다도 작은 경우에, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분을 서로 더함에 의해, 제2 합성 촬상 데이터를 생성하는 합성부를 구비한 것을 특징으로 하는 촬상 장치.
  11. 제10항에 있어서,
    상기 합성부는, 상기 제1 촬상 데이터의 고주파 성분이, 상기 제2 촬상 데이터의 고주파 성분보다도 큰 각 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하고, 상기 제1 촬상 데이터의 고주파 성분이, 상기 제2 촬상 데이터의 고주파 성분보다도 작은 각 상기 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제1 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제2 합성 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  12. 제11항에 있어서,
    상기 합성부는, 상기 제2 촬상 데이터의 고주파 성분이 상기 제1 촬상 데이터의 고주파 성분보다도 작은 각 화소 중, 화소치의 변화가 평탄한 에어리어에 포함되는 각 상기 화소에서, 상기 제1 촬상 데이터의 저주파 성분과, 상기 제2 촬상 데이터의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  13. 제10항에 있어서,
    각 상기 촬상 데이터는, 화소마다 하나의 색정보가 설정된 RAW 데이터인 것을 특징으로 하는 촬상 장치.
  14. 제10항에 있어서,
    각 상기 촬상 데이터는, 화소마다 복수종류의 색정보가 설정된 컬러 화상 데이터인 것을 특징으로 하는 촬상 장치.
  15. 제10항에 있어서,
    2개의 상기 촬상 디바이스 중의 일방의 제1 촬상 디바이스는, 촬상에 의해 상기 제1 촬상 데이터를 생성하고,
    2개의 상기 촬상 디바이스 중의 타방의 제2 촬상 디바이스는, 상기 제1 촬상 디바이스의 촬상 영역 중 외연을 제외한 영역을 촬상 영역으로 하고 있고, 촬상에 의해 상기 제2 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  16. 제14항에 있어서,
    상기 합성부는, 상기 제1 촬상 데이터 중 외연을 제외한 소정의 영역과, 상기 제2 촬상 데이터에서의 고주파 성분을 서로 더함에 의해, 상기 제1 합성 촬상 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  17. 삭제
  18. 삭제
KR1020177033624A 2016-04-13 2017-02-17 신호 처리 장치 및 촬상 장치 KR102649782B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016080132 2016-04-13
JPJP-P-2016-080132 2016-04-13
PCT/JP2017/005847 WO2017179295A1 (ja) 2016-04-13 2017-02-17 信号処理装置および撮像装置

Publications (2)

Publication Number Publication Date
KR20180133777A KR20180133777A (ko) 2018-12-17
KR102649782B1 true KR102649782B1 (ko) 2024-03-21

Family

ID=60041646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177033624A KR102649782B1 (ko) 2016-04-13 2017-02-17 신호 처리 장치 및 촬상 장치

Country Status (5)

Country Link
US (1) US10432847B2 (ko)
JP (1) JP6724982B2 (ko)
KR (1) KR102649782B1 (ko)
CN (1) CN107615749B (ko)
WO (1) WO2017179295A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016252993B2 (en) 2015-04-23 2018-01-04 Apple Inc. Digital viewfinder user interface for multiple cameras
CN107615749B (zh) * 2016-04-13 2020-09-18 索尼公司 信号处理装置和成像装置
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
DE102018203969A1 (de) * 2018-03-15 2019-09-19 Conti Temic Microelectronic Gmbh Automobile Kamera mit Rohbildsignalschnittstelle
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
EP3800876B1 (en) * 2018-07-27 2023-09-06 Huawei Technologies Co., Ltd. Method for terminal to switch cameras, and terminal
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
CN109785248A (zh) * 2018-12-19 2019-05-21 新绎健康科技有限公司 一种用于对图像颜色进行校正的方法及系统
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN113518148A (zh) * 2019-05-06 2021-10-19 苹果公司 用于捕获和管理视觉媒体的用户界面
CN111402180B (zh) * 2020-03-12 2023-05-09 西安邮电大学 一种nsct域的基于fbiem与iscm的图像融合方法
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11290640B2 (en) 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
KR20230103470A (ko) * 2021-12-31 2023-07-07 삼성전자주식회사 Udc를 포함한 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200450A (zh) * 2014-08-25 2014-12-10 华南理工大学 一种红外热图像清晰度增强方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134375A (ja) 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
JP4299561B2 (ja) 2003-03-26 2009-07-22 富士フイルム株式会社 撮像装置
JP4375662B2 (ja) * 2003-11-17 2009-12-02 株式会社リコー 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置
JP4970425B2 (ja) * 2006-03-24 2012-07-04 パナソニック株式会社 信号処理方法および信号処理回路
JP4837503B2 (ja) * 2006-09-12 2011-12-14 オリンパス株式会社 画像処理システム、画像処理プログラム
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
JP2012044443A (ja) 2010-08-19 2012-03-01 Fujifilm Corp 撮像モジュールおよび撮像装置
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
JP5843751B2 (ja) * 2012-12-27 2016-01-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
US10742864B2 (en) * 2013-12-09 2020-08-11 Playsight Interactive Ltd. Controlling cameras in sports events
KR101580585B1 (ko) * 2014-12-02 2015-12-28 서울시립대학교 산학협력단 전정색영상과 적외선영상의 융합 방법 및 장치
JP2017003832A (ja) * 2015-06-12 2017-01-05 キヤノン株式会社 自動焦点調節装置および光学機器
US10579871B2 (en) * 2016-02-03 2020-03-03 Hefei Xu Biometric composite imaging system and method reusable with visible light
CN107615749B (zh) * 2016-04-13 2020-09-18 索尼公司 信号处理装置和成像装置
KR101795271B1 (ko) * 2016-06-10 2017-11-07 현대자동차주식회사 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200450A (zh) * 2014-08-25 2014-12-10 华南理工大学 一种红外热图像清晰度增强方法

Also Published As

Publication number Publication date
KR20180133777A (ko) 2018-12-17
CN107615749A (zh) 2018-01-19
US20180302551A1 (en) 2018-10-18
JPWO2017179295A1 (ja) 2019-02-21
WO2017179295A1 (ja) 2017-10-19
JP6724982B2 (ja) 2020-07-15
US10432847B2 (en) 2019-10-01
CN107615749B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
KR102649782B1 (ko) 신호 처리 장치 및 촬상 장치
US10848660B2 (en) Imaging apparatus, imaging module, and control method of imaging apparatus
WO2018190126A1 (ja) 固体撮像装置、及び電子機器
CN110073652B (zh) 成像装置以及控制成像装置的方法
US20200057149A1 (en) Optical sensor and electronic device
US20220368867A1 (en) Imaging device
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2018105372A1 (ja) 固体撮像装置、駆動方法、および電子機器
TW202231056A (zh) 攝像裝置
US10891706B2 (en) Arithmetic device and sensor to track movement of object between frames
CN111345036A (zh) 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
US20200402206A1 (en) Image processing device, image processing method, and program
Kidono et al. Visibility estimation under night-time conditions using a multiband camera
US11523070B2 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
TWI842952B (zh) 攝像裝置
WO2023248827A1 (en) Solid-state imaging device and electronic device
WO2017169079A1 (ja) 画像処理装置、画像処理方法および撮像素子
WO2023062873A1 (ja) 撮像装置、および電子機器
TW202416721A (zh) 固態成像裝置及電子裝置
EP3905656A1 (en) Image processing device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant