KR20110125172A - 화상 처리 장치, 화상 처리 방법 및 프로그램 - Google Patents

화상 처리 장치, 화상 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20110125172A
KR20110125172A KR1020110042365A KR20110042365A KR20110125172A KR 20110125172 A KR20110125172 A KR 20110125172A KR 1020110042365 A KR1020110042365 A KR 1020110042365A KR 20110042365 A KR20110042365 A KR 20110042365A KR 20110125172 A KR20110125172 A KR 20110125172A
Authority
KR
South Korea
Prior art keywords
image data
color
wavelength
visible light
monochrome
Prior art date
Application number
KR1020110042365A
Other languages
English (en)
Inventor
고이찌 요시까와
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110125172A publication Critical patent/KR20110125172A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터와, 상기 가시광 영역의 파장 성분을 포함하지 않고 가시광 영역 외측의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 취득하는 화상 취득부와; 상기 컬러 화상 데이터로부터 색정보를 추출하는 색정보 추출부와; 상기 모노크롬 화상 데이터로부터 휘도 정보를 추출하는 휘도 정보 추출부와; 추출된 상기 색정보와 추출된 상기 휘도 정보를 합성해서 합성 화상 데이터를 생성하는 합성부를 포함하는, 화상 처리 장치가 제공된다.

Description

화상 처리 장치, 화상 처리 방법 및 프로그램 {IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM}
본 발명은 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다.
옥외 등을 촬영하는 광역 감시 카메라에는 이하의 3개의 조건이 주로 요구된다. 제1 조건은 안개나 연무 등으로 인해 피사체를 보기 어려운 촬영 조건에서도 주목하는 피사체를 선명하게 촬상하는 것이다. 제2 조건은 조도가 낮은 어두운 환경에서도 피사체를 촬상하는 것이다. 제3 조건은 옷의 색 등의 색정보에 의한 식별이 중시될 경우가 많기 때문에, 컬러 화상을 얻는 것이다.
종래의 단판(single-chip) 컬러 촬상 소자를 구비한 카메라를 사용한 경우에 상술한 3개의 조건을 충족하거나 충족하지 않는 상태에 대해서 설명한다.
우선, 제1 조건에 대해서 설명한다. 피사체를 선명하게 촬상하기 위해서는 피사체 상에서 반사한 광이 카메라의 촬상 소자까지 감쇠되지 않고 도달하는 것이 중요하다. 피사체 상에서 반사한 광이 카메라까지 올 때까지의 공간에는 공기(N2 분자 등), 안개 등의 수분, 스모그나 모래 등의 부유 입자 등이 존재한다. 이들 물체가 광을 산란시켜서 선명한 촬영 기회를 방해한다.
직경 0.37nm의 공기 분자나 일부의 스모그와 같이 부유 입자가 작은 경우에 성립되는 레일리(Rayleigh)의 산란식에 의하면, 산란 강도는 광선 파장의 -4승에 비례한다. 또한, 직경이 1000nm 내지 50μm 정도인 안개 등의 입자 직경의 경우에는 Mie 이론이 적용되어, 산란 강도는 광선 파장의 0 내지 -2승 정도의 범위에서 비례한다. 파장 400nm 내지 700nm의 가시광에서는 특히 청색이나 녹색의 파장이 산란되기 쉽고, 청색이나 녹색의 파장이 카메라에 도달하지 않는다. 그로 인해, 가시광을 수광하는 카메라로 촬영한 화상은 인간의 눈에 보이는 상태에 가깝고, 멀리 떨어져 있는 피사체는 낮은 가시성으로 흐리게 된다.
이어서, 제2 조건에 대해서 설명한다. 단판 컬러 촬상 소자는 수광 소자(photodetector) 앞에 적색, 녹색, 청색 필터를 설치하고 있기 때문에, 적색, 녹색, 청색 각 색의 수광 소자가 모두 모노크롬 촬상 소자에 비해 감도가 낮아진다. 조도가 낮은 어두운 환경에서의 촬상에 있어서의 감도 부족을 보충하기 위해서, 촬상 소자 앞에 설치된 IR 컷-오프 필터를 일시적으로 저장하고, 적외광에 의해 피사체를 조명하는 방법(예를 들어 나이트 모드 촬영)이 있다. 그러나, 적외선 촬영으로는 컬러 촬영하는 것이 어렵고, 적외선 촬영에서 수광 소자 앞의 적색, 녹색, 청색 필터를 통과하여야 하기 때문에 사실상 감도 향상이 어렵다.
이에 대해, 단판 모노크롬 촬상 소자는 단판 컬러 촬상 소자와 비교하여 고감도에서 공간 해상도가 높은 촬영이 가능하다. 그러나, 모노크롬 촬상 소자는 색정보를 취득하는 것이 불가능하기 때문에, 상술한 제3 조건을 충족시킬 수 없다.
일본 특허 공개 제2007-184805A호 공보에서는 색정보와 휘도 정보가 각각 모두 최적인 컬러 화상을 재생하기 위해, 가시광과 적외선을 함유하는 화상 데이터로부터 휘도 정보를 추출하고, 적외 성분 제거 후의 가시광 화상으로부터 색정보를 추출하고, 휘도 정보와 색정보를 합성하는 기술이 개시되어 있다. 그러나, 일본 특허 공개 제2007-184805A호 공보에서는 휘도 정보를 추출할 때에 가시광을 함유하는 화상 데이터를 사용하기 때문에, 상술한 제1 조건을 충족시키지 않아, 피사체를 선명하게 촬상할 수 없는 문제가 있다.
상술한 점을 고려해서, 안개 등으로 인해 보기 어려운 촬영 조건이나, 조도가 낮은 어두운 환경에서도 피사체를 촬상가능해서, 컬러 화상을 얻는 것이 가능한, 신규하고 개량된 화상 처리 장치, 화상 처리 방법 및 프로그램을 제공하는 것이 바람직하다.
본 발명의 실시 형태에 따르면, 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터와, 상기 가시광 영역의 파장 성분을 포함하지 않고 상기 가시광 영역 이외의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 취득하는 화상 취득부와, 상기 컬러 화상 데이터로부터 색정보를 추출하는 색정보 추출부와, 상기 모노크롬 화상 데이터로부터 휘도 정보를 추출하는 휘도 정보 추출부와, 추출된 상기 색정보와 추출된 상기 휘도 정보를 합성해서 합성 화상 데이터를 생성하는 합성부를 포함하는 화상 처리 장치가 제공된다.
상기 컬러 화상 데이터는 소정값보다 작은 파장 성분만으로 이루어지고, 상기 모노크롬 화상 데이터는 상기 소정값보다 큰 파장 성분만으로 이루어질 수 있다.
상기 컬러 화상 데이터는 400nm 내지 700nm 범위의 파장 성분을 포함하고, 상기 모노크롬 화상 데이터는 700nm 내지 1000nm 범위의 파장 성분을 포함할 수 있다.
상기 컬러 화상 데이터는 단파장측 반값 파장이 420nm 내지 460nm 범위에 있고 장파장측 반값 파장이 610nm 내지 650nm 범위에 있는 파장 성분을 포함하고, 상기 모노크롬 화상 데이터는 단파장측 반값 파장이 650nm 내지 750nm 범위에 있는 파장 성분을 포함할 수 있다.
상기 화상 취득부는 상기 가시광 영역 외측에 가까운 상기 가시광 영역의 파장 성분과, 상기 가시광 영역 외측의 파장 성분으로 이루어지는 상기 모노크롬 화상 데이터를 취득할 수 있다.
상기 컬러 화상 데이터는 제1 소정값 이하의 파장 성분만으로 이루어지고, 상기 모노크롬 화상 데이터는 상기 제1 소정값보다 작은 제2 소정값 이상의 파장 성분으로 이루어질 수 있다.
본 발명의 다른 실시 형태에 따르면, 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터와, 상기 가시광 영역의 파장 성분을 포함하지 않고 상기 가시광 영역 외측의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 취득하는 단계와, 상기 컬러 화상 데이터로부터 색정보를 추출하는 단계와, 상기 모노크롬 화상 데이터로부터 휘도 정보를 추출하는 단계와, 추출된 상기 색정보와 추출된 상기 휘도 정보를 합성해서 합성 화상 데이터를 생성하는 단계를 포함하는 화상 처리 방법이 제공된다.
상술한 본 발명의 실시 형태들에 따르면, 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터와, 상기 가시광 영역의 파장 성분을 포함하지 않고 상기 가시광 영역 외측의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 취득하는 단계와, 상기 컬러 화상 데이터로부터 색정보를 추출하는 단계와, 상기 모노크롬 화상 데이터로부터 휘도 정보를 추출하는 단계와, 추출된 상기 색정보와 추출된 상기 휘도 정보를 합성해서 합성 화상 데이터를 생성하는 단계를, 컴퓨터로 하여금 실행시키는 프로그램이 제공될 수 있다.
상술한 바와 같이 본 발명에 따르면, 안개 등으로 인해 피사체를 보기 어려운 촬영 조건이나, 조도가 낮은 어두운 환경에서도 피사체를 촬상가능해서, 컬러 화상을 얻을 수 있다.
도 1은 본 발명의 실시 형태에 관한 화상 처리 장치(102)를 도시하는 블록도이다.
도 2는 본 실시 형태에 관한 촬상 장치(100)를 도시하는 블록도이다.
도 3은 본 실시 형태에 관한 광학계(101)를 도시하는 설명도이다.
도 4는 본 실시 형태에 관한 화상 처리 장치(102)의 합성 처리를 나타내는 흐름도이다.
도 5는 분광 미러(152) 상에 반사하는 광선의 분광 반사율을 나타내는 그래프이다.
도 6은 분광 미러(152)를 투과하는 광선의 분광 투과율을 나타내는 그래프이다.
도 7은 인간의 원추 세포(S, M, L)와 간상 세포(R)가 포함하는 시물질의 흡수 스펙트럼을 나타내는 그래프이다.
도 8은 컬러 촬상 소자(154)의 분광 감도 특성을 나타내는 그래프이다.
도 9는 모노크롬 촬상 소자(156)의 분광 감도 특성을 나타내는 그래프이다.
도 10은 레일리의 산란식에 의한 산란량과 파장 사이의 관계를 나타내는 그래프이다.
도 11은 모노크롬 카메라와 컬러 카메라의 감도 및 최저 피사체 조도의 예를 나타내는 표이다.
도 12는 본 발명의 일 실시 형태의 변경예에 관한 촬상 장치(200) 및 화상 처리 장치(102)를 도시하는 블록도이다.
도 13은 본 실시 형태의 변경예에 관한 촬상 장치(300a, 300b) 및 화상 처리 장치(102)를 도시하는 블록도이다.
이하에 첨부 도면을 참조하면서, 본 발명이 적합한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 첨부된 도면에서, 실질적으로 동일한 기능 및 구성을 갖는 구성 요소에 대해서는 동일한 번호를 부여함으로써 이러한 구성 요소의 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
1. 실시 형태의 구성 및 동작
2. 변경예
1. 실시 형태의 구성 및 동작
[화상 처리 장치(102)의 구성]
우선, 도 1을 참조하여, 본 발명의 실시 형태에 관한 화상 처리 장치(102)의 구성에 대해서 설명한다. 도 1은 본 발명의 실시 형태에 관한 화상 처리 장치(102)를 도시하는 블록도이다.
화상 처리 장치(102)는 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터로부터 색정보를 추출하고, 가시광 영역의 파장 성분을 포함하지 않고 가시광 영역 외의 파장 성분만으로 이루어지는 모노크롬 화상 데이터로부터 휘도 정보를 추출하고, 색정보와 휘도 정보를 합성해서 화상 데이터를 생성한다. 이에 의해, 휘도 정보를 추출할 때에 가시광을 함유하는 화상 데이터를 사용하지 않기 때문에, 피사체가 선명하게 표시되는 화상 데이터를 얻을 수 있다.
화상 처리 장치(102)는 컬러 화상 데이터 취득부(112)와, 모노크롬 화상 데이터 취득부(114)와, 색정보 추출부(122)와, 휘도 정보 추출부(124)와, 합성부(130) 등을 포함한다.
컬러 화상 데이터 취득부(112)는 컬러 촬상 소자를 사용해서 촬상된 결과 얻어지는 컬러 화상 데이터를 취득하는 화상 취득부의 일례이다. 컬러 촬상 소자는 수광 소자 앞에 적색, 녹색, 청색 필터가 설치된 촬상 소자이며, 적색 성분-녹색 성분-청색 성분으로 이루어지는 컬러 화상 데이터를 출력한다.
컬러 촬상 소자로부터 취득하는 컬러 화상 데이터가 가시광 영역의 파장 성분만으로 이루어질 경우, 컬러 화상 데이터 취득부(112)는 그대로 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터를 색정보 추출부(122)에 보낸다. 한편, 컬러 촬상 소자로부터 취득하는 컬러 화상 데이터가 가시광 영역 이외의 적외광 성분 등의 파장 성분을 포함하는 경우는 컬러 화상 데이터 취득부(112)는 가시광 영역 이외의 파장 성분을 제거하고, 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터를 색정보 추출부(122)에 보낸다.
컬러 화상 데이터로부터 적외광 성분 등의 파장 성분이 제거됨으로써, 사람의 지각에 의해 수용될 수 있고 사람의 눈에 이해하기 쉬운 컬러 화상이 얻어질 수 있다.
모노크롬 화상 데이터 취득부(114)는 화상 취득부의 일례이며, 모노크롬 촬상 소자를 사용해서 촬상된 결과 얻어지는 모노크롬 화상 데이터를 취득한다. 모노크롬 촬상 소자는 수광 소자 앞에 색 필터가 설치되지 않는 촬상 소자이며, 휘도 정보로 이루어지는 모노크롬 화상 데이터를 출력한다. 모노크롬 촬상 소자는 색 필터가 설치되어 있지 않기 때문에, 컬러 촬상 소자에 비하여 고감도이며, 공간 해상도가 높은 촬상이 가능하게 된다.
모노크롬 촬상 소자로부터 취득하는 모노크롬 화상 데이터가 가시광 영역 이외의 파장 성분만으로 이루어질 경우, 모노크롬 화상 데이터 취득부(114)는 그대로 가시광 영역 이외의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 휘도 정보 추출부(124)에 보낸다. 한편, 모노크롬 촬상 소자로부터 취득하는 모노크롬 화상 데이터가 가시광 영역의 파장 성분을 포함하는 경우는 모노크롬 화상 데이터 취득부(114)는 가시광 영역의 파장 성분을 제거하고, 가시광 영역 이외의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 휘도 정보 추출부(124)에 보낸다.
모노크롬 화상 데이터로부터 가시광 성분이 제거됨으로써, 안개나 연무 등의 날씨 조건으로 인해 시야 선명성이 낮은 환경에서도, 피사체가 선명한 모노크롬 화상을 얻을 수 있다.
상기 컬러 화상 데이터는 소정값, 예를 들어 675nm 이하의 파장 성분만으로 이루어지고, 모노크롬 화상 데이터는 소정값, 예를 들어 675nm이상의 파장 성분만으로 이루어지면 좋다. 또한, 소정값은 상기 예에 한정되지 않는다. 예를 들어 컬러 화상 데이터는 400nm 내지 700nm 범위의 파장 성분을 포함하고, 모노크롬 화상 데이터는 700nm 내지 1000nm 범위의 파장 성분을 포함하도록 해도 좋다. 또한, 컬러 화상 데이터는 단파장측 반값 파장이 420nm 내지 460nm 범위, 장파장측 반값 파장이 610nm 내지 650nm 범위의 파장 성분을 포함하고, 모노크롬 화상 데이터는 단파장측 반값 파장이 650nm 내지 750nm 범위의 파장 성분을 포함하도록 해도 좋다.
색 정보 추출부(122)는 컬러 화상 데이터 취득부(112)로부터 받은 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터를 휘도 정보 Y1과, 색차 정보 Cb, Cr로 분해하고, 색차 정보 Cb, Cr를 추출한다. 색차 정보 Cb, Cr는 색정보의 일례다. 색정보 추출부(122)는 추출한 색차 정보 Cb, Cr를 합성부(130)에 보낸다. 휘도 정보 Y1은 합성부(130)에서의 합성 처리에 사용되지 않기 때문에, 합성부(130)로 보내지는 것이 반드시 필요하지는 않다.
각각의 RGB가 8비트로 표시되는 컬러 화상 데이터를 휘도 정보 Y1과, 색차 정보 Cb, Cr로 분해하기 위해서는 예를 들어 RGB 신호를 YCbCr 신호로 변환하는 하기의 수식 1 내지 3을 사용할 수 있다.
Y1=0.257R+0.504G+0.098B+16……(수식 1)
Cb=-0.148R-0.291G+0.439B+128……(수식 2)
Cr=0.439R-0.368G-0.071B+128……(수식 3)
휘도 정보 추출부(124)는 모노크롬 화상 데이터 취득부(114)로부터 받은, 가시광 영역 이외의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 휘도 정보 Y2로 추출한다. 그리고, 휘도 정보 추출부(124)는 추출한 휘도 정보 Y2를 합성부(130)에 보낸다.
합성부(130)는 색정보 추출부(122)로부터 받은 색차 정보 Cb, Cr와, 휘도 정보 추출부(124)로부터 받은 휘도 정보 Y2를 합성하고, 합성 화상 데이터를 생성한다. 색차 정보 Cb, Cr와 휘도 정보 Y2를 합성하고, RGB 각 8비트의 컬러 합성 화상 데이터를 생성하기 위해서는 예를 들어 YCbCr 신호를 RGB 신호로 변환하는 하기의 수식 4 내지 6을 사용한다.
R=1.164(Y2-16)-1.596(Cr-128)……(수식 4)
G=1.164(Y2-16)-0.391(Cb-128)-0.813(Cr-128)……(수식 5)
B=1.164(Y2-16)-2.018(Cb-128)……(수식 6)
[화상 처리 장치(102)의 동작]
이어서, 도 4를 참조하여, 상술한 본 실시 형태에 관한 화상 처리 장치(102)의 합성 처리에 대해서 설명한다. 도 4는 본 실시 형태에 관한 화상 처리 장치(102)의 합성 처리를 나타내는 흐름도이다.
우선, 화상 처리 장치(102)는 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터와, 가시광 영역 이외의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 취득한다(스텝 S1).
이어서, 컬러 화상 데이터가 휘도 정보 Y1, 색차 정보 Cb, Cr로 분해되어, 컬러 화상 데이터로부터 색차 정보 Cb, Cr가 추출된다. 또한, 모노크롬 화상 데이터로부터 휘도 정보 Y2가 추출된다(스텝 S2).
그 후, 컬러 화상 데이터로부터 추출된 색차 정보 Cb, Cr와, 모노크롬 화상 데이터로부터 추출된 휘도 정보 Y2가 합성되어서 합성 화상 데이터가 생성된다(스텝 S3).
[촬상 장치(100)]
이어서, 상술한 화상 처리 장치(102)가 적용되는 촬상 장치(100)에 대해서 설명한다. 즉, 화상 처리 장치(102)가 촬상 장치(100)에 신호 처리 회로로서 내장되어 있을 경우를 설명한다.
도 2는 본 실시 형태에 관한 촬상 장치(100)를 도시하는 블록도이다. 촬상 장치(100)는 예를 들어 광학계(101)와 화상 처리 장치(102)를 포함한다. 광학계(101)는 도 2에 도시한 바와 같이 컬러 화상 데이터와 모노크롬 화상 데이터를 개별적으로 화상 처리 장치(102)에 보낸다.
도 3은 본 실시 형태에 관한 광학계(101)를 도시하는 설명도이다. 도 3은 각 광학 부품의 개략적인 외관과 광로를 나타내고 있다.
광학계(101)는 전방 렌즈(151)와, 분광 미러(152)와, 렌즈군(153)과, 컬러 촬상 소자(154)와, 렌즈군(155)과, 모노크롬 촬상 소자(156) 등으로 이루어진다. 광학계(101)에서는 분광 미러(152)가 가시광 영역의 파장 성분만으로 이루어지는 제1 광과, 제1 광을 포함하지 않고 가시광 영역 이외의 파장 성분만으로 이루어지는 제2 광으로 분광한다. 컬러 촬상 소자(154)는 광학 소자로부터 조사된 제1 광을 수광하고, 모노크롬 촬상 소자(156)는 광학 소자로부터 조사된 제2 광을 수광한다.
전방 렌즈(151)는 피사체에서 반사한 광을 받고, 피사체로부터의 광을 투과 굴절시켜, 광을 분광 미러(152) 상에 조사한다.
분광 미러(152)는 표면에 다이크로익 막이 증착되어 있다. 분광 미러(152)는 입사한 광 중 가시광 영역의 파장 성분인, 예를 들어 675nm 이하의 가시광 파장 성분을 반사하고, 입사한 광 중 가시광 영역 이외의 파장 성분인, 예를 들어 675nm이상의 근적외광 파장 성분을 투과시킨다. 675nm 이하의 파장 성분은 렌즈군(153)을 투과해서 컬러 촬상 소자(154)에 조사되어 결상한다. 또한, 분광 미러(152)에 의해 분광된 파장 성분의 경계값은 675nm에 한정되지 않고, 다른 값일 수도 있다.
도 5는 분광 미러(152) 상에서 반사하는 광선의 분광 반사율을 나타내는 그래프이다. 도 5에 도시한 바와 같이, 분광 미러(152)에 의해 주로 파장 675nm 이하의 광이 컬러 촬상 소자(154)에 유도된다. 사람 눈의 분광 감도는 도 7과 같이 나타내어지기 때문에, 컬러 촬상 소자(154)에 의해 유도되는 광선의 파장은 일반적으로 가시광 영역 내일 수 있다고 이해된다. 도 7은 인간 신체의 원추 세포(S, M, L) 및 간상 세포(R)가 포함하는 시물질의 흡수 스펙트럼을 나타내는 그래프이다.
도 6은 분광 미러(152)를 투과하는 광선의 분광 투과율을 나타내는 그래프이다. 도 6에 도시한 바와 같이, 분광 미러(152)에 의해 주로 파장 675nm 이상의 광이 모노크롬 촬상 소자(156)에 유도된다. 도 7을 참조하면, 모노크롬 촬상 소자(156)에 의해 유도되는 광선의 파장은 일반적으로 가시광 영역 이외에 있을 수 있다.
또한, 촬영 렌즈를 포함하는 다른 광학 부품은 파장 400nm 내지 1100nm 범위에서 충분한 투과율을 가지며, 컬러 촬상 소자(154) 및 모노크롬 촬상 소자(156)에 도달하는 광을 차단하는 일은 없다.
컬러 촬상 소자(154) 및 모노크롬 촬상 소자(156)로서는 CCD 고체 촬상 소자, MOS형 고체 촬상 소자, CMOS형 고체 촬상 소자 등의 각종 고체 촬상 소자를 사용할 수 있다. 컬러 촬상 소자(154)는 수광 소자 앞에 적색, 녹색, 청색 필터가 설치된 촬상 소자이며, 적색 성분-녹색 성분-청색 성분으로 이루어지는 컬러 화상 데이터를 출력한다. 모노크롬 촬상 소자(156)는 수광 소자 앞에 색 필터가 설치되지 않는 촬상 소자이며, 휘도 정보로 이루어지는 모노크롬 화상 데이터를 출력한다.
도 8은 컬러 촬상 소자(154)의 분광 감도 특성을 나타내는 그래프이다. 도 5에서 나타낸 바와 같이 분광 미러(152) 상에서 반사되고, 컬러 촬상 소자(154)에 입사하는 파장 675nm 이하의 파장 영역은 도 8에서 나타낸 컬러 촬상 소자(154)가 분광 감도를 갖는 영역에 매칭된다고 이해될 수 있다. 따라서, 컬러 촬상 소자(154)는 손실없이 가시광을 포획할 수 있다.
도 9는 모노크롬 촬상 소자(156)의 분광 감도 특성을 나타내는 그래프이다. 도 9에 도시한 바와 같이, 모노크롬 촬상 소자(156)는 가시광 영역에서 최대 감도를 나타내지만, 파장 675nm 내지 1000nm 범위의 근적외선 영역에서도 충분한 감도를 가지고 있다. 따라서, 모노크롬 촬상 소자(156)는 분광 미러(152)를 투과하고 모노크롬 촬상 소자(156)에 입사하는 가시광보다 파장이 긴 675nm 이상의 파장 성분을 수광하는 것이 가능하다.
컬러 촬상 소자(154)와 모노크롬 촬상 소자(156)는 컬러 화상 데이터의 피사체상과 모노크롬 화상 데이터의 피사체상이 일치하도록 위치 결정된다. 피사체상을 일치시키는 위치 결정은 기계적 방법과, 화상 합성시에 소프트웨어를 사용하는 방법과, 양쪽을 사용하는 방법이 있을 수 있다.
컬러 촬상 소자(154)와 모노크롬 촬상 소자(156)의 광학 크기가 거의 동등하면 좋다. 이 구성에 의하면, 특별히 조정을 하지 않아도 분광 미러(152)에 의해 분기된 2개의 광학계에서 뷰 각도, 초점 심도, 및 촬상 영역을 거의 동등한 것으로 할 수 있는 이점이 있다.
컬러 촬상 소자(154)와 모노크롬 촬상 소자(156)의 광학 크기가 동등할 경우, 컬러 촬상 소자(154)의 화소수를 Cn, 모노크롬 촬상 소자(156)의 화소수를 Mn으로 했을 때, Mn≥Cn을 만족하도록 구성한다. 이 구성에 의하면, 컬러 촬상 소자(154)의 화소수 Cn이 모노크롬 촬상 소자(156)의 화소수 Mn 이하이기 때문에, 컬러 촬상 소자(154)의 각 화소 크기가 모노크롬 촬상 소자(156)의 화소 크기보다 커진다. 그 결과, 컬러 촬상 소자(154)의 감도를 높게 할 수 있고, 화소수가 많은 컬러 촬상 소자보다 감도를 향상시킬 수 있다. 한편, 모노크롬 촬상 소자(156)의 화소수 Mn이 많으므로, 모노크롬 촬상 소자(156)는 높은 해상도를 확보한다.
[본 실시 형태의 효과]
본 실시 형태의 촬상 장치(100)는 예를 들어 광역 감시 카메라에 적용해서 최적의 결과를 얻을 수 있다. 본 실시 형태에 따르면, 광역 감시 카메라용으로 특히 이하의 세 개의 조건을 충족시키는 것이 가능하다.
제1 조건은 안개나 연무 등으로 인해 피사체를 보기 어려운 촬영 조건에서도 주목하는 피사체를 선명하게 촬상할 수 있는 것이 요구된다. 제2 조건은 조도가 낮은 어두운 환경에서도 피사체를 촬상할 수 있는 것이다. 제3 조건은 옷의 색 등의 색정보에 의한 식별이 종종 중시될 경우도 많기 때문에, 컬러 화상을 얻는 것이다.
우선, 제1 조건에 대해서 설명한다. 피사체를 선명하게 촬상하기 위해서는 피사체 상에서 반사한 광이 촬상 소자까지 감쇠되지 않고 도달하는 것이 중요하다. 본 실시 형태에서는 화상의 해상도에 지배적인 휘도 신호로서, 가시광보다 파장이 긴 675nm 내지 1000nm 범위의 근적외광(NIR)을 사용한다.
도 10은 레일리의 산란식에 의한 산란량과 파장 사이의 관계를 나타내는 그래프이다. 레일리의 산란식에 따르면, d≤λ/π의 경우, 산란 강도는 광선 파장의 -4승에 비례한다.
Figure pat00001
(수식 7)
여기서, n은 입자수, d는 입자 직경(공기 분자 d=0.37nm, 스모그 d=1nm 내지 1000nm), m은 반사 계수, λ는 광의 파장이다. 반사 계수 m은 자연 조건에서 부여되고, 광의 파장 λ은 촬상 장치(100)의 설계 조건에 따라서 변화될 수 있다.
레일리의 산란식에 의하면, 근적외광(NIR)은 400 내지 675nm 범위의 가시광보다 산란량이 작다. 그로 인해, 공기 중이나, 직경이 광선 파장의 대략 1/3이하의 부유 입자가 떠있는 환경에서는, 안개 및 연무 등으로 인해 피사체를 보기 어려운 촬영 조건에서도, 본 실시 형태의 기술을 적용함으로써 통상의 카메라보다도 주목하는 피사체를 선명하게 촬상할 수 있다.
또한, 광선 파장의 대략 1/3이상 직경의 부유 입자가 떠있는 환경에 적용할 수 있는 미(Mie) 이론의 산란식에 의하면, 산란량은 광파장의 0 내지 -2승 범위에 비례한다. 그로 인해, 안개 등의 환경에서도, 근적외광(NIR)은 가시광보다도 산란되기 어렵다. 따라서, 근적외광(NIR)을 이용하는 본 실시 형태에서는, 통상의 카메라보다 안개 등의 환경에서도 피사체를 더 선명하게 촬상할 수 있다.
이어서, 제2 조건에 대해서 설명한다. 본 실시 형태에 따르면, 조도가 낮은 어두운 환경에서도 피사체를 촬상할 수 있다. 본 실시 형태에서는 통상의 컬러 카메라에서는 사용하지 않는 근적외광(NIR)을 이용하고, 또한, 황혼이나 인공 조명에 NIR를 포함하기 때문에 저 조도 시에 유리하다. 더욱이, 본 실시 형태에서는 NIR를 수광하기 위해서, 컬러 촬상 소자(154)보다 고감도이고 공간 해상도가 높은 촬영이 가능한 모노크롬 촬상 소자(156)를 사용한다. 따라서, 본 실시 형태는 저 조도 시에 유리하다.
도 11은 모노크롬 카메라와 컬러 카메라의 감도 및 최저 피사체 조도예를 나타내는 표이다. 동일한 수광 소자 앞에 RGB의 색 필터를 설치한 컬러 카메라와 수광 소자 앞에 색 필터가 설치되지 않은 모노크롬 카메라를 비교한 예이다. 모노크롬 카메라는 컬러 카메라에 비해 고감도와 더 낮은 최저 피사체 조도를 갖는다는 것을 이해해야 한다. 컬러 촬상 소자는 수광 소자 앞에 RGB의 색 필터를 설치하고 있기 때문에, RGB의 각 색의 화소가 모두 모노크롬 촬상 소자에 비해 감도가 낮아진다.
이어서, 제3 조건에 대해서 설명한다. 본 실시 형태에 따르면, 컬러 화상이 얻어진다. 모노크롬 촬상 소자는 저 조도 시의 촬영이 가능하지만, 명확하게 색정보를 취득하는 것이 불가능하다. 한편, 본 실시 형태에서는 컬러 촬상 소자(154)로부터 얻은 색정보와 모노크롬 촬상 소자(156)로부터 얻은 휘도 정보 양쪽을 이용함으로써, 제1 및 제2 조건을 충족시키면서, 제3 조건도 충족시켜 컬러 촬영이 가능하다.
2. 변경예
상술한 화상 처리 장치(102)는 촬상 장치(100)가 신호 처리 회로로서 내장되는 경우에 대해서 설명했지만, 본 발명은 이 예에 한정되지 않는다. 예를 들어, 도 12에 도시한 바와 같이, 화상 처리 장치(102)는 촬상 장치(200)의 외부에 설치되어도 좋다. 도 12는 본 실시 형태의 변경예에 관한 촬상 장치(200) 및 화상 처리 장치(102)를 도시하는 블록도이다. 여기서, 화상 처리 장치(102)는 퍼스널 컴퓨터, 서버 장치 등일 수 있다. 촬상 장치(200)는 상술한 광학계(101)를 갖고, 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터와, 가시광 영역의 파장 성분을 포함하지 않고 가시광 영역 이외의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 출력한다.
또한, 본 발명은 도 13에 도시한 바와 같이, 화상 처리 장치(102)는 2대의 촬상 장치(300a, 300b)로부터 화상 데이터를 수신할 수 있다. 도 13은 본 실시 형태의 변경예에 관한 촬상 장치(300a, 300b) 및 화상 처리 장치(102)를 도시하는 블록도이다. 촬상 장치(300a)는, 컬러 촬상 소자를 가지며 컬러 촬영이 가능한 카메라이며, 가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터를 출력한다. 촬상 장치(300b)는, 모노크롬 촬상 소자를 가지며 모노크롬 촬영이 가능한 카메라이며, 가시광 영역의 파장 성분을 포함하지 않고 가시광 영역 이외의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 출력한다.
또한, 이 변경예에서 촬상 장치(300b)는 상술한 실시 형태와 상이한 광학계(101)를 사용하지 않고, 모노크롬 촬영을 할 수 있다. 그로 인해, 촬상 장치(300b)가 출력하는 파장 성분은 촬상 장치(300a)가 출력하는 파장 성분과 일부 겹치도록 해도 좋다. 예를 들어, 컬러 화상 데이터는 가시광 영역의 파장 성분만으로 이루어지고, 모노크롬 화상 데이터는 가시광 영역 외측에 가까운 가시광 영역의 파장 성분과, 가시광 영역 이외의 파장 성분으로 이루어진다. 바꾸어 말하면, 컬러 화상 데이터는 제1 소정값 이하의 파장 성분만으로 이루어지고, 모노크롬 화상 데이터는 제1 소정값보다 작은 제2 소정값 이상의 파장 성분만으로 이루어진다.
따라서, 모노크롬 화상 데이터의 파장 성분이 가시광 영역 외측에 가까운 가시광 영역의 파장 성분을 포함함에 따라, 상술한 제1 조건에 관한 안개나 연무 등의 제거 효과가 저하될 가능성이 있다. 한편, 모노크롬 화상 데이터에 있어서 수광량이 증가하기 때문에, 제2 조건에 관해서, 보다 조도가 낮은 어두운 환경에서도 피사체를 촬상할 수 있게 된다.
또한, 상술한 화상 처리를 행하는 시기는 특별히 한정되지 않고 실시간이나 촬영 완료후 등, 여러가지 시기일 수 있다. 예를 들어, 실시간으로 화상 처리를 행하는 경우에는 컬러 촬상 소자(154) 및 모노크롬 촬상 소자(156)로 촬영해서 얻어지는 화상 데이터를 신호 처리하기 때문에, 단시간에 합성한 화상을 작성할 수 있다. 한편, 컬러 촬상 소자(154) 및 모노크롬 촬상 소자(156)로 촬영해서 얻어지는 화상을 일단 기록 매체에 기록해 두고, 나중에 화상을 불러들여 화상 처리를 행하는 것도 가능하다.
또한, 모노크롬 촬상 소자를 구비한 촬상 장치(300b)와, 컬러 촬상 소자를 구비한 촬상 장치(300a)를 촬상 영역이 거의 겹치도록 배치함으로써, 본 발명의 촬상 장치와 같은 촬상을 행하는 것이 가능하지만, 카메라가 분리되기 때문에 시차 발생이나 초점 어긋남 등의 문제가 발생할 가능성이 있다. 한편, 상술한 제1 실시 형태에 관한 촬상 장치(100)나 변경예에 관한 촬상 장치(200)에서는 모노크롬 촬상 소자(156) 및 컬러 촬상 소자(154)가 카메라를 공통으로 공유하기 때문에, 시차 발생이나 초점 어긋남이 발생하지 않는 이점이 있다.
컬러 촬상 소자(154) 및 모노크롬 촬상 소자(156)와, 화상 처리 장치(102)나 기록 매체로서의 기록 장치와의 사이의 접속은 유선(예를 들어, 케이블, 전화 회선) 또는 무선 등을 통하여 데이터의 교환이 가능한 구성으로 하는 것도 생각된다. 또한, 예를 들어 네트워크(인트라넷, 인터넷 등) 상의 서버 장치에 화상 처리를 행하는 소프트웨어(컴퓨터 프로그램)를 두고, 네트워크를 통해서 이 소프트웨어에 액세스하고, 컬러 촬상 소자(154) 및 모노크롬 촬상 소자(156)에 의해 촬영한 화상의 신호 처리를 행하는 것도 생각된다.
이상, 첨부 도면을 참조하면서 본 발명의 양호한 실시 형태에 대해서 상세하게 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 기술 분야의 당업자라면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에 있는 한, 설계 요건들 및 다른 요인들에 따라 각종 변경, 조합, 서브조합 및 수정이 가능하다는 점을 이해할 것이다.
상술한 본 실시 형태에 관한 촬상 장치(100)에서는 입사광을 분기시키는 분광 미러(152)를 전방 렌즈(151)와 렌즈군(153, 155) 사이에 배치했지만, 본 발명에서, 입사광을 분기시키는 광학 소자의 위치는 특별히 한정되지 않고 다른 위치에 배치될 수 있다. 예를 들어, 렌즈군의 중간이나, 렌즈군과 촬상 소자와의 사이에 배치하는 것이 생각된다. 또한, 전방 렌즈를 배치하는 대신, 각각의 렌즈군의 앞쪽에 마찬가지의 기능을 갖는 렌즈를 배치하여, 최초로 광학 소자에 의해 입사광을 분기시키는 것도 생각된다.
그러나, 상술한 본 실시 형태에 관한 촬상 장치(100)와 같이, 분광 미러(152)를 전방 렌즈(151)와 렌즈군(153, 155) 사이에 배치한 경우에는 전방 렌즈(151)가 공통으로 사용된다. 이 경우, 전방 렌즈(151)의 수차 등의 영향이 동등해지고, 렌즈군(153, 155)으로서, 변화없이 통상의 카메라에 사용되는 것을 그대로 사용하는 것이 가능하게 되는 이점이 있다.
본 발명에서, 입사광을 분기시키는 광학 소자는 분광 미러(152)에 한정되지 않고, 프리즘의 조합 등의 다른 광학 소자를 사용하는 것도 가능하다.
본 발명에서, 광로의 분기 수는 2개에 한정되는 것이 아니라, 전체 3개 이상으로 분기시킬 수 있다. 즉, 컬러 촬상 소자 또는 모노크롬 촬상 소자를 복수 구비해서 촬상 장치를 구성해도 좋다. 예를 들어, 컬러 촬상 소자의 예는, R, G, B 각각의 색에 대응해서 촬상 소자를 설치한 3판식 컬러 촬상 소자가 있을 수 있다. 이 3판식의 컬러 촬상 소자와 모노크롬 촬상 소자를 조합해서 촬상 장치를 구성하는 것도 가능하다. 이 경우, 광로가 4개 이상으로 분기된다.
본 출원은 2010년 5월 12일자로 일본 특허청에 출원된 일본 우선권 특허 출원 JP 2010-109983호에 개시된 요지와 관련된 요지를 포함하고, 그 전체 내용은 본 명세서에 참조로서 원용된다.

Claims (8)

  1. 화상 처리 장치로서,
    가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터와, 상기 가시광 영역의 파장 성분을 포함하지 않고 상기 가시광 영역 이외의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 취득하는 화상 취득부와,
    상기 컬러 화상 데이터로부터 색정보를 추출하는 색정보 추출부와,
    상기 모노크롬 화상 데이터로부터 휘도 정보를 추출하는 휘도 정보 추출부와,
    추출된 상기 색정보와 추출된 상기 휘도 정보를 합성해서 합성 화상 데이터를 생성하는 합성부를 포함하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 컬러 화상 데이터는 소정값보다 작은 파장 성분만으로 이루어지고,
    상기 모노크롬 화상 데이터는 상기 소정값보다 큰 파장 성분만으로 이루어지는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 컬러 화상 데이터는 400nm 내지 700nm 범위의 파장 성분을 포함하고,
    상기 모노크롬 화상 데이터는 700nm 내지 1000nm 범위의 파장 성분을 포함하는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 컬러 화상 데이터는 단파장측 반값 파장이 420nm 내지 460nm 범위에 있고 장파장측 반값 파장이 610nm 내지 650nm 범위에 있는 파장 성분을 포함하고,
    상기 모노크롬 화상 데이터는 단파장측 반값 파장이 650nm 내지 750nm 범위에 있는 파장 성분을 포함하는, 화상 처리 장치.
  5. 제1항에 있어서, 상기 화상 취득부는 상기 가시광 영역 외측에 가까운 상기 가시광 영역의 파장 성분과, 상기 가시광 영역 외측의 파장 성분으로 이루어지는 상기 모노크롬 화상 데이터를 취득하는, 화상 처리 장치.
  6. 제1항에 있어서,
    상기 컬러 화상 데이터는 제1 소정값 이하의 파장 성분만으로 이루어지고,
    상기 모노크롬 화상 데이터는 상기 제1 소정값보다 작은 제2 소정값 이상의 파장 성분으로 이루어지는, 화상 처리 장치.
  7. 화상 처리 방법으로서,
    가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터와, 상기 가시광 영역의 파장 성분을 포함하지 않고 상기 가시광 영역 외측의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 취득하는 단계와,
    상기 컬러 화상 데이터로부터 색정보를 추출하는 단계와,
    상기 모노크롬 화상 데이터로부터 휘도 정보를 추출하는 단계와,
    추출된 상기 색정보와 추출된 상기 휘도 정보를 합성해서 합성 화상 데이터를 생성하는 단계를 포함하는, 화상 처리 방법.
  8. 프로그램으로서,
    가시광 영역의 파장 성분만으로 이루어지는 컬러 화상 데이터와, 상기 가시광 영역의 파장 성분을 포함하지 않고 상기 가시광 영역 외측의 파장 성분만으로 이루어지는 모노크롬 화상 데이터를 취득하는 단계와,
    상기 컬러 화상 데이터로부터 색정보를 추출하는 단계와,
    상기 모노크롬 화상 데이터로부터 휘도 정보를 추출하는 단계와,
    추출된 상기 색정보와 추출된 상기 휘도 정보를 합성해서 합성 화상 데이터를 생성하는 단계를, 컴퓨터로 하여금 실행시키는 프로그램.
KR1020110042365A 2010-05-12 2011-05-04 화상 처리 장치, 화상 처리 방법 및 프로그램 KR20110125172A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2010-109983 2010-05-12
JP2010109983A JP2011239259A (ja) 2010-05-12 2010-05-12 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20110125172A true KR20110125172A (ko) 2011-11-18

Family

ID=44117495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110042365A KR20110125172A (ko) 2010-05-12 2011-05-04 화상 처리 장치, 화상 처리 방법 및 프로그램

Country Status (8)

Country Link
US (1) US8711256B2 (ko)
EP (1) EP2387232A2 (ko)
JP (1) JP2011239259A (ko)
KR (1) KR20110125172A (ko)
CN (1) CN102244791A (ko)
BR (1) BRPI1102370A2 (ko)
RU (1) RU2011117481A (ko)
TW (1) TW201208366A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650506B2 (en) 2016-07-22 2020-05-12 Sony Corporation Image processing apparatus and image processing method
US11277572B2 (en) 2017-05-23 2022-03-15 Samsung Electronics Co., Ltd. Method and device for composing an image based on data detected by first and second image sensor

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5545016B2 (ja) * 2010-05-12 2014-07-09 ソニー株式会社 撮像装置
US9213920B2 (en) * 2010-05-28 2015-12-15 Zazzle.Com, Inc. Using infrared imaging to create digital images for use in product customization
JP6019611B2 (ja) * 2012-02-23 2016-11-02 株式会社ニコン 撮像装置
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
KR101933454B1 (ko) * 2012-09-25 2018-12-31 삼성전자주식회사 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
WO2015075849A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 通信方法
JP2015197745A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
EP3148177A4 (en) * 2014-10-22 2018-01-24 Yulong Computer Telecommunication Technologies (Shenzhen) Co., Ltd. Image generation method based on dual camera module and dual camera module
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP6432770B2 (ja) * 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6661268B2 (ja) * 2015-01-08 2020-03-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN104811624A (zh) * 2015-05-06 2015-07-29 努比亚技术有限公司 红外拍摄方法及装置
CZ2015343A3 (cs) * 2015-05-20 2016-07-20 IBSmm Engineering, spol. s r.o. Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použití
US10825123B2 (en) * 2015-11-30 2020-11-03 Ncr Corporation Watermarked enabled scanning
JP6816768B2 (ja) * 2016-07-22 2021-01-20 ソニー株式会社 画像処理装置と画像処理方法
US10341628B2 (en) 2016-08-08 2019-07-02 Google Llc Monochrome-color mapping using a monochromatic imager and a color map sensor
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
EP3507765A4 (en) 2016-09-01 2020-01-01 Duelight LLC SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION
US10313642B2 (en) * 2017-01-18 2019-06-04 Omnivision Technologies, Inc. Imaging system having dual image sensors
WO2018179671A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN109040534A (zh) * 2017-06-12 2018-12-18 杭州海康威视数字技术股份有限公司 一种图像处理方法及图像采集设备
CN110136183B (zh) 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
JP7292024B2 (ja) * 2018-10-22 2023-06-16 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、コンピュータプログラム
CN112017252B (zh) * 2019-05-31 2024-06-11 华为技术有限公司 一种图像处理方法和相关设备
JP7412920B2 (ja) 2019-08-08 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7039639B2 (ja) 2020-03-10 2022-03-22 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
WO2021184353A1 (zh) * 2020-03-20 2021-09-23 华为技术有限公司 一种摄像装置
JP2022007359A (ja) 2020-06-26 2022-01-13 キヤノン株式会社 画像処理装置、撮像システム、移動体、画像処理方法及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2589469B2 (ja) * 1986-03-10 1997-03-12 株式会社日立製作所 自動追尾ビデオカメラ
US6150930A (en) * 1992-08-14 2000-11-21 Texas Instruments Incorporated Video equipment and method to assist motor vehicle operators
US6597807B1 (en) * 1999-09-27 2003-07-22 The United States Of America As Represented By The Secretary Of The Army Method for red green blue (RGB) stereo sensor fusion
JP3807721B2 (ja) * 2000-02-21 2006-08-09 シャープ株式会社 画像合成装置
US20030093805A1 (en) * 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7929727B2 (en) * 2002-07-26 2011-04-19 Tenebraex Corporation Methods for visually separating an object from its background, methods for detecting a camouflaged object against its background and detection apparatus embodying such methods
KR100900485B1 (ko) * 2002-10-26 2009-06-03 삼성디지털이미징 주식회사 구조가 개선된 디지털 카메라용 이미지 센싱 수단 및 이를채용한 디지털 카메라
JP2004304718A (ja) * 2003-04-01 2004-10-28 Nara Institute Of Science & Technology 近接領域画像抽出装置及び近接領域画像抽出方法
JP2005004181A (ja) * 2003-05-21 2005-01-06 Fujinon Corp 可視光・赤外光撮影用レンズシステム
JP4578797B2 (ja) * 2003-11-10 2010-11-10 パナソニック株式会社 撮像装置
WO2006036398A2 (en) * 2004-08-23 2006-04-06 Sarnoff Corporation Method and apparatus for producing a fused image
JP2006072401A (ja) * 2004-08-31 2006-03-16 Fujitsu Ltd 画像複合装置および画像複合方法
JP4612861B2 (ja) * 2005-04-27 2011-01-12 キヤノン株式会社 撮像装置
JP2006333132A (ja) * 2005-05-26 2006-12-07 Sony Corp 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
EP1811771B1 (en) * 2006-01-20 2009-04-29 Fluke Corporation Camera with visible light and infrared image blending
US7483213B2 (en) * 2006-03-24 2009-01-27 Omnitech Partners Image combining viewer
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
US8115825B2 (en) * 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
JP2009253579A (ja) * 2008-04-04 2009-10-29 Panasonic Corp 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
JP5475393B2 (ja) * 2009-10-20 2014-04-16 キヤノン株式会社 撮像システムおよび補正方法
US8432433B2 (en) * 2010-01-14 2013-04-30 Raytheon Canada Limited Method and apparatus for colorizing a monochrome infrared image
CA2767023C (en) * 2011-02-09 2014-09-09 Research In Motion Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US8780161B2 (en) * 2011-03-01 2014-07-15 Hewlett-Packard Development Company, L.P. System and method for modifying images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650506B2 (en) 2016-07-22 2020-05-12 Sony Corporation Image processing apparatus and image processing method
US11277572B2 (en) 2017-05-23 2022-03-15 Samsung Electronics Co., Ltd. Method and device for composing an image based on data detected by first and second image sensor

Also Published As

Publication number Publication date
US8711256B2 (en) 2014-04-29
CN102244791A (zh) 2011-11-16
BRPI1102370A2 (pt) 2012-10-16
TW201208366A (en) 2012-02-16
JP2011239259A (ja) 2011-11-24
EP2387232A2 (en) 2011-11-16
RU2011117481A (ru) 2012-11-10
US20110279698A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
JP5545016B2 (ja) 撮像装置
KR20110125172A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP6939000B2 (ja) 撮像装置及び撮像方法
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US20090147112A1 (en) Method and apparatus for achieving panchromatic response from a color-mosaic imager
CN106664394A (zh) 摄像处理装置以及摄像处理方法
CN107750345A (zh) 多光谱成像仪
CN105988215B (zh) 一种多光谱模组成像系统及其制造方法和应用
CN108712608A (zh) 终端设备拍摄方法和装置
CN112995616A (zh) 摄像装置和摄像系统
US9071737B2 (en) Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic
CN107820066A (zh) 一种低照度彩色摄像机
CN113711584B (zh) 一种摄像装置
CN110365878A (zh) 一种摄像装置和方法
Wang et al. Stereoscopic dark flash for low-light photography
JP2011176710A (ja) 撮像装置
US20060033824A1 (en) Sodium screen digital traveling matte methods and apparatus
JP2018023077A (ja) ビデオカメラ撮像装置
CN111783563A (zh) 基于双光谱的人脸抓拍和监控方法及系统、设备
CN207782947U (zh) 图像采集装置及摄影装置
JP2022179259A (ja) 光束分離光学系および画像処理装置
CN118264914A (zh) 一种摄像装置
JP2012015834A (ja) 撮像装置
Bourke Report: Enhancing rock art recordings through hyperspectral photography
Zhang Architecture of triple sensitive color digital sensors with the integration of image fusion techniques

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid