KR20020032595A - 촬영시스템, 화상처리장치 및 카메라 - Google Patents

촬영시스템, 화상처리장치 및 카메라 Download PDF

Info

Publication number
KR20020032595A
KR20020032595A KR1020027003548A KR20027003548A KR20020032595A KR 20020032595 A KR20020032595 A KR 20020032595A KR 1020027003548 A KR1020027003548 A KR 1020027003548A KR 20027003548 A KR20027003548 A KR 20027003548A KR 20020032595 A KR20020032595 A KR 20020032595A
Authority
KR
South Korea
Prior art keywords
image
color
correction
camera
signal values
Prior art date
Application number
KR1020027003548A
Other languages
English (en)
Inventor
아브델라티프모하메드아보렐라
기타무라고지
Original Assignee
기타무라 가즈코
유겡가이샤 네이차 테크노로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기타무라 가즈코, 유겡가이샤 네이차 테크노로지 filed Critical 기타무라 가즈코
Publication of KR20020032595A publication Critical patent/KR20020032595A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

간이한 교정으로 색의 불변성을 실현시키기 위하여 색을 보정할 수 있고, 참조용화상부의 면적을 작게 하면서 충분히 색보정을 할 수 있는 촬영시스템 등을 제공한다. 렌즈(41), 촬상소자(31) 및 반사면(61)을 갖고 메인신을 이 촬상소자상에 촬상하는 카메라(2)를 구비한다. 촬상소자에 의해 받아 들여진 참조용신의 반사광 중 복수픽셀부의 각 색채널마다의 평균치를 참조용신호값(rn, gn, bn)으로 구한다. 참조용신호값은 광원색을 대표하고, 이 참조용신호값을 이용하여 주화상의 보정을 행한다. 보정은, 화상처리장치(7)에서의 디지털 또는 아날로그 등의 전기적 처리와 그 외에, 촬상소자(31) 앞에 보색필터를 이용한 광학적 처리에 의해 행해진다.

Description

촬영시스템, 화상처리장치 및 카메라{Image pickup system, image processor, and camera}
물체의 색은 입사광에 영항을 받기 쉽고, 카메라에 의해 촬영된 상의 색을 입사광의 종류에 상관없이 항상 일정하게 표시하는 것은 곤란하다. 인간은 이와 같은 환경에서도, 물체의 색을 항상 일정하게 인식할 수가 있고, 이와 같은 능력을 색의 불변성(color constancy)라고 한다.
종래에는, 색의 불변성을 실현하기 위하여, 카메라에 의해 촬영된 화상의 색보정을 행하는 방식으로, 촬영을 각 구분마다 보정하는 구분적(spatial)보정방식과, 화상을 전체적으로 균일하게 보정하는 전체적(global)보정방식이 있다. 전자의 예로서 레티넥스(Retinex)방식이 있고, 후자의 예로서 화이트패치(White patch)방식 및 하이라이트부(Highlighted portion)참조방식 등이 있다.
첫째로 레티넥스방식은, 물체의 표면색에 관련하여 광검출로에서 평균한 색은 그레이라고 한다는 가정을 내용으로 하는 GWA(Gray World Assumption)이론에 기초한다. 그리고, 어떤 구분, 예를 들면 어떤 픽셀의 주위의 넓은 광검출로의 색정보를 이용하여 당해 픽셀의 색보정을 행한다.
따라서, 이 레티넥스방식에 따르면, 각 픽셀에 대하여 광검출로의 색에 기하여 복잡한 계산이 실행되지 않으면 안되고, 전체로서의 컴퓨터에서의 계산량이 상당히 증대된다는 문제가 있다. 또, 예를 들면, 장면(scene)의 색이 어떤 색으로 치우치는 경우에, 이 치우친 색은 광원의 색으로서 인식되기 때문에, 적용에 한계가 있다.
한편, 둘째의 화이트패치방식에서는, 장면에 화이트패치가 삽입되고, 그 화이트패치상의 반사광이 광원색으로 인식되고, 이에 기하여 색보정이 행해진다. 그러나 현실적인 문제로서, 촬영하려는 장면에 화이트패치를 직접 삽입하는 것은 사실상 상당히 곤란하다.
셋째의 하이라이트부참조방식에서는, 예를 들면, 포화픽셀 주위의 광을 하이라이트부로 가정하고, 이 주위의 광을 광원색으로서 인식한다. 따라서, 일단, 촬영된 장면으로부터 하이라이트부를 개별적으로 발견하지 않으면 안되고, 화상처리가 상당히 복잡해진다. 또, 하이라이트부에 대응하는 픽셀은 포화되어 있기 때문에, 그로부터 광원색을 발견하는 것은 불가능하다.
그래서, 이 방식의 문제를 해소하는 방식으로서, 발명자는 구분적 보정방식으로서 국제출원번호 PCT/JP96/03683호(국제공개번호 WO98/27744호)의 노즈(nose)방식을 제안하였다. 상기 노즈방식의 촬영시스템은, 렌즈, 촬상소자 및 반사면을 가지며, 메인신(main scene)을 상기 촬상소자상에 촬영하는 카메라와, 반사면에 의해 얻어진 참조용신의 정보를 이용하여 상기 메인신에서의 화상을 보정하는 화상처리장치가 마련되어 있다. 그리고, 우선 참조용신과 메인신 간에 양자를 대응시키는 맵핑을 행하고, 화상처리장치에서, 각 메인신의 픽셀에서의 색을 이것에 대응하는 참조용신의 색으로 실질적으로 나누는 것으로써 메인신의 색보정을 행하였다.
그러나, 상기 노즈방식에서는, 참조용신과 메인신 간에 양자를 대응시키는 맵핑을 행해야만 한다. 따라서, 색보정을 정확하게 행하기 위해서는, 맵핑을 전제로 한 정밀한 교정(calibration)을 행해야만 하고, 그 교정작업은 번잡하였다. 또, 맵핑을 위해서는, 어느 정도 넓이의 참조용 화상을 촬영한 화상상에 확보하여야만 한다. 따라서, 주화상과 참조용 화상이 동일한 화상범위에 존재하는 경우, 주화상이 참조용 화상의 크기만큼 감소한다.
이러한 종래의 실상을 감안하여, 본 발명의 제1목적은, 간편한 교정으로 색의 불변성을 실현시키고, 또한 화상의 농도를 안정시키기 위하여 색을 보정하는 것이 가능한 촬영시스템, 및 이것에 이용되는 카메라 및 화상처리장치를 제공하는 것이다.
또, 본 발명의 제2목적은, 참조용화상부의 면적이 작아도 충분히 색보정을 행할 수 있는 촬영시스템 등을 제공하는 것이다.
본 발명은, 촬영된 물체의 색을 보정하거나 화상의 농도를 안정시키기 위한 촬영시스템 및 이것에 이용되는 카메라 및 화상처리장치에 관한 것이다.
도 1은 촬영시스템을 보여주는 블록도이다.
도 2는 촬영시스템용 카메라를 보여주는 것으로, 도 2a는 측면도, 도 2b는 정면도, 도 2c는 사시도이다.
도 3a∼3c는 메인신과 참조용신의 관계를 설명하기 위한 전체 화상범위를 보여주는 도면이고, 도 3d∼3f는 참조용화상부의 확대도이다.
도 4는 촬영시스템용 카메라의 변형예를 보여주는 것으로, 도 4a는 측면도, 도 4b는 정면도, 도 4c는 사시도이다.
도 5는 촬영시스템의 보정부의 처리순서를 보여주는 순서도이다.
도 6은 도 5에 연속하는 제2순서도이다.
도 7은 도 6에 연속하는 제3순서도이다.
도 8은 도 7에 연속하는 제4순서도이다.
도 9는 도 8에 연속하는 제5순서도이다.
도 10은 도 9에 연속하는 제6순서도이다.
도 11은 메인신과 참조용신의 다른 관계를 설명하기 위한 전체 화상범위를 보여주는 도면이다.
도 12는 적채널의 컬러응답값(kr)과 컬러히스토그램(rh[kr])과의 관계를 보여주는 그래프이다.
도 13은 적채널에서의 불량픽셀의 컬러응답값(krc)과 불량픽셀의 컬러히스토그램(rhc[krc])과의 관계를 보여주는 그래프이다.
도 14는 개인용 컴퓨터내에서의 참조용신호와 주신호와의 관계를 보여주는 타이밍도이다.
도 15는 본 발명의 제2실시예에서의 도 2에 상당하는 도면이다.
도 16은 본 발명의 제3실시예에서의 도 2에 상당하는 도면이다.
도 17은 본 발명의 제4실시예를 보여주는 블럭도이다.
도 18은 본 발명의 제5실시예를 보여주는 블럭도이다.
도 19는 본 발명의 제6실시예를 보여주는 블럭도이다.
도 20은 피사체, 반사면의 경사각 및 촬상소자상의 시야각의 관계를 보여주는 선도이다.
도 21a는 본발명의 제7실시예를 보여주는 도면이고, 도 21b는 도 21a의 반사면이동기구의 정면도이다.
도 22는 본 발명의 제8실시예를 보여주는 블럭도이다.
도 23은 본 발명의 제8실시예의 촬영시스템용 카메라를 보여주는 것으로, 도 23a는 측면도, 도 23b는 정면도, 도 23c는 사시도이고, 도 23d는 전체 화상범위를 보여주는 도면이다.
도 24는 본 발명의 제9∼제18실시예에 이용되는 광학필터를 이용한 일반모델을 보여주는 블럭도이다.
도 25는 본 발명의 제9실시예의 필터회전기구를 보여주는 것으로, 도 25a는 종단면도, 도 25b는 정면도이다.
도 26은 본 발명의 제10실시예의 필터회전기구를 보여주는 것으로, 도 26a는 종단면도, 도 26b는 정면도이다.
도 27은 본 발명의 제11실시예의 필터회전기구를 보여주는 것으로, 도 27a는 종단면도, 도 27b는 정면도이다.
도 28은 본 발명의 제12실시예를 보여주는 블럭도이다.
도 29는 본 발명의 제13실시예를 보여주는 블럭도이다.
도 30은 본 발명의 제14실시예를 보여주는 것으로, 도 30a는 CCD필터의 정면도, 도 30b는 이 필터의 종단면도이다.
도 31은 본 발명의 제15실시예를 보여주는 사진인화장치의 블럭도이다.
도 32는 본 발명의 제16실시예를 보여주는 블럭도이다.
도 33은 본 발명의 제16실시예의 편광필터와 액정가변필터의 관계를 보여주는 사시도이다.
도 34는 본 발명의 제17실시예를 보여주는 광블럭 주변의 기구이다.
도 35는 본 발명의 제18실시예를 보여주는 도 34의 변형예이다.
도 36은 불균일비전도표면으로부터의 이색반사모델을 보여주는 도면이다.
도 37은 물체로부터의 반사광의 반사면에서의 재반사의 상황을 보여주는 선도이다.
도 38은 반사면의 표면에서의 확산거울면 반사에 의한 제1흐림현상의 과정을표시한 도면이다.
도 39는 렌즈의 촛점이탈에 의한 흐림의 과정을 설명하기 위한 도면이다.
상기 과제를 달성하기 위한, 본 발명에 따른 촬영시스템의 특징은, 화상의 색을 보정하기 위한 것으로, 렌즈, 촬상소자, 수광소자 및 반사면을 갖고 메인신을 상기 촬상소자상에 촬영하는 카메라를 구비하고, 상기 촬상소자 및 상기 수광소자는 복수의 색채널을 가지고, 상기 반사면은 상기 카메라의 시야내에 배치되고 또,상기 메인신 또는 그 근방에 속하는 참조용신으로부터의 광을 반사시킴과 동시에 상기 렌즈를 통하여 상기 수광소자에 수광시키고, 또한, 상기 수광소자에 의해 수광된 참조용신의 반사광 중 1픽셀부의 값 또는 복수픽셀부의 상기 각 색채널마다의 평균값을 참조용신호값(rn, gn, bn)으로서 구하는 광원색측정부와, 이 참조용신호값에 의해 화상의 색을 보정하는 보정장치를 구비하는 것이다.
이 촬영시스템에 있어서, 상기 보정장치를 디지털 또는 아날로그회로에서 전기적으로 화상처리를 행하도록 구성하는 경우에는, 이 보정장치를, 예를 들면 상기 촬상소자에 의해 촬영된 메인신의 각 좌표위치에서의 주신호값(r[x][y], g[x][y], b[x][y])을 상기 각 채널마다 구한 상기 참조용신호값(rn, gn, bn)으로 각각 실질적으로 나누는 것에 의해 상기 주신호값을 보정한 보정신호값(rc[x][y], gc[x][y], bc[x][y])을 얻기 위한 보정부로서 구성되면 좋다.
상기 특징을 갖는 촬영시스템은 컬러화상에서의 색의 불변성을 실현하기에 유용하고, 이를 위해서, 상기 카메라의 촬상소자 및 상기 수광소자가 복수의 색채널을 갖고, 상기 화상처리장치는 상기 각 색채널마다 구한 상기 참조용신호값에 의해 상기 각 주신호값을 상기 각 색채널마다 실질적으로 나누는 것으로 주신호의 보정을 행한다.
여기서, 본 발명에 따른 화상의 농도를 안정시키는 작용을 설명하기 위하여, 컬러카메라에 의한 색의 불변성을 예로 하여 설명한다. 물론, 본 발명은 흑백카메라에서의 화상의 농도를 안정시키는 용도에도 사용될 수 있다.
어떤 신에서의 물체의 표면이 1개의 광원에 의해 비추어질 때,반사광(I(λ))은 다음식으로 표현된다.
여기서, S(λ)는 물체표면의 반사함수, E(λ)는 형상기하학에 따라 변하는 광원의 스펙트럼강도분포(SPD), λ는 광원의 파장이다.
불균질한 절연성 표면으로부터의 반사는, 경계반사 및 고체(body)반사 라고 하는 2개의 구성요소를 선형적으로 더한 것에 의한다. 세상의 상당히 많은 종류의 물체표면, 예를 들면 의복, 사람, 벽, 도장된 금속, 플라스틱 등은, 불균질한 절연성 표면으로 분류된다. 도 36은 컬러매개물 중에 컬러안료가 분산된 표면의 구조를 보여준다. 몇 개의 입사광은, 컬러매개물의 표면과 주위의 매체와의 경계에서 반사되고, 이 성분은 경계반사(I)라고 부르며, 광원색을 대표한다. 다른 입사광은, 복수의 컬러안료간의 연속된 재반사를 거쳐, 광원색에 의해 변경된 표면색이라고 불리는 안료의 색을 전달하는 고체(body)반사(B)라는 성분이 된다. 이 모델들은 이색모델이라고 하고, 물체표면의 반사함수 S(λ)는 다음식과 같이 표현된다.
mI(g), mB(g)는, 각각 경계반사와 고체반사를 나타내는 기준계수이고, 조명(lighting)과 촬영범위(viewing)의 기하학적 관계에만 의존한다. 또, cI(λ), cB(λ)는 각각 경계반사와 고체반사의 광학적 구성요소이고, 광원의 파장(λ)에만의존한다.
물체가 금이나 동인 경우, 상술한 경계반사(I)는 입사광의 색을 변화시킨다. 그러나, 은, 알루미늄 등의 금속 이외에, 지방, 기름 또는 왁스 등의 컬러매개물 등, 세상의 많은 물체의 표면은, 중립경계반사(NIR)이론에 따르고, 입사광의 색을 변화시키지 않고 광의 상기 SPD를 전달한다. 경계반사(I)는 하이라이트부로 표현되는 경우가 많고, 따라서, 많은 물체의 거울면반사(I)는 입사광의 색을 전달하는 것으로 생각된다.
상기 경계반사가 카메라에 도달한 때, 촬상소자의 각각의 요소는 그 위의 유한한 크기로 광휘를 적분하고, 어떤 점의 스펙트럼적 관찰결과(ki(x, y))는 다음과 같이 구해진다.
여기서, 첨자의 i가 되는 1, 2, 3 중 어느 한 값은, 적, 녹 또는 청에 각각 대응하고, (x, y)는 촬영좌표이다. (X, Y)는 촬영의 중심에 관한 세계좌표이다. Ri(λ)는, 샘플링필터의 특성과 관련된 i번째의 스펙트럼적 응답을 보여준다.는 화상-전기적변환지수이고, b는 센서오프셋 또는 다크노이즈라고 한다. 이들 지수() 및 다크노이즈(b)는 출력을=1, b=0 으로 확실히 선형화상이 되도록 하기 위하여 조정된다.
다음에, 도 37을 참조하면서, 물체로부터의 반사광의 상기 반사면에서의 재반사(inter-reflection)에 대하여 설명한다. 물체로의 입사광은 표면반사(I) 및 고체반사(B)로서 카메라 및 반사면으로 각각 향한다. 그리고, 반사면에 도달한 이들 반사광은, 반사면이 이색모델에 따를 때, 표면-표면반사(II), 고체-표면반사(BI), 표면-고체반사(IB) 및 고체-고체반사(BB)로 재반사한다. 물론, 반사면은 NIR이론에 따라 광원색을 그대로 반사할 것이므로, 반사면은 알루미늄, 흰색 또는 회색의 수지 또는 종이 등에 의해 작성되는 것이 바람직하다.
이들 재반사 반사광 중, 고체-고체반사(BB)는 상당히 강도가 약하기 때문에 고려하지 않아도 상관없다. 또, 표면-고체반사(IB)는, 반사면이 광학적으로 평평하기 때문에, 광의 스펙트럼을 변경하지 않고, 또 표면-표면반사(II)보다도 작게 된다. 따라서, 반사면의 재료로서, 이색모델에 따르지 않는 알루미늄 등을 선택하였는 지, 이색모델에 따르는 물체로 하였는 지에 상관없이, 재반사광의 요소는 같다고 볼수 있다. 여기서, 반사면에 입사하고 재반사된 반사면상의 어떤 좌표에서의 광(C(Xn, Yn, λ))은 다음 식에 의해 표시된다.
여기서, 도 38은, 반사면의 표면에서의 확산거울면반사에 근거하는 제1흐림현상(blurring)의 과정을 보여주는 도면이다. 입사광로(S1)를 따라 입사된 입사광은 거울면반사의 반사광로(S1')에 대하여 가장 강도가 강하고, 이로부터 멀어짐에 따라 강도가 저하되는 곡선(G1)에서 보여주는 바와 같은 강도분포를 나타낸다. 또입사광로(S2)를 따라 입사한 입사광은, 동일하게 거울면반사의 반사광로(S2')에 대하여 가장 강도가 강하게 되고, 곡선(G2)에서 보여준 바와 같은 강도분포를 나타낸다. 그리고, 반사광로(C')를 따른 반사광의 강도는, 예를 들면 곡선(G1, G2)과 반사광로(Sn')의 교차에 의해 각각 결정되는 값들이 가산된 강도이다. 상기 수학식 4에서의 B1(X,Y)항은, 이 제1흐림현상의 함수이고, 표면의 거침도에만 의존한다. 한편, 상기 수학식 4에서의 Sn(X,Y,λ)항은, 반사면의 스펙트럼적 반사율을 나타내고, 세계좌표 및 파장(λ)에 의존한다. 또, Sn(X,Y,λ)항은, NIR의 가정하에서는 1이 된다.
예를 들면, 반사면에 의해 반사된 재반사광이 렌즈를 통과하여 수광소자의 일종인 촬상소자에 입사할 때, 반사면은 렌즈에 가깝게 설치되기 때문에, 이 재반사광은 렌즈에 의해 촛점이탈(defocus)된다. 반사면상의 한 점은, 공간적 흐림함수(B2(Xn,Yn))에 따라 농도가 변화하는 원으로서 투영된다. 도 39는 이 촛점이탈에 의한 흐림을 나타내고, 촬상소자상의 점에 도달한 재반사광(Cin(Xni, Yni,λ))은 다음 식에 의해 표시된다.
여기서, 첨자 "ni"는 예를 들면 반사면으로부터 재반사됨으로써 얻어진 참조용신의 촬상소자상에서의 각 픽셀에 대응한다. 이 광(Cin(Xni, Yni,λ))이 예를 들면 촬상소자상에 도달한 때, 이 광의 스펙트럼 관찰결과 kin(x,y)는 앞의 수학식 3에 비추어 다음과 같이 구해진다.
간략화하면, 참조용신에서의 각 좌표의 RGB 각각의 강도성분 kni(x,y)는, 상술한 경계-경계반사(II)와 고체-경계반사(BI)를 상기 B1, B2의 2개의 흐림함수의 컨벌루션으로 표현한 것이다.
메인신에서의 하이라이트부로부터의 경계반사(I)의 광선이 직접적으로 촬상소자에 의해 촬영될 때, 많은 경우, 광선은 촬상소자의 동적범위를 초과하고, 게다가 적은 면적을 점유한다. 따라서, 하이라이트부에는 광원의 정보가 포함되어 있음에도 불구하고, 이것을 유효하게 이용하기가 어렵다.
이것에 대하여, 반사면 및 렌즈에 의한 흐림을 이용한 경우에는, 상기 2개의 컨벌루션에 의해 하이라이트부로부터의 광은 확산되고, 또한 동적범위가 반사로 감소되어 동적범위로 들어가게 된다. 따라서, 직접상에만 의해 하이라이트부를 받아들일 경우와 비교하여, 반사면을 이용하여 하이라이트부를 받아들인 경우에는, 하이라이트부를 이용하여, 보다 광원색을 받아들이기가 용이하게 된다. 또, 하이라이트부로부터의 경계반사(I)는, 고체반사(B)에 비교하여 휘도가 높기 때문에, 고체-경계반사(BI)보다도 지배적이다. 단, 하이라이트부가 거의 없는 신에서는, 고체-경계반사(BI)가 참조용신에서의 메인신의 보정용으로서 이용된다. 이 경우, 상기 2개의 컨벌루션이, 실질상, 앞의 GWA이론의 광학적 실행에 해당한다. 따라서, 본 발명에서는, 하이라이트부의 참조에 의한 보정과 GWA이론에 의한 보정이 나란히 동시에 행해지는 것이다.
그런데, 상술한 제4의 종래기술에 해당하는 공보에 기재된 방식에서는, 참조용신의 각 좌표위치에서의 스펙트럼 kni(x,y)와 메인신의 각 좌표위치에서의 스펙트럼 kn(x,y)를 맵핑하여, 각 좌표마다의 값을 이용하여 나누는 것에 의해, 구분적 방식으로써 색보정을 행하였다.
그러나, 많은 경우, 태양광이나 옥내의 전등 등, 광원의 색이 주로 하나로 취급되어도 특별히 지장이 없다는 결론에 도달하였다. 또, 반사면을 이용한 것에 기인하는 상술한 컨벌루션에 의해 하이라이트부의 정보가 참조용신내에 확산되기 때문에, 참조용신의 일부로부터 전체의 광원색을 샘플링할 수 있는 가능성을 보았다.
따라서, 본 발명에서는, 상기 수광소자에 의해 받아 들여진 참조용신의 반사광 중 1픽셀부의 값 또는 복수픽셀부의 평균값을 참조용신호로서 구함으로써, 광원색을 대표하는 하나의 값(3색의 색수에 대응하는 벡터)을 구한다. 또, 반사면은, 메인신 또는 그 근방에 속하는 참조용신으로부터 광을 반사함과 동시에 수광소자에 수광시키면 족하다. 이 반사면의 설계에 있어서는, 주된 광의 노정이 메인신 또는 그 근방에 속하는 참조용신으로부터의 광을 반사하면 좋다.
그리고, 디지털 또는 아날로그회로에 의해 화상의 보정을 행하는 것에는, 예를 들면, 촬상소자에 의해 촬영된 메인신의 각 좌표위치에서의 주신호값을 하나의 참조용신호값(벡터)에 따라 실질적으로 나눔으로써 주신호의 보정을 행한다.
본 발명은, 원칙으로서 단일 광원색을 대표하는 값을 이용하는 전체적 보정방식을 사용한다. 따라서, 반사면에 대응하는 참조용화상부와 주화상부 사이의 대응관계는 상술한 종래기술과 같이 정확하지 않아도 되기 때문에, 교정도 상당히 간편하게 행할 수 있다. 또, 참조용화상부와 주화상부 사이의 대응관계는 상술한 종래기술과 같이 정확하지 않아도 되기 때문에, 그 결과, 참조용화상부의 면적을 적게 하여도 색보정이 가능하게 되었다. 또한, 색보정에서, 동일하게 참조용신호값으로서 하나의 값을 이용하여 전화상범위에 균일하게 적용할 수 있고, 실질적으로 각 색채널내에서 하나의 값에 의해 나눗셈을 행하면 충분하기 때문에, 보정속도를 상당히 고속화할 수 있게 되었다.
그런데, 컴퓨터에서, 나눗셈은 곱셈에 비하여 처리부하가 상당히 높다. 그러나, 본 발명에 따르면, 나눗셈을 행하는 경우의 분모인 참조용신호값이 각 색채널에서 1개이기 때문에, 상기 참조용신호값(rn, gn, bn)을 분모로 갖는 계수(sr, sg, sb)를 미리 구하고, 이 계수(sr, sg, sb)를 상기 각 주신호값(r[x][y], g[x][y], b[x][y])에 곱하여 주신호의 보정을 행함으로써 상기 화상처리장치를 용이하게 구성할 수 있다. 이 경우, 화상처리의 속도는 비약적으로 상승하게 된다. 또, 상기 각 색채널에서의 상기 각 계수(sr, sg, sb)가 각 색채널에 의해 다른 상기 참조용신호값(rn, gn, bn)을 분모로 갖고 각 색채널에 공통의 다른 계수(s)를 분자로 갖는 것으로서 처리하여도 좋다.
상기 촬상소자 또는 상기 수광소자로부터 순차적으로 보내진 프레임신호 중, 어떤 한 프레임의 신호로부터 상기 계수들(sr, sg, sb)을 구하고, 이 계수(sr, sg,sb)를 더 시간이 더 경과한 후의 다른 프레임으로부터 얻은 상기 각 주신호값(r[x][y], g[x][y], b[x][y])에 곱하여 주신호의 보정을 행하는 것으로서 상기 화상처리장치를 구성하여도 좋다. 이 때, 상기 계수들(sr, sg, sb)을 복수의 다른 프레임으로부터 각각 얻은 상기 각 주신호값(r[x][y], g[x][y], b[x][y])에 공통으로 곱하여 주신호의 보정을 행한다면, 상기 계수의 산출회수가 그 만큼 감소하고, 또한 고속처리가 가능하다. 이와 같은 구성은, 상기 다른 프레임들로부터의 신호들에 상기 계수들(sr, sg, sb)을 곱하기 위한 비디오앰프를 마련하는 것으로 실현될 수 있다.
상술한 화상처리장치에서는, 상기 주신호값(r[x][y], g[x][y], b[x][y])이 그 신호의 집합에서의 최대값으로 볼 수 있는 값(rm, gm, bm)을 취하는 경우, 그 최대값으로 볼 수 있는 값(rm, gm, bm)을 상기 주신호값의 최대스케일값(D)에 근접하도록 상기 다른 계수(s)를 설정하는 것이 가능하다. 이 설정에 의해, 하이라이트부와 그 주변의 보정화상과의 극단적인 농도차를 감소시킬 수 있다.
또, 어떤 픽셀에서의 2채널내의 주신호값들이 상기 최대스케일값(D)에 도달하고 나머지 다른 채널내의 주신호값이 상기 최대스케일값(D)에 도달하지 않는 경우, 해당 픽셀을 불량픽셀로 정의하고, 해당 불량픽셀들의 집합에서의 상기 다른 채널들내에서의 주신호값들의 최소값으로 볼 수 있는 값(rcm, bcm)이 상기 최대스케일값(D)에 적어도 도달하게 하는 만큼의 값을 상기 다른 계수(s)가 갖는 화상처리장치를 구성하여도 좋다. 본 구성에 의해, 불량픽셀들의 색을 하이라이트부와 동일하게 수정하여, 보정화상의 부자연스러움을 더욱 낮춘다.
실험에 따르면, 이것은 어떤 픽셀에서의 청채널내의 주신호값만이 상기 최대스케일값(D)에 도달하고 나머지 적녹채널내의 주신호값은 상기 최대스케일값(D)에 도달하지 않는 경우에, 해당 청채널의 주신호의 보정값(bc)을 적 및 녹채널들내의 보정값들(rc, gc)의 비에 기초하여 산출하는 것이 가능하다고 판명되었다.
인터넷기술 등에서는 화상압축이 이용된다. 압축은 유용한 색데이타의 손실을 발생시키기 때문에, 본 발명의 화상처리장치에서는, 압축에 앞서 보정을 적용한다.
본 발명의 카메라를 구성하는 것에서는, 상기 반사면을 상기 카메라의 시야 밖에 배치하는 것이 가능한 반사면이동장치기구를 구비하여도 좋다. 그리고, 상기 반사면에 의해 상기 참조용신호값(rn, gn, bn)을 구한 후에 상기 반사면이동기구에 의해 상기 반사면을 상기 카메라의 시야 밖에 배치한 상태에서 주영상을 촬영하고, 상기 참조용신호값(rn, gn, bn)에 의해 주신호값(r[x][y], g[x][y], b[x][y])을 보정하도록 하여도 좋다. 본 구성에 의해, 촬영된 화상범위에 참조용화상부가 표현되는 것을 방지하는 것이 가능하다.
한편, 본 발명의 촬영시스템에서는, 상기 촬상소자 및 상기 수광소자가 별개의 동일 특성 소자로 되고, 상기 렌즈들을 이들 촬상소자 및 상기 수광소자에 대응시켜 각각 마련함과 동시에 이 양 렌즈들의 끌밀기(zooming)와 조리개를 연동시키고, 상기 반사면이 상기 렌즈의 촛점거리에 따라 그 시작점의 좌표위치와 각도를 연속하여 변경하도록 형성함과 동시에 이 반사면을 상기 렌즈의 최대시야내에 고정하여도 좋다. 이 때, 상기 수광소자상의 보정용화상부 중 선택보정부에서, 상기 촛점거리에 따른 상기 반사면에 대응하는 것을 선택하는 것으로써, 끌밀기와 참조용화상부를 가동부품 없이 제휴시키는 것이 가능하였다. 또, 수광소자로서는 흠결불량픽셀이 많고 촬상소자로서 부적당한 수광소자를 이용하여 약간의 비용절감이 가능하다. 이 때, 수광소자 중 흠결픽셀을 상기 선택보정부의 선택시에 제거하는 좌표테이블을 마련함으로써, 처리속도를 유지할 수 있다.
상기 반사면의 배치 또는 상기 참조용신호를 위한 상기 복수의 픽셀의 선택에 의해, 상기 참조용신을 주로 메인신의 중앙부 또는 그 근방으로 한정할 수 있다. 본 구조에 의해, 메인신의 중요한 부분인 중앙부 또는 그 근방의 색보정을 특히 정확하게 할 수 있다.
본 발명에 관한 촬영시스템은, 화상합성시에도 적용할 수 있다. 상기 카메라를 적어도 2대 갖고, 한 카메라에서의 상기 보정신호값(rc[x][y], gc[x][y], bc[x][y])에 대하여, 다른 카메라에 의해 얻어진 참조용신호값을 상기 각 색채널마다 실질적으로 곱하여 2차보정화상을 얻고, 이 2차보정화상을 다른 카메라의 화상과 합성하여 합성영상을 얻도록 촬영시스템을 구성하여도 좋다. 본 구성에 의해, 2개의 화상은, 같은 광원색으로 조사된 것과 같이, 자연스럽게 조합될 수가 있다.
또, 컴퓨터화상을 작성하는 CG(Computer Graphics)화상작성부와 그 컴퓨터화상의 광원색을 결정하는 CG광원색결정부를 갖고, 상기 보정신호값(rc[x][y], gc[x][y], bc[x][y])에 대하여, CG광원색결정부에 의해 얻어진 광원색값을 상기 각 색채널마다 실질적으로 곱하여 2차보정화상을 얻고, 이 2차보정화상을 상기 CG화상작성부에 의해 작성된 컴퓨터화상과 합성하여 합성화상을 얻는 것으로서 본 촬영시스템을 구성하여도 좋다. 본 구성에 따르면, 컴퓨터화상과 현실의 화상을, 극히 자연스러운 상태에서, 동일하게 조합하는 것이 가능하다.
상술한 카메라에서, 촬상소자 및 수광소자를 동일 특성의 소자로 구성하는 것이 바람직하다. 상기 수학식 6에서 보여준 바와 같이, 각 색채널의 강도성분은, 어떤 함수의승으로서 표현된다. 그런데, 이는 촬상소자 등의 특성에 따라 다르고, 따라서, 주신호값을 참조용신호값에 의해 나누기 전에, 이들 양자의 승수를 맞춰둘 필요가 있어, 그 신호처리는 복잡하게 된다. 따라서, 촬상소자 및 수광소자를 동일 특성의 소자로 구성함으로써, 무난한 신호처리를 위한 하드웨어를 생략한다. 또, 동일 특성의 소자에서도, 로트(lot)간 특성의 어긋남이 존재하고, 저렴한 촬상소자에서는 더욱 그러하다. 그러나, 상기 수광소자를 상기 촬상소자의 일부로 함으로써, 언급한 문제가 발생할 여지는 없고, 상당히 양호한 보정결과를 얻을 수 있다.
상술한 카메라에 있어서, 상기 촬상소자상의 화상을 받아 들인 화상파일을 기억하는 기억부 또는 상기 화상을 기억하는 필름의 수납부를 갖고, 상기 화상은 주화상부와 전화상범위의 끝단에 위치하는 참조용화상부를 포함하여도 좋다.
또, 상술한 카메라에 있어서, 상기 전화상범위가 사각형을 나타내고, 어느 모서리부에 상기 참조용화상부가 위치하도록 구성하여도 좋다. 본 구성에 따르면, 참조용화상부의 면적을 상당히 작게 할 수 있다. 본 구성에서, 상기 반사면이 상기 렌즈의 중심축 주위에서 회전가능하고, 상기 반사면의 위치에 따라 상기 어느 모서리부에 상기 참조용화상부를 위치시킬까 또는 상기 참조용화상부를 상기 전화상범위내에 위치시키지 않을까의 선택을 행할 수 있는 것도 좋다. 또, 상기 주영상부가 횡으로 가늘고 긴 사각형을 나타내고, 상기 전화상범위의 상부 또는 하부에 상기 참조용화상부가 위치하도록, 즉 파노라마촬영에 본 발명을 적용하는 것도 가능하다.
상술한 카메라에서, 상기 렌즈를 줌렌즈로 하고, 상기 반사면이 상기 렌즈의 촛점거리에 따라 그 시작점의 좌표위치와 각도를 변경하여도 좋다. 이 때, 상기 반사면이 상기 렌즈의 촛점거리에 따라 그 시작점의 좌표위치와 각도를 연속하여 변경하도록 형성되고, 이 반사면과 상기 렌즈의 상대위치를 상기 렌즈의 촛점거리에 맞춰 변경하는 반사면이동기구를 마련하여도 좋다.
본 발명은, 상기 특징으로 기재된 화상처리장치에서 실현되는 기능을 갖는 IC칩 또는 같은 기능을 갖는 전기회로로써 실현할 수 있다. 또, 본 발명은, 상기 기재된 특징의 화상처리장치에서 실현되는 기능을 컴퓨터에 불러들여 실현하는 소프트웨어를 기록한 기록매체로써 실현하는 것도 가능하다. 또한, 상기 특징으로 기재된 화상처리장치는 상기 화상보정이 전화회선 또는 인터넷 등의 통신회선에 접속된 2대의 컴퓨터 사이에서 실현되도록 구성될 수 있다.
상기 카메라에서는, 반사면에서의 참조용화상이 외부광에 의해 영향을 받는 것을 방지하기 위하여, 상기 반사면에 상기 메인신 이외 또는 참조용신 이외의 광이 입사되는 것을 방지하는 덮개를 마련하여도 좋다. 단, 다른 광원색이 반사면에 입사할 여지가 없을 때는, 덮개를 생략하는 것도 가능하다.
본 발명은 흑백카메라 등의 단일채널 카메라에도 적용가능하다. 이 때, 본발명은 화상의 농도를 안정시키기 위한 촬영시스템으로서 구성된다. 그리고, 렌즈, 촬상소자, 수광소자 및 반사면을 가지고 메인신을 상기 촬상소자상에 촬영하는 카메라를 구비하고, 상기 반사면은 상기 카메라의 시야 내에 배치되고, 또한 상기 메인신 또는 그 주변에 속하는 참조용신으로부터의 광을 반사함과 동시에 상기 렌즈를 통하여 상기 수광소자에 수광시키고, 또한, 상기 수광소자에 의해 받아 들여진 참조용신의 반사광 중 1픽셀부의 값 또는 복수픽셀부의 평균값을 참조용신호값(rn, gn, bn)으로서 구하고, 상기 촬상소자에 의해 촬영된 메인신의 각 좌표위치에서의 주신호값(r[x][y], g[x][y], b[x][y])을 상기 참조용신호값(rn, gn, bn)에 의해 실질적으로 나누어 주신호를 보정한 보정신호값(rc[x][y], gc[x][y], bc[x][y])을 얻는 화상처리장치를 구비하는 것을 특징으로 한다.
그런데, 상술한 논의에서는, 색의 보정장치가 화상의 신호를 전기적으로 보정하는 경우에 대하여 설명한다. 즉, 촬상소자나 수광소자에 화상이 포착된 후에 신호처리를 행한다. 한편, CCD 등의 촬상소자는 촬영할 수 있는 밝기에 한계가 있고, 하이라이트부의 주위의 픽셀은 그 일부가 상술한 것과 같이 포화되어, 화상의 색보정에 바람지하지 못한 영향을 주는 경우가 있다. 또, 참조용신의 반사광이 약한 경우에는, 보정시에 노이즈가 크게 되고, 색보정에 동일하게 바람직하지 못한 영향을 줄지도 모른다. 또한, 디지털처리에 의해 색보정을 행하면, 보정된 화상의 색은 완만하게 연속되지 않고, 간헐적으로 갭(gap)을 갖게 된다.
그래서, 본 발명에서는, 색의 보정을 광학적으로 행하는 구성을 제안한다. 이 경우, 상기 보정장치는, 상기 참조용신호값(rn, gn, bn)에 의해 정한 색에 대한보색을 측정하는 수단; 및 이 보색을 재현하고 상기 촬상소자에 도달하는 화상의 색을 변경하는 광학필터를 포함하는 광학필터수단을 구비한다. 또 이 광학적 실행의 보정장치는, 상기 반사면을 이용한 광원색측정부 이외의 광원색측정수법과 함께 실시할 수 있다. 예를 들면, 상술의 레티넥스방식, 화이트패치방식, 하이라이트부 참조 및 다른 광원색측정센서를 이용한 방식과도 함께 실시할 수 있다.
상기 광학필터를 구성할 때, 기본적으로는 상기 수광소자에 도달하는 화상의 색을 변경하도록 배치되고, 상기 보색을 구하는 수단은 상기 참조용신호값(rn, gn, bn)의 컬러밸런스가 구해지는 컬러밸런스에 가능한 한 근접하도록 상기 광학필터를 제어하여도 좋다.
상기 광학필터수단의 구체적 양태의 하나로써, 각각 컬러밸런스를 다르게 한 복수의 프리셋필터를 마련되고, 상기 보색에 가장 가까운 프리셋필터가 선택되는 구성이다. 이 프리셋필터는 복수의 것을 조합하여 동시에 사용하여도 좋다.
상기 광학필터수단은, 매질의 펌프; 복수색의 색잉크를 독립하여 주입가능한 잉크주입부; 매질과 각 잉크를 개별적으로 혼합하여 혼합물을 작성하는 믹서; 및 상기 광학필터에 상당하는 상기 혼합물을 흘리기 위한 투명통로를 포함하는 구성으로도 좋다. 또, 상기 광학필터수단은, 매질의 펌프; 복수색의 색잉크를 독립하여 주입가능한 잉크주입부; 이들 복수색의 잉크 및 매질의 혼합물을 작성하는 믹서; 및 혼합물들을 개별적으로 통과시키는 상기 광학필터에 상당하는 복수의 투명통로를 포함하는 구성으로도 좋다. 또한, 상기 광학필터수단은, 매질의 펌프; 복수색의 색잉크를 독립하여 주입가능한 잉크주입부; 각 잉크 및 매질을 개별적으로 혼합하는 복수의 믹서; 및 혼합물들을 개별적으로 통과시키는 상기 광학필터에 상당하는 복수의 투명셀을 포함하고, 각 셀은, 흑백촬상소자의 앞면에 1픽셀마다의 RGB에 대응하여 설치되고, 같은 색의 셀끼리가 브리지패스(bridge path)에 의해 접속되는 구성으로도 좋다.
상기 광학필터로서는, 그 필터 특성을 변경한 것을 이용하여도 좋다. 이 때, 상기 광학필터수단이 이 필터특성의 변경에 따라 투과도를 변경할 수 있는 투과도변경수단을 갖는다면, 필터특성마다 색의 강도를 변경할 수 있다.
상기 카메라는, 광을 RGB로 분해한 광블럭; 및 RGB 각각에 대응하는 3개의 촬상소자를 포함한 예를 들면 3-CCD카메라 등의 경우이다. 이 경우, 상기 광학필터가 이 광블럭이고, 상기 각 광학필터수단은 각 촬상소자에 도달하는 화상의 농도를 변경시키는 투과도변경수단을 각각 포함한다면, 광학적 보정이 가능하다. 상기 각 투과도변경수단은, 예를 들면 교대로 각도를 변경하는 것이 가능한 2장의 편광필터를 포함하는 것으로도 가능하다. 또, 상기 투과도변경수단은 교대로 각도를 변경하는 것이 가능한 2장의 편광필터를 포함하고, 2장의 편광필터 중의 하나는 상기 광블럭 앞에 공통으로 설치되고, 다른 하나는 각 색채널마다 광블럭 뒤에 개별적으로 설치되어도 좋다.
상기 촬상소자로서 필름을 이용하고, 본 발명을 필름으로부터 인화지에 인화하는 과정에서 실시하는 것도 가능하다. 즉, 상기 보색을 측정하는 수단은, 램프; 상기 수광소자부분을 통과한 램프의 색을 검출하는 광색검출기; 광원색측정부; 및 이 광원색측정부에 기초하는 보색측정부를 구비하고, 상기 광학필터수단은, 상기램프에서부터 상기 필름을 지나 인화지에 도달하는 광을 더 통과시키는 필터; 이 필터의 색을 상기 보색으로 하는 필터변경장치를 갖는 구성으로 하는 것도 가능하다.
그런데, 상기 광학필터수단에서는, 색보정을 행할 때까지 시간지연을 발생시키는 경우가 있다. 그래서, 이 광학필터수단에 더하여, 상기 보정장치가, 또한 상기 촬상소자에 의해 촬영된 메인신의 각 좌표위치에서의 주신호값(r[x][y], g[x][y], b[x][y])을 상기 각 색채널마다 구한 상기 참조용신호값(rn, gn, bn)에 의해 각각 실질적으로 나누는 것에 의해 상기 주신호값을 보정한 보정신호값(rc[x][y], gc[x][y], bc[x][y])을 얻기 위한 전기적보정부를 갖고, 상기 전기적보정부가, 상기 광학적 필터수단에 의한 색보정의 완료전에 보정처리를 과도적으로 행하도록 구성하여도 좋다.
이와 같이, 본 발명의 상기 특징에 따르면, 간이한 교정으로 색의 불변성을 실현하거나 또는 화상의 농도를 안정시키기 위하여 색을 보정하는 것이 가능한 촬영시스템, 및 이들에 이용되는 카메라 및 화상처리장치를 제공하는 것이 가능하게 되었다.
또, 본 발명의 상기 특징에 따르면, 주화상과 참조용화상의 관계가 종래보다 정확하지 않아도 되고, 따라서, 참조용화상부의 면적이 작아도 충분하게 색보정을 행하는 것이 가능하게 되었다.
또는, 색보정장치를 상술한 바와 같이 광학적 실행을 수반하는 구성으로 한 경우에는, 신의 광이 강한 경우에도 약한 경우에도 선명하고 자연스러운 보정화상을 얻을 수 있었다.
본 발명의 다른 목적, 구성 및 효과에 대하여는, 이하의 기재로부터 명확하게 될 것이다.
다음으로, 도 1∼도 14를 참조하면서, 본 발명의 제1실시예에 대하여 설명한다. 설명에 앞서, 본 실시예에서 사용하는 기호에 대하여 먼저 정의한다.
XMX : 화상의 수평방향에 대한 픽셀의 최대값
YMX : 화상의 수직방향에 대한 픽셀의 최대값
NMIN : 최소 반사면 경계라인값
NMAX : 최대 반사면 경계라인값
S : 사용자정의 화상휘도계수
x : 픽셀단위에서의 화상의 수평좌표
y : 픽셀단위에서의 화상의 수직좌표
rd[x][y], gd[x][y], bd[x][y] : 적녹청 각 채널에서의 직접 화상신호값
rz[x][y], gz[x][y], bz[x][y] : 적녹청 각 채널에서의 영(zero)화상신호값
r[x][y], g[x][y], b[x][y] : 적녹청 각 채널에서의 유효입력화상신호값(주신호값)
rc[x][y], gc[x][y], bc[x][y] : 적녹청 각 채널에서의 보정화상신호값(보정신호값)
rn, gn, bn : 적녹청 각 채널에서의 반사면 평균신호값(참조용신호값)
kr, kg, kb : 적녹청 각 채널에서의 컬러응답값
krc, kbc : 적청 각 채널에서의 불량픽셀의 컬러응답값
rh[kr], gh[kg], bh[kb] : 적녹청 각 채널에서의 정상픽셀의 컬러히스토그램
rhc[kr], bhc[kb] : 적청 각 채널에서의 불량픽셀의 컬러히스토그램
ii : 불량픽셀의 히스토그램에서의 픽셀수
i : 보정에 사용되는 반사화상에서의 픽셀수
rm, gm, bm : 정상픽셀에서의 히스토그램군의 상한값
rcm, bcm : 불량픽셀에서의 히스토그램군의 초기값
ra[i], ga[i], ba[i] : 반사면 신호값의 누적
s : 비례정수
ssr, ssg, ssb : 정상픽셀히스토그램의 히스토그램최대값에 기초한 비례계수
sr, sg, sb : 보정색을 얻기 위하여 유효입력 화상신호값에 곱해지는 비례정수
scr, scb : 불량픽셀에 색이 표현되는 것을 배제하기 위하여 필요한 비레정수
C : 포화픽셀을 위한 최대보정신호값
우선, 도 1에서 보여준 촬영시스템(1)은, 카메라(2)와 화상처리장치(7)를 포함한다. 카메라(2)는, 도 1, 도 2에서 보여준 바와 같이, 카메라본체부(3)에 렌즈유니트(4)와 덮개(5)를 부착하고, 또한 덮개(5)의 내측에 반사체(6)를 부착한다. 렌즈유니트(4)의 렌즈(41)를 통하여 카메라본체부(3)의 CCD(31)상에 화상이 맺히고, 그 화상신호가 후술하는 개인용 컴퓨터(8)에 송신됨과 동시에프레임평균화부(32)에서 처리된다. 프레임평균화부(32)는 CCD(31)에 입사된 전체의 광량을 계산하여, CCD(31)에서의 포화픽셀이 다수 발생하는 등, CCD(31)에 입사한 광량이 많아질 때는 개구조절모터(44)에 의해 조리개(43)를 축소시키고, 광량이 작아질 때는 조리개(43)를 확대시키도록 동작한다. 본 실시예에서의 CCD(31)는 컬러CCD이고, 1픽셀당 적녹청 3색의 필터들을 구비한 3개의 수광부가 존재한다. 1픽셀에 할당된 적녹청 3개의 수광부는, 단일 CCD소자에 할당되는 것이외에 프리즘(미도시)을 이용하여 3개의 CCD소자에 분산될 수 있다.
덮개(5)는, CCD(31) 및 렌즈(41)에 의해 결정되는 최대시야 및 그 근방 이외로부터 광이 입사되는 것을 방지한다. 본 실시예에서는, 웨지모양의 반사체(6)가 덮개(5)의 안쪽에 부착되고, 그 안쪽에 웨지(wedge)모양의 평평한 반사면(61)을 형성한다. 예를 들면, "O"의 상이 렌즈(441)를 직접 통과하여 CCD(31)상의 주촬상부(31a)에 맺히고, 반사면(61)에 입사된 "O"의 상은 반사면(61)의 표면에서 상술한 제1흐림을 받고, 렌즈(41)에 반사면(61)을 근접시키는 것으로 제2흐림을 받은 상태에서 CCD(31)의 참조촬상부(31b)에 도달한다. 도 2b, 도 3a, 도 3d에 보여준 바와 같이, 반사면(61)으로부터의 반사광이 전체 화상범위(100)의 아래 모서리에 참조용화상부(130)를 형성하기 위하여, 반사체(6)를 전화상범위(100)의 모서리부에 대응시켜 설치한다. 주화상부(110)가 주촬상부(31a)에 대응하고, 참조용화상부(130)가 참조촬상부(31b)에 대응한다. 반사체(6)의 반사면후단(63)의 상은 전화상범위(100)의 아래 모서리주변에 위치하고, 반사체(6)의 반사면선단(62)의 상은 반사면포착부(120)와 참조용화상부(130) 사이로 확산된다.
반사체(6)는, 예를 들면 알루미늄 등에 의해 구성된다. 그리고 반사면(61)은 평탄하고, 광을 산란반사시키도록 약간 매트모양으로 완성된다. 물론, 반사면(61)은 흰색 또는 회색의 종이 등으로 구성되어도 좋고, 반사면(61)은 상기 NIR이론에 따른 소재로 구성될 수 있다.
여기서, 도 3은 설명의 편의를 위하여, 촬영대상인 신과 촬영된 전화상범위(100)를 겹쳐 표시한 것이고, 메인신(110)은 주화상부에도 있다. "O"로부터 반사면(61)에 입사한 광은 입사각과 같은 각도로 반사하여, CCD(31)에 도달한다. 반사면선단(62)표면으로부터 CCD(31)에 도달하는 광선의 경로는 상술한 흐림작용에 의해 넓어짐을 가지면서 존재하지만, 여기서는 휘도가 가장 높은 광선이 통과하는 주요광선경로에 대하여만 고려한 것이다. 반사면포착부(120)는 앞의 반사면선단(62)의 배향방향 및 주요광선경로에 의해 결정되는 것이고, 반사면포착부(120)의 중심을 통과하는 참조주축(101)이 전화상범위(100)의 아래 주변이 되는 주축각(A)이 45°가 되도록 설정한다.
반사면포착부(120)의 반사면(61)에 의한 상은 전화상범위(100)의 아래 모서리에 참조용화상부(130)로서 나타난다. 반사면포착부(120)를 참조용신(121)과 비이용신(122)으로 구분하는 것은, 예를 들면 참조주축(101)에 수직한 선택내경계(132)와 선택외경계(133)로 둘러싸인 선택참조부(131)를 참조용화상부(130)로부터 후술하는 계산과정에서 선택되면 좋다. 본 실시예에서, 전화상범위(100)의 해상도는, 수평방향 680, 수직방향 480이고, 전 픽셀수는 이것들을 곱한 326,400픽셀이다. 이 경우, 반사면에 의한 참조용화상부(130)의 흐릿한 범위의 상은 전체의 3%정도로 유지되는 것을 알 수 있다. 또, 본 실시예에서, x, y가 50보다 크고 70보다 작은 구간을 선택참조부(131)의 대상으로 한다. 그러나, 이 값들은 한 예이고, 본 발명은 이 구체적인 값들에 한정되는 것은 아니다.
물론, 참조용신은 도 3a의 부호 "121x"로 표시한 전화상범위(100)의 외측이면서 근방부이거나 부호"121y"로 표시한 전화상범위(100)를 포함하는 범위에서도 좋다. 본 예에서, 덮개(5)를 렌즈유니트(4) 둘레로 회전시키는 것이 가능하기 때문에, 예를 들면, 반사체(6)를 전화상범위(100)의 윗 모서리측으로 이동시켜, 도 3c에서 보여준 바와 같이 참조용신(121)의 범위를 변경하여도 좋다. 또, 반사체(6)가 전화상범위(100)의 외부에 위치하도록 반사체(6)를 전화상범위(100)의 각 변들사이로 이동시켜도 좋다.
도 3b의 예에서는, 참조주축(101)이 전화상범위(100)의 대각선이 되도록 반사면(61)을 덮개(5)에 배치한 것이다. 또, 본 예에서는 반사면포착부(120)의 중간부를 참조용신(121)으로 선택한다. 이 경우, 예를 들면, 선택내경계(134), 선택외경계(135)는 각각 앞의 예보다도 작은 30보다 크고 50보다 작은 값이다. 도 3f에서는 보정용화상을 얻기 위하여, 스캔라인(136a∼136c)이나 선택점(136d)에서 보여준 바와 같이, 선택내경계(132) 및 선택외경계(133) 사이에서 부분적으로 참조용신호를 얻을 수 있다. 이와 같이, 참조용신(121)을 메인신(110)의 중심부에 한정하는 것에 의해, 메인신(110)의 단부에서 발생하는 다른 광의 영향을 감소시키는 것이 가능하다. 전화상범위(100)의 대각에 대하여 반사면(61)의 위치변경(180°회전)만을 고려한 것이라면, 도 4에서와 같이 덮개(5)를 각추대(角錐臺)모양으로 구성하여도 좋다.
다음으로, 화상처리장치(7)를 구성하는 개인용 컴퓨터(8)에 대하여 설명한다. 이 개인용 컴퓨터(8)에는, CCD(31)에 의해 비디오캡처보드(71)를 통하여 화상이 일단 불러들여 진다. 이 비디오캡처보드(71)에서는, 8비트 프레임버퍼를 채용하여, 상술한 신호값 및 컬러응답값의 동적범위가 0∼255가 된다. 본 명세서에서는, 동적범위의 최대값을 "D"로 정의하고, 본 실시예에서는 D=255로 한다. 비디오캡처보드(71)는 타이머에 의해 화상신호의 좌표를 시간으로 환산하여, 이하에서 보여준 처리를 행하도록 한다.
보정부(72)는 상기 반사면(61)을 이용하여 광원색을 측정하기 위한 광원색측정부로서도 동작하고, 이 보정부(72)에서는 앞의 선택내경계(132) 및 선택외경계(133)에 의해 둘러싸인 선택참조부(131)를 한정하도록, 영상신호로서 시간게이트가 설정된다. 보정부(72)에서는 후술하는 보정처리가 행해진다. 또, 출력조정부(73)는 후술하는 보정부(72)의 사용자정의 화상휘도계수(S)를 조정하기 위한 것이다.
개구조작부(74)는 CCD(31)의 영(零)조정을 위하여 프레임평균화부(32), 개구조절모터(44)를 통하여 조리개(43)를 완전히 닫음과 동시에, 보정부(72)에서의 영조정을 제어한다. 개구조작부(74)에 의한 조리개(43)의 닫음조작 및 영조정은, 수동이외에, 카메라(2)의 동작개시시에 적어도 자동으로 행해진다.
보정부(72)의 출력은 비디오가속기(75)를 통하여 모니터(9)에 표시됨과 동시에 I/O(76)을 통하여 컬러프린터(10)에서 출력되고, 또한, 기억부(77)에 기억된다.기억부(77)는 고정 또는 탈착가능한 하드디스크, 메모리소자 또는 플렉시블디스크 등이 된다.
다음으로, 도 5∼도 9를 참조하면서, 앞의 광원색측정 및 보정부(72)의 처리순서에 대하여 설명한다.
도 5는, 조리개를 완전히 닫은 때의 적녹청 각 채널에서의 영화상신호값을 구하는 루틴이다. 우선, S1에서, 원점에서부터 스캔을 시작하기 위하여, x, y에 각각 "0"을 대입하여, S2에서 개구조작부(74)의 조작에 의해 플래그가 세워져 있는가의 여부에 대하여 판단한다. 개구조작부(74)의 조작에 의해 조리개(43)가 완전히 닫힌 경우, 플래그가 세워져 F=1로 된다. 이 경우는, 영화상을 구할 필요가 있다고 판단하고, S3에서 플래그를 리셋하기 위하여 F=0으로 하고, S4에서 원점의 적녹청 각 채널들에서의 영화상신호값들(rz[x][y], gz[x][y], bz[x][y])을 구한다. 그 후, S5, S7에 보여준 바와 같이 화상의 수평, 수직방향 각각에 대한 픽셀수의 최대값(XMX, YMX)에 도달할 때까지, S6, S8에서 x, y가 각각 1픽셀씩 증가되고, 전화상범위(100)의 전체 좌표에서의 카메라의 다크노이즈(dark noise)를 의미하는 영화상신호값들(rz[x][y], gz[x][y], bz[x][y])이 구해진다.
도 6에서는, 입력신호의 영조정 및 히스토그램처리가 행해진다. 본 루틴에서도, S9에 의한 좌표의 리셋이 행해지고, S18∼S21에 의한 전화상범위(100)에서의 모든 픽셀들의 스캔이 행해진다. S10에서는, 적녹청 각 채널들에서의 직접화상신호값들(rd[x][y], gd[x][y], bd[x][y])이 기억된다. 그리고, S11에서는, 다크노이즈를 삭제하기 위하여, 적녹청 각 채널들마다 직접화상신호값(rd[x][y], gd[x][y],bd[x][y])으로부터 영화상신호값(rz[x][y], gz[x][y], bz[x][y])을 뺌으로써, 적녹청 각 채널들에서의 유효입력화상신호값들(주신호값들; r[x][y], g[x][y], b[x][y])이 구해진다. 또, 카메라에서 다크노이즈를 제거하기 위한 입력신호의 영조정이 이미 수행된 경우는, S1∼S11의 단계들 및 개구조작부(74)를 마련할 필요가 없다.
S12에서는, 적녹청 각 채널들의 직접화상신호값들(rd[x][y], gd[x][y], bd[x][y])이 전부(255) 포화되지 않았는 가의 여부(255보다 작은가의 여부)가 판단된다. 포화되지 않은 경우, S13에서, 적녹청 각 채널들에서의 컬러응답값들(kr, kg, kb)에, 유효입력화상신호값들(r[x][y], g[x][y], b[x][y])이 각각 입력된다. 그리고, 적녹청 각 채널들에서의 정상픽셀들의 컬러히스토그램들(rh[kr], gh[kg], bh[kb])이 각각 누적되어 간다.
적녹청 각 채널들의 직접화상신호값들(rd[x][y], gd[x][y], bd[x][y]) 중에 적어도 2개가 포화된 경우, S14∼17에서 불량픽셀의 처리가 행해진다. 여기서, 불량픽셀은, 3색 중 적 또는 청색 중 하나만 포화되지 않고, 나머지 2색이 포화된 것을 말한다.
우선, S14의 Yes에서 보여준 바와 같이, 녹청 2채널의 직접화상신호값들(gd[x][y], bd[x][y])이 포화되고, 적채널의 직접화상신호값(rd[x][y])은 포화되지 않는 경우에는, S15에서 불량픽셀의 히스토그램에서의 픽셀수(ii)가 누적되고, 적채널에서의 유효입력화상신호값(r[x][y])이 불량픽셀에서의 컬러응답값(krc)으로 된다. 그리고, 적채널에서의 불량픽셀의 컬러히스토그램(rhc[krc])이 누적되어 간다.
한편, S16의 Yes에서 보여준 바와 같이, 적녹 2채널의 직접화상신호값들(rd[x][y], gd[x][y])이 포화되고, 청채널의 직접화상신호값(bd[x][y])은 포화되지 않는 경우에도, S17에서 불량픽셀의 히스토그램에서의 픽셀수(ii)가 누적되고, 청채널에서의 유효입력화상신호값(b[x][y])이 불량픽셀에서의 컬러응답값(kbc)으로 된다. 그리고, 청채널에서의 불량픽셀의 컬러히스토그램(bhc[kbc])이 누적되어 간다.
도 7의 루틴에서는, 정상픽셀들에서의 히스토그램군(F1)의 상한값들(rm, gm, bm)이 구해진다. 우선, S22에서, 적녹청 각 채널들에서의 컬러응답값들(kr, kg, kb)이 리셋되고, S25, S26, S29, S30, S33, S34에서 보여준 바와 같이, "0"으로부터 동적범위 최대값인 255에 도달할 때까지 루틴이 순차적으로 반복된다. S23, S24의 루틴은 kr이 1씩 증가함에 따라 반복되어, 적채널의 정상픽셀들에서의 히스토그램군의 상한값(rm)이 구해진다. 이 상한값(rm=kr)은, 도 12에서 보여준 바와 같이, 10보다는 크며 히스토그램(rh)이 1000을 초과할 때 최대인 kr의 값이다. 동일하게, S27, S28, S31, S32의 루틴의 반복에 의해, 동일하게 녹청채널들의 정상픽셀들에서의 히스토그램군(F1)의 상한값들(gm, bm)이 구해진다. 또, rm, gm, bm의 정의순서는 이와 같은 루틴으로 한정되는 것이 아니라, 이하 동일하지만, 상기 1000의 값은 화면사이즈에 따라 다른 값을 가질지도 모른다.
도 8의 루틴에서는, 포화픽셀들에서의 히스토그램군의 초기값들(rcm, bcm)이 구해진다. 우선, S35에서, 적청 각 채널들에서의 불량픽셀들에서의컬러응답값들(krc, kbc)이 리셋되고, S39, S40, S43, S44에서 보여준 바와 같이, "0"으로부터 동적범위 최대값인 255에 도달할 때까지 루틴이 순차적으로 반복된다. S37, S38의 루틴은 krc가 1씩 증가하여 반복되어, 적채널의 불량픽셀들에서의 히스토그램군(F2)의 초기값(rcm)이 구해진다. 이 초기값(rcm=krc)은, 도 13에서 보여준 바와 같이, 10보다는 크며 히스토그램(rh)이 0을 초과할 때 최소 krc의 값이다. 동일하게, S41, S42의 루틴의 반복에 의해, 동일하게 청채널의 불량픽셀들에서의 히스토그램군(F2)의 초기값(bcm)이 구해진다. 또, S36에서 ii가 "0"으로 되는 경우, 불량픽셀은 존재하지 않기 때문에, S45에서 rcm, bcm은 각각 255가 된다.
도 9의 루틴에서는, 적녹청 각 채널들에서의 반사면평균신호값들(rn, gn, bn)이 구해지고, 이것을 이용하여, 보정색을 얻기 위하여 유효입력영상신호값에 곱해지는 비례상수들(sr, sg, sb)이 구해진다. 앞의 도 3d에서 볼 수 있는 바와 같이, 참조용화상부(130)는 선택참조부(131)와 선택내경계(133)의 사이 부분을 채용한다. 같은 도면에서, NMAX가 70이고, NMIN이 50이다. S46에서 x, y를 리셋함과 동시에, S47에서 참조용화상부(130)의 선택조건을 주고, S50, S51, S52, S53에서 x, y가 1씩 증가하여 NMAX에 도달할 때까지 S48, S49의 처리가 반복하여 행해진다. S48에서는 보정에 사용될 반사화상에서의 픽셀수(i)가 누적되고, S49에서는 반사면신호값들의 누적들(ra[i], ga[i], ba[i])이 구해진다.
S54에서는, 반사면신호값들의 누적들(ra[i], ga[i], ba[i])을 각각 i로 나누어, 적녹청 각 채널들에서의 반사면평균신호값들(참조용신호값; rn, gn, bn)이 구해진다. 또, 적녹청 각 채널에서의 반사면평균신호값(rn, gn, bn)에 동적범위 최대값 D=255를 곱함과 동시에 각각 정상픽셀들의 히스토그램군들의 상한값들(rm, gm, bm)로 나눔으로써, 정상픽셀 히스토그램의 히스토그램 최대값에 기초하여 비례계수(ssr, ssg, ssb)가 구해진다. 동일하게, 적청 각 채널들에서의 불량픽셀들에서의 반사면평균신호값들(rn, bn)에 D=255를 곱하고 각각 불량픽셀들에서의 히스토그램군들의 초기값들(rcm, bcm)으로 나눔으로써, 불량픽셀에 색이 표현되는 것을 배제하기 위하여 필요한 비례상수들(scr, scb)이 구해진다. S54의 의미는, 예를 들면, 도 12, 도 13에서의 rm, rcm을 255에 근접시켜 프레임버퍼를 보다 유효하게 활용하는 것이다. 이 비례상수들의 결정에 의해, 동시에 하이라트부 또는 그 근방과 그 주변부와의 명암의 극단적인 차를 갑소시킬 수 있다.
S55에서는, 정상픽셀 히스토그램의 히스토그램 최대값에 기인하는 비례계수들(ssr, ssg, ssb) 중, 최소의 것과 최대의 것의 평균값이 비례계수(s)로 구해진다. 이들 비례계수(ssr, ssg, ssb) 중 최대 또는 최소를 s로서 구하여도 좋다. 또, S56, S57에서는 불량픽셀의 히스토그램에서의 픽셀수(ii)가 1000을 초과할 때는 불량픽셀이 무시될 수 없는 정도로 존재한다고 판단하고, 앞의 s 및 불량픽셀에 색이 표현되는 것을 배제하기 위하여 필요한 비례상수들(scr, scb) 중 최대의 것이 비례계수(s)로 구해진다. 그리고, 이 비례계수(s)를 각각 적녹청 각 채널에서의 반사면평균신호값(rn, gn, bn)으로 먼저 나눔으로써, 보정색을 얻기 위하여 유효입력화상신호값에 곱해 지는 비례상수(sr, sg, sb)가 구해진다. 또, 1000이라는 값은 전화상범위의 전픽셀수의 약 0.3%를 고려한 것이지만, 그 값은 적당하게 선택할 수 있다.
도 10에서 보여준 알고리즘에서는, 적녹청 각 채널들에서의 보정화상신호값들(보정신호값들; rc[x][y], gc[x][y], bc[x][y])이 구해짐과 동시에, 동적범위(D)를 초과하는 값 등의 처리가 행해진다. 본 루틴에서도, S59에 의해 좌표의 리셋이 행해지고, S68∼S71에 의해 전화상범위(100)에서의 모든 픽셀들의 스캔이 행해진다. 우선, S60에서는, 적녹청 각 채널들에서의 유효입력화상신호값들(r[x][y], g[x][y], b[x][y])에 대하여 비례상수들(sr, sg, sb)이 각각 곱해져, 적녹청 각 채널들에서의 보정화상신호값들(rc[x][y], gc[x][y], bc[x][y])이 구해진다. 이 연산은 승산이기 때문에, 종래의 제산(除算)을 이용한 방식과 비교하여 상당히 고속인 처리가 가능하다.
이 때, 동일 프레임으로부터 유효입력화상신호값들과 비례상수들(sr, sg, sb) 쌍방을 추출하여도 좋다. 또, 도 14의 타이밍도(TC)에서 보인 바와 같이, 제1, 제2참조프레임군들(I1, I2) 중 1 프레임인 제1, 제2참조프레임들(R1, R2)로부터 각각 비례상수들(sr, sg, sb)을 구하고, 이 비례상수들(sr, sg,sb)을 다음 제2, 제3참조프레임군들(I2, I3) 각각에서의 복수 프레임으로부터 추출한 유효입력화상신호값들(r[x][y], g[x][y], b[x][y])에 곱하여도 좋다. 비례상수들(sr, sg, sb)의 산출루틴이 병목이 되지 않고 처리속도도 좀더 향상된다.
S61에서는, 적녹청 각 채널들에서의 유효입력화상신호값들(r[x][y], g[x][y], b[x][y]) 중 하나도 255이상의 것이 없는 경우에, S62∼65의 루틴이 바이패스(bypass)에 의해 생략된다. S62에서 전체의 적녹청 각 채널들에서의 직접화상신호값들(rd[x][y], gd[x][y], bd[x][y])이 모두 255이상인 경우, S63에서 적녹청각 채널들의 보정화상신호값들(rc[x][y], gc[x][y], bc[x][y]) 중 최대의 것이 c로 구해지고, 이 c의 값이 적녹청 각 채널들에서의 보정화상신호값들(rc, gc, bc)로 다시 대입된다.
S64에서는, 적녹 두 채널에서의 직접화상신호값들(rd[x][y], gd[x][y])이 각각 255미만이고, 또한, 청채널에서의 직접화상신호값(bd[x][y])이 255이상인 경우, S65에서, 청채널에서의 보정화상신호값(bc)이 재수정된다. 여기선, 적 및 녹의 신호값을 이용하여, 청신호값을 유추한다. 청채널에서의 보정화상신호값(bc)은, 적녹 두 채널에서의 직접화상신호값들(rd[x][y], gd[x][y])의 차의 반을 녹채널에서의 직접화상신호값(gd[x][y])에 더하는 것이다. 발명자의 실험에 따르면, 이 유추수법은 상당히 양호한 결과를 얻을 수 있다.
S66에서는, 적녹청 각 채널들에서의 보정화상신호값들(rc[x][y], gc[x][y], bc[x][y])이 255를 초과하는 경우에는 255를 대입하고, 0미만의 경우에는 0을 대입한다. 그 후, S67에서 위와 같이 전체의 수정이 선택적으로 가해진 적녹청 각 채널에서의 보정화상신호값(rc[x][y], gc[x][y], bc[x][y])이 출력된다. 그리고, S68, S70에서, 전화상범위(100)에 대한 전체의 스캔이 완료되면 전체 루틴이 종료된다.
상기 영상처리장치에서 실현된 각 기능은, 플렉시블디스크, 하드디스크, CD-ROM 등의 기록매체에 기록된 소프트웨어를 컴퓨터에 로드시켜 실현할 수 있다. 물론, 상기 기능은, 단수 또는 복수의 IC칩 또는 전기회로에 의해 실현할 수도 있다.
이제, 도 11을 참조하면서, 본 실시예에서의 반사면(61), 메인신(110), 선택참조부(131)의 변형예에 대하여 설명한다.
상기 예에서는 반사면(61)이 평면이였지만, 이 반사면(61)을 요철면으로 하여, 도 11a에서 보여준 바와 같이, 참조용신(121a)을 선택참조부(131a)에 비해 크게 설정할 수 있다. 또, 반사면(61)을 전화상범위(100)의 모서리에 대응시킨 웨지모양으로 하는 대신 전화상범위(100)의 횡단에 길고 가늘게 배치하여, 도 11b에서 보여준 바와 같이, 종으로 길고 가는 선택참조부(131b)를 설정할 수 있다.
도 11c에서는, 전화상범위(100)의 아래쪽에 배치된 100a의 일부에 선택참조부(131c)를 설정하고, 참조용신(121c)으로부터 광원색을 구한다. 또한, 도 11d에서는 반사면(61)을 도 11a와 동일하게 볼록곡면으로 하여, 선택참조부(131d)의 횡폭보다도 넓은 폭의 참조용신(121d)으로부터 광원색을 구한다. 또, 도 11c, 11d에서는, 전화상범위(100)에 대응하는 CCD(31)의 아래쪽에, 이 CCD(31)와는 다른 100a에 대응하는 제2CCD(33)를 설치한다.
도 11e에서는 전화상범위(100)의 상하에 횡으로 긴 선택참조부(131e)를 설정하고, 중앙부의 참조용신(121e)로부터 어느 선택참조부(131e)에 광원색을 집중시킨다. 이 변형예는, 화상을 횡으로 긴 파노라마영상으로 촬영한 경우를 상정한다. 단, 선택참조부(131e)에 상을 얻기 위하여 통상의 파노라마촬영과 같은 촬영범위의 일부를 숨기지 않고, 파인더(finder)에 표현된 화상만이 횡으로 길게 되도록, 파인더의 일부만을 감춘다. 또, 도 11의 각 예에서는, CCD소자상의 참조용신(121)과 선택참조부(131)와의 관계에 대하여 설명하였지만, 촬상소자로서 필름을 이용하는 경우에도 같은 관계가 성립한다.
다음으로 본 발명의 다른 실시예에 대하여 이하에서 설명한다. 또, 상기 제1실시예와 동일한 부재에는 동일한 부호를 붙인다.
도 15에서 나타낸 제2실시예에서는, CCD(31)의 주촬상부(31a)로부터 보내진 주영상이 아날로그 또는 디지털 비디오앰프(79)에 의해 직접적으로 색보정되어, 모니터장치(11)에 표시된다. 보정부(72)에서의 비례상수들(sr, sg, sb)의 산출은, 도 14의 제1, 제2참조프레임들(R1, R2)을 이용하여 행하고, 이것들이 시간경과 후의 제1, 제2참조프레임군(I2, I3)을 보정하는 경우에 사용된다. 출력조정부(73)는 비디오앰프(79)로부터의 출력조정을 행하는 조작부이다. 이와 같은 구성에 따르면, 주화상의 보정이 비디오레이트처리속도(video-rate processing speed)로 행해진다는 이점이 있다. 또, 주화상과 참조화상을 동일 프레임으로부터 추출하여 상세한 보정을 행한 영상은, 비디오가속기(75)를 통하여 비디오레코더(12)에 녹화될 수도 있다.
도 16에서 나타낸 제3실시예에서는, 촬상소자로서 화학제를 사용한 컬러필름(37), 예를 들면 은염필름을 이용하는 점이 다르다. 즉, 본 발명에서, 촬상소자, 수광소자의 색채널은 형상적으로 분리된 것은 아니고, 화학적 물성변화에 의해 복수의 색채널을 구성하는 것으로도 좋다. 컬러필름(37)은 필름수납부(36)내에 탈착가능하게 수납된다.
렌즈(41)로부터의 입사광은 프리즘(34)에 의해 분리되어 컬러필름(37)에 도달하고 수광소자(35)에도 도달한다. 수광소자(35)는 프레임평균화부(32)에 화상의 데이타를 전달하여, 조리개(43), 개구조절모터(44)가 제어된다. 본 실시에에서는, 카메라(2)와 별체의 화상처리장치(7)가 개인용 컴퓨터(8)와 필름스캐너(16)를 갖는다는 점이 다르다. 현상되어 필름스캐너(16)에 설치된 컬러필름(37)으로부터 주화상 및 참조화상을 포함하는 화상데이타가 스캔되고, I/O(76)에 보내진다. 이 화상신호는, 상기 다른 실시예와 동일하게 처리된다.
도 17에 나타낸 제4실시예에서는, 하나의 화상처리장치(7)에 접속된 카메라(2)로부터 다른 제2개인용컴퓨터(13)에 접속된 모니터(9)에 영상을 통신에 의해 송신하는 시스템을 보여준다. 상기 다른 실시예와 동일하게 처리되어 얻어진 보정화상이 화상압축부(81)에 의해 JPEG 등의 수법에 의해 화상압축된다. 본 실시예에 따르면, 화상압축 후의 보정을 실행한 경우에 비하여, 색데이타가 일부 손실되지는 않기 때문에, 양호한 보정결과를 기대할 수 있다.
보정 및 압축 후의 영상신호는, 통신용 단말(14)과 통신용 단말(15) 및 인터넷 또는 전화회선을 통하여 전송되고, 화상처리부(82) 및 비디오가속기(75)를 거쳐 이 화상이 모니터(9)에 표시된다. 또, 이들의 구성은 2대의 컴퓨터에 상호 설치되어, 쌍방향통신이 가능하다.
도 18에 나타낸 제5실시예에서는, 제1, 제2카메라(2a, 2b)로부터 각각 A, B화상(Sa, Sb)이 각각 촬영되고, 비디오캡처보드(71)에 포착된다. 예를 들면, A화상(Sa)은 스튜디오에서 촬영된 아나운서의 상 등이고, B화상(Sb)는 석양 중에 옥외 풍경화상 등이다. A화상(Sa)는 상술한 처리순서에 따라 보정부(72)에서 색보정된다. 한편, B화상(Sb)으로부터는 신광산출부(83)를 통하여 B화상(Sb)의 신에서의 광원색이 반사면의 작용에 의해 구해진다. 그리고, 제2보정부(84)에 의해 색보정된 A화상(Sa)에 대하여 광원색이 곱해져서 2중 색보정이 된 후, 화상합성부(85)에서 B화상(Sb)과 화상합성되어, 모니터(9)를 통하여 자연스러운 색합성된 A, B화상(Sa, Sb)이 표시된다.
도 19에 나타낸 제6실시에에서는, 제5실시예와는 다르게, B영상(Sb)에 컴퓨터그래픽화상을 이용한다. 이 B화상(Sb)은 CG화상작성부(86)를 통하여 모니터(9)에 의해 표시될 수 있다. 또, CG화상작성부(86)에서의 가상의 광원색이 CG광원결정부(87)에 의해 구해지고, 이것이 제2보정부(84)에서 보정 후의 A화상(Sa)에 곱해져, 2차례의 색보정이 행해진다. 이와 같이 하여 2번의 색보정을 행한 A화상(Sa)은 화상합성부(85)에서 B화상(Sb)과 화상합성되어, 모니터(9)를 통하여 컴퓨터그래픽의 풍경에 자연에 인물을 넣은 A, B화상(Sab)이 구해진다. 또, 제5, 제6실시예에서의 제1, 제2색보정을 위한 광원색을 구할 때에는, 상술한 반사면에 한하지 않고, 화이트패치 등 다른 수법을 이용하여도 관계없다.
도 20, 21에서 나타낸 제7실시예에서는, 렌즈(41)가 줌렌즈로 구성되고, 그 촛점거리의 변경에 따라 반사면(61)의 위치와 각도가 변경된다. 도 20은 그 결정원리를 나타내는 것이다. 우선, 최대시야(VF)는 CCD(31)와 렌즈(41)에 의해 결정된다. 반사면(61)의 반사면후단(61)은 최대시야(VF)상의 적당한 위치로 결정된다. 그 후, 다음 관계에 따라, 반사면(61)의 반사면각(An)이 결정된다.
촬상소자면(Fd)은 CCD(31)표면의 평면, 반사위치정점면(Fn)은 반사면(61)상의 반사점을 통과하며 촬상소자면(Fd)에 평행한 면, 피사체면(Fo)은 피사체(O)를 통과하며 촬상소자면(Fd)에 평행한 평면이다. 우선, 반사위치정점면(Fn)의 좌측에 대하여 반사각(As)과 다른 각과의 관계를 고려하면 다음 식이 성립된다.
또, 반사면(61)의 하측에 대하여 생각하면, 다음식이 성립한다.
그리고, 이 두 식을 반사각(As)에 대하여 정리하면, 다음 관계가 성립한다.
이 식을 반사면각(An)에 대하여 정리하면, 다음식을 얻는다.
여기서, 피사체각(Ao)은 피사체(O)의 위치에 따라 거의 변하지 않기 때문에 Ao/2는 정수로 볼 수 있다. 반사면각(An)은 시야각(Ad)에 의해 결정되고, 시야각(Ad)은 최대시야(VF)의 위치에 의해 결정된다. 따라서, 반사면(61)의 반사면후단(63)과 시야각(Ad)과는 렌즈(41)의 촛점거리에 의해 일의적으로 정해진다.
여기서, 도 21a, 21b에 의해 반사면(63)과 반사면각(An)을 연속적으로 변경시킨 반사면(61)을 구비한 카메라(2)에 대하여 설명한다. 렌즈(41)가 도 21a의 실선으로 표시된 위치에 있는 경우, 반사면(61)의 일부인 반사면(61a)은 반사면후단(63a)과 반사면각(An1)에 의해 결정된다. 또, 촛점거리가 조금 길어진일점쇄선의 위치에 렌즈(41')가 있는 경우, 반사면(61b)의 반사면후단(63b)은 반사면후단(63a) 보다도 작고 렌즈(41)로부터 분리되는 쪽으로 이동하여, 반사면각(An2)은 반사면각(An1)보다도 크게 된다. 반사면(61)의 반사면선단선, 후단선(62L, 63L)을 따라 반사면아래선단들, 후단들(62a, 62b, 63a, 63b)이 각각 배치되고, 이들 반사면선단선, 후단선(62L, 63L) 사이에 반사면(61a, 61b)이 위치하게 된다.
이와 같은 연속적 변화를 갖는 반사면(61)의 반사체(6)는, 반사면이동기구(65)를 이루는 지지봉(66)에 연결됨과 동시에 제1추축(66a) 주위에 렌즈(41)의 중심축에 거의 수직하는 축주위로 회전가능하다. 또한, 지지봉(66)의 기초는 제1추축(66a)을 통하여 기초부재(67)에 지지되고, 또한 카메라본체부(3)에 대하여 제1추축(66a)에 직교하는 제2추축(67a)주위로 회전가능하게 지지된다. 또, 덮개(5)에는 반사체(6)을 삽입하기 위한 개구(5a)가 앞의 실시예와 같이 전화상범위(100)의 모서리부에 대응시켜 형성된다. 또, 카메라(2)에는 CCD(31)에 대한 화상의 포착과 연동하는 스트로브(21)가 마련된다.
도 21에 나타낸 카메라(2)를 사용하는 경우는, 렌즈(41)의 촛점거리에 맞춰 적절한 반사면(61a, 61b) 등이 선택되도록, 제1추축(66a) 주위에서 반사체(6)이 회전한다. 또, 최대시야 밖으로부터의 광을 차단하도록, 플랩(5a)이 적당한 위치까지 회전한다. 스틸촬영의 경우는, 이 상태에서 우선 스트로브(21)가 한 번 점화하고, CCD(31)를 통하여 상술한 참조용신(121)이 포착된다. 다음에, 제2추축(67a)주위로 지지봉(66)이 외측으로 회전하여 반사면(61)이 렌즈유니트(4)의 시야 밖으로 이동하고, 다시 스트로브(21)가 점화하여 메인신(110)이 촬영된다. 그리고, 이들 참조용신(121)과 메인신(110)을 이용하여 상술한 색보정을 행한다. 또, 비디오촬영의 경우에, 스트로브(21)는 불필요하다. 또, 지지봉(66)을 제1추축(66a)주위로 회전시켜, 반사면(61)을 렌즈유니트(4)의 시야 밖으로 이동시켜도 좋다.
도 22, 23에서 나타낸 제8실시예에서는, 수광소자인 제3CCD(38)가 앞의 제1CCD(31)와는 별체로 설치되고, 줌렌즈유니트(4)가 제1, 제3CCD(31, 38)에 각각 설치된다. 각 렌즈유니트(4)의 조리개들(43) 및 개구조절모터들(44)은 제1CCD(31)에 연동하는 프레임평균화부(32)에 의해 공통적으로 제어된다. 또, 렌즈들(41)의 촛점거리도 양렌즈에서 연동한다. 각 제1, 제3CCD(31, 38)에 대하여는, 제1, 제2비디오캡처보드(71x, 71y)가 각각 설치된다.
제3CCD(38)는 제1CCD(31)와 동종의 소자이고, 제1CCD(31)보다도 불량픽셀이 많다는 점만이 다르다. 제3CCD(38)에 불량픽셀이 많은 로트를 사용할 수 있는 것은, 반사면(61)을 이용한 참조용신으로부터 광원색을 포착하면 충분하기 때문이다. 그리고, 우선 검사에 의해 파악된 불량픽셀의 위치를 71z에 기억시키고, 보정부(72)에서의 광원색의 산출시에 불량픽셀을 제외한다.
제3CCD(38) 측의 덮개(5)내에는 환상의 반사체(6)가 부착된다. 이 반사체(6)는, 반사체(61)의 상기 반사면각(An) 및 반사면후단(63)을 연속적으로 렌즈(41)의 촛점거리에 맞춰 먼저 변화시킨 것이다. 예를 들면, 부호 "61a"로 나타내는 반사면(61)에 반사된 참조용신은 제3CCD(38)상의 선택참조부(38a1)에 상을 형성하고, 부호 "61b"로 나타내는 반사면(61)에 반사된 참조용신은 제3CCD(38)상의 선택참조부(38a2)에 상을 형성한다. 이와 같이, 연속한 반사면(61)에 의해 전화상범위(100)상에 촬영된 참조용화상부(130) 중에, 적당한 참조부(137a, 137b)를 선택하는 것으로, 렌즈(41)의 촛점거리에 대응한 적절한 참조용신을 선택하는 것이 가능하고, 메인신의 색보정을 정확하게 행할 수가 있다.
다음으로, 도 24∼35를 참조하면서, 광학적 보정장치를 이용한 구성에 대하여 설명한다. 특별한 언급이 없고 모순이 발생하지 않는 한, 도시하지 않은 부분도 상기 각 실시예와 같고 그 설명은 생략되고, 예를 들면 조리개(43)는 도시하지 않은 프레임평균화부(32), 개구조절모터(44)에 의해 제어된다.
도 24는 제9 내지 제18실시예에 이용되는 광학필터를 이용한 일반적 모듈을 보여주는 블럭도이다. 화상처리장치(151)은, CCD(31)로부터의 신호를 병렬적으로 받아들이는 화상처리부(152) 및 광원색측정부(153)를 포함한다. 화상처리부(152)의 기본구성은 상술한 각 실시예의 것과 유사하지만, 광원색측정부 및 보정부를 포함하지 않는 점이 다르다. 화상처리부(152)에서 받아들인 신호는 카메라출력(3a)으로 모니터 등에 출력된다.
참조촬상부(31b) 및 광원색측정부(153)에 의해 구해진 광원색의 출력은 보색측정부(154)에서 받아들여지고, 여기서 광원색의 보색이 구해진다. 참조촬상부(31b) 등에 의해 얻어진 광원색의 RGB성분들의 강도를 각각 Rn, Gn, Bn이라 하고, 보색의 RGB성분들의 강도를 각각 Rc, Gc, Bc라고 하면, 일반적으로 다음의 관계가 성립한다.
C = RnRc = GnGc = BnBc
단, C는 정수이다.
그리고, Gc/Gc = Gn/Rn, Rc/Bc = Bn/Rn되는 관계로부터, 보색의 RGB성분들의 컬러밸런스들(Rc, Gc, Bc)이 구해진다.
색제어수단(155)은, 보색측정부(154)에 의해 구해진 보색을 제1∼제3위치(P1∼P3)의 어떤 곳에 두어 필터로서 실현된다. 색제어수단(155)의 구체적 수단은 이하의 각 실시예에서 나타나지만, 그 필터의 설치위치는 제1∼제3위치(P1∼P3)의 어떤 곳도 좋다. 렌즈유니트(4)에서 보여준 렌즈(41)는 가상렌즈이고, 실제에는 복수매의 렌즈로 렌즈(41)가 구성되기 때문에, 이 복수매의 렌즈 사이에 필터를 설치하여도 좋다.
제1∼제3위치(P1∼P3)의 어떤 곳에 설치된 필터는, 촬영시야(viewing)로부터의 광 및 반사면(61)에서부터의 광들 모두를 투과시켜 주촬상부(31a) 및 참조촬상부(31b)에 도달하게 한다. 광원색측정부(153)는, 참조촬상부(31b)에 의해 검출된 상기 참조용신호값(rn, gn, bn)의 컬러밸런스가 요구된 컬러밸런스에 가능한 한 가깝도록, 상기 광학필터를 귀환제어한다. 즉, 광원색측정부(153)는, 광원색을 구하여 이 광원색을 백색에 접근시키는 작용을 행하며, 이것에 더하여 백색광과는 다른 얻어진 컬러밸런스를 상기 참조용신호값(rn, gn, bn)이 갖도록 귀환제어를 행한다. 즉, 본 발명에는, 최종적으로 광원색이 백색광이 되도록 보정하는 경우 이외의 경우에도, 내재적으로 광원색이 백색광으로 되도록 보정하는 작용이 포함되게 된다. 보정의 최종목표치는 가색혼합의 이론에 의해 정해지는 것에 지나지 않기 때문이다.
도 25에서 나타낸 제9실시예는, 색제어수단(155)의 한 예인 필터회전기구(160)를 보여준다. 이 필터회전기구(160)에서는, 축(161)주위에 모터(162)에 의해 스텝방식(stepped manner)으로 회전되는 원반(163)에 복수의 관통공을 설치한다. 그리고, 이 관통공에 컬러밸런스가 각각 다른 복수의 프리셋필터들(preset filters; 164a∼164h)을 설치한다. 이들 프리셋필터(164a∼164h)의 특성들은 색온도에 맞춰서 선정될 수 있고, 예를 들면, 보통 일광(日光)에서 색온도는 5500K이고, 텅스텐타입의 인공광에서 색온도는 3200K 정도로 설정된다. 보색이 갖는 색온도에 가장 가까운 색온도를 갖는 하나의 프리셋필터(164a∼164h)가 선택된다.
도 26에서 나타낸 제10실시예는, 색제어수단(155)의 한 예인 필터슬라이드기구(170)를 보여준다. 이 필터슬라이드기구(170)에서, CCD(31)나 렌즈(41)의 광축에 직교하는 xy방향으로 도시하지 않은 구동부재까지 이동가능한 필터지지판(171)과, 이 필터지지판(171)에 형성된 관통공에 각각 설치된 복수의 프리셋필터(172a∼172i)를 구비한다. 이 실시예에서도, 앞의 실시예와 동일하게, 적절한 색온도의 프리셋필터(172a∼172i)가 선택된다.
상기 제9 및 제10실시예는 각각 2매이상의 축(161) 또는 필터지지판(171)을 조합시켜 이용할 수 있다. 이 경우, 몇 개의 관통공에는 필터를 설치하지 않아도 좋다. 이것에 의해, 필터를 복수개 조합하여 이용할 수도 있다.
필터를 복수개 조합하여 사용할 수 있는 구성으로는, 도 27에서 보여준 제11실시예의 필터회전기구(180)가 고려된다. 이 실시예에서, 축(181) 주위에모터(182)에 의해 스텝방식으로 회전하도록 복수의 프리셋필터(183a∼183f)가 지지된다.
도 28에서 나타낸 제12실시예에서, 색제어수단(155)에 상당하는 액체를 이용한 광학필터수단으로서 액체필터시스템(190)이 제공된다. 이 액체필터시스템(190)에서, 탱크(191)에 축척된 물 또는 기름 등의 매질은 펌프(192)에 의해 믹서(193)로 보내진다. 펌프(192)는 다이어프램(diaphragm)형의 펌핑 등, 극히 작은 양의 액체를 송출할 수 있는 간소한 구성이면 족하다. 컬러제어기(194)는 보색측정부(154)로부터의 정보에 기초하여, 잉크주입부들(195a∼195c) 각각으로부터의 잉크주입량을 제어한다.
잉크주입부들(195a∼195c)은 시얀, 마젠타 또는 옐로우(CMY)의 잉크를 저장한다. 이들의 잉크는, 예를 들면 각각 애시드블루(acid blue; #25), 애시드레드(#289), 애시드옐로우(#23)을 이용하여 합성할 수 있다. 잉크의 색은 RGB로도 가능하지만, 촬상소자의 필터 등이 통상 RGB이고, 이 액체필터시스템(190)은 보색을 구하는 것을 목적으로 하기 때문에, CMY의 잉크를 이용하는 것이 바람직하다.
잉크주입부들(195a∼195c)로부터 주입된 잉크들은 믹서(193)에서 매질과 혼합되고, 투명통로(196)으로 보내진다. 이 투명통로(196)은 투명한 유리판을 상당히 작은 간격을 두고 겹쳐서 얇은 통로를 형성하고, 내부를 흐르는 잉크의 혼합물이 필터로서 작용한다. 투명통로(196)을 통과한 혼합물은 배출구(197)를 통하여 배출된다. 도시되지 않았지만, 렌즈(41)은 실제로는 복수개의 렌즈를 조합시킨 것이기때문에, 조합을 구성하는 렌즈 사이 공간을 투명통로(196)로 하여도 좋다. 또, 잉크의 표백제 등을 혼합하는 트리트먼트수단(198)을 설치하여 매질을 재활용하여도 좋다.
도 29에 나타낸 제13실시예는, 앞의 제12실시예의 변형예이다. 본 실시예에서, 3개의 잉크주입부(195a∼195c)대하여, 3개의 믹서(193a∼193c) 및 3개의 투명통로(196a∼196c)가 각각 서로 혼합되지 않도록 독립적으로 설치된다. 각 색채널의 필터특성은 잉크의 농도에 의해 변경된다.
도 30에서 나타낸 제14실시예는, 컬러CCD 등 CCD(31)의 표면에 존재하는 CCD필터(200)의 색을 변경하는 시스템을 보여준다. 이 CCD필터(200)는, 사이벽(201)에 의해 각 셀들(202)을 분할한다. 셀들(202)은 픽셀(203)의 RGB 각 색채널들에 대응시켜 설치된다. 또, 같은 색채널의 셀들(202)끼리는 브리지패스(bridge path; 204)에 의해 연통된다. 적색유입로(205r), 녹색유입로(205g), 청색유입로(205b)는 각각 제13실시예의 믹서들(193a∼193c)과의 동등물들에 접속된다. 적색유입로(205r), 녹색유입로(205g), 청색유입로(205b)에 의해 공급된 매질잉크혼합물은 각 셀(202)을 통과하여 필터로서 작용함과 동시에, 적색유입로(205r), 녹색유입로(205g), 청색유입로(205b)를 통하여 배출된다.
도 31에 나타낸 제15실시예는, 촬상소자로서 컬러필름(37)을 이용하고, 인화지(213)에 대응하는 프린트를 하는 경우의 색보정에 관한 것이다. 램프(211)는 색보정용 필터(212)를 통하여 광을 컬러필름(37)에 투광하고, 인화지(213)에 컬러필름(37)의 상을 인화한다. 광색센서(214) 및 광원색측정부(215)는 참조촬영부(37b)로부터 촬영시의 광원색을 구한다. 보색측정부(216)는 이 광원색의 보색을 구하고 필터교환장치(217)를 제어하여 필터(212)의 색을 변경한다. 필터(212) 및 필터교환장치(217)를 포함하는 색제어수단(155)은, 상술한 또는 이하의 실시예에서 보여준 어떤 것의 구성도 이용할 수 있다.
도 32에 나타낸 제16실시예는 액정가변필터시스템(220)에 관한 것으로, CCD(31)가 흑백CCD 등이고, 색제어수단(155)으로서 액정가변필터(223) 및 명암도가변필터(224)가 이용된다. 이 액정가변필터(223)는 필터의 특성, 즉 색채널을 RGB 등으로 전환하는 것이 가능한 LCTF(Liquid Crystal Tunable Filter)를 이용할 수 있다. 즉, 액정가변필터(223)의 색을 미소시간 간격으로 변경하여 컬러화상을 촬영하고, 각 필터특성마다 명암도가변필터(224)의 명암도를 변경함으로써, 실질적으로 보색필터를 구성할 수 있다.
명암도가변필터(224)의 한 예로서는, 도 33에 보여준 바와 같이, 렌즈유니트(4)의 광축에 수직하게 2개의 제1, 제2필터(224a, 224b)를 마련하여, 이것들의 상대각을 변경시키는 구성을 채용할 수 있다. 그 외에, 명암도가변필터(224)로서는, 명압도가 다른 중회색(neutral gray)의 ND필터를 복수개 전환하여 사용할 수 있다.
도 34에서 보여준 제17실시예는 3개의 CCD카메라(230)에 관한 것으로, 렌즈유니트(4)로부터 입사된 광을 광블럭(231)의 프리즘(232)에서 RGB로 분광하고, 흑백CCD소자인 3개의 적CCD(233r), 녹CCD(233g), 청CCD(233b)의 각각에 화상을 투영한다. 각 적CCD(233r), 녹CCD(233g), 청CCD(233b)와 광블럭(231) 사이에 각각 적명암도가변필터(234), 청명암도가변필터(235), 녹명암도가변필터(236)가 마련되어, 실질적으로 보색필터를 형성하도록, 이들의 명암도를 개별적으로 변경가능하게 한다. 적명암도가변필터(234), 청명암도가변필터(235), 녹명암도가변필터(236)는 앞의 실시예와 동일하게, 각각 제1, 제2편광필터들(234a 및 234b, 235a 및 235b, 236a 및 236b)을 갖는다. 또, 하이라이트 등의 입사상황을 조절할 목적이라면, 제1, 제2편광필터들(234a, 234b, 235a, 235b, 236a, 236b) 전부를 회전제어하는 것이 바람직하다.
도 35에서 보여준 제18실시예는, 앞의 제17실시예의 변형예이다. 본 실시예에서는, 하나의 제1편광필터(237)를 광블럭(231)의 전단, 예를 들면 렌즈유니트(4)의 채광측에 부착하고, 다른 제2편광필터(234b, 235b, 236b)를 각 색채널에 대응시켜 설치한다. 하이라이트 등의 광량은 제1편광필터(237)에서 조절할 수 있고, 각 채널의 명암도는, 제2편광필터(234b, 235b 또는 236b)를 광블럭(231)에 대하여 회전시키는 것에 의해 독립하여 조절할 수 있다.
마지막으로, 본 발명의 또 다른 실시예의 가능성에 대하여 언급한다.
상기 각 실시예에서는, RGB 3색채널을 갖는 컬러카메라에 대하여 본 발명을 설명하였다. 그러나, 본 발명은 RGB 3색채널 이외의 복수채널을 갖는 컬러카메라 또는 가시광을 촬영하는 흑백카메라나 비가시광인 적외선 등을 촬영하는 적외선카메라 등의 단일채널카메라에 대하여도 적용가능하다. 이 때, 유효입력화상색값을 반사면평균색값으로 나눈 값에 곱하는 계수(s)는 정수가 아니면 안된다. 또, 색채널로서, 가시광채널 및 적외선등의 비가시광채널을 포함하는 2채널구성으로 할 수도 있다.
상기 각 실시예에서는, 반사면(61)을 평면, 불록면 또는 오목면으로써 형성하였다. 그러나, 이 반사면은 매시(mash)상태여도 좋고, 작은 반구면 모양이여도 좋다.
상기 제12∼제14에 보여준 실시예에서는, RGB 또는 CMY 전체에 대하여 제어하였다. 그러나, 3색 중 2색에 대하여만 제어하도록 하여도 색보정이 가능하다. 또, 제어를 하지 않는 색채널에 대해서는, ND필터를 끼워, 조리개(43)에 의해 실질적으로 소망의 거친 제어가 가능하도록 구성하는 것도 가능하다.
상기 실시예에서는, 촬상소자로서 CCD소자나 카메라필름을 이용하였다. 그러나, 촬상소자로서는, 이것에 한하지 않고, 예를 들면, 비디콘 등을 이용하여도 좋다. 또 수광소자에는 포토다이오드들을 이용하는 것도 가능하다.
상기 실시예에서는, 서로 모순되지 않는 한, 복수의 것을 각각 조합하여 실시하는 것이 가능하다. 또, 어느 실시예도, 비디오카메라 또는 스틸카메라에 사용될 수 있다. 특히, 상기 제9∼제14 및 제16∼제18실시예는, 상기 제1∼제8실시예와 조합하여, 쌍방의 이점을 발생시킬 수 있다. 즉, 상기 제1∼제8실시예는 처리시간이 상당이 신속하기 때문에, 촬영대상포착 당시에 유용하고, 상기 제9∼제14 및 제16∼제18실시예에 의한 보정을 그 후에 함으로써, 보다 정밀한 색보정을 할 수 있게 된다.
상기 제5실시예에서는, A화상(Sa)은 스튜디오촬영한 아나운서의 상 등이고, B화상(Sb)는 석양의 옥외풍경화상 등이였다. 또, 상기 제6실시예에서는, A화상(Sa)은 제5실시예와 같은 스튜디오좔영된 아나운서의 상 등이였지만, B화상(Sb)에 컴퓨터그래픽화상을 이용한다는 점이 달랐다. 그러나, A화상(Sa)을 풍경으로 하고, B화상(Sb)을 아나운서의 초상 등으로 하여도 좋다. 또, 머리 또는 얼굴만을 넣어 합성화상을 작성하는 경우에, 본 발명에 관한 색보정을 실시하여도 좋다. 예를 들면, 초상 등인 A화상(Sa) 중 인물의 머리 또는 얼굴 부분만을 잘라낼 수 있다. 한편, B화상(Sb)으로서, 피복을 착용한 모델의 촬영화상으로부터 머리를 제거하거나, 또는 두발형태 등을 참고하는 머리의 촬영화상 중으로부터 모델의 두발형태만을 남기고 얼굴을 제거하는 것을 이용한다. 그리고, A화상과 B화상을 상술한 색보정 후에 합성함으로써, 통일된 조명상황 하에서, 피복이나 두발형태 등이 본인에게 맞는가 맞지 않는가를 자연색합성의 합성화상에 의해 판단하는 것이 가능하게 되었다.
본 발명은, 촬영된 물체의 색을 보정 또는 화상의 농도를 안정시키기 위한 촬영시스템, 및 이들을 이용한 카메라 및 화상처리장치에 관한 것이다. 본 발명은, 카메라의 촬상소자가 복수의 색채널을 갖는 컬러카메라의 색보정에 적용되지만, 흑백카메라 등의 단일채널만의 카메라에도 적용할 수 있다.

Claims (45)

  1. 화상의 색을 보정하기 위한 촬영시스템에 있어서,
    렌즈(41), 촬상소자(31, 37), 수광소자(31, 33, 37, 38) 및 반사면(61)을 가지고 메인신(110)을 상기 촬상소자(31, 37)상에 촬상하는 카메라(2)를 구비하고,
    상기 촬상소자(31, 37) 및 상기 수광소자(31, 33, 37, 38) 각각은 복수의 색채널을 가지며,
    상기 반사면(61)은 상기 카메라(2)의 시야 내에 배치되며 상기 메인신(110) 또는 그 주변에 속하는 참조용신(121, 121a∼121e)으로부터의 광을 반사함과 동시에 상기 렌즈(41)를 통하여 상기 수광소자(31, 33, 37, 38)에 수광시키고,
    상기 수광소자(31, 33, 37, 38)에 의해 받아 들여진 참조용신(121, 121a∼121e)의 반사광 중 1 픽셀부(136d)의 값 또는 복수 픽셀부(131, 131a∼131e, 136a∼136e)의 상기 각 색채널마다의 평균값을 참조용신호값(rn, gn, bn)으로 구하는 광원색측정부(72, 153)와, 이 참조용신호값(rn, gn, bn)에 의해 화상의 색을 보정하는 보정장치(72)를 구비하는 촬영시스템.
  2. 제1항에 있어서, 상기 보정장치는, 상기 촬상소자(31, 37)에 의해 촬상된 메인신(110)의 각 좌표위치에서의 주신호값(r[x][y], g[x][y], b[x][y])을 상기 각 채널마다 구한 상기 참조용신호값(rn, gn, bn)에 따라 각각 실질적으로 나누는 것에 의해 상기 주신호값을 보정한 보정신호값(rc[x][y], gc[x][y], bc[x][y])을 얻기 위한 보정부(72)인 촬영시스템.
  3. 제2항의 촬영시스템에 이용되는 화상처리장치에 있어서, 상기 참조용신호값(rn, gn, bn)을 분모로 갖는 계수(sr sg, sb)를 먼저 구하고, 이 계수(sr sg, sb)를 상기 각 주신호값(r[x][y], g[x][y], b[x][y])에 곱하여 주신호의 보정을 행하는 화상처리장치.
  4. 제3항에 있어서, 상기 각 채널에서의 상기 각 계수(sr, sg, sb)는, 각 색채널에 따라 다른 상기 참조용신호값(rn, gn, bn)을 분모로 갖고, 모든 색채널에서 공통인 다른 계수(s)를 분자로 갖는 화상처리장치.
  5. 제4항에 있어서, 상기 촬상소자(31, 37) 또는 상기 수광소자(31, 33, 37, 38)로부터 순차적으로 보내진 프레임신호들 중, 어떤 한 프레임신호로부터 상기 계수(sr, sg, sb)를 구하고, 좀더 시간경과 후의 다른 프레임으로부터 얻은 상기 각 주신호값(r[x][y], g[x][y], b[x][y])에 이 계수(sr, sg, sb)를 곱하여 주신호의 보정을 행하는 화상처리장치.
  6. 제5항에 있어서, 복수의 다른 프레임으로부터 각각 얻은 상기 각 주신호값들(r[x][y], g[x][y], b[x][y])에 상기 계수(sr, sg, sb)를 각각 곱하여 주신호의 보정을 행하는 화상처리장치.
  7. 제5항에 있어서, 상기 다른 프레임들로부터의 신호들에 상기 계수들(sr, sg, sb)은 곱하기 위한 비디오앰프(79)를 갖는 화상처리장치.
  8. 제4항에 있어서, 상기 다른 계수(s)는, 상기 주신호값(r[x][y], g[x][y], b[x][y])이 그 신호의 집합에서의 최대값으로 볼 수 있는 값(rm, gm, bm)을 취하는 경우에, 그 최대값으로 볼 수 있는 값(rm, gm, bm)을 상기 주신호값의 최대스케일값(D)에 근접시키는 것인 화상처리장치.
  9. 제4항에 있어서, 상기 다른 계수(s)는, 어떤 픽셀에서의 2 채널내의 주신호값이 상기 최대스케일값(D)에 도달하고 나머지 다른 채널내의 주신호값이 상기 최대스케일값(D)에 도달하지 않는 경우에 해당 픽셀을 불량픽셀로 정의하고, 해당 불량픽셀의 집합에서의 상기 다른 채널내에서의 주신호값의 최소값으로 볼 수 있는 값(rcm, bcm)이 상기 최대스케일값(D)에 적어도 도달시키는 만큼의 값을 갖는 화상처리장치.
  10. 제2항의 촬영시스템에 이용되는 화상처리장치에 있어서, 어떤 픽셀에서의 청채널내의 주신호만이 상기 최대스케일값(D)에 도달하고 나머지 적녹채널들내의 주신호값들은 상기 최대스케일값(D)에 도달하지 않는 경우에, 해당 청채널의 주신호의 보정값(bc)을 적녹채널들내의 보정값들(rc, gc)의 비에 기초하여 계산하는 화상처리장치.
  11. 제2항의 촬영시스템에 이용되는 화상처리장치에 있어서, 또한 상기 주신호의 압축장치(81)를 갖고, 상기 주신호를 상기 보정 후에 압축하는 화상처리장치.
  12. 제1항의 촬영시스템에 이용되는 카메라에 있어서, 상기 반사면(61)을 상기 카메라(2)의 시야 밖에 배치하는 것이 가능한 반사면이동장치기구(65)를 구비하는 카메라.
  13. 제1항에 있어서, 상기 반사면(61)을 상기 카메라(2)의 시야 밖에 배치하는 것이 가능한 반사면이동기구(65)를 구비하고,
    상기 반사면(61)에 의해 상기 참조용신호값(rn, gn, bn)을 구한 후에 상기 반사면이동기구(65)에 의해 상기 반사면(61)을 상기 카메라(2)의 시야 밖에 배치한 상태에서 주영상을 촬영하고,
    상기 참조용신호값(rn, gn, bn)에 의해 주신호값(r[x][y], g[x][y], b[x][y])을 보정하는 촬영시스템.
  14. 제1항에 있어서, 상기 촬상소자(31) 및 상기 수광소자(38)가 별체의 동일 특성 소자로 되고,
    상기 렌즈들(41)을 이 촬상소자(31) 및 상기 수광소자(38)에 대응시켜 각각마련함과 동시에 이 렌즈들(41)의 끌밀기와 조리개를 연동시키고,
    상기 반사면(61)이 상기 렌즈(41)의 촛점거리에 따라 그 시작점의 좌표위치와 각도를 연속하여 변경하도록 형성함과 동시에 이 반사면(61)을 상기 렌즈(41)의 최대시야내에 고정하고,
    상기 수광소자(38)상의 보정용화상부(130) 중 선택보정부(137a, 137b)에서, 상기 촛점거리에 따라 상기 반사면(61a, 61b)에 대응하는 것을 선택하는 촬영시스템.
  15. 제14항에 있어서, 상기 수광소자(38) 중 흠결픽셀을 상기 선택보정부(137a, 137b)의 선택시에 제거하는 좌표테이블을 갖는 촬영시스템.
  16. 제1항에 있어서, 상기 반사면의 배치 또는 상기 참조용신호를 위한 상기 복수의 픽셀의 선택에 의해, 상기 참조용신을 주로 메인신의 중앙부 또는 그 근방으로 한정하는 촬영시스템.
  17. 제2항에 있어서, 상기 카메라를 적어도 2대 갖고, 한 카메라에서의 상기 보정신호값(rc[x][y], gc[x][y], bc[x][y])에 대하여, 다른 카메라에 의해 얻어진 참조용신호값을 상기 각 색채널마다 실질적으로 곱하여 2차보정화상을 얻고, 이 2차보정화상을 다른 카메라의 화상과 합성하여 합성영상을 얻는 촬영시스템.
  18. 제2항에 있어서, 컴퓨터화상을 작성하는 CG화상작성부(86)와 그 컴퓨터화상의 광원색을 결정하는 CG광원색결정부(87)를 갖고,
    상기 보정신호값(rc[x][y], gc[x][y], bc[x][y])에 대하여, CG광원색결정부(87)에 의해 얻어진 광원색값을 상기 각 색채널마다 실질적으로 곱하여 2차보정화상을 얻고, 이 2차보정화상을 상기 CG화상작성부(86)에 의해 작성된 컴퓨터화상과 합성하여 합성화상을 얻는 촬영시스템.
  19. 제1항의 촬영시스템에 이용되는 카메라에 있어서, 상기 촬상소자(31, 37) 및 상기 수광소자(31, 33, 37, 38)가 동일 특성의 소자로 된 카메라.
  20. 제19항에 있어서, 상기 수광소자(31, 37)는 상기 촬상소자(31, 37)의 일부인 카메라.
  21. 제1항의 촬영시스템에 이용되는 카메라에 있어서, 상기 촬상소자(31, 37)상의 화상을 받아 들인 화상파일을 기억하는 기억부(77) 또는 상기 화상을 기억하는 필름(37)의 수납부(36)를 갖고, 상기 화상은 주화상부(110)와 전화상범위(100)의 끝단에 위치하는 참조용화상부(130)를 포함하는 카메라.
  22. 제1항의 촬영시스템에 이용되는 카메라에 있어서, 상기 전화상범위(100)가 사각형이고, 어느 모서리부에 상기 참조용화상부(130)가 위치하는 카메라.
  23. 제22항에 있어서, 상기 반사면(61)이 상기 렌즈(41)의 중심축 주위에서 회전가능하고, 상기 반사면(61)의 위치에 따라 상기 어느 모서리부에 상기 참조용화상부(130)를 위치시킬지 또는 상기 참조용화상부(130)를 상기 전화상범위(100)내에 위치시키지 않을지의 선택을 행할 수 있는 카메라.
  24. 제1항의 촬영시스템에 이용되는 카메라에 있어서, 상기 주영상부가 횡으로 가늘고 긴 사각형이고, 상기 전화상범위(100)의 상부 또는 하부에 상기 참조용화상부가 위치하는 카메라.
  25. 제1항의 촬영시스템에 이용되는 카메라에 있어서, 상기 렌즈(41)가 줌렌즈이고, 상기 반사면(61)이 상기 렌즈(41)의 촛점거리에 따라 그 시작점의 좌표위치와 각도를 변경하는 카메라.
  26. 제1항의 촬영시스템에 이용되는 카메라에 있어서, 상기 반사면(61)이 상기 렌즈(41)의 촛점거리에 따라 그 시작점의 좌표위치와 각도를 연속하여 변경하도록 형성되고, 이 반사면과 상기 렌즈의 상대위치를 상기 렌즈(41)의 촛점거리에 맞춰 변경하는 반사면이동기구(65)를 포함하는 카메라.
  27. 제3항 내지 제11항 중 어느 한 항에 따른 화상처리장치 또는 제13항 내지제18항 중 어느 한 항에 따른 촬영시스템에 의해 실현되는 기능을 갖는 IC칩 또는 같은 기능을 갖는 전기회로.
  28. 제3항 내지 제11항 중 어느 한 항에 따른 화상처리장치 또는 제13항 내지 제18항 중 어느 한 항에 따른 촬영시스템에 의해 실현되는 기능을 컴퓨터에 불러들여 실현하는 소프트웨어를 기록한 기록매체.
  29. 제3항 내지 제11항 또는 제13항 내지 제18항 중 어느 한 항에 있어서, 상기 화상보정이 전화회선 또는 인터넷 등의 통신회선에 접속된 2대의 컴퓨터 사이에서 실현되도록 구성된 화상처리장치 또는 촬영시스템.
  30. 제13항 또는 제19항 내지 제25항 중 어느 한 항에 있어서, 상기 반사면에 상기 메인신 이외 또는 참조용신 이외의 광이 입사되는 것을 방지하는 덮개를 마련하는 카메라.
  31. 화상의 농도를 안정시키기 위한 촬영시스템에 있어서,
    렌즈(41), 촬상소자(31, 37), 수광소자(31, 33, 37, 38) 및 반사면(61)을 가지고 메인신(110)을 상기 촬상소자(31, 37)상에 촬상하는 카메라(2)를 구비하고,
    상기 반사면(61)은 상기 카메라(2)의 시야 내에 배치되며 상기 메인신(110) 또는 그 주변에 속하는 참조용신(121, 121a∼121e)으로부터의 광을 반사함과 동시에 상기 렌즈(41)를 통하여 상기 수광소자(31, 33, 37)에 수광시키고,
    또한, 상기 수광소자(31, 33, 37, 38)에 의해 받아 들여진 참조용신(121, 121a∼121e)의 반사광 중 1 픽셀부(136d)의 값 또는 복수 픽셀부(131, 131a∼131e, 136a∼136e)의 평균값을 참조용신호값(rn, gn, bn)으로서 구하고,
    상기 촬상소자(31)에 의해 촬상된 메인신(110)의 각 좌표위치에서의 주신호값(r[x][y], g[x][y], b[x][y])을 상기 참조용신호값(rn, gn, bn)에 의해 실질적으로 나누어 주신호를 보정한 보정신호값(rc[x][y], gc[x][y], bc[x][y])을 얻는 화상처리장치(7)를 구비한 촬영시스템.
  32. 제31항의 촬영시스템에 이용되는 카메라에 있어서, 상기 카메라의 촬상소자는 가시광 또는 비가시광을 감지하는 카메라.
  33. 제2항에 있어서, 상기 보정장치는, 상기 참조용신호값(rn, gn, bn)에 의해 정한 색에 대한 보색을 측정하는 수단; 및
    이 보색을 재현하고 상기 촬상소자에 도달하는 화상의 색을 변경하는 광학필터를 포함하는 광학필터수단을 구비한 촬영시스템.
  34. 제33항에 있어서, 상기 광학필터는 상기 수광소자에 도달하는 화상의 색을 변경하도록 배치되고, 상기 보색을 구하는 수단은 상기 참조용신호값(rn, gn, bn)의 컬러밸런스가 요구되는 컬러밸런스에 가능한 한 근접하도록 상기 광학필터를 제어하는 촬영시스템.
  35. 제33항에 있어서, 상기 광학필터수단은 각각 컬러밸런스를 다르게 한 복수의 프리셋필터를 갖고, 상기 보색에 가장 가까운 프리셋필터가 선택되는 촬영시스템.
  36. 제35항에 있어서, 상기 프리셋필터는 복수의 것을 조합하여 동시사용이 가능한 촬영시스템.
  37. 제33항에 있어서, 상기 광학필터수단은, 매질의 펌프; 복수색의 색잉크를 독립하여 주입가능한 잉크주입부; 이들 복수색의 잉크 및 매질의 혼합물을 작성하는 믹서; 및 상기 광학필터에 상당하는 상기 혼합물을 흘리기 위한 투명통로를 포함하는 촬영시스템.
  38. 제33항에 있어서, 상기 광학필터수단은, 매질의 펌프; 복수색의 색잉크를 독립하여 주입가능한 잉크주입부; 이들 복수색의 잉크 및 매질의 혼합물을 작성하는 믹서; 및 이들 각 혼합물을 개별적으로 통과시키는 상기 광학필터에 상당하는 복수의 투명통로를 포함하는 촬영시스템.
  39. 제33항에 있어서, 상기 광학필터수단은, 매질의 펌프; 복수색의 색잉크를 독립하여 주입가능한 잉크주입부; 이들 복수색의 잉크 및 매질을 개별적으로 혼합하는 복수의 믹서; 및 이들 각 혼합물을 개별적으로 통과시키는 상기 광학필터에 상당하는 복수의 투명셀을 포함하고,
    각 셀은, 흑백촬상소자의 전면에 1픽셀마다의 RGB에 대응시켜 설치하고, 같은 색의 셀끼리가 브리지패스에 의해 접속되는 촬영시스템.
  40. 제33항에 있어서, 상기 필터는 그 필터 특성을 변경하고, 상기 광학필터수단이 이 필터특성의 변경에 따라 투과도를 변경할 수 있는 투과도변경수단을 갖는 촬영시스템.
  41. 제33항에 있어서, 상기 카메라는, 광을 RGB로 분해한 광블럭; 및 RGB 각각에 대응하는 3개의 촬상소자를 포함하고, 상기 광학필터가 이 광블럭이고, 상기 광학필터수단은 각 촬상소자에 도달하는 화상의 농도를 변경시키는 투과도변경수단을 각각 포함하는 촬영시스템.
  42. 제40항 또는 제41항에 있어서, 상기 각 투과도변경수단은 교대로 각도를 변경하는 것이 가능한 2장의 편광필터를 포함하는 촬영시스템.
  43. 제41항에 있어서, 상기 투과도변경수단은 교대로 각도를 변경하는 것이 가능한 2장의 편광필터를 포함하고, 2장의 편광필터 중의 하나는 상기 광블럭 앞에 공통으로 설치되고, 다른 하나는 각 색채널마다 광블럭 뒤에 개별적으로 설치되는 촬영시스템.
  44. 제33항에 있어서, 상기 촬상소자는 필름(37)이고,
    상기 보색을 측정하는 수단은, 램프; 상기 수광소자부분을 통과한 램프의 색을 검출하는 광색검출기; 광원색측정부; 및 이 광원색측정부에 기초하는 보색측정부를 구비하고,
    상기 광학필터수단은, 상기 램프에서부터 상기 필름을 지나 인화지에 도달하는 광을 더 통과시키는 필터; 이 필터의 색을 상기 보색으로 하는 필터변경장치를 갖는 촬영시스템.
  45. 제33항 내지 제41항, 제43항 또는 제44항 중 어느 한 항에 있어서, 상기 보정장치가, 상기 촬상소자(31, 37)에 의해 촬상된 메인신(110)의 각 좌표위치에서의 주신호값(r[x][y], g[x][y], b[x][y])을 상기 각 색채널마다 구한 상기 참조용신호값(rn, gn, bn)에 의해 각각 실질적으로 나누는 것에 의해 상기 주신호값을 보정한 보정신호값(rc[x][y], gc[x][y], bc[x][y])을 얻기 위한 전기적보정부(72)를 갖고, 상기 전기적보정부는, 상기 광학적 필터수단에 의한 색보정의 완료전에 보정처리를 과도적으로 행하는 촬영시스템.
KR1020027003548A 1999-09-17 2000-09-14 촬영시스템, 화상처리장치 및 카메라 KR20020032595A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-1999-00263872 1999-09-17
JP26387299 1999-09-17
JP2000029678 2000-02-07
JPJP-P-2000-00029678 2000-02-07
PCT/JP2000/006294 WO2001022737A1 (fr) 1999-09-17 2000-09-14 Systeme de saisie d'images, processeur d'images et camera associee

Publications (1)

Publication Number Publication Date
KR20020032595A true KR20020032595A (ko) 2002-05-03

Family

ID=26546236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027003548A KR20020032595A (ko) 1999-09-17 2000-09-14 촬영시스템, 화상처리장치 및 카메라

Country Status (8)

Country Link
US (1) US20050117045A1 (ko)
EP (1) EP1220547A4 (ko)
JP (1) JP3796174B2 (ko)
KR (1) KR20020032595A (ko)
CN (1) CN1284381C (ko)
AU (1) AU7313000A (ko)
CA (1) CA2385173A1 (ko)
WO (1) WO2001022737A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828194B1 (ko) * 2006-11-16 2008-05-08 주식회사 윤텔 디지털 화상의 경계 흐림을 판단하는 장치와 방법 및 이를이용한 이미지 처리 시스템

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP3801616B2 (ja) * 2003-05-29 2006-07-26 松下電器産業株式会社 撮像装置
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
KR20050090803A (ko) * 2004-03-10 2005-09-14 삼성전자주식회사 디지털 캠코더의 광학필터 절환 장치
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP4849829B2 (ja) * 2005-05-15 2012-01-11 株式会社ソニー・コンピュータエンタテインメント センタ装置
CN101263720B (zh) * 2005-10-04 2010-05-19 松下电器产业株式会社 车载摄像装置
JP4708192B2 (ja) * 2006-01-10 2011-06-22 パナソニック株式会社 動的なカメラ色補正装置およびそれを用いた映像検索装置
US7712903B2 (en) * 2006-01-26 2010-05-11 Fuji Xerox Co., Ltd. Remote instruction system, remote instruction method and program product for remote instruction
US8976174B2 (en) * 2006-01-27 2015-03-10 Tandent Vision Science, Inc. Bi-illuminant dichromatic reflection model for image manipulation
US8976173B2 (en) * 2006-01-27 2015-03-10 Tandent Vision Science, Inc. Bi-illuminant dichromatic reflection model for image manipulation
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US7760912B2 (en) * 2007-08-01 2010-07-20 Tandent Vision Science, Inc. Image segregation system with method for handling textures
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
JP5123137B2 (ja) * 2008-01-22 2013-01-16 株式会社リコー 撮像装置および撮像方法
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8139867B2 (en) * 2008-12-05 2012-03-20 Tandent Vision Science, Inc. Image segregation system architecture
US8139850B2 (en) * 2008-12-05 2012-03-20 Tandent Vision Science, Inc. Constraint generation for use in image segregation
US8260050B2 (en) * 2008-12-05 2012-09-04 Tandent Vision Science, Inc. Test bed for optimizing an image segregation
US20100142846A1 (en) * 2008-12-05 2010-06-10 Tandent Vision Science, Inc. Solver for image segregation
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
KR101470019B1 (ko) 2008-12-26 2014-12-05 엘지이노텍 주식회사 이미지센서의 불량 픽셀 검출 및 보정 방법
WO2010087162A1 (ja) * 2009-01-27 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8194975B2 (en) * 2009-06-29 2012-06-05 Tandent Vision Science, Inc. Use of an intrinsic image in face recognition
JP5229148B2 (ja) * 2009-07-28 2013-07-03 ソニー株式会社 撮像素子、撮像装置、信号処理方法及びプログラム
US8325136B2 (en) 2009-12-01 2012-12-04 Raytheon Company Computer display pointer device for a display
JP5509872B2 (ja) * 2010-01-25 2014-06-04 株式会社Ｉｈｉ 画像撮影装置
US10096073B2 (en) 2011-05-13 2018-10-09 The Climate Corporation Systems to prescribe and deliver fertilizer over agricultural fields and related methods
US10842144B2 (en) * 2011-05-13 2020-11-24 The Climate Corporation Method and system to map biological pests in agricultural fields using remotely-sensed data for field scouting and targeted chemical application
US9060110B2 (en) * 2011-10-07 2015-06-16 Canon Kabushiki Kaisha Image capture with tunable polarization and tunable spectral sensitivity
TWI502549B (zh) * 2012-02-20 2015-10-01 Univ Nat Kaohsiung Applied Sci 元件影像檢測方法及其系統
US9299118B1 (en) * 2012-04-18 2016-03-29 The Boeing Company Method and apparatus for inspecting countersinks using composite images from different light sources
KR101767093B1 (ko) * 2012-12-14 2017-08-17 한화테크윈 주식회사 색감 복원 방법 및 장치
CN103402102B (zh) * 2013-07-17 2015-12-09 广东欧珀移动通信有限公司 双摄像头摄像系统及其白平衡调节的方法与装置
CN104754313B (zh) * 2013-12-31 2017-09-29 联想(北京)有限公司 一种图像获取方法及电子设备
JP6303545B2 (ja) * 2014-01-29 2018-04-04 株式会社リコー 計測装置、投影装置、計測方法、及びプログラム
US9186909B1 (en) 2014-09-26 2015-11-17 Intel Corporation Method and system of lens shading color correction using block matching
JP6766495B2 (ja) * 2016-07-21 2020-10-14 富士通株式会社 プログラム、コンピュータ及び情報処理方法
WO2018063158A1 (en) * 2016-09-27 2018-04-05 Hewlett-Packard Development Company, L.P. Print pattern & algorithm for automatic ink mix detection
JP6590895B2 (ja) * 2017-11-20 2019-10-16 キヤノン株式会社 画像形成装置及び画像形成方法
CN110324503B (zh) * 2018-03-30 2021-03-09 富士施乐实业发展（中国）有限公司 用于复合机的输稿器的控制方法及控制装置
CN109862337B (zh) * 2019-04-09 2022-02-22 歌尔股份有限公司 投影光学系统色彩校正方法、装置及计算机可读存储介质
CN110262041A (zh) * 2019-07-11 2019-09-20 Oppo广东移动通信有限公司 一种增强现实显示方法及设备
CN114640832A (zh) * 2022-02-11 2022-06-17 厦门聚视智创科技有限公司 一种投影图像的自动校正方法
CN114331916B (zh) * 2022-03-07 2022-07-22 荣耀终端有限公司 图像处理方法及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62104389A (ja) * 1985-10-31 1987-05-14 Nippon Tv Housoumou Kk カラ−テレビカメラのホワイトバランス調整方式
DE3750012T2 (de) * 1986-09-09 1994-09-29 Fuji Photo Film Co Ltd Elektronische Stehbildkamera zur Kompensierung der Farbtemperaturabhängigkeit von Farbvideosignalen.
JPS63305226A (ja) * 1987-06-05 1988-12-13 Seiko Epson Corp 光センサ
JPH0215793A (ja) * 1988-07-01 1990-01-19 Fuji Photo Film Co Ltd 白バランス調節装置
JPH03254727A (ja) * 1990-03-02 1991-11-13 Canon Inc 画像撮影装置
US6072526A (en) * 1990-10-15 2000-06-06 Minolta Co., Ltd. Image sensing device that can correct colors corresponding to skin in a video signal
JP3016450B2 (ja) * 1991-10-29 2000-03-06 ソニー株式会社 電子カメラ
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JPH07104371A (ja) * 1993-10-07 1995-04-21 Fuji Photo Optical Co Ltd ホワイトバランス指標写し込み機構付カメラ
JPH095822A (ja) * 1995-06-22 1997-01-10 Nikon Corp 表示装置、カメラ及び測色装置
US6070018A (en) * 1995-04-07 2000-05-30 Nikon Corporation Camera with color data display
KR100417629B1 (ko) * 1996-12-17 2004-02-05 유겡가이샤 네이차 테크노로지 촬영시스템
US5822625A (en) * 1997-02-19 1998-10-13 Eastman Kodak Company Hybrid electronic-film camera
JP4239234B2 (ja) * 1998-04-16 2009-03-18 株式会社ニコン 電子スチルカメラ
US6215962B1 (en) * 1999-04-12 2001-04-10 Sony Corporation Illumination detecting camera
US6864911B1 (en) * 2000-10-26 2005-03-08 Hewlett-Packard Development Company, L.P. Linkable digital cameras for an image capture system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828194B1 (ko) * 2006-11-16 2008-05-08 주식회사 윤텔 디지털 화상의 경계 흐림을 판단하는 장치와 방법 및 이를이용한 이미지 처리 시스템

Also Published As

Publication number Publication date
AU7313000A (en) 2001-04-24
US20050117045A1 (en) 2005-06-02
CA2385173A1 (en) 2001-03-29
CN1284381C (zh) 2006-11-08
WO2001022737A1 (fr) 2001-03-29
JP3796174B2 (ja) 2006-07-12
EP1220547A4 (en) 2005-09-21
EP1220547A1 (en) 2002-07-03
CN1375166A (zh) 2002-10-16

Similar Documents

Publication Publication Date Title
KR20020032595A (ko) 촬영시스템, 화상처리장치 및 카메라
US10877266B2 (en) Digital camera with wireless image transfer
CN113676628B (zh) 成像装置和图像处理方法
CN103501416B (zh) 成像系统
US7916181B2 (en) Method and device for creating high dynamic range pictures from multiple exposures
US8879870B2 (en) Image creation with software controllable depth of field
US20130258044A1 (en) Multi-lens camera
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
Vasilescu et al. Color-accurate underwater imaging using perceptual adaptive illumination
CN108712608A (zh) 终端设备拍摄方法和装置
JPH07264606A (ja) Ｃｆａコンパチブルで解像度を低減した単一センサ付電子カメラ
US20050046703A1 (en) Color calibration in photographic devices
JP4156893B2 (ja) 画像処理装置、方法及びプログラム
US20020105589A1 (en) System and method for lens filter emulation in digital photography
CN108632512A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US8654210B2 (en) Adaptive color imaging
US7570281B1 (en) Image processing apparatus and method for detecting a main subject to be photographed
US8860838B2 (en) Automatic illuminant estimation and white balance adjustment based on color gamut unions
US20230394787A1 (en) Imaging apparatus
CN111866369A (zh) 图像处理方法及装置
US8488039B2 (en) Digital image processing apparatus capable of displaying color distribution chart and method of operating the same
JP2002218495A (ja) ホワイトバランス制御方法及び電子カメラ
CN207070129U (zh) 全景美颜拍照手机
JP2003322902A (ja) 撮像装置、及び輝度分布図表示方法
CN113728618A (zh) 一种摄像装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid