KR20050065421A - 촬상시스템 - Google Patents

촬상시스템 Download PDF

Info

Publication number
KR20050065421A
KR20050065421A KR1020040112003A KR20040112003A KR20050065421A KR 20050065421 A KR20050065421 A KR 20050065421A KR 1020040112003 A KR1020040112003 A KR 1020040112003A KR 20040112003 A KR20040112003 A KR 20040112003A KR 20050065421 A KR20050065421 A KR 20050065421A
Authority
KR
South Korea
Prior art keywords
image
luminance
processing unit
attributes
image processing
Prior art date
Application number
KR1020040112003A
Other languages
English (en)
Inventor
가와무라히로유키
오하타도모유키
호시노히로노리
Original Assignee
나이루스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나이루스 가부시키가이샤 filed Critical 나이루스 가부시키가이샤
Publication of KR20050065421A publication Critical patent/KR20050065421A/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

화상이 갑자기 밝아지는 위화감을 억제한 화상출력을 가능하게 한다.
적외광을 조사하기 위한 IR 램프와, IR 램프에 의해 조사된 장소를 촬상하여 전기신호로 변환하는 CCD 카메라(5)와, CCD 카메라(5)의 신호축적시간을 소정의 주기로 변화시켜 노광량이 다른 화상을 연속하여 주기적으로 출력가능한 화상처리유니트(7)를 구비하고, 화상처리유니트(7)는, CCD 카메라(5)에 강한 입사광이 있었을 때는 그 정도에 따른 신호축적시간으로 노광량이 다른 화상을 연속하여 주기적으로 출력함과 동시에, CCD 카메라(5)에 들어 가는 강한 입사광이 없어졌을 때는 신호축적시간을 서서히 길어지도록 제어하는 것을 특징으로 한다.

Description

촬상시스템{IMAGING SYSTEM}
본 발명은, CCD 카메라 등을 사용한 촬상시스템에 관한 것이다.
종래의 촬상시스템에서는, 예를 들면 도 24에 나타낸 것과 같은 것이 있다. 이 도 24에서는, 촬상수단으로서 CCD(101)를 구비하고, 화상처리부로서 DSP (Digital Signal Processor)(103) 및 CPU(105)를 구비하고 있다.
상기 CPU(105)와 DSP(103)는 멀티플렉스회로(107)를 통해 접속되고, CPU (105)에는 셔터 스피드 설정스위치(109)로부터의 신호가 입력되도록 되어 있다. 셔터 스피드 설정스위치(109)는, ODD(홀수번째) 필드용의 셔터 스피드와 EVEN(짝수번째) 필드용의 셔터 스피드를 각각 설정할 수 있도록 되어 있다.
즉 셔터 스피드 설정스위치(109)의 설정상태를 CPU(105)로 읽고, 각 필드의 셔터 스피드 설정치를 엔코드출력한다. DSP(103)로부터는 도 25에서 나타내는 필드펄스신호가 출력되고, 출력신호가 높은 경우에는 EVEN측의 셔터 스피드 설정치출력이, 낮은 경우에는 ODD측의 셔터 스피드 설정치출력이, 멀티플렉스회로(107)에 의해서 DSP(103)의 셔터 스피드설정입력단자에 입력된다. 따라서, 도 24와 같은 촬상시스템에 의해서 필드마다 다른 셔터 스피드를 설정할 수가 있다.
일반적으로, CCD 카메라로 촬영하는 경우, ODD 필드, EVEN 필드 모두 셔터 스피드가 같은 자동셔터 스피드일 때, 도 26과 같이 주위가 어두운 상태 내로 밝은 광원이 들어가면 그 광원주변이 헐레이션(halation)에 의해서 보이지 않게 된다.
도 26은, 자동차의 야간주행중에 적외광 조사수단인 IR 램프로 전방에 적외광을 조사하여, 차량의 CCD 카메라로 주행전방을 촬상한 화상이다. 대향차의 헤드 램프의 조명 등의 밝은 광원의 주변이 헐레이션에 의해서 보이지 않게 되어 있다. 이것은, 야간 등의 주위가 어두운 때에 강한 빛이 들어가더라도, 전면측광의 일반적인 CCD 카메라로는 주위의 어두운 조건이 지배적이 되어 노광조건이 계산되기 때문에, 밝은 부분에 대해서는 상대적으로 셔터 스피드가 느려지도록 제어되어 노광시간이 길어지기 때문이다.
한편, 셔터 스피드를 고속 헐레이션을 억제하도록 할 수도 있지만, 도 27과 같이, 주위의 어두운 부분이 보다 어둡게 되어 버려, 배경이 전혀 보이지 않게 되어 버린다고 하는 문제가 남는다.
도 28과 같이 표식 등의 반사물이 촬상범위내에 들어간 경우도 마찬가지로 제어되어, 반사물주변의 경치가 보이지 않게 되는 등의 문제가 남는다.
이에 대하여, 각 필드마다 셔터 스피드를 바꾸는 제어는, 소위 2중 노광제어라고 불리는 것으로, 필드마다 다른 셔터 스피드를 설정한다. 이에 따라, 밝은 영상과 어두운 영상을 교대로 출력하여, 밝은 영상(이 경우는 EVEN 필드)에서는 어둡고 보이지 않게 된 부분을 비추고, 어두운 영상(이 경우는 ODD 필드)에서는 헐레이션으로 보이지 않은 부분을 비추는 것이 가능해진다.
그리고, 각 필드화상을 교대로 출력하여, 선명한 영상으로서 모니터에 표시시킬 수 있다.
그러나, 2중 노광제어에 있어서 EVEN 필드 ODD 필드에 적절한 노광을 얻을 수 있더라도, 어떤 역치에 의해서 2중노광제어를 할 것인지 말 것인지 하는 ON/OFF 제어를 하기 때문에 CCD 카메라에 파악된 입사광이 시시각각 변화하는 상황에는 반드시 대응하지 않는다고 하는 문제가 있다.
예를 들면, 자차(自車)가 각을 구부려 대향차의 헤드 램프가 강한 빛이 갑자기 들어갔을 때 2중노광제어를 하고, 대향차가 엇갈린 후 곧 2중노광제어가 정지되고, 혹 2중노광차가 작아지면 EVEN 필드, ODD 필드 모두 노광이 개방되어, 도 29와 같이 화면이 갑자기 밝아져 부자연스럽고, 위화감을 느낄 우려가 있다.
[특허문헌 1]
일본 특공평7-97841호 공보
해결하고자 하는 문제점은, 강한 빛이 들어 간 직후의 화상변화에 위화감이 있는 점이다.
본 발명은, 위화감을 억제한 화상출력을 가능하게 하기 때문에, 촬상수단에 강한 입사광이 있었을 때는 그 정도에 따른 신호축적시간으로 노광량이 다른 화상을 연속하여 주기적으로 출력함과 동시에, 촬상수단에 들어가는 강한 입사광이 없어졌을 때는 신호축적시간을 서서히 길어지도록 제어하는 것을 가장 주요한 특징으로 한다.
[발명의 실시형태]
위화감을 억제하여, 적확한 화상출력을 가능하게 한다고 하는 목적을, 간단한 제어에 의해 실현하였다.
[실시예 1]
도 1∼도 23은 본 발명의 실시예 1을 도시하고 있다. 도 1은 본 발명의 실시예 1을 적용한 자동차의 개념도, 도 2는 실시예 1에 관한 촬상시스템의 블록도, 도 3은 실시예 1에 관한 플로우챠트이다.
도 1과 같이, 본 발명의 실시예 1에 관한 촬상시스템은, 자동차(1)에 적용된 것으로, 자동차(1)에는 적외광 조사수단으로서 IR 램프(3)와, 촬상수단으로서 CCD 카메라(5)와, 화상처리부로서 화상처리유니트(7)가 구비되어 있는 것 외에, 헤드 업 디스플레이(9)가 구비되어 있다.
상기 IR 램프(3)는, 야간 등의 어두운 장소에 있어서의 촬상을 가능하게 하기 때문에 자동차(1)의 주행방향의 전방에 적외광을 조사하기 위한 것이다. 상기 CCD 카메라(5)는, 상기 적외광이 조사된 상기 자동차(1)의 주행방향의 전방을 촬상하여, 전기신호로 변환하는 것이다. 이 경우의 전기신호는, 상기 CCD 카메라(5)에 있어서의 감광부의 포토다이오드에 의해서 변환된 것이다. 상기 화상처리유니트(7)는, 상기 CCD 카메라(5)의 신호축적시간을 소정의 주기로 변화시켜, 노광량이 다른 화상을 연속하여 주기적으로 출력할 수 있도록 되어 있다.
상기 신호축적시간은, 각 화소마다의 신호축적시간이고, 신호축적시간을 소정의 주기로 변화시킨다는 것은, 각 화소에 축적된 불필요전하를 토출하는 펄스의 횟수를 변화시킴으로써 결과적으로 축적되는 시간을 변화시키는 것이고, 소위 전자 셔터동작을 말한다. 또한 노광량이 다른 화상을 연속하여 주기적으로 출력한다는 것은, 전자 셔터동작에 의해서 ODD 필드, EVEN 필드마다 셔터 스피드를 설정하여, 각각의 셔터 스피드로 읽어낸 각 필드의 화상을 예를 들면 1/60초마다 연속하여 교대로 출력하는 것을 말한다.
그리고, 셔터 스피드를 빠르게 한 고속 셔터에서는, 어두운 부분은 비치기 어렵지만 밝은 부분은 선명히 비치며, 셔터 스피드를 느리게 한 저속 셔터에서는, 밝은 부분은 포화하여 날아가 버리고 어두운 부분이 선명하게 비치게 된다.
상기 화상처리유니트(7)는, 상기 CCD 카메라(5)에 강한 입사광이 있었을 때는 그 정도에 따른 신호축적시간으로 노광량이 다른 화상을 연속하여 주기적으로 출력한다. 본 실시예에서는, 상기 주기적으로 출력되는 화상의 한쪽에 있어서 주변에 중휘도의 넓이를 가지는 고휘도의 덩어리를 추출하여, 상기 중휘도의 정도에 따라 상기 주기적으로 출력되는 화상의 다른쪽의 신호축적시간을 제어한다.
상기 CCD 카메라(5) 및 화상처리유니트(7)는, 도 2와 같이, CCD(5a), AFE (11), DSP(13), RAM(15), CPU(17) 등을 구비하고 있다.
상기 CCD 카메라(5)는, 상기 CCD(5a), AFE(11), DSP(13), 및 CPU(17)의 일부를 포함하고 있다. 상기 화상처리유니트(7)는, DSP(13)의 일부, RAM(15), CPU(17)를 포함하고 있다.
상기 AFE(11)는, 아날로그 프론트 엔드이고, 상기 CCD(5a)의 출력신호를 증폭하여, 아날로그신호를 디지털신호로 변환한다.
상기 DSP(13)는, 디지털신호처리부이고, 상기 CCD(5a), AFE(11) 작동을 위한 타이밍신호생성, AFE(11)을 경유하여 취해 넣은 CCD(5a)의 신호의 변환, 인핸서처리(enhancer process), 디지털신호증폭처리 등의 신호변환·영상신호생성처리를 한다.
상기 RAM(15)는 메모리이고, 상기 DSP(13)로부터 출력되는 EVEN 필드화상의 휘도(= 농도)데이터를 일시 보관한다.
상기 CPU(17)는 각종연산을 행함과 동시에, 도 24에서 설명한 것과 같은 구성에 의해서 ODD 필드, EVEN 필드마다의 셔터 스피드를 콘트롤할 수 있도록 되어 있다. 즉 EVEN 필드에 대해서는 전체의 평균농도로부터 최적의 노광조건을 산출하여 상기 AFE(11)에 대한 증폭제어, DSP(13)를 경유하여 CCD(5a)에 대한 전자 셔터의 제어를 한다.
다음에 작용을 설명한다.
먼저, 상기 CPU(17)로 셔터 스피드의 초기 설정이 행하여져, ODD 필드측의 셔터 스피드 콘트롤신호 및 EVEN 필드측의 셔터 스피드 콘트롤신호가 DSP(13)로 출력된다.
상기 DSP(13)에서는, CCD(5a), AFE(11) 작동을 위한 타이밍신호가 생성된다. 이 타이밍신호의 출력에 의해서 CCD(5a)에 의한 촬상이 행하여져, CCD(5a)의 감광부의 포토다이오드의 전체화소로 신호전하가 행하여진다. ODD 필드측에서는 감광부의 포토다이오드 전체화소 중 수직방향을 1개 걸러 홀수번째의 화소의 신호전하를 설정된 셔터 스피드로 읽어낸다. EVEN 필드측에서는 짝수번째의 화소의 신호전하를 설정된 셔터 스피드로 읽어낸다.
상기 CCD(5a)로 읽어낸 신호전하는 AFE(11)으로 증폭됨과 동시에 디지털신호로 변환되어, DSP(13)로 받아들인다. DSP(13)에서는, 받아들인 신호의 ??변환, 인핸서처리, 디지털신호증폭처리 등의 신호변환·영상신호생성처리를 한다.
상기 DSP(13)로부터 출력되는 EVEN 필드화상의 휘도데이터는, RAM(15)에 일시 보관된다.
상기 CPU(17)는, EVEN 필드에 대하여, 전체의 평균농도로부터 최적의 노광조건을 산출하여, DSP(13)를 경유하여 CCD(5a)에 대한 전자 셔터의 제어를 한다.
상기 CPU(17)는, ODD 필드에 대하여, 도 3의 플로우챠트의 노광전환제어에 의해 노광조건을 산출한다.
노광전환제어의 개시에 의해, 스텝 S1에서는,「EVEN 필드블록단위 휘도데이터 받아들임」의 처리가 실행된다. 이 처리에 의해, RAM(15)에 축적된 EVEN 필드분의 휘도데이터를 몇 개의 블록으로 분할하여, 블록마다의 평균휘도가 산출되어, 스텝 S2로 이행한다.
스텝 S2에서는,「블록단위 3치화 데이터변환」의 처리가 실행된다. 이 처리에 의해, 스텝 S1에서 분할된 블록의 각 평균휘도에 대하여, 두개의 역치를 사용하여 각 블록이 3치화 데이터로 변환되어, 스텝 S3으로 이행한다.
스텝 S3에서는,「고휘도블록검출」의 처리가 실행된다. 이 처리에서는, 상기 각 블록의 3치화 데이터로부터 고휘도의 덩어리가 검출되어, 스텝 S4로 이행한다.
스텝 S4에서는,「고휘도블록그룹화」의 처리가 실행된다. 이 처리에서는, 인접하는 고휘도부의 블록이 결합(그룹화)되어 고휘도부의 크기(= 블록수)가 검출되어, 스텝 S5로 이행한다.
스텝 S5에서는,「중휘도블록검출」의 처리가 실행된다. 이 처리에서는, 상기 결합된 고휘도부의 주위의 중휘도의 넓이(=블록수)를 가진 그룹이 추출되어, 스텝 S6으로 이행한다.
스텝 S6에서는,「헐레이션 레벨계산」의 처리가 실행된다. 이 처리에서는, 상기 고휘도의 크기 및 중휘도의 넓이 정도, 혹은 중휘도의 넓이만으로부터 헐레이션의 크기(강도)가 산출된다. 이 산출에 의해, EVEN 필드내에서 최대의 헐레이션강도가 검출되어, 스텝 S7로 이행한다.
스텝 S7에서는,「ODD 필드노광목표전환」의 처리가 실행된다. 이 처리에서는, 상기 헐레이션강도에 따라서 ODD 필드의 노광을 EVEN 필드에 대하여 어느 정도 나오게 할 것인지가 산출되어, 처리가 종료된다. 이 종료에 의해, 다음 EVEN 필드의 처리로 이행한다.
이상과 같이 하여 산출된 노광조건에 의해 CCD(5a)의 전자 셔터, AFE(11)의 AGC 게인, DSP(13)의 디지털 게인 등이 제어되어, 얻어지는 영상의 밝기를 최적화한다.
또, 상기 스텝 S2에서의 3치화데이터산출은 블록마다의 평균휘도가 아니라, 블록내에서 가장 대부분을 차지하는 화소의 속성에 맞추는 것도 효과적이다.
이상으로, 야간, 도 1의 CCD 카메라(5)에 대향차의 헤드 램프의 빛 등 강한 빛이 들어갔을 때에 주변의 어두운 부분의 영상의 밝기를 떨어뜨리지 않고 강한 빛의 영향을 억제할 수 있다.
여기서, 일반적으로, 자동차용으로서 사용되는 촬상시스템의 CCD 카메라는, 영상방식으로서 인터레이스방식을 가진다. 그 영상신호는, 상기와 같이 EVEN 필드와 ODD 필드의 2개의 필드로 이루어지며, 2개의 필드가 시간적으로 교대로 출력되는 것에 의해, 보는 사람의 눈에 일정한 해상도를 가진 영상으로서 비친다.
상기 통상의 CCD 카메라는, EVEN 또는 ODD 어느 하나의 필드에서 수광하는 빛의 평균적인 휘도에 의해, 노광조건을 계산한다. 노광조건은, DSP을 경유하여 CCD의 전하토출제어를 하기 위한 전자 셔터속도, AFE에서의 증폭율(AGC 게인), 및 DSP 내에서의 디지털증폭율을 산출하는 것이며, 각각의 제어를 함으로써, 최적의 밝기의 영상을 생성, TV 모니터에 출력할 수가 있다.
일반적인 CCD 카메라는, 여기서 구해진 노광조건이 EVEN 필드/ODD 필드중의 어디에도 적용되어, 결과적으로 양 필드는 같은 정도의 밝기를 가진 영상이 출력되게 된다. 이러한 제어방법을 행하는 카메라에 있어서는, 특히 야간에의 사용시에, 어두운 환경속에 강한 빛(예를 들면, 대향차의 헤드 램프)이 있으면, 노광조건은 전체의 휘도평균치로 결정되기 때문에, 강한 빛과 그 주변이 하얗게 포화한 영상으로서 출력되는 경우가 많다(소위 헐레이션).
상기 헐레이션은, 도 4에 도시한 바와 같이 강한 빛과 그 근방은 하얗게 포화한 뒤에, 더욱 그 주위에 빛이 산란한 상태의 것을 말한다. 이것을 어느 특정라인(도 4중의 강한 빛의 중앙을 가로지르는 점선)위의 화소의 휘도치로 보면, 도 5에 도시한 바와 같아진다. 즉, 강한 빛의 중심과 그 근방은, 최고휘도로 포화하여, 주변을 향하여 서서히 어두워진다고 하는 경향을 나타낸다.
이 상태에서는, 영상의 포화부분 및 그 근방에, 예를 들면 보행자가 존재한 경우에 카메라의 영상으로서 이것을 파악하여 출력할 수는 없다. 이상적으로는, 강한 빛의 중심(헤드 램프자체)이 하얗게 포화하는 것은 허용할 수 있더라도, 그 근방을 포함하는 주변(예를 들면 좌우의 헤드 램프의 사이)은, 포화시키는 일없이, 그 장소에 보행자가 있는 경우에는, 그것을 영상으로서 파악하여, 출력하는 것이 바람직하다.
이에 대하여, 도 6과 같이 헤드 램프의 빛이 간판에 닿아 반사하는 것과 같은 반사광의 경우, 상기와 같이 특정라인(도 6중의 강한 빛을 가로지르는 점선) 위의 화소의 휘도치로 보면, 도 7에 도시한 것과 같아진다. 즉, 반사체자체는 하얗게 포화한 영상이 되지만, 그 주변에는 거의 헐레이션이 넓어지지 않고, 휘도데이터로 보면, 급격한 에지를 그릴 수 있다. 이 부분에 보행자 등의 장해물이 있었다고 해도, 보행자를 충분히 영상으로서 파악할 수 있다. 이 경우, 상기 헐레이션대책과 같이, EVEN 필드에 대하여 ODD 필드의 노광량을 억제할 필요는 없고, 오히려 야간에 피사체의 광량이 작은 것을 생각하면, ODD 필드도 EVEN 필드와 같이 충분히 노광량을 확보하는 편이, 목적인 장해물인식이 보다 쉬워진다.
본 발명에 있어서, EVEN필드는, 상기 도 3의 플로우챠트와 같은 헐레이션검출과 상기의 새로운 착안점에 기초를 둔 노광조건산출을 하여, 특히 야간에의 사용에 있어서는, 어두운 환경을 보다 밝은 영상으로서 출력하는 것을 목표로 한다. ODD필드에 대해서는, EVEN 필드에서 얻어진 휘도데이터를 기초로 노광차를 마련하여, 강한 빛에 의한 영향을 극히 억제한 영상을 아래와 같이 만드는 것을 목표로 한다.
이러한 2개의 다른 특징을 가진 각 필드의 영상을 합성함으로써, 야간에 강한 빛을 받더라도, 헐레이션을 일으키지 않고, 또한 주변부를 밝게 유지한 영상을 출력할 수가 있다.
여기서, EVEN 필드의 휘도데이터로부터 헐레이션강도를 검출하여, 그 강도에 따라서 노광조건을 산출하여, 그 산출결과를 출력하기까지의 일련의 처리를 화상 데이터와 함께 설명한다.
(블록나눔)
블록나눔은, 상기 도 3의 스텝 S1에서 실행되어, DSP(13)로부터 RAM(15)로 받아들인 EVEN 필드의 휘도데이터(예를 들면, 512도트×240라인으로 구성된다)를, 도 8과 같이, 몇 가지 블록으로 분할한다(예를 들면, 8도트×4라인을 1블록으로서, 64×60블록으로 분할한다).
(휘도데이터의 평균치산출)
블록마다의 휘도데이터의 평균치산출도, 상기와 같이 도 3의 스텝 S1에서 실행되어, 각 블록을 구성하는 전체화소(예를 들면, 8×4화소)의 휘도평균치를 산출한다.
(휘도평균치의 3치화)
휘도평균치의 3치화는, 상기 도 3의 스텝 S2에서 실행되고, 각 블록의 휘도평균치를 두개의 역치에 의해, 3치로 나눈다. 예를 들면, 각 휘도를 8비트로 한 경우, 최저휘도가 0, 최고휘도가 255가 되지만, 백역치를 220(이상), 흑역치를 150 (이하)로 하여, 그 중간을 회색으로서 취급하는 것에 의해, 각 블록을 흰색·회색·검은색중의 어느 하나의 속성으로 나눌 수 있다.
예를 들면, 아래와 같이 속성을 나눈다.
·대상화소농도치 ≥백역치일 때, 흰색
·백역치 > 대상화소농도치 ≥흑역치일 때, 회색
·대상화소농도치 < 흑역치일 때, 검은색
이러한 속성의 분류는, 상기와 같이 각 블록의 휘도평균치로부터 두개의 역치에 의해, 3치로 나누는 것은 아니고, 같은 역치에 의해, 각 화소마다 3치로 나누어, 1블록을 구성하는 화소중에서 고휘도, 중휘도, 저휘도의 속성 각각의 합계수가 가장 많은 것을, 그 블록의 속성으로서 나눌 수도 있다.
예를 들면, 각 화소마다 3치로 구분한 1블록속에, 회색이 포함되는 비율에 의해 1블록을 흰색, 회색, 검은색으로 3색을 구분한다. 도 9와 같이 회색의 비율이 50%이상일 때의 블록색을 회색으로 하고, 회색의 비율이 50% 미만의 경우는, 흰색 또는 검은색으로 한다. 도 10에서는, 도시되어 있는 1블록에 회색이 50%이상 포함되어 있기 때문에, 해당하는 1블록의 속성이 회색으로 되어 있다.
혹은, 블록을 나누지 않고, 각 화소에 주목하여, 이하의 헐레이션검출, 노광계산을 하는 것도 가능하다.
(그룹처리)
그룹처리는, 상기 도 3의 스텝 S2, S3, S4에서 실행되어, 3치화된 블록속성을 기초로, 다음의 순서로 하얀 덩어리(하얀 속성을 가진 블록의 모임)을 찾아낸다.
상기 도 8의 블록(0, 0)으로부터 오른쪽방향(x좌표 플러스방향)을 향하여 흰색블록을 찾는다. 1라인째의 최종블록(63, 0)까지 행하여, 흰색블록이 없는 경우는, 2라인째(0, 1)로 진행한다. 이렇게 해서 차례로 흰색블록을 찾는다.
흰색블록이 발견된 경우, 상기 블록의 주위 8블록에 대하여, 도 11에 도시한 바와 같이 왼쪽 옆의 블록으로부터 차례로 우회전하여 흰색블록을 찾는다. 이렇게 해서 인접하는 흰색블록을 차례로 연결해 나감에 따라, 하얀 속성을 가지는 블록의 덩어리의 바깥둘레를 형성할 수 있다(바깥둘레검색).
예로서, 도 12에 강한 광원의 바깥둘레를 검색하는 바탕이 되는 출력화상도를, 도 13에 바깥둘레검색을 3색표시로 나타내는 처리화상도를 도시한다. 도 12의 강한 빛은 헤드 램프의 빛이고, 도 13과 같이, 바깥둘레가 회색블록으로 연결된다. 이와 같이 회색으로 둘러싸인 내부는 모두 하얀 속성을 가지는 것으로 하여, 이것을 1개의 그룹으로 한다.
(헐레이션검출)
헐레이션검출은, 상기 도 3의 스텝 S5로 실행된다. 상술한 바와 같이, 헐레이션이란 강한 빛을 받아 포화한 중심부가 있고, 그 주위는 서서히 어두워져 상태인 것을 말한다. 3치화된 블록속성으로 말하면, 흰색블록의 그룹의 주위에 회색속성을 가진 블록이 둘러싼다고 하는 상태가 된다.
그래서, 흰색 블록 그룹의 바깥둘레에 인접하는 회색블록을 찾아내어 나가며, 그 수를 센다.
이상적인 (이론에 맞춘) 헐레이션의 경우, 1개의 흰색 블록 그룹의 주변에 도 14에 도시한 바와 같은 회색블록이 존재하게 된다. 예를 들면, 흰색블록 그룹이 1개의 흰색블록으로 구성되는 경우에는, 회색블록수는 8개, 2개의 흰색블록의 경우, 회색블록은 10개, 마찬가지로 3개의 경우는 12개가 된다. 이들 회색블록수는, 후술하는 헐레이션강도의 계산방법 2에 있어서, 흰색블록수로부터 계산되는 표준블록수가 된다.
(헐레이션강도)
헐레이션강도는, 상기 도 3의 스텝 S6에서 실행된다. 상기 순서로, 검출된 흰색블록 그룹과 그 주변의 회색블록으로부터 화면내의 헐레이션의 강도(헐레이션강도)를 산출한다.
그 방법으로서,
1. 흰색블록 그룹에 인접하는 회색의 수의 최대치를 헐레이션강도로 하는 방법
2. 흰색블록의 크기와 그 블록의 헐레이션의 정확도로부터 헐레이션강도를 구하는 방법의 2가지를 고려할 수 있다.
「방법1」각 흰색블록 그룹마다 인접하는 회색의 수의 최대치를 구하는 방법
헐레이션의 검출은, 광원(흰색)의 주위에 보이는 헐레이션(회색)의 수를 산출한다. 흰색블록 그룹의 주위에 검출된 회색블록의 수가 제일 많은 곳을 헐레이션강도로 설정한다.
헐레이션강도 = 흰색에 인접하는 회색의 수(단, 1화면상에서 제일 많은 것이다)
도 15와 같이, 1블록에 흰색이 검출된 경우, 또한 그에 인접하는 모든 블록을 체크하여, 1블록의 헐레이션강도를 "7"로 한다.
도 16에 반사물과 헐레이션을 촬영한 원화상을 나타낸다. 이 도 16을 화상처리하여 3구분한 처리화상을 도 17에 나타낸다. 도 17과 같이, 화상내에 흰색블록 혹은 그 그룹이 다수 있는 경우, 모든 흰색블록, 흰색블록 그룹의 주변을 검색하여, 상기한 바와 같이 회색블록의 수가 제일 많은 부분에서 헐레이션강도를 설정한다.
(검색결과)
방법 1에 의한 검색결과는, 상기 도 17의 화상처리예로 계산하면, 다음과 같이 된다.
·큰 간판주변의 회색수(상단 거의 중앙) 0개
·좌측의 작은 간판주변의 회색수(상단 거의 좌단) 0개
·
·
·중앙의 전방차 테일 램프 주변의 회색수(하단 큰 덩어리의 왼쪽 옆) 2개
·오른쪽의 가로등 주변의 회색수(상단우단) 4개
·앞 대향차 헤드 램프주변의 회색수(하단우단) 32개
도 17로부터, 하단우단의 흰색블록의 최대의 그룹을 둘러싸는 회색블록의 수가 최대가 되어, 이 회색블록의 수를 헐레이션강도라 칭하고, 헐레이션의 크기를 나타내는 것으로 한다.
예로서, 상기의 경우의 헐레이션강도는, 앞대향차의 헤드 램프주변의 회색수가 32개이기 때문에 "32"가 된다.
「방법 2」흰색블록의 크기와 헐레이션강도의 정확도로부터 산출하는 방법
흰색블록 그룹의 주위에서 실제로 계수된 회색블록수와, 그 흰색블록 그룹을 구성하는 흰색블록수로부터 계산되는 표준블록수(도 14에 도시한 회색블록수)의 관계로부터, 그 블록이 헐레이션인 확률을 산출한다. 어떤 흰색블록 그룹이, 헐레이션인 확률은 다음 식으로 계산된다.
헐레이션확률(%) =
흰색블록 그룹주위의 회색블록수/표준블록수×100
이 헐레이션확률에, 흰색블록 그룹의 크기(=구성하는 흰색블록의 수)를 곱한 수치를 그 그룹의 헐레이션강도로 하여, 헐레이션의 크기를 나타내는 것으로 한다.
상기 도 17의 화상처리예로 계산하면, 다음과 같이 된다.
·큰 간판주변의 헐레이션강도(상단 거의 중앙)
0/26 ×100 ×21 = 0
·왼쪽의 작은 간판주변의 헐레이션강도(상단 거의 좌단)
0/26 ×100 ×7 = 0
·
·
·중앙의 전방차 테일 램프 주변의 헐레이션강도(하단 큰 덩어리의 왼쪽 옆)
2/8 ×100 ×1 = 25
·오른쪽의 가로등 주변의 헐레이션강도(상단 우단)
4/18 ×100 ×8 = 178
·앞대향차 헤드 램프주변의 헐레이션강도(하단 우단)
32/37 ×100 ×43 = 3718
이렇게 해서 산출된 각 흰색블록 그룹의 헐레이션강도중, 최대의 것을 이 신에서의 헐레이션강도로 한다.
즉, 상기의 경우의 헐레이션강도는, 앞대향차의 헤드 램프주변의 헐레이션강도가 최대이기 때문에 "3718"이 된다.
(노광조건의 산출)
노광조건의 산출은, 상기 도 3의 스텝 S7에서 실행된다.
이상과 같이 하여, EVEN 필드의 헐레이션강도를 구하여, 이 헐레이션강도에 따라서, 예를 들면 도 18에 따라서, EVEN 필드에 대한 ODD 필드의 노광차를 구하여, ODD 필드에서의 노광조건을 결정하여, 이 ODD 필드의 노광조건에 의해 헐레이션을 억제한다.
즉, 상기 방법 1에 의했을 때, 상기와 같이 하여 얻어진 헐레이션강도가 예를 들면 스텝0의 0∼5의 범위일 때 상기 노광차는 0dB로 설정되고, 동 스텝6의 31∼35의 범위일 때 상기 노광차는 -12dB로 설정된다. 상기 방법 2에 의했을 때, 상기와 같이 하여 얻어진 헐레이션강도가 예를 들면 스텝0의 0∼500의 범위일 때 상기 노광차는 0dB로 설정되고, 동 스텝6의 3001∼3500의 범위일 때 상기 노광차는 -12dB로 설정된다.
이러한 설정에 의해 스텝 0의 범위에서는 EVEN 필드에 대한 ODD 필드의 노광차는 없지만, 스텝6의 범위에서는 ODD 필드의 노광이 EVEN 필드보다도 12dB 정도 작게 설정된다.
마찬가지로 상기와 같이 하여 얻어진 헐레이션강도가 스텝0∼10의 어느 하나의 헐레이션강도의 범위일 때 대응하는 우측란의 값으로 EVEN 필드에 대한 ODD 필드의 노광이 작게 설정된다.
이상으로부터, 헐레이션의 정도에 따른 2중노광제어가 가능해져, 야간과 같은 어두운 환경하에서 자동차의 헤드 램프와 같은 강한 빛이 있더라도, 큰 헐레이션을 일으키지 않고, 어두운 부분을 보다 밝게, 강한 빛의 부분을 보다 어둡게 한 영상을 얻을 수 있다.
실제로는, 화면의 밝기의 전환의 위화감을 경감하기 위해서, 도 19와 같이, 강한 빛을 받았을 때는, 바로 그에 대응한 2중노광제어를, 빛이 약해져 갈 때에는, ODD 필드측의 신호축적시간을 서서히 길어지도록 제어하여 영상을 서서히 밝게 해 나간다고 하는 제어가 행하여진다.
즉, 자차가 각을 구부려 대향차의 헤드 램프가 강한 빛이 갑자기 들어갔을 때, 상기 헐레이션강도에 따른 2중노광제어를 즉시 행하게 한다. 이 경우, 대향차가 스치듯 지나간 후 곧 헐레이션강도가 스텝0이 되는 제어로 되돌려 버리면, 화상의 노광변화가 급격하게 되어 위화감을 초래할 우려가 있다.
그래서, 대향차가 스치듯 지나간 후, CCD 카메라(5)에 입사하는 빛이 약해져 갈 때에는, 상기한 바와 같이 ODD 필드측의 영상을 서서히 밝게 하여 위화감을 제거 또는 억제하도록 하였다.
구체적으로는, 자차가 코너를 돌았을 때, 대향차가 존재하여 갑자기 헐레이션강도가 예컨대 스텝6의 범위가 되어, 이 EVEN 필드의 상태가 소정 프레임수 연속하였을 때, 본 실시예에서는 도 19와 같이 연속2 프레임이상 계속되었을 때, 즉시 스텝6의 제어에 의해 ODD 필드측의 노광을 낮춘다. 이 제어상태로부터 대향차가 스치듯 지나간 후, 빛이 약해져 갔을 때에, ODD 필드측의 신호축적시간을 시간간격을 가지면서 서서히 길게 한다. 본 실시예에서는, 스텝6을 밑도는 헐레이션강도의 상태가 연속 3프레임이상 연속하였을 때 스텝5의 제어로 이행한다. 계속해서 스텝5를 밑도는 헐레이션강도의 상태가 연속 3프레임 이상 연속하였을 때 스텝4의 제어로 이행한다. 이와 같이, 스텝0까지 제어를 서서히 변화시켜 ODD 필드측의 영상을 서서히 밝게 한다. 따라서, 화상의 노광변화가 서서히 이루어져 위화감을 제거 또는 억제할 수가 있다. 연속 3프레임 이상 천이시키는 것은, 화상변화의 시간간격을 간단하고 또한 확실하게 설정하여, 출력화상의 돌연한 변화를 억제하여 보다 자연스러운 영상으로 하기 위해서이다.
도 20은, 대향차가 존재하여 갑자기 헐레이션강도가 강하게 되었을 때의 화상변화를 도시하며, (a)는 스텝0의 출력화상, (b)는 스텝0보다 강한 헐레이션강도로 연속하는 EVEN 필드의 해석화상, (c)는 스텝6의 출력화상이다.
도 21은, 대향차가 엇갈린 후, 빛이 약해져 갈 때의 화상변화를 도시하며, (a)는 스텝6의 출력화상, (b)는 스텝6보다 헐레이션강도가 약해진 상태로 연속하는 EVEN 필드의 해석화상, (c)는 스텝5의 출력화상, (d)는 스텝1의 출력화상, (e)는 스텝1보다 헐레이션강도가 약해진 상태로 연속하는 EVEN 필드의 해석화상, (f)는 스텝0의 출력화상이다.
도 20에서는, 헐레이션강도가 스텝0의 (a)의 상태로부터, 대향차가 존재하여 갑자기 헐레이션강도가 예를 들면 스텝6의 범위가 되어, 이 상태가 (b)와 같이 연속 2프레임 이상 계속되었을 때, (c)와 같이 즉시 스텝6의 제어에 의해 ODD 필드측의 노광을 내리고 있다.
도 21에서는, (a)와 같이 대향차가 존재하여 헐레이션강도가 예를 들면 스텝6의 상태로부터 대향차가 스쳐지나간 후, 빛이 약해져 갈 때에, (b)와 같이 스텝6을 밑도는 헐레이션강도의 상태가 연속 3프레임 이상 연속하였을 때 (c)와 같이 스텝5의 제어로 이행한다. 계속해서 스텝5를 밑도는 헐레이션강도의 상태가 연속 3프레임 이상 연속하였을 때 스텝 4의 제어로 이행한다. 마찬가지로 하여 스텝3, 스텝2, 스텝1 (d)로 서서히 이행하여, 마지막에 (e)와 같이 스텝1을 밑도는 헐레이션강도의 상태가 연속 3프레임 이상연속하였을 때 (f)와 같이 스텝0으로 이행한다. 이렇게 해서 예컨대 스텝6의 상태로부터 스텝0까지 제어를 서서히 변화시켜 ODD 필드측의 영상을 서서히 밝게 한다.
이상과 같이, 직접광과 반사광의 각각에 대한 노광제어를 변화시킬 수 있다. 헤드 램프 등의 강한 빛을 직접 받은 경우라도, 중심부의 하얀 포화영역의 주위가 완만하게 어두워져 가는 헐레이션을 도 22와 같이 위화감을 억제하면서 제거 또는 억제할 수가 있다. 따라서, 이 부분에 보행자 등의 장해물이 있는 경우, 그것을 영상으로서 명확히 파악할 수 있다.
또한, 자차의 헤드 램프가 간판에 닿아 반사하는 것과 같은 반사광의 경우, 도 23과 같이, 반사체자체는 하얗게 포화한 영상이 되지만, 그 주변에는 거의 헐레이션이 넓어지지 않고, 휘도데이터로 보면, 급격한 에지를 그릴 수 있다. 이 부분에 보행자 등의 장해물이 있었다고 해도, 이것은 충분히 영상으로서 파악할 수 있다. 이 경우, 상기 헐레이션대책과 같이, EVEN 필드에 대하여 ODD 필드의 노광량을 억제할 필요는 없고, 오히려 야간에 피사체의 광량이 작은 것을 고려하여, ODD 필드도 EVEN 필드와 같이 충분히 노광량을 확보하여, 장해물 인식이 보다 용이해졌다.
이상, 본 발명 실시예의 촬상시스템에 의하면, 대향차의 헤드 램프 등의 강한 빛을 직접 받더라도, 그것에 의한 헐레이션을 저감하여, 그 주위에 있는 장해물, 보행자 등을 비춰낼 수 있다. 표식, 백선 등으로부터의 반사광을 받더라도, 충분히 노광을 개방하여, 밝은 영상을 확보할 수 있다.
상기 CCD 카메라(5)에 강한 빛을 받더라도 그 정도에 따른 신호축적시간으로 노광량이 다른 화상을 연속하여 주기적으로 출력함과 동시에, CCD 카메라(5)에 들어가는 강한 빛이 없어졌을 때는 신호축적시간을 서서히 길어지도록 제어하기 때문에, 강한 빛의 입사가 없어진 후 곧 2중노광제어가 정지되거나, 혹은 2중노광차가 작아지는 것이 규제되어, 화면의 밝기가 서서히 변화하여, 자연스러운 느낌으로 위화감을 억제한 제어를 할 수 있다.
상기 화상처리부(7)가, 상기 신호축적시간을 시간간격을 가지면서 서서히 길어지도록 제어하는 경우는, 위화감을 확실히 억제할 수가 있다.
상기 화상처리부(7)가, 상기 시간간격을 프레임수로 카운트하는 경우는, 시간간격을 간단히 설정할 수가 있어, 제어를 확실하고 또한 용이하게 할 수 있다.
상기 화상처리부(7)가, 상기 CCD 카메라(5)에 강한 빛이 들어간 상태가 소정 프레임수 연속하였을 때 그 정도에 따른 신호축적시간으로 노광량이 다른 화상을 연속하여 주기적으로 출력하는 경우는, 강한 빛의 정도에 따른 2중노광제어를 적확하게 행하게 할 수 있다.
상기 화상처리부(7)는, 상기 EVEN 필드의 화상을 3치화처리하여 고휘도의 흰색, 중휘도의 회색, 저휘도의 검은색의 속성으로 나누어, 상기 흰색블록 그룹의 주위의 회색블록의 수에 따라서 상기 ODD 필드의 화상의 노광량을 제어할 수가 있다.
따라서, 흰색 블록 그룹의 주위의 회색블록의 수에 의해 회색블록의 정도를 확실히 파악하여, 주기적으로 출력되는 화상의 ODD 필드의 노광량의 제어를 보다 확실하게 할 수 있다.
상기 화상처리부(7)는, 상기 화상의 EVEN 필드를 복수의 블록으로 나누어, 각 블록의 휘도평균치를 두개의 역치에 의해 나누어 상기 3치화처리를 할 수 있다.
따라서, 각 화소에 주목하여 3치화처리를 하는 경우에 비교해서 신속한 처리를 할 수 있다.
상기 화상처리부(7)는, 상기 화상의 EVEN 필드를 복수의 블록으로 나누어, 각 블록마다 두개의 역치에 의해 각 화소를 고휘도의 흰색, 중휘도의 회색, 저휘도의 검은색의 속성으로 나누어, 각 블록내에서 각 속성의 합계수가 가장 많은 것을 그 블록의 속성으로서 상기 3치화처리를 할 수 있다.
따라서, 각 화소에 주목하여 3치화처리를 할 수 있어, 보다 정확한 처리를 할 수 있다.
상기 화상처리부(7)는, 상기 흰색블록 그룹의 주위의 회색블록의 수의 최대수에 따라서 상기 ODD 필드의 화상의 신호축적시간을 제어할 수가 있다.
따라서, 헐레이션을 간단하게 특정할 수가 있어, 신속한 처리를 할 수 있다.
상기 화상처리부(7)는, 상기 흰색블록 그룹의 수와 상기 흰색블록 그룹의 주위에 검출되는 회색블록의 수와 흰색블록 그룹의 주위에 이상적으로 형성되는 회색블록의 수에 따라서 상기 ODD 필드의 화상의 신호축적시간을 제어할 수가 있다.
따라서, 헐레이션을 적확하게 특정할 수가 있어, 보다 정확한 처리를 할 수 있다.
상기 화상처리부(7)는, 상기 흰색블록을 특정하여 그 주위를 순차 탐색하여 흰색블록의 주위의 회색블록을 특정함과 동시에 인접하는 흰색블록이 특정되었을 때는 상기 흰색블록을 차례로 결합할 수가 있다.
따라서, 흰색블록의 덩어리를 적확하고 또한 신속히 추출하여 제어할 수가 있다.
본 발명의 촬상시스템은, 상기 IR 램프(3), CCD 카메라(5), 및 화상처리유니트(7)가, 자동차에 구비되고, 상기 IR 램프(3)는, 상기 자동차의 전방에 적외광을 조사하여, 상기 CCD 카메라(5)는, 상기 자동차의 전방을 촬상할 수가 있다.
따라서, 대향차의 헤드 램프의 조명 등에 의한 헐레이션이 있더라도, 강한 빛에 의한 고휘도의 덩어리의 주위가 서서히 저휘도로 천이하는 영역을 제거 혹은 억제할 수가 있어, 이 부분에 보행자 등의 장해물이 있더라도 영상으로서 명확하게 파악할 수 있다.
또, 상기 EVEN 필드와 ODD 필드와의 관계를 반대로 설정하여, ODD 필드의 헐레이션강도를 구하고, 그 헐레이션강도에 따라서, ODD 필드에 대한 EVEN 필드의 노광차를 구하여, EVEN 필드에서의 노광을 억제하는 구성으로 할 수도 있다.
본 발명은, 단순한 2중노광제어 등에 적용하여, 대향차가 통과하여 빛이 약해질 때에 신호축적시간을 서서히 길게 하는 제어로 할 수도 있다.
상기 ODD 필드, EVEN 필드에서, 각 화소마다의 전하를 처리하는 DSP(13)에 의해서는, 전하를 읽어내는 것을 단일화소의 읽어 내는 것에 한정하지 않고, 몇 가지 화소의 덩어리로서 읽어 내어 취급할 수도 있다.
상기 실시형태에서는, 출력화상을 헤드 업 디스플레이(9)로 표시하도록 하였지만, 차실내 등에 구비된 디스플레이로 표시하도록 구성할 수도 있다. 또한, IR 램프(3)로 자동차의 주행방향전방을 조사하도록 하였지만, 뒤쪽 혹은 옆쪽 등을 조사하여, CCD 카메라(5)로 뒤쪽 혹은 옆쪽 등을 촬상하는 구성으로 할 수도 있다.
상기 촬상시스템은, 자동차에 한정되지 않고 이륜차, 선박 등, 다른 탈것, 혹은 탈것으로부터 독립한 촬상시스템으로서 구성할 수도 있다.
본 발명의 촬상시스템은, 촬상수단에 강한 입사광이 있었을 때는 그 정도에 따른 신호축적시간으로 노광량이 다른 화상을 연속하여 주기적으로 출력함과 동시에, 촬상수단에 들어가는 강한 입사광이 없어졌을 때는 신호축적시간을 서서히 길어지도록 제어하기 때문에, 강한 빛의 입사가 없어진 후 바로 2중노광제어가 정지되고, 혹은 2중노광차가 작아지는 것이 규제되어, 화면의 밝기가 서서히 변화하고, 자연스러운 느낌으로 위화감을 억제한 출력화상을 얻을 수 있다.
상기 화상처리부가, 상기 신호축적시간을 시간간격을 가지면서 서서히 길어지도록 제어하는 경우는, 위화감을 확실히 억제할 수가 있다.
상기 화상처리부가, 상기 시간간격을 프레임수로 카운트하는 경우는, 시간간격을 간단히 설정할 수가 있어, 제어를 확실하고 또한 용이하게 행하게 할 수 있다.
상기 화상처리부가, 상기 촬상수단에 강한 입사광이 있는 상태가 소정 프레임수 연속하였을 때 그 정도에 따른 신호축적시간으로 노광량이 다른 화상을 연속하여 주기적으로 출력하는 경우는, 강한 입사광의 정도에 따른 2중노광제어를 적확하게 행하게 할 수 있다.
상기 화상처리부가, 상기 주기적으로 출력되는 화상의 한쪽에 있어서 주변에 중휘도의 넓이를 가지는 고휘도의 덩어리를 추출하여, 상기 중휘도의 정도에 따라 상기 주기적으로 출력되는 화상의 다른쪽의 신호축적시간을 제어하는 경우는, 촬상수단에 대향차의 헤드 램프 등의 강한 빛이 들어가더라도 상기 강한 빛에 의한 고휘도의 덩어리의 주위가 완만하게 저휘도로 천이하는 영역을 제거 혹은 억제할 수 있고, 이 부분에 보행자 등의 장해물이 있더라도 영상으로서 명확하게 파악할 수 있다.
상기 화상처리부가, 상기 화상의 한쪽을 3치화처리하여 고휘도, 중휘도, 저휘도의 속성으로 나누어, 상기 고휘도의 주위의 중휘도의 수에 따라서 상기 다른쪽의 화상의 신호축적시간을 제어하는 경우는, 고휘도의 주위의 중휘도의 수에 의해 중휘도의 정도를 확실히 파악하여, 주기적으로 출력되는 화상의 다른쪽의 신호축적시간의 제어를 보다 확실하게 할 수 있다.
상기 화상처리부가, 상기 화상의 한쪽을 복수의 블록으로 나누어, 각 블록의 휘도평균치를 두개의 역치에 의해 나누어 상기 3치화처리를 하는 경우는, 각 화소에 주목하여 3치화처리를 하는 경우에 비교해서 신속한 처리를 할 수 있다.
상기 화상처리부가, 상기 화상의 한쪽을 복수의 블록으로 나누어, 각 블록마다 두개의 역치에 의해 각 화소를 고휘도, 중휘도, 저휘도의 속성으로 나누어, 각 블록내에서 각 속성의 합계수가 가장 많은 것을 그 블록의 속성으로서 상기 3치화처리를 하는 경우는, 각 화소에 주목하여 3치화처리를 할 수 있어, 보다 정확한 처리를 할 수 있다.
상기 화상처리부가, 상기 고휘도의 속성의 주위의 중휘도의 속성의 수의 최대수에 따라서 상기 다른쪽의 화상의 신호축적시간을 제어하는 경우는, 헐레이션을 간단하게 특정할 수가 있어, 신속한 처리를 할 수 있다.
상기 화상처리부가, 상기 고휘도의 속성의 수와 상기 고휘도의 속성의 주위에 검출되는 중휘도의 속성의 수와 고휘도의 주위에 이상적으로 형성되는 중휘도의 속성의 수에 따라서 상기 다른쪽의 화상의 신호축적시간을 제어하는 경우는, 헐레이션을 적확하게 특정할 수 있어, 보다 정확한 처리를 할 수 있다.
상기 화상처리부가, 상기 고휘도의 속성을 특정하여 그 주위를 순차 탐색하여 고휘도의 주위의 중휘도를 특정함과 동시에 인접하는 고휘도의 속성이 특정되었을 때는 상기 고휘도의 속성을 순차 결합하는 경우는, 고휘도의 덩어리를 적확 또한 신속하게 추출하여 제어할 수가 있다.
상기 적외광 조사수단, 촬상수단, 및 화상처리부가, 자동차에 구비되고, 상기 적외광 조사수단은, 상기 자동차의 바깥쪽에 적외광을 조사하고, 상기 촬상수단은, 상기 자동차의 바깥쪽을 촬상하는 경우는, 대향차의 헤드 램프의 조명 등에 의한 헐레이션이 있더라도, 강한 빛에 의한 고휘도의 덩어리의 주위가 완만하게 저휘도로 천이하는 영역이 제거 혹은 억제되어, 이 부분에 보행자 등의 장해물이 있더라도 영상으로서 명확하게 파악할 수 있다.
도 1은 본 발명의 촬상시스템을 적용한 자동차의 개념도이다(실시예 1)
도 2는 촬상수단 및 화상처리부의 블록도이다(실시예 2).
도 3은 플로우챠트이다(실시예 3).
도 4는 광원을 촬상한 단순한 제어에 의한 출력화상도이다(실시예 1).
도 5는 강한 광원의 거의 중심을 가로지르는 점선상의 농도변화를 도시한 그래프이다(실시예 1) .
도 6은 반사물을 촬상한 단순한 제어에 의한 출력화상도이다(실시예 1).
도 7은 큰 반사물을 가로지르는 점선상의 농도변화를 도시한 그래프이다(실시예 1).
도 8은 EVEN 필드의 휘도데이터를 몇가지 블록으로 분할한 모식도이다(실시예 1).
도 9는 회색의 비율에 의한 블록색구분을 도시한 도면표이다(실시예 1).
도 10은 폭블록색별을 도시한 개념도이다(실시예 1).
도 11은 블록내검색순서를 도시한 개념도이다(실시예 1).
도 12는 강한 광원의 바깥둘레를 검색하는 바탕이 되는 출력화상도이다(실시예 1).
도 13은 바깥둘레검색을 3색표시로 도시한 처리화상도이다(실시예 1).
도 14는 표준블록수와 흰색블록수와의 관계를 도시하며, (a)는 흰색블록수 1개, (b)는 흰색블록수 2개, (c)는 흰색블록수 3개의 개념도이다(실시예 1).
도 15는 헐레이션검출블록수를 도시한 개념도이다(실시예 1).
도 16은 반사물과 헐레이션과의 관계를 도시한 출력화상도이다(실시예 1).
도 17은 도 16의 처리화상도이다(실시예 1).
도 18은 EVEN 필드에 대한 ODD 필드의 노광차의 산출을 도시한 도면표이다(실시예 1).
도 19는 헐레이션강도의 상태천이도이다(실시예 1).
도 20은 대향차가 존재하여 갑자기 헐레이션강도가 강하게 되었을 때의 화상변화를 도시하며, (a)는 스텝0의 출력화상, (b)는 스텝 0보다 강한 헐레이션강도로 연속하는 EVEN 필드의 해석화상, (c)는 스텝 6의 출력화상이다(실시예 1).
도 21은 대향차가 엇갈린 후, 빛이 약해져 갈 때의 화상변화를 도시하며, (a)는 스텝 6의 출력화상, (b)는 스텝 6보다 헐레이션강도가 약해진 상태로 연속하는 EVEN 필드의 해석화상, (c)는 스텝 5의 출력화상, (d)는 스텝1의 출력화상, (e)는 스텝 1보다 헐레이션강도가 약해진 상태로 연속하는 EVEN 필드의 해석화상, (f)는 스텝 0의 출력화상이다(실시예 1).
도 22는 헐레이션중에서 장해물이 보이는 예의 처리화상도이다(실시예 1).
도 23은 반사물의 밝기를 무시하여 주변이 보이는 예를 도시한 처리화상도이다(실시예 1).
도 24는 촬상시스템의 블록도이다(종래예).
도 25는 필드 펄스의 출력도이다(종래예).
도 26은 헐레이션에 의해서 광원주변이 보이지 않게 되는 예를 도시한 출력화상도이다(종래예).
도 27은 헐레이션에 의해서 주변이 보이지 않게 되는 예를 도시한 출력화상도이다(종래예).
도 28은 반사물에 의해서 주위가 보이지 않게 되는 예를 도시한 출력화상도이다(종래예).
도 29는 화면이 돌연히 밝아진 상태의 출력도이다(종래예).
<도면의 주요 부분에 대한 부호의 설명>
1 : 자동차
3 : IR램프(적외광 조사수단)
5 : CCD 카메라(촬상수단)
7 : 화상처리유니트(화상처리부)

Claims (13)

  1. 적외광을 조사하기 위한 적외광 조사수단과,
    상기 적외광 조사수단에 의해 조사된 장소를 촬상하여 전기신호로 변환하는 촬상수단과, 상기 촬상수단의 신호축적시간을 소정의 주기로 변화시켜 노광량이 다른 화상을 연속하여 주기적으로 출력가능한 화상처리부를 구비하고,
    상기 화상처리부는, 상기 촬상수단에 강한 입사광이 있었을 때는 그 정도에 따른 신호축적시간으로 노광량이 다른 화상을 연속하여 주기적으로 출력함과 동시에, 상기 촬상수단에 들어가는 강한 입사광이 없어졌을 때는 신호축적시간을 서서히 길어지도록 제어하는 것을 특징으로 하는 촬상시스템.
  2. 제 1 항에 있어서,
    상기 화상처리부는, 상기 신호축적시간을 시간간격을 가지면서 서서히 길어지도록 제어하는 것을 특징으로 하는 촬상시스템.
  3. 제 2 항에 있어서,
    상기 화상처리부는, 상기 시간간격을 프레임수로 카운트하는 것을 특징으로 하는 촬상시스템.
  4. 제 1 항 내지 제 3 항 중의 어느 한 항에 있어서,
    상기 화상처리부는, 상기 촬상수단에 강한 입사광이 있는 상태가 소정 프레임수 연속하였을 때 그 정도에 따른 신호축적시간으로 노광량이 다른 화상을 연속하여 주기적으로 출력하는 것을 특징으로 하는 촬상시스템.
  5. 제 1 항 내지 제 3 항 중의 어느 한 항에 있어서,
    상기 화상처리부는, 상기 주기적으로 출력되는 화상의 한쪽에 있어서 주변에 중휘도의 넓이를 가지는 고휘도의 덩어리를 추출하여, 상기 중휘도의 정도에 따라 상기 주기적으로 출력되는 화상의 다른쪽의 신호축적시간을 제어함과 동시에, 상기 촬상수단에 들어가는 강한 입사광이 없어졌을 때는 상기 다른쪽의 신호축적시간을 서서히 길어지도록 제어하는 것을 특징으로 하는 촬상시스템.
  6. 제 5 항에 있어서,
    상기 화상처리부는, 상기 화상의 한쪽을 3치화처리하여 고휘도, 중휘도, 저휘도의 속성으로 나누어, 상기 고휘도의 주위의 중휘도의 수에 따라서 상기 다른쪽의 화상의 신호축적시간을 제어하는 것을 특징으로 하는 촬상시스템.
  7. 제 6 항에 있어서,
    상기 화상처리부는, 상기 화상의 한쪽을 복수의 블록으로 나누어, 각 블록의 휘도평균치를 두개의 역치에 의해 나누어 상기 3치화처리를 하는 것을 특징으로 하는 촬상시스템.
  8. 제 6 항에 있어서,
    상기 화상처리부는, 상기 화상의 한쪽을 복수의 블록으로 나누어, 각 블록마다 두개의 역치에 의해 각 화소를 고휘도, 중휘도, 저휘도의 속성으로 나누어, 각 블록내에서 각 속성의 합계수가 가장 많은 것을 그 블록의 속성으로서 상기 3치화처리를 하는 것을 특징으로 하는 촬상시스템.
  9. 제 6 항 내지 제 8 항 중의 어느 한 항에 있어서,
    상기 화상처리부는, 상기 고휘도의 속성의 주위의 중휘도의 속성의 수의 최대수에 따라서 상기 다른쪽의 화상의 신호축적시간을 제어하는 것을 특징으로 하는 촬상시스템.
  10. 제 6 항 내지 제 8 항 중의 어느 한 항에 있어서,
    상기 화상처리부는, 상기 고휘도의 속성의 수와 상기 고휘도의 속성의 주위에 검출되는 중휘도의 속성의 수와 고휘도의 주위에 이상적으로 형성되는 중휘도의 속성의 수에 따라서 상기 다른쪽의 화상의 신호축적시간을 제어하는 것을 특징으로 하는 촬상시스템.
  11. 제 9 항에 있어서,
    상기 화상처리부는, 상기 고휘도의 속성을 특정하여 그 주위를 순차 탐색하여 고휘도의 주위의 중휘도를 특정함과 동시에 인접하는 고휘도의 속성이 특정되었을 때는 상기 고휘도의 속성을 순차 결합하는 것을 특징으로 하는 촬상시스템.
  12. 제 10 항에 있어서,
    상기 화상처리부는, 상기 고휘도의 속성을 특정하여 그 주위를 순차 탐색하여 고휘도의 주위의 중휘도를 특정함과 동시에 인접하는 고휘도의 속성이 특정되었을 때는 상기 고휘도의 속성을 순차 결합하는 것을 특징으로 하는 촬상시스템.
  13. 제 1 항, 제 2 항, 제 3 항, 제 6 항, 제 7 항 또는 제 8 항 중의 어느 한 항에 있어서,
    상기 적외광 조사수단, 촬상수단 및 화상처리부는, 자동차에 구비되고, 상기 적외광 조사수단은, 상기 자동차의 바깥쪽에 적외광을 조사하고,
    상기 촬상수단은, 상기 자동차의 바깥쪽을 촬상하는 것을 특징으로 하는 촬상시스템.
KR1020040112003A 2003-12-25 2004-12-24 촬상시스템 KR20050065421A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003431144A JP2005191954A (ja) 2003-12-25 2003-12-25 撮像システム
JPJP-P-2003-00431144 2003-12-25

Publications (1)

Publication Number Publication Date
KR20050065421A true KR20050065421A (ko) 2005-06-29

Family

ID=34697643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040112003A KR20050065421A (ko) 2003-12-25 2004-12-24 촬상시스템

Country Status (4)

Country Link
US (1) US20050140819A1 (ko)
JP (1) JP2005191954A (ko)
KR (1) KR20050065421A (ko)
CN (1) CN1638437A (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4181753B2 (ja) * 2001-03-22 2008-11-19 キヤノン株式会社 露出決定装置およびその露出決定装置を備えた撮像装置
JP2006309650A (ja) * 2005-05-02 2006-11-09 Calsonic Kansei Corp ナンバー認識装置及方法
JP4793001B2 (ja) * 2006-02-01 2011-10-12 ソニー株式会社 画像信号処理回路および撮像システム
JP4764295B2 (ja) * 2006-09-08 2011-08-31 株式会社東芝 赤外線計測表示装置
US8026955B2 (en) 2007-08-30 2011-09-27 Honda Motor Co., Ltd. Camera exposure controller including imaging devices for capturing an image using stereo-imaging
JP2009177472A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像処理方法、画像処理装置及び撮像装置
JP4894824B2 (ja) * 2008-07-09 2012-03-14 株式会社デンソー 車両検出装置、車両検出プログラム、およびライト制御装置
KR101330811B1 (ko) * 2010-08-25 2013-11-18 주식회사 팬택 인스턴트 마커를 이용한 증강 현실 장치 및 방법
JP2012226513A (ja) * 2011-04-19 2012-11-15 Honda Elesys Co Ltd 検知装置、及び検知方法
JP6537231B2 (ja) * 2014-08-11 2019-07-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102017116849A1 (de) * 2017-07-25 2019-01-31 Mekra Lang Gmbh & Co. Kg Indirektes Sichtsystem für ein Fahrzeug
JP7297441B2 (ja) * 2018-12-20 2023-06-26 キヤノン株式会社 電子機器、電子機器の制御方法およびプログラム
CN114052913B (zh) * 2022-01-17 2022-05-17 广东欧谱曼迪科技有限公司 一种ar荧光手术导航系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831676A (en) * 1992-08-19 1998-11-03 Canon Kabushiki Kaisha Image pickup device using plural control parameters for exposure control
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US6385337B1 (en) * 1998-12-21 2002-05-07 Xerox Corporation Method of selecting colors for pixels within blocks for block truncation encoding
JP3907397B2 (ja) * 2000-10-11 2007-04-18 富士通株式会社 映像監視装置
JP3949903B2 (ja) * 2001-04-09 2007-07-25 東芝エルエスアイシステムサポート株式会社 撮像装置及び撮像信号処理方法
JP4313996B2 (ja) * 2002-08-30 2009-08-12 トヨタ自動車株式会社 撮像装置

Also Published As

Publication number Publication date
US20050140819A1 (en) 2005-06-30
JP2005191954A (ja) 2005-07-14
CN1638437A (zh) 2005-07-13

Similar Documents

Publication Publication Date Title
KR20070005553A (ko) 촬상시스템
JP3970903B2 (ja) 撮像システム
WO2020238905A1 (zh) 图像融合设备和方法
EP2448251B1 (en) Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
US8350903B2 (en) Vehicle-mounted image processing device, and method for controlling vehicle-mounted image processing device
JP5182555B2 (ja) 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
CN107709096B (zh) 用于处理流式传输视频图像以校正经调幅光的闪变的系统和方法
JP6026670B2 (ja) 車両灯体制御装置
KR20050065421A (ko) 촬상시스템
KR20090067230A (ko) 차량번호인식을 위한 카메라 제어방법
JPWO2006098358A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4798945B2 (ja) 撮像装置
JP2004048455A (ja) 撮像システム
JP2004048456A (ja) 撮像システム
CN113126252B (zh) 微光成像系统
EP1530367A1 (en) Image pickup system
JP3288465B2 (ja) 電子内視鏡装置
JP2007013777A (ja) 撮像装置
JP2012008845A (ja) 画像処理装置
CN109788211B (zh) 拍摄图像显示系统、电子镜系统以及拍摄图像显示方法
JP2016220002A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6906084B2 (ja) カラーカメラ装置及び光学部品
JP2006109171A (ja) 車両用表示装置
WO2022059139A1 (ja) 画像表示装置および画像表示方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid