KR101327032B1 - 카메라 영상의 반사광 제거 장치 및 방법 - Google Patents

카메라 영상의 반사광 제거 장치 및 방법 Download PDF

Info

Publication number
KR101327032B1
KR101327032B1 KR1020120062806A KR20120062806A KR101327032B1 KR 101327032 B1 KR101327032 B1 KR 101327032B1 KR 1020120062806 A KR1020120062806 A KR 1020120062806A KR 20120062806 A KR20120062806 A KR 20120062806A KR 101327032 B1 KR101327032 B1 KR 101327032B1
Authority
KR
South Korea
Prior art keywords
image
filter
reflected
camera
reflected light
Prior art date
Application number
KR1020120062806A
Other languages
English (en)
Inventor
최진하
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120062806A priority Critical patent/KR101327032B1/ko
Priority to JP2012253639A priority patent/JP6068945B2/ja
Priority to US13/688,126 priority patent/US9025029B2/en
Priority to DE102012222303.7A priority patent/DE102012222303B4/de
Priority to CN201210566887.1A priority patent/CN103481824B/zh
Application granted granted Critical
Publication of KR101327032B1 publication Critical patent/KR101327032B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Blocking Light For Cameras (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 카메라 영상의 반사광 제어 장치 및 방법에 관한 것으로, 카메라 영상의 반사광 제어 장치는, 차량의 윈드쉴드 및 카메라 렌즈에 각각 배치되어 반사광을 통과시키는 필터 중 어느 하나와 연결되어, 연결된 필터의 온 또는 오프 동작을 제어하는 제어신호를 일정 주기마다 출력하는 필터 제어부, 필터 제어부로부터의 제어신호에 따라 필터 제어부에 연결된 필터가 온 또는 오프되는 동안 차량의 윈드쉴드 방향으로 설치된 카메라를 통해 촬영된 영상을 획득하는 영상 획득부, 카메라를 통해 촬영된 영상 중 필터 제어부에 연결된 필터가 오프된 상태에서 촬영된 일반 영상에서 필터 제어부에 연결된 필터가 온 된 상태에서 촬영된 반사 영상을 차감하여 차영상을 생성하는 차영상 생성부, 및 차영상의 블러드 영상을 토대로 차영상에서 반사 영상에 해당되는 영역의 밝기 레벨을 보정하여 최종영상을 획득하는 차영상 보정부를 포함한다.

Description

카메라 영상의 반사광 제어 장치 및 방법{Apparatus and method for removing reflected light of camera image}
본 발명은 카메라 영상의 반사광 제어 장치 및 방법에 관한 것으로, 더욱 상세하게는 차량의 윈드쉴드(windshield) 내측에 구비되는 전방 카메라로부터 촬영되는 영상에서 윈드쉴드에 의한 반사광을 제거하는 장치 및 방법에 관한 것이다.
외부의 빛은 윈드쉴드를 통과해 차량 내부로 입사되게 되며, 외부에서 차량 내부로 입사되는 빛은 대쉬보드에 반사되어 윈드쉴드에 나타날 수 있다.
한편, 차량의 전방을 촬영하는 카메라는 윈드쉴드 내측에 구비되어, 차량 내부에서 윈드쉴드를 통과하여 전방의 영상을 촬영하게 된다. 따라서, 윈드쉴드에 반사광이 나타나게 되면, 윈드쉴드에 나타난 반사광까지 그대로 촬영되어 카메라를 통해 촬영되는 영상에 반사광이 나타나게 된다. 물론, 흐린 날씨에는 반사광이 약하게 나타날 수 있으나, 햇빛이 강한 날씨에는 반사광에 의해 촬영 영상 상에서 실제 외부의 상황이 제대로 나타나지 않을 수 있다.
이 경우, 해당 촬영 영상을 차선인지시스템 등에 적용하는 경우에는 반사광으로 인해 인식률이 떨어지거나, 잘못 인식되는 경우가 발생하게 된다.
본 발명의 목적은, 차량의 윈드쉴드 내측에 구비되는 전방 카메라로부터 촬영되는 영상에서 윈드쉴드에 의한 반사광을 제거하여 전방 영상의 인식 오류를 최소화하도록 하는 카메라 영상의 반사광 제어 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은, 카메라와 윈드쉴드의 필터 중 어느 하나를 온/오프시키며 촬영된 영상들의 차영상을 보정하는 것으로서 보다 쉽게 카메라 영상의 반사광을 제거하는 것이 가능하도록 한 카메라 영상의 반사광 제어 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 카메라 영상의 반사광 제어 장치는, 차량의 윈드쉴드 및 카메라 렌즈에 각각 배치되어 반사광을 통과시키는 필터 중 어느 하나와 연결되어, 연결된 필터의 온 또는 오프 동작을 제어하는 제어신호를 일정 주기마다 상기 필터 제어부에 연결된 필터로 출력하는 필터 제어부, 상기 필터 제어부로부터의 제어신호에 따라 상기 필터 제어부에 연결된 필터가 온 또는 오프되는 동안 상기 차량의 윈드쉴드 방향으로 설치된 카메라를 통해 촬영된 영상을 획득하는 영상 획득부, 상기 카메라를 통해 촬영된 영상 중 상기 필터 제어부에 연결된 필터가 오프된 상태에서 촬영된 일반 영상에서 상기 필터 제어부에 연결된 필터가 온 된 상태에서 촬영된 반사 영상을 차감하여 차영상을 생성하는 차영상 생성부, 및 상기 차영상의 블러드 영상을 토대로 상기 차영상에서 상기 반사 영상에 해당되는 영역의 밝기 레벨을 보정하여 최종영상을 획득하는 차영상 보정부를 포함하는 것을 특징으로 한다.
상기 차영상 보정부는, 상기 블러드 영상으로부터 밝기 레벨을 검출하여 상기 차영상에서 상기 반사 영상에 해당되는 영역의 밝기 레벨을 보정하는 것을 특징으로 한다.
상기 차영상 보정부는, 상기 차영상에서 상기 반사 영상에 해당되는 영역에 대하여 홀 메움(hole filling)하는 것을 특징으로 한다.
상기 차영상 보정부는, 상기 반사 영상으로부터 에지 영역을 검출하고, 검출된 상기 에지 영역에 근거하여 상기 차영상에서 상기 반사 영상에 해당되는 영역을 인식하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 카메라 영상의 반사광 제어 방법은, 차량의 윈드쉴드 및 카메라 렌즈에 각각 배치되어 반사광을 통과시키는 필터들 중 어느 하나의 필터에 대한 온 또는 오프 동작을 제어하는 제어신호를 일정 주기마다 출력하는 단계, 상기 제어신호에 따라 상기 필터들 중 어느 하나의 필터가 온 또는 오프되는 동안 상기 차량의 윈드쉴드 방향으로 설치된 카메라를 통해 촬영된 영상을 획득하는 단계, 한 주기 동안 상기 카메라를 통해 촬영된 영상 중 상기 필터들 중 어느 하나의 필터가 오프된 상태에서 촬영된 일반 영상에서 상기 필터들 중 어느 하나의 필터가 온 된 상태에서 촬영된 반사 영상을 차감하여 차영상을 생성하는 단계, 및 상기 차영상의 블러드 영상을 토대로 상기 차영상에서 상기 반사 영상에 해당되는 영역의 밝기 레벨을 보정하여 최종영상을 획득하는 단계를 포함하는 것을 특징으로 한다.
상기 최종영상을 획득하는 단계는, 상기 블러드 영상으로부터 밝기 레벨을 검출하여 상기 반사 영상에 해당되는 영역에 대한 밝기 레벨을 보정하는 단계를 포함하는 것을 특징으로 한다.
상기 최종영상을 획득하는 단계는, 상기 차영상에서 상기 반사 영상에 해당되는 영역에 대하여 홀 메움(hole filling)하는 단계를 포함하는 것을 특징으로 한다.
상기 최종영상을 획득하는 단계는, 상기 반사 영상으로부터 에지 영역을 검출하는 단계를 포함하며, 검출된 상기 에지 영역에 근거하여 상기 차영상에서 상기 반사 영상에 해당되는 영역을 인식하는 것을 특징으로 한다.
본 발명에 따르면, 차량의 윈드쉴드 내측에 구비되는 전방 카메라와 윈드쉴드에 배치된 필터 중 어느 하나를 온/오프시키며 촬영된 영상들의 차영상을 보정하는 것으로서, 보다 쉽게 카메라 영상에서 윈드쉴드에 의한 반사광을 제거할 수 있으며, 카메라 영상의 반사광을 제거함으로써 해당 영상을 통한 인식 오류를 최소화할 수 있는 이점이 있다.
또한, 본 발명은 반사광을 최소화하기 위한 가림막이 필요치 않으므로 이를 제거함으로써 운전자가 보다 넓은 시야를 확보할 수 있으며, 가림막으로 인한 윈드쉴드 또는 루프 등의 디자인에 제약이 없어 차량 제조 시에 보다 다양한 디자인을 적용할 수 있는 이점이 있다.
도 1은 본 발명에 따른 카메라 영상의 반사광 제어 장치가 적용된 차량을 도시한 도이다.
도 2는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 구성을 도시한 블록도이다.
도 3 내지 도 9는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 동작을 설명하는데 참조되는 예시도이다.
도 10은 본 발명에 따른 카메라 영상의 반사광 제어 방법에 대한 영상 획득 동작의 흐름을 도시한 순서도이다.
도 11은 본 발명에 따른 카메라 영상의 반사광 제어 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 카메라 영상의 반사광 제어 장치가 적용된 차량을 도시한 도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 카메라 영상의 반사광 제어 장치(이하, '반사광 제어 장치'라 칭한다.)(100)를 통해 카메라(5)를 통해 촬영되는 영상의 반사광을 제거하기 위해서, 사전에 차량(1)의 윈드쉴드(windshield)(3)와 카메라(5)의 렌즈에 필터가 배치된다. 여기서, 차량(1)의 윈드쉴드(3)에 배치된 필터(이하, '제1 필터'라 칭한다.) 및 카메라(5)의 렌즈에 배치된 필터(이하, '제2 필터'라 칭한다.)는 윈드쉴드(3)상의 반사광을 검출하기 위한 편광필터(polarizing filter)인 것이 바람직하다.
반사광 제어 장치(100)는 제1 필터 또는 제2 필터에 연결되어, 제1 필터 또는 제2 필터의 온/오프 동작을 제어하며 카메라(5)를 통해 촬영된 영상을 획득한다. 바람직하게, 반사광 제어 장치(100)는 제2 필터의 온/오프 동작을 제어하는 것으로 하나, 이에 한정되는 것은 아니다. 다만, 이하의 실시예에서는 제2 필터의 온/오프 동작을 제어하는 것을 예로 하여 설명한다.
이때, 반사광 제어 장치(100)는 필터를 오프(off) 시킨 상태에서 일반영상을 획득하고, 일정주기마다 필터를 온(on) 시켜서 일반영상에 대응하는 반사 영상을 획득하게 된다. 따라서, 반사광 제어 장치(100)는 일반 영상과 반사 영상을 통해 카메라(5)에 의해 촬영된 영상의 반사광을 제거하게 된다.
이에, 반사광 제어 장치(100)에 대한 구체적인 구성 설명은 도 2를 참조하도록 한다.
도 2는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명에 따른 반사광 제어 장치(100)는 제어부(110), 필터 제어부(120), 영상 획득부(130), 차영상 생성부(140), 차영상 보정부(150), 최종영상 처리부(160) 및 저장부(170)를 포함한다. 이때, 제어부(110)는 반사광 제어 장치(100)의 각 부의 동작을 제어한다.
필터 제어부(120)는 제2 필터와 연결되어, 제2 필터로 제어신호를 출력한다. 이때, 필터 제어부(120)에 의해 출력되는 제어신호는 제2 필터의 온/오프 동작을 제어하는 신호이다.
한편, 필터 제어부(120)는 기 설정된 주기에 따라 제2 필터의 동작을 온/오프 시킨다. 이때, 필터 제어부(120)는 평상시는 제2 필터를 오프 시키고, 기 설정된 주기마다 한 번씩 제2 필터를 온 시키도록 한다.
예를 들어, 필터 제어부(120)는 제1 주기가 시작하는 시점에 제2 필터를 오프 시키고, 제1 주기의 종료 시점에 도달하면 제2 필터를 온 시킨다. 다시 제2 주기가 시작하면 제2 필터를 오프 시키고, 제2 주기의 종료 시점에 도달하면 제2 필터를 온 시킨다.
따라서, 제2 필터는 기 설정된 주기마다 한 번씩 온 되어, 편광만을 통과시키게 된다.
영상 획득부(130)는 차량에 구비된 카메라를 통해 촬영되는 영상을 획득한다. 여기서, 카메라는 차량의 윈드쉴드 방향으로 설치된 것으로 한다. 이때, 영상 획득부(130)는 제2 필터의 온/오프 동작에 따라 일반 영상과 반사 영상을 획득하게 되는데, 제2 필터가 온 된 상태에서는 일반 영상을, 필터가 오프 된 상태에서는 반사 영상을 획득하게 된다.
차영상 생성부(140)는 카메라를 통해 촬영된 일반 영상과 반사 영상을 이용하여 차영상을 생성한다. 이때, 차영상 생성부(140)는 한 주기 동안 카메라를 통해 촬영된 영상 중 제2 필터가 오프된 상태에서 촬영된 일반 영상에서 제2 필터가 온 된 상태에서 촬영된 반사 영상을 차감하여 차영상을 생성한다.
차영상 보정부(150)는 차영상 생성부(140)에 의해 생성된 차영상을 보정하여 최종영상을 획득한다. 이때, 차영상 보정부(150)는 차영상을 보정하는데 참고가 되는 참고 영상으로서, 차영상에 대한 블러드 영상을 생성한다. 차영상 보정부(150)는 차영상의 블러드 영상으로부터 밝기 레벨을 검출하여 차영상의 밝기 레벨을 보정한다.
물론, 차영상 보정부(150)는 차영상 전체의 밝기 레벨을 보정하는 것이 아니라, 차영상에서 반사 영상에 해당되는 영역을 보정한다. 이 경우, 차영상 보정부(150)는 반사 영상의 에지를 검출하고, 반사 영상의 에지 정보에 근거하여 차영상에서 반사 영상에 해당되는 영역을 감지한다. 따라서, 차영상 보정부(150)는 차영상에서 반사 영상의 에지(edge)의 내부 영역을 보정하는 것으로 최종영상을 획득하게 된다.
한편, 차영상 보정부(150)는 반사 영상의 에지의 내부 영역에 대하여 홀 메움(hole filling)을 추가로 수행할 수 있다.
최종영상 처리부(160)는 차영상 보정부(150)에 의해 획득된 최종영상을 저장부(170)에 저장하거나, 카메라 촬영 영상을 기반으로 하는 시스템에 제공할 수 있다.
도 3 내지 도 9는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 동작을 설명하는데 참조되는 예시도이다.
먼저, 도 3은 차량 전방의 실제 모습을 나타낸 것이고, 도 4는 차량 내측에 구비된 카메라를 통해 촬영된 전방 영상을 나타낸 것으로, 제2 필터가 오프 된 상태에서 촬영한 일반 영상이다. 도 4에 도시된 영상은 차량 전방의 실제 모습과 유사하긴 하나, 카메라가 윈드쉴드를 통해 전방의 모습을 촬영하기 때문에 윈드쉴드상의 반사광이 그대로 촬영 영상에 나타나게 된다.
이 경우, 운전자가 전방 상황을 확인하는 데는 크게 문제가 되지 않으나, 전방 카메라의 영상을 기반으로 동작하는 센서 등에서 반사광이 포함된 영상을 이용하는 경우 인식률이 저하될 수 있게 된다.
도 5는 도 4와 마찬가지로 차량 내측에 구비된 카메라를 통해 촬영된 전방 영상을 나타낸 것으로, 도 5는 제2 필터가 온 된 상태에서 촬영한 반사 영상이다. 다시 말해, 제2 필터가 온 되면 다른 빛은 제1 필터 및 제2 필터에 의해 차단되고, 윈드쉴드에 반사된 빛만 통과되기 때문에, 이 경우 카메라에 의해 촬영된 영상은 윈드쉴드의 반사광만을 포함하게 된다.
도 6은 도 4의 일반 영상에서 도 5의 반사 영상을 제거한 차영상을 나타낸 것이다. 도 7은 도 6의 차영상을 블러링(blurring) 한 블러드 영상을 나타낸 것이다. 도 7의 블러드 영상은 반사 영상에 해당하는 영역에 대한 밝기 레벨이 나머지 영역에 대한 밝기 레벨과 명확하게 차이가 나기 때문에, 블러드 영상의 밝기 레벨 정보를 검출하여 차영상을 보정하는데 적용한다.
도 8은 도 5의 반사 영상으로부터 검출된 에지 영역을 나타낸 것이다. 도 8에 도시된 반사 영상의 에지는 추후 차영상 보정 시 홀 메움을 하는데 적용된다.
도 9는 도 6의 차영상에서 도 8의 에지 영역에 대해 도 7의 블러드 영상에서 추출된 밝기 레벨에 따라 밝기를 보정하고, 홀 메움을 수행하여 획득된 최종영상을 나타낸 것이다. 도 9에 도시된 바와 같이, 도 4의 일반 영상에 비해 반사광이 많이 제거되었음을 확인할 수 있다.
이 경우, 카메라를 통해 촬영된 전방 영상에서 반사광을 최대한 제거함으로써 전방 영상을 이용하는 센싱장치에 적용 시 인식오류 및 오차를 최소화할 수 있다.
상기와 같이 구성되는 본 발명에 따른 카메라 영상의 반사광 제어 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 10은 본 발명에 따른 카메라 영상의 반사광 제어 방법에 대한 영상 획득 동작의 흐름을 도시한 순서도이다.
도 10을 참조하면, 본 발명에 따른 반사광 제어 장치는 차량의 전방 영상을 촬영하기 위해 차량 내부에서 윈드쉴드를 향하도록 배치된 카메라를 온(ON) 시킨다(S100).
이때, 반사광 제어 장치는 카메라에 배치된 제2 필터로 오프 제어신호를 출력하여, 제2 필터를 오프 시킨다(S110). 이 경우, 반사광 제어 장치는 제2 필터가 오프 된 상태이므로, 카메라를 통해 일반 영상을 획득하게 된다(S120).
반사광 제어 장치는 일정 시간(Δt)이 경과하기 전까지는 제2 필터를 오프 상태로 유지하고, 일정 시간이 경과하면(S130), 제2 필터로 온 제어신호를 출력하여, 제2 필터를 온 시킨다(S140).
이 경우, 반사광 제어 장치는 제2 필터가 온 된 상태이므로, 카메라를 통해 반사 영상을 획득하게 된다(S150).
도 11은 본 발명에 따른 카메라 영상의 반사광 제어 방법에 대한 동작 흐름을 도시한 순서도이다.
도 11을 참조하면, 본 발명에 따른 반사광 제어 장치는 도 10에서 카메라를 통해 촬영된 일반영상 및 반사영상을 획득한다(S200).
이후, 반사광 제어 장치는 일반영상에서 반사영상을 제거하여 차영상을 획득하고(S210), 차영상의 보정을 위해 반사영상의 에지를 검출한다(S220).
또한, 반사광 제어 장치는 차영상의 블러드 영상을 생성하고, 차영상의 블러드 영상으로부터 밝기 레벨을 검출한다(S240). 이때, 반사광 제어 장치는 'S240' 과정에서 검출된 밝기 레벨을 근거로 차영상을 보정한다(S250).
'S250' 과정은 차영상에서 반사 영상의 에지 영역에 해당되는 영역을 보정하는 것으로, 차영상에서 해당 영역의 밝기 레벨을 조정한다. 또한, 반사광 제어 장치는 차영상에서 해당 영역에 홀 메움을 수행한다. 이로써, 반사광 제어 장치는 카메라 영상에서 반사광을 제거한 최종영상을 획득하게 된다(S260).
이상과 같이 본 발명에 의한 카메라 영상의 반사광 제어 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
1: 차량 3: 윈드쉴드
5: 카메라 7: 필터
100: 반사광 제어 장치 110: 제어부
120: 필터 제어부 130: 영상 획득부
140: 차영상 생성부 150: 차영상 보정부
160: 최종영상 처리부 170: 저장부

Claims (8)

  1. 차량의 윈드쉴드 및 카메라 렌즈에 각각 배치되어 반사광을 통과시키는 필터 중 어느 하나와 연결되어, 연결된 필터의 온 또는 오프 동작을 제어하는 제어신호를 일정 주기마다 출력하는 필터 제어부;
    상기 필터 제어부로부터의 제어신호에 따라 상기 필터 제어부에 연결된 필터가 온 또는 오프되는 동안 상기 차량의 윈드쉴드 방향으로 설치된 카메라를 통해 촬영된 영상을 획득하는 영상 획득부;
    상기 카메라를 통해 촬영된 영상 중 상기 필터 제어부에 연결된 필터가 오프된 상태에서 촬영된 일반 영상에서 상기 필터 제어부에 연결된 필터가 온 된 상태에서 촬영된 반사 영상을 차감하여 차영상을 생성하는 차영상 생성부; 및
    상기 차영상의 블러드 영상을 토대로 상기 차영상에서 상기 반사 영상에 해당되는 영역의 밝기 레벨을 보정하여 최종영상을 획득하는 차영상 보정부를 포함하는 것을 특징으로 하는 카메라 영상의 반사광 제어 장치.
  2. 청구항 1에 있어서,
    상기 차영상 보정부는,
    상기 블러드 영상으로부터 밝기 레벨을 검출하여 상기 검출된 밝기 레벨을 근거로 상기 차영상에서 상기 반사 영상에 해당되는 영역의 밝기 레벨을 보정하는 것을 특징으로 하는 카메라 영상의 반사광 제어 장치.
  3. 청구항 1에 있어서,
    상기 차영상 보정부는,
    상기 차영상에서 상기 반사 영상에 해당되는 영역에 대하여 홀 메움(hole filling)하는 것을 특징으로 하는 카메라 영상의 반사광 제어 장치.
  4. 청구항 1에 있어서,
    상기 차영상 보정부는,
    상기 반사 영상으로부터 에지 영역을 검출하고, 검출된 상기 에지 영역에 근거하여 상기 차영상에서 상기 반사 영상에 해당되는 영역을 인식하는 것을 특징으로 하는 카메라 영상의 반사광 제어 장치.
  5. 차량의 윈드쉴드 및 카메라 렌즈에 각각 배치되어 반사광을 통과시키는 필터들 중 어느 하나의 필터에 대한 온 또는 오프 동작을 제어하는 제어신호를 일정 주기마다 출력하는 단계;
    상기 제어신호에 따라 상기 필터들 중 어느 하나의 필터가 온 또는 오프되는 동안 상기 차량의 윈드쉴드 방향으로 설치된 카메라를 통해 촬영된 영상을 획득하는 단계;
    한 주기 동안 상기 카메라를 통해 촬영된 영상 중 상기 필터들 중 어느 하나의 필터가 오프된 상태에서 촬영된 일반 영상에서 상기 필터들 중 어느 하나의 필터가 온 된 상태에서 촬영된 반사 영상을 차감하여 차영상을 생성하는 단계; 및
    상기 차영상의 블러드 영상을 토대로 상기 차영상에서 상기 반사 영상에 해당되는 영역의 밝기 레벨을 보정하여 최종영상을 획득하는 단계를 포함하는 것을 특징으로 하는 카메라 영상의 반사광 제어 방법.
  6. 청구항 5에 있어서,
    상기 최종영상을 획득하는 단계는,
    상기 블러드 영상으로부터 밝기 레벨을 검출하여 상기 검출된 밝기 레벨을 근거로 상기 반사 영상에 해당되는 영역에 대한 밝기 레벨을 보정하는 단계를 포함하는 것을 특징으로 하는 카메라 영상의 반사광 제어 방법.
  7. 청구항 5에 있어서,
    상기 최종영상을 획득하는 단계는,
    상기 차영상에서 상기 반사 영상에 해당되는 영역에 대하여 홀 메움(hole filling)하는 단계를 포함하는 것을 특징으로 하는 카메라 영상의 반사광 제어 방법.
  8. 청구항 5에 있어서,
    상기 최종영상을 획득하는 단계는,
    상기 반사 영상으로부터 에지 영역을 검출하는 단계를 포함하며,
    검출된 상기 에지 영역에 근거하여 상기 차영상에서 상기 반사 영상에 해당되는 영역을 인식하는 것을 특징으로 하는 카메라 영상의 반사광 제어 방법.
KR1020120062806A 2012-06-12 2012-06-12 카메라 영상의 반사광 제거 장치 및 방법 KR101327032B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120062806A KR101327032B1 (ko) 2012-06-12 2012-06-12 카메라 영상의 반사광 제거 장치 및 방법
JP2012253639A JP6068945B2 (ja) 2012-06-12 2012-11-19 カメラ映像の反射光除去装置及び方法
US13/688,126 US9025029B2 (en) 2012-06-12 2012-11-28 Apparatus and method for removing a reflected light from an imaging device image
DE102012222303.7A DE102012222303B4 (de) 2012-06-12 2012-12-05 Vorrichtung und Verfahren für das Entfernen von reflektiertem Licht von einem Bild eines Bildgebungsgeräts
CN201210566887.1A CN103481824B (zh) 2012-06-12 2012-12-24 用于从成像装置图像中去除反射光的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120062806A KR101327032B1 (ko) 2012-06-12 2012-06-12 카메라 영상의 반사광 제거 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101327032B1 true KR101327032B1 (ko) 2013-11-20

Family

ID=49625955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120062806A KR101327032B1 (ko) 2012-06-12 2012-06-12 카메라 영상의 반사광 제거 장치 및 방법

Country Status (5)

Country Link
US (1) US9025029B2 (ko)
JP (1) JP6068945B2 (ko)
KR (1) KR101327032B1 (ko)
CN (1) CN103481824B (ko)
DE (1) DE102012222303B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101936188B1 (ko) 2017-07-12 2019-01-08 이민정 개체 판별 방법 및 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490955B1 (ko) 2013-10-29 2015-02-06 현대자동차 주식회사 차량용 조작 장치
JP6477444B2 (ja) * 2015-11-25 2019-03-06 株式会社デンソー 表示制御装置及び表示制御プログラム
US9871977B2 (en) * 2015-12-22 2018-01-16 Daniel P. Broughton Mobile photography studio for improved vehicle photography suitable for memorabilia
US10521660B2 (en) * 2016-04-28 2019-12-31 Sharp Kabushiki Kaisha Image processing method and image processing device
DE102017202155A1 (de) * 2017-02-10 2018-08-16 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
JP2019082615A (ja) * 2017-10-31 2019-05-30 スリーエム イノベイティブ プロパティズ カンパニー 撮像装置
US20190161010A1 (en) * 2017-11-30 2019-05-30 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America High visibility head up display (hud)
DE102018119481A1 (de) * 2018-08-10 2020-02-13 Connaught Electronics Ltd. Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
DE112018007942T5 (de) 2018-08-31 2021-06-10 Mitsubishi Electric Corporation Videobildaufzeichnungsvorrichtung zur Verwendung in einem Automobil und Grafikbilderkennungsvorrichtung zur Verwendung in einem Automobil
DE102018216983B3 (de) 2018-10-04 2019-11-28 Audi Ag Verfahren zum Unterdrücken von Abbildungen von Reflexionen in zumindest einem Kamerabild einer Kamera einer Umfeldsensorvorrichtung eines Kraftfahrzeugs sowie entsprechende Umfeldsensorvorrichtung
CN113395436A (zh) * 2020-03-12 2021-09-14 杭州海康威视数字技术股份有限公司 图像处理方法、图像处理装置及图像处理系统
US11528435B2 (en) 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
WO2023166988A1 (ja) * 2022-03-04 2023-09-07 株式会社小糸製作所 測定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319067A (ja) * 1993-05-10 1994-11-15 Mitsubishi Electric Corp 撮影装置
JP2005195566A (ja) * 2003-08-12 2005-07-21 Hitachi Ltd 画像処理システム
KR20080004926A (ko) * 2006-07-07 2008-01-10 주식회사 피엘케이 테크놀로지 차영상을 이용한 이동 차량 인식 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0961885A (ja) * 1995-08-29 1997-03-07 Mitsubishi Electric Corp 車載用カメラ装置
JPH0983879A (ja) 1995-09-18 1997-03-28 Mitsubishi Electric Corp 車載カメラ装置
JPH09219810A (ja) * 1996-02-09 1997-08-19 Toyota Motor Corp 移動体のキャビン内撮影装置
US6313454B1 (en) * 1999-07-02 2001-11-06 Donnelly Corporation Rain sensor
KR20010077691A (ko) 2000-02-07 2001-08-20 정융호 자동차의 눈부심 방지장치
AU2003214595A1 (en) * 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
JP2005531752A (ja) * 2002-05-18 2005-10-20 エルモス セミコンダクタ アーゲー 雨検出装置
KR100554501B1 (ko) * 2003-03-07 2006-02-24 주식회사 옵토닉스 감시카메라의 역광차단장치
FR2854251B1 (fr) * 2003-04-25 2005-11-04 Tietronix Optics Dispositif d'aide a la conduite
JP4143521B2 (ja) * 2003-11-12 2008-09-03 三菱電機株式会社 車載用カメラ
KR20050091856A (ko) 2004-03-11 2005-09-15 삼성전자주식회사 반사 영상 제거용 필터를 구비한 모니터 시스템
KR200359260Y1 (ko) 2004-05-22 2004-08-16 황인서 광학계 구조를 갖는 휴대용 단말기용 카메라 모듈
US20120018989A1 (en) * 2004-08-31 2012-01-26 Automotive Technologies International, Inc. Method for deploying a vehicular occupant protection system
US7310190B2 (en) * 2006-02-09 2007-12-18 Delphi Technologies, Inc. Vehicle imaging system with windshield condition determination
DE102006010671A1 (de) * 2006-03-08 2007-09-13 Leopold Kostal Gmbh & Co. Kg Kameraanordnung für ein Kraftfahrzeug
WO2008150626A1 (en) * 2007-05-31 2008-12-11 Ppg Industries Ohio, Inc. Method of controlling reflection from a vehicle windshield
US20110261462A1 (en) * 2008-03-03 2011-10-27 Daimler Ag Stray light or sun shield for a camera in a motor vehicle
JP5417773B2 (ja) * 2008-09-03 2014-02-19 株式会社ニコン 車両搭載カメラ及び光学装置
DE102009026463A1 (de) 2009-05-26 2010-12-09 Robert Bosch Gmbh Bilderfassungsverfahren zur Erfassung mehrerer Bilder mittels eines automotiven Kamerasystems und zugehörige Bilderfassungsvorrichtung des Kamerasystems
US8736458B2 (en) * 2010-04-29 2014-05-27 Signature Research, Inc. Weigh-in-motion scale

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319067A (ja) * 1993-05-10 1994-11-15 Mitsubishi Electric Corp 撮影装置
JP2005195566A (ja) * 2003-08-12 2005-07-21 Hitachi Ltd 画像処理システム
KR20080004926A (ko) * 2006-07-07 2008-01-10 주식회사 피엘케이 테크놀로지 차영상을 이용한 이동 차량 인식 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101936188B1 (ko) 2017-07-12 2019-01-08 이민정 개체 판별 방법 및 장치

Also Published As

Publication number Publication date
US9025029B2 (en) 2015-05-05
US20130329045A1 (en) 2013-12-12
JP2013258677A (ja) 2013-12-26
JP6068945B2 (ja) 2017-01-25
DE102012222303B4 (de) 2024-05-16
CN103481824A (zh) 2014-01-01
CN103481824B (zh) 2016-12-28
DE102012222303A1 (de) 2013-12-12

Similar Documents

Publication Publication Date Title
KR101327032B1 (ko) 카메라 영상의 반사광 제거 장치 및 방법
US9172863B2 (en) Video signal processing apparatus
JP5061767B2 (ja) 画像処理装置および画像処理方法
JP2007257449A (ja) 道路区画線検出装置
JP2008305203A (ja) 顔画像撮像装置
JP6447289B2 (ja) 撮像装置、撮像方法、プログラム、車両制御システム、および車両
JP6428391B2 (ja) 撮像装置
EP2770478A2 (en) Image processing unit, imaging device, and vehicle control system and program
KR102321110B1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
JP2006339960A (ja) 物体検出装置、および物体検出方法
WO2014148161A1 (ja) 故障検出装置
KR101601324B1 (ko) 차량용 카메라 시스템의 영상 획득 방법
JP4661934B2 (ja) 画像処理装置
JP3272694B2 (ja) フェールセーフ機能を有する車外監視装置
US20190289185A1 (en) Occupant monitoring apparatus
JP2008042759A (ja) 画像処理装置
JP2007189432A (ja) 車両用撮像装置
KR101615381B1 (ko) 이미지 획득 방법 및 디지털 카메라 시스템
KR101428229B1 (ko) 차영상 취득 장치 및 방법
KR20140054969A (ko) 차량의 카메라 장치 및 그의 영상 촬영 방법
US9781337B2 (en) Image processing device, image processing method, and recording medium for trimming an image based on motion information
KR20110138439A (ko) 카메라에 의해 촬영된 화상을 이용한 터널 진입 감지 장치 및 방법
JP2009077279A (ja) 画像認識装置、車載用画像認識装置および車載用画像認識方法
JP2009096323A (ja) カメラ照明制御装置
JP6314667B2 (ja) 撮像装置、画像補正プログラムおよび画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 6