KR20170076457A - 야간 영상표시 장치 및 그 영상처리 방법 - Google Patents

야간 영상표시 장치 및 그 영상처리 방법 Download PDF

Info

Publication number
KR20170076457A
KR20170076457A KR1020150186740A KR20150186740A KR20170076457A KR 20170076457 A KR20170076457 A KR 20170076457A KR 1020150186740 A KR1020150186740 A KR 1020150186740A KR 20150186740 A KR20150186740 A KR 20150186740A KR 20170076457 A KR20170076457 A KR 20170076457A
Authority
KR
South Korea
Prior art keywords
image
gate
optical pulse
period
light amount
Prior art date
Application number
KR1020150186740A
Other languages
English (en)
Other versions
KR102512729B1 (ko
Inventor
권영만
김관형
지석만
윤요셉
조택일
홍삼열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150186740A priority Critical patent/KR102512729B1/ko
Priority to EP16879069.9A priority patent/EP3395636B1/en
Priority to CN201680075684.9A priority patent/CN108430851B/zh
Priority to US16/065,764 priority patent/US10830891B2/en
Priority to PCT/KR2016/001346 priority patent/WO2017111201A1/ko
Publication of KR20170076457A publication Critical patent/KR20170076457A/ko
Application granted granted Critical
Publication of KR102512729B1 publication Critical patent/KR102512729B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/23—
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • B60K2360/176—
    • B60K2360/179—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar

Abstract

본 발명은 광펄스를 출력하는 광펄스 출력부 및 외부 객체에 의하여 반사된 광펄스를 이용하여 복수의 영상을 형성하는 이미지 센서로 이루어지는 촬영부, 상기 복수의 영상을 합성한 최종 영상을 출력하는 디스플레이부 및 상기 최종 영상의 각 픽셀에 대한 복수의 영상의 광량비 및 거리에 대한 광량비의 데이터를 이용하여, 각 픽셀에 표시되는 객체의 거리정보를 산출하는 제어부를 포함하는 야간 영상출력장치를 제공합니다.

Description

야간 영상표시 장치 및 그 영상처리 방법{NIGHT VISION IMAGE DISPLAY APPARATUS AND METHOD OF PROCESSING THE NIGHT VISION IMAGE}
본 발명은 원거리 객체의 시인성이 향상된 차량용 야간 영상출력장치에 관한 발명이다.
차량용 야간 영상 장치(Night Vision device)는 야간 운행 또는 눈/비와 같은 악천 후 시 운전자의 운전을 보조하기 위한 장치이다. 차량으로부터 특정 거리 이내의 상황을 시각적인 데이터를 통하여 운전자에게 전달해주는 역할을 한다.
다만, 일반적인 센서와 조명으로 구성되는 야간 영상장치는 차량으로부터 거리가 먼 영역으로부터 반사되는 광량이 급격히 줄어들면서, 차량으로부터의 거리에 무관하게 모든 물체를 균등한 밝기로 출력해 주는 것에 한계가 있었다.
원거리 객체의 선명도를 향상시키면서 거리에 관한 정보를 산출하는 야간 영상출력장치 및 야간 영상 처리방법을 제공하는 것에 있다
이와 같은 본 발명의 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 야간 영상출력장치는 광펄스를 출력하는 광펄스 출력부 및 외부 객체에 의하여 반사된 광펄스를 이용하여 복수의 영상을 형성하는 이미지 센서로 이루어지는 촬영부, 상기 복수의 영상을 합성한 최종 영상을 출력하는 디스플레이부 및 상기 최종 영상의 각 픽셀에 대한 복수의 영상의 광량비 및 거리에 대한 광량비의 데이터를 이용하여, 각 픽셀에 표시되는 객체의 거리정보를 산출하는 제어부를 포함한다.
본 발명과 관련된 일 예로서, 상기 제어부는 제1 주기로 특정 시간씩 광펄스를 출력하도록 상기 광펄스 출력부를 제어하고, 상기 광펄스가 출력되지 아니하는 휴지기에 제2 주기로 제1 시간씩 제1 게이트를 활성화시켜 제1 게이트 영상을 형성하고, 상기 제1 게이트가 비활성화되면, 상기 휴지기에 상기 제2 주기로 제2 시간씩 제2 게이트를 활성화시켜 제2 게이트 영상을 형성하며, 상기 제2 시간은 상기 제1 시간보다 짧게 설정하여, 원거리 영역의 영상을 복수개 획득하여 보다 선명한 이미지를 제공할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 제1 패턴의 광펄스로 형성된 제1 영상 및 제2 패턴의 광펄스로 형성된 제2 영상을 이용하여 각 픽셀에 대한 광량비를 형성하고, 거리에 대한 광량비에 관한 데이터를 이용하여 각 픽셀에 출력되는 이미지의 거리를 산출하여 복수의 영상을 이용하여 각 픽셀에 표시되는 이미지의 거리정보를 획득할 수 있다.
본 발명과 관련된 일 예로서, 전자기파를 출력하여 객체를 감지하는 레이더부를 더 포함하고, 상기 제어부는 상기 레이더부에 의하여 상기 객체가 감지되면, 상기 디스플레이부를 활성화시키는 바, 레이더부에 의하여 위험이 감지되는 경우 이를 영상으로 출력하여 사용자에게 제공할 수 있다.
본 발명에 따르면 객체가 상대적으로 멀리 위치하는 경우에도 선명한 이미지로 최종영상이 출력되며, 상기 최종영상과 함께 거리정보도 출력되므로 사용자는 객체의 존재뿐만 아니라 객체의 위치 및 거리를 보다 명확하게 파악할 수 있다.
또한, 차량의 운행에 위험이 감지되는 경우 장애물에 대한 이미지를 디스플레이부 상에 출력해주므로, 운전자는 장애물의 위험을 바로 파악할 수 있다. 따라서, 운전자가 위험을 피하기 위한 조치를 즉각적으로 취할 수 있다.
도 1a는 본 발명의 일 실시예에 따라 야간 영상표시장치가 장착된 차량의 일 영역을 도시한 개념도.
도 1b는 본 발명의 일 실시예에 따른 야간 영상표시장치의 구성요소를 설명하기 위한 블록도.
도 2a는 본 발명의 일 실시예에 따른 야간 영상표시장치의 영상처리방법을 설명하기 위한 흐름도.
도 2b는 광펄스의 출력에 대응하여 복수의 게이트의 동작을 설명하기 위한 개념도.
도 2c는 광펄스의 출력시간이 일정할 때, 거리에 따른 광량비율에 관한 데이터를 나타내는 그래프.
도 3은 본 발명의 일 실시예에 따른 최종영상의 표시방법을 설명하기 위한 개념도.
도 4a는 본 발명의 다른 실시예에 따른 야간 영상표시장치의 영상처리방법을 설명하기 위한 흐름도.
도 4b는 게이트의 활성화 상태에 대응되는 광펄스의 출력상태를 설명하기 위한 개념도.
도 4c는 이미지 센서의 활성화 시간이 일정할 때, 거리에 따른 광량비율에 관한 데이터를 나타내는 그래프.
도 4d는 광량을 조절하기 위한 제어방법을 광펄스 출력부의 제어 방법을 설명하기 위한 개념도.
도 5a 및 도 5b는 광량이 변하는 패턴을 설명하기 위한 개념도이다.
도 6은 최종 이미지와 거리정보를 출력하는 방법을 설명하기 위한 개념도.
도 7은 본 발명의 다른 실시예에 따른 야간 영상출력장치의 구성요소를 설명하기 위한 블록도.
도 8은 본 실시예에 따른 야간 영상출력장치의 제어방법을 설명하기 위한 흐름도.
도 9a 및 도 9b는 도 8의 야간 영상출력장치의 제어방법을 설명하기 위한 개념도.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1a은 차량에 장착된 야간 영상표시장치의 일 예를 도시한 개념도이고, 도 1b는 본 발명의 일 실시예에 따른 야간 영상표시장치의 구성요소를 설명하기 위한 블록도이다. 본 발명의 일 실시예에 따른 야간 영상표시장치의 디스플레이부(200)는 차량의 운전자가 전방과 함께 볼 수 있도록 배치되는 것이 바람직하다.
도 1b를 참조하면, 야간 영상표시장치는 영상을 촬영하기 위한 촬영부(100), 영상을 출력하는 디스플레이부(200) 및 제어부(300)를 포함한다. 상기 촬영부(100)는 광펄스 출력부 (110) 및 이미지센서(120)를 포함한다. 상기 광펄스 출력부 (110)에 의하여 광펄스가 발생되면, 차량의 전방에 배치된 객체에 상기 광펄스가 반사되어 이미지 센서(120)에 도달한다. 상기 이미지 센서(120)는 입사된 광펄스를 이용하여 객체의 거리를 감지할 수 있는 영상을 형성한다.
도 2a는 본 발명의 일 실시예에 따른 야간 영상표시장치의 영상처리방법을 설명하기 위한 흐름도이고, 도 2b는 광펄스의 출력에 대응하여 복수의 게이트의 동작을 설명하기 위한 개념도이다.
도 2a를 참조하면, 상기 광펄스 출력부 (110)는 제1 주기(T1)로 광펄스를 출력한다(S210). 상기 광펄스 출력부 (110)는 상기 광펄스를 특정 시간(t)동안 출력한다(S310). 예를 들어, 상기 특정 시간은 약 500ns에 해당될 수 있으나 이에 한정되는 것은 아니다.
상기 광펄스가 출력되지 아니하는 휴지기 동안, 상기 이미지센서(120)의 제1 게이트는 제2 주기(T2)로 제1 시간(t1)동안 활성화된다(S320). 객체에 의하여 반사되는 광펄스를 통하여 복수의 픽셀로 이루어지는 제1 게이트 영상을 획득한다. 도 2b를 참조하면 상기 제1 게이트는 상기 광펄스의 출력이 제한되는 시점으로부터 제1 시간(t1)동안 활성화된다. 다만, 이에 한정되는 것은 아니며 상기 제어부(300)는 상기 광펄스의 출력이 제한된 후, 특정 시간 이후에 제1 게이트가 활성화되도록 상기 이미지센서(100)를 제어한다. 상기 광펄스가 출력되는 동안 기 설정된 제1 횟수(N1)로 상기 제1 게이트가 활성화된다.
상기 제1 횟수(N1)번 상기 제1 게이트가 활성화된 이후, 제2 게이트가 활성화된다. 상기 제2 게이트는 상기 광펄스의 휴지기 동안 제2 주기(T2)로 제2 시간(t2)동안 활성화된다(S330). 제2 시간(t2)은 상기 제1 시간(t2)보다 짧다. 상기 제어부(300)는 상기 광펄스의 출력이 제한된 이후 상기 제1 시간(t1)과 상기 제2 시간(t2)의 차이(지연시간)만큼 늦게 활성화되며, 상기 광펄스의 출력이 제한되는 시점으로부터 상기 제1 및 제2 게이트가 비활성화 상태로 전환되는 시점까지의 시간은 동일하다. 즉, 상기 제1 및 제2 게이트는 동일한 최대거리의 객체에 의하여 반사되는 광펄스를 감지할 수 있으며, 상기 제2 게이트는 상기 지연시간 동안 가까운 거리에 위치하는 객체에 의하여 반사된 광펄스를 감지할 수 없다. 이에 따라 상기 제2 게이트에 의하여 먼 거리 영역의 영상을 획득할 수 있다. 예를 들어, 상기 제1 게이트가 약 30m 내지 약 300m사이의 환경에 대한 영상을 형성하는 경우 상기 제2 게이트는 약 75m 내지 약 300m 사이의 환경에 대한 영상을 형성한다.
상기 제2 게이트는 제2 횟수(N2)만큼 제2 주기(T2)로 활성화되며, 상기 제1 및 제2 횟수(N1, N2)는 동일할 수 있다. 다만, 먼 거리 영상은 광펄스의 반사 및 도달 정도가 낮아지는바, 상기 광펄스의 출력 상태, 외부 환경에 따른 반사 상태에 따라 제2 횟수(N2)가 상기 제1 횟수(N1)보다 많도록 설정될 수 있다.
도 2b를 참조하면, 상기 제2 게이트가 제2 횟수(N2) 활성화된 이후, 상기 제3 및 제4 게이트가 각각 제3 및 제4 횟수(N3, N4)만큼 활성화된다. 상기 제3 및 제4 게이트가 활성화되는 주기는 제2 주기(T2)로 동일하다. 다만, 상기 제3 게이트는 제3 시간(t3)동안 활성화되며, 상기 제4 게이트는 제4 시간(t4)동안 활성화된다. 상기 제4 시간(t4)이 가장 짧고 제3 시간(t3), 제2 시간(t2) 및 제1 시간(t1)순서대로 길어진다. 상기 광펄스의 출력이 제한되는 시점을 기준으로, 상기 제1 내지 제4 게이트가 활성화 상태에서 비활성화 상태로 전환되는 상대적인 시점을 동일하다.
다만, 상기 광펄스의 출력이 제한되는 시점을 기준으로 상기 제1 게이트가 가장 먼저 활성화되고, 상기 제4 게이트가 가장 나중에 활성화된다. 상기 제4 게이트는 상기 광펄스 출력부(110)로부터 먼 영역(예를 들어, 약 150m 내지 약 300m)의 영상만을 추가적으로 형성한다. 즉, 상기 제2 내지 제4 게이트에 의하여 상기 야간 영상표시장치는 먼 거리에 해당될수록 이에 대한 영상을 복수 번 획득하게 된다.
상기 복수의 게이트에 의하여 획득된 광량비를 각 픽셀별로 계산한다 (S340). 상기 제어부(300)는 각 게이트의 감지된 광량을 각 게이트의 활성화 횟수로 나눈다. 각 픽셀에 대한 제1 내지 제4 게이트의 광량비를 계산한다. 예를 들어, 하나의 픽셀에 대한 제1 게이트에 대한 제2 게이트의 광량비, 제2 게이트에 대한 제3 게이트의 광량비 및 제3 게이트에 대한 제4 게이트의 광량비를 계산한다.
상기 야간 영상출력장치(1000)의 메모리는 도 2c에서 도시하는 바와 같이, 거리에 따른 광량비율에 관한 데이터를 저장할 수 있다. 또는 상기 제어부는 상기 복수의 게이트 영상이 형성되면 외부로부터 상기 거리에 따른 광량비율에 관한 데이터를 제공받을 수 있다. 상기 제어부(300)는 상기 데이터 및 광량비를 이용하여 각 픽셀의 이미지의 거리를 산출한다(S350).
예를 들어, 하나의 픽셀에 대하여 제1 및 제2 게이트의 광량비가 0.6에 해당되는 경우 해당 픽셀의 이미지에 대응되는 객체는 야간 영상출력장치(1000)로부터 약 42m 떨어진 것으로 계산된다. 상기 제1 및 제2 게이트의 광량비를 이용하여 약 20m 에서 약 75m 사이에 있는 객체의 이미지에 관한 거리정보를 획득할 수 있다. 다만, 거리는 이에 한정되지 아니하고 상기 제1 내지 제4 게이트의 활성화 시점을 조절하여 보다 가까이에 있는 객체의 이미지 및 거리정보를 획득하거나 보다 멀리있는 객체의 이미지 및 거리정보를 획득할 수 있다. 상기 각 게이트의 광량비의 계산은 상기 이미지센서(120)에 의하여 이루어지거나, 상기 이미지센서로부터 영상을 형성하는 회로단에서 처리할 수 있다.
상기 제어부(300)는 상기 복수의 게이트 영상을 합성하여 최종 영상을 형성하고, 상기 최종 영상을 출력하도록 상기 디스플레이부(200)를 제어한다(S360). 이에 따라 원거리에 있는 객체의 이미지는 제1 내지 제4 게이트에 의하여 복수번 획득되는 바, 최종영상에서도 원거리에 위치하는 객체의 이미지를 보다 밝게 형성될 수 있다.
또한, 복수의 게이트에 의하여 획득된 이미지를 이용하여 거리 측정도 가능하므로, 거리를 측정하기 위한 별도의 감지센서 없이 이미지와 함께 객체의 거리정보를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 최종영상의 표시방법을 설명하기 위한 개념도이다. 상기 디스플레이부(200)는 상기 복수의 게이트 영상을 통하여 형성된 최종영상(510)을 출력한다. 원거리 객체에 대한 이미지가 근거리 객체에 대한 이미지보다 많이 획득되었기 때문에 상기 최종영상은 거리에 무관하게 균등한 밝기로 형성된다. 예를 들어, A가 근거리 객체이고 B가 원거리 객체인 경우에 A 및 B는 실질적으로 유사한 밝기로 형성된다.
또한, 상기 제어부(300)는 각 객체의 거리정보(511)를 상기 최종영상(510)과 함께 출력하도록 상기 디스플레이부(200)를 제어할 수 있다. 예를 들어 상기 거리정보(511)는 각 객체와 인접하게 텍스트로 출력될 수 있다. 상기 제어부(300)는 객체의 이미지가 획득된 픽셀에 대한 광량비를 산출하고, 데이터 및 광량비에 따라 픽셀에 표시된 이미지의 거리정보를 획득한다.
즉, 객체가 상대적으로 멀리 위치하는 경우에도 선명한 이미지로 최종영상이 출력되며, 상기 최종영상과 함께 거리정보도 출력되므로 사용자는 객체의 존재뿐만 아니라 객체의 위치 및 거리를 보다 명확하게 파악할 수 있다.
도 4a는 본 발명의 다른 실시예에 따른 야간 영상표시장치의 영상처리방법을 설명하기 위한 흐름도이고, 도 4b는 게이트의 활성화 상태에 대응되는 광펄스의 출력상태를 설명하기 위한 개념도이다.
상기 이미지 센서(210)의 게이트 제1 주기(T1)로 특정 시간(t)동안 활성화된다(S410). 상기 제어부(300)는 제2 주기(T2)로 제1 시간(t1)동안 광펄스를 출력하고, 제1 시간(t1)동안 광량이 점차적으로 변경되는 제1 패턴으로 광펄스를 출력하도록 상기 광펄스 출력부(220)를 제어한다(S420). 도 4b의 (a)를 참조하면, 상기 게이트가 비활성화된 상태에서 상기 광펄스가 출력되며, 제1 패턴에 의한 상기 광펄스는 출력이 차단될때까지 점차적으로 줄어들도록 구동됩니다. 이에 따라 광펄스의 광량이 점차적으로 줄어들어 상기 광펄스의 출력이 차단되면 상기 게이트가 활성화되도록 상기 광펄스 출력부(110) 및 이미지 센서(120)가 제어된다.
상기 제어부(300)는 상기 제1 패턴으로 제1 횟수(N1)의 광펄스가 출력되면, 상기 제2 패턴과 다른 제2 패턴으로 상기 제2 주기(T2)로 제2 시간 동안(t2) 광펄스를 출력한다(S430). 상기 제2 시간(t2)은 상기 제1 시간(t1)보다 짧게 설정된다. 상기 제2 패턴의 광펄스의 출력이 차단된 시점으로부터 상기 게이트가 활성화되는 시점까지의 시간이, 상기 제1 패턴의 광펄스의 출력이 차단된 시점으로부터 상기 게이트가 활성화된 시점까지의 시간보다 길게 형성된다. 이에 따라 상기 제2 패턴의 광펄스가 출력되는 때 상대적으로 가까이에 있는 객체에 의하여 반사되는 광펄스는 감지되지 아니한다. 상기 제어부(300)는 제2 횟수(N2)만큼 상기 광펄스가 출력되도록 상기 광펄스 출력부(110)를 제어하고, 상기 제1 및 제2 회수(N1, N2)는 동일하게 설정될 수 있다. 도면에 구체적으로 도시되지 아니하였으나, 상기 제어부(300)는 상기 제2 패턴과 동일하나 제2 시간(t2)보다 짧은 제3 시간(t3) 동안 출력되는 제3 패턴에 의하여 광펄스를 출력하도록 제어하여 추가적인 영상을 획득할 수 있다.
도 4b에 도시된 바와 같이, 제1 및 제2 패턴은 광량이 감소하는 비율은 동일하고 출력되는 시간만 다르게 설정될 수 있다. 상기 제어부(300)는 상기 제1 및 제2 패턴이 출력되는 동안 상기 게이트에 의하여 감지된 광펄스의 광량비를 산출한다(S440). 이 경우, 상기 제어부(300)는 상기 광펄스가 출력된 횟수만큼 광량을 나누고, 각 픽셀에 대한 광량비를 산출한다.
상기 제어부(300)는 상기 광량비와 거리에 관한 데이터 및 상기 산출된 광량비를 이용하여 거리를 측정한다(S450). 상기 광량비와 거리에 관한 데이터는 도 4c 도시된 바와 같으며, 상기 광량비가 약 0.6인 경우 해당 픽셀에 표시되는 객체의 거리는 약 50m에 해당된다.
도 4d는 광량을 조절하기 위한 제어방법을 광펄스 출력부의 제어 방법을 설명하기 위한 개념도이다. 도 4d의 (a)를 참조하면 상기 광펄스 출력부(120)는 복수의 조명(121)을 포함할 수 있다. 상기 제어부(300)는 시간의 흐름에 따라 복수의 조명(121) 중 일부를 점차적으로 오프(OFF)시켜 광량을 감소시킬 수 있다.
한편, 도 4d의 (b)를 참조하면 상기 광펄스의 출력부(120)는 복수의 조명들의 광량을 함께 감소시킬 수 있다. 상기 제어부(300)는 상기 복수의 조명들에 인가되는 전압/전류의 변경으로 모든 조명의 밝기를 한꺼번에 제어할 수 있다.
다만, 조명의 개수 및 배열은 도면에 도시된 바에 한정되지 아니한다.
도 5a 및 도 5b는 광량이 변하는 패턴을 설명하기 위한 개념도이다.
도 5a의 (a)를 참조하면, 상기 제어부(300)는 광량을 불연속적으로 감소시킨다. 예를 들어 3단계의 광량으로 제어하는 경우 제1 패턴은 3단계의 광량으로 광펄스를 출력하도록 제어하고, 제2 패턴은 2단계까지 광량으로 광펄스를 출력하고 출력을 차단하도록 상기 광펄스 출력부(120)를 제어한다.
한편, 도 5b를 참조하면, 상기 제어부(300)는 동일한 광량으로 광펄스가 출력되는 시간을 조절하여 제1 및 제2 패턴을 형성한다.
상기 제어부(300)는 촬영하고자 하는 영역까지의 거리 및 외부환경에 근거하여 상기 광펄스가 출력되는 패턴을 설정할 수 있다.
도 6은 최종 이미지와 거리정보를 출력하는 방법을 설명하기 위한 개념도이다. 도 6의 (a)를 참조하면, 상기 디스플레이부(200)는 제1 및 제2 객체(A, B)를 포함하는 최종영상(520)을 출력한다. 상기 제어부(300)는 상기 제1 제2 객체(A, B)의 거리를 산출한다. 상기 디스플레이부(200)는 상기 제1 및 제2 객체(A, B)의 거리정보를 이용하여 서로 다른 색으로 상기 제1 및 제2 객체(A, B)에 대응되는 이미지를 출력한다.
도 6의 (b)를 참조하면, 최종 영상(530)은 각 객체의 거리정보(531)를 텍스트로 출력할 수 있다. 또는 상기 제어부(300)는 상기 거리정보(531)에 대응되도록 형성되는 그래픽 이미지를 형성할 수 있다. 예를 들어 바(bar)형상의 그래픽 이미지인 경우, 거리가 멀수록 길게 형성되는 그래픽 이미지를 출력할 수 있다.
도 6의 (c)를 참조하면, 최종영상(541)은 일부 거리에 해당되는 영상만을 출력할 수 있다. 상기 제어부(300)는 사용자에 의하여 특정 제어명령이 인가되는 경우 상기 일부 거리의 범위를 변경할 수 있다.
상기 제어부(300)는 상기 특정 제어명령에 근거하여, 도 2a의 실시예에서 각 게이트가 활성화되는 시간을 조절하거나 도 4a의 실시예에서 광펄스가 출력되는 패턴을 변경하도록 제어한다. 이에 따라 사용자는 원하는 거리범위의 영상만을 선택적으로 제공받을 수 있다.
도 7은 본 발명의 다른 실시예에 따른 야간 영상출력장치(1000)의 구성요소를 설명하기 위한 블록도이다. 본 실시예에 따른 야간 영상출력장치(1000)는 레이더(radar)부를 제외하고 도 1b의 구성요소와 실질적으로 동일하므로, 동일한 구성에 대하여 동일한 도면부호를 부여하고 중복되는 설명을 생략한다.
상기 레이더부(400)는 전자기파를 출력하여, 차량이 운행되는 동안 장애물(또는 목표물)을 감지하여, 장애물까지의 거리, 장애물과 가까워지는(멀어지는) 속도, 운행방향과 장애물이 위치하는 영역의 각도에 관한 정보 등을 제공한다. 본 실시예에 따른 야간 영상출력장치(1000)는 상기 레이더부(400)가 제공하는 정보를 이용하여 제어될 수 있다.
다만, 상기 레이더부는 상기 야간 영상출력장치(1000)에 포함되지 아니할 수 있다. 상기 레이더부 및 상기 야간 영상출력장치(1000)가 차량 등에 함께 장착되는 경우, 상기 레이더부에 의하여 감지되는 객체 및 상기 객체에 관한 정보가 유/무선 통신을 통해 상기 야간 영상출력장치(1000)로 제공될 수 있다.
도 8은 본 실시예에 따른 야간 영상출력장치(1000)의 제어방법을 설명하기 위한 흐름도이고, 도 9a 및 도 9b는 도 8의 야간 영상출력장치(1000)의 제어방법을 설명하기 위한 개념도이다.
상기 제어부(300)는 상기 차량이 운행되는 동안 레이더부(400)를 활성화시킨다(S510). 상기 레이더부(400)는 상기 촬영부(100)와 인접하게 배치되거나, 검출범위 및 촬영범위가 실질적으로 동일하도록 배치되는 것이 바람직하다.
상기 제어부(300)는 상기 레이더부(400)에 의하여 장애물(또는 목표물)이 감지되는 경우, 상기 촬영부(100)를 활성화시킨다. 즉, 상기 제어부(300)는 상기 광펄스 출력부(110)에 의하여 광펄스를 출력하고, 상기 이미지센서(120)를 활성화시킨다.
또한, 상기 제어부(300)는 상기 레이더부(400)에 의하여 수신된, 상기 장애물에 관한 정보를 이용하여 이미지 정보를 획득하기 위한 거리범위를 설정할 수 있다. 상기 제어부(300)는 상기 거리정보를 이용하여 상기 장애물이 검출된 거리범위의 영상을 출력한다(S530). 상기 제어부(300)는 상기 장애물에 대한 이미지를 포함하는 최종영상이 출력된 이후, 상기 레이더에 의하여 상기 차량이 상기 장애물이 감지되지 아니하는 경우 상기 디스플레이부(200)가 다시 비활성화되도록 제어할 수 있다.
상기 제어부(300)는 상기 레이더(400)에 의한 장애물의 감지여부에 근거하여 상기 촬영부(100) 및 상기 디스플레이부(200)를 모두 제어하거나, 상기 디스플레이부(200)만을 비활성화 상태에서 활성화 상태로 전환하도록 제어할 수 있다.
도 9b를 참조하면, 특정 거리범위의 제1 영상(510a)이 출력되고 있는 상태에서, 상기 레이더부(400)에 의하여 장애물이 감지되는 경우 다른 거리범위의 제2 영상(510b)을 출력하도록 상기 디스플레이부(200)를 제어한다. 상기 제어부(300)는 상기 레이더부(400)에 의하여 상기 장애물에 대한 정보를 이용하여 상기 광펄스 출력부(110) 및 이미지센서(120)를 제어한다.
본 실시에에 따르면, 차량의 운행에 위험이 감지되는 경우 장애물에 대한 이미지를 디스플레이부(200) 상에 출력해주므로, 운전자는 장애물의 위험을 바로 파악할 수 있다. 따라서, 운전자가 위험을 피하기 위한 조치를 즉각적으로 취할 수 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (16)

  1. 광펄스를 출력하는 광펄스 출력부 및 외부 객체에 의하여 반사된 광펄스를 이용하여 복수의 영상을 형성하는 이미지 센서로 이루어지는 촬영부;
    상기 복수의 영상을 합성한 최종 영상을 출력하는 디스플레이부; 및
    상기 최종 영상의 각 픽셀에 대한 복수의 영상의 광량비 및 거리에 대한 광량비의 데이터를 이용하여, 각 픽셀에 표시되는 객체의 거리정보를 산출하는 제어부를 포함하는 야간 영상출력장치.
  2. 제1항에 있어서,
    상기 제어부는 제1 주기로 특정 시간씩 광펄스를 출력하도록 상기 광펄스 출력부를 제어하고,
    상기 광펄스가 출력되지 아니하는 휴지기에 제2 주기로 제1 시간씩 제1 게이트를 활성화시켜 제1 게이트 영상을 형성하고,
    상기 제1 게이트가 비활성화되면, 상기 휴지기에 상기 제2 주기로 제2 시간씩 제2 게이트를 활성화시켜 제2 게이트 영상을 형성하고,
    상기 제2 시간은 상기 제1 시간보다 짧은 것을 특징으로 하는 야간 영상 출력장치.
  3. 제2항에 있어서,
    상기 광펄스의 출력이 차단되는 시점에서 상기 제1 게이트가 비활성화되는 시점의 시간차와 상기 광펄스의 출력이 차단되는 시점에서 상기 제2 게이트가 비활성화되는 시점의 시간차는 동일한 것을 특징으로 하는 야간 영상 출력장치.
  4. 제2항에 있어서,
    상기 제어부는 제1 횟수만큼 상기 제1 게이트를 활성화한 후, 제2 횟수만큼 상기 제2 게이트를 활성화시키며,
    상기 제1 및 제2 게이트 영상에 포함되는 광량을 각각 상기 제1 및 제2 횟수로 나눈 후, 상기 광량비를 산출하는 것을 특징으로 하는 야간 출력장치.
  5. 제1항에 있어서,
    상기 제어부는 제1 주기로 특정 시간씩 상기 이미지 센서의 게이트를 활성화시켜 영상을 형성하고,
    상기 제어부는 상기 게이트가 비활성화되는 동안 광량이 점차적으로 감소하는 제1 패턴으로 상기 광펄스를 제2 주기로 출력하도록 상기 광펄스 출력부를 제어하고,
    상기 제1 패턴으로 제1 횟수번 상기 광펄스를 출력한 후, 상기 제1 패턴과 다른 제2 패턴으로 상기 광펄스를 출력하도록 상기 광펄스 출력부를 제어하는 것을 특징으로 하는 야간 출력장치.
  6. 제5항에 있어서,
    상기 제어부는 제1 패턴의 광펄스로 형성된 제1 영상 및 제2 패턴의 광펄스로 형성된 제2 영상을 이용하여 각 픽셀에 대한 광량비를 형성하고,
    거리에 대한 광량비에 관한 데이터를 이용하여 각 픽셀에 출력되는 이미지의 거리를 산출하는 것을 특징으로 하는 야간 출력장치.
  7. 제5항에 있어서,
    상기 광펄스 출력부는 복수의 조명을 포함하고,
    상기 제어부는 상기 복수의 조명 중 일부를 점차적으로 오프 시켜 상기 광량을 감소시키는 것을 특징으로 하는 야간 출력장치.
  8. 제1항에 있어서,
    상기 제어부는 상기 거리에 관한 정보를 상기 최종영상과 함께 출력하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 야간 출력장치.
  9. 제8항에 있어서,
    상기 디스플레이부는 상기 거리에 관한 정보를 통하여 상기 최종영상에 포함되는 이미지의 색을 서로 다르게 출력하거나, 거리에 관한 정보를 나타내는 텍스트를 출력하는 것을 특징으로 하는 야간 출력장치.
  10. 제1항에 있어서,
    전자기파를 출력하여 객체를 감지하는 레이더부를 더 포함하고,
    상기 제어부는 상기 레이더부에 의하여 상기 객체가 감지되면, 상기 디스플레이부를 활성화시키는 것을 특징으로 하는 야간 출력장치.
  11. 제10항에 있어서,
    상기 제어부는 상기 레이더부에 의하여 상기 객체가 감지되는 경우 상기 촬영부를 활성화시키고,
    상기 제어부는 상기 레이더부에 의하여 감지되는 상기 객체의 거리 정보에 근거하여 상기 이미지센서 또는 상기 펄스 출력부의 활성화 주기 및 활성화 시간을 설정하는 것을 특징으로 하는 야간 출력장치.
  12. 제10항에 있어서,
    상기 디스플레이부 상에 상기 최종영상이 출력되는 중에, 상기 레이더부에 의하여 상기 객체가 감지되는 경우,
    상기 제어부는 상기 객체의 이미지를 출력하기 위하여, 상기 객체의 거리정보에 근거하여 상기 이미지센서 또는 상기 펄스 출력부의 활성화 주기 및 활성화 시간을 설정하는 것을 특징으로 하는 야간 출력장치.
  13. 제1 주기로 광펄스를 출력하는 단계;
    제2 주기로 제1 시간씩 활성화되어, 상기 광펄스를 감지하고 제1 게이트 영상을 형성하는 단계;
    상기 제2 주기로 상기 제1 시간보다 짧은 제2 시간씩 활성화되어, 상기 광펄스를 감지하고 제2 게이트 영상을 형성하는 단계;
    상기 제1 및 제2 게이트 영상을 이용하여 각 픽셀에 대한 광량비를 산출하는 단계; 및
    상기 광량비 및 거리에 대한 광량비에 관한 데이터를 이용하여 상기 각 픽셀에 표시되는 이미지의 거리를 산출하는 단계; 및
    상기 제1 및 제2 게이트 영상을 이용한 최종 영상을 출력하는 단계로 이루어지는 야간 영상처리 방법.
  14. 제13항에 있어서,
    제2 주기로 제1 시간씩 활성화되어, 상기 광펄스를 감지하고 제1 게이트 영상을 형성하는 단계는 제1 횟수만큼 반복되고,
    상기 제2 주기로 상기 제1 시간보다 짧은 제2 시간씩 활성화되어, 상기 광펄스를 감지하고 제2 게이트 영상을 형성하는 단계는 제2 횟수만큼 반복되며,
    상기 광량비 및 거리에 대한 광량비에 관한 데이터를 이용하여 상기 각 픽셀에 표시되는 이미지의 거리를 산출하는 단계는, 상기 제1 게이트 영상의 광량을 제1 횟수로 나누고, 상기 제2 게이트 영상의 광량을 제2 횟수로 나누는 단계를 포함하는 것을 특징으로 하는 야간 영상처리방법.
  15. 제13항에 있어서,
    상기 제1 주기로 광펄스를 출력하는 단계 및 제2 주기로 제1 시간씩 활성화되어, 상기 광펄스를 감지하고 제1 게이트 영상을 형성하는 단계 이전에, 외부 객체를 감지하는 레이더부를 활성화하는단계; 및
    상기 외부 객체가 감지되면, 상기 제1 주기로 광펄스를 출력하는 단계 및 제2 주기로 제1 시간씩 활성화되어, 상기 광펄스를 감지하고 제1 게이트 영상을 형성하는 단계가 수행되는 것을 특징으로 하는 야간 영상처리방법.
  16. 제1 주기로 이미지 센서를 활성화시키는 단계;
    상기 이미지 센서가 비활성화 되는 동안 제2 주기로 제1 패턴의 광펄스를 출력하는 단계;
    상기 이미지 센서에 의하여 제1 영상을 형성하는 단계;
    상기 이미지 센서가 비활성화 되는 동안 상기 제2 주기로 제2 패턴의 광펄스를 출력하는 단계;
    상기 이미지 센서에 의하여 제2 영상을 형성하는 단계;
    상기 제1 및 제2 영상을 이용하여 각 픽셀의 광량비를 산출하는 단계;
    상기 광량비 및 거리에 대한 광량비에 관한 데이터를 이용하여 상기 각 픽셀에 표시되는 이미지의 거리를 산출하는 단계;
    상기 제1 및 제2 영상을 통한 최종영상을 출력하는 단계를 포함하고,
    상기 제1 및 제2 패턴은 상기 광펄스가 출력되는 시간이 서로 다르도록 설정되는 것을 특징으로 하는 야간 영상처리방법.
KR1020150186740A 2015-12-24 2015-12-24 야간 영상표시 장치 및 그 영상처리 방법 KR102512729B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150186740A KR102512729B1 (ko) 2015-12-24 2015-12-24 야간 영상표시 장치 및 그 영상처리 방법
EP16879069.9A EP3395636B1 (en) 2015-12-24 2016-02-05 Night image display apparatus and image processing method thereof
CN201680075684.9A CN108430851B (zh) 2015-12-24 2016-02-05 夜间图像显示装置及其图像处理方法
US16/065,764 US10830891B2 (en) 2015-12-24 2016-02-05 Night image display apparatus and image processing method thereof
PCT/KR2016/001346 WO2017111201A1 (ko) 2015-12-24 2016-02-05 야간 영상표시 장치 및 그 영상처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150186740A KR102512729B1 (ko) 2015-12-24 2015-12-24 야간 영상표시 장치 및 그 영상처리 방법

Publications (2)

Publication Number Publication Date
KR20170076457A true KR20170076457A (ko) 2017-07-04
KR102512729B1 KR102512729B1 (ko) 2023-03-22

Family

ID=59090621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150186740A KR102512729B1 (ko) 2015-12-24 2015-12-24 야간 영상표시 장치 및 그 영상처리 방법

Country Status (5)

Country Link
US (1) US10830891B2 (ko)
EP (1) EP3395636B1 (ko)
KR (1) KR102512729B1 (ko)
CN (1) CN108430851B (ko)
WO (1) WO2017111201A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113803A1 (zh) * 2015-12-28 2017-07-06 林涛 一种便携式无线汽车防撞系统及数据处理方法
US11560091B2 (en) * 2016-06-13 2023-01-24 Lg Electronics Inc. Night vision display device
JP6555482B2 (ja) * 2016-11-01 2019-08-07 トヨタ自動車株式会社 車両走行制御装置
CN110471402A (zh) * 2018-05-09 2019-11-19 陕西外号信息技术有限公司 对能够自主移动的机器进行导引的系统和方法
US10958830B2 (en) 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030155513A1 (en) * 2002-02-21 2003-08-21 Ford Global Technologies, Inc. Active night vision system for vehicles employing short-pulse laser illumination and a gated camera for image capture
KR20100011676A (ko) * 2008-07-25 2010-02-03 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
US20120086781A1 (en) * 1998-09-28 2012-04-12 Microsoft International Holdings B.V. 3D Vision On A Chip
KR101180027B1 (ko) * 2011-03-10 2012-09-06 디나스트 광센서 및 이를 이용한 감지 방법
KR20130053104A (ko) * 2011-11-15 2013-05-23 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6828544B2 (en) 2002-06-12 2004-12-07 Ford Global Technologies, Llc Active night vision system for vehicles employing anti-blinding scheme
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP4981780B2 (ja) * 2008-10-20 2012-07-25 本田技研工業株式会社 測距システム及び測距方法
CN102685516A (zh) 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
KR101739163B1 (ko) 2013-02-21 2017-06-08 주식회사 만도 차량 카메라의 영상 보정 방법 및 이를 이용하는 영상 처리 장치
JP2015144327A (ja) 2014-01-31 2015-08-06 株式会社 日立産業制御ソリューションズ 撮像装置
KR101579098B1 (ko) 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
IL235359A0 (en) * 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source
CN104442571B (zh) * 2014-11-26 2016-06-01 重庆长安汽车股份有限公司 一种夜视导航集成系统及控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120086781A1 (en) * 1998-09-28 2012-04-12 Microsoft International Holdings B.V. 3D Vision On A Chip
US20030155513A1 (en) * 2002-02-21 2003-08-21 Ford Global Technologies, Inc. Active night vision system for vehicles employing short-pulse laser illumination and a gated camera for image capture
KR20100011676A (ko) * 2008-07-25 2010-02-03 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
KR101180027B1 (ko) * 2011-03-10 2012-09-06 디나스트 광센서 및 이를 이용한 감지 방법
KR20130053104A (ko) * 2011-11-15 2013-05-23 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들

Also Published As

Publication number Publication date
EP3395636B1 (en) 2022-03-30
US10830891B2 (en) 2020-11-10
WO2017111201A1 (ko) 2017-06-29
US20190011564A1 (en) 2019-01-10
EP3395636A4 (en) 2019-07-24
CN108430851B (zh) 2021-03-09
KR102512729B1 (ko) 2023-03-22
EP3395636A1 (en) 2018-10-31
CN108430851A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
KR101946941B1 (ko) 야간 영상표시 장치
KR20170076457A (ko) 야간 영상표시 장치 및 그 영상처리 방법
US20210295065A1 (en) Object identification system
KR101993104B1 (ko) 차량 상태 표시 시스템
US9694736B2 (en) Vehicle state indication system
RU2675719C1 (ru) Устройство и способ отображения транспортного средства
US9878659B2 (en) Vehicle state indication system
EP2910971A1 (en) Object recognition apparatus and object recognition method
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
US10124729B2 (en) Method and apparatus for providing driving information
JP5353999B2 (ja) 運転者支援装置
JP7000639B2 (ja) インテリジェント路側ユニット
RU2724935C1 (ru) Способ и система оповещения водителя грузового автомобиля
JP6211113B2 (ja) 車両接近検出装置
CN103852754A (zh) 飞行时间(tof)测量系统中的干扰抑制的方法
EP2995522A3 (en) Detection system for color blind drivers
JP6299182B2 (ja) 死活監視システム
CN112639509B (zh) 一种雷达功率控制方法及装置
JP2018110057A (ja) 照明システム、照明方法及びプログラム
US20220011440A1 (en) Ranging device
JP2010088045A (ja) ナイトビューシステム、夜間歩行者表示方法
KR102428660B1 (ko) 차량 및 차량의 제어방법
KR101523046B1 (ko) 영상처리기반의 거리 측정장치
KR102460043B1 (ko) 차량의 적응형 순항 제어를 위한 추월 가속 지원
US20180128905A1 (en) Scanning lidar for an automated vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right