KR101899529B1 - 물체 검출을 위한 방법 및 3d 카메라 - Google Patents

물체 검출을 위한 방법 및 3d 카메라 Download PDF

Info

Publication number
KR101899529B1
KR101899529B1 KR1020167007512A KR20167007512A KR101899529B1 KR 101899529 B1 KR101899529 B1 KR 101899529B1 KR 1020167007512 A KR1020167007512 A KR 1020167007512A KR 20167007512 A KR20167007512 A KR 20167007512A KR 101899529 B1 KR101899529 B1 KR 101899529B1
Authority
KR
South Korea
Prior art keywords
camera
measurement data
radar
vehicle
sensor
Prior art date
Application number
KR1020167007512A
Other languages
English (en)
Other versions
KR20160045857A (ko
Inventor
미카엘 살멘
프레드리히 클라에존
카를 프레드릭 울베리
미카엘 린드베리
Original Assignee
스카니아 씨브이 악티에볼라그
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스카니아 씨브이 악티에볼라그 filed Critical 스카니아 씨브이 악티에볼라그
Publication of KR20160045857A publication Critical patent/KR20160045857A/ko
Application granted granted Critical
Publication of KR101899529B1 publication Critical patent/KR101899529B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H04N5/2257—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

영역(140)에서 물체(130)를 검출하기 위한 방법(400) 및 차량용 3D 카메라(110)를 개시한다. 방법(400)은 제1 센서 설정을 이용하여 3D 카메라(110) 내의 센서(310)에 의해 영역(140)과 관련된 측정 데이터를 수집하는 단계(401), 레이더(120)로부터 영역(140)과 관련된 측정 데이터를 수신하는 단계(402), 및 단계(401)에서 수집된 측정 데이터를 단계(402)에서 레이더(120)로부터 수신된 측정 데이터와 함께 해석하는 것에 기초하여 물체(130)를 검출하는 단계(405)를 포함한다.

Description

물체 검출을 위한 방법 및 3D 카메라{METHOD AND 3D CAMERA FOR DETECTION OF OBJECT}
본 발명의 명세서에서는 3D 카메라 및 3D 카메라에서 수행되는 방법을 설명한다. 구체적으로는 3D 카메라에 의해 수집된 측정 데이터를 레이더로부터 수신된 측정 데이터와 함께 해석하는 것에 기초하여 물체를 검출하기 위한 메커니즘을 설명한다.
차량 운전자를 보조하고 예를 들어 선도 차량 또는 다른 물체까지의 거리를 결정하도록 때로는 차량에 3D 카메라가 배치된다. 이러한 3D 카메라는, 본 발명의 명세서에서 사용되는 의미로는, 예를 들어 타임오프플라이트(ToF: Time of Flight) 카메라, 스테레오 카메라, 광계(light-field) 카메라 등으로 이루어질 수 있다.
3D 카메라는 변조된 광파를 방출하고, 물체로부터 반사되는 상응하는 광파를 검출하고, 반사된 광파의 방출된 광파에 대한 시프트(shift)를 측정하는 것에 의해 물체까지의 거리를 결정할 수 있다. 빛의 파장과 속도를 알고 있기 때문에 거리가 계산될 수 있다.
3D 카메라의 한 가지 문제점은 차량들이 보통 각기 다른 정도로 빛을 반사하는 각기 다른 표면들을 구비한다는 점이다. 예를 들어, 금속 도장을 구비한 차량 본체는 빛을 아주 잘 반사하는 반면, 동일한 차량의 창은 아주 적은 빛을 반사할 것이다. 이는 어떤 물체로부터 반사되는 빛이 3D 카메라가 신뢰할 수 있는 측정을 행할 수 있기에는 너무 적게 되는 결과를 초래할 수 있다. 최악의 경우, 물체가 3D 카메라에 의해 검출되지 않는 결과를 초래하거나, 혹은 물체의 크기 및/또는 물체까지의 거리에 대한 잘못된 평가가 이루어질 수도 있다. 그렇지 않으면, 3D 카메라는 서로 별개인 다수의 물체들이 있는 것으로 결정할 수 있다.
3D 카메라와 관련된 다른 문제는 예를 들어 차량 근처에 사람이 위치해 있을 때 또는 일단의 사람들이 횡단보도를 건널 때 일어날 수 있다. 이런 경우 3D 카메라는 사람과 차량을 구별하는 데 어려움을 겪을 수 있고, 이들을 서로 붙어 있는 단일의 물체로 해석할 수 있다.
또한, 3D 카메라는, 물체가 예를 들어 막대기인지 또는 (굉장히 마르고 등이 꼿꼿한) 사람인지, 혹은 콘크리트 장애물과 동물 사이에 있는지 결정하는 데 어려움을 겪을 수 있다. 이는 회피 기동과 함께 긴급 제동이 수행될 필요가 있고 전방에 놓여 있는 물체를 우선시해야할 필요가 있는 돌발 상황에서 문제가 될 수 있다.
3D 카메라를 이용한 물체의 거리 측정 및 검출을 개선하기 위해 행해야 할 것들이 많다는 것은 확실하다.
따라서 본 발명의 일 목적은, 상술한 문제점들 중 적어도 하나를 해결하고 이에 의해 영역에서의 물체 검출을 개선하기 위하여 3D 카메라에 의한 물체 검출을 개선하는 데 있다.
본 발명의 제1 태양에 따르면, 이러한 목적은 영역에서 물체를 검출하도록 구성된 차량용 3D 카메라에서 수행되는 방법을 이용하여 달성된다. 방법은 3D 카메라의 센서를 이용하여 영역과 관련된 데이터를 수집하고 측정하는 단계를 포함하는데, 센서는 소정의 센서 설정을 구비한다. 방법은 레이더로부터 영역과 관련된 데이터를 수신하는 단계를 더 포함한다. 방법은 또한 수집된 측정 데이터를 레이더로부터 수신된 측정 데이터를 함께 해석하는 것에 기초하여 물체를 검출하는 단계도 포함한다.
제2 태양에 따르면, 이러한 목적은 영역에서 물체를 검출하도록 구성된 차량용 3D 카메라를 이용하여 달성된다. 이러한 3D 카메라는 영역과 관련된 측정 데이터를 수집하도록 구성된 센서를 포함하는데, 센서는 소정의 센서 설정을 구비한다. 3D 카메라는 또한 영역과 관련된 측정 데이터를 포함하는 신호를 레이더로부터 수신하도록 구성된 수신기도 포함한다. 3D 카메라는 수집된 측정 데이터를 레이더로부터 수신된 측정 데이터를 함께 해석하는 것에 기초하여 물체를 검출하도록 구성된 프로세서 카드를 더 포함한다.
레이더 및 3D 카메라에 의해 검출된 측정 데이터를 보충하는 레이더로부터의 측정 데이터를 이용하는 것에 의해서, 그리고 어떤 실시예들에 따라, 레이더로부터 수신된 측정 데이터에 기초하여 3D 카메라의 센서 설정을 조정하는 것에 의해, 예를 들어 신호를 잘 반사하지 않는 물체로 인해 발생되는 오검출 또는 검출 누락의 위험이 감소될 수 있다. 이에 의해 소정의 측정 거리 이내에 있는 물체를 검출함에 있어서 개선이 이루어질 수 있고 결과에 대한 높은 신뢰성이 얻어질 수 있다. 또한, 딱딱한 물체와 부드러운 물체 간에 구별을 할 수 있는데, 이는 레이더가 딱딱한 물체를 검출하는데 적합하지만 부드러운 물체를 검출하는 데에는 덜 적합한 반면, 3D 카메라는 어떤 경우에는 그 자체로는 어떤 유형의 딱딱한 물체를 검출하는데 어려움을 겪을 수 있기 때문이다. 외부 계산 유닛에 의하지 않고 레이더로부터 수신한 보조 정보를 이용하여 3D 카메라로의 측정 정보를 보충하면 유닛들 사이에서 전달될 필요가 있는 데이터의 양을 줄일 수 있고, 이에 따라 훨씬 신속하게 물체를 검출할 수 있게 된다. 이에 따라 3D 카메라가 물체를 검출하는데 소요되는 시간이 줄어드는 것은 안전성 측면에서 중요한데, 이는 운전자에게 더 빨리 경고할 수 있고 운전자의 반응 시간이 더 길어질 수 있거나 혹은 자동 제동을 작동시키거나 혹은 에어백 등을 작동시킬 수 있기 때문이다.
그러면, 물체의 개선된 검출과 분류 가능성이 예를 들어, 경고음을 발생시키는 것, 차량을 제동하는 것, 부드러운 물체와의 충돌을 피하도록 차량의 회피 기동을 개시하는 것, 부드러운 물체와의 충돌이 임박한 때에 차량 외부에 있는 에어백을 작동시키는 것 등과 같은 사고 가능성이 있는 경우에서의 소정의 사고 방지 조치 또는 부상 감소 조치를 차량에서 수행하기 위해 사용될 수 있다. 이에 의해 영역에서의 물체 검출이 개선되고 높은 신뢰성이 달성된다.
이하, 첨부 도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다.
도 1의 (a)는 일 실시예에 따라 3D 카메라와 레이더를 구비한 차량이 물체를 검출하는 시나리오를 도시한 도면이다.
도 1의 (b)는 3D 카메라가 그 주변을 인식하는 방법의 일예를 도시한 도면이다.
도 1의 (c)는 레이더가 동일한 주변을 인식하는 방법의 일예를 도시한 도면이다.
도 1의 (d)는 3D 카메라와 레이더에 의해 획득된 측정 데이터를 결합하여 나타낸 도면이다.
도 2의 (a)는 일 실시예에 따라 3D 카메라와 레이더를 구비한 차량이 물체를 검출하는 시나리오를 도시한 도면이다.
도 2의 (b)는 3D 카메라와 레이더에 의해 획득된 측정 데이터를 결합하여 제시된 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따라 도시한 복합 흐름도 및 블록도이다.
도 4는 본 발명의 일 실시예를 도시하는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 3D 카메라에 연결된 계산 유닛을 도시한 도면이다.
본 발명의 실시예들은 방법과 3D 카메라를 포함하는데, 이들은 하기에서 설명하는 예들 중 임의의 것에 따라 구현될 수 있다. 그러나, 본 발명은 각기 다른 많은 형태들로 구현될 수 있고, 본 명세서에서 설명한 실시예들로 한정되는 것으로 보아서는 아니 되는데, 본 명세서에서 설명한 실시예들은 오히려 본 발명의 여러 가지 태양들을 명확하고 분명하게 설명하기 위한 목적으로 제시된 것이다.
본 발명의 추가적인 태양들과 특징들은 첨부 도면을 참조하여 하기의 상세한 설명을 읽으면 명확히 알 수 있다. 그러나, 도면들은 본 발명의 각기 다른 실시예들의 예시로만 보아야 하며, 본 발명을 한정하는 것으로 보아서는 아니 된다. 본 발명은 첨부된 특허청구범위에 의해서만 한정된다. 또한, 도면들은 반드시 그 축척을 맞추지는 않았으며, 따로 구체적으로 명시하지 않는 한 본 발명의 태양들을 개념적으로 도시하고 있다.
도 1의 (a)는 3D 카메라(110)와 레이더(120)를 구비한 차량(100)을 도시하고 있다. 3D 카메라(110)는 예를 들어 ToF 카메라, 스테레오 카메라, 광계 카메라 또는 이와 유사한 종류의 광학 센서로 이루어질 수 있다.
3D 카메라(110)는 정해진 측정 영역(140) 내에 위치된 물체(130)의 존재와 물체(130)까지의 거리를, 변조된 광파를 방출하고 물체(130)로부터 반사되는 상응하는 광파를 검출하고 반사된 광파의 방출된 광파에 대한 시프트를 측정하는 것에 의해 결정할 수 있다. 빛의 파장과 속도는 알고 있는 파라미터들이기 때문에 물체(130) 및 물체의 여러 표면들까지의 거리가 계산될 수 있다. 도시된 예에서, 물체(130)는 두 개의 소물체들, 즉 스포츠카(130-1)와 스포츠카의 운전자(130-2)를 포함한다.
ToF 카메라는, 일련의 화상들을 찍고 물체까지의 거리를 광 신호가 카메라와 표적/물체 사이를 통과하는 시간을 측정하는 것에 의해 알고 있는 빛의 속도에 기초하여 측정하는 카메라 시스템이다.
레이더(120)(레이더(radar)는 영어 "Radio Detection and Ranging(무선 검출 및 거리 측정)"의 머리글자를 따서 만든 단어이지만, 레이더가 작동하는 방식을 "반영"하는 회문(palindrome)이기도 함)는 전파를 이용하여 물체(130)의 거리 측정을 수행한다. 전파 신호는 방출되고, 물체(130)에 의해 반사되며, 그런 다음 반사된 신호는 레이더(120)에 의해 검출된다.
본 발명의 일 실시예에 따르면, 3D 카메라는 도시된 예에서는 차량(100)의 전방에 있는 측정 영역 내의 측정 데이터를 수집한다. 3D 카메라는 또한 레이더(120)에 의해 측정 영역으로부터 수집된 측정 데이터를 수신한다. 빛 보다는 전파에 기초하여 다른 방법으로 작동하는 레이더(120)로부터의 보조 정보에 3D 카메라가 접근할 수 있기 때문에, 3D 카메라(110) 내의 로직(logic)은 수집된 측정 데이터를 해석하는 방법, 예컨대 물체(130)에서 측정 지점들을 클러스터링하는 방법에 대한 결론을 이끌어낼 수 있고, 제1 물체(130-1) 및 그 근처에 있거나 혹은 겹쳐 있는 제2 물체(130-2) 간의 경계를 정할 수 있다. 3D 카메라(110)는 또한 레이더(120)로부터 수신된 보조 정보를 사용하여, 예컨대 레이더(120)가 3D 카메라(110)가 인식하는 데 어려움을 겪었던 물체, 예컨대 투명하거나 혹은 반사율이 낮은 물체의 존재를 지시하는 측정 데이터를 보내는 경우에, 카메라 자신이 수집했던 측정 데이터가 불완전하거나 혹은 신뢰성이 없다는 결론을 이끌어 낼 수 있다. 이에 따라, 이러한 물체의 존재를 더 잘 결정할 수 있도록 예컨대 방출광을 변조하거나, 노출 시간, 방출광의 파장, 광강도 또는 이와 유사한 파라미터를 변경하거나 혹은 다수의 센서 설정들을 변경하는 것에 의해 3D 카메라(110)를 교정하는 것도 가능하다. 어떤 실시예들에서는, 3D 카메라(110)가 레이더(120)로부터의 보조 정보를 사용하여 3D 카메라(110)가 이미 검출했던 물체(130)의 존재를 확인할 수 있는데, 이로 인해 검출의 신뢰성이 높아진다. 이에 따라 3D 카메라는 수집된 측정 데이터를 레이더(120)로부터 수신된 측정 데이터와 함께 해석하는 것에 기초하여 물체(130)를 검출할 수 있다.
물체(130)는 차량, 도로 표지판, 보행자, 동물, 벽, 빌딩, 나무 등과 같은 하나 이상의 별개의 물체들로 이루어질 수 있다. 본 실시예의 경우, 제1 물체(130-1)와 제2 물체(130-2)가 측정 영역(140) 내에 존재한다. 제1 물체(130-1)는 여기서 차량으로 이루어지고, 제2 물체(130-2)는 차량의 운전자로 이루진다.
설명하고 있는 방법 또는 3D 카메라에게는 물체(130)가 움직이고 있는지 혹은 정지해 있는지 여부는 중요하지 않다. 또한 본 발명의 방법은 3D 카메라가 차량(100)에 설치되어 있는지 혹은 그렇지 않은지 여부 및 상기 선택적인 차량(100)이 정지해 있는지 혹은 움직이고 있는지 여부와도 무관하다. 예컨대 다리 위의 차량 통행을 검출하도록, 페리(ferry)로의 차량 승선을 검출하도록, 구역 감시를 위해 차량 통행을 검출하도록 또는 이와 유사한 목적으로 차량 통행을 검출하도록 정지해 있는 물체에 3D 카메라가 설치되는 실시예도 생각할 수 있다.
차량(100)은, 본 발명의 명세서에서 사용되는 의미로는, 예를 들어 수송 차량(goods vehicle), 장거리 세미 트럭(long-haul semi), 운반 차량(transport vehicle), 개인용 차량, 긴급 차량, 승용차(car), 궤도 차량, 버스, 보트, 페리, 수륙양용 차량, 비행기, 헬리콥터 또는 이와 유사한 기타 수상, 공중 또는 육상에서의 지리적 이동을 위해 구성된 모터 구동식의 유인 또는 무인 운반 수단을 말한다.
예를 들어, 3D 카메라(110) 및/또는 레이더(120)는, 생각할 수 있는 설치 장소들의 예들을 단지 몇 개만 들자면, 차량(110)의 운전실 내에, 운전실의 지붕에 또는 차량(100) 뒤에 있는 물체(130)를 검출할 수 있도록 차량 뒤에 배치될 수 있다. 레이더(120)는, 예를 들어, 전방향성일 수 있고 차량의 후사경에 수납될 수 있다. 이에 의해, 어떤 실시예들에 따르면, 운전석에서는 운전자의 시야가 제한적이거나 혹은 시야가 존재하지 않는 방향에 위치된 물체(130)가 검출될 수 있다.
이 예에서, 제1 물체(130-1)는 3D 카메라(110)에 의해 방출되는 빛을 아주 잘 반사하는 밝은 금속 색상의 스포츠카로 이루어지는 반면, 많은 유리창들과 투명한 플라스틱 지붕은 차량의 흐릿한 타이어가 그러하듯이 빛을 잘 반사하지 않는다. 이에 따라 3D 카메라는 영역(140) 내의 물체(130)를 도 1의 (b)에 도시된 방식으로 인식하게 된다.
다른 한편, 전파 신호를 방출하고 반사되는 전파 신호를 검출하는 레이더(120)는 차량, 즉 제1 물체(130)의 유리 표면들 또는 투명한 플라스틱 지붕을 검출하는 데 문제가 없지만, 반대로 제2 물체(130-2). 즉 차량 운전자에 의해서는 전파 신호가 단지 조금만 반사될 수 있기 때문에 제2 물체를 인식하는 데 문제가 있을 수 있다. 그러면, 아마도 레이더(120)는 영역(140) 내의 물체(130)를 예를 들어 도 1의 (c)에 도시된 방식으로 인식할 것이다.
본 발명의 일 실시예에 따르면, 레이더(120)는 측정 데이터를 3D 카메라에 의해 인식된 측정 데이터를 레이더에 의해 수신된 측정 데이터와 비교하도록 구성된 3D 카메라(110)로 전송한다. 보통은 영역(140) 내의 적어도 몇몇 측정점들이 3D 카메라(110)와 레이더(120) 둘 다에 의해 검출될 것이기 때문에, 영역(140) 내의 검출들의 비교와 같은 측정 데이터의 적응화가 수행될 수 있다. 이러한 비교의 예가 도 1의 (d)에 도시되어 있다.
도 1의 (b)는 물체(130)가 금속 도장된 스포츠카(130-1) 및 그 운전자(130-2)로 이루어져 있을 때 3D 카메라(110)가 거리(140) 내에 있는 물체(130)를 인식할 수 있는 방식의 예를 도시한다.
스포츠카(130-1)의 유리창들과 투명 플라스틱 지붕은, 특히 빛을 아주 잘 반사하는 금속 도장과 비교하여, 방출된 빛을 잘 반사하지 않는다. 또한, 레이더(120)로부터의 보조 정보 없이는 3D 카메라가 딱딱한 물체와 부드러운 물체를 서로 구별하는 것이 어려울 수 있기 때문에, 3D 카메라는 스포츠카(130-1)와 그 운전자(130-2)를 단일의 물체로, 또는 왜건(wagon)/유모차/카트 등을 가지고 있는 사람으로, 또는 예를 들어 횡단보도에 있는 일단의 사람들로 인식할 것이다.
도 1의 (c)는 레이더(120)가 도 1의 (b)의 3D 카메라와 동일한, 영역(140) 내의 물체(130)를 인식할 수 있는 방식의 예를 도시한다.
레이더(120)는 차량(130-1)의 유리나 금속과 같은 딱딱한 표면을 잘 인식하지만, 반대로 차량 운전자(130-2)와 같은 부드러운 물체는 잘 인식하지 못하거나 혹은 전혀 인식하지 못한다.
도 1의 (d)는 3D 카메라(110)와 레이더(120) 둘 다에 의해 상기 영역(140) 내에서 검출된 화상 정보를 병합한 예를 도시한다.
3D 카메라(110)로부터 획득된 화상 정보를 레이더(120)에 의해 검출된 추가 정보로 보충하는 것에 의해 영역(140) 내의 상황에 대한 더 완전하고 정확한 정보를 획득할 수 있다. 또한, 차량과 같은 딱딱한 물체(130-1)와 사람이나 동물과 같은 부드러운 물체(130-2)를 구별하는 것이 가능해진다. 이 정보는 예를 들어 긴급 상황에서 딱딱한 물체(130-1)를 향해 회피 기동을 수행함으로써 부드러운 물체(130-2)인 사람/동물의 부상을 방지하기 위해 사용될 수 있다. 어떤 실시예들에서는, 딱딱한 물체(130-1)와의 충돌이 임박했을 때 운전석에 의해 차량(100) 내에서 에어백을 작동시키는 것 또는 사람이나 동물과 같은 부드러운 물체(130-2)와의 충돌이 임박했을 때 예컨대 범프에서 팽창되는 차량(1000) 전방의 에어백들을 작동시키는 것과 같은 부상을 감소시키는 안전 조치들을 수행하기 위해 정보가 사용될 수 있다. 이는 불확실성이 너무 크기 때문에 종래 기술을 사용해서는 가능하지 않다. 또한 차도와 일치하거나 혹은 차도 근처에 있는 측정 영역(140) 내에서 부드러운 물체(130-2)가 검출되면 300미터 전방의 도로가에 서 있는 엘크(elk)와 같은 부드러운 물체에 대해 운전자에게 경고하는 알람이 작동될 수 있다. 어떤 실시예들에서는, 충돌이 임박하면 부드러운 물체(130-2)로부터 멀리 회피 기동을 하는 것, 제동을 개시하는 것, 차량(100) 내의 좌석벨트를 조이는 것 등과 같은 사고 제한 조치가 작동될 수 있다.
도 2의 (a)는 일 실시예에 따라 3D 카메라(110)와 레이더(120)를 구비한 차량(100)이 측정 영역(140) 내에 있는 물체(130)를 검출하는 다른 시나리오를 도시한다.
이 시나리오에서는, (스톡홀름의 세르겔 광장의 로터리 근처에 있는 것 같은) 유리 조각품과 같은 딱딱하고 투명한 제1 물체(130-1) 및 개와 같은 부드러운 물체(130-2)가 측정 영역(140)을 차지하고 있다.
여기서, 3D 카메라는 부드러운 물체(130-2)는 어렵지 않게 인식하는 반면, 광선은 투명한 물체(130-1)를 통과하여 반사되지 않거나, 잘못된 방향으로 반사되거나 혹은 불완전하게 반사될 수 있다.
이 상황은 레이더(120)와는 본질적으로 반대인데, 이는 레이더(120)에서 방출된 전파가 부드러운 물체(130-2)를 통과하여 반사되지 않거나 혹은 예를 들어 골격 구성 요소들에 의해 반사되고 이에 따라 물체(130)로부터 반사되어 수신된 전파가 측정 오류 등의 결과인지 결정하기 어렵기 때문이다. 반대로, 전파는 투명한 물체(130-1)인 유리벽에 의해서는 극히 잘 반사된다.
3D 카메라(110)가 레이더(120)로부터 측정 영역(140)과 관련된 측정 데이터를 수신하기 때문에, 상기 측정 데이터가 비교되고 분석될 수 있고, 이에 따라 측정 영역(140) 내의 물체(130)가 종래 기술에 비해 더 신뢰성 있게 검출될 수 있다. 또한, 검출된 물체(130)는 딱딱한 물체(130-1) 또는 부드러운 물체(130-2)로 분류될 수 있다. 그러면 이 분류는, 위에서 설명한 것처럼, 잠재적인 사고와 관련된 부상을 회피하거나 감소시키는 데 사용될 수 있다.
또한, 검출된 물체(130)는, 도 2의 (b)에 도시된 것처럼, 어떤 실시예에서는 3D 카메라에 의해 비교된 측정 데이터의 결과로서 디스플레이 스크린(210) 상에서 차량 운전자에게 제시될 수 있다. 이는 예를 들어 차량(100)이 후진하고 있을 때 혹은 가시성이 제한될 때, 즉 어둠 속, 안개 속, 강수 속 등에서 운전하고 있을 때 유리할 수 있다. 이에 따라, 어떤 실시예에서는, 이러한 디스플레이 스크린(210)이 운전 보조 장치로 사용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 개념 원리의 예를 도시한다.
3D 카메라(110)는 센서(310)를 포함한다. 센서(310)는 영역(140)에 있는 측정점들로부터 측정 데이터를 수집하고, 3D 카메라 내의 프로세서에 의한 물체 검출을 위하여 상기 측정 데이터를 전송한다. 레이더(120) 역시 영역(140)에 있는 측정점들로부터 측정 데이터를 수집하고, 3D 카메라 내의 프로세서에 의한 물체 검출을 위하여 그 측정 데이터를 물체의 형태로 전송한다.
그러면, 3D 카메라의 제1 실시예에서(110-1)는, 이러한 물체 검출의 결과가 계산 유닛의 제1 실시예(300-1)로 전송될 수 있는데, 계산 유닛의 제1 실시예는 검출된 물체(130) 또는 경우에 따라서는 물체들(130-1, 130-2)의 분류를 수행할 수 있다. 이 물체들은 3D 카메라 센서(310) 또는 레이더(120)를 이용하여 검출된 물체들과 같은 측정 데이터를 비교하는 것에 의해 딱딱한 물체(130-1) 또는 부드러운 물체(130-2)로 분류될 수 있다.
3D 카메라의 다른 실시예(110-2)에서는, 상술한 분류가 3D 카메라에서, 예컨대 3D 카메라 프로세서에서 대신 수행될 수 있다.
계산 유닛의 다른 실시예(300-2)에서는, 분류가 수행되지 않는다. 계산 유닛의 어떤 실시예들(300-1, 300-2)에서는, 3D 카메라(110-1, 110-2) 및 레이더(120)로부터 수신된 물체들의 센서 융합(sensor fusion)이 대신 수행될 수 있다. 이러한 센서 융합에 기초하여, 어떤 실시예들에 따라서는, 경고 로직이 운전자가 도로 상의 보행자들에 주의를 기울이게 경고하는 것, 도로가 막혔을 때에는 차속 증가를 방지하는 것, 제동을 개시하는 것 등의 사고 방지 조치 또는 사고 결과 감소 조치를 작동시킬 수 있다.
도 4는 본 발명의 일 실시예의 예를 도시한다. 도 4의 흐름도는 측정 영역으로서의 영역(140) 내의 물체(310)를 검출하기 위한 3D 카메라(110) 내에서의 방법(400)을 도시한다.
3D 카메라(110)는, 여러 실시예들에 따라, 예컨대 ToF 카메라, 스테레오 카메라, 광계 카메라, 레이더 측정 장치, 레이저 측정 장치, LIDAR, 광학 센서 또는 이와 유사한 장치로 이루어질 수 있다.
측정 영역(140)의 물체(130)를 올바르게 검출할 수 있게 하기 위하여, 방법(400)은 다수의 단계들(401 - 408)을 포함할 수 있다. 그러나, 어떤 실시예들에 따르면, 설명하는 단계들(401 - 408) 중 일부가 번호 순으로 지시된 것과 다른 시간 순으로 수행될 수 있고, 그 중 일부 또는 다수가 서로 동시에 수행될 수 있다는 점에 유의해야 한다. 또한, 단계들(403, 404, 406, 407 및/또는 408)과 같은 어떤 단계들은 어떤 실시예들에서만 수행된다. 방법(400)은 다음 단계들을 포함한다.
단계(401)
영역(140)과 관련된 측정 데이터가 제1 센서 설정을 이용하여 3D 카메라(110) 내에 있는 센서(310)에 의해 수집된다. 이러한 측정 데이터는 영역(140) 내에서 3D 카메라(110)에 의해 검출되는 측정점들을 포함할 수 있다.
단계(402)
영역(140)과 관련된 측정 데이터가 레이더(120)로부터 수신된다. 각기 다른 실시예들에 따르면, 측정 데이터는 유선 또는 무선 인터페이스를 통해 수신될 수 있다. 레이더(120)로부터 수신되는 측정 데이터는 영역(140) 내에서 3D 카메라(110)에 의해 검출되는 측정점들을 포함할 수 있다.
단계(403)
이 방법 단계는 일부 실시예들에 포함될 수 있으나, 반드시 모든 실시예들에 포함되어야 할 필요는 없다.
제2 센서 설정을 이용하여 영역(140)에서 데이터를 수집할 수 있게 하기 위하여, 3D 카메라(110) 내의 센서 설정이 단계(402)에서 레이더(120)로부터 수신된 측정 데이터에 기초하여 조정될 수 있다. 3D 카메라(110) 내의 센서 설정은, 예를 들어 3D 카메라의 노출 시간 변경, 방출 광파의 주파수 변조, 방출 광파 및/또는 방출광의 강도의 위상 편이 중에서 임의의 것을 포함할 수 있다.
단계(404)
이 방법 단계는 일부 실시예들에 포함될 수 있으나, 반드시 모든 실시예들에 포함되어야 할 필요는 없다.
영역(140)과 관련된 측정 데이터가 단계(403)에서 조정된 제2 센서 설정을 이용하여 수집될 수 있다.
단계(405)
물체(130)가 단계(402)에서 레이더(120)로부터 수신된 측정 데이터와 함께 단계(401)에서 수집된 측정 데이터를 해석하는 것에 기초하여 검출된다.
이러한 측정 데이터의 해석은 3D 카메라(110)에 의해 검출된 측정점들을 단계(402)에서 레이더(120)로부터 수신된 측정 데이터와 정합(match)시키는 것을 포함할 수 있다. 단계들(401, 404)에서 수집된 측정 데이터를 단계(402)에서 레이더(120)로부터 수신된 측정 데이터와 함께 해석하는 것은 이 측정점들을 단계(402)에서 레이더(120)로부터 수신된 측정 데이터와 정합시키는 것을 포함한다.
단계(406)
이 방법 단계는 일부 실시예들에 포함될 수 있으나, 반드시 모든 실시예들에 포함되어야 할 필요는 없다.
검출(303)된 물체(130)는 단계들(401, 404)에서 3D 카메라(110)로부터 수집된 측정 데이터와 단계(402)에서 레이더(120)로부터 수신된 측정 데이터에 기초하여 부드러운 물체(130-2) 또는 딱딱한 물체(130-1)로 분류된다.
이에 따라, 레이더(120)에 의해서는 뚜렷하게 검출되지만 3D 카메라(110)에 의해서는 희미하게 검출되거나 혹은 전혀 검출되지 않는 물체(130)는 딱딱한 물체(130-1)로 분류될 수 있다. 또한, 어떤 실시예에 따르면, 3D 카메라(110)에 의해서는 뚜렷하게 검출되지만 레이더(120)에 의해서는 희미하게 검출되거나 혹은 전혀 검출되지 않는 물체(130)는 부드러운 물체(130-2)로 분류될 수 있다.
단계(407)
이 방법 단계는 일부 실시예들에 포함될 수 있으나, 반드시 모든 실시예들에 포함되어야 할 필요는 없다.
단계(405)에서 검출된 물체(130)가 예를 들어 차량 운전자를 위해 제시된다. 제시는 디스플레이 스크린(210) 등에서 행해질 수 있다.
이러한 제시는 운전자의 의사결정을 지원하며, 특히 후진 시에 또는 운전석에서는 운전자에게 보이지 않는 각도에 있는 주변을 명확히 하는 데 그 가치가 있다. 다른 장점은 어둠, 안개, 강수, 마주 오는 차량 불빛 등의 결과로서 가시성이 제한될 때 운전자가 도로 또는 도로 근처에 존재하는 물체(130)에 대해 경고를 받을 수 있다는 점이다.
단계(408)
이 방법 단계는 일부 실시예들에 포함될 수 있으나, 반드시 모든 실시예들에 포함되어야 할 필요는 없는데, 3D 카메라(110)와 레이더(120)는 차량(100)에 포함될 수 있다.
단계(406)에서 행해진 분류에 기초하여 차량(100)에 대한 사고 제한 조치를 수행하도록 명령이 내려진다. 단계(406)에서 행해진 이 분류는 딱딱한 물체(130-1) 또는 부드러운 물체(130-2)로 이루어질 수 있다. 사고 제한 조치는 예를 들어, 딱딱한 물체(130-1)와의 충돌이 임박했을 때 차량(100) 내에서 에어백을 작동시키는 것 또는 사람이나 동물과 같은 부드러운 물체(130-2)와의 충돌이 임박했을 때 예컨대 범프에서 팽창되는 차량(100) 전방의 에어백들을 작동시키는 것을 포함할 수 있다.
차량의 제동 거리가 차량(100)이 딱딱한 물체(130-1) 및 부드러운 물체(130-2) 앞에서 정지하는 데 필요한 제동 거리를 초과하는 긴급 상황에서는, 사고 제한 조치가 회피 기동의 수행을 더 포함할 수 있고, 이에 따라 딱딱한 물체와의 충돌을 수반하는 경우에도 부드러운 물체(130-2)와의 충돌은 방지된다.
이에 따라 보행자나 자전거 탄 사람의 심각한 부상을 방지할 수 있다.
도 5는 영역(140)에서 물체(130)를 검출하기 위한 3D 카메라(110)와 레이더(120)를 포함하는 시스템(500)의 실시예를 도시한다.
영역(140)에서 물체(130)를 검출하기 위한 시스템(500)은 영역(140)을 향해 광파를 방출하고 측정점으로부터 반사되는 상기 광파의 반사파를 수신하도록 구성된 3D 카메라(110)를 포함한다. 3D 카메라(110)는 예를 들어 ToF 카메라, 스테레오 카메라, 광계 카메라 등으로 이루어질 수 있다. 시스템(500)은 영역(140)을 향해 전파를 방출하고 측정점으로부터 반사되는 상기 전파의 반사파를 수신하도록 구성된 레이더(120)를 더 포함한다. 어떤 경우에는, 3D 카메라(110) 및/또는 레이더(120)는, 이들이 별개의 로직 유닛들을 구성하는 경우라도, 하나의 물리 유닛을 구성할 수 있다.
3D 카메라(110)는 영역(140)에서 물체(130)를 검출하기 위한 방법(400)의 적어도 일부를 수행하도록 구성된다.
방법(400)을 올바른 방식으로 수행할 수 있게 하기 위하여, 3D 카메라(110)는 다수의 구성 요소들을 포함하는데, 이들에 대해서는 하기에서 상세하게 설명한다. 설명하는 하부 구성 요소들 중 일부는 어떤 실시예들에는 포함되지만 반드시 모든 실시예에 포함될 필요는 없다. 본 발명의 어떤 실시예들에 따르면, 3D 카메라(110)의 기능과 방법(400)을 이해하기 위해서 반드시 필요하지는 않은 추가 전자 장치가 3D 카메라(110)에 존재할 수도 있다.
3D 카메라(110)는 제1 센서 설정을 이용하여 영역(140)과 관련된 측정 데이터를 수집하도록 구성된 센서(310)를 포함한다. 이러한 센서(310)는 조정된 제2 센서 설정을 이용하여 영역(140)과 관련된 측정 데이터를 수집하도록 구성될 수 있다. 3D 카메라(110)의 이러한 센서 설정은 예를 들어 3D 카메라의 노출 시간 변경, 방출 광파의 주파수 변조, 방출 광파 및/또는 방출광의 강도의 위상 편이 중에서 임의의 것을 포함할 수 있다.
3D 카메라(110)는 레이더(120)로부터 영역(140)과 관련된 측정 데이터를 포함하는 신호를 수신하도록 구성된 신호 수신기(510)를 더 포함한다. 레이더(120)로부터의 이러한 측정 데이터 신호 수신은 각기 다른 실시예들에 따르면 유선 또는 무선 인터페이스를 통해 수행될 수 있다. 유선 인터페이스는 예를 들어 위에서 나열한 유닛들(110, 120)을 서로 혹은 대안적으로는 제어 유닛, 모니터링 유닛 및/또는 센서와 같은 다른 유닛들과 연결하기 위한 케이블 연결, 인터넷 연결망 또는 하나 이상의 통신 버스들로 이루어진 통신 버스 시스템을 포함하거나 혹은 이에 기초할 수 있다. 통신 버스는 예를 들어 케이블; CAN(Controller Area Network) 버스, MOST(Media Oriented Systems Transport) 버스 또는 기타 임의의 버스 구성과 같은 데이터 버스 중 하나 이상으로 이루어질 수 있다. 무선 인터페이스는, 각기 다른 실시예들에 따르면, 예를 들어 GSM(Global System for Mobile Communications), EDGE(Enhanced Data rate for GSM Evolution), UMTS(Universal Mobile Telecommunications System), CDMA(Code Division Access), CDMA2000, TD-SCDMA(Time Division Synchronous CDMA), LTE(Long Term Evolution), IEEE(Institute of Electrical and Electronics Engineers) 표준 802.11 a, ac, b, g 및/또는 n에 의해 정의된 Wi-Fi(Wireless Fidelity), IP(Internet Protocol), 블루투스(Bluetooth) 및/또는 NFC(Near Field Communication) 또는 이와 유사한 통신 기술에 기초하거나 혹은 이에 영향을 받을 수 있다.
또한 3D 카메라(110)는 측정된 측정 데이터를 레이더(120)로부터 수신된 측정 데이터와 함께 해석하는 것에 기초하여 물체(130)를 검출하도록 구성된 프로세서 회로(520)도 포함할 수 있다.
대안적으로, 어떤 실시예들에 따르면, 프로세서 회로(520)는 3D 카메라(110)와 레이더(120)로부터 수신된 측정 데이터에 기초하여 검출된 물체(130)를 부드러운 물체(130-2) 또는 딱딱한 물체(130-1)로 분류하도록 구성될 수도 있다.
또한, 어떤 실시예들에 따르면, 프로세서 회로(520)는 검출된 물체(130)를 디스플레이 스크린(120)에 제시하기 위하여 정보를 송신하도록 구성될 수도 있다.
어떤 실시예들에 따르면, 3D 카메라(110)와 레이더(120)는 바퀴달린 운송 차량 유형과 같은 임의의 유형의 차량(100)에 포함될 수 있다. 어떤 실시예들에서는, 프로세서 회로(520)는 행해진 분류에 기초하여 차량(100)에 대한 사고 제한 조치를 수행하기 위한 명령을 발생시키도록 구성될 수 있다.
프로세서 회로(520)는 예를 들어 명령들을 해석하고 수행하며 그리고/또는 데이터를 읽고 쓰도록 구성된 중앙 연산 처리 장치(CPU: Central Processing Unit), 마이크로프로세서 또는 기타 로직 중 하나 이상으로 구성될 수 있다. 프로세서 회로(520)는 데이터의 버퍼링(buffering), 제어 기능(control functions) 등을 포함하는 데이터의 입력, 출력 또는 데이터 프로세싱을 위해 데이터를 처리할 수 있다.
3D 카메라(110)는, 어떤 실시예들에서는, 측정 영역(140)에서 물체(130)가 검출되면 예컨대 경고 신호 등을 발생시키기 위해 제어 신호를 송신하도록 구성된 신호 전송기(530)를 더 포함할 수 있다. 신호 전송기(530)는 영역(140)에서 검출된 물체(130)를 제시하기 위해 디스플레이 스크린(210)으로 신호를 송신하도록 구성될 수도 있다. 어떤 실시예들에서는, 신호 전송기(530)는 차량(100)의 가속을 방지하고 그리고/또는 차량(100)의 제동을 개시하고 그리고/또는, 어떤 실시예에 따라, 특히 물체가 부드러운 물체(130-2)로 분류되면 물체(130)에 대한 회피 기동을 개시하게 하기 위해 제어 신호를 송신하도록 구성될 수 있다. 어떤 실시예들에서는, 신호 전송기(530)는 부드러운 물체(130-2)와의 충돌이 예측될 때 차량(100) 외부에 있는 에어백을 작동시키기 위해 제어 신호를 송신하도록 구성될 수 있다.
어떤 실시예들에 따르면, 3D 카메라(110)는, 어떤 실시예들에서는 데이터 저장 매체로 이루어질 수 있는 메모리 유닛(525)을 포함할 수도 있다. 여러 실시예들에서, 메모리 유닛(525)은 예를 들어 ROM(Read-Only Memory), PROM(programmable Read-Only Memory), EPROM(Erasable PROM), 플래시 메모리, EEPROM(Electrically Erasable PROM) 등을 포함하는 그룹 중 임의의 것과 같은 메모리 카드, 플래시 메모리(Flash memory), USB 메모리, 하드 드라이브 또는 기타 이와 유사한 데이터 저장 유닛으로 이루어질 수 있다.
어떤 실시예들에 따르면, 본 발명은 영역(140)에서 물체(130)를 검출하기 위한 컴퓨터 프로그램을 더 포함하는데, 방법 단계들(401 - 408) 중 적어도 한 단계에 따른 방법(400)이 3D 카메라(110) 내의 프로세서 회로(520)에서 실행되는 컴퓨터 프로그램에서 수행된다.
이에 따라 단계들(401 - 408) 중 적어도 한 단계에 따른 방법(400)은, 단계들(401 - 408)을 수행하기 위한 명령들을 포함하는 컴퓨터 프로그램이 프로세서 회로(520)에 로드될 때, 위에서 설명한 단계들(401 - 408) 중 하나, 일부 또는 전부를 수행하기 위한 컴퓨터 프로그램 코드와 함께 3D 카메라(110)의 하나 이상의 프로세서 회로(520)에 의해 실행될 수 있다.
상술한 컴퓨터 프로그램은, 어떤 실시예들에서는, 예컨대 무선 또는 유선 인터페이스, 예컨대 위에서 설명한 것들 중 임의의 것을 통해 메모리 유닛(525)에 설치되도록 구성된다.
위에서 설명하고 논의한 유닛들, 즉 신호 전송기(510) 및/또는 신호 전송기(530)는, 어떤 실시예들에서는, 별개의 송신기 및 수신기로 이루어질 수 있다. 그러나, 어떤 실시예들에서는, 3D 카메라(110) 내의 신호 수신기(510)와 신호 전송기(530)는 전파 신호와 같은 신호를 송신하고 수신하도록 구성된 트랜시버(transceiver)로 이루어질 수 있고, 이러한 구성의 부품, 예컨대 안테나는 만일 있다면 송신기와 수신기 둘 다에 공용이다. 상기 통신 장비는 전파, WLAN, 블루투스 또는 적외선 트랜시버 모듈을 통한 무선 정보 전달용으로 구성될 수 있다. 그러나, 신호 수신기(510) 및/또는 신호 송신기(530)는, 어떤 실시예들에서는, 대안적으로 유선에 기반하여 정보를 교환하도록 또는 대안적으로 어떤 실시예들에 따라 무선 및 유선 통신 둘 다를 위해 특수하게 구성될 수 있다.
본 발명의 몇몇 실시예들은, 차량으로서, 영역(140)에서 물체(130)를 검출하기 위하여 차량(100) 내에 설치되고 방법 단계들(401 - 408) 중 적어도 하나에 따른 방법(400)을 수행하도록 구성된 시스템(500)을 포함하는 차량(100)을 포함할 수도 있다.

Claims (18)

  1. 영역(140)에서 물체(130)를 검출하기 위해 차량용 3D 카메라에서 수행되는 방법(400)으로,
    제1 센서 설정을 이용하여 3D 카메라(110) 내의 센서(310)에 의해 영역(140)과 관련된 측정 데이터를 수집하는 단계(401);
    레이더(120)로부터 영역(140)과 관련된 측정 데이터를 수신하는 단계(402); 및
    단계(401)에서 수집된 측정 데이터를 단계(402)에서 레이더(120)로부터 수신된 측정 데이터와 함께 해석하는 것에 기초하여 물체(130)를 검출하는 단계(405)를 포함하는 방법에 있어서,
    제2 센서 설정을 이용하여 영역(140)에서 측정 데이터를 수집할 수 있게 하기 위하여 단계(402)에서 레이더(120)로부터 수신된 측정 데이터에 기초하여 3D 카메라(110)의 센서 설정을 조정하는 단계(403); 및
    단계(403)에서 조정된 제2 센서 설정을 이용하여 영역(140)과 관련된 측정 데이터를 수집하는 단계(404)를 더 포함하고,
    물체(130)를 검출하는 단계(405)가 단계(401, 404)에서 측정된 측정 데이터를 단계(402)에서 레이더(120)로부터 수신된 측정 데이터와 함께 해석하는 것에 기초하고,
    단계(401, 404)에서 3D 카메라(110)로부터 수집된 측정 데이터 및 단계(402)에서 레이더(120)로부터 수신된 측정 데이터(402)에 기초하여 단계(405)에서 검출된 물체(130)를 부드러운 물체 또는 딱딱한 물체로 분류하는 단계(406)를 더 포함하고,
    3D 카메라(110)와 레이더(120)가 차량 내에 포함되고,
    방법(400)이 단계(406)에서 행해진 분류에 기초하여 차량(100)에 대한 사고 제한 조치를 수행하는 명령을 발생시키는 단계(408)를 더 포함하고,
    상기 사고 제한 조치가 충돌이 임박하면 부드러운 물체(130-2)로부터 멀리 회피 기동을 하는 것을 포함하고, 이에 따라 딱딱한 물체와의 충돌을 수반하는 경우에도 부드러운 물체(130-2)와의 충돌은 방지하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    단계(405)에서 검출된 물체(130)를 제시하는 단계(407)를 더 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    단계(401, 404)에서 측정된 측정 데이터가 3D 카메라의 센서(310)에 의해 영역(140)에서 검출되는 측정점들을 포함하고, 단계(401, 404)에서 수집된 측정 데이터를 단계(402)에서 레이더(120)로부터 수신된 측정 데이터와 함께 해석하는 것이 상기 측정점들을 단계(402)에서 레이더(120)로부터 수신된 측정 데이터와 정합시키는 것을 포함하는 것을 특징으로 하는 방법.
  5. 삭제
  6. 제1항에 있어서,
    3D 카메라(110) 내의 센서 설정이 3D 카메라의 노출 시간 변경, 방출 광파의 주파수 변조, 방출 광파 및 방출광의 강도의 위상 편이 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  7. 영역(140)에서 물체(130)를 검출하도록 구성된 차량용 3D 카메라(110)로서,
    제1 센서 설정을 이용하여 영역(140)과 관련된 측정 데이터를 수집하도록 구성된 센서(310);
    레이더(120)로부터 영역(140)과 관련된 측정 데이터를 포함하는 신호를 수신하도록 구성된 수신기(510); 및
    측정된 측정 데이터를 레이더(120)로부터 수신된 측정 데이터와 함께 해석하는 것에 기초하여 물체(130)를 검출하도록 구성된 프로세서 회로(520)를 포함하는 3D 카메라에 있어서,
    프로세서 회로(520)가 제2 센서 설정을 이용하여 영역(140)에서 측정 데이터를 수집할 수 있게 하기 위하여 레이더(120)로부터 수신된 측정 데이터에 기초하여 3D 카메라(110)의 센서 설정을 조정하도록 추가로 구성되고; 그리고
    센서(310)가 조정된 제2 센서 설정을 이용하여 영역(140)과 관련된 측정 데이터를 수집하도록 구성되고,
    프로세서 회로(520)가 또한 3D 카메라(110)로부터 수집된 측정 데이터 및 레이더(120)로부터 수신된 측정 데이터(402)에 기초하여 검출된 물체(130)를 부드러운 물체 또는 딱딱한 물체로 분류하도록 구성되고,
    3D 카메라(110)와 레이더(120)가 차량(100)에 포함되고, 프로세서 회로(520)가 행해진 분류에 기초하여 차량(100)에 대한 사고 제한 조치를 수행하는 명령을 발생시키도록 구성되고,
    상기 사고 제한 조치가 충돌이 임박하면 부드러운 물체(130-2)로부터 멀리 회피 기동을 하는 것을 포함하고, 이에 따라 딱딱한 물체와의 충돌을 수반하는 경우에도 부드러운 물체(130-2)와의 충돌은 방지하는 것을 특징으로 하는 3D 카메라.
  8. 삭제
  9. 제7항에 있어서,
    프로세서 회로(520)가 검출된 물체(130)를 디스플레이 스크린(210)에 제시하기 위하여 정보를 송신하도록 구성된 것을 특징으로 하는 3D 카메라.
  10. 제7항에 있어서,
    측정 데이터가 3D 카메라의 센서(310)에 의해 영역(140)에서 검출되는 측정점들을 포함하고; 그리고 프로세서 회로(520)가 상기 측정점들을 레이더(120)로부터 수신된 측정 데이터와 정합시키는 것에 의해 수집된 측정 데이터를 레이더(120)로부터 수신된 측정 데이터와 함께 해석하도록 추가로 구성된 것을 특징으로 하는 3D 카메라.
  11. 삭제
  12. 제7항에 있어서,
    3D 카메라(110) 내의 센서 설정이 3D 카메라의 노출 시간 변경, 방출 광파의 주파수 변조, 방출 광파 및 방출광의 강도의 위상 편이 중 적어도 하나를 포함하는 것을 특징으로 하는 3D 카메라.
  13. 제7항에 있어서,
    3D 카메라가 타임오프플라이트(ToF) 카메라, 스테레오 카메라 또는 광계 카메라로 이루어진 것을 특징으로 하는 3D 카메라.
  14. 저장 매체에 저장되는 컴퓨터 프로그램으로, 제7항에 따른 3D 카메라의 프로세서 회로(520)에서 실행될 때 제1항에 따른 방법(400)을 이용하여 영역(140)에서 물체(130)를 검출하기 위한 컴퓨터 프로그램.
  15. 영역(140)에서 물체(130)를 검출하기 위한 시스템(500)으로,
    제7항에 따른 3D 카메라(110); 및
    전파를 방출하고 측정점으로부터 반사되는 상기 전파의 반사파를 수신하도록 구성된 레이더(120)를 포함하는 것을 특징으로 하는 시스템.
  16. 차량(100)으로, 영역(140)에서 물체(130)를 검출하기 위해 제1항에 따른 방법(400)을 수행하도록 구성된 제15항에 따른 시스템(500)을 포함하는 것을 특징으로 하는 차량.
  17. 삭제
  18. 삭제
KR1020167007512A 2013-09-10 2014-08-21 물체 검출을 위한 방법 및 3d 카메라 KR101899529B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1351043-3 2013-09-10
SE1351043A SE537621C2 (sv) 2013-09-10 2013-09-10 Detektering av objekt genom användning av en 3D-kamera och en radar
PCT/SE2014/050957 WO2015038048A1 (en) 2013-09-10 2014-08-21 Detection of an object by use of a 3d camera and a radar

Publications (2)

Publication Number Publication Date
KR20160045857A KR20160045857A (ko) 2016-04-27
KR101899529B1 true KR101899529B1 (ko) 2018-09-17

Family

ID=52666027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167007512A KR101899529B1 (ko) 2013-09-10 2014-08-21 물체 검출을 위한 방법 및 3d 카메라

Country Status (5)

Country Link
US (1) US10114117B2 (ko)
EP (1) EP3044772B1 (ko)
KR (1) KR101899529B1 (ko)
SE (1) SE537621C2 (ko)
WO (1) WO2015038048A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9939525B2 (en) * 2013-11-29 2018-04-10 L.H. Kosowsky & Associates, Inc. Imaging system for obscured environments
DE102014216159B4 (de) * 2014-08-14 2016-03-10 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
DE102015001247A1 (de) * 2015-01-31 2016-08-04 Audi Ag Verfahren zur Bereitstellung von Information über zumindest ein Objekt in einem Umgebungsbereich eines Kraftfahrzeugs und System
WO2017057061A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US10377376B2 (en) 2016-10-06 2019-08-13 Ford Global Technologies, Llc Vehicle with environmental context analysis
KR101865766B1 (ko) 2016-10-11 2018-06-11 주식회사 피엘케이 테크놀로지 대형 차량의 이동 객체 충돌 경고 장치 및 방법
US10386792B2 (en) * 2016-10-19 2019-08-20 Ants Technology (Hk) Limited Sensory systems for autonomous devices
KR101955506B1 (ko) 2016-12-12 2019-03-11 주식회사 피엘케이 테크놀로지 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
DE102017200961A1 (de) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Akustische Warnsignaldetektion für Kraftfahrzeuge
US10721307B2 (en) * 2017-03-30 2020-07-21 Intel Corporation Configurable context aware sensors in IoT smart spaces
EP3416151B1 (en) * 2017-06-15 2024-04-24 Arriver Software AB Detection of non-v2v vehicles
JP6791055B2 (ja) * 2017-08-08 2020-11-25 株式会社デンソー 光検出装置、運転支援システム、及び自動運転システム
US10641888B2 (en) * 2017-11-06 2020-05-05 Veoneer Us Inc. Cued automobile sensor fusion
CN108021891B (zh) * 2017-12-05 2020-04-14 广州大学 基于深度学习与传统算法结合的车辆环境识别方法和系统
CN109308741B (zh) * 2018-08-08 2023-04-07 长春理工大学 一种基于Meta2的自然交互工艺品创意设计系统
WO2021212420A1 (en) * 2020-04-23 2021-10-28 Nokia Technologies Oy Method and device for 3d object detection
WO2021232274A1 (zh) * 2020-05-20 2021-11-25 深圳元戎启行科技有限公司 传感器模块及包括其的自动驾驶系统和车辆
TWI825879B (zh) * 2022-07-29 2023-12-11 宏碁股份有限公司 具有校正功能之偵測裝置和偵測方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508096A (ja) * 2005-09-09 2009-02-26 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． ３ｄ画像化方法及び装置
US20100030474A1 (en) * 2008-07-30 2010-02-04 Fuji Jukogyo Kabushiki Kaisha Driving support apparatus for vehicle
JP2012035831A (ja) * 2003-03-26 2012-02-23 Continental Teves Ag & Co Ohg 車両用の電子制御システム及び車両システムで運転者に依存しない少なくとも１つの介入を算出する方法
JP2012154731A (ja) * 2011-01-25 2012-08-16 Panasonic Corp 測位情報形成装置、検出装置、及び測位情報形成方法
JP2013057584A (ja) * 2011-09-08 2013-03-28 Mitsubishi Electric Corp 物体検出装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6860350B2 (en) * 2002-12-20 2005-03-01 Motorola, Inc. CMOS camera with integral laser ranging and velocity measurement
DE10305861A1 (de) * 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
JP4043416B2 (ja) * 2003-07-30 2008-02-06 オリンパス株式会社 安全移動支援装置
US20060091653A1 (en) * 2004-11-04 2006-05-04 Autoliv Asp, Inc. System for sensing impending collision and adjusting deployment of safety device
US7250853B2 (en) * 2004-12-10 2007-07-31 Honeywell International Inc. Surveillance system
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP4595932B2 (ja) * 2006-12-08 2010-12-08 トヨタ自動車株式会社 車両制御装置
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
EP2107504A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
JP4561863B2 (ja) 2008-04-07 2010-10-13 トヨタ自動車株式会社 移動体進路推定装置
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
US9170332B2 (en) * 2010-05-10 2015-10-27 Toyota Jidosha Kabushiki Kaisha Risk calculation apparatus
US20130226390A1 (en) * 2012-02-29 2013-08-29 Robert Bosch Gmbh Hitch alignment assistance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012035831A (ja) * 2003-03-26 2012-02-23 Continental Teves Ag & Co Ohg 車両用の電子制御システム及び車両システムで運転者に依存しない少なくとも１つの介入を算出する方法
JP2009508096A (ja) * 2005-09-09 2009-02-26 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． ３ｄ画像化方法及び装置
US20100030474A1 (en) * 2008-07-30 2010-02-04 Fuji Jukogyo Kabushiki Kaisha Driving support apparatus for vehicle
JP2010030513A (ja) * 2008-07-30 2010-02-12 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2012154731A (ja) * 2011-01-25 2012-08-16 Panasonic Corp 測位情報形成装置、検出装置、及び測位情報形成方法
JP2013057584A (ja) * 2011-09-08 2013-03-28 Mitsubishi Electric Corp 物体検出装置

Also Published As

Publication number Publication date
WO2015038048A1 (en) 2015-03-19
EP3044772B1 (en) 2021-11-24
EP3044772A1 (en) 2016-07-20
SE1351043A1 (sv) 2015-03-11
SE537621C2 (sv) 2015-08-11
EP3044772A4 (en) 2017-05-10
US20170038466A1 (en) 2017-02-09
KR20160045857A (ko) 2016-04-27
US10114117B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
KR101899529B1 (ko) 물체 검출을 위한 방법 및 3d 카메라
US11676400B2 (en) Vehicular control system
US11126877B2 (en) Predicting vehicle movements based on driver body language
CN106873580B (zh) 基于感知数据在交叉口处自主驾驶
US10800455B2 (en) Vehicle turn signal detection
US10525873B2 (en) Turn by turn activation of turn signals
US11685371B2 (en) Extension to safety protocols for autonomous vehicle operation
CN106233159B (zh) 使用位置数据的误警告减少
US20150088373A1 (en) Optical communications and obstacle sensing for autonomous vehicles
US11897458B2 (en) Collision avoidance apparatus for vehicle
KR20120072131A (ko) 이미지 센서와 거리센서의 데이터 융합에 의한 상황인식 방법 및 그 장치
KR20180007412A (ko) 멀티센서 기반의 융합형 물체 감지 장치 및 방법
KR102372566B1 (ko) 차량용 조명 장치 및 차량
KR20220073874A (ko) 근거리 및 원거리 교통 환경정보를 이용한 자율주행 차량의 주행 제어시스템
US11914679B2 (en) Multispectral object-detection with thermal imaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant