KR20150103247A - 회전 시스템에 의한 물체 검출 - Google Patents

회전 시스템에 의한 물체 검출 Download PDF

Info

Publication number
KR20150103247A
KR20150103247A KR1020157020931A KR20157020931A KR20150103247A KR 20150103247 A KR20150103247 A KR 20150103247A KR 1020157020931 A KR1020157020931 A KR 1020157020931A KR 20157020931 A KR20157020931 A KR 20157020931A KR 20150103247 A KR20150103247 A KR 20150103247A
Authority
KR
South Korea
Prior art keywords
field
depth
sensor unit
light source
objects
Prior art date
Application number
KR1020157020931A
Other languages
English (en)
Inventor
요아브 그라우어
데이비드 오퍼
이얄 레비
Original Assignee
브라이트웨이 비젼 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브라이트웨이 비젼 엘티디. filed Critical 브라이트웨이 비젼 엘티디.
Publication of KR20150103247A publication Critical patent/KR20150103247A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01S17/107
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/2256
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4873Extracting wanted echo signals, e.g. pulse detection by deriving and controlling a threshold value

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

동기화된 조명하는 프로세스 및 센싱 프로세스를 사용하여 배경 내 물체들을 검출하는 방법이 여기에 제공된다. 상기 방법은 배경 내 조명 라인을 따라 광 빔을 조명하는 단계; 상기 배경 내 특정된 피사계 심도 내 위치한 물체들로부터, 상기 센싱 라인을 따라 생성되는 광 반사들을 센싱하는 단계; 상기 조명 라인과 상기 센싱 라인 사이의 공간 동기화 속도를 생성하는 단계로서, 상기 동기화는 상기 피사계 심도를 결정하는 단계; 상기 공간 동기화 속도에 기초한 상기 조명 라인 및 상기 센싱 라인 중 적어도 하나를 상대적으로 시프팅하는 단계; 및 상기 반사들을 축적하여, 상기 물체들을 검출하는 단계를 포함한다.

Description

회전 시스템에 의한 물체 검출{OBJECT DETECTION BY WHIRLING SYSTEM}
본 발명은 일반적으로 조명 및 센싱을 이용한 물체들의 공간적인 검출 분야에 관한 것으로, 보다 상세하게는, 동기화된 액츄에이터 매커니즘을 이용하여 이를 달성하는 것에 관한 것이다.
호수, 바다, 대양, 개울, 강 그리고 그 외의 물이 모인 곳들을 포함하는 해양 환경은 다양한 조명 조건들 및 다양한 가시 조건들과 같은 환경들 속에서 운항을 하는 선박들에게 까다로운 도전들을 제시한다. 예를 들면, 빙산, 고래, 배 밖으로 떨어진 수중에 일부 잠겨있는 금속 선박 컨테이너, 수면으로부터 약간 돌출된 거대한 수중 암석, 통나무 등과 같이, 해양 환경에서 수중에 부분적으로 잠겨 있거나, 떠있는 다양한 종류의 장애물들 및 물체들은 선박의 몸체 및 선박의 프로펠러에 대하여 잠재적 위협을 지니고 있다. 이러한 잠재적 위협은, 야간, 폭풍 또는 호우일 경우와 같이, 낮은 조명 및 좋지 않은 가시 조건에서 더욱 증가한다. 또한, 부표 또는 해양 표지와 같은 해양 환경 내 물체들의 탐지뿐만 아니라, 배 밖으로 떨어진 사람들을 탐지하는 것은, 수면 위로 드러나는 이러한 물체들 및 사람들의 표면적이 작기 때문에, 선박 위 개개인에게 상기 물체들 및 사람들의 위치를 추적하기 위한 도전을 제시한다. 상술한 바와 같이, 해양 환경에서 작은 물체들 및 사람들의 위치를 추적하는 일은 낮은 조명과 좋지 않은 가시 조건들에서 더욱 어려워진다. 게다가, 작은 물체들 및 사람들의 경우, 보통 레이더 또는 열영상기(예를 들면, 근적외선, 중적외선, 또는 원적외선 영상 장치들)에 의해 검출되지 않는다. 여기서, '물체' 또는 '타겟'이라는 용어은 해양 환경에 부분적으로 잠겨 있거나 떠다니는 물체들, 장애물들 또는 사람들을 지칭한다. 물체들은 빙산, 고래, 일부 수중에 잠겨있는 금속컨테이너, 간조 때 수면으로부터 약간 돌출된 거대 수중 암석, 통나무, 부표, 사람들 등을 포함할 수 있다.
발명의 명칭이 "System for and method of wide searching for targets in a marine environment"인 Kaplan의 미국 특허 US 6,693,561와 같은 종래기술은 해양 환경에서 타겟을 찾기 위한 방법 및 시스템에 관한 것이며, 송신 수단, 수신기를 포함한 프로세서, 및 인디케이터를 포함한다. 송신 수단은 해양 선박의 선상, 에어크래프트 또는 해변위의 구조물과 같은 물 위의 물체에 탑재된다. 송신 수단은 광학 방사선의 제1 및 제2 빔들을 제1 및 제2 수중 영역으로 방출한다. 제1 빔은 청색 범위(300nm-475nm)의 자외선 파장을 가진 제1 파장 특성을 갖고 있으며, 제1 수중 영역을 통과하여, 굴절빔으로서 그곳에서 굴절될 수 있다. 제2 빔은 적외선 범위(650nm-1500nm)의 파장을 갖는 제2 파장 특성을 갖고, 반사빔으로서 제2 수중 영역으로부터 반사될 수 있다. 프로세서는 해양 환경 속의 타겟의 위치를 식별하기 위해 동작한다. 수신 수단은 식별 타겟을 찾기 위한 굴절 및/또는 반사 빔들에 의해 영향을 받는 임의의 타겟에 반사되어 돌아오는 타겟 반사들을 별도로 탐지하기 위해 동작한다.
또 다른 종래기술로서 발명의 명칭이 "Laser gated camera imaging system and method"인 Inbar 외. 미국 특허 US 7,379,164는 타겟에 대하여 장기간 레이저 펄스들의 빔을 생성하는 레이저 디바이스를 활용한 게이티드 카메라 촬영 시스템 및 방법에 관한 것이다. 카메라는 타겟으로부터 반사된 펄스들의 광반사 에너지를 수신한다. 카메라 게이팅은, 적어도 레이저 펄스가 시스템에 근접한 영역의 횡단 및 카메라로의 회귀를 완료하기까지 걸리는 시간에 더하여, 레이저 디바이스가 레이저 펄스의 일단을 포함하는 상당한 양의 레이저 펄스 전부를 생산하기 위해 걸리는 시간동안 동기화되어 'OFF'상태로 설정된다. 그 후, 카메라 게이팅은 레이저 펄스가 타겟으로부터 반사되어 돌아와 카메라에 수신될 때까지의 'ON'타임 구간동안 'ON'상태로 설정된다. 레이저 펄스의 너비는 최소한 'ON'타임 구간과 실질적으로 대응한다.
물체 검출이 요구되는 다른 종류의 환경들은, 항공 수송(공중에서 공중으로, 또는 공중에서 지상으로의 물체 검출), 및 지상 수송(지상에서 공중으로, 또는 지상에서 지상으로의 물체 검출)일 수도 있다. 이러한 환경들에서 물체들은 보행자, 차량과 관련된 것, 또는 임의의 종류의 바람직한 물체일 수 있다.
상기 두 예들과, 레이더 및/또는 열 기반 시스템들은 모두 제안 방법에 비해 단순성 및 검출 성능의 우수성이 부족하다.
본 발명의 목적은 센서 및 동적인 조명 동기화의 원리에 기초한 전기 광학 기술을 이용하여 타겟 또는 물체를 검출 가능하도록 하는 것이다.
이에 따라, 개시 기술에 따르면, 낮은 조명 조건들, 기상 악화(예를 들면, 비, 눈, 및 안개)에서의 낮은 조명 조건들, 및 높은 조명 조건들(예를 들면, 주변광)에서의 물체들 검출 시스템이 제공된다. 시스템은 광원, 센서, 회전 매커니즘과 같은 액츄에이터, 및 프로세서를 포함한다. 프로세서는 회전 매커니즘(즉, 스캐닝), 광원, 및 센서와 결합된다. 회전 매커니즘은 광원 및 센서의 서로에 대한 컨트롤된 움직임을 제공한다. 움직이는 광원은 배경을 향해 계속되는 빛을 생성한다. 센서는 적어도 광원에서 발생된 빛의 파장들에 대해서 민감하다. 센서는 공간 동기화 속도에 기초하여 배경의 비체적(피사계 심도)으로부터 반사된 빛을 수신한다. 프로세서는 회전 매커니즘, 광원, 및 센서를 동기화한다. 센서는 최소한 광원으로부터 비롯된 반사광이 조명된 배경의 비체적(피사계 심도)으로부터 돌아오는데 걸리는 시간의 구간동안 빛에 노출된다.
센서 시야 내 및 조명된 배경의 비체적(피사계 심도) 내에서 수면 위로 튀어나온 최소한 하나의 단일 물체는, 물에 의해 반사된 광신호보다 큰 광신호를 반사시킬 것이다.
이들에, 추가적인, 및/또는 본 발명의 다른 면들 및/또는 본 발명의 이익들은 이하 상세한 설명으로서 제시되어 있으며; 상세한 설명으로부터 추론이 가능하고; 및/또는 본 발명의 실행에 의해 습득할 수 있다.
본 발명의 일 실시예에 따르면, 센서 및 동적인 조명 동기화의 원리에 기초한 전기 광학 기술을 이용하여 타겟 또는 물체를 검출할 수 있다.
본 발명은 여기에 첨부되는 도면과 함께 그 실시예들의 상세한 설명으로부터 보다 용이하게 이해될 것이다.
도 1은 본 발명의 실시예에 따라 구성되고 가동되는 시스템 동작을 도식화한 도면이다.
도 2a 내지 2e는 본 발명의 실시예에 따라 빛이 공간을 통해 전파하고, 하나의 물체를 향하며, 하나의 물체로부터 반사되는 것을 도식화한 도면이다.
도 3a 내지 3c는 본 발명의 실시예에 따라 빛이 공간을 통해 전파하고, 물체들을 향하며, 물체들로부터 반사되는 것을 도식화한 도면이다.
도 4는 본 발명의 실시예에 따라 구성되고 가동되는 시스템 동작을 도식화한 도면이다.
도 5a 내지 5c는 본 발명의 실시예에 따라 센서 유닛 방향에 대한 광원 출력 방향을 도식화한 도면이다.
본 발명의 적어도 하나의 실시예를 상세히 설명하기 전에, 본 발명은 그 적용에 있어 이하의 설명에 제시되거나, 도면에서 설명되는 구성요소의 구성 및 배열의 세부 사항들에 대한 애플리케이션에 제한되지 않는 것으로 이해되어야 한다. 본 발명은 다른 실시예들에 또는 다양한 방법들로의 실현 또는 수행에 적용할 수 있다. 또한, 여기서 사용된 어법 및 전문 용어는 설명의 목적이며, 제한하는 것으로 간주되어서는 안됨을 이해해야 한다.
본 발명에 따르면, 개시 기술은 센서 및 동적인 조명 동기화의 원리에 기초한 전기 광학 기술을 이용하여 타겟 또는 물체를 검출하는 방법 및 시스템을 제공한다. 따라서, "타겟" 또는 "물체"라는 용어는 일반적으로 임의의 물체를 지칭하고, "광원"은 전자기 에너지 방사선(즉, 임의의 알려진 파장에서의 광자)을 방출하는 임의의 적절한 근원을 지칭하며, "센서"는 전자기 에너지 방사선(즉, 임의의 알려진 파장에서의 광자)을 수집하여 신호(예를 들면, 픽셀, 1D 픽셀 어레이, 2D 픽셀 어레이 등)를 제공하는 임의의 장치를 지칭한다. "센서"는 CMOS 분광복사계 센서, CCD, 광전 다이오드, 하이브리드 FPA, 광전자 배증관(광증폭기 포함) 등에 기초할 수도 있다.
따라서, 피사계 심도의 축적 기능으로서, 개시 기술은 광원 조명 변수들의 변화, 타겟까지의 거리에 대한 센서의 상태 변화, 타겟까지 거리에 대한 회전 매커니즘 상태의 변화, 및 그 외의 요소들에 의한 센서의 신호 캡처링 조작을 제공한다. 투과 또는 방출 광원 조명은 지속파(CW)라고 칭하거나, 또는 펄스 광원이라고 칭할 수도 있다. 일 실시예에 따르면, 시스템은 움직이는 플랫폼, 예를 들어, 배, 요트, 자동차, 에어크래프트 등과 같은 운송 수단에 탑재된다. 개시 기술은 움직이는 플랫폼의 실시예에 제한되지 않는다.
여기에서는 일반적으로 부호 (10)으로 참조되며, 개시 기술의 실시예에 따라 구성되고 가동되는 시스템의 동작을 도식화한, 도 1을 참고하도록 한다.
시스템(10)은 광원 유닛(11), 센서 유닛(13), 회전 매커니즘 유닛(12), 및 컨트롤러 유닛(프로세서)(14)을 포함한다. 광원 유닛(11)은 광 빔(17)을 CW(즉, 위상 변위를 검출하는 사이너스파) 또는 펄스(단일/시리즈의 연속 펄스들)의 형태로 생성한다. 광원 유닛(11)은 배경을 향해 광 빔(17)을 방출한다. 광 빔(17)은 배경 속 잠재적 타겟(15)을 비춘다. 센서 유닛(13)은 타겟(15)으로부터 반사된 광원 빔(17)을 수신한다. 센서 유닛(13)은 단일 상태; 센서 유닛(13)이 들어오는 빛을 연속적으로 수신하는 동안에는 "연속" 상태를 가질 수도 있다. 회전(스캐닝) 매커니즘 유닛(12)은 광원 유닛(11)에 의해 센서 유닛(13)에 조명된 배경의 비체적(피사계 심도)을 축적하기 위해 광원 유닛(11) 및 센서 유닛(13)을 상호 시프트한다. 컨트롤러 유닛(프로세서)(14)은 회전 매커니즘 유닛(12), 광원 유닛(11) 및 센서 유닛(13) 동작의 시프팅을 컨트롤 및 동기화한다.
영역 16으로 표시되는 에어로졸, 습도, 아지랑이, 안개, 스모그, 연기, 비, 눈 등의 대기 조건들이 시스템(10)의 주변 지역에 존재한다. 시스템(10)에서 아주 가까운 지역으로부터의 후방 산란은 먼 거리의 지역에서의 후방 산란에 비해 센서 유닛(13)에 더 큰 영향을 미친다. RMIN으로 지정된 근사 범위는 광원(11)에 의해 방출된 후방 산란광을 회피한 시스템(10)에 근접한 지역을 정의한다. 잠재적 타겟(15)은 RMIN 범위 내에 위치할 것으로 예상되지 않으므로, 센서 유닛(13)에 캡처된 신호로부터 이 범위 내의 대기 조건들(16)의 영향들은 제거된다. 이들 대기 조건들은 조명된 타겟(15)을 향해 가는 광 빔(17)과 그 경로에서 간섭하고, 타겟(15)으로부터 반사되는 광 빔(18)과 간섭한다. 특정 배경(3차원 체적 공간의 부분 집합)에서, 센서 유닛(13)은 광 빔(17)이 특정 배경의 거리 RMIN으로부터 센서 유닛(13)으로 돌아오는 경로를 포함하여, 특정 배경 속의 타겟(15)을 향한 거리 RMIN에 완전히 전파되는 시간 구간동안 광 빔(17)을 축적하지 않는다. 시스템(10)과 잠재적 타겟(15) 사이의 거리는 지정된 범위 RMAX(즉, 잠재적 타겟(15)은 각각, 기점 및 종점에 해당하는 RMIN과 RMAX 범위 사이의 어느곳에나 위치할 수 있다)이다. 이러한 기술은 잠재적 타겟(15)으로부터 비롯하는 고반사 신호에 비해 저반사 신호 백그라운드를 활용한다. 해양 환경에서 물은 대부분의(보통 근적외선인) 투과광 신호를 흡수(및/또는 정반사)한다.
제안 시스템 및 기술은 후방 산란을 피하기 위해 동적인 조명 시스템의 이점들을 이용하며, 공간의 동기화 속도를 이용한다. 개시 기술이 센서 유닛(13)의 배경 비체적(피사계 심도. 즉, RMIN과 RMAX 범위 사이)의 축적 조작을 어떻게 제공하는지 명확히 설명하기 위해, 센서 유닛(13)의 상태를 광원 유닛(11)의 상태에 관해 설명하는 것이 유용하다.
여기에서는 일반적으로 부호(10)으로 참조되며, 개시 기술의 실시예에 따라 구성되고 가동되는 시스템의 동작을 도식화한 도 2a 내지 도 2e를 참고하도록 한다. 이하의 설명을 간소화하기 위해 단일 특정 배경이 설명되었다.
도 2a에 도시된 시간 (T0)라는 특정 순간에, 광원(11)은 광 빔(17)을 CW 또는 펄스(단일/시리즈의 연속 펄스들)의 형태로 방출한다. 광원 유닛(11)은 광 빔(17)을 특정 배경을 향해 방출한다. 조명 구간(20)은 RMIN과 RMAX 범위 사이에 위치해 있는 잠재적 타겟(15)을 갖는 특정 조명된 배경을 향해 전파된다. 조명 구간(20)은 회전 매커니즘 유닛(12)(미도시됨)을 통해 형성된다. 광원 반사들(22)은 에어로졸들을 갖는 매체에서의 광 빔(20) 전파에 기인한다. (시간 T0부터 시작하는)이 기간동안 센서 유닛(13)은 광원 반사들(22)에게 노출되지 않는다.
도 2b에 도시된 시간 (T1)에서, 광원(11)(미도시됨)은 빛을 이러한 특정 배경으로 방출하지 않는다. 조명 구간(20)은 RMIN과 RMAX 범위 사이에 위치해 있는 잠재적 타겟(15)을 갖는 특정 조명된 배경을 향해 여전히 전파된다. 광원 반사들(22)은 에어로졸들을 갖는 매체에서의 광 빔(20) 전파에 기인한다. (T0 부터 T1)이 기간동안 센서 유닛(13)은 광원 반사들(22)에 노출되지 않는다.
도 2c에 도시된 시간 (T2)에서, 광원(11)(미도시됨)은 빛을 이러한 특정 배경으로 방출하지 않는다. 조명 구간(20)은 RMIN과 RMAX 범위 사이에 위치해 있는 잠재적 타겟(15)을 갖는 특정 조명된 배경을 향해 여전히 전파된다. 광원 반사들(22)은 에어로졸들을 갖는 매체에서의 광 빔(20) 전파에 기인한다. 광 빔(18) 내, 광원 반사(21)는, 광 빔(20)으로부터 비롯하여 타겟(15)으로부터 반사된 것이다. (T1 부터 T2)이 기간동안 센서 유닛(13)은 광원 반사들(22)에 노출되지 않고, 타겟 반사(21)에 노출되지 않는다.
도 2d에 도시된 시간 (T3)에서, 광원(11)(미도시됨)은 빛을 이러한 특정 배경으로 방출하지 않는다. 조명 구간(20)(미도시됨)은 특정 조명된 배경의 방향으로(RMAX로부터 더 멀리) 여전히 전파된다. 광 빔(18) 내, 광원 반사(21)는, 여전히 반사된다(즉, 대기로 전파된다). (T2 부터 T3)이 기간동안 센서 유닛(13)은 광원 반사들(22)(미도시됨)에 노출되지 않고, 타겟 반사(21)에 노출되지 않는다.
도 2e에 도시된 시간 (T4)에서, 광원(11)(미도시됨)은 빛을 이 특정 배경으로 방출하지 않는다. 조명 구간(20)(미도시됨)은 특정 조명된 배경의 방향으로(RMAX로부터 더 멀리) 여전히 전파된다. 광 빔(18) 내, 광원 반사(21)는, 여전히 반사되며(즉, 대기로 전파된다), 이제 센서 유닛(13) 내 특정 시간 구간동안 축적된다.
개시 기술이 센서 유닛(13)에 대해 360°배경 내에서 비체적(피사계 심도)(즉, RMIN과 RMAX 범위 사이)의 축적 조작을 어떻게 제공하는지 명확히 설명하기 위해, 센서 유닛(13)의 상태를 광원 유닛(11)의 상태에 관해 설명하는 것이 유용하다.
여기에서는 일반적으로 부호 (10)으로 참조되며, 개시 기술의 실시예에 따라 구성되고 가동되는 시스템의 동작을 도식화한 도 3a 내지 도 3c를 참고하도록 한다. 이하의 설명을 간소화하기 위해 세개의 특정 배경들(즉, 영역들)은 A, B, 및 C(즉, 제안 기술은 최소한 하나의 단일 영역을 가질 수도 있다)로 도시되었다. 각각의 특정 영역은 세개의 지역들, 예를 들면, A1, A2, 및 A3로 나뉜다. 도면들 각각(도 3a 내지 도 3c)은 Ta<Tb<Tc(타임 스탬프)에서 시스템(10)의 정지 조건을 나타낸다. 제안 기술은 최소한 하나의 단일 특정 배경을 가질 수도 있으나, 이에 제한되지 않는다.
도 3a에 도시된 시간 (Ta)라는 특정 순간에, 지역 A3를 통해 통과하는, 광원(11)은, 지역 A1을 향해 20A의 구간을 갖는 빛을 방출한다. 잠재적 타겟(15A)은 지역 A1에 RMIN과 RMAX 범위 사이에 위치된다. 조명 구간(20A)은 회전 매커니즘 유닛(12)(여기에는 미도시됨. 본 발명의 목적을 위해 설계된 임의의 액츄에이터가 사용될 수 있는 것으로 이해되어야 한다)을 통해 형성된다. 지역 C3를 통해 통과하는, 센서 유닛(13)은, 이 기간동안 오직 지역 C1에 RMIN과 RMAX 범위 사이의 반사광 신호로부터의 반사광(21C) 발생만을 축적한다. 또한, 20B의 구간을 갖는 빛은 외부로 반사되며(즉, B3로부터 B1 방향), 21B의 구간을 갖는 반사광 신호는 B3를 향해 반사된다.
도 3b에 도시된 시간 (Tb)라는 특정 순간에, 지역 C3를 통해 통과하는, 광원(11)은, 지역 C1을 향해 20C의 구간을 갖는 빛을 방출한다. 잠재적 타겟(15C)은 지역 C1에 RMIN과 RMAX 범위 사이에 위치된다. 조명 구간(20C)은 회전 매커니즘 유닛(12)(미도시됨)을 통해 형성된다. 지역 B3를 통해 통과하는, 센서 유닛(13)은, 이 기간동안 오직 지역 B1에 RMIN과 RMAX 범위 사이의 반사광 신호로부터의 반사광(21B) 발생만을 축적한다. 또한, 20A의 구간을 갖는 빛은 외부로 반사되며(즉, A3로부터 A1 방향), 21A의 구간을 갖는 반사광 신호는 A3를 향해 반사된다.
도 3c에 도시된 시간 (Tc)라는 특정 순간에, 지역 B3를 통해 통과하는, 광원(11)은, 지역 B1을 향해 20B의 구간을 갖는 빛을 방출한다. 잠재적 타겟(15B)은 지역 B1에 RMIN과 RMAX 범위 사이에 위치된다. 조명 구간(20B)은 회전 매커니즘 유닛(12)(미도시됨)을 통해 형성된다. 지역 A3를 통해 통과하는, 센서 유닛(13)은, 이 기간 동안 오직 지역 A1에 RMIN과 RMAX 범위 사이의 반사광 신호로부터의 반사광(21A) 발생만을 축적한다. 또한, 20C의 구간을 갖는 빛은 외부로 반사되며(즉, C3로부터 C1 방향), 21C의 구간을 갖는 반사광 신호는 C3를 향해 반사된다.
회전 매커니즘 유닛(12)은 광원 유닛(11)에 의해 조명된 배경의 비체적(피사계 심도)을 센서 유닛(13)에 축적하기 위해 광원 유닛(11) 및 센서 유닛(13)을 상호 시프트한다.
시스템(10)의 시간 순서는 도 4에 도시된 이하의 물리적 변수들에 의해 제공된다. 단순성 고려를 위해 하나의 단일 특정 배경(영역 A)이 잠재적 타겟(15) 및 대기 조건들(16)과 함께 도시되었다. 시스템(10)은 빛의 속도에 대해(c, 1과 같은 굴절률에 대해) 이하의 물리적 변수들을 가질 수도 있다(광원(11) 조명장 각도는 고려되지 않는다).
Figure pct00001
여기서,
RMIN =광원(11)에 의해 방출된 후방 산란광을 회피한 시스템(10)에 근접한 지역을 정의한다;
R =시스템(10)으로부터 선택적 타겟(15)까지의 원하는 거리를 정의한다; 및
ㅿR =거리 R안에 위치된 선택적 타겟(15)에 대한 원하는 배경의 비체적(피사계 심도)을 정의한다.
Figure pct00002
여기서,
RMAX =시스템(10)과 잠재적 타겟(15) 사이의 거리를 정의한다.
Figure pct00003
여기서,
t1 ='제1' 광자가 광원(11)으로부터 거리 RMIN까지 전파하고 시스템(10)으로 반사되어 돌아오는데 걸리는 시간을 정의한다.
Figure pct00004
여기서,
t2 ='제1' 광자가 광원(11)으로부터 거리 RMAX까지 전파하고 시스템(10)으로 반사되어 돌아오는데 걸리는 시간을 정의한다.
Figure pct00005
여기서,
α =센서 유닛(13)에 대한 광원(11)의 각 시프트를 정의한다;
ω =회전 매커니즘(12)의 각속도를 정의한다.
Figure pct00006
여기서,
ㅿt =특정의 원하는 범위 및 범위 체적에 대한 센서 유닛(13)의 축적 시간을 정의한다.
Figure pct00007
여기서,
β=센서 유닛(13)의 최소각 FOV를 정의한다.
회전 매커니즘(12)의 각속도 (ω)는 광학 MEMS 미러의 회전/플립핑과 같은 MEMS를 통해 생성되어 원하는 각속도 제공을 할 수도 있다.
백그라운드 신호에 비하여 반사된 타겟 신호를 녹이기 위해 센서 유닛(13)의 신호 축적에서 신호 조정 임계값이 구현될 수도 있다. 조정 임계값은 각각의 피사계 심도, 주위의 조명 조건들, 물체들의 유형, 광원 전자광학 변수들, 및 센서 유닛 전자광학 변수들 중 적어도 하나에 적어도 부분적으로 기초할 수 있다.
조정 피사계 심도는 도 5a 내지 도 5c(정면)에 도시된 바와 같이, 광원 유닛(11) 및 센서 유닛(13)의 서로에 대한 형태, 치수, 및 방향의 구성에 의해 제공될 수 있다. 도 5a는 센서 유닛(13) 입력(42)에 대해 광원 유닛(11)의 출력 조명(41)이 평행한 구성의 정면을 도시한다. 도 5b 및 5c는 센서 유닛(13)의 입력(42)에 대해 광원 유닛(11)의 출력 조명(41)이 대각선인 구성의 정면을 도시한다.
시스템(10)에 의한 물체 검출에서 추가의 센서들은 이미지 프로세싱 알고리즘을 이용하여 자동적으로 또는 오퍼레이터에 의해 수동적으로 이러한 잠재적 물체들을 확인, 조사, 또는 배제시키는데 사용될 수 있다. 잠재적 물체들의 확인 또는 배제는 오류율을 감소시키기 위하여 또는 검출 민감도를 증가시키기 위하여 시스템 조정 임계값에 영향을 줄 수도 있다. 잠재적 물체들의 확인 또는 배제는 그에 따른 피사계 심도를 조정하기 위해(예를 들어 만일 추가 센서들 중 하나에 의해 검출된 알려진 물체로부터 잘못된 검출이 생성되면, 다른 피사계 심도 형태가 필요하다) 공간 동기화 속도에 영향을 미칠 수도 있다. 물체 검출에 결합된 추가 센서들은 적외선 영상기(예를 들면, InGaAs 센서를 사용하는 3에서 5 마이크로미터 밴드 또는 8에서 12 마이크로미터 밴드 중 하나에서 동작하는 전방 감지 적외선 (FLIR) 영상기), 자외선 카메라, '수동' 센서(예를 들면, CCD, CMOS), 초음파 센서, 레이더, 광선 레이더 등이 될 수 있다.
광원 유닛(11) 및 센서 유닛(13)은 별도로 시프트되어 시스템의 추가 유연성을 제공할 수도 있다. 별도의 시프트는 유닛들의 상이한 반경(회전 매커니즘(12)의 광원 유닛(11) 및 센서 유닛(13)에 대한 상이한 각속도)에 의해 제공될 수 있다.
단순성의 이유로, 시스템(10)은 전술한 단일 광원 유닛(11) 및 단일 센서 유닛(13)으로 설명되었다. 시스템(10)은 단일 광원(11)과 함께 수개의 센서 유닛들(13)을 포함할 수 있고, 각 센서 유닛(13)은 다음 중 적어도 하나에 기초한 상이한 피사계 심도를 축적할 수 있다; 공간 동기화 속도, 파장, 및 센서 유닛 전자광학 변수들. 시스템(10)은 수개의 광원들(11) 및 단일 센서 유닛(13)을 포함할 수 있고, 센서 유닛(11)은 다음 중 적어도 하나에 기초한 상이한 피사계 심도를 축적할 수 있다; 공간 동기화 속도, 파장, 및 광원 유닛 전자광학 변수들. 시스템(10)은 수개의 광원들(11)과 함께 수개의 센서 유닛들(13)을 포함할 수 있고, 각 센서 유닛(13)은 다른 피사계 심도 및 다른 검출 능력들을 축적할 수 있다. 듀얼 센서 유닛(13)이 수반되는 듀얼 광원(11)을 포함하는 시스템(10)은 센서 유닛들로부터 축적된 신호들에 기초한 타겟 치수 검출까지도 제공할 수 있다.
시스템(10)은 타겟 검출 최적화를 위해 센서 유닛(13) 및 광원(11) 공간 동기화 속도를 제어/변화시킬 수 있다(즉, 특정 타겟마다, 시스템(10)은 검출 능력들 최적화를 위해 수개의 피사계 심도를 축적할 수도 있다).
발명이 제한된 수의 실시예들에 대하여 설명되었으나, 이들은 발명의 범위에 대한 제한들로 이해되어서는 안되며, 오히려 바람직한 실시예들 중 일부의 예시들로 이해되어야 한다. 가능한 변형들, 수정들, 및 애플리케이션들 또한 본 발명의 범위에 해당한다. 따라서, 본 발명의 범위는 이와 같이 지금까지 설명된 것에 의해 제한되어서는 안되고, 첨부된 청구범위들 및 그와 법리적으로 균등한 범위들로 특정되어야 한다.

Claims (20)

  1. 배경 내 조명 라인을 따라 광 빔을 조명하는 광원;
    상기 배경 내 특정된 피사계 심도 내에 위치한 물체들으로부터, 센싱 라인을 따라 생성되는 광 반사들의 센싱 및 축적에 의해 신호를 생성하는 센서 유닛;
    상기 조명 라인과 상기 센싱 라인 사이의 공간 동기화 속도를 계산하는 컴퓨터 프로세서로서, 상기 동기화는 감지되는 상기 배경의 체적인 상기 피사계 심도를 결정하며, 상기 결정된 피사계 심도는 상기 시스템이 부착된 플랫폼의 변수들, 및 상기 광원 및/또는 상기 센서 유닛의 공간 각에 적어도 부분적으로 기초하는, 컴퓨터 프로세서; 및
    상기 공간 동기화 속도에 기초한 상기 조명 라인 및 상기 센싱 라인 중 적어도 하나를 공간적 및 상대적으로 시프트하는 액츄에이터를 포함하며,
    상기 컴퓨터 프로세서는 상기 특정된 피사계 심도에서의 상기 물체들을 검출하기 위해, 상기 조명 및 상기 센싱 라인의 상기 공간적 시프트에 기초한, 상기 신호를 수신하는, 시스템.
  2. 제 1항에 있어서,
    상기 피사계 심도는 조정 가능한, 시스템.
  3. 제1항에 있어서,
    상기 물체들의 상기 검출은 각각의 피사계 심도, 주변 광 조건들, 물체들의 종류, 광원 전자 광학 변수들, 및 센서 유닛 전자 광학 변수들 중 적어도 하나에 적어도 부분적으로 기초한 임계값을 기반으로 하는, 시스템.
  4. 제1항에 있어서,
    상기 축적은 상기 공간 동기화 속도에 의해 결정된 기점(RMIN) 및 종점(RMAX)을 갖는, 시스템.
  5. 제1항에 있어서,
    상기 액츄에이터는 회전 매커니즘을 포함하고, 상기 광원 및 센서 유닛의 상기 상대적 공간 시프팅은 교대로 이루어지는, 시스템.
  6. 제1항에 있어서,
    상기 광 빔은 연속파(CW:Continuous Wave)를 포함하는, 시스템.
  7. 제1항에 있어서,
    상기 광 빔은 적어도 하나의 단일 광펄스를 포함하는, 시스템.
  8. 제 1항에 있어서,
    상기 광 빔은 근적외선(IR:Infra-Red) 스펙트럼을 포함하는, 시스템.
  9. 제1항에 있어서,
    상기 액츄에이터는 적어도 하나의 마이크로 전자 기계 시스템(MEMS:Micro Electro Mechanical System)을 포함하는, 시스템.
  10. 제1항에 있어서,
    상기 컴퓨터 프로세서는 상기 결정된 피사계 심도 내 검출된 물체들에 기초하여, 상기 결정된 피사계 심도의 이미지를 생성하는, 시스템.
  11. 제1항에 있어서,
    상기 광원은 레이저인, 시스템.
  12. 제1항에 있어서,
    상기 센서 유닛은 2D 픽셀 어레이인, 시스템.
  13. 제12항에 있어서,
    상기 센서 유닛은 상보형 금속 산화물 기판(CMOS:Complementary Metal Oxide Substrate)인, 시스템.
  14. 제12항에 있어서,
    상기 센서 유닛은 하이브리드 구조인, 시스템.
  15. 배경 내 조명 경로를 따라 광 빔을 조명하는 단계;
    상기 배경 내 특정된 피사계 심도 내에 위치한 물체들로부터, 상기 조명 경로를 따라 생성되는 광 반사들의 센싱 및 축적에 의해 신호를 생성하는 단계;
    상기 조명 라인과 상기 센싱 라인 사이의 공간 동기화 속도를 계산하는 단계로서, 상기 동기화는 감지되는 상기 배경의 체적인 상기 피사계 심도를 결정하며, 상기 결정된 피사계 심도는 상기 시스템이 부착된 플랫폼의 변수들, 및 상기 광원 및/또는 상기 센서 유닛의 공간 각에 적어도 부분적으로 기초하는, 공간 동기화 속도 계산 단계;
    상기 공간 동기화 속도에 기초하여, 상기 조명 라인 및 상기 센싱 라인 중 적어도 하나를 공간적 및 상대적으로 시프팅하는 단계; 및
    상기 특정된 피사계 심도에서의 상기 물체들을 검출하기 위해, 상기 조명 및 상기 센싱 라인의 상기 공간적 시프트에 기초하여, 상기 신호를 수신하는 단계를 포함하는, 방법.
  16. 제15항에 있어서,
    상기 시야는 조정 가능한, 방법.
  17. 제15항에 있어서,
    상기 물체들의 상기 검출은 각각의 피사계 심도, 주변 광 조건들, 물체들의 종류, 광원 전자 광학 변수들, 및 센서 유닛 전자 광학 변수들 중 적어도 하나에 적어도 부분적으로 기초한 임계값을 기반으로 하는, 방법.
  18. 제15항에 있어서,
    상기 축적은 상기 공간 동기화 속도에 의해 결정된 기점(RMIN) 및 종점(RMAX)을 갖는, 방법.
  19. 제15항에 있어서,
    상기 광 빔은 연속파(CW:Continuous Wave)로 구성되는, 방법.
  20. 제15항에 있어서,
    상기 결정된 피사계 심도 내 검출된 물체들에 기초하여, 상기 결정된 피사계 심도의 이미지를 생성하는 단계를 더 포함하는, 방법.
KR1020157020931A 2013-01-07 2014-01-06 회전 시스템에 의한 물체 검출 KR20150103247A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL224130 2013-01-07
IL224130A IL224130A (en) 2013-01-07 2013-01-07 Identify objects using a confusion system
PCT/IL2014/050016 WO2014106853A1 (en) 2013-01-07 2014-01-06 Object detection by whirling system

Publications (1)

Publication Number Publication Date
KR20150103247A true KR20150103247A (ko) 2015-09-09

Family

ID=51062196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157020931A KR20150103247A (ko) 2013-01-07 2014-01-06 회전 시스템에 의한 물체 검출

Country Status (6)

Country Link
US (1) US20150330774A1 (ko)
EP (1) EP2941622A4 (ko)
KR (1) KR20150103247A (ko)
CN (1) CN105143819A (ko)
IL (1) IL224130A (ko)
WO (1) WO2014106853A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10473786B2 (en) * 2015-11-05 2019-11-12 Arete Associates Continuous wave laser detection and ranging
US10274979B1 (en) * 2018-05-22 2019-04-30 Capital One Services, Llc Preventing image or video capture of input data provided to a transaction device
US10438010B1 (en) 2018-12-19 2019-10-08 Capital One Services, Llc Obfuscation of input data provided to a transaction device
US11227194B2 (en) * 2019-07-16 2022-01-18 Baidu Usa Llc Sensor synchronization offline lab validation system
CN111565259A (zh) * 2019-11-20 2020-08-21 王涛 Ip数据包无线发送平台及方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3067281A (en) * 1945-10-01 1962-12-04 Gen Electric Underwater object locator and viewer
US3555178A (en) * 1965-01-11 1971-01-12 Westinghouse Electric Corp Optical imaging and ranging system
US4290043A (en) * 1979-10-16 1981-09-15 Kaplan Irwin M Method of and system for detecting marine obstacles
FR2568688B1 (fr) * 1984-08-03 1986-09-05 Thomson Csf Systeme emetteur-recepteur pour imagerie laser
US5790241A (en) * 1996-08-07 1998-08-04 The United States Of America As Represented By The Secretary Of The Army Laser rangefinder
GB2320829B (en) * 1996-12-04 1998-10-21 Lockheed Martin Tactical Sys Method and system for predicting the motion e.g. of a ship or the like
DE10210340A1 (de) * 2002-03-08 2003-09-18 Leuze Electronic Gmbh & Co Optoelektronische Vorrichtung
EP1508057A2 (en) * 2002-05-17 2005-02-23 Areté Associates Imaging lidar with micromechanical components
ES2301835T3 (es) * 2002-08-05 2008-07-01 Elbit Systems Ltd. Metodo y sistema de formacion de imagenes de vision nocturna montado en vehiculo.
US7095488B2 (en) * 2003-01-21 2006-08-22 Rosemount Aerospace Inc. System for profiling objects on terrain forward and below an aircraft utilizing a cross-track laser altimeter
KR100957084B1 (ko) * 2006-10-18 2010-05-13 파나소닉 전공 주식회사 공간 정보 검출 장치
US7746449B2 (en) * 2007-11-14 2010-06-29 Rosemount Aerospace Inc. Light detection and ranging system
NO332432B1 (no) * 2008-08-12 2012-09-17 Kongsberg Seatex As System for deteksjon og avbildning av objekter i banen for marine fartoy
WO2011107987A1 (en) * 2010-03-02 2011-09-09 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment
CA2805701C (en) * 2010-07-22 2018-02-13 Renishaw Plc Laser scanning apparatus and method of use
CN102419166B (zh) * 2011-08-17 2013-08-21 哈尔滨工业大学 高精度多频同步相位激光测距装置与方法

Also Published As

Publication number Publication date
WO2014106853A1 (en) 2014-07-10
CN105143819A (zh) 2015-12-09
IL224130A (en) 2017-01-31
EP2941622A1 (en) 2015-11-11
US20150330774A1 (en) 2015-11-19
EP2941622A4 (en) 2016-08-24

Similar Documents

Publication Publication Date Title
EP2542913B1 (en) Image gated camera for detecting objects in a marine environment
US11467269B2 (en) Laser detection and ranging device for detecting an object under a water surface
US6380871B1 (en) System for and method of searching for targets in a marine environment
US5243541A (en) Imaging lidar system for shallow and coastal water
JP6576340B2 (ja) 水面の物体を探知するための探知システム
US8184276B2 (en) Continuous index of refraction compensation method for measurements in a medium
US5457639A (en) Imaging lidar system for shallow and coastal water
US7667598B2 (en) Method and apparatus for detecting presence and range of a target object using a common detector
JP5955458B2 (ja) レーザレーダ装置
US20200141716A1 (en) Methods and Systems for Mapping Retroreflectors
KR20150103247A (ko) 회전 시스템에 의한 물체 검출
US9702819B1 (en) Surface vessel wake detection
KR102297399B1 (ko) 듀얼 파장을 이용한 라이다 장치
US20220326356A1 (en) 360 degree lidar system for underwater vehicles
TR2021004662A1 (tr) Hayalet görüntüleme tabanli kuantum radar ve li̇dar

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid