KR20210003856A - 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라 - Google Patents

자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라 Download PDF

Info

Publication number
KR20210003856A
KR20210003856A KR1020207033702A KR20207033702A KR20210003856A KR 20210003856 A KR20210003856 A KR 20210003856A KR 1020207033702 A KR1020207033702 A KR 1020207033702A KR 20207033702 A KR20207033702 A KR 20207033702A KR 20210003856 A KR20210003856 A KR 20210003856A
Authority
KR
South Korea
Prior art keywords
tele
camera
wide
fov
ooi
Prior art date
Application number
KR1020207033702A
Other languages
English (en)
Inventor
갈 샤브타이
에란 버먼
로이 프리드만
노이 코헨
에브라임 골든베르그
길 바쳐
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Priority to KR1020237044991A priority Critical patent/KR20240026457A/ko
Publication of KR20210003856A publication Critical patent/KR20210003856A/ko

Links

Images

Classifications

    • G06K9/00791—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/02—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
    • H04N3/08—Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06K9/00228—
    • G06K9/00288—
    • G06K9/00771—
    • G06K9/209—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Vascular Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)

Abstract

자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소(OPFE)가 있는 듀얼 애퍼처 줌 디지털 카메라를 포함한 시스템 및 이것을 작동 및 사용하는 방법. 일부 실시예들에서, 듀얼 애퍼처 줌 디지털 카메라는 와이드 시야각(FOVW), 와이드 센서 및 와이드 렌즈를 가진 와이드 카메라 - 여기서 와이드 카메라는 와이드 이미지 정보를 출력하도록 동작함 -, FOVW보다 작은 텔레 시야각(FOVT)을 갖고 텔레 센서, 텔레 렌즈 광축이 있는 텔레 렌즈 및 스캐닝 OPFE를 갖는 텔레 카메라, 및 와이드 및/또는 텔레 이미지 정보로부터 관심 객체(OOI)를 감지하고, FOVT를 이동시켜서 OOI에 대한 텔레 이미지 정보를 획득하도록 텔레 카메라에 지시하는 처리 유닛을 포함한다.

Description

자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라
관련 출원에 대한 상호 참조
본 출원은 2018년 7월 4일에 출원된 미국 가특허 제62/693,951호의 우선권을 주장하며, 이 출원의 내용은 그 전체가 본원에 참조로서 포함된다.
분야
본 명세서에 개시된 실시예들은 일반적으로 디지털 카메라, 특히 얇은 줌 디지털 카메라에 관한 것이다.
두 개의 카메라("듀얼 카메라" 또는 "듀얼 애퍼처 카메라"라고도 함)가 있는 호스트 장치가 알려져 있다(예를 들면, 미국 특허 번호 제9185291호 참조). 두 개의 카메라에는 초점 길이가 서로 다른 렌즈가 있으며, 이미지를 캡처하기 위해 동시에 작동하는 각각의 이미지 센서가 있다. 각각의 렌즈/센서 조합이 같은 방향을 보도록 정렬되어 있는 경우라도, 그 각각이 동일한 장면의 이미지를 캡처하지만 서로 다른 시야각(field of view, FOV)을 갖게 된다. 본 명세서에서 사용되는 바와 같이, "FOV"는 렌즈를 가로 지르고 렌즈 광축에 평행한 선과, 렌즈와 각 이미지 모서리에서 캡처되는 임의의 객체 사이의 선 사이의 접선으로 정의된다. 단순화를 위해 이하에서는 "이미지 센서"를 "센서"라고 한다.
하나의 카메라가 "와이드(Wide)" FOV(FOVw)를 갖고 다른 카메라가 좁은 또는 "텔레" FOV(FOVT)를 갖는 듀얼 애퍼처 줌 카메라가 또한 알려져 있다(예를 들면, 미국 특허 번호 제9185291호 참조). 이 카메라들은 와이드 및 텔레 센서들을 각각 포함하는 와이드 및 텔레 카메라들이라고 지칭된다. 이러한 센서들은 각각 별도의 와이드 및 텔레 이미지들을 제공한다. 와이드 이미지는 FOVw를 캡처하며, FOVT를 캡처하는 텔레 이미지의 공간 해상도보다 낮은 공간 해상도를 갖는다. 이 이미지들이 함께 병합(융합)되어 합성 이미지를 형성할 수 있다. 합성 이미지에서, 중앙 부분은 렌즈/센서 조합에 의해서 촬영되는 상대적으로 높은 공간 해상도 이미지와 긴 초점 길이를 결합하여 형성되며, 주변 부분은 렌즈/센서 조합에 의해서 촬영되는 상대적으로 낮은 공간 해상도 이미지의 주변 부분과 짧은 초점 길이에 의해 형성된다. 사용자가 원하는 줌 크기를 선택하며, 선택된 줌 크기로부터의 값들을 보간하여 각각의 줌 이미지를 제공하기 위해 합성 이미지가 사용된다. 이하, 본 설명에서 "해상도(resolution)"는 렌즈 초점 길이, 애퍼처 직경 및 센서 픽셀 크기에 의해 결정되는 카메라의 해상력을 나타내는, 이미지 공간 해상도를 의미한다.
폴딩된 광학 경로를 통해 하나의 이미지(일반적으로 텔레 이미지)를 얻는 듀얼 애퍼처 카메라가 알려져 있으며(공동 발명 및 공동 소유된 미국 특허 출원 번호 제14/455,906호), 이것은 "직립(upright)"(객체 또는 장면에 대한 다이렉트 광축을 가짐) 와이드 카메라 및 "폴딩된(folded)" 텔레 카메라로 구성된 줌 디지털 카메라에 대해 설명한다(아래의 도 2b 참조). 폴딩된 카메라는 직립 카메라의 광축에 대하여 실질적으로 수직(직교)인 광축을 갖는다. 폴딩된 텔레 카메라는 렌즈를 이동시키거나 광학 경로 폴딩(반사) 요소("OPFE")(예를 들면, 렌즈와 각 센서 사이의 광학 경로에 삽입되는 프리즘 또는 거울)를 기울여 자동 초점을 맞추고 광학적으로 안정화될 수 있다. 단순화를 위해, 이하에서는 OPFE를 일반적으로 "프리즘"이라고 지칭하며, 이 용어는 본 명세서에 설명된 바와 같이 광학 경로를 폴딩하는 기능을 수행할 수 있는 임의의 다른 광학 경로 폴딩(반사) 요소(예를 들어 거울)를 지칭할 수 있다.
예를 들어, "듀얼 애퍼처 줌 디지털 카메라 사용자 인터페이스"라는 발명의 명칭의 PCT 특허 출원 PCT/IB2016/056060에는 호스트 장치에 포함된 듀얼 애퍼처 디지털 카메라, 와이드 카메라 및 텔레 카메라를 포함하는 듀얼 애퍼처 디지털 카메라를 동작시키기 위한 사용자 인터페이스가 개시되어 있으며, 이 사용자 인터페이스는 적어도 하나의 아이콘과 텔레 및 와이드 카메라들 중 적어도 하나에 의해 획득되는 장면의 이미지를 표시하도록 구성되는 스크린, FOVw에 의해 정의되는 와이드 이미지에 중첩된 FOVT를 정의하는 가시 프레임, 및 와이드 이미지 디스플레이에서 텔레 이미지 디스플레이로 스크린을 전환하는 수단을 포함한다. 사용자 인터페이스는 텔레 이미지 디스플레이에서 와이드 이미지 디스플레이로 스크린을 전환하는 수단을 더 포함한다. 사용자 인터페이스는 텔레 이미지를 획득하는 수단, 획득된 텔레 이미지를 저장 및 디스플레이하는 수단, 와이드 이미지와 텔레 이미지를 동시에 획득하는 수단, 와이드 및 텔레 이미지들을 개별적으로 저장하고 디스플레이하는 수단, 텔레 이미지를 위한 초점 표시기 및 와이드 이미지를 위한 초점 표시기를 더 포함할 수 있다.
객체 인식이 알려져 있으며 이미지 또는 비디오 시퀀스에서 객체들을 탐지하고 식별하는 작업을 설명한다. 컴퓨터 비전 시스템에서 이 작업을 수행하기 위한 다수의 접근 방식들이 구현되었다. 이러한 접근 방식들은 다양한 조건들 및 대규모 모델 기반들에서 예시 이미지들을 사용하는 모양 기반 방법 및/또는 표면 패치, 모서리 및 가장자리 감지 및 매칭을 사용하여 객체 특징과 이미지 특징 사이의 가능한 매칭을 찾아내도록 탐색하는 특징 기반 방법에 의존할 수 있다. 인식된 객체들은 순차적 프레임들을 분석하고 프레임들 사이의 타겟들의 움직임 출력하는 알고리즘을 사용하여 프리뷰 또는 비디오 피드들에서 추적될 수 있다.
모션 기반 객체 추적의 문제는 다음과 같은 두 부분으로 나누어질 수 있다:
(1) 각 프레임에서 움직이는 객체들의 감지. 이것은 특정 객체들(예를 들면, 사람의 얼굴)를 인식하고 추적하기 위한 객체 인식 알고리즘을 포함하거나, 예를 들어 장면에서 움직이는 객체를 감지하는 것에 의하여 수행될 수 있다. 후자는 노이즈를 제거하기 위해 결과 전경 마스크에 적용되는 형태학적 연산들과 함께 가우스 혼합 모델들을 기반으로 하는 배경 제거 알고리즘을 포함할 수 있다. Blob 분석이 움직이는 객체들에 대응하는 것일 수 있는, 연결된 픽셀 그룹들을 나중에 감지할 수 있으며; 또한
(2) 예를 들어 Kalman 필터와 같은 모션 추정 필터들을 사용하여, 시간이 지남에 따라 동일한 객체에 대응하는 감지들을 연관시킨다.
카메라들과 관련된 자동차 또는 감시 애플리케이션에 고해상도로 특정 관심 영역을 검사할 수 있는 기능이 있으면 유리하다. 단일 카메라로 처리되는 경우에는, 필요한 공간 해상도로 인해 단일 카메라에 매우 많은 수의 픽셀이 있는 센서가 있어야 한다.
따라서 큰 시야각을 갖는 이미지에서 특정 관심 영역을 식별하고, 좁은 시야각을 갖는 카메라를 해당 위치로 조종해야 한다.
다양한 실시예들에서, 자동차 또는 감시 애플리케이션을 위한 스캐닝 OPFE가 있는 듀얼 애퍼처 줌 디지털 카메라를 포함한 시스템 및 이것을 작동 및 사용하는 방법이 제공된다.
예시적인 실시예들에서, 와이드 시야각(FOVw)을 가지며 와이드 센서와 와이드 렌즈를 포함하는 와이드 카메라 - 와이드 카메라는 와이드 이미지 정보를 출력하도록 동작함 -; FOVw보다 작은 텔레 시야각(FOVT)을 가지며 텔레 센서, 텔레 렌즈 광축이 있는 텔레 렌즈 및 스캐닝 OPFE를 포함하는 텔레 카메라; 및 와이드 및/또는 텔레 이미지 정보로부터 관심 객체(OOI)를 감지하고, FOVT를 이동시켜서 OOI에 대한 텔레 이미지 정보를 획득하도록 텔레 카메라에게 지시하는 처리 유닛을 포함하는 시스템들이 제공된다.
예시적인 실시예에서, 시스템은 차량에 설치되며, 처리 유닛은 차량에서 요구되는 액션 조치(measure-of-action) 또는 필요한 응답을 계산하도록 더 동작한다.
예시적인 실시예에서, 시스템은 FOVT를 이동시키기 위해 OPFE를 기울이는 액추에이터를 더 포함한다.
예시적인 실시예에서, 처리 유닛은 FOVT를 실질적으로 FOVw의 중심으로 이동시키도록 텔레 카메라에게 지시하도록 동작한다.
예시적인 실시예에서, 처리 유닛은 FOVT를 실질적으로 OOI의 중심으로 이동시키도록 텔레 카메라에게 지시하도록 동작한다.
예시적인 실시예에서, 처리 유닛은 차량의 스티어링 휠로부터 스티어링 정보를 수신하며, 또한 스티어링 정보에 기초하여 FOVT를 이동시키도록 텔레 카메라에게 지시하도록 동작한다.
예시적인 실시예에서, 처리 유닛은 차량의 스티어링 휠로부터 스티어링 정보를 수신하도록 동작하며, 액추에이터가 또한 스티어링 정보에 기초하여 FOVT를 이동시키도록 OPFE를 기울인다.
예시적인 실시예에서, FOVw가 차량 앞의 도로를 커버하고, OOI는 도로 커브(road curve)이며, 처리 유닛은 도로 커브를 따르도록 FOVT를 이동시키도록 동작한다.
예시적인 실시예에서, 차량은 차량 캐빈(vehicle cabin)을 구비하고, OOI는 차량 캐빈 내부에 위치되며, OPFE는 FOVT보다 큰 확장된 텔레 카메라 FOV(FOVE)를 제공하도록 기울어질 수 있다.
예시적인 실시예에서, OOI는 차량의 운전자이고, 요구되는 액션 측정 또는 응답은 운전자의 시선(gaze)에 기초한다.
예시적인 실시예에서, OOI는 어린이이며, 요구되는 액션 측정 또는 응답은 어린이가 안전 벨트를 착용하지 않았다는 경고이다.
예시적인 실시예에서, 요구되는 액션 측정 또는 응답은 차량의 속도 및/또는 코스 변경, 차량의 운전자에 대한 내부 경보 작동, 외부 경보 작동, 인터넷/클라우드 기반 서비스/경찰/도로 지원 서비스들에 대한 데이터 정보 전송 또는 호출 및 이들의 조합으로 구성된 그룹에서 선택되는 액션 측정 또는 응답을 포함한다.
예시적인 실시예에서, OOI는 인간의 얼굴이다.
예시적인 실시예에서, 처리 유닛은 얼굴 인식을 위해 인간의 얼굴의 특정 위치로 이동하도록 텔레 카메라에 지시하도록 동작한다.
예시적인 실시예에서, 처리 유닛은 두 방향으로 FOVw의 부분들을 스캔하기 위해 FOVT를 이동시키도록 텔레 카메라에 지시하도록 동작한다.
예시적인 실시예에서, 스캔은 5-50msec 사이의 OPFE의 틸팅(tilting) 및 세틀링(settling) 시간으로 스캐닝 OPFE에 의해 수행된다.
예시적인 실시예에서, 처리 유닛은 와이드 및/또는 텔레 이미지 정보로부터 OOI를 감지하고 자동 추적 모드에서 OOI에 대한 정보를 획득하기 위해 FOVT를 이동시키도록 텔레 카메라에 지시하도록 동작한다.
예시적인 실시예에서, 와이드 및 텔레 이미지 정보는 합성 이미지 또는 합성 비디오 스트림을 형성하기 위해 함께 융합될 수 있다.
예시적인 실시예에서, 각각의 합성 이미지는 동일한 시야각을 갖는다.
예시적인 실시예에서, 합성 이미지는 복수의 텔레 이미지들을 스티칭(stitching)함으로써 형성된다.
본 명세서에 개시된 실시예들의 비제한적인 예들에 대하여 본 단락 이후에 열거되는 본 명세서에 첨부된 도면들을 참조하여 이하에서 설명한다. 두 개 이상의 도면에 나타나는 동일한 구조, 요소 또는 부품은 일반적으로 이들이 나타나는 모든 도면들에서 동일한 숫자로 표시된다. 본 도면 및 설명은 본 명세서에 개시된 실시예들을 분명히하고 명확하게 하기 위한 것이며, 어떠한 방식으로도 제한적인 것으로 간주되어서는 안된다.
도 1a는 본 명세서에 개시된 시스템의 실시예를 도시한 것이다.
도 1b는 사시도에서 듀얼 카메라의 요소들의 예를 도시한 것이다.
도 2는 도 1a의 시스템의 유스 케이스를 개략적으로 도시한 것이다.
도 3은 도 2의 유스 케이스에서 방법의 흐름도를 도시한 것이다.
도 4a는 본 명세서에 개시된 시스템의 다른 실시예를 도시한 것이다.
도 4b는 본 명세서에 개시된 시스템의 또 다른 실시예를 도시한 것이다.
도 5는 도 4a 또는 도 4b의 시스템들의 유스 케이스를 개략적으로 도시한 것이다.
도 6a는 도 4a 또는 도 4b의 시스템들의 사용 방법을 개략적으로 도시한 것이다.
도 6b는 도 4a 또는 도 4b의 시스템들의 또 다른 사용 방법을 개략적으로 도시한 것이다.
도 6c는 도 4a 또는 도 4b의 시스템들의 또 다른 사용 방법을 개략적으로 도시한 것이다.
도 7a는 본 명세서에 개시된 시스템의 또 다른 실시예를 도시한 것이다.
도 7b는 본 명세서에 개시된 시스템의 또 다른 실시예를 도시한 것이다.
도 8은 도 7a 및 도 7b의 시스템의 차량 캐빈 섹션 및 유스 케이스를 도시한 것이다.
도 9a는 도 7a의 시스템의 사용 방법을 개략적으로 도시한 것이다.
도 9b는 도 7b의 시스템의 다른 사용 방법을 개략적으로 도시한 것이다.
도 10a는 본 명세서에 개시된 시스템의 또 다른 실시예를 도시한 것이다.
도 10b는 공지의 디지털 줌으로 획득된 이미지의 해상도를 도시한 것이다.
도 10c는 도 10a의 시스템을 사용하여 "광학" 줌으로 획득된 이미지의 해상도를 도시한 것이다.
도 1a는 본 명세서에서 개시되는 100으로 번호가 매겨진 시스템의 실시예를 도시한 것이다. 시스템(100)은 차량(102)에 설치되거나 부착될 수 있다. 시스템(100)은 텔레 카메라(104), 와이드 카메라(106) 및 처리 유닛("프로세서")(108)를 포함한다. 차량은 예를 들어 자동차, 버스, 트럭, 오토바이, 코치 또는 모든 유형의 알려진 차량일 수 있다. 처리 유닛(108)은 CPU, GPU, ASIC, FPGA, 또는 그래픽 분석이 가능한 임의의 다른 프로세서일 수 있다. 차량과 함께 사용될 때, 시스템(100)과 같은 시스템은 "고급 운전자 보조 시스템" 또는 ADAS로 지칭될 수도 있다.
텔레 카메라(104) 및 와이드 카메라(106)의 조합은 "듀얼 카메라"로 지칭될 수 있으며 110으로 번호가 매겨져 있다. 도 1b는 사시도에서 듀얼 카메라(110)의 요소들의 예를 도시한 것이다. 와이드 카메라(106)는 와이드 센서(132) 및 와이드 렌즈 광축(136)을 갖는 와이드 렌즈(134)를 포함한다. 와이드 센서(132)는 와이드 센서 활성 영역 크기 및 와이드 센서 픽셀 크기를 특징으로 한다. 와이드 렌즈(134)는 EFLw로 표시되는 와이드 유효 초점 길이(EFL)를 특징으로 한다. 선택적으로, 일 실시예에서, 와이드 렌즈(134)는 고정된(일정한) EFLw를 가질 수 있다. 선택적으로, 와이드 렌즈는 와이드 이미지 센서(132)로부터 일정한 거리에 고정될 수 있다(고정 초점). 선택적으로, 와이드 렌즈(134)는 와이드 이미지 센서(132)로부터 와이드 렌즈(134)의 거리를 변경할 수 있는 포커싱 메커니즘(예를 들어, 자동 초점(AF) 메커니즘)에 결합될 수 있으며, 이에 따라 고정되지 않은(가변) 초점을 제공할 수 있다. 와이드 센서 영역과 EFLw의 조합이 와이드 FOV(FOVw)를 결정한다. 일부 예들에 따르면, FOVw는 수평 차량면 방향에 있어서 50-100도일 수 있다.
텔레 카메라(104)는 텔레 센서(122) 및 텔레 렌즈 광축(138)을 갖는 텔레 렌즈(124)를 포함한다. 텔레 센서(122)는 텔레 센서 활성 영역 크기 및 텔레 센서 픽셀 크기를 특징으로 한다. 텔레 렌즈(124)는 EFTT로 표시되는, 텔레 EFL을 특징으로 한다. 선택적으로, 일 실시예에서, 텔레 렌즈(124)는 고정된(일정한) EFL을 가질 수 있다. 일부 실시예들에서, 텔레 렌즈는 텔레 이미지 센서(122)로부터 일정한 거리에 고정될 수 있다(고정 초점). 선택적으로, 텔레 렌즈는 텔레 이미지 센서(122)로부터 텔레 렌즈(124)의 거리를 변경할 수 있는 포커싱 메커니즘(예를 들어, AF 메커니즘)에 결합될 수 있다(비고정 초점). 텔레 센서 영역과 텔레 렌즈 EFLT의 조합이 텔레 FOV(FOVT)를 결정한다. 일부 예들에 따르면, FOVT는 수평 차량면 방향에 있어서 10-30도 사이일 수 있다. 따라서, FOVT는 FOVw보다 작다(좁다).
텔레 카메라(104)는 예를 들어 거울 또는 프리즘과 같은 OPFE(126)를 더 포함한다. OPFE(126)는 텔레 렌즈 광축(138)으로부터 정지점(rest point)에서 45도 기울어진 반사면을 갖는다. 텔레 카메라(104)는 액추에이터(모터)(128)를 더 포함한다. 액추에이터(128)는 OPFE(126)의 반사면을 정지점으로부터 ± 일정 각도까지 기울일 수 있다(예시적인 일정 각도는 최대 10, 20, 40 또는 70도일 수 있음). 즉, 액추에이터(128)는 OPFE를 FOVT와 함께 기울이거나 스캔할 수 있다. 액추에이터(128)는 예를 들어 공동 소유 특허 출원 PCT/IB2017/057706에 설명된 바와 같이 스테퍼 모터 또는 보이스 코일 모터(VCM)일 수 있다.
일부 예들에서, 와이드 카메라(106) 및 텔레 카메라(104)는 차량 전면(front side)을 향하며 이들 각각의 FOV들의 적어도 일부를 공유한다. 일반적으로, FOVw는 차량에서 전방 방향(운전 방향)을 향해 멀어지도록 향하며 차량의 양면에 대하여 실질적으로 대칭이다. 일 동작 모드에서, 텔레 카메라는 액추에이터(128)를 사용하여 와이드 FOV(FOVw) 내부의 텔레 FOV(FOVT)를 스캔하도록 동작한다. 일부 예들에서, FOVT의 스캐닝은 와이드 및/또는 텔레 이미지들에서 이전에 감지된, 감지 잠재적 관심 객체(OOI)를 보다 근접하게 뷰잉하기 위해 텔레 카메라를 가져오는 것이다(보다 세부적인 사항은 아래의 내용 참조).
도 2는 도 1a의 시스템(100)의 유스 케이스를 개략적으로 도시한 것이다. 차량(102)의 전방에 듀얼 카메라(110)가 설치되어 있다. 예를 들어, 삼각형(204)은 수평면에서의 FOVw, 즉 수평 FOVw 또는 "HFVOw"를 나타낸다. FOVw에서, "관측 거리"(206)는 와이드 카메라로부터의 이미지를 사용하여 시스템(100)이 잠재적인 OOI를 감지할 수 있도록 하는 최대 거리로 정의된다. "OOI"는 예를 들어 도로 위의 위험물, 다른 차량, 구멍 또는 장애물, 보행자, 도로 커브, 도로 표지판 등일 수 있다. "식별 거리"(208)는 본 기술 분야에 공지된 바와 같은, 시스템(100)이 와이드 카메라로부터의 이미지를 사용하여 결정을 내리는데 필요한 모든 정보를 식별할 수 있게 하는 최소 거리로 정의된다. 일 예에 따르면, OOI는 관측 가능한 것이지만 관측 거리에서 판독할 수 없는 도로 표지판일 수 있다. 일 예에 따르면, OOI는 관측 거리에서 관측될 수 있지만, 이것은 식별 거리 내에서만 도로 표지판인지 보행자인지 식별 또는 구별이 이루질 수 있다. 다시 말해, OOI가 관측 거리(206)보다 앞(와이드 카메라에 더 가까움)에 위치하지만 식별 거리(208)보다 먼 경우에는, 시스템(100)이 와이드 카메라로부터의 이미지를 사용하여 OOI가 FOVw에 위치하는 것으로 계산할 수 있지만, 요구되는 액션 조치 또는 필요한 응답을 완전히 계산하지는 않는다(다음 참조).
일부 예들에 따르면, 시스템(100)의 액션 조치 또는 응답들은 다음 중 하나 이상 또는 이들의 조합을 포함할 수 있다: 차량(102) 속도 및/또는 코스 변경, 차량 운전자에게 내부 경보 작동, 외부 경보 작동, 인터넷/클라우드 기반 서비스/경찰/도로 지원 서비스 등에 대한 데이터 정보 전송 또는 이것의 호출. 예를 들어, 삼각형(210)은 수평면에서의 FOVi(즉, 수평 FVOT(HFVOT)로서)를 나타낸다. 일 예에 따르면, HFOVw는 70-180도의 범위에 있을 수 있으며, HFOVT는 15-45도의 범위에 있을 수 있다. 다른 예에 따르면, HFOVw는 140-180도 범위에 있을 수 있으며, HFOVT는 15-70도 범위에 있을 수 있다. 따라서, 텔레 카메라의 출력 이미지들은 와이드 카메라의 출력 이미지들보다 높은 해상도를 가질 수 있다. 예를 들어, 텔레 카메라의 출력 이미지는 와이드 카메라의 출력 이미지보다 3 내지 20 배 더 높은 해상도를 가질 수 있으며, 결과적으로 텔레 카메라의 식별 거리(212)는 텔레 카메라의 식별 거리(208)보다 3 내지 20 배 더 멀 수 있다.
도 2의 (a)에 도시된 예에서, 차량(102)이 OOI(202)에 접근한다. OOI(202)는 관측 거리(206)와 식별 거리(208) 사이에 위치되어 있다. OOI(202)가 와이드 카메라에 의해 관측될 수 있지만, 이것은 식별 가능하지 않을 수 있다(즉, 시스템(100)에 의해 요구되는 것에 비하여, 와이드 카메라가 식별, 분류 또는 처리하기에 너무 낮은 해상도로 OOI(202)를 캡처함). 도 2의 (b)에 도시된 바와 같이, POVT는 텔레 카메라가 OOI(202)를 더 자세히 캡처(예를 들어, 그것을 "식별")할 수 있게 OOI(202)를 향하도록 스캔된다.
도 3은 도 2의 예에서와 같은 시스템(100)의 동작 방법에 대한 세부 흐름도를 도시한 것이다.
단계 302: 예시적으로, 와이드 카메라(예를 들어, 106)가 와이드 이미지들을 획득한다. 일부 대안적인 실시예들에서, 이미지들이 또한 또는 선택적으로 텔레 카메라에 의해 획득될 수 있다.
단계 304: 예시적으로, 와이드 카메라가 단계 302에서 획득된 와이드 이미지들을, 분석을 위해 처리 유닛(예를 들어, 108)으로 전송한다. 일부 대안적인 실시예들에서, 단계 302에서 획득된 텔레 이미지들이 또한 또는 선택적으로 분석을 위해 처리 유닛으로 전송될 수 있다. 단계 306: 처리 유닛이 차량(102) 앞에 있는 OOI(202)의 존재를 감지하지만, 액션 방침을 처리하거나 결정하기 위해 더 많은 세부 사항을 요구한다.
단계 308: 처리 유닛은 FOVT 측면 OOI(202)를 갖도록 텔레 카메라(예를 들어, 104)에 지시함으로써(즉, 텔레 카메라를 스캐닝함으로써), 더 높은 품질 및/또는 더 높은 해상도로 OOI(202)의 이미지들을 획득 및 수신하도록 한다. 처리 유닛은 요구되는 액션 조치 또는 필요한 응답을 완전히 계산하기 위해 OOI에 대한 추가 정보를 가질 수 있다. 일부 예들에서, 텔레 카메라는 전체 카메라를 구동하는 모터가 장착된 카메라일 수 있다. 일부 예들에서, 텔레 카메라는 공동 소유 특허 출원 PCT/IB2016/057366에 설명된 바와 같은 폴딩식 카메라일 수 있으며, 여기서 OPFE는 텔레 카메라 시점(point of view, POV)을 변경(즉, 스캔)하도록 작동한다. 일부 예들에서, 텔레 카메라는 1 차원(1D)으로만(즉, 선을 따라) 스캔할 수 있다. 일부 예들에서, 텔레 카메라는 2 차원(2D)으로 스캔(즉, 영역을 스캔)할 수 있다. 일부 예들에서, 스캐닝을 위한 모터는 VCM, SMA(shape memory alloy) 모터, 압전 모터, 스테퍼 모터 또는 DC 모터일 수 있다. 일부 예들에서, 텔레 카메라 및/또는 와이드 카메라는 차량 진동을 보상하기 위해 OIS(optical image stabilization)와 통합될 수 있다.
도 4a는 차량(402)에 설치되거나 부착되는 400으로 번호가 매겨진 시스템의 실시예를 도시한 것이다. 선택적으로, 차량(402)은 스티어링 휠(416)을 가질 수 있다. 일부 차량에서는, 핸들 바(미도시)가 스티어링 휠을 대체할 수 있으며, 다음 설명은 양쪽 모두와 관련된 것이다. 시스템(100)과 대조적으로, 시스템(400)은 텔레 카메라(404)(텔레 카메라(102)와 유사) 및 처리 유닛(408)(처리 유닛(108)과 유사)만을 포함한다.
도 4b는 시스템(100)(즉, 텔레 카메라(404)에 더하여 와이드 카메라(406)를 포함)과 유사한, 400'으로 번호가 매겨진 다른 시스템의 실시예를 도시한 것이다. 아래 설명은 시스템들(400 및 400')을 나타낸다. 텔레 카메라는 차량 전면을 향한다. 도 5에 도시된 바와 같이, 시스템(400)에서, 텔레 카메라(404)는 화살표(502)로 표시된 바와 같이 POVT의 각도/방향을 변경하도록 작동하며, 이에 따라 FOVT보다 큰 FOVE로 표시된 "유효" FOV를 달성한다. 시스템(400)(도 6a)의 하나의 선택적 유스 케이스에 따르면, 처리 유닛은 POV 방향 또는 각도를 왼쪽에서 오른쪽으로 또는 그 반대로 계속 변경하도록 텔레 카메라에 명령하며(602), 텔레 카메라는 수신된 명령들에 따라 회전한다(604). 시스템(400)의 두 번째 선택적 유스 케이스(도 6b)에서, 처리 유닛은 다음과 같이 스티어링 휠 또는 핸들 바를 따른다: 사용자가 스티어링 휠/핸들 바를 왼쪽(612)으로 돌리면, 텔레 카메라 POV(POVT)가 왼쪽으로 이동하며, 또한 사용자가 스티어링 휠/핸들 바를 오른쪽으로 돌리면, POVT가 오른쪽으로 이동한다. 시스템(400)의 세 번째 선택적 유스 케이스(도 6c)에 따르면, 처리 유닛은 이미지 인식 알고리즘을 사용하여 도로 커브를 식별하고 그 도로를 따르도록 FOVT를 변경할 수 있다.
도 7a는 차량(702)에 설치되거나 부착될 수 있는 700(예를 들어, 시스템(400)과 유사함)으로 번호가 매겨진 또 다른 시스템의 실시예를 도시한 것이다. 차량(702)은 차량 캐빈(716)을 포함한다.
도 7b는 시스템(100)과 유사하고 텔레 카메라(704)에 추가하여 와이드 카메라(706)(예를 들면 카메라(106))를 포함하는 700'으로 번호가 매겨진 또 다른 시스템의 실시예를 도시한 것이다. 와이드 카메라(706)는 또한 OOI(802)를 향하도록 차량 캐빈(716)에 설치될 수 있다.
도 8은 도 7a 및 도 7b의 시스템의 차량 캐빈 섹션 및 유스 케이스를 도시한 것이다. 와이드 카메라(706)는 도시되어 있지 않다. FOVT를 갖는 텔레 카메라(704)는 차량 캐빈(716)의 내부 및 OOI(802)(예를 들어 승객)를 향한다. 텔레 카메라(704)는 FOVT보다 큰 유효 FOV(FOVE)를 허용하도록 스캔될 수 있다.
도 9a는 시스템(700)의 사용 방법의 주요 단계들을 흐름도로 도시한 것이다. 텔레 카메라(704)는 각도/방향을 변경하고 차량 캐빈(716)을 스캔하도록 동작한다. 처리 유닛(708)은 OOI(802)(예를 들어, 승객의 몸, 얼굴, 눈 등)를 식별하도록 동작한다. 처리 유닛(708)은 또한 텔레 카메라(704)가 OOI(802)를 향하게 지시하도록 동작한다. 텔레 카메라에 의해 획득되는 데이터는 위험을 식별하는데 사용된다(예를 들면, 도로를 보지 않는 운전자, 잠든 운전자, 안전 벨트를 하지 않은 승객, 어린이용 시트를 하지 않은 어린이 등). 도 9b는 시스템(700')의 사용 방법의 주요 단계들을 흐름도로 도시한 것이다. 처리 유닛은 와이드 및 텔레 카메라로부터의 데이터를 사용하여 텔레 카메라가 OOI(802)를 향하게 지시한다.
도 10a는 여기에 개시되고 1000으로 번호가 매겨진 또 다른 시스템의 실시예를 도시한 것이다. 시스템(1000)은 텔레 카메라(1002), 와이드 카메라(1004) 및 처리 유닛(1006)을 포함하고 감시에 사용될 수 있으며, 따라서 "감시 카메라"라고도 불린다. 텔레 카메라(1002) 및 와이드 카메라(1004)는 듀얼 카메라(1010)의 일부이다. 이러한 구성 요소들은 위의 실시예들에서 설명한 와이드 및 텔레 카메라들 그리고 프로세서들과 유사하거나 동일할 수 있다. 감시 카메라(1000) 및 처리 유닛(1006)은 FOVw에서 OOI들(예를 들어, 사람의 얼굴)을 감지하고 와이드 이미지들의 X 및 Y 방향에 있어서의 텔레 카메라를 이 OOI들로 조종함으로써 이러한 객체들의 이미지 또는 비디오 품질을 향상시키고 이들의 분석을 가능하게 하는(예를 들면, 객체가 얼굴인 경우 얼굴 인식) 소프트웨어 및 알고리즘들을 포함할 수 있다.
일 실시예에서, 처리 유닛(1006)은 FOVw의 부분들을 연속적으로 스캔하도록 텔레 카메라(1002)에 지시할 수 있다. 일 실시예에서, 처리 유닛(1006)은(도 9에서와 같이) 특정 위치로 이동하도록 텔레 카메라(1002)에 지시할 수 있다. 프리즘의 틸팅 및 세틀링 시간은 5-50msec에서 발생할 수 있다. 또한, 텔레 카메라(1002)는 1 초마다 또는 더 빠르거나 더 느린 속도로 하나의 관심 영역(ROI)에서 다른 영역으로 포인팅하는 것을 전환할 수 있다. 도 10b는 와이드 카메라(1004)에 의해 획득된 후 디지털 줌된 이미지화 장면의 예를 도시한 것이고, 도 10c는 와이드 카메라(1004)에 의해 획득된 후(왼쪽) 지향성 텔레 카메라(1002)에 의해 광학적으로 ROI를 줌 온한(오른쪽) 이미지화 장면의 예를 도시한 것이다. 도 10c의 줌된 이미지는 도 10b의 디지털 줌된 이미지에 비해 상당한 해상도 이득을 보여 주며, 예를 들어 ROI에서 사람의 얼굴 인식을 허용한다.
와이드 및 텔레 이미지들 및/또는 비디오 스트림들이 자동 추적 모드 동안 레코딩될 수 있으며, 본 기술 분야에 알려진 바와 같이, 함께 융합되어 합성 이미지 또는 합성 비디오 스트림을 형성할 수 있다. 이러한 융합은 카메라 호스팅 장치(예를 들어, 본 명세서에 개시된 시스템 또는 카메라를 포함하는 모든 유형의 모바일 전자 장치)에 적용될 수 있다. 대안적으로는, 이 퓨전 동작을 적용하기 위해 와이드 및 텔레 이미지들 또는 비디오 스트림들이 클라우드에 업로드될 수 있다. 각각의 합성 이미지는 또한 텔레 카메라로 스캔하고, "스티칭된(stitched)" 텔레 이미지를 제공하기 위해 복수의 텔레 이미지들을 스티칭한 다음, 스티칭된 텔레 이미지를 와이드 이미지와 융합함으로써, 동일한 FOV를 가질 수 있다. 이것은 와이드 이미지가 전체 장면을 동시에 캡처하는 한편, 함께 스티칭될 텔레 이미지들이 연속적이므로 필요한 경우 장면 내의 움직임이나 가림을 극복할 수 있다는 점에서 유리하다. 텔레 이미지들의 스티칭 및/또는 스티칭된 텔레 이미지와 와이드 이미지의 융합은 클라우드에서 수행될 수도 있다.
본 개시가 특정 실시예들 및 일반적으로 관련된 방법들의 관점에서 설명되었지만, 실시예들 및 방법들의 변경 및 치환은 당업자에게 명백할 것이다. 본 개시는 여기에 설명된 특정 실시예들에 의해 제한되지 않고 첨부된 청구항들의 범위에 의해서만 이해되어야 한다.

Claims (20)

  1. 시스템으로서,
    a) 와이드 시야각(Wide field of view, FOVw)을 가지며 와이드 센서와 와이드 렌즈를 포함하는 와이드 카메라 - 상기 와이드 카메라는 와이드 이미지 정보를 출력하도록 동작함 -;
    b) FOVw보다 작은 텔레 시야각(Tele field of view, FOVT)을 가지며 텔레 센서, 텔레 렌즈 광축이 있는 텔레 렌즈 및 스캐닝 광학 경로 폴딩 요소(OPFE)를 포함하는 텔레 카메라; 및
    c) 와이드 및/또는 텔레 이미지 정보로부터 관심 객체(object of interest, OOI)를 감지하고, 상기 FOVT를 이동시켜서 상기 OOI에 대한 텔레 이미지 정보를 획득하도록 상기 텔레 카메라에게 지시하는 처리 유닛
    을 포함하는, 시스템.
  2. 제 1 항에 있어서,
    상기 시스템은 차량에 설치되며, 상기 처리 유닛은 상기 차량에서 요구되는 액션 조치(measure-of-action) 또는 필요한 응답을 계산하도록 더 동작하는, 시스템.
  3. 제 2 항에 있어서,
    상기 FOVT를 이동 또는 스캔하기 위해 상기 OPFE를 기울이는 액추에이터를 더 포함하는, 시스템.
  4. 제 2 항에 있어서,
    상기 처리 유닛은 상기 FOVT를 실질적으로 상기 FOVw의 중심으로 이동시키도록 상기 텔레 카메라에게 지시하도록 동작하는, 시스템.
  5. 제 2 항에 있어서,
    상기 처리 유닛은 상기 FOVT를 실질적으로 상기 OOI의 중심으로 이동시키도록 상기 텔레 카메라에게 지시하도록 동작하는, 시스템.
  6. 제 2 항에 있어서,
    상기 처리 유닛은 상기 차량의 스티어링 휠로부터 스티어링 정보를 수신하며, 또한 상기 스티어링 정보에 기초하여 상기 FOVT를 이동 또는 스캔하도록 상기 텔레 카메라에게 지시하도록 동작하는, 시스템.
  7. 제 3 항에 있어서,
    상기 처리 유닛은 상기 차량의 스티어링 휠로부터 스티어링 정보를 수신하도록 동작하며, 상기 액추에이터가 또한 상기 스티어링 정보에 기초하여 상기 FOVT를 이동 또는 스캔하도록 상기 OPFE를 기울이는, 시스템.
  8. 제 2 항에 있어서,
    상기 FOVw는 상기 차량 앞의 도로를 커버하고, 상기 OOI는 도로 커브(road curve)이며, 상기 처리 유닛은 상기 도로 커브를 따르도록 상기 FOVT를 이동시키도록 동작하는, 시스템.
  9. 제 2 항에 있어서,
    상기 차량은 차량 캐빈(vehicle cabin)을 포함하고, 상기 OOI는 상기 차량 캐빈 내부에 위치되며, 상기 OPFE는 FOVT보다 큰 확장된 텔레 카메라 FOV(FOVE)를 제공하도록 기울어질 수 있는, 시스템.
  10. 제 2 항에 있어서,
    상기 OOI는 상기 차량의 운전자이고, 상기 요구되는 액션 측정 또는 응답은 운전자의 시선(gaze)에 기초하는, 시스템.
  11. 제 2 항에 있어서,
    상기 OOI는 어린이이며, 상기 요구되는 액션 측정 또는 응답은 상기 어린이가 안전 벨트를 착용하지 않았다는 경고인, 시스템.
  12. 제 2 항에 있어서,
    상기 요구되는 액션 측정 또는 응답은 상기 차량의 속도 및/또는 코스 변경, 상기 차량의 운전자에 대한 내부 경보 작동, 외부 경보 작동, 인터넷/클라우드 기반 서비스/경찰/도로 지원 서비스들에 대한 데이터 정보 전송 또는 호출 및 이들의 조합으로 구성된 그룹에서 선택되는 액션 측정 또는 응답을 포함하는, 시스템.
  13. 제 1 항에 있어서,
    상기 OOI는 인간의 얼굴인, 시스템.
  14. 제 13 항에 있어서,
    상기 처리 유닛은 얼굴 인식을 위해 상기 인간의 얼굴의 특정 위치로 이동하도록 상기 텔레 카메라에 지시하도록 동작하는, 시스템.
  15. 제 13 항에 있어서,
    상기 처리 유닛은 두 방향으로 FOVw의 부분들을 스캔하기 위해 FOVT를 이동시키도록 상기 텔레 카메라에 지시하도록 동작하는, 시스템.
  16. 제 15 항에 있어서,
    상기 스캔은 5-50msec 사이의 상기 OPFE의 틸팅(tilting) 및 세틀링(settling) 시간으로 상기 스캐닝 OPFE에 의해 수행되는, 시스템.
  17. 제 1 항에 있어서,
    상기 처리 유닛은 와이드 및/또는 텔레 이미지 정보로부터 상기 OOI를 감지하고 자동 추적 모드에서 상기 OOI에 대한 정보를 획득하기 위해 FOVT를 이동시키도록 텔레 카메라에 지시하도록 동작하는, 시스템.
  18. 제 1 항에 있어서,
    상기 와이드 및 텔레 이미지 정보는 합성 이미지 또는 합성 비디오 스트림을 형성하기 위해 함께 융합될 수 있는, 시스템.
  19. 제 18 항에 있어서,
    각각의 합성 이미지는 동일한 시야각을 갖는, 시스템.
  20. 제 19 항에 있어서,
    합성 이미지는 복수의 텔레 이미지들을 스티칭(stitching)하여 형성되는, 시스템.
KR1020207033702A 2018-07-04 2019-07-04 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라 KR20210003856A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237044991A KR20240026457A (ko) 2018-07-04 2019-07-04 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862693951P 2018-07-04 2018-07-04
US62/693,951 2018-07-04
PCT/IB2019/055734 WO2020008419A2 (en) 2018-07-04 2019-07-04 Cameras with scanning optical path folding elements for automotive or surveillance applications

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237044991A Division KR20240026457A (ko) 2018-07-04 2019-07-04 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라

Publications (1)

Publication Number Publication Date
KR20210003856A true KR20210003856A (ko) 2021-01-12

Family

ID=69060231

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207033702A KR20210003856A (ko) 2018-07-04 2019-07-04 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라
KR1020237044991A KR20240026457A (ko) 2018-07-04 2019-07-04 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237044991A KR20240026457A (ko) 2018-07-04 2019-07-04 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라

Country Status (5)

Country Link
US (1) US20210120158A1 (ko)
EP (1) EP3818405A4 (ko)
KR (2) KR20210003856A (ko)
CN (1) CN112272829A (ko)
WO (1) WO2020008419A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022235043A1 (ko) * 2021-05-06 2022-11-10 삼성전자 주식회사 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873201B (zh) * 2021-09-27 2023-09-15 北京环境特性研究所 一种超视距制高点反向观察系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0995194A (ja) 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
EP1669251A1 (en) * 2004-12-07 2006-06-14 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Child seat detection system
US8709526B2 (en) * 2005-09-12 2014-04-29 E.I. Dupont De Nemours And Company Use of a high-oleic and high-tocol diet in combination with a non-tocol antioxidant for improving animal meat quality
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
KR101428042B1 (ko) * 2007-10-08 2014-08-07 엘지이노텍 주식회사 차량 카메라 제어 시스템
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9880560B2 (en) * 2013-09-16 2018-01-30 Deere & Company Vehicle auto-motion control system
DE102014203189A1 (de) * 2014-02-21 2015-08-27 Carl Zeiss Smt Gmbh Spiegel-Array
US9863789B2 (en) * 2015-06-30 2018-01-09 Ford Global Technologies, Llc Rotating camera systems and methods
KR20230100749A (ko) * 2015-12-29 2023-07-05 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
KR102609464B1 (ko) * 2016-10-18 2023-12-05 삼성전자주식회사 영상을 촬영하는 전자 장치
US10406972B2 (en) * 2017-02-24 2019-09-10 Tesla, Inc. Vehicle technologies for automated turn signaling
KR102426728B1 (ko) * 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022235043A1 (ko) * 2021-05-06 2022-11-10 삼성전자 주식회사 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
EP3818405A4 (en) 2021-08-04
CN112272829A (zh) 2021-01-26
EP3818405A2 (en) 2021-05-12
KR20240026457A (ko) 2024-02-28
WO2020008419A3 (en) 2020-07-02
WO2020008419A2 (en) 2020-01-09
US20210120158A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
US10899277B2 (en) Vehicular vision system with reduced distortion display
CN110178369B (zh) 摄像装置、摄像系统以及显示系统
US11472338B2 (en) Method for displaying reduced distortion video images via a vehicular vision system
KR101811157B1 (ko) 사발형 영상 시스템
JP5619873B2 (ja) 車両の運転を支援するための装置
US9025819B2 (en) Apparatus and method for tracking the position of a peripheral vehicle
US11244173B2 (en) Image display apparatus
JP2015195569A (ja) 移動体用撮影装置
US11587419B2 (en) Methods and systems providing an intelligent camera system
JP6699898B2 (ja) 処理装置、撮像装置、及び自動制御システム
JP2020501423A (ja) 車両の周辺領域を状況に依存した捕捉を実施するためのカメラ手段及び方法
WO2014084251A1 (ja) 車載画像処理装置
CN108076263B (zh) 摄像装置及自动控制系统
JP2018537329A (ja) 車両の車両周辺部における覆い隠された領域を割り出すための方法と装置
KR20120126152A (ko) 영상 촬영 장치, 영상 촬영 방법 및 영상정보 추출장치
JP2018084571A (ja) 処理装置、撮像装置および自動制御システム
CN109415018B (zh) 用于数字后视镜的方法和控制单元
JP2010130647A (ja) 車両周辺確認装置
KR20190129684A (ko) 촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법
KR20210003856A (ko) 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라
JP6653456B1 (ja) 撮像装置
JP2007299047A (ja) 運転支援装置
JP5787168B2 (ja) 障害物警報装置
JP6649063B2 (ja) 車両後方表示装置及び表示制御装置
JP6555240B2 (ja) 車両用撮影表示装置及び車両用撮影表示プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination