KR20160027162A - 향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템 - Google Patents

향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20160027162A
KR20160027162A KR1020167002823A KR20167002823A KR20160027162A KR 20160027162 A KR20160027162 A KR 20160027162A KR 1020167002823 A KR1020167002823 A KR 1020167002823A KR 20167002823 A KR20167002823 A KR 20167002823A KR 20160027162 A KR20160027162 A KR 20160027162A
Authority
KR
South Korea
Prior art keywords
scene
volume portion
capturing device
volume
image
Prior art date
Application number
KR1020167002823A
Other languages
English (en)
Other versions
KR102210928B1 (ko
Inventor
요아브 그라우어
오퍼 데이비드
이얄 레비
Original Assignee
브라이트웨이 비젼 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브라이트웨이 비젼 엘티디. filed Critical 브라이트웨이 비젼 엘티디.
Publication of KR20160027162A publication Critical patent/KR20160027162A/ko
Application granted granted Critical
Publication of KR102210928B1 publication Critical patent/KR102210928B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H04N5/2256—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/107—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H04N5/2354—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/70—Exposure-making shutters; Diaphragms with flash-synchronising contacts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 명세서에서는 대상 선택적 카메라 플래시를 위한 시스템 및 방법을 제공한다. 그 방법의 단계들은, 캡처링 디바이스를 이용하여, 캡처링 디바이스에 의해 관찰되는 대상들과 배경을 포함하는 장면의 원시 화상을 캡처하는 단계와, 캡처된 원시 화상 상의 적어도 하나의 위치를 표시하는 단계로서, 캡처된 원시 화상 상의 위치가 장면 내의 위치에 대응하는 것인, 적어도 하나의 위치를 표시하는 단계와, 캡처된 원시 화상 상에 표시된 적어도 하나의 위치에 기초하여 장면 내의 볼륨 부분을 산출하는 단계와, 장면을 향하여 특정된 파라미터들을 갖는 플래시 펄스를 생성하는 단계와, 플래시 펄스의 산출된 볼륨 부분으로부터의 반사가 캡처링 디바이스에 도달할 때 실행될 캡처링 디바이스의 노출을 동기화하는 단계와, 반사를 축적하여 향상된 화상을 형성하는 단계를 포함할 수 있다.

Description

향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR SELECTIVE IMAGING OF OBJECTS IN A SCENE TO YIELD ENHANCED IMAGE}
본 개시 기술은, 일반적으로 조명 및 촬상 시스템에 관한 것으로서, 구체적으로는 카메라 디바이스를 위한 저 광 레벨 향상 방법에 관한 것이다.
사진을 찍을 때에는, 사진을 찍는 동안 버스트(단일 펄스 또는 다중 펄스)로 장면을 조명함으로써 저 광 상황에서 화질을 개선하도록 종래의 카메라 플래시(가시광 또는 비가시광 스펙트럼)를 이용한다. 통상적인 플래시 광원은, 발광 다이오드(LED)를 포함할 수 있고, 또는, 가스 방전 램프를 포함할 수 있고, 또는 심지어 LASER를 포함할 수 있다. 통상적인 카메라는, CCD, CMOS, 또는 센서 단일 프레임 판독동안 단일 노출 지속 시간을 갖는 하이브리드 센서를 포함할 수 있다.
"Pulsed control of camera flash"라는 명칭의 미국 특허 제7,962,031 B2호 등의 종래 기술은, 후속하는 디블러링(deblurring) 또는 움직임 보상 동작 동안 사진의 고 주파수 또는 에지 성분을 후속 구별하는 능력을 개선하고자 하는 것이다. 개시된 기술은 캡처된 장면 화상의 선택된 볼륨을 조명하기 위한 어떠한 수단도 제공하지 않는다.
"Gated imaging"라는 명칭의 미국 특허 제8,194,126 B2호 등의 다른 종래 기술은 타겟을 향하여 긴 지속 시간의 레이저 펄스 빔을 생성하기 위한 레이저 디바이스를 이용하는 게이티드(gated) 카메라 촬상 시스템 및 방법에 관한 것이다. 카메라는 타겟으로부터 반사되는 펄스의 에너지를 수신한다. 카메라 게이팅은, 레이저 디바이스가 적어도 레이저 펄스가 시스템에 근접한 존(zone)으로 횡단하고 다시 카메라로 향하는 것을 완료하는 데 걸리는 시간 더하기 레이저 펄스의 단부를 포함하는 실질적으로 모든 레이저 펄스를 생성하는 데 걸리는 지속 시간 동안 "OFF"로 설정되도록 동기화된다. 이어서, 카메라 게이팅은, 레이저 펄스가 타겟으로부터 반사되어 카메라에 수신될 때까지 그 후의 "ON" 지속시간 동안 "ON"으로 설정된다. 레이저 펄스 폭은 적어도 "ON" 지속 시간에 실질적으로 대응한다.
이스라엘 특허출원 제IL170098호는, 타겟을 향하여 긴 지속 시간의 레이저 펄스 빔을 생성하기 위한 게이티드 카메라 촬상 시스템 및 방법을 개시한다. 카메라는 타겟으로부터 반사되는 펄스들의 광 반사의 에너지를 수신한다. 카메라 게이팅은, 레이저 디바이스가 적어도 레이저 펄스가 시스템에 근접한 존으로 횡단하고 다시 카메라로 향하는 것을 완료하는 데 걸리는 시간 더하기 레이저 펄스의 단부를 포함하는 실질적으로 모든 레이저 펄스를 생성하는 데 걸리는 지속 시간 동안 "OFF"로 설정되고, 그 후 레이저 펄스가 타겟으로부터 반사되어 카메라에 수신될 때까지 그 후의 "ON" 지속시간 동안 "ON"으로 설정되도록 동기화된다. 레이저 펄스 폭은 적어도 "ON" 지속 시간에 실질적으로 대응한다. 바람직하게, 레이저 디바이스는 다이오드 레이저 어레이(DLA)를 포함한다.
이스라엘 특허출원 제IL177078호는, 펄스(들)를 제공하는 전송원 및 최소 범위를 벗어나 위치하는 대상으로부터 펄스 반사를 수신하기 위한 게이티드 센서를 포함하는 촬상 시스템을 개시한다. 펄스 및 게이트 타이밍은, 수신되는 에너지의 양이 범위에 따라 계속 증가하게끔 그 범위의 함수인 민감도를 생성하도록 제어된다. 또한, 촬상 방법은, 펄스(들)를 타겟 영역에 방출하는 단계, 최소 범위를 벗어나 위치하는 대상으로부터 반사되며 또한 게이팅 검출을 포함하는 펄스 반사를 수신하는 단계, 및 게이팅의 펄스와 타이밍을 제어함으로써 반사의 수신 에너지를 계속 증가시키는 단계를 포함한다.
종래 기술은, 본원의 방법에 비해, 저 광 레벨 상태에서 선택적 장면 볼륨 촬상 및 제어가능한 장면 볼륨 촬상을 제공하지 않으며, 비나 눈 등의 혹독한 날씨에 저 광 레벨의 촬상 향상을 다루지도 않는다. 또한, 종래 기술은 저 광 레벨 상태에서 소정의 범위의 균일화된 화상 향상을 제공하기 위한 어떠한 해결책도 제공하지 않는다.
이에 따라, 본 개시 기술에 따르면, 제어 유닛이 선택적 장면 볼륨 및 제어가능한 장면 볼륨을 형성하도록 각 카메라 펄스 광 플래시를 각 카메라 노출에 동기화하는, 사진을 찍기 위한 카메라 디바이스를 구비하는 시스템을 제공하는 것을 목적으로 한다.
이에 따라, 본 개시 기술에 따르면, 제어 유닛이 선택적 장면 볼륨 및 제어가능한 장면 볼륨을 형성하도록 각 카메라 펄스 광 플래시를 각 카메라 노출에 동기화하는, 사진을 찍기 위한 카메라 디바이스를 구비하는 시스템을 제공한다. 본 명세서에서 재정의하는 바와 같이, "선택적 장면 볼륨"이라는 용어는, 최소 범위가 Rmin ≥ 0m이고 최대 범위(Rmax)가 적용될 수 있는 관찰 장면의 조명되고 축적된 부분으로 간주한다. 본 명세서에서 재정의하는 바와 같이, "제어가능한 장면 볼륨"이라는 용어는, 특정한 선택적 볼륨이 사용자에 의해 선택되는 및/또는 제어 유닛에 의해 자동 선택되는 것으로 간주한다. 또한, 단일 화상 프레임(즉, 정지 화상 또는 비디오 프레임)은, 여러 개의 선택적 및 제어가능한 장면 볼륨들(예를 들어, 서로 다른 Rmin과 서로 다른 Rmax를 갖는 두 개의 장면 볼륨 또는 유사한 Rmin과 서로 다른 Rmax를 갖는 두 개의 장면 볼륨 등)을 가질 수 있다.
전술한 사용자 입력은, 장면에서 3D 박스 등의 특정된 볼륨을 선택하고, 장면에서 특정된 범위의 볼륨을 선택하고, 및 장면에서 무시할 하나 이상의 대상을 선택하고 무시하는 대상에 대하여 플래시 조명을 가하지 않음으로써 실행될 수 있다.
카메라에서 축적되는 최소 범위(Rmin ≥ 0m)를 구현하는 것은, 혹독한 날씨 상태(예를 들어, 비, 눈, 안개)에서 또는 서로 다른 공간적 위치에서 저 조명 하에 향상된 사진을 제공하는 수단을 제공한다.
본 발명의 이러한 양태와 장점, 추가 양태와 장점, 및 기타 양태와 장점은, 다음에 따르는 상세한 설명에 개시되어 있으며, 상세한 설명으로부터 추론할 수 있으며 및/또는 본 발명의 실시에 의해 학습될 수 있다.
본 발명은, 첨부 도면과 함께 실시된 본 발명의 상세한 설명으로부터 더욱 쉽게 이해할 것이다.
도 1은 본 발명의 일부 실시예들에 따라 구성되고 동작가능한 시스템의 동작의 개략도.
도 2는 본 발명의 일부 실시예들에 따라 플래시 광을 이용하여 통상적인 휴대용 카메라로 찍은 사진.
도 3a 내지 도 3c는 본 발명의 일부 실시예들에 따라 서로 다른 선택적 및 제어가능한 장면 볼륨을 도시하는 도.
도 3a 내지 도 3e는 본 발명의 일부 실시예들에 따라 서로 다른 선택적 및 제어가능한 장면 볼륨을 도시하는 도.
도 4는 본 발명의 일부 실시예들에 따라 개선된 화질을 형성하도록 스마트 카메라 디바이스에 의해 수행되는 동작들의 흐름도.
도 5는 본 발명의 일부 실시예들에 따라 구성되고 동작가능한 장치의 전방도.
도 6 내지 도 8은 본 발명의 일부 실시예들에 따라 선택적 및 제어가능한 장면 볼륨을 형성하도록 구성되고 동작가능한 장치의 전방도.
도 9는 본 발명의 일부 실시예들에 따라 구성되고 동작가능한 시스템들의 동작의 개략도.
본 발명의 적어도 일 실시예를 상세히 설명하기 전에, 본 발명은 그 응용에 있어서 다음에 따르는 상세한 설명에서 개시되거나 도면에 도시한 구성요소들의 구성과 배치의 상세로 한정되지 않는다는 점을 이해하도록 한다. 본 발명은 다른 실시예들에 적용가능하거나 다양한 방식으로 실시되거나 실행될 수 있다. 또한, 본 명세서에서 채택하는 어법과 용어는 설명을 위한 것이며 한정적으로 간주해서는 안 된다는 점을 이해하도록 한다.
본 발명에 따르면, 개시된 기술은, 센서 및 능동 조명 동기화의 원리에 기초하는 전자-광학 기술들을 이용하여 선택적 및 제어가능한 장면 볼륨을 축적하기 위한 방법 및 시스템을 제공한다. 이에 따라, "타겟" 또는 "대상"이라는 용어들은 일반적으로 임의의 대상을 가리키며, "카메라 펄스 광 플래시"는 전자기 에너지 방사(즉, 알려져 있는 임의의 파장의 광자)를 방출하는 임의의 적절한 소스를 가리키고, "센서"는 신호(예를 들어, 화소, 1D 화소 어레이, 2D 화소 어레이 등)를 제공하도록 카메라에서 전자기 에너지 방사(즉, 알려져 있는 임의의 파장의 광자)를 수집하는 임의의 장치를 가리킨다. "센서"는, CMOS 이미저 센서, CCD, SPAD, 포토다이오드, 하이브리드 FPA, (화상 증배관을 포함한) 광전 증배관 등에 기초할 수 있다.
이에 따라, 개시된 기술은, 플래시 조명 파라미터들을 변경함으로써, 센서 파라미터들을 변경함으로써, 축적된 피사계 심도(depth-of-field)의 함수로서 카메라 디바이스의 신호 캡처를 조작한다. 일 실시예에 따르면, 시스템은, 예를 들어, 휴대용 이동 전화, 태블릿, 랩탑, 또는 다른 임의의 디지털 카메라 디바이스의 일부이다. 개시된 기술은 휴대용 및/또는 핸드헬드 플랫폼의 실시예로 한정되지 않는다.
당해 기술에 알려져 있는 게이티드 촬상 시스템은, "Gated imaging"이라는 명칭의 미국 특허 제8,194,126 B2호에 개시되어 있으며, (자유 공간의) 광원 펄스는
Figure pct00001
로서 정의되며, 여기서 파라미터들은 아래의 인덱스에서 정의된다. (자유 공간의) 게이티드 카메라 ON 시간은
Figure pct00002
로서 정의되며, 여기서, c는 광의 속도이고, R0, Rmin, Rmax는 특정 범위들이다. TLASER, TON, TOFF의 시간 동기화를 통해 범위의 함수로서 화상 민감도를 생성하도록 게이티드 촬상을 이용한다.
본 명세서에서 설명하는 바와 같은 "원시 화상"이라는 용어는, 정지 화상, 비디오 프레임을 포함할 수 있고, 하나 이상의 슬라이스가 함께 융합된 게이티드 촬상 디바이스의 결과물인 게이티드 화상도 포함할 수 있다.
이제, 본 개시 기술의 일 실시예에 따라 구성되고 동작가능한, 일반적으로 참조 번호 10인 시스템의 동작의 개략도인 도 1을 참조한다.
시스템(10)은, 플래시 모듈(14), 촬상 센서(15), 및 제어 유닛(11, 12, 13)을 포함한다. 플래시 모듈(14)은 펄스 형태(단일 펄스/일련의 연속 펄스들)로 광 빔(31)을 생성한다. 플래시 모듈(14)은 장면을 향하여 광 빔(31)을 방출한다. 광 빔(31)은 장면에서의 잠재적 타겟(33)을 조명한다. 촬상 센서(15)는 타겟(33)으로부터 반사되는 광원 빔(32)을 수신한다. 촬상 센서(15)와 플래시 모듈(14)은 시스템 제어 유닛(11)에 의해 TLASER, TON, TOFF에 관하여 서로 동기화된다.
존(30)으로 표현되는, 에어로졸, 습도, 연무, 안개, 스모그, 연기, 비, 눈 등의 대기 상태가 시스템(10)의 주변 영역에 존재할 수 있다. 바로 인접하고 있는 영역으로부터 시스템(10)으로의 후방 산란은, 더욱 멀리 있는 영역으로부터의 후방 산란보다 촬상 센서(15)에 더욱 큰 영향을 끼친다. Rmin으로서 지정된 대략적인 범위는, 플래시 모듈(14)에 의해 방출되는 후방 산란된 광을 회피하는 시스템(10)에 근접한 영역을 정의한다. 잠재적 타겟(33)은 범위 Rmin 내에 위치하는 것으로 예상되지 않으며, 따라서, 이 범위에서의 대기 상태(30)의 영향을 촬상 센서 유닛(15)에서 캡처한 신호로부터 제거한다. 이러한 대기 상태는, 타겟(33)을 조명하도록 타겟으로 향하는 광 빔(31)에 간섭하고, 타겟(33)으로부터 반사되는 광 빔(32)에 간섭한다. 장면의 특정 볼륨에 대하여, 촬상 센서(15)는, 장면의 특정 볼륨에서 거리 Rmin부터 촬상 센서(15)까지의 복귀 경로를 포함한, 장면의 특정 볼륨에서 광 빔(31)이 타겟(33)을 향하여 거리 Rmin 만큼 완전하게 전파한 지속 기간 동안 광 빔(31)을 축적하지 않는다. 시스템(10)과 잠재적 타겟(33) 사이의 거리는, 지정된 범위 Rmax이다(즉, 잠재적 타겟(33)이 범위 Rmin과 Rmax 사이의 임의의 곳에 위치할 수 있다). 이 기술은, 잠재적 타겟(33)으로부터 발생하는 저 반사 신호 배경 대 고 반사 신호를 이용한다. 대기 상태(30)는, 실내 시스템(10) 사용시에는 일반적으로 무시할만하지만, 실외 시스템(10) 사용시에는 상당히 일탈될 수 있다.
촬상 센서(15)는, 광 신호(광자)에 동기화되도록 구성되고, 센서 신호 판독 전에 광-전기 신호를 축적하도록 구성될 수 있다. 촬상 광학 모듈(16)은, 밴드패스 필터에 의해 수행될 수 있는 바와 같이 소정의 파장의 스펙트럼을 필터링하도록 구성될 수 있고 및/또는 다양한 광 편광을 필터링하도록 구성될 수 있다. 촬상 광학 모듈(16)은, 촬상 센서(15)에 의해 제공되는 것과 유사한 전자기 파장을 작동시키고 검출하도록 구성된다. 촬상 광학 모듈(16)은, 또한, 인입 광을 촬상 센서(15)의 감광 영역 상에 포커싱하고 필요로 하는 시야(Field-of-View)를 제공하도록 구성된다.
플래시 모듈(14)은 촬상 센서(15)에 의해 검출가능한 전자기 파장을 제공하도록 구성된다. 플래시 모듈(14)은 광 편광을 투영 및/또는 필터링하도록 구성될 수 있다. 플래시 모듈(14)은, 또한, 광을 확산시키도록 구성될 수 있고(예를 들어, 홀로그래픽 확산기, 광학 렌즈 등), 하나 이상의 조명 시야(Field of illumination; FOI)를 투영하도록 구성될 수 있다. 플래시 모듈(14)의 FOI는 시스템(10) 동작 동안 제어될 수 있다(즉, 좁게 또는 넓게 될 수 있다). 플래시 모듈(14)은 펄스화 조명을 제공하기 위한 펄스화 광원(예를 들어, LED, LASER, 플래시 램프 등)을 더 포함한다. 플래시 모듈(14)은, 통상의 기술자가 이해하듯이, 전기적 방법 및/또는 적절한 기계적 방법에 기초하는 광원 파장 제어기(예를 들어, 열전 냉각기), 및/또는 조명 파장을 안정화하기 위한 임의의 광학적 방법 및 디바이스를 포함할 수 있다.
플래시 모듈(14)은 전용 채널(20)을 통해 플래시 제어 유닛(13)에 의해 제어된다. 플래시 제어 유닛(13)은 시스템 제어 유닛(11)으로부터 트리거 신호를 수신하고 각 트리거마다 플래시 모듈(14)에 대하여 펄스화 이벤트를 구동하도록 구성된다. 플래시 제어 유닛(13)은, FOI, 파장, 펄스 특징(예를 들어, 상승/하강 시간, 지속 시간, 및 피크 파워) 등의 플래시 모듈(14) 조명 파라미터들을 더 관리할 수 있다.
촬상 센서(15)와 촬상 광학 모듈(16)은 전용 채널(19)을 통해 촬상 제어 유닛(12)에 의해 제어된다. 촬상 제어 유닛(12)은 시스템 제어 유닛(11)으로부터 트리거 신호를 수신하고 각 트리거마다 촬상 센서(15)를 노출하도록 구성된다. 촬상 제어 유닛(12)은, 또한, 포커스, 셔터, 노출 지속 시간, 이득, 센서 관심 영역(Region-of-Interest; ROI), 센서 판독 메커니즘 등의 센서 파라미터들(촬상 센서(15)와 촬상 광학 모듈(16))을 관리할 수 있다.
촬상 제어 유닛(12)과 플래시 제어 유닛(13)은 전용 채널들(17, 18)을 통해 시스템 제어 유닛(11)에 의해 각각 제어된다. 시스템 제어 유닛(11)은, 촬상 제어 유닛(12)과 플래시 제어 유닛(13)을 트리거하여 선택적 및 제어가능한 장면 볼륨 촬상을 제공하도록 구성된다. 저 광 레벨 상태 위에서는, 플래시 제어 유닛(13)이 플래시 모듈(14)을 기동하지 않을 수 있고, 촬상 제어 유닛(12)은 다른 동작 모드를 가질 수 있으며, 예를 들어, CIS(촬상 센서(15))는 저 광 레벨 동안 게이티드 모드에서 동작할 수 있는 반면, 센서는, "4T" 모드(즉, 광검출기, 부동 확산, 트랜스퍼 게이트, 리셋 게이트, 선택 게이트, 및 소스-팔로워 판독 트랜지스터)를 갖거나 다른 임의의 화소 트랜지스터 설계/모드를 갖는 다른 조명 상태에서 동작할 수 있다. 신호(21)는 호스팅되어 있는 휴대용 디바이스의 시스템(10)을 제어한다.
Rmax 범위는 또한 다음에 따르는 시스템(10) 파라미터들 중 적어도 하나, 즉, 최대 촬상 센서(15) 분해능, 최대 플래시 모듈(14) 피크 파워, 및 사진 촬영(촬상) 경계 상태(예를 들어, 화상을 실외, 실내, 정적으로, 이동 중에 찍는다)에 기초하여 선택될 수 있다. 예를 들어, 화상이 Rmax = 10m인 어두운 방에서 찍히면, TON은 0.33㎲를 초과해서는 안 된다(즉, 이 수치보다 짧아야 한다). 또한, 사진 촬영(촬상) 경계 상태도 최소 범위 Rmin에 영향을 끼칠 수 있다.
도 2는 플래시 광을 사용하여 통상적인 휴대용 카메라로 찍은 사진이다. 이 사진은 카메라 플래시 광으로부터 반사된 카메라에서의 신호 축적의 문제점을 도시한다. 세 개의 타겟(이 경우에는 사람들)이 저 광 레벨 환경 상태에서(즉, 어두운 방에서) 카메라에 대하여 세 개의 서로 다른 위치에 위치하고 있다. 카메라에 대하여 가장 가까운 타겟으로부터 축적된 신호는, 뒤에 있는 대상들로부터 축적된 페인트(faint) 신호에 비해 거의 포화된다. 이 영향은 적어도 두 가지 이유, 즉, 역제곱 법칙과 카메라 자동 이득 제어(AGC) 메커니즘으로 인한 것이다. 또한, 현재의 카메라 디바이스들은, 특정한 축적된 장면 볼륨이 바람직한 (즉, 카메라에 대하여 가장 긴 거리에 위치하는 제3 타겟에 포커싱하는) 가능성을 제공하지 않는다.
도 3a 내지 도 3c는 종래 기술에 비해 개시되는 방법을 이용하는 장점들 중 하나를 도시한다. 시스템(10)은, 특정 장면(50)의 서로 다른 장면 볼륨들(즉, 서로 다른 최소 범위 Rmin 및 서로 다른 최대 범위 Rmax)에서 반사되고 조명된 플래시 광을 도시하고 축적한다. 세 개의 타겟(51, 52, 53)은 시스템(10)에 대하여 서로 다른 범위에서 장면에 위치하고 있다. 도 3a는 타겟(52)과 함께 참조번호 54로 표현된 선택적 축적된 장면 볼륨을 도시한다. 이 도에서, 나머지 타겟들(51, 53)은 주목할만한 최소 신호 레벨을 갖지 않을 수 있다. 도 3b는 타겟들(52, 53)과 함께 참조번호 55로 표현된 선택적 축적된 장면 볼륨을 도시한다. 이 도에서, 제3 타겟(51)은 주목할만한 최소 신호 레벨을 갖지 않을 수 있다. 도 3c는 Rmin(2) 및 Rmax(2)이 있는 타겟(51)을 갖는 장면 볼륨(56) 및 Rmin(1) 및 Rmax(1)이 있는 타겟(53)을 갖는 장면 볼륨(57)에 의해 표현되는 두 개의 선택적 축적된 장면 볼륨을 도시한다. 이 도에서, 제3 타겟(52)은 주목할만한 최소 신호 레벨을 갖지 않을 수 있다(예를 들어, 장면의 다른 타겟들에 비해 어둡다). 또한, 단일 화상 프레임(즉, 정지 화상 또는 비디오 프레임)은, 여러 개의 선택적 및 제어가능한 장면 볼륨(예를 들어, 서로 다른 Rmin과 서로 다른 Rmax를 갖는 두 개 이상의 장면 볼륨들 또는 유사한 Rmin과 서로 다른 Rmax를 갖는 장면 볼륨들 등)을 가질 수 있다.
특정한 장면 볼륨 거리(예를 들어, Rmin 및/또는 Rmax) 추정은 관찰 대상의 지리학적 치수(예를 들어, 2m 거리에 있는 길이 1m의 대상은 4m 거리에 있는 동일한 길이의 대상보다 큼)에 기초하여 산출될 수 있다. 볼륨 거리(예를 들어, Rmin 및/또는 Rmax)를 추정하는 다른 방법은 (비행 시간 원리 등의) 직접적인 거리 측정에 의해 수행될 수 있다. 볼륨 거리(예를 들어, Rmin 및/또는 Rmax)를 추정하는 또 다른 방법은, 선택된 Rmin에 대하여 적절한 SNR로 대응하는 각 프레임에서 Rmin을 소정의 최소값으로부터 원하는 값으로 변경함으로써 수행될 수 있다.
도 3d는 종래 기술에 비해 개시되는 방법을 이용하는 장점들 중 하나를 도시한다. 시스템(10)은, 특정한 장면(50)에서 서로 다른 장면 볼륨들(즉, 각각 서로 다른 최소 범위 Rmin(A)와 Rmin(D) 및 서로 다른 최대 범위 Rmax(A)와 Rmax(D)에서 반사되고 조명된 플래시 광을 도시하고 축적한다. 장면(50)은 다수의 장면 볼륨들(57A, 57B, 57C, 57D)로 나누어진다. 세 개의 대상(53A, 53C, 53D)은 시스템(100)에 대하여 서로 다른 범위에 위치한다. 선택적 축적된 장면 볼륨들은 대상(53A)이 있는 참조번호 57A, 대상(53C)이 있는 참조번호 57C, 및 대상(53D)이 있는 참조번호 57D에 의해 표현된다. 장면 볼륨들(57A, 57B, 57C, 57D)의 각각은 서로 다른 시스템 설정 상태를 가질 수 있으며, 예를 들어, 카메라 펄스 플래시 지속 시간(TLASER), 카메라 펄스 플래시 강도, 카메라 펄스 플래시 상승/하강 시간, 카메라 카메라 노출에 대한 펄스 플래시 간의 지연 시간(TOFF), 카메라 노출 지속 시간(TON), 카메라 노출 상승/하강 시간, 및 카메라 펄스 플래시의 개수/카메라 노출의 개수를 가질 수 있다. 캡처된 장면 볼륨들(57A, 57B, 57C, 57D)은, 서로 중첩될 수 있으며, 서로 부분적으로 중첩될 수 있고 또는 서로 전혀 중첩되지 않을 수 있다. 캡처된 장면 볼륨들(57A, 57B, 57C, 57D)은, 하나 이상의 장면 볼륨 캡처된 화상들의 융합에 의해, 표시할 하나 이상의 장면 볼륨 화상을 선택함으로써, 또는 캡처된 장면 볼륨들의 다른 임의의 중첩 화상 처리에 의해 추가로 처리될 수 있다. 이 방법은 사용자에게 향상된 화상을 제공한다. 도 3d에서 화상 처리의 출력은, 대상들(53A, 53D)은 최적화되는(즉, 최상의 신호 SNR 포커스를 갖는) 반면 대상(53C)은 저 신호 레벨을 가질 수 있는(즉, 대상들(53A, 53D)보다 어두운) 향상된 화상이다.
도 3e는 종래 기술에 비해 개시되는 방법을 이용하는 장점들 중 하나를 도시한다. 시스템(10)은, 특정 장면(50)의 서로 다른 장면 볼륨들에서(즉, 각각, 서로 다른 최소 범위 Rmin(A), Rmin(B), Rmin(C), 및 서로 다른 최대 범위 Rmax(A), Rmax(B), Rmax(C)) 반사되고 조명된 플래시 광을 도시하고 축적한다. 장면(50)은 다수의 장면 볼륨들(59A, 59B, 59C)로 나누어진다. 두 개의 대상(58A, 58C)은 시스템(10)에 대하여 장면의 서로 다른 범위에 위치한다. 선택적 축적된 장면 볼륨들은 대상(58A)이 있는 참조번호 59A, 동일한 대상(58A)이 있는 참조번호 59B, 대상(58C)이 있는 참조번호 59C에 의해 표현된다. 장면 볼륨들(59A, 59B, 59C)의 각각은, 서로 다른 시스템 설정 상태를 가질 수 있는데, 예를 들어, 카메라 펄스 플래시 지속 시간(TLASER), 카메라 펄스 플래시 강도, 카메라 펄스 플래시 상승/하강 시간, 카메라 펄스 플래시와 카메라 노출 사이의 지연 시간(TOFF), 카메라 노출 지속 시간(TON), 카메라 노출 상승/하강 시간, 및 카메라 펄스 플래시의 개수/카메라 노출의 개수를 가질 수 있다. 이 도에서, Rmax(B)= Rmin(C)이다. 캡처된 장면 볼륨들(59A, 59B, 59C)은, 서로 중첩될 수 있으며, 서로 부분적으로 중첩될 수 있고 또는 서로 전혀 중첩되지 않을 수 있다. 캡처된 장면 볼륨들(59A, 59B, 59C)은, 하나 이상의 장면 볼륨 캡처된 화상들의 융합에 의해, 표시할 하나 이상의 장면 볼륨 화상을 선택함으로써, 또는 캡처된 장면 볼륨들의 다른 임의의 중첩 화상 처리에 의해 추가로 처리될 수 있다. 이 방법은 사용자에게 향상된 화상을 제공한다. 도 3e의 화상 처리의 출력은, 대상들(58A, 58C)이 최적화되는(즉, 최상의 신호, SNR, 포커스를 갖는) 반면 장면(50)의 나머지가 저 신호 레벨을 갖는 향상된 화상이다.
다른 일 실시예에서, 디바이스(10)에 의해 캡처되는 서로 다른 장면 볼륨들은 서로 다른 캡처 모드들에 의해 참조될 수 있다. 예를 들어, 가장 가까운 캡처된 볼륨 장면은, 스포츠 모드(예를 들어, 특정한 노출 타이밍 시퀀스를 갖는 500㎲인 범위의 짧은 프레임 화상 지속 시간)라 할 수 있고, 더 멀리 있는 캡처된 볼륨 장면은 야간 모드(예를 들어, 특정한 노출 타이밍 시퀀스를 갖는 수 ms인 범위의 긴 프레임 화상 지속 시간)라 할 수 있고, 제3 캡처된 볼륨 장면은 정규 모드(예를 들어, 특정한 노출 타이밍 시퀀스를 갖는 1ms 범위의 통상적인 프레임 화상 지속 시간)라 할 수 있다. 이러한 모든 캡처 모드는, 사용자에 의해 제어될 수 있고 또는 대안으로 캡처링 디바이스(10)에 의해 선택될 수 있다. 이 방법은 향상된 화상을 캡처하는 유연성이 있는 추가 층을 제공한다.
도 4는 본 발명의 일부 실시예들에 따라 개선된 화질을 형성하도록 스마트 카메라 디바이스에 의해 수행되는 동작들의 흐름도이다. 방법의 동작들은, 디바이스(10)에 의해 수행될 수 있고, 구체적으로, 전술한 시스템 제어기(11)에 의해 수행될 수 있다. 시스템(10)(또는 디바이스)이 턴온된 후, 스마트 카메라 기능은 사진을 찍을 준비가 되어 있으며, 사진을 찍도록 입력이 수신된다(블록 61). 사진은 단일 정지 화상 프레임일 수 있고, 또는 단일 화상 비디오 프레임일 수 있다.
이때, 카메라 기능은, 필요로 하는 노출 시간, 렌즈 위치(줌 및 포커스)를 결정할 수 있고 플래시 필요한지 여부를 결정하도록 기초로 되는, 장면 주변 조명, 타겟 상태(예를 들어, 정적인지 또는 이동중인지) 등의 상태를 검출하는 것일 수 있다. 플래시 사용은, 장면 조명 상태들에 기초하여 사용자에 의해 결정되거나 자동 결정될 수 있다.
일단 관찰 장면이 화질을 향상시키도록 플래시 광을 필요로 한다면, 블록(62)은 관찰 대상의 기본 원시 화상(정지 화상 또는 비디오 공급물)을 제공(표시)한다. 기본 원시 화상은 플래시 모듈(14)에 의해 조명될 수 있고 또는 조명되지 않을 수 있다.
이 단계에서는, 특정 장면 볼륨(특정한 피사계 심도)을 선택하도록 입력(블록(63))을 수신한다. 특정한 장면 볼륨은 적어도 하나의 지점을 캡처된 화상 상에 가리킴으로써 선택될 수 있다. 예를 들어, 볼륨 선택은, 장면 내의 하나 이상의 대상의 데이터 인식에 기초하여 자동 실행될 수 있다.
이어서, 카메라 기능은, 블록 64에서 적절한 카메라 플래시 및 카메라 노출 타이밍 시퀀스(즉, 선택된 특정한 장면 볼륨을 제공하는 데 필요로 하는 TLASER, TON, TOFF)를 설정한다. 이 내부 자동 입력(블록 65)은, 축적된 신호 카메라 판독이 후속되는 카메라 플래시 및 카메라 노출 타이밍 시퀀스를 반복한다. 이러한 다수의 플래시/카메라 노출 시퀀스는 필요로 하는 신호 레벨 대 카메라 노이즈를 제공한다. 각 타이밍 시퀀스는 서로 다른 시스템 설정 상태를 가질 수 있는데, 예를 들어, 카메라 펄스 플래시 지속 시간(TLASER), 카메라 펄스 플래시 강도, 카메라 펄스 플래시 상승/하강 시간, 카메라 노출에 대한 카메라 펄스 플래시 간의 지연 시간(TOFF), 카메라 노출 지속 시간(TON), 카메라 노출 상승/하강 시간 등을 가질 수 있다. (블록 63 입력에 기초하여) 선택된 특정한 장면 볼륨이 생성됨에 따라, 추가 입력(블록 66)이, 전술한 바와 같이 새로운/업데이트된 타이밍 시퀀스 및 서로 다른 시스템 설정 상태를 설정할 수 있는 새로운 특정한 장면 볼륨을 업데이트할 수 있다.
이 단계에서, 내부 자동 입력(블록 67)은, (전술한 바와 같은) 시스템 설정 상태, 카메라 줌, 카메라 노출 시간, 플래시 모듈 FOI, 시스템(10) 타임-태그, (GPS 데이터일 수 있는) 위치 등의 시스템(10) 파라미터들을 포함한 축적된 신호(화상)를 판독 및 저장하도록 수신된다.
이어서, 저장된 시스템 파라미터들을 이용하여, 저장된 사진 파일에 대하여 화상 처리를 수행할 수 있다(블록 68). 이 프로세스는 아티팩트 제거, 디블러링 동작, 움직임 보상 등의 종래 기술을 포함할 수 있다. 또한, 장면 범위 데이터를 타이밍 시퀀스(TLASER, TON, TOFF)로부터 추출하여 사진에 더할 수 있다. 마지막으로, 처리된 사진을 나중에 표시하도록 또는 다른 용도를 위해 메모리로부터 추출하도록 저장해 둔다(블록 69).
캡처된 화상 상에 적어도 하나의 지점을 표시하는 것은 촉각 이벤트, 시각적 이벤트, 사운드 이벤트 및 미리 정의된 이벤트 중 적어도 하나를 포함한다. 특히, 그 표시는, 미리 정의된 설정이나 기준에 기초하여 사용자로부터의 입력 없이 자동 실행될 수 있다.
미리 정의된 설정 상태나 기준은, 조명 및 노출 타이밍 시퀀스(TLASER, TON, TOFF), 플래시 조명/센서 노출의 개수, 심지어 플래시 조명 및 센서 신호 축적의 관심 영역 등의 시스템(10)의 파라미터들 중 적어도 하나에 대하여 미리 설정될 수 있는 구성을 포함할 수 있다. 미리 정의된 설정 선택은 촬상된 장면의 패턴 인식에 기초할 수 있다. 이러한 구성에서, 화상을 처리(블록 62)하여 특정한 패턴(예를 들어, 가족 구성원의 얼굴)을 인식한다. 이 인식의 출력은, 관찰 장면으로부터 그 특정한 패턴(이 경우, 가족 구성원의 얼굴)의 최상의 신호대 잡음비(SNR)를 제공하는 것일 수 있다. 이 패턴 인식의 다른 출력은, 관찰 장면으로부터 이러한 특정한 패턴(이 경우, 가족 구성원의 얼굴)을 배제하고 이에 따라 이 대상에 더욱 낮은 SNR 대 배경을 제공하는 것일 수 있다.
미리 정의된 설정 선택은 또한 촬상 장면의 신호 식별에 기초할 수 있다. 이러한 구성에서, 신호 인식은 (예를 들어, 특정한 플랫폼 ID가 이동 전화 번호인 이동 전화를 위한) 그 특정한 플랫폼 ID에 기초할 수 있다. 이 식별의 출력은 관찰 장면으로부터 특정한 플랫폼(이 예에서는, 이동 전화를 갖는 사람)의 최상의 SNR을 제공하는 것일 수 있다. 이 식별의 다른 출력은, 관찰 장면으로부터 이러한 특정한 플랫폼(이 예에서는, 이동 전화를 갖는 사람)을 배제하고 이에 따라 이 대상에 더욱 낮은 SNR 대 배경을 제공하는 것일 수 있다.
또 다른 일 실시예에서, 미리 정의된 설정 선택은 (이하에서 정의되는) 사진 촬영(촬상) 경계 상태에도 기초할 수 있다.
도 5는, 관찰 장면 내에서 장치(70)에 대하여 서로 다른 범위에 위치하는 세 개의 타겟(80, 81, 82)을 표시하는 디스플레이(71)를 구비하는 장치(70)의 전방도를 도시한다. 시스템(10)은, 전술한 바와 같이 화상 향상을 제공하도록 장치(70)의 일부일 수 있고, 또는 장치 내에 통합될 수 있고, 또는 장치에 연결될 수 있다.
도 6은 관찰 장면 내의 타겟(81)의 향상 화상을 캡처하도록 시스템(10)을 이용하는 장치(70)의 전방도를 도시한다. 타겟(81)을 포함하는 (Rmin과 Rmax에 의해 정의된 참조번호 84인) 선택적 및 제어가능한 장면 볼륨이 도 4의 흐름도에서 설명한 바와 같이 제공된다. 입력(63)과 입력(66)(도 4)은 캡처된 화상 상의 적어도 하나의 지점을 가리키는 촉각에 의해 도 6에서 제공된다. 디스플레이(71)는 터치당 단일 스타일러스 또는 단일 손가락(72)이 사용되는 터치스크린일 수 있다. 촉각 방법인 Rmin과 Rmax는, 예를 들어, 다음에 따르는 옵션들(옵션 A 내지 옵션 D) 중 하나 이상에 의해 정의될 수 있다.
옵션 A는, Rmin이 선택될 때까지 디스플레이(71) 상의 타겟(81)을 터치하는 단계(72)(즉, 손가락(72)이 상승될 때까지 시스템(10)이 TOFF를 스위핑함), Rmax가 선택될 때까지 디스플레이(71) 상의 타겟(81)을 다시 터치하는 단계(72)(즉, 손가락(72)이 상승될 때까지 시스템(10)이 TON과 TLASER를 스위핑함), 및 손가락(72)을 상승시켜 게이티드 사진을 찍는 단계로 이루어질 수 있다.
옵션 B는, Rmin이 선택될 때까지 디스플레이(71)를 터치하는 단계(72)(즉, 손가락(72)이 상승될 때까지 시스템(10)이 TOFF를 스위핑함), Rmax가 선택될 때까지 디스플레이(71)를 다시 터치하는 단계(72)(즉, 손가락(72)이 상승될 때까지 시스템(10)이 TON과 TLASER를 스위핑함), 및 손가락(72)을 상승시켜 게이티드 사진을 찍는 단계로 이루어질 수 있다.
옵션 C는, 디스플레이(71) 상의 타겟(81)을 터치하는 단계(72), Rmin을 선택하는 단계(즉, 양호한 신호로 타겟(81)을 주목할 수 있을 때까지 시스템(10)이 TOFF를 스위핑함), Rmax를 선택하는 단계(즉, 양호한 신호로 타겟(81)을 주목할 수 있을 때까지 시스템(10)이 TON과 TLASER를 스위핑함), 및 게이티드 사진을 찍는 단계로 이루어질 수 있다.
도 7은, 관찰 장면 내의 타겟(81)의 향상 화상을 캡처하도록 시스템(10)을 이용하는 장치(70)의 전방도를 도시한다. 타겟(81)을 포함하는 (Rmin과 Rmax에 의해 정의된 참조번호 84인) 선택적 및 제어가능한 장면 볼륨이 도 4의 흐름도에서 설명한 바와 같이 제공된다. 입력(63)과 입력(66)(도 4)은 캡처된 화상 상의 적어도 하나의 지점을 가리키는 촉각에 의해 도 7에서 제공된다. 디스플레이(71)는 터치당 두 개의 손가락(76)에 의해 두 개의 관심 지점이 형성되는 터치스크린일 수 있다. 촉각 방법인 Rmin과 Rmax는, 예를 들어, 다음에 따르는 옵션들 중 하나 이상(옵션 D)에 의해 정의될 수 있다.
옵션 D는, Rmin과 Rmax가 선택될 때까지 디스플레이(71) 상의 타겟(81)을 터치하는 단계(76)(즉, 손가락들(76)이 상승될 때까지 시스템(10)이 TON과 TLASER를 스위핑함)로 이루어질 수 있다. 일단 손가락들(76)이 상승하게 되면 게이티드 사진이 찍힌 것이다.
다른 일 실시예에서, 캡처된 화상 상의 하나의 지점(도 4의 입력(63)과 입력(66)을 가리키는 것은 사운드 방법에 의해 제공될 수 있다. 예를 들어, 음성 명령은 캡처된 화상의 Rmin 또는 Rmax 또는 특정한 대상을 가리킬 수 있다.
도 8은, 관찰 장면 내의 타겟(81)의 향상 화상을 캡처하도록 시스템(10)을 이용하는 장치(70)의 전방도를 도시한다. 타겟(81)을 포함하는 (Rmin과 Rmax에 의해 정의된 참조번호 84인) 선택적 및 제어가능한 장면 볼륨이 도 4의 흐름도에서 설명한 바와 같이 제공된다. 입력(63)과 입력(66)(도 4)은 캡처된 화상 상의 적어도 하나의 지점을 가리키는 시각에 의해 도 8에서 제공된다. 눈 추적 모듈(73)은, 표시된 화상에서 Rmin, Rmax, 및 원하는 대상 중 적어도 하나를 설정하기 위한 위치(74) 및 움직임 데이터를 눈(75)에 제공하도록 장치(70) 내에 위치할 수 있다.
도 9는, 전술한 시스템(10) 등의 다수의 디바이스들(10a, 10b, 10c)이 있는 상황을 도시한다. 이러한 시스템들은 사진 촬영(촬상) 경계 상태를 전달하도록 서로 통신할 수 있다. 예를 들어, 시스템들(예를 들어, 디바이스(10a), 디바이스(10b), 디바이스(10c)) 사이의 거리가 전달될 수 있다. 이러한 입력은, 촬상이 행해지는 디바이스들(10a, 10b, 10c) 중 하나의 조명 및 노출 타이밍 시퀀스 중 일부를 설정하는 데 사용될 수 있다.
다른 일 실시예에서, 도 9에서 설명한 바와 같은 상황(즉, 다수의 디바이스들)에서, 특정한 디바이스는 플래시를 조명하는 데 및/또는 심지어 촬상을 행하는 데 다른 디바이스를 이용할 수 있다. 이 방법은, 캡처된 화상을 최적화하고 최대화하도록 소정의 볼륨의 디바이스들(10a, 10b, 10c)의 확산을 이용한다.
본 발명을 한정된 개수의 실시예들에 관하여 설명하였지만, 이러한 실시예들은, 본 발명의 범위를 한정하는 것으로서 해석해서는 안 되며, 오히려 바람직한 실시예들 중 일부를 예시하는 것으로 해석해야 한다. 다른 가능한 변형, 수정, 및 응용도 본 발명의 범위 내에 있다. 이에 따라, 본 발명의 범위는 지금까지 설명한 바에 의해 한정되어서는 안 되며 청구범위 및 그 균등물에 의해 한정되어야 한다.

Claims (30)

  1. 캡처링 디바이스를 이용하여, 상기 캡처링 디바이스에 의해 관찰되는 대상들과 배경을 포함하는 장면의 원시 화상을 캡처하는 단계와,
    캡처된 상기 원시 화상 상의 적어도 하나의 위치를 표시하는 단계로서, 상기 캡처된 원시 화상 상의 위치가 상기 장면 내의 위치에 대응하는 것인, 상기 적어도 하나의 위치를 표시하는 단계와,
    상기 캡처된 원시 화상 상에 표시된 상기 적어도 하나의 위치에 기초하여 상기 장면 내의 볼륨 부분을 산출하는 단계와,
    상기 장면을 향하여 특정된 파라미터들을 갖는 플래시 펄스를 생성하는 단계와,
    상기 플래시 펄스의 산출된 상기 볼륨 부분으로부터의 반사가 상기 캡처링 디바이스에 도달할 때 실행될 상기 캡처링 디바이스의 노출을 동기화하는 단계와,
    상기 반사를 축적하여 향상된 화상을 형성하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 표시하는 단계는 미리 정의된 기준에 기초하여 자동 실행되는, 방법.
  3. 제1항에 있어서,
    상기 표시하는 단계는 사용자 선택에 기초하여 실행되는, 방법.
  4. 제1항에 있어서,
    상기 생성하는 단계와 상기 동기화하는 단계를 하나 이상의 플래시 펄스와 각 동기화된 노출에 대하여 반복하는 단계를 더 포함하는, 방법.
  5. 제1항에 있어서,
    상기 볼륨 부분은, 상기 캡처링 디바이스와 상기 볼륨 부분 간의 최소 거리인 최소 범위 Rmin 및 상기 캡처링 디바이스와 상기 볼륨 부분 간의 최대 거리인 최대 범위 Rmax에 의해 정의되고, 상기 볼륨의 산출은 상기 캡처된 원시 화상에 대하여 Rmin과 Rmax를 표시함으로써 실행되는, 방법.
  6. 제3항에 있어서,
    상기 사용자 선택은 촉각 이벤트, 시각 이벤트, 및 사운드 이벤트 중 하나 이상을 포함하는, 방법.
  7. 제3항에 있어서,
    상기 선택은 사용자 입력에 수동 응답하여 실행되는, 방법.
  8. 제3항에 있어서,
    상기 선택은, 3D 박스의 선택, 특정된 범위의 선택, 및 선택된 볼륨 부분이 무시된 대상을 포함하지 않도록 무시할 하나 이상의 대상의 선택 중 하나 이상에 의해 실행되는, 방법.
  9. 제6항에 있어서,
    상기 사운드 이벤트는 사용자 음성 입력에 의해 실행되는, 방법.
  10. 제3항에 있어서,
    상기 사용자 선택은 터치스크린 위로 하나 이상의 대상을 표시함으로써 실행되는, 방법.
  11. 제1항에 있어서,
    상기 플래시 펄스는 가시광의 범위 내에 있는, 방법.
  12. 제1항에 있어서,
    상기 플래시 펄스는 비가시광의 범위 내에 있는, 방법.
  13. 제1항에 있어서,
    상기 볼륨 부분의 산출은 상기 캡처된 원시 화상 상의 두 개 이상의 위치에 대하여 실행되고, 상기 노출의 동기화는 모든 상기 산출된 볼륨 부분의 각각에 대하여 독립적으로 실행되는, 방법.
  14. 제1항에 있어서,
    상기 플래시 펄스의 파라미터들은 강도, 주파수, 및 지속 시간을 포함하고, 상기 펄스의 파라미터들은 상기 산출된 볼륨 부분의 파라미터들에 기초하여 조절되는, 방법.
  15. 제1항에 있어서,
    상기 볼륨 부분의 산출은 상기 장면 내의 하나 이상의 대상의 데이터 인식에 기초하여 자동 실행되는, 방법.
  16. 제1항에 있어서,
    상기 볼륨 부분의 산출은 사용자 입력에 수동 응답하여 실행되는, 방법.
  17. 캡처링 디바이스로서, 상기 캡처링 디바이스에 의해 관찰되는 배경과 대상들을 포함하는 장면의 원시 화상을 캡처하도록 구성된, 캡처링 디바이스와,
    캡처된 상기 원시 화상 상의 적어도 하나의 위치를 표시하도록 구성된 표시기로서, 상기 캡처된 원시 화상 상의 위치는 상기 장면 내의 위치에 대응하는 것인, 표시기와,
    상기 캡처된 원시 화상 상의 상기 적어도 하나의 위치에 기초하여 상기 장면 내의 볼륨 부분을 산출하도록 구성된 컴퓨터 프로세서와,
    상기 장면을 향하여 특정된 파라미터들을 갖는 플래시 펄스를 생성하도록 구성된 광원을 포함하고,
    상기 컴퓨터 프로세서는, 또한, 상기 플래시 펄스의 산출된 상기 볼륨 부분으로부터의 반사가 상기 캡처링 디바이스에 도달할 때 실행될 상기 캡처링 디바이스의 노출을 동기화하도록 구성되고,
    상기 반사에 의해 향상된 화상이 형성되는, 시스템.
  18. 제17항에 있어서,
    상기 볼륨 부분은, 상기 캡처링 디바이스와 상기 볼륨 부분 간의 최소 거리인 최소 범위 Rmin 및 상기 캡처링 디바이스와 상기 볼륨 부분 간의 최대 거리인 최대 범위 Rmax에 의해 정의되고, 상기 볼륨의 산출은 상기 캡처된 원시 화상에 대하여 Rmin과 Rmax를 표시함으로써 실행되는, 시스템.
  19. 제17항에 있어서,
    상기 플래시 펄스는 가시광 내에 있는, 시스템.
  20. 제17항에 있어서,
    상기 볼륨 부분의 산출은 두 개 이상의 위치에 대하여 실행되고, 상기 노출의 동기화는 산출된 모든 상기 볼륨 부분의 각각에 대하여 독립적으로 실행되는, 시스템.
  21. 제17항에 있어서,
    상기 플래시 펄스의 파라미터들은 강도, 주파수, 및 지속 시간을 포함하고, 상기 펄스의 파라미터들은 상기 산출된 볼륨 부분의 파라미터들에 기초하여 조절되는, 시스템.
  22. 제17항에 있어서,
    상기 볼륨 부분의 산출은 상기 장면 내의 하나 이상의 대상의 데이터 인식에 기초하여 자동 실행되는, 시스템.
  23. 제17항에 있어서,
    상기 위치의 표시는 사용자 입력에 수동 응답하여 실행되는, 시스템.
  24. 제17항에 있어서,
    상기 위치의 표시는 미리 정의된 기준에 기초하여 자동 실행되는, 시스템.
  25. 제23항에 있어서,
    상기 사용자 선택은 터치스크린 위로 하나 이상의 대상을 표시함으로써 실행되는, 시스템.
  26. 제23항에 있어서,
    상기 사용자 선택은,
    특정된 볼륨의 선택, 특정된 범위의 선택, 및 선택된 볼륨이 무시된 대상을 포함하지 않도록 무시할 하나 이상의 대상의 선택 중 하나 이상을 포함하는, 시스템.
  27. 제1항에 있어서,
    상기 볼륨 부분은,
    상기 캡처링 디바이스와 상기 볼륨 부분 간의 최소 거리인 최소 범위 Rmin 및 상기 캡처링 디바이스와 상기 볼륨 부분 간의 최대 거리인 최대 범위 Rmax에 의해 정의되고, 상기 볼륨 부분의 산출은 상기 캡처된 원시 화상에 대하여 Rmin을 표시함으로써 실행되는, 방법.
  28. 제1항에 있어서,
    상기 볼륨 부분은,
    상기 캡처링 디바이스와 상기 볼륨 부분 간의 최소 거리인 최소 범위 Rmin 및 상기 캡처링 디바이스와 상기 볼륨 부분 간의 최대 거리인 최대 범위 Rmax에 의해 정의되고, 상기 볼륨 부분의 산출은 상기 캡처된 원시 화상에 대하여 Rmax를 표시함으로써 실행되는, 방법.
  29. 제1항에 있어서,
    상기 볼륨 부분은,
    상기 캡처링 디바이스와 상기 볼륨 부분 간의 최소 거리인 최소 범위 Rmin 및 상기 캡처링 디바이스와 상기 볼륨 부분 간의 최대 거리인 최대 범위 Rmax에 의해 정의되고, 상기 볼륨 부분의 산출은 상기 캡처된 원시 화상에 대하여 Rmin과 Rmax 사이의 위치를 표시함으로써 실행되는, 방법.
  30. 제1항에 있어서,
    상기 원시 화상은 상기 장면의 하나 이상의 슬라이스를 포함하는 게이티드 화상을 포함하고, 상기 슬라이스들의 각각은 상기 장면 내의 각각의 미리 정의된 볼륨에 연관된, 방법.
KR1020167002823A 2013-06-30 2014-06-29 향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템 KR102210928B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL227265 2013-06-30
IL227265A IL227265A0 (en) 2013-06-30 2013-06-30 Smart flash for the camera
PCT/IL2014/050580 WO2015001550A1 (en) 2013-06-30 2014-06-29 Method and system for selective imaging of objects in a scene to yield enhanced

Publications (2)

Publication Number Publication Date
KR20160027162A true KR20160027162A (ko) 2016-03-09
KR102210928B1 KR102210928B1 (ko) 2021-02-03

Family

ID=49784198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167002823A KR102210928B1 (ko) 2013-06-30 2014-06-29 향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US9712754B2 (ko)
EP (1) EP3017339A4 (ko)
KR (1) KR102210928B1 (ko)
CN (1) CN104253947B (ko)
IL (1) IL227265A0 (ko)
WO (1) WO2015001550A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007330B2 (en) 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
CN105391948A (zh) * 2015-11-05 2016-03-09 浙江宇视科技有限公司 一种具有夜视透雾功能的前端设备及其控制方法
EP3396410A4 (en) * 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGE ACQUISITION DEVICE FOR VEHICLES, CONTROL DEVICE, VEHICLE HAVING IMAGE ACQUISITION DEVICE FOR VEHICLES AND CONTROL DEVICE, AND IMAGE ACQUISITION METHOD FOR VEHICLES
WO2017110414A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置およびそれを備えた車両
JP6851985B2 (ja) 2015-12-21 2021-03-31 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US11187805B2 (en) 2015-12-21 2021-11-30 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
KR102370763B1 (ko) * 2017-09-26 2022-03-04 삼성전자주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
CN107745697A (zh) 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视系统
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
US11023742B2 (en) 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
AU2019339418A1 (en) 2018-09-13 2021-05-13 Tusimple, Inc. Remote safe driving methods and systems
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN111800585B (zh) * 2019-11-21 2021-06-04 天津九安医疗电子股份有限公司 一种智能照明控制系统
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN113928307A (zh) 2020-06-29 2022-01-14 图森有限公司 自动泊车技术
CN117455809B (zh) * 2023-10-24 2024-05-24 武汉大学 基于深度引导扩散模型的图像混合雨去除方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920412A (en) * 1988-12-22 1990-04-24 Sperry Marine Inc. Atmospheric obscurant penetrating target observation system with range gating
US6057909A (en) * 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3404396A1 (de) 1984-02-08 1985-08-14 Dornier Gmbh, 7990 Friedrichshafen Vorrichtung und verfahren zur aufnahme von entfernungsbildern
US6876392B1 (en) * 1998-12-22 2005-04-05 Matsushita Electric Industrial Co., Ltd. Rangefinder for obtaining information from a three-dimensional object
IL154479A0 (en) 2003-02-16 2003-09-17 Elbit Systems Ltd Laser gated intensified ccd
CA2554955C (en) * 2004-02-04 2010-09-14 Elbit Systems Ltd. Gated imaging
US7541588B2 (en) * 2005-07-12 2009-06-02 Northrop Grumman Corporation Infrared laser illuminated imaging systems and methods
WO2008084468A2 (en) * 2007-01-14 2008-07-17 Microsoft International Holdings B.V. A method, device and system for imaging
US7962031B2 (en) 2009-10-06 2011-06-14 Apple Inc. Pulsed control of camera flash
US9060113B2 (en) * 2012-05-21 2015-06-16 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US8786767B2 (en) * 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
US20140247368A1 (en) * 2013-03-04 2014-09-04 Colby Labs, Llc Ready click camera control

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920412A (en) * 1988-12-22 1990-04-24 Sperry Marine Inc. Atmospheric obscurant penetrating target observation system with range gating
US6057909A (en) * 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera

Also Published As

Publication number Publication date
US9712754B2 (en) 2017-07-18
WO2015001550A1 (en) 2015-01-08
CN104253947B (zh) 2018-04-13
EP3017339A1 (en) 2016-05-11
EP3017339A4 (en) 2017-02-22
KR102210928B1 (ko) 2021-02-03
CN104253947A (zh) 2014-12-31
IL227265A0 (en) 2013-12-31
US20160373633A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
KR102210928B1 (ko) 향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템
KR102165399B1 (ko) 센서 노출들 사이의 최소화된 지연 시간을 갖는 게이트된 센서 기반 이미징 시스템
CN107743590B (zh) 用于使用飞行时间传感器来执行曝光估计的方法及设备
EP3213107B1 (en) High dynamic range imaging of environment with a high intensity reflecting/transmitting source
EP2622847B1 (en) Integrated low power depth camera and projection device
US10663691B2 (en) Imaging devices having autofocus control in response to the user touching the display screen
US7119842B2 (en) Image capturing device including a spectrally-selectively transmissive diaphragm
TWI675582B (zh) 用於具有背景去除的主動深度成像儀的系統和方法
JP2018119942A (ja) 撮像装置及びその監視方法並びにプログラム
US10877238B2 (en) Bokeh control utilizing time-of-flight sensor to estimate distances to an object
JP6460829B2 (ja) 撮像装置、電子機器及び光量変化特性の算出方法
JP2002369223A (ja) 画像検出装置と絞り装置
JP2004229034A (ja) 赤外線照明内蔵型デイナイトカメラ
JP2019095807A (ja) 焦点検出装置および撮像装置
JP2001119723A (ja) 静止物体画像検出装置と静止物体画像検出方法
JP2001145125A (ja) ３次元画像検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant