KR102481606B1

KR102481606B1 - 카메라 시스템

Info

Publication number: KR102481606B1
Application number: KR1020217040908A
Authority: KR
Inventors: 앤젤로스 스패노스
Original assignee: 퓨어라이파이 리미티드
Priority date: 2016-03-25
Filing date: 2017-03-21
Publication date: 2022-12-27
Also published as: US11172113B2; WO2017163054A1; KR20210156302A; GB201605142D0; US20220030156A1; KR102341354B1; US11778311B2; EP3420717A1; KR20190015203A; US20190132503A1

Abstract

이미지를 캡처하기 위한 카메라는, 수신된 광에 응답하여 이미지 센서 데이터를 생성하도록 구성된 이미지 센서; 및 상기 이미지 센서 데이터를 처리하여 이미지 데이터 및 통신 데이터를 획득하도록 구성된 프로세싱 리소스를 포함하고, 상기 통신 데이터의 획득은 이미지 센서 데이터의 적어도 일부에 대한 복조 프로세스의 수행을 포함하고, 상기 프로세싱 리소스는, 상기 통신 데이터 및 상기 이미지 데이터를 적어도 하나의 다른 프로세싱 리소스로 전송하도록 더 구성된다.

Description

카메라 시스템{A CAMERA SYSTEM}

본 발명은 카메라 시스템, 예를 들어 이미지 센서(image sensor), 근접 센서(proximity sensor), 주변 광 센서(ambient light sensor), 및 플래시 유닛(flash unit) 중 적어도 하나를 포함하는 카메라 시스템(camera system)에 관한 것이다.

카메라 모듈(camera modules)은 스마트 폰 및 태블릿과 같은 스마트 장치들(smart devices)에 광범위하게 채택되고 있다. 전면 및/또는 후면 카메라(front and/or back facing cameras)에 더하여, 이러한 장치는 일반적으로 근접 신호(proximity signals)를 감지하는 센서, 주변 광(ambient light)을 감지(sense)하는 센서 및 플래시 유닛(flash units)을 구비한다.

무선 광 통신(wireless optical communication)은 종래의 무선 주파수 무선 통신(radio frequency wireless communication)보다 장점들을 제공하고, 복수의 장치들을 이용하여 구현된다.

본 발명의 제1 측면에서, 이미지를 캡처하기(capturing) 위한 카메라가 제공된다. 상기 카메라는, 수신된 광(received light)에 응답하여(response) 이미지 센서 데이터(image sensor data)를 생성하도록 구성된 이미지 센서(image sensor); 및 상기 이미지 센서 데이터를 처리하여 이미지 데이터(image data) 및 통신 데이터(communication data)를 획득하도록 구성된 프로세싱 리소스(processing resource)를 포함하고, 상기 통신 데이터의 획득은 이미지 센서 데이터의 적어도 일부에 대한 복조 프로세스(demodulation process)의 수행을 포함하고, 상기 프로세싱 리소스는, 상기 통신 데이터 및 상기 이미지 데이터를 적어도 하나의 다른 프로세싱 리소스로 전송하도록 더 구성된다.

상기 이미지 데이터는 픽셀 데이터(pixel data)를 포함할 수 있다. 상기 통신 데이터는 광 무선 통신 데이터(optical wireless communication data)를 포함할 수 있다.

상기 이미지 센서 및 상기 프로세싱 리소스는, 단일 칩(single chip)의 일부를 형성하거나(form) 또는 단일 칩 상에 위치할(be) 수 있다.

적어도 하나의 또 다른 프로세싱 리소스는 칩(chip) 외부에 존재하거나 또는 또 다른 칩의 일부를 포함하거나 또는 일부를 형성할 수 있다. 적어도 하나의 또 다른 프로세싱 리소스는 카메라 내에(예를 들어, 카메라의 외부 하우징(outer housing) 내에) 존재할 수 있다.

상기 프로세싱 리소스는 제1 프로세서(first processor) 및 제2 프로세서(second processor)를 포함할 수 있다. 상기 제1 프로세서는 상기 이미지 센서 데이터를 처리하도록 구성될 수 있고, 상기 제2 프로세서는 상기 통신 데이터를 처리하도록 구성될 수 있다. 이에 따라, 개별 프로세서(separate processors)가 제공될 수 있다. 상기 이미지 센서 데이터 및 상기 통신 데이터의 처리는 상기 또 다른 프로세싱 리소스로 인터페이스를 통해 전송되는 형태와 같이 상기 이미지 센서 데이터 및 상기 통신 데이터를 처리하는 것을 포함할 수 있다. 상기 인터페이스는 카메라 직렬 인터페이스(camera serial interface)를 포함할 수 있다.

상기 카메라는, 상기 프로세싱 리소스 및 상기 또 다른 프로세싱 리소스 사이에서 제어 데이터를 전달하기(carrying) 위한 제어 버스(control bus) 또는 인터페이스(interface)를 포함할 수 있고, 상기 프로세싱 리소스 및 상기 또 다른 프로세싱 리소스 사이에서 상기 통신 데이터 및/또는 이미지 데이터를 전달하기 위한 또 다른 버스(further bus) 또는 인터페이스를 포함할 수 있다. 상기 또 다른 버스 또는 인터페이스는 CSI 버스(bus) 또는 인터페이스(예를 들어, CSI-2 또는 CSI-3 버스 또는 인터페이스)를 포함할 수 있다. 상기 제어 버스 또는 인터페이스는 I2C 버스 또는 인터페이스를 포함할 수 있다. 제어 버스 또는 인터페이스는 더 느린 데이터 전송 속도로 동작하거나 또는 또 다른 버스 또는 인터페이스보다 더 낮은 대역폭(bandwidth)을 가지도록 구성될 수 있다. 통신 데이터는 적어도 10 Mbps(선택적으로 적어도 20 Mbps, 선택적으로 적어도 40 Mbps)의 속도로 수신되거나 또는 전송되거나 또는 복조될 수 있다.

또 다른 프로세싱 리소스는 카메라의 동작을 제어하는 카메라 프로세서(camera processor)를 포함할 수 있다. 카메라 프로세서는 상기 카메라의 동작의 적어도 하나의 측면을 제어할 수 있으며, 상기 카메라의 동작은 예를 들어, 이미지를 캡처하는(capturing) 것, 이미지 노출 시간(image exposure time), 이미지 해상도(image resolution), 조리개(aperture) 중 적어도 하나의 동작을 제어하는 것, 데이터(예를 들어, 메모리 내 이미지)의 저장 및/또는 검색을 제어하는 것, 사용자 및/또는 디스플레이와의 상호작용(interaction) 또는 사용자 인터페이스의 동작을 제어하는 것일 수 있다.

이미지 센서는, 수신된 광에 응답하여 이미지 신호들(image signals)을 생성하는 이미지 센서 소자(image sensor elements)를 포함하는, 센서 소자들(sensor elements)의 어레이(array)를 포함한다. 각각의 이미지 센서 소자는 복수의 상이한 컬러들 중 각각의 하나의 광을 감지하도록 구성될 수 있다. 상기 어레이는, 수신된 광에 응답하여 통신 신호들(communication signals)을 생성하는 통신 센서 소자들(communication sensor elements)을 포함할 수 있다. 상기 통신 센서 소자는, 하나 이상의 통신 센서 소자들의 그룹들(groups)로 상기 이미지 센서 어레이(image sensor array)에 분포될(distributed) 수 있다. 상기 그룹들 중 하나 이상(선택적으로 각각, 선택적으로 실질적으로 모두)은 이미지 센서 소자들에 의해 둘러싸일(surrounded) 수 있다.

복수의 상이한 컬러들(colours) 중 각각의 하나의 컬러의 광을 감지하도록 구성된 이미지 센서 소자들은 상이한 파장 범위들(wavelength ranges)의 광에 민감할(sensitive) 수 있다. 상이한 유형의 이미지 센서 소자들은 파장 함수(function of wavelength)로서, 감도(sensitivity)의 상이한 프로파일들(profiles)을 가질 수 있다. 광은 전자기 스펙트럼(electromagnetic spectrum)의 임의의 적합한 부분의 광(예를 들어, 가시광(visible light) 또는 적외선 광(infrared light))을 포함할 수 있다.

상기 어레이는 단위 셀들(unit cells)의 반복적인 배치(repeating arrangement)를 포함하고, 각각의 단위 셀은 적어도 하나의 통신 센서 소자 및 복수의 이미지 센서 소자들을 포함할 수 있다.

상기 단위 셀은 3 개의 이미지 센서 소자들을 포함할 수 있다.

상기 단위 셀의 상기 이미지 센서 소자들은, 적색 광을 감지하는 센서 소자, 녹색 광을 감지하는 센서 소자 및 청색 광을 감지하는 센서 소자를 포함할 수 있다.

각각의 통신 센서 소자는 동일한 파장 또는 파장 범위의 광을 감지하도록 구성될 수 있다. 예를 들어, 각각의 통신 센서 소자는 파장 함수로서, 실질적으로 동일한 감도 프로파일을 가질 수 있다. 또 달리, 각각의 통신 센서 소자는 복수의 상이한 파장들 또는 파장 범위들 중 각각의 하나의 광을 감지하도록 구성될 수 있다. 예를 들어, 각각의 통신 센서 소자는 파장 함수로서, 복수의 상이한 감도 프로파일들 중 각각의 하나를 가질 수 있다.

상기 이미지 센서는, 수신된 광에 응답하여 이미지 신호들을 생성하는 이미지 센서 소자들을 포함하는, 센서 소자들의 이미지 센서 어레이; 및 수신된 광에 응답하여 통신 신호들을 생성하는 통신 센서 소자를 포함하고, 각각의 이미지 센서 소자는 각각의 상이한 컬러의 광을 감지하도록 구성될 수 있고, 상기 통신 센서 소자는, 상기 이미지 센서 어레이의 하나 이상의 모서리들(edges)을 따라 연장된 하나 이상의 행들(rows) 또는 열들(columns)로 배치될 수 있다.

상기 카메라는, 상기 이미지 센서 소자들로부터 상기 생성된 이미지 신호를 수집하고, 상기 생성된 이미지 신호들을 상기 프로세싱 리소스에 적합한 형태로 조정하도록(condition) 구성된 이미지 신호 조정 회로(image signal conditioning circuitry); 및 상기 통신 센서 소자들로부터 상기 생성된 통신 이미지 신호를 수집하고, 상기 생성된 통신 신호를 상기 프로세싱 리소스에 적합한 형태로 조정하는 통신 신호 조정 회로(communication signal conditioning circuitry)를 더 포함할 수 있다.

상기 통신 신호 조정 회로는, 광 통신 신호(optical light communication signal)의 주파수 특성(frequency characteristic)으로 상기 통신 신호들을 샘플링하도록(sample) 구성된 하나 이상의 아날로그 디지털 변환기들(analogue to digital convertors)(ADC)를 포함할 수 있다.

상기 이미지 신호 조정 회로는 적어도 하나의 아날로그 디지털 변환기(ADC)를 포함할 수 있다.

상기 통신 신호 조정 회로의 ADC는 예를 들어, 이미지 신호 조정 회로의 ADC보다 빠른 속도로 샘플 신호(sample signals)로 동작하도록 구성될 수 있다. 통신 신호 조정 회로의 ADC는 적어도 100 MHz(선택적으로 적어도 160 MHZ)의 속도로 통신 신호를 샘플링하도록 구성될 수 있다. 통신 신호 조정 회로의 ADC는 더 클 수 있으며, 예를 들어, 이미지 신호 조정 회로의 ADC보다 더 큰 단면적(cross-sectional area)을 가질 수 있다. 이미지 신호 조정 회로의 개별 ADC(separate ADC)는 각각의 이미지 센서 소자에 제공될 수 있거나, 이미지 센서 소자들의 각각의 서브 그룹(sub-group)(예를 들어, 각각의 단위 셀(unit cell))에 제공될 수 있다. 통신 센서 소자의 개별 ADC는 각각의 통신 센서 소자에 제공될 수 있다.

상기 프로세싱 리소스는, 상기 통신 및 이미지 데이터를 병렬로 또는 직렬로 인터페이스(interface)를 통해 전송하도록 구성될 수 있다.

상기 인터페이스는 카메라 직렬 인터페이스(CSI)를 포함할 수 있다. 상기 인터페이스는 CSI-2 또는 CSI-3 인터페이스를 포함할 수 있다.

상기 카메라는 플래시 유닛(flash unit)을 포함할 수 있다. 상기 프로세싱 리소스는, 상기 플래시 유닛이 광 통신 신호(optical communication signal)를 생성하도록, 상기 플래시 유닛에 통신 데이터를 인코딩하는(encoding) 변조 신호(modulation signal)를 제공하도록 더 구성될 수 있다.

상기 플래시 유닛은 하나 이상의 플래시 이미터들(flash emitters) 및/또는 하나 이상의 통신 이미터(communication emitters)를 더 포함할 수 있다. 상기 프로세싱 리소스는, 상기 플래시 이미터들에 통신 데이터를 인코딩하는 상기 변조 신호를 제공하거나, 또는 상기 플래시 이미터들에 플래시 신호(flash signal)를 제공하도록 더 구성될 수 있다.

독립적으로 제공될 수 있는 본 발명의 또 다른 측면에서, 광 신호들(optical signals)을 이용하여 인접 객체(nearby object)를 나타내는(representative) 근접 데이터(proximity data)를 생성하도록 구성된 근접 센서(proximity sensor)가 제공된다. 상기 근접 센서는,

출력 광 신호(outgoing optical signal)를 생성하도록 구성된 이미터(emitter);

입력 광 신호(incoming optical signal)를 수신하도록 구성된 수신기; 및

프로세싱 리소스(processing resource)를 포함하고, 상기 프로세싱 리소스는,

a) 입력 통신 데이터를 획득하기 위한 상기 입력 광 신호의 적어도 일부에 관한 복조 프로세스(demodulation process); 및

b) 상기 출력 광 신호의 적어도 일부 상의 출력 통신 데이터를 인코딩하기 위한 변조 프로세스(modulation process)

중 적어도 하나를 수행하도록 구성된다.

상기 프로세싱 리소스는, 상기 입력 통신 데이터를 적어도 하나의 다른 프로세싱 리소스로 전송하거나, 또는 적어도 하나의 다른 프로세싱 리소스로부터 상기 출력 통신 데이터를 수신하도록 더 구성될 수 있다.

상기 이미터, 수신기 및 프로세싱 리소스는, 단일 칩 상에 집적될(integrated) 수 있다.

적어도 하나의 또 다른 프로세싱 리소스는, 칩 외부(outside the chip)에 있을 수 있거나, 또는 또 다른 칩의 일부를 포함하거나 형성할 수 있다.

상기 근접 센서는 상기 이미터에 변조 신호를 제공하는 구동 회로(driving circuitry)를 더 포함할 수 있다. 상기 변조 신호는 하나의 다른 프로세서로부터 수신된 상기 출력 통신 데이터에 기초할(based) 수 있다.

상기 구동 회로는, 광 통신 신호(optical light communication signal)의 주파수 특성으로 변조 신호를 제공하도록 구성된 디지털 아날로그 변환기(digital to analogue convertor)를 포함할 수 있다.

상기 수신기는 수신된 광에 응답하여 통신 신호를 생성하는 센서; 및 상기 통신 신호를 수집하고, 상기 프로세싱 리소스에 적합한 형태로 상기 통신 신호를 조정하는 조정 회로(conditioning circuitry)를 포함할 수 있다.

상기 프로세싱 리소스는, 제1 인터페이스(first interface)를 통해 통신 데이터 및 근접 데이터를 전송하거나, 또는 수신하도록 구성될 수 있다.

상기 프로세싱 리소스는, 제1 인터페이스 및 제2 인터페이스(second interface)를 통해 병렬로 통신 데이터 및 근접 데이터를 전송하거나, 또는 수신하도록 구성될 수 있다.

상기 제1 인터페이스는 고속 인터페이스(high speed interface)일 수 있다.

제2 인터페이스는 제1 인터페이스보다 더 느린 인터페이스를 포함할 수 있으며, 예를 들어, 제2 인터페이스는 제1 인터페이스보다 더 낮은 속도(rate)로 데이터를 전송하도록 구성될 수 있다. 제2 인터페이스는 근접 데이터의 일부 또는 전부를 전송하도록 구성될 수 있다. 제1 인터페이스는 통신 데이터의 일부 또는 전부를 전송하도록 구성될 수 있다.

상기 제1 인터페이스는 카메라 직렬 인터페이스(CSI)를 포함할 수 있다. 제1 인터페이스는 예를 들어, CSI-2 또는 CSI-3 인터페이스를 포함할 수 있다.

이미터 및 수신기는 상기 근접 센서의 하우징(housing)의 모서리 상에 배치될 수 있다.

독립적으로 제공될 수 있는 본 발명의 또 다른 측면에서, 카메라 시스템이 제공된다. 상기 카메라 시스템(camera system)은,

카메라를 포함하고, 상기 카메라는,

수신된 광에 응답하여 이미지 센서 데이터를 생성하도록 구성된 이미지 센서; 및

상기 이미지 센서 데이터를 처리하여 이미지 데이터 및 입력 통신 데이터를 획득하도록 구성된 카메라 프로세싱 리소스를 포함한다.

상기 입력 통신 데이터를 획득하는 것은 상기 이미지 센서 데이터의 적어도 일부에 대한 복조 프로세스를 수행하는 것을 포함할 수 있다. 상기 프로세싱 리소스는, 상기 입력 통신 데이터 및 상기 이미지 데이터를 적어도 하나의 다른 프로세싱 리소스로 전송하도록 더 구성될 수 있다. 상기 시스템은 광 신호(optical signals)를 이용하여 인접 객체를 나타내는 근접 데이터를 생성하도록 구성된 근접 센서를 더 포함할 수 있다. 상기 근접 센서는 출력 광 신호를 생성하도록 구성된 이미터를 포함할 수 있다. 상기 근접 센서는, 상기 출력 광 신호의 적어도 일부 상의 출력 통신 데이터를 인코딩하기 위한 변조 프로세스(modulation process)를 수행하거나, 또는 적어도 하나의 다른 프로세싱 리소스로부터 상기 출력 통신 데이터를 수신하도록 구성된 근접 프로세싱 리소스를 포함할 수 있다.

카메라 시스템은 집적된(integrated) 카메라 및 근접 센서 모듈(proximity sensor module)을 포함할 수 있다. 카메라 시스템의 컴포넌트들 각각은 단일 하우징(single housing) 내에 있을 수 있다.

상기 카메라 프로세싱 리소스는 상기 입력 통신 데이터 및 이미지 데이터를 직렬로 또는 병렬로 제1 인터페이스를 통해 전송하도록 구성될 수 있다. 상기 근접 프로세싱 리소스는 제2 인터페이스를 통해 출력 통신 데이터를 수신하도록 구성될 수 있다.

카메라 시스템은 카메라 프로세싱 리소스(camera processing resource), 근접 프로세싱 리소스(proximity processing resource) 및 적어도 하나의 다른 프로세싱 리소스 사이에서 제어 데이터를 전달하기 위한 제어 버스를 더 포함할 수 있다.

독립적으로 제공될 수 있는 본 발명의 다른 측면에서, 이미지 센서 어레이가 제공된다. 상기 이미지 센서 어레이는,

수신된 광에 응답하여 이미지 신호를 생성하는 이미지 센서 소자 - 각각의 이미지 센서 소자는 각각의 상이한 컬러의 광을 감지하도록 구성됨 -; 및

수신된 광에 응답하여 전기 통신 신호를 생성하는 통신 센서 소자를 포함하고,

상기 통신 센서 소자는 하나 이상의 통신 센서 소자들의 그룹들 내 상기 이미지 센서 어레이에 분포되거나 - 하나 이상의 상기 그룹들은 이미지 센서 소자에 의해 둘러싸임 -,

상기 통신 센서 소자는 상기 이미지 센서 어레이의 하나 이상의 모서리를 따라 연장된 하나 이상의 행 또는 열로 배치된다.

독립적으로 제공될 수 있는 본 발명의 또 다른 측면에서, 출력 광 신호를 생성하도록 구성된 이미터를 포함하는, 카메라와 함께 사용하기 위한 플래시 유닛이 제공되며, 상기 플래시 유닛은, 통신 데이터를 인코딩하는 변조 신호를 수신하고, 응답하여 상기 통신 데이터를 포함하거나 나타내기 위해 상기 출력 광 신호를 생성하도록 구성된다.

출력 광 신호는 변조된 광 통신 신호를 포함할 수 있다. 이미터는 플래시 신호를 수신하고 플래시 신호에 대응하여 플래시를 출력하도록 더 구성될 수 있다.

독립적으로 제공될 수 있는 본 발명의 또 다른 측면에서, 본원에 청구되거나 기술된 바와 같은 플래시 유닛; 및 상기 변조 신호를 생성하여 상기 이미터에 상기 변조 신호를 제공하도록 구성된 프로세싱 리소스를 포함하는 플래시 시스템이 제공된다.

상기 플래시 유닛은 하나 이상의 플래시 이미터; 및 하나 이상의 통신 이미터를 더 포함할 수 있으며, 상기 프로세싱 리소스는, 상기 플래시 이미터에 통신 데이터를 인코딩하는 상기 변조를 제공하고, 상기 플래시 이미터에 플래시 신호를 제공하도록 더 구성될 수 있다.

본 발명의 다른 측면에서, 본원에 청구되거나 기술된 바와 같은 카메라 또는 본원에 청구되거나 기술된 바와 같은 카메라 시스템이 제공되며, 상기 카메라 또는 카메라 시스템은, 본원에 청구되거나 기술된 바와 같은 근접 센서; 및/또는 본원에 청구되거나 기술된 바와 같은 이미지 센서 어레이; 및/또는 본원에 청구되거나 기술된 바와 같은 플래시 유닛; 및/또는 본원에 청구되거나 기술된 바와 같은 플래시 시스템을 더 포함한다.

독립적으로 제공될 수 있는 본 발명의 또 다른 측면에서, 수신된 광에 응답하여 이미지 센서 데이터를 생성하는 단계; 상기 이미지 센서 데이터를 처리하여 이미지 데이터 및 통신 데이터를 획득하는 단계를 포함하는 통신 데이터를 수신하는 방법(method of receiving communication data)이 제공되며, 상기 통신 데이터를 획득하는 단계는, 상기 이미지 센서 데이터의 적어도 일부에 대한 복조 프로세스를 수행하는 단계를 포함한다.

독립적으로 제공될 수 있는 본 발명의 또 다른 측면에서, 통신 데이터를 전송하거나 또는 수신하는 방법(method of transmitting or receiving communication data)이 제공되며, 상기 방법은,

통신 데이터를 포함하거나(comprises) 나타내는(represents) 광을 방출(emit)하는 근접 센서의 이미터를 이용하는 단계; 및/또는

통신 데이터를 포함하거나 나타내는 광을 수신하는 근접 센서의 수신기를 이용하여, 상기 수신된 광에 응답하여 상기 수신기에 의해 신호를 생성하는 단계; 및 상기 수신된 신호를 처리하여 상기 통신 데이터를 추출(extract)하는 단계를 포함한다.

독립적으로 제공될 수 있는 본 발명의 다른 측면에서, 통신 데이터를 포함하거나 나타내는 광을 방출(emit)하는 카메라 플래시 유닛을 이용하는 단계를 포함하는 통신 데이터를 전송하는 방법(method of transmitting communication data)이 제공된다.

일 측면에서 특징들(Features)은 임의의 적절한 조합(combination)으로 또 다른 측면에서 특징들로 적용될(applied) 수 있다. 예를 들어, 장치(apparatus), 카메라, 어레이, 센서, 시스템 또는 방법 특징들 중 임의의 하나는 장치, 카메라, 어레이, 센서, 시스템 또는 방법 특징들 중 임의의 다른 하나로 적용될 수 있다.

본 발명의 복수의 측면들은 단지 예시로 다음의 첨부된 도면들을 참조하여 기술될 것이다.
도 1은 일 실시예에 따른 무선 광 통신 능력을 가지는 이미지 센서의 블록도이고,
도 2는 일 실시예에 따른 센서 소자들의 배치(arrangement)에 대한 대표도이고,
도 3은 일 실시예에 따른 센서 소자들의 배치에 대한 대표도이고,
도 4는 일 실시예에 따른 이미지 센서의 인터페이스의 동작 모드(mode of operation)에 대한 개략도이고,
도 5는 일 실시예에 따른 이미지 센서의 인터페이스의 또 다른 동작 모드에 대한 개략도이고,
도 6은 일 실시예에 따른 부가적인(additional) 플래시 유닛을 구비하는 이미지 센서에 대한 블록 개략도이고,
도 7은 일 실시예에 따른 무선 광 통신 능력을 가지는 이미지 센서의 블록도이고,
도 8은 일 실시예에 따른 근접 센서의 인터페이스의 동작 모드에 대한 개략도이고,
도 9는 일 실시예에 따른 근접 센서의 인터페이스의 또 다른 동작 모드에 대한 개략도이고,
도 10은 일 실시예에 따른 근접 센서의 평면도이고,
도 11은 일 실시예에 따른 카메라 및 근접 센서 모듈의 블록 개략도이다.

도 1은 이미지 센서(image sensor)(10)의 블록도를 도시한다. 이미지 센서(10)는 다음의 컴포넌트(components)를 구비한다. 상기 컴포넌트는 이미지 센서 어레이(image sensor array)(12), 아날로그 프론트 엔드(analogue front end)(14), 프로세싱 리소스(16) 및 데이터 인터페이스(18)를 포함한다. 이미지 센서(10)는 호스트 프로세서(host processor)(20)에 통신가능하게(communicatively) 커플링된다(coupled). 호스트 프로세서는 예를 들어, 태블릿(tablet), 스마트 폰(smart phone) 또는 디지털 카메라(digital camera)와 같은 복수의 상이한 장치들에 속할 수 있다. 이미지 센서 어레이(12)는 아날로그 프론트 엔드(14)에 입력(input)을 제공하며, 아날로그 프론트 엔드(14)는 차례로(in turn) 프로세싱 리소스(16)에 연결된다(connected). 이미지 센서(10)로부터 호스트 프로세서(20)로 이미지 및 통신 데이터를 제공하기 위해, 데이터 인터페이스(18)는 프로세싱 리소스(16) 및 호스트 프로세서(20) 사이에서 제공된다. 아날로그 프론트 엔드(14)와 상기 프로세싱 리소스(16)은 단일 칩 상에 집적된다(integrated).

이미지 센서(10)는 이미지 정보(image information) 및 통신 정보(communication information)를 포함하는 광을 수신하여 처리하도록(process) 구성된다. 이미지 센서(10)는 2 개의 병렬 채널들(parallel channels)인, 이미지 채널(image channel) 및 통신 채널(communication channel)을 동작하도록 구성된다. 이미지 채널은 이미지 신호를 감지하고 이미지 데이터를 출력하는(outputting) 것에 관한 것이다. 통신 채널은 통신 신호를 감지하고 통신 데이터를 출력하는 것과 관련된다. 2개의 채널들(both channels)에 대한 입력은 이미지 센서 어레이(12)이다. 이미지 센서 어레이(12)는 입사광(incident light)을 수신 및 감지하는 센서 소자들 또는 픽셀들(pixels)의 그리드(grid)이다. 센서 소자는, 통신 신호를 감지하는 통신 센서 소자일 수 있거나, 이미지 정보를 캡처하는 이미지 센서 소자일 수 있다. 센서 소자는 포토다이오드(photodiodes) 또는 다른 광 감지 소자(optical sensing elements)를 포함한다. 이미지 센서 소자는 이미지 채널로 입력 광(input light)을 수신하고, 통신 센서 소자는 통신 채널로 입력 광을 수신한다. 센서 소자들의 상이한 적합한 배치 패턴(arrangement patterns)이 도 2 및 도 3을 참조하여 기술된다. 이미지 센서는 이러한 패턴을 반복하는 것에 의해 구성된다.

객체(object)로부터 반사되거나(reflected) 투과된(transmitted) 광은 객체의 이미지를 캡처하기에 적합하며, 왜냐하면 수신된 광의 세기가 객체에 대한 이미지 정보를 포함하고, 이 정보는 객체의 이미지를 구성하는 데 사용될 수 있기 때문이다. 컬러 정보(Colour information)는 광의 특정 주파수에 응답하는(respond) 이미지 센서 어레이(12) 내의 개별(individual) 이미지 센서 소자를 구비하는 것에 의해 획득된다. 각각의 개별 이미지 센서 소자는, 크기(magnitude)가 센서 소자에 의해 감지된 광의 강도에 비례하는(proportional), 전기 신호(electrical signal)로 광을 변환한다(converts). 따라서, 각각의 이미지 센서 소자 위치에서 특정 주파수의 광의 강도가 측정된다(measured). 모든 이미지 센서 소자들로부터 강도(intensities)를 수집하는(collecting) 것에 의해, 이미지 센서 어레이(12)를 통한 상이한 컬러들의 강도에 대한 정보를 포함하는 원시 이미지 정보(raw image information)가 수집된다(gathered). 이미지 센서 어레이(12)는 액티브 픽셀(active pixels)을 포함할 수 있으며, 예를 들어 상보성 금속 산화막 반도체(complementary metal-oxide-semiconductor)(CMOS) 센서일 수 있으며, 각각의 센서 소자는 예를 들어, 포토다이오드, 액티브 앰프(active amplifier)와 같은 광검출기를 포함한다. 적합한 이미지 센서 어레이(12)의 다른 예는 하이브리드(hybrid) 전하 결합 소자(charge-coupled-device)(CCD) 및 CMOS 센서이다. 하이브리드 이미지 센서 어레이는 이미지 캡처(image capture)를 위한 CCD 이미지 센서 소자 및 통신 신호 캡처를 위한 CMOS 센서 소자를 구비한다.

이미지 정보를 수집하는 것과 함께, 이미지 센서(10)의 의도된 사용은 광을 수신하고 처리하는 것이며, 이러한 광은 무선 광 통신 전송기(wireless optical communication transmitter)로부터 전송된 무선 광 통신 신호에 대응하는(corresponding) 하나 이상의 컴포넌트들을 또한 포함한다. 이미지 센서 어레이(12)는 통신 정보를 캡처하기 위한 전용(dedicated) 통신 센서 소자를 구비한다. 통신 센서 소자는 통신 채널 내로 입력을 위한 광을 수신한다.

아날로그 프론트 엔드(14)는 이미지 센서 어레이(12)에 결합되고, 2 개의 채널들 중 하나에 각각 대응하는 2 개의 부분들(parts)을 가진다. 이미지 채널에 대해, 아날로그 프론트 엔드(14)는 감지된 이미지 신호를 수집하고 조정하는 전용 회로를 구비하며, 통신 채널에 대해, 아날로그 프론트 엔드(14)는 감지된 통신 신호를 수집 및 조정하는 전용 회로를 구비한다. 아날로그 프론트 엔드(14)는 감지된 전자 신호(electronic signals)를 프로세싱 리소스(16)를 위한 디지털 신호(digital signals)로 변환하는 아날로그 디지털 변환기를 포함한다. 입력 광 및 이에 따른 전자 신호의 특성(nature) 때문에, 아날로그 디지털 변환기의 특징들(properties)은 2개의 부분들 사이에서 상이할 수 있다.

아날로그 디지털 변환기는 입력 아날로그 신호(input analogue signal)를 출력 디지털 신호(output digital signal)로 변환한다(converts). 아날로그 프론트 엔드(14)의 상이한 부분들의 설계 및 제조에 관련된 아날로그 디지털 변환기의 2 개의 특징들은 해상도(resolution) 및 크기(size)이다. 변환기의 해상도는 변환기가 입력 아날로그 신호의 범위에 걸쳐 생성할 수 있는 이산 레벨(discrete levels)의 수이다. 이미지 전자 신호에 대해, 아날로그 디지털 변환기는 이미지의 디지털 해상도가 미리 결정된(pre-determined) 이미지 품질(quality)을 만족하도록(meets) 선택된다. 반면에, 통신을 위한 아날로그 디지털 변환기들은 수신된 무선 광 통신 신호들로부터 비롯되는(stemming) 전자 신호들의 더 높은 주파수(higher frequency)를 응답하고(respond) 샘플링하기에(sample) 적합해야 한다. 전자 신호의 주파수의 값은 100 MHz 이상(above)일 수 있다. 예를 들어, 40 MBps의 대역폭을 전달(deliver)하기 위해, 디지털 아날로그 변환기는 일반적으로 적어도 160 MHz에서 샘플링하도록 보통 구성된다.

아날로그 디지털 변환기의 크기는 회로를 제조할(manufacturing) 경우 또 다른 물리적 고려 사항이다. 특히 중요한 점(particular importance)은 각각의 아날로그 디지털 변환기에 의해 걸친(spanned) 물리적 영역(physical area)이다. 이미지를 캡처하기 위해, 이미지 센서 어레이(12)의 각각의 이미지 센서 소자는 대응하는(corresponding) 아날로그 디지털 변환기를 가진다. 또 달리, 이미지 센서 어레이(12)의 이미지 센서 소자들은 각각 전용 아날로그 디지털 변환기를 가지는 서브그룹들(subgroups)로 그룹핑된다(grouped). 어느 경우에나, 수천 개의 아날로그 디지털 변환기들은 이미지를 캡처(capture)하기 위해 구현될 필요가 있고, 따라서 칩의 크기 및 회로 기판의 크기의 물리적 제한은 작은 면적(small area)을 가지는 것들에 대해 적합한(suitable) 아날로그 디지털 변환기의 선택을 제한한다(limit). 반면에, 통신 아날로그 디지털 변환기는 소수(fewer in number)이며, 따라서 더 큰 면적을 가질 수 있다.

프로세싱 리소스(16)은 캡처된 이미지와 관련된 디지털 신호를 처리하고(processes), 무선 광 통신 신호에 관련된 디지털 신호를 처리한다. 프로세싱 리소스(16)는 2 개의 개별 프로세서들일 수 있으며, 상기 2 개의 개별 프로세서들은 이미지 신호들을 프로세싱하는 것을 전용으로 하는 제1 프로세서, 및 통신 신호들을 프로세싱하는 것을 전용으로 하는 제2 프로세서를 포함할 수 있다.

사용 시에, 캡처되고 있는 이미지에 관한 정보와 입력 무선 광 통신 신호를 모두 포함하는 광은 이미지 센서 어레이(125)상에 입사된다. 전술한 바와 같이, 이미지 센서(10)는 2 개의 채널들, 이미지 채널 및 통신 채널로 동작한다. 이러한 채널들은 동시에(simultaneously) 그리고 병렬(parallel)로 동작한다. 먼저, 이미지 채널은, 전자 신호들이 원시 이미지 정보를 포함하도록, 광을 전자 신호들로 변환하는 이미지 센서 어레이(12)의 이미지 센서 소자들에 의해 감지된 입력을 가진다. 변환은 포토다이오드에 의해 수행된다. 전자 신호들은 아날로그 프론트 엔드(14)로 제공된다. 아날로그 프론트 엔드(14)의 회로는 전자 이미지 신호를 수집하고, 이러한 신호를 프로세싱 리소스(16)의 이미지 프로세서에 대한 적합한 형태(suitable form)로 조정한다. 조정(Conditioning)은 전자 신호에 적용되는 하나 이상의 필터링 단계들(filtering steps)을 포함한다. 이러한 단계들은 저역 필터(low pass filter) 및 고역 필터(high pass filter)일 수 있다. 일 실시예에 따른 저역 필터에 대한 값은 25 MHz이다(예를 들어, 신호들이 통과되는 주파수 값은 25 MHz일 수 있다). 일 실시예에 따른 고역 필터에 대한 값은 300 KHz이다(예를 들어, 신호가 통과되는 주파수 값은 300 KHz일 수 있다). 조정은 적어도 하나의 전용 아날로그 디지털 변환기를 이용하여, 아날로그 전자 이미지 신호를 디지털 이미지 신호로 변환하는 단계를 포함한다. 캡처된 이미지의 디지털 표현(digital representation)을 구성하는데 적합한 이미지 데이터를 생성하도록, 프로세싱 리소스(16)의 이미지 프로세서는 디지털 이미지 신호들을 처리하도록 구성된다. 프로세싱 리소스(16)의 이미지 데이터 출력은 또 다른 프로세서로 전송되도록 데이터 인터페이스(18)로 제공된다.

통신 채널에 대해서(turning), 이미지 센서(10)는 들어오는 통신 신호 및 통신 데이터를 캡처한다. 이미지 센서 어레이(12)의 통신 센서 소자는, 전자 신호가 원시 통신 정보를 포함하도록 입사광을 전자 신호로 변환한다. 프로세싱 리소스(16)에 대해 적합한 형태로 전자 통신 신호를 수집하고 조정하는 아날로그 프론트 엔드(14)의 전용 통신 회로로 전자 신호가 제공된다. 조정은 센서 소자에 유도된(induced) 약한 전기 신호(weak electrical signal)를 증폭시키는(amplifying) 선택적인 단계들(optional steps)과 수신된 신호의 등화(equalisation)를 포함할 수 있다. 조정은 적어도 하나의 전용 아날로그 디지털 변환기를 이용하여 아날로그 전자 통신 신호를 디지털 통신 신호로 변환하는 단계를 포함한다. 디지털 신호는 무선 광 통신 신호에서 인코딩되는 통신 데이터를 추출하기 위해 디지털 신호를 복조하는 프로세싱 리소스(16)의 통신부(communication part)로 전달된다(passed). 임의의 적절한 변조 방식(modulation schemes)이 사용될 수 있으며, 예를 들어 비 온오프 변조 방식(non on-off keying modulation schemes)이 일부 실시예에서 사용될 수 있으며, 상기 복조는 비 온오프 변조 방식으로부터의 복조일 수 있다. 예를 들어, 실수 및 허수부(real and imaginary parts)를 포함하거나, 실수 및 허수부에 기초하지 않는 변조 방식과 같은, 다른 비 복합 변조 방식(non-complex modulation schemes)이 일부 다른 실시예에서 구현될 수 있다.

프로세싱 리소스(16)으로부터 출력된 통신 데이터는 데이터 인터페이스(18)에 제공된다. 데이터 인터페이스(18)는 통신 채널로부터 출력되는 통신 데이터를 이미지 채널로부터 출력되는 영상 데이터와 함께 호스트 프로세서(20)로 전송한다. 인터페이스 및 인터페이스의 동작은 도 4 및 도 5 를 참조하여 보다 상세하게 기술된다.

도 2는 이미지 센서(10)의 이미지 센서 어레이(12)에 적합한 센서 소자들의 배치 패턴(arrangement pattern)의 예를 도시한다. 이미지 센서 어레이(12)는 입사광을 수신하고 감지하기 위한 센서 소자들 또는 픽셀들의 그리드를 가진다. 센서 소자의 2 개의 유형들로서 이미지 센서 소자 및 통신 센서 소자가 도시된다. 각각의 이미지 센서 소자는, 청색 광을 감지하는 청색 센서 소자(blue sensor element), 적색 광을 감지하는 적색 센서 소자(red sensor element) 및 녹색 광을 감지하는 녹색 센서 소자(green sensor element)를 포함하는 그룹에 속한다. 상이한 파장들에 응답하는 통신 센서 소자들은 필터(filters)를 이용하여 사용될 수 있다. 상이한 통신 픽셀들이 응답하는 파장들에서의 분산(variance)을 도입하는(introducing) 것에 의해, 통신에 대해 더 높은 처리량(throughputs)이 달성될(achieved) 수 있다.

이미지 센서 어레이(12)는 12 개의 센서 소자들의 길이 및 8 개의 센서 소자들의 높이를 가지는 직사각형 그리드(rectangular grid)에 의해 나타내어진다(represented). 이미지 센서 어레이(12)는 2 개의 센서 소자 어레이들로서 컬러 센서 어레이(colour sensor array)(22) 및 통신 센서 어레이(communication sensor array)(24)로 구성된다. 컬러 센서 어레이(22)는 4 개의 컴포넌트 이미지 센서 소자들로서 청색 센서 소자(26), 제1 녹색 센서 소자(28), 제2 녹색 센서 소자(30) 및 적색 센서 소자(32)를 구비한다. 이와 함께, 2 개의 센서 소자들에 의해 정사각형(square)의 2 개의 센서 소자들이 배치된, 4 개의 컴포넌트 이미지 센서 소자들은 단위 셀(34)을 정의하며(define), 단위 셀(34)은 컬러 센서 어레이(22)의 가장 작은 반복적인 패턴(the smallest, repeating pattern)이다. 좌측(the left hand side)으로부터 시작하여, 단위 셀(34)의 제1 행(first row)은 청색 센서 소자(26)이고, 제1 녹색 센서 소자(28)가 이어진다. 다시, 좌측으로부터 시작하여, 제1 행(first row) 아래의 단위 셀(34)의 제2 행(second row)은 제2 녹색 센서 소자(30)를 가지며, 적색 센서 소자(32)가 이어진다. 단위 셀(34)은 서로 반대 대각선 위치인(in opposite diagonal positions) 제1 녹색 센서 소자(28) 및 제2 녹색 센서 소자(30)를 구비한다. 개인의 눈은 적색 또는 청색보다 녹색 컬러에 더 민감하다. 하나의 적색 센서 소자 및 하나의 청색 센서 소자 모두에 대해 2 개의 녹색 센서 소자들을 제공하는 것에 의해, 컬러 센서 어레이(22)는 향상된 지각적 신호 대 잡음비(enhanced perceptual signal to noise ratio)를 개인의 눈에 제공한다. 컬러 센서 어레이(22)는 단위 셀(342)을 반복하는 것에 의해 얻어질(drawn) 수 있다. 도 2 에 도시된 단위 셀(34)은 베이어 필터(Bayer filter)와 같이 동일한 컬러 패턴(colour pattern)을 가진다.

도 2의 이미지 센서 어레이(12)에 도시된 통신 센서 어레이(24)의 패턴은 2 개의 행들(rows)의 12 개의 센서 소자들을 가진다. 통신 센서 어레이(24)의 각 센서 소자는 통신 센서 소자(36)이며, 이 경우, 이미지 센서 어레이(12)의 하부 모서리(bottom edge)를 따라, 통신 센서 소자들의 행들이 주변(periphery)에 배치된다(arranged). 하나의 모서리를 따라 배치된 행들의 세트와 같이 하나만 도 2가 도시하였음에도 불구하고, 통신 픽셀 어레이들은 2 개의 모서리들을 따라(반대이거나 인접하여) 연장하도록 배치될 수 있으며, 이미지 센서 어레이(12)의 3 개의 모서리들 또는 4 개의 모서리들 모두를 따라 연장하도록 배치될 수 있다.

이미지 센서 어레이(12)의 주변에 통신 센서 어레이(24)를 배치하는(Positioning) 것은, 컬러 센서 어레이(22)내 녹색 센서 소자들의 수를 유지하기 때문에, 이미징(imaging)에 대해 동일한 지각적 신호 대 잡음비(perceptual signal to noise ratio)를 유지하는 동안, 통신 신호가 수신되게 한다. 그러나, 통신 센서 소자들이 없는 이미지 센서 어레이(12)와 비교하여, 이미지 센서 소자들의 전체 수는 감소되며, 이미지에 대해 이용가능한 센서 소자들의 수의 감소를 야기한다(leading). 바람직하게는, 이러한 배치에 의해 도입되는 광학적 가공품(optical arterates)은 없다.

도 3은 이미지 센서 어레이(12)에 적합한 또 다른 센서 소자 패턴(38)을 도시한다. 패턴(38)은 12 개의 센서 소자들의 길이 및 8 개의 센서 소자들의 높이를 가지는 직사각형 그리드(rectangular grid)에 의해 나타내어진다. 패턴(38)에 의해 나타내어진 이미지 센서 어레이는, 이미지 센서 소자들로 구성된 컬러 센서 어레이, 및 통신 센서 소자들로 구성된 통신 센서 어레이를 가진다. 통신 센서 어레이의 하나 이상의 통신 센서 소자들의 그룹들은 컬러 센서 어레이의 이미지 센서 소자들 내에 분포되고(distributed) 배치된다(interspersed). 이러한 그룹들은 이미지 센서 소자들에 의해 둘러싸여 있다. 하나의 통신 센서 소자의 그룹은 단일 센서 소자(single sensor element)를 지칭하는 것을 알 수 있을 것이다.

도 3 의 패턴(38)은 단위 셀(40)에 의해 정의될(defined) 수 있다. 2 개의 센서 소자들에 의해, 단위 셀(40)은 패턴(38)의 최소 반복 패턴(smallest, repeating pattern)이며, 정사각형의 2 개의 센서 소자들이다. 단위 셀(40)의 컴포넌트 센서 소자들은 컬러 센서 소자 및 통신 센서 소자의 혼합(mixture)이다. 좌측으로부터 시작하여, 단위 셀(40)의 제1 행은 청색 센서 소자(42), 녹색 센서 소자(44)가 이어진다(followed). 다시, 좌측으로부터 시작하여, 제1 행 아래의 단위 셀(40)의 제2 행은, 통신 센서 소자(46), 적색 센서 소자(48)가 이어진다. 이미지 센서 어레이(12)에 의해 나타내어지는 이미지 센서 어레이는 단위 셀(40)을 반복하는 것에 의해 얻어질 수 있다.

패턴(38)에 의해 표현되는 이미지 센서 어레이는 동일한 수의 녹색, 적색, 청색 및 통신 센서 소자들을 구비한다. 이러한 센서 소자 배치는 예를 들어, 군용 이미징 적용(applications)에서와 같이, 픽셀 해상도가 개인의 지각적 신호 대 잡음비(human perceptual signal to noise ratio)보다 더 중요할 경우의 적용에 더 적합하다(suited).

도 4 및 도 5는 이미지 센서(10)와 호스트 프로세서(20) 사이의 데이터 인터페이스(18)의 예시적인 구현들의 2 개의 개략도를 도시한다. 데이터 인터페이스(18)는 임의의 고처리량 데이터 인터페이스(high throughput data interface)일 수 있다. 이는 이러한 예에서 예를 들어, CSI-2 또는 CSI-3과 같은, 카메라 직렬 인터페이스(CSI)이다. 도 4는 데이터 인터페이스(18)의 동작에 대한 병렬 모드(parallel mode)를 도시한다. 도 4는 기간(period of time)을 나타내는 시간 축(time axis)(50)을 도시한다. 도 4 는 2 개의 병렬 데이터 스트림들(streams)로서 이미지 데이터 스트림(image data stream)(52) 및 통신 데이터 스트림(communication data stream)(54)을 가진다. 제1 시기(first time)의 제1 이미지 데이터 패킷(first image data packet)(56)과 제2 시기(second time)의 제2 이미지 데이터 패킷(second image data packet)(58)이 이미지 데이터 스트림(54)에서 도시한다. 통신 데이터(60)는 통신 데이터 스트림(54) 상에 도시된다. 프로세싱 리소스(16)의 이미지 채널로부터의 이미지 데이터 및 통신 채널로부터의 통신 데이터는 동일한 시간에(at the same moment in time) 데이터 인터페이스(18)에 도달한다(arrive). 데이터 인터페이스(18)는 2 개의 스트림들을 호스트 프로세서(20)에 병렬로(in parallel) 전송한다.

중재(arbitration)는 공유된 리소스들(shared resources)에 대한 액세스(access)를 할당하는 프로세스이다. 병렬 모드에서 중재는 필요하지 아니하다. 대신에, 센서 구성 정보(sensor configuration information)는 구성 단계(configuration phase) 동안 개별 제어 버스(separate control bus)를 통해 호스트 프로세서(20)와 이미지 센서(10) 사이에서 공유된다. 개별 제어 버스의 구현은 도 11을 참조하여 기술된다. 센서 구성 정보는 데이터 인터페이스(18)의 대역폭이 이미지 데이터 스트림(52)과 통신 데이터 스트림(54) 사이에서 분할되는(split) 방식에 대한 정보(knowledge)를 포함하며, 상기 분할되는 방식에 대한 정보는 예를 들어, 얼마나 많은 데이터 인터페이스(18) 레인들(lanes)이 통신에 기인되는지(attributed)와 얼마나 많은 레인들이 이미지에 기인되는지이다. 전송된 데이터를 디코딩하는 호스트 프로세서(20)의 데이터 인터페이스는 센서 구성 정보에 액세스할 수 있다. 센서 구성 정보가 중재를 더 필요로 하지 않고 동작하는 병렬 모드에 필요한 모든 정보를 포함하기 때문이다. 병렬 모드는 데이터 인터페이스(18) 프로토콜에서 이용가능한 처리량(throughput)이 초과(excess)될 경우에 적합하다. 예를 들어, 이미지 센서 어레이(12)의 이미지 해상도를 감소시키는 것에 의해, 전송되는 이미지 데이터의 양(volume)이 감소될 것이므로, 병렬 모드가 적합하다.

도 5는 데이터 인터페이스(18)의 동작에 대한 직렬 모드(serial mode)를 도시한다. 도 5 는 기간을 나타내는 시간 축(62)을 도시한다. 도 5 는 단일 데이터 스트림(64)을 가진다. 시간 축(62)을 따라, 데이터 스트림(64)은 제1 시기의 제1 통신 데이터 패킷(66), 제2 시기의 제2 이미지 데이터 패킷(68) 및 제3 시기의 제3 통신 데이터 패킷(70)을 가진다. 프로세싱 리소스(16)의 통신 채널로부터의 통신 데이터는 데이터 인터페이스(18)에 의해 호스트 프로세서(20)로 시간 다중화 방식(time-multiplexed fashion)으로 전송된다. 프로세싱 리소스(16)의 이미지 부분 및 프로세싱 리소스(16)의 통신 부분은 전송이 시작되기(initiated) 전에 호스트 프로세서(20)로부터 허가(permission)를 획득할 필요가 있다. 이미지 및 통신 데이터가 직렬로(in series) 전송되도록, 데이터 인터페이스(18)는 입력 영상 데이터 스트림 및 입력 통신 스트림을 병합한다(merges). 직렬 동작 모드(serial mode of operation)는 이미지 스트림 및 통신 스트림이 더 높은 대역폭(higher bandwidth)을 필요로 하고 병렬로 전송될 수 없을 때 적용 가능하다. 특히, 이러한 동작 모드는 리소스들이 희박한(scare) 경우의 적용에 매우 적합하며, 예를 들어, 장치에 대해 엄격한 전력 예산(tight power budget)이 있는 경우 또는 고품질 이미지 캡처에 대한 더 높은 이미지 대역폭에 대한 요구가 있는 경우이다.

도 6은 이미지 센서(71)의 블록도를 도시한다. 이미지 센서(71)는 이미지 센서(10)의 변형 버전(modified version)이며, 부가적인(additional) 플래시 유닛(72)을 포함한다. 이미지 센서(71)는, 플래시 프로세싱 리소스(74)및 플래시 아날로그 프론트 엔드(76)에 추가하여 도 1을 참조하여 기술된 바와 같은 모든 컴포넌트들을 가진다. 플래시 유닛(72)은 하나 이상의 LED들을 포함한다. 플래시 아날로그 프론트 엔드(76)는 플래시 유닛(72)의 하나 이상의 LED들을 구동하는 구동 회로(driving circuitry)를 포함한다. 이미지 센서 어레이(12), 아날로그 프론트 엔드(14), 프로세싱 리소스(16), 플래시 아날로그 프론트 엔드(76) 및 플래시 프로세싱 리소스(74)는 모두 단일 칩 상에 집적된다(integrated).

동작 시, 호스트 프로세서(20)는, 통신 데이터 신호를 구동 신호(drive signal)로 인코딩하는 플래시 프로세싱 리소스(74)에 통신 데이터 신호를 제공한다. 상기 구동 신호는 상기 플래시 아날로그 프론트 엔드(76)에 제공되어, 상기 플래시 유닛(72)의 LED들을 구동하기 위한 구동 전류(drive current)를 생성한다. 적합한 LED는 상기 영역 0 내지 20 MHz에서 동작 범위를 가진다. 일단 구동된 플래시 유닛(72)은 출력 무선 통신 신호를 생성한다. 플래시 유닛(72)은 이미지 모드로 동작할 수 있거나, 통신 모드로 동작할 수 있다.

표준 플래시 유닛(standard flash unit)(72)은 하나 이상의 LED를 포함할 수 있다. 또 다른 배치는 플래시 유닛(72)의 하나 이상의 LED들에 대한 플래시 아날로그 프론트 엔드(76) 내에 하나 이상의 상이한 구동 회로를 제공하는 것이다. 이러한 배치에서, 상기 플래시 유닛(72)은 제1 그룹의 이미지 LED들 및 제2 그룹의 통신 LED들을 가지며, 상기 이미지 LED들은 상기 프로세싱 리소스(16)의 이미지부(image part)에 의해 구동되고, 상기 플래시 LED들은 상기 플래시 프로세싱 리소스(74)에 의해 구동된다. 이러한 동작 모드는 플래시 유닛(72)이 플래시 및 무선 광 통신 신호를 동시에 생성하게 한다.

도 7은 무선 광 통신이 가능한 근접 센서의 개략도이다. 도 7은 호스트 프로세서(80)에 통신가능하게 연결된(communicatively connected) 집적된(integrated) 근접 센서(78)를 도시한다. 근접 센서는 광 무선 통신 신호들을 전송하고 수신할 수 있는 액세스 포인트(access point)(82)와 함께 사용되도록 의도된다. 근접 센서(78)는 단일 칩 상에 집적된 복수의 컴포넌트들을 가지며, 상기 컴포넌트들은 이미터(84), 수신기(86), 광 통신 모듈(88), 근접 신호 모듈(proximity signal module)(90) 및 주변 광 신호 모듈(ambient light signal module)(92)을 포함한다. 근접 센서(78)는 통신 모듈(88)과 호스트 프로세서(804) 사이의 제1 데이터 인터페이스(94)에 의해 호스트 프로세서(80)와 인터페이싱된다(interfaced). 또한, 근접 센서(78)는 제2 데이터 인터페이스(96)를 통해 호스트 프로세서(80)와 인터페이싱된다. 통신 모듈(88)은 프로세서 및 구동 회로를 포함한다.

근접 센서(78)는, 인접 객체를 나타내는 근접 데이터를 생성하거나, 주변 광 측정(ambient light measurement)을 하도록 구성된다. 근접 센서들은 모바일 폰 장치들 및 태블릿들 상의 카메라 센서들 옆에 보통 배치되는 것을 알 수 있다. 근접 데이터는 복수의 상이한 목적들을 위해 사용될 수 있다. 제1 데이터 인터페이스(94)는 예를 들어, 카메라 직렬 인터페이스(CSI-2/3)와 같은, 전용 고처리량 인터페이스(dedicated high throughput interface)이다. 제2 데이터 인터페이스(96)는 예를 들어, 제어(control) 및 판독(read-out) 모두에 사용되는 구성 인터페이스와 같은, 저처리량 인터페이스(low throughput interface)이다. 제2 데이터 인터페이스(96)는 예를 들어, 내부 집적 회로(inter-integrated circuit)(I2C) 또는 직렬 주변 장치 인터페이스(serial peripheral interface)(SPI)일 수 있다.

근접 센서는 무선 광 통신 동작과 함께 근접 또는 주변 광 감지를 수행하도록 동작한다. 호스트 프로세서(80)는 제2 데이터 인터페이스(96)를 통해 근접 신호 모듈(90)에 신호를 전송한다. 근접 신호 모듈(90)은 이미터(84)를 구동시켜, 예를 들어, 적외선 신호와 같은, 출력 광 신호를 생성한다. 출력 광 신호는 인접 객체에 닿고(strikes), 입력 광 신호를 감지하는 수신기(86)에 의해 감지된다. 근접 데이터를 획득하기 위해, 입력 광 신호는 근접 신호 모듈(90)에 의해 처리된다. 근접 데이터는 제2 데이터 인터페이스(96)를 통해 호스트 프로세서(20)로 전송된다. 유사한 방식으로, 근접 센서(78)는 입력 주변 광(incoming ambient light)을 전기 신호로 변환하는 수신기(86)에서 입력 광 신호를 감지하는 것에 의해 주변 광 측정(ambient light measurement)을 수행할 수 있다. 제2 데이터 인터페이스(96)를 통해 호스트 프로세서(80)로 전송될 수 있는 주변 광 데이터(ambient light data)를 획득하기 위해, 감지된 전기 신호는 주변 광 신호 모듈(ambient light signal module)(92)에 의해 처리된다.

상기 기능(functionality)에 더하여, 근접 센서(78)는 무선 광 통신 신호(wireless optical light communication signals)를 방출하도록 구성된다. 전송될 통신 데이터는 제1 데이터 인터페이스(94)를 통해 호스트 프로세서(80)로부터 통신 모듈(88)로 전송된다. 통신 모듈(88)은 제1 데이터 인터페이스(94)를 통해 디지털 데이터 신호를 수신하며, 이러한 통신 데이터를 구동 전류로 변조하는 프로세서와 상기 구동 전류를 이미터(84)에 제공하는 구동 회로를 구비한다. 이미터(84)는 통신 데이터를 운반하는(carries) 출력 변조 무선 광 통신 신호(outgoing modulated wireless optical communication signal)를 생성한다. 상기 신호는 액세스 포인트(82)에 의해 수신된다.

또한, 통신 모듈(88)은 수신기 프로세서와 수신된 광을 처리하는 아날로그 프론트 엔드를 선택적으로 구비한다. 동작 시, 무선 광 통신 신호를 포함하는 광은 수신기(86)에 의해 감지되고, 수신기(86)는 입사광을 전기 신호로 변환한다. 통신 모듈(88)의 아날로그 프론트 엔드는 선택적인 증폭시키는 단계(step of amplifying)와 함께, 이 신호를 수집하고 조정한다. 또한, 아날로그 프론트 엔드는 전기 신호로부터 디지털 신호를 생성하는 아날로그 디지털 변환기들을 포함한다. 아날로그 디지털 변환기들은 무선 광 통신 신호들의 주파수에서 샘플링을 할 수 있다. 이러한 디지털 신호들은 수신기 프로세서에 의해 처리된다. 디지털 신호들을 프로세싱하는 것은 인코딩된 통신 데이터를 추출하기 위해 복조하는(demodulating) 것을 포함한다. 추출된 통신 데이터는 제1 데이터 인터페이스(94)를 통해 호스트 프로세서(80)로 전송된다.

제1 데이터 인터페이스(94)와 제2 데이터 인터페이스(96)에 대해 적합한 동작 모드는 도 8 및 도 9와 관련하여 기술된다. 도 8은 제1 데이터 인터페이스(94)와 제2 데이터 인터페이스(96) 사이의 동작에 대한 병렬 모드를 도시한다. 도 8은 시간 축(98), 제1 데이터 스트림(100) 및 제2 데이터 스트림(102)을 도시한다. 제1 데이터 스트림(100)은 통신 모듈(88)로부터 통신 데이터(104)를 전달(carry)한다. 제2 데이터 스트림(102)은 주변 광 신호 모듈(92) 및/또는 근접 신호 모듈(90)로부터 제1 근접/주변 광 데이터 패킷(106) 및 제2 근접/주변 광 데이터 패킷(108)을 전달(carry)한다. 병렬 동작 모드는 제1 데이터 인터페이스(94)를 통해 전송될 제1 데이터 스트림(100)과, 제2 데이터 인터페이스(96)를 통해 동시에 전송될 제2 데이터 스트림(102)을 포함한다.

도 9는 제2 데이터 인터페이스를 통해 수행될 수 있는 동작에 대한 직렬 모드를 도시한다. 도 9는 시간 축(110) 및 데이터 스트림(112)을 도시한다. 데이터 스트림(112)은 제1 통신 데이터 패킷(114), 근접 데이터 및/또는 주변 광 데이터 패킷(116) 및 제2 통신 데이터 패킷(118)을 운반한다(carries). 근접 데이터 및/또는 주변 광 데이터 패킷(116)은 제2 데이터 인터페이스(96)를 통해 근접 신호 모듈(90) 및/또는 주변 광 신호 모듈(92)로부터 전송된다. 또한, 제1 통신 데이터 패킷(114) 및 제2 통신 데이터 패킷(118)은 제2 데이터 인터페이스(96)를 통해 전송된다. 제1 통신 데이터 패킷(114), 제2 통신 데이터 패킷(118) 및 근접 데이터 및/또는 주변 광 데이터 패킷(116)은 시간 다중화 방식으로 제2 데이터 인터페이스(96)를 통해 호스트 프로세서(80)로 전송된다. 이미지 및 통신 데이터가 직렬로 전송되도록, 제2 데이터 인터페이스(96)는 입력 통신 데이터 및 입력 주변 광/근접 데이터를 데이터 스트림(112)에 병합한다(merges). 직렬 동작 모드는 저 대역폭 적용(low bandwidth applications)에 적합하다. 예를 들어, 통신 데이터는 많은 대역폭을 필요로 하지 않을 경우, 상기 저처리량(low throughput) 제2 데이터 인터페이스(96)를 통해 상기 근접 및/또는 주변 광 데이터와 함께(alongside) 전송될 수 있다. 이러한 경우에, 상기 제1 데이터 인터페이스(94)는 사용되지 않을 수 있다.

도 10은 근접 센서를 위한 인클로저(enclosure)(120)의 평면도이다. 근접 센서는 인클로저(120) 내부에 배치된다. 인클로저(120)는 상면(top surface)(122) 및 측면(side surface)(124)를 가진다. 상면(122)에는 2 개의 홀들(holes)로서 제1 전송 홀(first transmission hole)(126) 및 제1 수신 홀(first receiving hole)(128)이 있다. 측면(124)에는 2 개의 홀들로서 제2 전송 홀(second transmission hole)(130) 및 제2 수신 홀(second receiving hole)(132)이 있다. 제2 전송 홀(130) 및 제2 수신 홀(132)은 선택적이며, 상기 인클로저는 제2 전송 홀(130) 및 제2 수신 홀(132) 없이 구성될 수 있다.

전술한 바와 같이, 근접 센서는 출력 광 근접 신호 및 출력 무선 광 통신 신호를 생성할 수 있다. 근접 센서는 입력 광 근접 신호 및 입력 무선 광 통신 신호를 수신할 수 있다. 인클로저(120)의 홀은 이미터 및 근접 센서의 수신기에 대해 다음과 같이 배치된다. 제1 전송 홀(126)은 출력 광 근접 신호가 제1 전송 홀(126)을 통해 방출될 수 있도록 배치된다. 제1 수신 홀(128)은 입력 광 근접 신호가 제1 수신 홀(128)을 통해 수신될 수 있도록 배치된다.

광 통신 신호에 관하여, 도 10은 위치에 대해 2 개의 가능성들(possibilities)을 도시한다. 제1 옵션으로서, 근접 센서는 제1 전송 홀(126)을 통해 출력 광 무선 통신을 방출하도록 구성될 수도 있다. 예를 들어, 근접 센서는 동일한 LED가 출력 근접 신호 및 출력 무선 광 통신 신호 모두를 생성하도록 구성될 수 있다. 마찬가지로, 근접 센서는 제1 수신 홀(128)을 통해 입력 광 무선 통신을 수신하도록 구성될 수 있다. 예를 들어, 근접 센서는 동일한 포토다이오드가 입력 근접 신호 및 입력 무선 광 통신 신호 모두를 수신할 수 있도록 구성될 수 있다.

또 달리, 근접 센서는 제1 전송 홀(126)을 통해 출력 근접 신호를 방출하고, 제2 전송 홀(130)을 통해 출력 무선 광 통신 신호를 방출하도록 구성될 수 있다. 이 경우에, 근접 센서는 제1 LED(first LED)는 출력 근접 신호를 생성하고, 제2 LED(second LED)는 출력 무선 광 통신 신호를 생성하도록 구성된다. 마찬가지로, 근접 센서는 제1 수신 홀(128)을 통해 입력 근접 신호를 수신하고, 제2 수신 홀(132)을 통해 입력 무선 광 통신 신호를 수신하도록 구성될 수 있다. 이 경우에, 근접 센서는 제1 포토다이오드(first photodiode)가 입력 근접 신호를 수신하고, 제2 포토다이오드(second photodiode)가 입력 무선 광 통신 신호를 수신하도록 구성된다.

도 11은 무선 광 통신 모듈(134) 및 호스트 프로세서(134)를 도시하는 개략적인 블록도를 도시한다. 모듈(134)은 도 1과 관련하여 기술된 바와 같은, 이미지 센서(138)와 도 7과 관련하여 기술된 바와 같은, 근접 센서(140)를 가진다. 모듈(134)의 이미지 센서(138)는 입력 무선 광 통신 신호(142) 및 입력 이미지 신호를 수신할 수 있다. 근접 센서(140)는 출력 무선 광 통신 신호(144) 및 출력 광 근접 신호를 생성할(producing) 수 있다.

구성 버스(configuration bus)(146)는 이미지 센서(138), 근접 센서(140) 및 호스트 프로세서(136)를 연결한다(connects). 구성 버스(146)는 상기 호스트 프로세서(136)로부터 상기 모듈(134)로 전송될 구성 데이터(configuration data)에 대한 인터페이스를 제공한다. 상기 구성 버스는 저 대역폭 통신 버스(low-bandwidth communication bus)이다. 또한, 구성 버스(146)는 이미지 센서(138)와 근접 센서(140) 사이에 데이터 인터페이스를 제공하여, 2 개의 센서들 사이의 통신이 예를 들어, 최적 줌 구성(optimal zoom configuration)을 결정하는(determining) 것과 같이 복수의 이미지 캡처 파라미터들을 조정하게(adjust) 한다. 상기 구성 버스는 내부 집적 회로(I2C) 또는 직렬 주변 장치 인터페이스(SPI)일 수 있다.

제1 데이터 버스(first data bus)(148)는 이미지 센서(138)와 호스트 프로세서(138)를 연결한다. 제1 데이터 버스(148)는 이미지 센서(138)로부터 전송된 통신 데이터 및 이미지 데이터를 전달(carry)한다. 제1 데이터 버스(148)는 예를 들어, 카메라 직렬 인터페이스(CSI-2/3)와 같은 고처리량 인터페이스(high throughput interface)이다. 알려진 카메라 센서 및 근접 센서 모듈에 비해, 제1 데이터 버스(148)에 대해 물리적 변형(physical modification)은 필요하지 않는다. 그러나, 알려진 카메라 센서 및 근접 센서 모듈과 달리, 제1 데이터 버스(148)는 데이터의 2개의 유형들 모두를 운반한다(carries). 구성 버스(146)는 이미지 센서(138)와 호스트 프로세서(136) 사이의 허가 데이터(permission data)를 포함하는 구성 데이터를 전송할 수 있다.

제2 데이터 버스(second data bus)(150)는 근접 센서(140)와 호스트 프로세서(136)를 연결한다. 센서 하드웨어의 변형(modifications)에 더하여, 제2 데이터 버스(150)는 호스트 프로세서(136)로부터 근접 센서(140)로 무선 광 통신 신호의 일부(part)로서 전송될 통신 데이터를 전송하도록, 알려진 카메라 센서 및 근접 센서 모듈에 부가된다(added). 제2 데이터 버스(150)는 예를 들어, 카메라 직렬 인터페이스(CSI-2/3)와 같은 고처리량 인터페이스(high throughput interface)이다. 카메라 직렬 인터페이스(CSI-2/3)를 사용하는 것은 제1 데이터 버스(148)와 제2 데이터 버스(150) 사이의 균일성(uniformity)을 제공한다.

당업자는 개시된 배치에 대한 변형이 본 발명으로부터 벗어나지 않고 가능하다는 것을 이해할 것이다. 따라서, 특정 실시예에 대한 상기 기술은 단지 예에 의한 것일 뿐 제한하려는 목적에 대한 것은 아니다. 또 다른 실시예들에서, 기술된 특징들 각각에 대해 간단한 변형(straightforward modifications)이 이루어질 수 있다는 것은 당업자에게 명백할 것이다.

Claims

광 신호들을 이용하여 인접 객체를 나타내는 근접 데이터를 생성하도록 구성된 근접 센서에 있어서,
통신 데이터 신호 또는 근접 신호 중 적어도 하나를 포함하는 출력 광 신호를 생성하도록 구성된 이미터;
광 무선 통신 방식에 따라 변조된 광 무선 통신 변조 신호 또는 광 근접 신호 중 적어도 하나를 포함하는 입력 광 신호를 수신하도록 구성된 수신기; 및
프로세싱 리소스
를 포함하고,
상기 광 무선 통신 변조 신호는,
원격 장치에 의하여 전송되고,
상기 프로세싱 리소스는,
a) 입력 광 무선 통신 데이터를 획득하기 위한 상기 입력 광 신호의 적어도 일부에 관한 복조 프로세스; 및
b) 상기 출력 광 신호의 적어도 일부 상의 출력 광 무선 통신 데이터를 인코딩하기 위한 변조 프로세스
중 적어도 하나를 수행하도록 구성되고,
상기 프로세싱 리소스는,
제1 인터페이스 및 제2 인터페이스를 통해 병렬로 광 무선 통신 데이터 및 근접 데이터를 전송 및/또는 수신하도록 구성되고,
상기 통신 데이터는,
제1 데이터 스트림에 의하여 전달(carry)되고,
상기 제1 인터페이스 상으로 전송되고,
상기 근접 데이터는,
제2 데이터 스트림에 의하여 전달되고,
상기 제2 인터페이스 상으로 전송되고,
상기 제2 인터페이스는,
상기 제1 인터페이스보다 더 낮은 속도로 데이터를 전송하도록 구성되는,
근접 센서.
제1항에 있어서,
상기 프로세싱 리소스는,
상기 입력 광 무선 통신 데이터를 적어도 하나의 다른 프로세싱 리소스로 전송하고/전송하거나, 적어도 하나의 다른 프로세싱 리소스로부터 상기 출력 광 무선 통신 데이터를 수신하도록 더 구성된
근접 센서.
제1항에 있어서,
상기 이미터, 상기 수신기 및 상기 프로세싱 리소스는,
단일 칩 상에 집적되는
근접 센서.
제1항에 있어서,
상기 이미터에 변조 신호를 제공하도록 구성된 구동 회로
를 더 포함하고,
상기 변조 신호는,
하나의 다른 프로세서로부터 수신된 상기 출력 광 무선 통신 데이터에 기초하는
근접 센서.
제4항에 있어서,
상기 구동 회로는,
광 통신 신호의 주파수 특성으로 변조 신호를 제공하도록 구성된 디지털 아날로그 변환기
를 포함하는 근접 센서.
제1항에 있어서,
상기 수신기는,
수신된 광에 응답하여 통신 신호를 생성하도록 구성된 수신기 센서; 및
상기 통신 신호를 수집하고, 상기 통신 신호를 상기 프로세싱 리소스가 처리할 수 있는 신호로 조정하는 조정 회로
를 포함하는 근접 센서.
제6항에 있어서,
상기 수신기 센서는,
상기 근접 신호를 수신하도록 구성된 포토다이오드; 및
상기 광 무선 통신 변조 신호를 수신하도록 구성된 다른 포토다이오드
를 포함하는 근접 센서.
제1항에 있어서,
인클로저
를 더 포함하고,
상기 광 근접 신호는,
제1 방향으로부터 제1 인클로저 입구(entrance)를 통하여 감지되고,
상기 광 무선 통신 변조 신호는,
상기 제1 방향과 다른 제2 방향으로부터 제2 인클로저 입구를 통하여 감지되는
근접 센서.
제1항에 있어서,
인클로저
를 더 포함하고,
상기 광 근접 신호는,
제1 방향으로 제1 인클로저 출구(exit)를 통하여 방출되고,
상기 광 무선 통신 변조 신호는,
상기 제1 방향과 다른 제2 방향으로 제2 인클로저 출구를 통하여 방출되는
근접 센서.
제1항에 있어서,
상기 근접 센서는,
주변 광 감지를 수행하도록 더 구성된
근접 센서.
제1항에 있어서,
상기 통신 데이터 및 상기 근접 데이터가 상기 제1 인터페이스 및 상기 제2 인터페이스 상으로 동시에 전송될 수 있도록 구성되는,
근접 센서.
제1항에 있어서,
상기 제1 인터페이스는 고속 인터페이스인
근접 센서.
제1항에 있어서,
상기 제1 인터페이스는,
카메라 직렬 인터페이스(CSI)
를 포함하는 근접 센서.
통신 데이터를 수신하는 방법에 있어서,
제1항의 근접 센서를 이용하여 광 신호를 수신하는 단계 - 상기 광 신호는, 광 통신 프로토콜에 따라 변조된 광 무선 통신 신호를 포함함 -;
상기 입력 광 무선 통신 데이터를 획득하기 위하여, 수신된 상기 광 신호의 적어도 일부를 처리하고 복조하는 단계; 및
상기 입력 광 무선 통신 데이터를 적어도 하나의 다른 프로세싱 리소스로 전송(transmit)하는 단계
를 포함하는 방법.
카메라 시스템에 있어서,
이미지를 캡처하기 위한 카메라
를 포함하고,
상기 카메라는,
수신된 광에 응답하여 이미지 센서 데이터를 생성하도록 구성된 이미지 센서;
이미지 데이터 및 입력 광 무선 통신 데이터를 획득하기 위하여 상기 이미지 센서 데이터를 처리하도록 구성된 카메라 프로세싱 리소스; 및
제1항에 따른 근접 센서
를 포함하고,
상기 입력 광 무선 통신 데이터는,
광 무선 통신 변조 방식에 따라 변조되고,
상기 입력 광 무선 통신 데이터를 획득하는 것은,
상기 이미지 센서 데이터의 적어도 일부에 대한 복조 프로세스를 수행하는 것
을 포함하고,
상기 카메라 프로세싱 리소스는,
상기 입력 광 무선 통신 데이터 및 상기 이미지 데이터를 적어도 하나의 다른 프로세싱 리소스로 전송하도록 더 구성되는,
카메라 시스템.
삭제
삭제