KR20060078139A - Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템 - Google Patents

Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템 Download PDF

Info

Publication number
KR20060078139A
KR20060078139A KR1020040116836A KR20040116836A KR20060078139A KR 20060078139 A KR20060078139 A KR 20060078139A KR 1020040116836 A KR1020040116836 A KR 1020040116836A KR 20040116836 A KR20040116836 A KR 20040116836A KR 20060078139 A KR20060078139 A KR 20060078139A
Authority
KR
South Korea
Prior art keywords
isp
bayer
sensor
data
image sensor
Prior art date
Application number
KR1020040116836A
Other languages
English (en)
Other versions
KR100636969B1 (ko
Inventor
조영미
김채성
Original Assignee
매그나칩 반도체 유한회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매그나칩 반도체 유한회사 filed Critical 매그나칩 반도체 유한회사
Priority to KR1020040116836A priority Critical patent/KR100636969B1/ko
Priority to JP2005379711A priority patent/JP2006191622A/ja
Priority to US11/323,371 priority patent/US8154610B2/en
Publication of KR20060078139A publication Critical patent/KR20060078139A/ko
Application granted granted Critical
Publication of KR100636969B1 publication Critical patent/KR100636969B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 2개 이상의 이미지 센서를 가지는 듀얼 카메라 시스템에 관한 것이며, 또한, ISP를 가지는 이미지 센서로서 듀얼 카메라 시스템에 사용되기 위한 이미지 센서에 관한 것이다.
본 발명의 ISP 내장형 이미지 센서는 입사된 빛에 반응한 각 감광셀들의 감광값들로 이루어진 베이어 이미지 데이터를 출력하는 내부 베이어 센서 블록; 베이어 이미지 데이터를 입력받아 소정 포맷의 화상 프레임 데이터로 변환하여 소자 외부 호스트로 출력하며, 베이어 센서에 대한 제어 데이터를 출력하기 위한 ISP 블록; 상기 ISP 블록으로 입력되는 베이어 이미지 데이터의 출처를 상기 내부 베이어 센서 블록 또는 소자 외부의 이미지 센서 중 하나로 결정하기 위한 베이어 경로 선택부; 및 상기 ISP 블록이 출력하는 제어 데이터의 목적지를 상기 내부 베이어 센서 블록 또는 소자 외부의 이미지 센서 중 하나로 결정하기 위한 제어 경로 선택부를 포함하는 것을 특징으로 한다.
dual camera, cmos, 베이어 데이터, ISP, 이미지 센서

Description

ＩＳＰ 내장형 이미지 센서 및 듀얼 카메라 시스템{image sensor with built-in ISP and dual camera system}
도 1은 본 발명 제1 실시예에 의한 듀얼 카메라 시스템의 블록도,
도 2는 본 발명 제2 실시예에 의한 듀얼 카메라 시스템의 블록도.
본 발명은 2개 이상의 이미지 센서를 가지는 듀얼 카메라 시스템에 관한 것이며, 또한, ISP를 가지는 이미지 센서로서 듀얼 카메라 시스템에 사용되기 위한 이미지 센서에 관한 것이다.
휴대폰에 디지털 카메라 기능을 내장한 이른바 카메라 폰이 대중화되면서, 휴대폰에 이미지 센서를 장착하는 다양한 방법이 실시되고 있다. 이 중 듀얼 카메라 시스템이라는 것이 있는데, 이는 하나의 휴대폰에 2개의 이미지 센서를 장착한 시스템이다.
이미지 센서의 중복이라는 단점에도 불구하고 상기 듀얼 카메라 시스템이 사 용되는 경우는 다음과 같다.
첫째, 카메라 폰 사용자는 자기 자신을 찍는 용도(셀프 촬영)와 대상 물체를 찍는 용도(일반 촬영)로 카메라 폰을 사용하는 바, 휴대폰으로의 구현방법에 따라 상기 셀프 촬영을 위한 이미지 센서와 일반 촬영을 위한 이미지 센서를 별도로 구비할 수도 있다.
둘째, 카메라 폰으로 촬영하려는 물체의 초점 거리에 따라, 특정 초점으로 고정된 이미지 센서를 복수개 구비할 수도 있다. 이는 렌즈 구동 모듈을 사용하는 것보다 비용이 저렴할 때 이용된다.
셋째, 별도의 렌즈 구동 모듈이 없이 고정된 초점거리는, 카메라 폰의 해상도가 커짐에 따라, 길어질 수 밖에 없는데, 짧은 초점거리의 촬영을 위해 고정된 초점거리의 저해상도 이미지 센서를 별도로 구비하는 경우에 사용된다.
초기의 CMOS 이미지 센서를 포함하는 반도체 소자(이하, 센서칩이라 칭함)는 단순히 RGB를 담당하는 각 감광셀의 휘도값으로 이루어진 베이어 데이터를 출력하는 베이어 센서 모듈만을 포함하고 있었고, 별도의 반도체 소자를 구성하는 ISP(image signal processing) 칩에서 상기 베이어 데이터를 입력받아 일반적인 영상정보처리 시스템에서 사용할 수 있는 프레임 데이터로 변환하였다. 그러나, 반도체 소자의 집적기술이 발전함에 따라 하나의 칩에 베이어 센서 모듈과 ISP 모듈을 동시에 집적시킨 형태의 이미지 센서칩이 실시되고 있다.
상기와 같은 이미지 센서칩을 사용하여 듀얼 카메라 시스템을 구현하는 것은, 상기 베이어 센서 모듈 칩 2개와 ISP칩 1개로 구현하거나, 베이어 센서 모듈 및 ISP 모듈이 집적된 ISP 내장형 센서칩 2개로 구현하는 방법이 있다.
전자의 경우 3개의 칩을 사용하므로 원가 및 생산 비용의 증대 요인이 되며, 후자의 경우 ISP 모듈을 2개씩 구비하는 낭비 문제가 있었다.
본 발명은 상기 문제점들을 해결하기 위하여 안출된 것으로서, 하나의 원칩형 센서칩과 하나의 베이어 센서칩으로 구성한 듀얼 카메라 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 내장된 ISP 모듈로 내장된 베이어 센서 모듈 뿐만 아니라 외부에서 입력되는 베이어 데이터에 대한 이미지 프로세싱을 수행할 수 있는 ISP 내장형 이미지 센서를 제공하는데 다른 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 듀얼 카메라 시스템은, ISP 내장형 이미지 센서; 및 상기 ISP 내장형 이미지 센서로 베이어 데이터를 출력하며, 상기 ISP 내장형 이미지 센서로부터 제어 데이터를 입력받아 내부 제어 레지스터에 기록하는 서브 이미지 센서를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
(실시예 1)
도 1에 도시한 바와 같은 본 실시예의 ISP 내장형 이미지 센서(20)는 입사된 빛에 반응한 각 감광셀들의 감광값들로 이루어진 베이어 이미지 데이터를 출력하는 내부 베이어 센서 블록(22); 베이어 이미지 데이터를 입력받아 소정 포맷의 화상 프레임(RGB/YUV) 데이터로 변환하여 소자 외부 호스트(60)로 출력하며, 베이어 센서에 대한 제어 데이터를 출력하기 위한 ISP 블록(24); 상기 ISP 블록(24)으로 입력되는 베이어 이미지 데이터의 출처를 상기 내부 베이어 센서 블록(22) 또는 소자 외부 이미지 센서(40) 중 하나로 결정하기 위한 베이어 경로 선택부; 및 상기 ISP 블록(24)이 출력하는 제어 데이터의 목적지를 상기 내부 베이어 센서 블록(22) 또는 상기 외부 이미지 센서(40) 중 하나로 결정하기 위한 제어 경로 선택부(28)를 포함하는 것을 특징으로 한다.
상기 내부 베이어 센서 블록(22)은 감광셀들로 이루어진 감광셀 매트릭스를 포함한다. 상기 감광셀 매트릭스는 녹색(G)광을 감광하는 감광셀, 적색(R)광을 감 광하는 감광셀 및 청색(B)광을 감광하는 감광셀들이 모여 매트릭스를 구성한다. 내부 베이어 샌서 블록(22)이 출력하는 베이어 이미지 데이터는 상기 각 감광셀들이 감광하는 빛의 강도에 비례하는 감광값들로 이루어지는데, 하나의 픽섹에 대한 감광값은 RGB 중 하나의 빛에 대한 정보만 기록된다.
상기 ISP 블록(24)은 베이어 이미지 데이터를 변환하여 미리 정해진 규약의 포맷을 가지는 화상 프레임(RGB/YUV) 데이터를 생성하는데, 상기 화상 프레임(RGB/YUV) 데이터는 소정의 해상도를 가지며, 각 픽셀 데이터들은 RGB 광 모두에 대한 정보를 포함하게 된다. 또한, ISP 블록(24)은 상기와 같은 보간 기능(interpolation) 뿐만 아니라 자동 노출, 자동 화이트 밸런스 및 안티-플리커 제거 등 다양한 보정기능과 이미지 효과를 부여하는 기능도 함께 수행하여, 이미지 센서의 화질 개선 및 편리성을 추구토록 구현할 수 있다.
상기 베이어 경로 선택부(26)는 상기 ISP 블록(24)이 프로세싱할 베이터 데이터를 내부 베이어 센서 블록(22)에서 생성하는 베이어 데이터 또는 센서 칩 외부에서 입력되는 베이어 데이터 중 하나를 선택하는 것으로, 일종의 MUX로 구현할 수 있다. 이를 위해 상기 ISP 내장형 이미지 센서 칩(20)은 외부 베이어 이미지 센서(40)로부터 베이어 이미지 데이터를 입력받기 위한 직렬 또는 병렬 데이터 입력 인터페이스 형식의 베이어 데이터 입력단을 더 구비한다.
일반적인 이미지 센서 칩은, ISP 블록이 내부 베이어 센서 블록 내 제어 데이터 저장용 제어 레지스터에 소정의 명령을 포함하는 데이터를 기록하며, 상기 내부 베이어 센서 블록은 제어 레지스터 기록값대로 해당 동작을 수행하는 방식으로, ISP 블록에 의한 내부 베이어 센서 블록 제어가 이루어진다. 이 방식에 본 발명의 사상을 적용하면, 상기 제어 경로 선택부(28)는 ISP 블록(24)이 출력하는 제어 데이터(제어 레지스터에 기록되기 위한 값)를 전송할 대상을 내부 베이어 센서 블록(22) 또는 외부의 이미지 센서(40) 중에서 선택한다. 즉, 제어 레지스터를 이용한 외부 이미지 센서(40)에 대한 제어도 ISP 블록(24)이 수행할 수 있다. 이를 위해 본 실시예의 센서 칩은 상기 제어 데이터의 외부 입출력을 위한 I2C 인터페이스를 더 구비한다. 구현에 따라서는, 제어 경로 선택부(28)는 제어 데이터를 내부 베이어 센서 블록(22) 및 외부의 이미지 센서(40)로 동시에 전송할 수도 있다.
본 실시예의 듀얼 카메라 시스템은, 본 실시예의 ISP 내장형 이미지 센서(20); 및 상기 ISP 내장형 이미지 센서(20)로 베이어 데이터를 출력하며, 상기 ISP 내장형 이미지 센서로부터 제어 데이터를 입력받아 내부 제어 레지스터에 기록하는 서브 이미지 센서(40)를 포함한다. 서브 이미지 센서(40)는 ISP 블록이 아예 존재하지 않는 베이어 이미지 센서일 수도 있고, ISP 블록이 존재하나 비활성화된 이미지 센서일 수도 있다. 후자는 서브 이미지 센서에 내장된 ISP 블록의 기능이, 상대적으로 활성화된 ISP 블록보다 열등하기 때문에, 활성화된 ISP 블록의 강력한 기능을 사용하기 위하여, 서브 이미지 센서에 내장된 ISP 블록의 기능을 정지시켜 놓는 경우이다.
ISP 내장형 이미지 센서(20)로 촬영을 수행시에는, 종래기술의 이미지 센서에서의 촬영 과정과 동일하게 촬영이 수행된다. 한편, 서브 이미지 센서(40)로 촬 영을 수행시에는, 서브 이미지 센서(40)에서 출력되는 베이어 이미지 데이터를 ISP 내장형 이미지 센서(20)로 전송하고, 전송받은 ISP 내장형 이미지 센서(20)는 이를 RGB/YUV 데이터로 변환하여 호스트로 출력한다.
또한, 서브 이미지 센서(40)의 I2C 인터페이스에, ISP 내장형 이미지 센서(20)가 연결되는 구조를 형성할 수 있다. 따라서, 센서의 아날로그 부분과 연동이 되어야 하는 자동 노출이나 자동 화이트 밸런스, 안티-플리커(anti-flicker) 제거와 같은 기능도, ISP 내장형 이미지 센서가 이미지 프로세싱 호스트로서, ISP 블록이 없는(또는 비활성화된) 서브 이미지 센서의 제어 레지스터에 리드/라이트함으로써 수행할 수 있다.
(실시예 2)
도 2에 도시한 바와 같은 본 실시예의 ISP 내장형 이미지 센서(20)는, 입사된 빛에 반응한 각 감광셀들의 감광값들로 이루어진 베이어 이미지 데이터를 출력하는 내부 베이어 센서 블록(22); 베이어 이미지 데이터를 입력받아 소정 포맷의 화상 프레임(RGB/YUV) 데이터로 변환하여 소자 외부 호스트(60)로 출력하며, 외부 센서(50)에 대한 제어 데이터를 출력하기 위한 ISP 블록(26); 상기 ISP 블록(26)으로 상기 내부 베이어 센서 블록에서 생성한 베이어 이미지 데이터 또는 외부 센서(50)에서 출력한 상기 소정 포맷의 화상 프레임(RGB/YUV) 데이터 중 하나로 결정하기 위한 입력 경로 선택부(26); 및 상기 ISP 블록(24)이 출력하는 제어 데이터의 목적지를 상기 내부 베이어 센서 블록(22) 또는 외부 센서(50) 중 하나로 결정 하기 위한 제어 경로 선택부(28)를 포함하는 것을 특징으로 한다.
상기 내부 베이어 센서 블록(22)은 상기 제1 실시예의 경우와 동일하다.
상기 ISP 블록(24)은 베이어 이미지 데이터를 변환하여 미리 정해진 규약의 포맷을 가지는 화상 프레임 데이터를 생성하는데, 상기 화상 프레임 데이터는 소정의 해상도를 가지며, 각 픽셀 데이터들은 RGB 광 모두에 대한 정보를 포함하게 된다.
본 실시예에서는 외부 이미지 센서(50)의 베이어 이미지 데이터의 RGB/YUV 데이터로의 변환은 외부 이미지 센서(50) 내의 ISP 블록(54)이 담당하고, 본 실시예의 ISP 내장형 이미지 센서(20)의 ISP 블록(24)은, 외부 이미지 센서(50)에 단지 자동 노출이나 자동 화이트 밸런스, 안티-플리커(anti-flicker) 제거 등의 기능을 부여한다.
이를 위해, 본 실시예의 ISP 블록(24)은, 외부 센서(50)의 내부 베이어 센서 블록(52)의 베이어 이미지 데이터 중 상기 기능을 위해 필요한 부분만 입력받도록 구현할 수도 있으나, 일반적인 ISP 블록을 내장한 이미지 센서(50)는 별도의 베이터 데이터 출력단을 가지고 있지 않으므로, ISP 블록(54)이 출력하는 RGB/YUV 데이터를 입력받도록 구현하는 것이 바람직하다. 후자의 경우 본 실시예의 ISP 블록(24)은 외부 센서(50)의 GRB/YUV 데이터로부터 자동 노출이나 자동 화이트 밸런스, 안티-플리커(anti-flicker) 제거와 같은 기능에 필요한 정보를 얻게 된다. 또한, 이 경우 ISP 블록(24)은 외부 센서(50)로 부터 RGB/YUV 데이터를 입력받아 호스트로 패싱시키는 역할도 수행한다.
또한, 이 경우 상기 입력 경로 선택부(26)는 상기 ISP 블록(24)으로 입력되는 데이터를 내부 베이어 센서 블록(22)에서 생성하는 베이어 데이터 또는 외부 센서(50)에서 생성하는 RGB/YUV 데이터 중 하나를 선택하는 것으로, 일종의 MUX로 구현할 수 있다. 이를 위해 상기 ISP 내장형 이미지 센서(20) 칩은 외부 센서(50)로부터 RGB/YUV 데이터를 입력받기 위한 직렬 또는 병렬 데이터 입력 인터페이스 형식의 외부 데이터 입력단을 더 구비한다.
일반적인 이미지 센서 칩은, ISP 블록이 내부 베이어 센서 블록 내 제어 데이터 저장용 제어 레지스터에 소정의 명령을 포함하는 데이터를 기록하며, 상기 내부 베이어 센서 블록은 제어 레지스터 기록값대로 해당 동작을 수행하는 방식으로, ISP 블록에 의한 내부 베이어 센서 블록 제어가 이루어진다. 이 방식에 본 발명의 사상을 적용하면, 상기 제어 경로 선택부(28)는 ISP 블록(24)이 출력하는 제어 데이터(제어 레지스터에 기록되기 위한 값)를 전송할 대상을 내부 베이어 센서 블록(22) 또는 외부 이미지 센서(50) 중에서 선택한다. 이를 위해 본 실시예의 ISP 내장형 이미지 센서(20) 칩은 상기 제어 데이터의 외부 입출력을 위한 I2C 인터페이스를 더 구비한다. 구현에 따라서는, 제어 경로 선택부(28)는 제어 데이터를 내부 베이어 센서 블록(22) 및 외부 이미지 센서(50)로 동시에 전송할 수도 있다. 본 실시예의 외부 센서(50)의 베이어 센서 블록(52)에 대한 제어는, 외부 센서(50) 내 ISP 블록(54) 및 본 실시예 소자의 ISP 블록(24)에 의해 중복되어 수행될 수 있으며, 제어 레지스터에 의한 방식이므로, 마지막으로 레지스터에 기록된 대로 제어가 수행될 수 있다.
본 실시예의 듀얼 카메라 시스템은, 본 실시예의 ISP 내장형 이미지 센서(20); 및 상기 ISP 내장형 이미지 센서(20)로 소정 포맷의 화상 프레임 데이터를 출력하며, 상기 ISP 내장형 이미지 센서(20)로부터 제어 데이터를 입력받아 내부 제어 레지스터에 기록하는 서브 이미지 센서(50)를 포함한다. 상기 서브 이미지 센서(50)는 ISP 블록(54)이 존재하나 자동 노출이나 자동 화이트 밸런스, 안티-플리커(anti-flicker) 제거와 같은 기능이 지원되지 않고 단순히 데이터 포맷 변환만 수행하는 정도의 기능을 가진 이미지 센서이다.
ISP 내장형 이미지 센서(20)로 촬영을 수행시에는, 종래기술의 이미지 센서에서의 촬영 과정과 동일하게 촬영이 수행된다. 한편, 서브 이미지 센서(50)로 촬영을 수행시에는, 서브 이미지 센서(50)에서 생성된 RGB/YUV 데이터는 ISP 내장형 이미지 센서(20)를 경유하여 호스트로 전송된다.
또한, 서브 이미지 센서(50)의 I2C 인터페이스에 ISP 내장형 이미지 센서(20)가 연결되는 구조를 형성할 수 있다. 따라서, 센서의 아날로그 부분과 연동이 되어야 하는 자동 노출이나 자동 화이트 밸런스, 안티-플리커(anti-flicker) 제거와 같은 기능도, ISP 내장형 이미지 센서(20)가 이미지 프로세싱 호스트로서, 기능이 미약한 ISP 블록을 가진 서브 이미지 센서(50)의 제어 레지스터에 리드/라이트함으로써 수행할 수 있다.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
상기 구성과 같은 본 발명의 ISP 내장형 이미지 센서를 실시함에 의해, 하나의 원칩형 센서칩과 하나의 베이어 센서칩으로 구성한 저렴한 듀얼 카메라 시스템을 제작할 수 있는 효과가 있다.

Claims (12)

  1. 입사된 빛에 반응한 각 감광셀들의 감광값들로 이루어진 베이어 이미지 데이터를 출력하는 내부 베이어 센서 블록;
    베이어 이미지 데이터를 입력받아 소정 포맷의 화상 프레임 데이터로 변환하여 외부 호스트로 출력하며, 베이어 센서에 대한 제어 데이터를 출력하기 위한 ISP 블록;
    상기 ISP 블록으로 입력되는 베이어 이미지 데이터의 출처를 상기 내부 베이어 센서 블록 또는 외부 센서 중 하나로 결정하기 위한 베이어 경로 선택부; 및
    상기 ISP 블록이 출력하는 제어 데이터의 목적지를 상기 내부 베이어 센서 블록 또는 상기 외부 센서 중 하나로 결정하기 위한 제어 경로 선택부
    를 포함하는 ISP 내장형 이미지 센서.
  2. 제1항에 있어서,
    외부로부터 상기 베이어 이미지 데이터를 입력받기 위한 베이어 데이터 입력단을 더 포함하는 ISP 내장형 이미지 센서.
  3. 제1항에 있어서,
    상기 제어 데이터의 외부 입출력을 위한 I2C 인터페이스를 더 구비하는 ISP 내장형 이미지 센서.
  4. ISP 내장형 이미지 센서; 및
    상기 ISP 내장형 이미지 센서로 베이어 데이터를 출력하며, 상기 ISP 내장형 이미지 센서로부터 제어 데이터를 입력받아 내부 제어 레지스터에 기록하는 서브 이미지 센서
    를 포함하는 듀얼 카메라 시스템.
  5. 제4항에 있어서,
    상기 ISP 내장형 이미지 센서로부터 소정 포맷의 화상 프레임 데이터를 입력받는 호스트를 더 포함하는 듀얼 카메라 시스템.
  6. 제4항에 있어서, 상기 ISP 내장형 이미지 센서는,
    제1항 내지 제3항 중 어느 한 항의 ISP 내장형 이미지 센서인 듀얼 카메라 시스템.
  7. 입사된 빛에 반응한 각 감광셀들의 감광값들로 이루어진 베이어 이미지 데이터를 출력하는 내부 베이어 센서 블록;
    베이어 이미지 데이터를 입력받아 소정 포맷의 화상 프레임 데이터로 변환하여 외부 호스트로 출력하며, 베이어 센서에 대한 제어 데이터를 출력하기 위한 ISP 블록;
    상기 ISP 블록으로 입력되는 데이터를, 상기 내부 베이어 센서 블록에서 생성한 베이어 이미지 데이터 또는 외부 센서에서 출력한 상기 소정 포맷의 화상 프레임 데이터 중 하나로 결정하기 위한 입력 경로 선택부; 및
    상기 ISP 블록이 출력하는 제어 데이터의 목적지를 상기 내부 베이어 센서 블록 또는 외부 센서 중 하나로 결정하기 위한 제어 경로 선택부
    를 포함하는 ISP 내장형 이미지 센서.
  8. 제7항에 있어서,
    외부로부터 상기 소정 포맷의 화상 프레임 데이터를 입력받기 위한 외부 데이터 입력단을 더 포함하는 ISP 내장형 이미지 센서.
  9. 제7항에 있어서,
    상기 제어 데이터의 외부 입출력을 위한 I2C 인터페이스를 더 구비하는 ISP 내장형 이미지 센서.
  10. ISP 내장형 이미지 센서; 및
    상기 ISP 내장형 이미지 센서로 소정 포맷의 화상 프레임 데이터를 출력하며, 상기 ISP 내장형 이미지 센서로부터 제어 데이터를 입력받아 내부 제어 레지스터에 기록하는 서브 이미지 센서
    를 포함하는 듀얼 카메라 시스템.
  11. 제10항에 있어서,
    상기 ISP 내장형 이미지 센서로부터 상기 소정 포맷의 화상 프레임 데이터를 입력받는 호스트를 더 포함하는 듀얼 카메라 시스템.
  12. 제4항에 있어서, 상기 ISP 내장형 이미지 센서는,
    제7항 내지 제9항 중 어느 한 항의 ISP 내장형 이미지 센서인 듀얼 카메라 시스템.
KR1020040116836A 2004-12-30 2004-12-30 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템 KR100636969B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020040116836A KR100636969B1 (ko) 2004-12-30 2004-12-30 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
JP2005379711A JP2006191622A (ja) 2004-12-30 2005-12-28 Ｉｓｐ内蔵型イメージセンサ及びデュアルカメラシステム
US11/323,371 US8154610B2 (en) 2004-12-30 2005-12-29 Image sensor with built-in ISP and dual camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040116836A KR100636969B1 (ko) 2004-12-30 2004-12-30 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템

Publications (2)

Publication Number Publication Date
KR20060078139A true KR20060078139A (ko) 2006-07-05
KR100636969B1 KR100636969B1 (ko) 2006-10-19

Family

ID=36639915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040116836A KR100636969B1 (ko) 2004-12-30 2004-12-30 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템

Country Status (3)

Country Link
US (1) US8154610B2 (ko)
JP (1) JP2006191622A (ko)
KR (1) KR100636969B1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411153B2 (en) 2009-05-29 2013-04-02 Samsung Electronics Co., Ltd. Camera unit and multimedia information appliance including camera unit
KR101283248B1 (ko) * 2010-08-18 2013-07-15 애플 인크. 듀얼 이미지 센서 이미지 처리 시스템 및 방법
KR101316179B1 (ko) * 2007-02-05 2013-10-08 엘지이노텍 주식회사 듀얼 카메라
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
KR101471929B1 (ko) * 2007-11-30 2014-12-11 옴니비전 테크놀러지즈 인코포레이티드 공유 처리되는 다중 이미지 센서 시스템
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9131196B2 (en) 2012-05-31 2015-09-08 Apple Inc. Systems and methods for defective pixel correction with neighboring pixels
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155478B2 (en) * 2006-10-26 2012-04-10 Broadcom Corporation Image creation with software controllable depth of field
KR20080098880A (ko) * 2007-05-07 2008-11-12 삼성전기주식회사 카메라 모듈
JP2011004391A (ja) * 2009-05-21 2011-01-06 Panasonic Corp カメラシステム、カメラ本体および交換レンズユニット
US8508621B2 (en) * 2010-09-30 2013-08-13 Apple Inc. Image sensor data formats and memory addressing techniques for image signal processing
US8885096B2 (en) 2010-10-21 2014-11-11 Openpeak Inc. Multi-media device containing a plurality of image capturing devices
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
CN112911252B (zh) 2012-11-28 2023-07-04 核心光电有限公司 多孔径成像系统
KR20140125984A (ko) * 2013-04-19 2014-10-30 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치와 시스템
WO2014199338A2 (en) 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
KR102081087B1 (ko) 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
CN105359006B (zh) 2013-07-04 2018-06-22 核心光电有限公司 小型长焦透镜套件
CN108718376B (zh) 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9036908B2 (en) * 2013-09-30 2015-05-19 Apple Inc. Backwards compatible extended image format
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
KR102459917B1 (ko) 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
KR102160867B1 (ko) 2015-04-02 2020-09-29 코어포토닉스 리미티드 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체
KR101866482B1 (ko) 2015-04-16 2018-06-11 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
CN107533208B (zh) 2015-05-28 2019-09-13 核心光电有限公司 用于双孔径数字照相机中的光学图像稳定和自动对焦的双向刚度
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
KR102347591B1 (ko) 2015-08-24 2022-01-05 삼성전자주식회사 이미지 센싱 장치 및 이미지 프로세싱 시스템
EP3474070B1 (en) 2015-09-06 2020-06-24 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
KR102410016B1 (ko) 2015-12-16 2022-06-16 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 시스템
CN108353118B (zh) 2015-12-29 2019-04-02 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
US10250814B2 (en) 2016-03-07 2019-04-02 Kabushiki Kaisha Toshiba Image signal processor apparatus and image signal processing method
KR102063411B1 (ko) 2016-05-30 2020-01-07 코어포토닉스 리미티드 회전식 볼-가이드 음성 코일 모터
WO2017221106A1 (en) 2016-06-19 2017-12-28 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
KR102226315B1 (ko) 2016-07-07 2021-03-12 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
CN110140078B (zh) 2016-12-28 2021-11-19 核心光电有限公司 具有延伸光折叠元件扫描范围的折叠相机结构
CN109417589B (zh) 2017-01-12 2021-10-22 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
KR20240066298A (ko) 2017-02-23 2024-05-14 코어포토닉스 리미티드 폴디드 카메라 렌즈 설계
EP3596543B1 (en) 2017-03-15 2024-04-10 Corephotonics Ltd. Camera with panoramic scanning range
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN110140076B (zh) 2017-11-23 2021-05-21 核心光电有限公司 紧凑型折叠式摄影机结构
US10976567B2 (en) 2018-02-05 2021-04-13 Corephotonics Ltd. Reduced height penalty for folded camera
WO2019155289A1 (en) 2018-02-12 2019-08-15 Corephotonics Ltd. Folded camera with optical image stabilization
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
EP4109174A1 (en) 2018-04-23 2022-12-28 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
EP3652728B1 (en) 2018-08-04 2023-06-07 Corephotonics Ltd. Switchable continuous display information system above camera
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
KR102268094B1 (ko) 2019-03-09 2021-06-22 코어포토닉스 리미티드 동적 입체 캘리브레이션을 위한 시스템 및 방법
KR102254947B1 (ko) 2019-07-31 2021-05-24 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
WO2021116851A2 (en) 2019-12-09 2021-06-17 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114641805A (zh) 2020-02-22 2022-06-17 核心光电有限公司 用于微距摄影的分屏特征
US10999497B1 (en) 2020-03-31 2021-05-04 Nxp Usa, Inc. System for parallelly processing image lines from multiple image sensors
US11693064B2 (en) 2020-04-26 2023-07-04 Corephotonics Ltd. Temperature control for Hall bar sensor correction
US11399159B2 (en) 2020-05-15 2022-07-26 Axon Enterprise, Inc. Flexible recording systems
CN117372249A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
CN117518313A (zh) 2020-05-30 2024-02-06 核心光电有限公司 用于获得超微距图像的系统
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
KR20230004887A (ko) 2020-07-15 2023-01-06 코어포토닉스 리미티드 스캐닝 폴디드 카메라에서의 시점 수차-보정
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing
EP4038432A4 (en) 2020-08-12 2022-12-14 Corephotonics Ltd. OPTICAL IMAGE STABILIZATION IN A FOLDED SCANNING CAMERA
KR20210018381A (ko) * 2021-02-02 2021-02-17 엘지이노텍 주식회사 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
EP4204885A4 (en) 2021-06-08 2024-03-06 Corephotonics Ltd SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE
KR20230125424A (ko) 2022-02-21 2023-08-29 주식회사 로이비 카메라 이미지 처리 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2666940B2 (ja) * 1987-12-28 1997-10-22 株式会社東芝 スケジュール管理装置
JP3321904B2 (ja) * 1993-06-16 2002-09-09 株式会社日立製作所 撮像装置
EP0765086A2 (en) * 1995-09-21 1997-03-26 AT&T Corp. Video camera including multiple image sensors
JP3075203B2 (ja) * 1997-01-28 2000-08-14 日本電気株式会社 固体撮像素子
JPH10224696A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 固体撮像素子及びこの固体撮像素子を用いる画像システム
US6948794B2 (en) * 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
US6665012B1 (en) * 1998-09-22 2003-12-16 Pixim, Inc. Process-scalable high spatial resolution and low bit resolution CMOS area image sensor
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
JP2000353800A (ja) * 1999-06-14 2000-12-19 Canon Inc 半導体装置
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
JP3870004B2 (ja) * 2000-05-02 2007-01-17 キヤノン株式会社 撮像素子及びその撮像素子を備えた撮像装置
JP2002232773A (ja) * 2001-02-02 2002-08-16 Olympus Optical Co Ltd カメラシステム
US20020170039A1 (en) * 2001-02-22 2002-11-14 Kovacevic Branko D. System for operating system and platform independent digital stream handling and method thereof
JP2003037757A (ja) * 2001-07-25 2003-02-07 Fuji Photo Film Co Ltd 画像撮像装置
KR20030091549A (ko) 2002-05-28 2003-12-03 삼성전기주식회사 이미지 센서모듈 및 그 제조공정
JP2004253731A (ja) * 2003-02-21 2004-09-09 Sharp Corp 固体撮像装置およびその製造方法
US7724284B2 (en) * 2005-09-29 2010-05-25 Aptina Imaging Corporation Multi-camera system and method having a common processing block

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101316179B1 (ko) * 2007-02-05 2013-10-08 엘지이노텍 주식회사 듀얼 카메라
KR101471929B1 (ko) * 2007-11-30 2014-12-11 옴니비전 테크놀러지즈 인코포레이티드 공유 처리되는 다중 이미지 센서 시스템
US8411153B2 (en) 2009-05-29 2013-04-02 Samsung Electronics Co., Ltd. Camera unit and multimedia information appliance including camera unit
KR101283248B1 (ko) * 2010-08-18 2013-07-15 애플 인크. 듀얼 이미지 센서 이미지 처리 시스템 및 방법
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9131196B2 (en) 2012-05-31 2015-09-08 Apple Inc. Systems and methods for defective pixel correction with neighboring pixels
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9317930B2 (en) 2012-05-31 2016-04-19 Apple Inc. Systems and methods for statistics collection using pixel mask
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9342858B2 (en) 2012-05-31 2016-05-17 Apple Inc. Systems and methods for statistics collection using clipped pixel tracking
US9710896B2 (en) 2012-05-31 2017-07-18 Apple Inc. Systems and methods for chroma noise reduction
US9741099B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for local tone mapping
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US11689826B2 (en) 2012-05-31 2023-06-27 Apple Inc. Systems and method for reducing fixed pattern noise in image data

Also Published As

Publication number Publication date
US20060146152A1 (en) 2006-07-06
KR100636969B1 (ko) 2006-10-19
JP2006191622A (ja) 2006-07-20
US8154610B2 (en) 2012-04-10

Similar Documents

Publication Publication Date Title
KR100636969B1 (ko) Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
TWI511558B (zh) 具有高動態範圍攝取能力之影像感測器
US7626619B2 (en) Digital camera
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
KR102083292B1 (ko) 이미지 센서, 이미징 장치, 이동 단말기 및 이미징 방법
KR20150062955A (ko) 촬상장치 및 휴대전화기
US20230046521A1 (en) Control method, camera assembly, and mobile terminal
US20210218898A1 (en) Method of improving image quality in zoom scenario with single camera, and electronic device including the same
US20080030601A1 (en) Digital camera module
US20230246057A1 (en) Electronic device comprising image sensor for identifying an operation setting and an external environmental condition and method of operation thereof
JP2005198295A (ja) カメラおよび撮像方法
JP2000316163A (ja) カラー撮像素子及び撮像装置
TW201204020A (en) Imaging device and image processing device
US20090027514A1 (en) Image pickup apparatus and method
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2024079754A (ja) 撮像素子、撮像装置、撮像方法及びプログラム
KR20160008846A (ko) 이미지 장치 및 그 구동 방법
JP2001016598A (ja) カラー撮像素子及び撮像装置
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
JP2005109993A (ja) 撮影装置
US11722795B2 (en) Image processing device for noise reduction using dual conversion gain and operation method thereof
KR20090059512A (ko) 렌즈부 셰이딩 현상을 보정하는 영상 처리 장치 및 그 제어방법
JP2005286536A (ja) 撮像装置
JP2003287674A (ja) カメラ
US20230113058A1 (en) Electronic device including image sensor and operating method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 14