KR102499033B1 - 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치 - Google Patents

스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치 Download PDF

Info

Publication number
KR102499033B1
KR102499033B1 KR1020180011881A KR20180011881A KR102499033B1 KR 102499033 B1 KR102499033 B1 KR 102499033B1 KR 1020180011881 A KR1020180011881 A KR 1020180011881A KR 20180011881 A KR20180011881 A KR 20180011881A KR 102499033 B1 KR102499033 B1 KR 102499033B1
Authority
KR
South Korea
Prior art keywords
image
pixel image
path selection
selection signal
unit
Prior art date
Application number
KR1020180011881A
Other languages
English (en)
Other versions
KR20190092757A (ko
Inventor
허재성
김경호
이원석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180011881A priority Critical patent/KR102499033B1/ko
Priority to US16/124,348 priority patent/US10904436B2/en
Priority to CN201811465182.4A priority patent/CN110113547B/zh
Publication of KR20190092757A publication Critical patent/KR20190092757A/ko
Application granted granted Critical
Publication of KR102499033B1 publication Critical patent/KR102499033B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

이미지 센서는 픽셀 이미지를 생성하는 이미지 생성부를 포함하는 제1 칩; 외부로부터 인가되는 모드 설정 신호에 기초하여 복수의 모드 중 하나의 모드가 결정되고, 결정된 모드에 따라 경로 선택 신호를 생성하고, 경로 선택 신호에 응답하여 픽셀 이미지를 처리하는 영상 처리 장치를 구비하는 제2 칩; 및 영상 처리 장치로부터 출력되는 픽셀 이미지를 저장하는 저장부를 포함하는 제3 칩을 포함하며, 제3 칩 상에 제2 칩이 적층되고, 제2 칩 상에 제1 칩이 적층될 수 있다.

Description

스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치{IMAGE SENSOR AND ELECTRONIC DEVICE INCLUDING THE IMAGE SENSOR}
스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치에 관한 것이다.
고속 전송 기능을 갖는 이미지 센서는 대용량의 프레임 버퍼를 포함하는 스택형 구조로 이루어질 수 있다. 이미지 센서는 픽셀 어레이에서 생성된 픽셀 이미지를 프레임 버퍼에 고속으로 입력하여 저장하였다가, 프레임 버퍼에서 픽셀 이미지를 저속으로 출력하여 영상을 느리게 보여주는 슈퍼 슬로우 모드로 동작할 수 있다. 이와 같은 이미지 센서는 픽셀 이미지를 프레임 버퍼에 더 많이 저장해야 한다. 이에, 이미지를 압축하여 프레임 버퍼에 더 많은 이미지를 저장하면서도, 압축에 의한 이미지 손실을 줄이기 위한 새로운 기술이 필요하다.
본 개시의 실시예들에 따른 과제는 이미지 손실을 감소하면서 사용자의 필요에 따라 픽셀 이미지의 저장 효율을 높일 수도 있고, 영상 출력단의 전송 효율을 높일 수도 있는 이미지 센서를 제공하는데 있다.
본 개시의 실시예에 따른 이미지 센서는, 픽셀 이미지를 생성하는 이미지 생성부를 포함하는 제1 칩; 외부로부터 인가되는 모드 설정 신호에 기초하여 복수의 모드 중 하나의 모드가 결정되고, 상기 결정된 모드에 따라 경로 선택 신호를 생성하고, 상기 경로 선택 신호에 응답하여 상기 픽셀 이미지를 처리하는 영상 처리 장치를 구비하는 제2 칩; 및 상기 영상 처리 장치로부터 출력되는 상기 픽셀 이미지를 저장하는 저장부를 포함하는 제3 칩을 포함하며, 상기 제3 칩 상에 상기 제2 칩이 적층되고, 상기 제2 칩 상에 상기 제1 칩이 적층되거나, 상기 제2칩 상에 상기 제3 칩이 적층되고, 상기 제3 칩 상에 제1 칩이 적층될 수 있다.
본 개시의 실시예에 따른 전자 장치는 픽셀 이미지를 생성하는 이미지 생성부와, 상기 픽셀 이미지를 처리하는 영상 처리 장치와, 상기 픽셀 이미지를 저장하는 저장부를 포함하는 이미지 센서; 및 모드 설정 신호를 생성하고, 상기 생성된 모드 설정 신호를 상기 영상 처리 장치로 전송하는 애플리케이션 프로세서를 포함하며, 상기 영상 처리 장치는, 사용자의 입력 신호, 상기 픽셀 이미지의 분석 결과 및 상기 이미지 센서의 움직임 신호 중 적어도 하나에 기초하여 압축률을 선택하고, 상기 선택된 압축률에 따라 픽셀 이미지를 압축할 수 있다.
본 개시의 실시예에 따른 영상 처리 장치 제어 방법은 픽셀 이미지를 생성하는 단계; 상기 픽셀 이미지의 프레임 레이트(Frame Rate)에 기초하여 복수의 모드 중 하나의 모드가 결정되고, 상기 결정된 모드에 따라 경로 선택 신호를 생성하는 단계; 및 상기 경로 선택 신호에 응답하여 상기 픽셀 이미지를 압축하거나 상기 압축된 이미지를 압축 해제하는 단계를 포함할 수 있다.
본 개시의 실시예들에 따르면, 이미지에서 검출된 불량 픽셀의 데이터에 기초하여 영상을 압축함으로써 이미지 손실을 줄일 수 있는 이미지 센서를 구현할 수 있다.
본 개시의 실시예들에 따르면, 이미지의 고주파 영역에 대한 압축률을 감소시켜 영상을 압축함으로써 이미지 손실을 줄일 수 있는 이미지 센서를 구현할 수 있다.
본 개시의 실시예들에 따르면, 이미지 센서의 움직임 신호를 분석하여, 실제 필요한 이미지에 대한 압축률을 감소시켜 영상을 압축함으로써 이미지 손실을 줄일 수 있는 이미지 센서를 구현할 수 있다.
도 1은 본 개시의 실시예에 따른 전자 장치의 구성을 도시하는 블록도이다.
도 2는 도 1에 도시된 영상 처리 장치의 구성을 도시하는 블록도이다.
도 3a 및 도 3b는 도 1에 도시된 이미지 센서가 스택 구조를 갖는 실시예를 도시한 개념도이다.
도 4는 도 2 및 도 3에 도시된 제1 이미지 신호 처리부의 구성을 도시한 블록도이다.
도 5은 도 4에 도시된 제1 이미지 신호 처리부의 다른 실시예를 도시한 블록도이다.
도 6은 도 5에 도시된 압축부의 작동 방법을 설명하기 위한 그래프이다.
도 7은 본 개시의 다른 실시예에 따른 영상 처리 장치의 구성을 도시하는 블록도이다.
도 8은 도 7에 도시된 움직임 로직 회로 작동을 설명하기 위한 그래프이다.
도 9는 도 7에 도시된 움직임 로직 회로의 작동 방법을 나타내는 흐름도이다.
도 10은 본 개시의 실시예에 따른 영상 처리 장치의 제어 방법을 도시하는 흐름도이다.
이하에서는, 첨부된 도면을 참고로 하여 본 개시에 따른 실시예들의 이미지 센서, 이를 포함하는 전자 장치 및 이미지 센서 제어 방법을 설명한다.
도 1은 본 개시의 실시예에 따른 전자 장치의 구성을 도시하는 블록도이다.
도 1을 참조하면, 본 개시의 실시예에 따른 전자 장치(10)는 이미지 센서(100), 애플리케이션 프로세서(200), 및 디스플레이(300)를 포함할 수 있다.
이미지 센서(100)는 광학 렌즈를 통하여 입력되는 피사체에 대한 이미지 데이터를 생성할 수 있다.
이미지 센서(100)는 이미지 생성부(110), 영상 처리 장치(120), 저장부(130) 및 인터페이스부(140)를 포함할 수 있다.
이미지 생성부(110)는 액티브 픽셀 센서(APS, active pixel sensor)를 포함할 수 있다. 액티브 픽셀 센서는 복수의 로우 라인에 대응하는 픽셀 신호를 생성하는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들은 입사광에 따라 광 전하를 축적하고, 축적된 광 전하들에 대응하는 픽셀 신호를 생성할 수 있다.
이미지 생성부(110)는 픽셀 신호를 처리하여 픽셀 이미지(PI, pixel image)를 생성하고, 생성된 픽셀 이미지를 영상 처리 장치(120)로 출력하는 아날로그-디지털 컨버터를 포함할 수 있다. 본 명세서에서, 픽셀 이미지(PI)란 단일의 이미지를 이루는 픽셀들 전체를 의미할 수 있다. 예를 들어, 픽셀 이미지는 베이어 패턴(Bayer pattern)의 포맷, BW(black and white) 패턴의 포맷일 수 있다. 또한, 픽셀 이미지(PI)는 위상 검출 자동 초점(Phase Detection Pixel)의 구현을 위해 2PD 또는 Metal PD 형태의 위상 검출 픽셀(Phase detection pixel)을 포함할 수 있다. 또한, 본 명세서에서 픽셀 값이란, 픽셀 이미지를 구성하는 전체의 픽셀들 중 각각의 픽셀에 대한 아날로그 또는 디지털 데이터를 의미할 수 있다.
영상 처리 장치(120)는 이미지 생성부(110)로부터 입력 받은 픽셀 이미지(PI)에 대하여 이미지 처리를 수행할 수 있다. 예를 들어, 영상 처리 장치(120)는 픽셀 이미지(PI)의 화질 향상 및 해상도 조절 등을 위한 이미지 처리를 수행할 수 있다. 영상 처리 장치(120)는 이미지 처리된 픽셀 이미지를 저장부(130)에 입력하거나, 저장부(130)로부터 출력할 수 있고, 또한 인터페이스부(140)로 출력할 수 있다.
영상 처리 장치(120)는 복수의 모드 중 어느 하나의 모드로 동작할 수 있다. 예를 들어, 복수의 모드는 카메라에서 동영상 촬영 모드, 파노라마 모드, 슈퍼 슬로우 모드, 고속 출력 모드(FRS) 등을 포함할 수 있으며, 이에 한정되는 것은 아니다.
영상 처리 장치(120)는 외부로부터 인가되는 모드 설정 신호(ModeSEL)에 기초하여 모드가 결정될 수 있다. 예를 들어, 모드 설정 신호(ModeSEL)는 이미지 센서의 외부에서 연결되는 애플리케이션 프로세서(200)로부터 제공될 수 있다. 또는, 영상 처리 장치(120)는 입력 받은 픽셀 이미지의 프레임 레이트(Frame Rate)에 기초하여 모드가 결정될 수도 있다.
저장부(130)는 영상 처리 장치(120)로부터 입력 받은 픽셀 이미지를 일시적으로 저장할 수 있다. 예를 들어, 저장부(130)는 프레임 단위 또는 프레임을 일정 비율로 분할한 단위로 복수의 픽셀 이미지를 저장할 수 있다. 저장부(130)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등의 휘발성 메모리일 수 있다. 또는, 저장부(130)는 플래시 메모리, MRAM(magnetic RAM) 등의 불활성 메모리 일 수 있다.
인터페이스부(140)는 영상 처리 장치(120)에서 이미지 처리된 픽셀 이미지를 이미지 센서(10) 외부의 디스플레이 장치로 전송할 수 있다. 인터페이스부(140)는 MIPI(mobile industry processor interface) 프로토콜을 지원하는 인터페이스로 구현될 수 있으나, 이에 한정되는 것은 아니다.
도 2는 도 1에 도시된 영상 처리 장치(120)의 구성을 도시하는 블록도이다.
도 1 및 도 2를 참조하면, 본 개시의 실시예에 따른 영상 처리 장치(120)는 제어부(121), 제1 이미지 신호 처리부(122), 제2 이미지 신호 처리부(123), 압축부(124), 저장 제어부(125), 압축 해제부(126), 복수의 스위치 및 복수의 멀티플렉서를 포함할 수 있다. 복수의 스위치는 제1 스위치(131), 제2 스위치(133) 및 제3 스위치(135)를 포함하고, 복수의 멀티플렉서는 제1 멀티플렉서(132), 제2 멀티플렉서(134) 및 제3 멀티플렉서(136)를 포함할 수 있다.
제어부(121)는 영상 처리 장치(120)의 모드에 따라 경로 선택 신호를 생성할 수 있다. 예를 들어, 제어부(121)는 외부에서 인가되는 모드 설정 신호(ModeSEL)에 따라 복수의 경로 선택 신호를 생성할 수 있다. 제어부(121)는 생성한 복수의 경로 선택 신호를 복수의 스위치 및 복수의 멀티플렉서로 출력하여 영상 처리 장치(120) 이미지 처리 경로를 제어할 수 있다.
또한, 제어부(121)는 제1 이미지 신호 처리부(122) 및 제2 이미지 신호 처리부(123)를 제어할 수 있다. 예를 들어, 제어부(121)는 제1 이미지 신호 처리부(122)와 제2 이미지 신호 처리부(123)의 제1 처리 기능 및 제2 처리 기능 중 적어도 일부의 활성화를 제어할 수 있다.
제1 이미지 신호 처리부(122)는 이미지 생성부(110)로부터 입력 받은 픽셀 이미지를 제1 처리할 수 있다. 예를 들어, 제1 처리는 이미지 스케일링, 노이즈 감소, 다이나믹 레인지 보상 및 안티 쉐이딩 등에 해당할 수 있다. 또한, 이에 한정되는 것은 아니며, 종래의 이미지 신호 프로세서에 포함된 이미지 처리 작동에 관련된 기능들을 모두 수행할 수 있다. 제1 이미지 신호 처리부(122)는 제1 처리된 픽셀 이미지를 제1 스위치(131)를 통해 출력할 수 있다.
제1 스위치(131)는 경로 선택 신호에 응답하여 제1 처리된 픽셀 이미지를 제11 출력 단자(S11) 또는 제12 출력 단자(S12) 중 어느 하나를 통해 출력할 수 있다. 예를 들어, 경로 선택 신호가 제1 레벨인 경우 제1 스위치(131)는 제1 처리된 픽셀 이미지를 제11 출력 단자(S11)를 통해 출력할 수 있다. 경로 선택 신호가 제2 레벨인 경우 제1 스위치(131)는 제1 처리된 픽셀 이미지를 제12출력 단자를 통해 출력할 수 있다. 제11 출력 단자(S11)는 제1 멀티플렉서(132)와 연결되며, 제12 출력 단자(S12)는 제2 멀티플렉서(134)와 연결될 수 있다.
제1 멀티플렉서(132)는 경로 선택 신호에 응답하여 제11 입력 단자(M11) 또는 제12 입력 단자(M12) 중 어느 하나를 통해 입력 받은 픽셀 이미지를 제2 이미지 신호 처리부(123)로 출력할 수 있다. 제11 입력 단자(M11)는 제1 스위치의 제11 출력 단자(S11)와 연결되며 제12 입력 단자(M12)는 압축 해제부(126)와 연결될 수 있다. 예를 들어, 경로 선택 신호가 제1 레벨인 경우 제1 멀티플렉서(132)는 제11 입력 단자(M11)를 통해 제1 처리된 픽셀 이미지를 입력 받을 수 있다. 경로 선택 신호가 제2 레벨인 경우 제1 멀티플렉서(132)는 제12 입력 단자(M12)를 통해 압축 해제된 픽셀 이미지를 입력 받을 수 있다.
제2 이미지 신호 처리부(123)는 제1 멀티플렉서(132)로부터 출력되는 픽셀 이미지를 제2 처리하고, 제2 처리된 픽셀 이미지를 제2 스위치(133)로 출력할 수 있다. 예를 들어, 제2 처리는 전술한 제1 처리와 적어도 일부 동일한 기능을 수행할 수 있으나, 이에 한정되는 것은 아니다. 제2 처리는 제1 처리와 다른 이미지 처리 기능을 포함할 수 있다.
제2 스위치(133)는 경로 선택 신호에 응답하여 제21 출력 단자(S21) 또는 제22 출력 단자 중 어느 하나를 통해 제2 처리된 픽셀 이미지를 출력할 수 있다. 제21 출력 단자(S21)는 제3 멀티플렉서(136)와 연결되며, 제22 출력 단자(S22)는 제2 멀티플렉서(134)와 연결될 수 있다. 예를 들여, 경로 선택 신호가 제1 레벨인 경우 제2 스위치(133)는 제21 출력 단자(S21)를 통해 제3 멀티플렉서(136)로 제2 처리된 픽셀 이미지를 출력할 수 있다. 경로 선택 신호가 제2 레벨인 경우 제2 스위치(133)는 제22 출력 단자를 통해 제2 멀티플렉서(134)로 제2 처리된 픽셀 이미지를 출력할 수 있다.
제2 멀티플렉서(134)는 경로 선택 신호에 응답하여 제21 입력 단자(M21) 또는 제22 입력 단자(M22) 중 어느 하나를 통해 입력 받은 픽셀 이미지를 압축부(124)로 출력할 수 있다. 제2 멀티플렉서(134)의 제21 입력 단자(M21)는 제1 스위치(131)의 제12 출력 단자(S12)와 연결되고, 제22 입력 단자(M22)는 제2 스위치(133)의 제22 출력 단자(S22)와 연결될 수 있다. 예를 들어, 경로 선택 신호가 제1 레벨인 경우 제2 멀티플렉서(134)는 제21 입력 단자(M21)를 통해 입력되는 제1 처리된 픽셀 이미지를 압축부(124)로 출력할 수 있다. 경로 선택 신호가 제2 레벨인 경우 제2 멀티플렉서(134)는 제22 입력 단자(M22)를 통해 입력되는 제2 처리된 픽셀 이미지를 압축부(124)로 출력할 수 있다.
압축부(124)는 제2 멀티플렉서(134)로부터 출력되는 픽셀 이미지를 압축하고, 압축된 픽셀 이미지(CPI)를 제3 스위치(135)로 출력할 수 있다. 예를 들어, 압축부(124)는 픽셀 이미지의 특성 또는 제어부(121)의 입력에 기반하여 압축 알고리즘을 선택하여 적용할 수 있다.
압축부(124)에서 압축된 픽셀 이미지(CPI)는 압축률에 따라 이미지 품질이 달라질 수 있다. 압축률(124)이 높을수록 압축된 픽셀 이미지(CPI)의 해상도는 낮아질 수 있다. 예를 들어, 압축부(124)에서 픽셀 이미지(PI)를 압축하는 압축률은 20% ~ 80%일 수 있으며, 압축부(124)는 픽셀 이미지(PI)의 해상도를 고려하여 압축률을 선택할 수 있다.
예를 들어, 압축부(124)는 픽셀 이미지(PI)의 분석 결과, 이미지 센서의 움직임 신호 및 사용자의 입력 신호 중 적어도 하나에 기초하여 압축률을 선택하고, 선택된 압축률에 따라 픽셀 이미지를 압축할 수 있다. 후술하겠지만, 예를 들어, 픽셀 이미지(PI)의 분석 결과는 픽셀 이미지의 주파수 크기 값을 분석한 결과 또는 픽셀 이미지(PI)의 불량 픽셀을 검출한 결과일 수 있다.
제3 스위치(135)는 경로 선택 신호에 응답하여 제31 출력 단자(S31) 또는 제32 출력 단자(S32) 중 어느 하나를 통해 압축된 픽셀 이미지(CPI)를 출력할 수 있다. 제31 출력 단자(S31)는 저장 제어부(125)와 연결되고, 제32 출력 단자(S32)는 제3 멀티플렉서(136)와 연결될 수 있다. 예를 들어, 경로 선택 신호가 제1 레벨인 경우 제3 스위치(135)는 제31 출력 단자(S31)를 통해 저장 제어부(125)로 압축된 픽셀 이미지(CPI)를 출력할 수 있다. 경로 선택 신호가 제2 레벨인 경우 제3 스위치(135)는 제32 출력 단자(S32)를 통해 제3 멀티플렉서(136)로 압축된 픽셀 이미지(CPI)를 출력할 수 있다.
저장 제어부(125)는 제3 스위치(135)로부터 출력되는 압축된 픽셀 이미지(CPI)를 저장부(130)에 입력하거나, 저장부(130)로부터 출력되는 압축된 픽셀 이미지(CPI)를 입력 받아 압축 해제부(126)로 출력할 수 있다. 저장 제어부(125)는 압축부(124)에서 설정한 압축 알고리즘의 종류를 압축 해제부(126)로 전달할 수 있다. 저장 제어부(125)는 저장부(130)로의 입력 속도와 저장부(130)로부터의 출력 속도를 제어할 수 있다. 예를 들어, 저장 제어부(125)는 저장부(130)로의 입력 속도는 고속으로, 저장부(130)로부터의 출력 속도는 저속으로 제어할 수 있다. 예를 들어, 영상 처리 장치(120)가 슬로우 모션(Slow motion) 모드로 동작하는 경우, 저장 제어부(125)를 거쳐 영상 처리 장치(120)에서 인터페이스부(140)로 출력되는 픽셀 이미지의 프레임 레이트(Frame Rate, 초당 프레임 수)는 이미지 생성부(110)로부터 영상 처리 장치(120)로 입력된 픽셀 이미지의 프레임 레이트(Frame Rate)의 1/10배 ~ 1/40 배일 수 있다.
저장부(130)에 입력 되는 데이터의 크기와 저장부(130)로부터 출력되는 데이터의 총량은 서로 같으나, 입력에 걸리는 시간보다 출력에 걸리는 시간이 길면 대역폭 측면에서 출력되는 대역폭이 입력되는 대역폭 보다 작을 수 있다. 저장 제어부(125)가 저장부(130)로부터의 출력 속도를 상대적으로 느리게 하여, 압축 해제부(126) 이후부터 인터페이스부(140)까지 단위시간당 더 적은 양의 데이터를 처리하게 하면, 게이트 카운트 및 파워 소모 측면에서 더 나은 효율을 갖게 될 수 있다.
압축 해제부(126)는 압축된 픽셀 이미지를 압축 해제하고, 압축 해제된 픽셀 이미지를 제1 멀티플렉서(132)로 출력할 수 있다. 압축부(124)와 압축 해제부(126)는 원신호를 로스(loss) 또는 로시(lossy) 상태로 복원해 낼 수 있는 역함수 관계의 압축 및 복원 회로일 수 있다. 압축부(124)의 압축률은 고정 방식 또는 비고정 방식 모두 사용될 수 있다.
제3 멀티플렉서(136)는 경로 선택 신호에 따라 제31 입력 단자(M31) 또는 제32 입력 단자(M32)를 통해 입력되는 픽셀 이미지 중 어느 하나를 인터페이스부(140)로 출력할 수 있다. 제31 입력 단자(M31)는 제2 스위치(133)의 제21 출력 단자(S21)와 연결되고, 제32 입력 단자(M32)는 제3 스위치(135)의 제32 출력 단자(S32)와 연결될 수 있다. 예를 들어, 경로 선택 신호가 제1 레벨인 경우 제3 멀티플렉서(136)는 제31 입력 단자(M31)를 통해 입력 받은 제2 처리된 픽셀 이미지를 출력할 수 있다. 경로 선택 신호가 제2 레벨인 경우 제3 멀티플렉서(136)는 제32 입력 단자(M32)를 통해 입력 받은 압축된 픽셀 이미지를 출력할 수 있다.
영상 처리 장치(120)의 모드가 제1 모드로 결정되는 경우, 제어부(121)는 제1 경로 선택 신호를 생성할 수 있다. 제1 경로 선택 신호는 제1 스위치(131), 제1 멀티플렉서(132), 제2 스위치(133), 및 제3 멀티플렉서(136)에 각각 제1 레벨로 제공되는 복수의 신호를 포함할 수 있다. 이에, 제1 이미지 신호 처리부(122)는 제1 처리된 픽셀 이미지를 제1 스위치(131)와 제1 멀티플렉서(132)를 통해 제2 이미지 신호 처리부(123)로 출력할 수 있다. 제2 이미지 신호 처리부(123)는 제1 처리된 픽셀 이미지를 제2 처리하고, 제2 처리된 픽셀 이미지를 제2 스위치(133)와 제3 멀티플렉서(136)를 통해 인터페이스부(140)로 출력할 수 있다.
영상 처리 장치(120) 모드가 제2 모드로 결정되는 경우, 제어부(121)는 제2 경로 선택 신호를 생성할 수 있다. 제2 경로 선택 신호는 제1 스위치(131), 제1 멀티플렉서(132)에 각각 제2 레벨로 제공되는 복수의 신호와, 제2 스위치(133), 제3 스위치(135), 제2 멀티플렉서(134) 및 제3 멀티플렉서(136)에 각각 제1 레벨로 제공되는 복수의 신호를 포함할 수 있다. 이에, 제2 이미지 신호 처리부(123)는 제1 처리된 픽셀 이미지를 제1 스위치(131)와 제2 멀티플렉서(134)를 통해 압축부(124)로 출력할 수 있다. 압축부(124)는 제1 처리된 픽셀 이미지를 압축하고, 압축된 픽셀 이미지를 제3 스위치(135)를 통해 저장 제어부(125)로 출력할 수 있다. 저장 제어부(125)는 압축된 픽셀 이미지를 저장부(130)로 출력하고, 저장부(130)에서 출력되는 압축된 픽셀 이미지를 입력 받아 압축 해제부(126)로 출력할 수 있다. 압축 해제부(126)는 압축된 픽셀 이미지를 압축 해제하여 제1 멀티플렉서(132)를 통해 제2 이미지 신호 처리부(123)로 출력할 수 있다. 제2 이미지 신호 처리부(123)는 압축 해제된 픽셀 이미지를 제2 처리하고, 제2 처리된 픽셀 이미지를 제2 스위치(133)와 제3 멀티플렉서(136)를 통해 인터페이스부(140)로 출력할 수 있다.
일 실시예에 따르면, 상기 결정된 모드가 제2 모드이면서 슬로우 모션(Slow motion) 모드인 경우, 상기 영상 처리 장치(120)로부터 출력되는 픽셀 이미지의 프레임 레이트(Frame Rate)는 상기 이미지 생성부(110)로부터 상기 영상 처리 장치로 출력되는 상기 픽셀 이미지의 프레임 레이트(Frame Rate)의 1/10~1/40배일 수 있다. 상기 슬로우 모션(Slow motion) 모드는 촬영된 피사체의 움직임을 실제보다 느린 속도로 보여주는 것으로, 예를 들어, 상기 영상 처리 장치(120)는 사용자의 입력 신호에 따라 슬로우 모션(Slow motion) 모드로 동작할 수 있다.
영상 처리 장치(120)의 모드가 제3 모드로 결정되는 경우, 제어부(121)는 제3 경로 선택 신호를 생성할 수 있다. 제3 경로 선택 신호는 제1 스위치(131), 제1 멀티플렉서(132)에 각각 제1 레벨로 제공되는 복수의 신호와, 제2 스위치(133), 제2 멀티플렉서(134), 제3 스위치(135) 및 제3 멀티플렉서(136)에 각각 제2 레벨로 제공되는 복수의 신호를 포함할 수 있다. 이에, 제1 이미지 신호 처리부(122)는 제1 처리된 픽셀 이미지를 제1 스위치(131)와 제1 멀티플렉서(132)를 통해 제2 이미지 신호 처리부(123)로 출력할 수 있다. 제2 이미지 신호 처리부(123)는 제1 처리된 픽셀 이미지를 제2 처리하고, 제2 처리된 픽셀 이미지를 제2 스위치(133)와 제2 멀티플렉서(134)를 통해 압축부(124)로 출력할 수 있다. 압축부(124)는 제2 처리된 픽셀 이미지를 압축하고, 압축된 픽셀 이미지를 제3 스위치(135)와 제3 멀티플렉서(136)를 통해 인터페이스부(140)로 출력할 수 있다.
본 개시의 발명자들에 의해 확인된 바에 따르면, 상기 영상 처리 장치(120)가 제3 모드로 동작하는 경우 인터페이스부(140)에서 단위 시간당 더 적은 양의 데이터를 처리할 수 있으며, 더 적은 대역폭으로 영상을 전송할 수 있어 게이트 카운트 및 전력 소모 측면에서 효율성을 증대시킬 수 있다.
도 3a와 도 3b는 도 1에 도시된 이미지 센서가 스택 구조를 갖는 실시예를 도시한 개념도이다. 도 3a와 도 3b에서 도 2와 동일한 참조 부호는 동일 구성을 나타내며, 이하에서는 설명의 간략화를 위하여 이들에 대한 중복 설명을 생략한다.
도 3a을 참조하면, 이미지 센서(100a)는 제1 칩(50a), 제2 칩(50b) 및 제3 칩(50c)을 포함할 수 있다. 이미지 센서(100a)의 제1 칩(50a)에는 액티브 픽셀 센서(APS, active pixel sensor)(110a)가 구현될 수 있다. 제2 칩(50b)에는 영상 처리 장치(120a)가 구현될 수 있다. 제2 칩(50b)에 구현되는 영상 처리 장치(120a)는 도 2에서 설명한 구성 요소들을 포함할 수 있다. 제1 칩(50a) 또는 제2 칩(50b) 중 어느 하나에는 액티브 픽셀 센서(110a)와 연결되는 아날로그-디지털 컨버터(analog-digital converter)(110b)가 구현될 수 있다. 제3 칩(50c)에는 저장부(130)가 구현될 수 있다.
이미지 센서(100a)의 제1 칩(50a) 내지 제 3칩은 순차로 적층되는 스택 구조를 가질 수 있다. 제3 칩(50c)이 최하층, 제2 칩(50b)이 제3 칩(50c)에 적층되는 중간층, 제1 칩(50a)이 제2 칩(50b)에 적층되는 상위층일 수 있다. 또는, 이미지 센서(100a)는, 도면에는 도시되지 않았지만, 제2 칩(50b)이 최하층, 제3 칩(50c)이 제2 칩(50b)에 적층되는 중간층, 제1 칩(50a)이 제3 칩(50c)에 적층되는 상위층일 수도 있다.
이미지 센서(100a)는 제1 칩(50a)과 제2 칩(50b) 사이에서 픽셀 신호들을 전송하기 위한 복수의 신호 전송 라인들을 포함할 수 있다. 또한, 이미지 센서(100a)는 제2 칩(50b)과 제3 칩(50c) 사이에서 픽셀 신호들을 전송하기 위한 복수의 신호 전송 라인들을 포함할 수 있다.
또는, 이미지 센서(100a)는 제1 칩(50a)과 제2 칩(50b) 사이와 제2 칩(50b)과 제3 칩(50c) 사이에서 비접촉 전송 방식으로 픽셀 신호들은 전송하는 비접촉 전송부를 포함할 수 있다. 예를 들어, 비접촉 전송 방식은 자기 결합에 의한 전송 방식이나 정전 결합에 의한 전송 방식일 수 있으나, 이에 한정되는 것은 아니다.
도 3b를 참조하면, 이미지 센서(100b)는 액티브 픽셀 센서(110a)가 구현되는 제1 칩(50a)과 영상 처리 장치(120b)가 구현되는 제2 칩(50b)을 포함할 수 있다. 제2 칩(50b)에는 저장부(130)가 구현될 수 있다. 저장부(130)가 제2 칩(50b)에 구현되는 경우 영상 처리 장치(120b)와 저장부(130) 사이의 신호 전송 라인의 길이가 줄어들어 전송 효율이 향상될 수 있다. 또한, 스택 공정에서 발생하는 수율 저하를 개선할 수 있다.
도 4는 도 2, 도 3a 및 도 3b에 도시된 제1 이미지 신호 처리부(122)의 구성을 도시한 블록도이다.
도 2 내지 4를 참조하면, 제1 이미지 신호 처리부(122)는 불량 픽셀 검출부(122a)를 포함할 수 있다. 불량 픽셀 검출부(122a)는 이미지 생성부(110)로부터 입력 받은 픽셀 이미지(PI)에서 적어도 하나의 불량 픽셀을 검출할 수 있다. 예를 들어, 불량 픽셀 검출부(122a)는 픽셀 이미지(PI)의 복수의 픽셀들을 순차로 입력 받고, 순차로 입력 받은 복수의 픽셀들이 불량 픽셀인지 판단하여 불량 픽셀을 검출할 수 있다.
불량 픽셀 검출부(122a)는 픽셀 이미지(PI)에서 불량 픽셀을 검출하는 경우, 검출된 불량 픽셀에 대응하는 불량 픽셀 검출 신호(BP_det)를 생성할 수 있다. 불량 픽셀 검출 신호(BP_det)는 픽셀 이미지(PI)와 함께 제1 스위치(131)로 출력될 수 있다.
예를 들어, 불량 픽셀 검출 신호(BP_det)는 픽셀 이미지(PI)의 데이터와는 별개의 1 bit flag 일 수 있다. 또는, 불량 픽셀 검출 신호(BP_det)는 불량 픽셀의 픽셀 값을 '0' 등의 특정 값으로 설정하는 신호일 수 있다. 이 때, 불량 픽셀 검출 신호(BP_det)는 실제 픽셀 값이 0인 픽셀은 픽셀 값을 1로 치환할 수 있다.
또한, 불량 픽셀 검출부(122a)는 불량 픽셀뿐만 아니라 초점 검출 픽셀(Phase Detection pixel)를 검출하고, 초점 픽셀 검출 신호를 생성할 수 있다. 초점 픽셀 검출 신호는 픽셀 이미지와 함께 제1 스위치(131)로 출력될 수 있다.
불량 픽셀 검출부(122a)는 정적 검출부(122a-1)와 동적 검출부(122a-2)를 포함할 수 있다. 이미지 센서의 결함에 기인하여 액티브 픽셀 센서에는 영구 불량 픽셀이 포함될 수 있다. 정적 검출부(122a-1)는 액티브 픽셀 센서의 영구 불량 픽셀에 대응하는 픽셀 이미지의 불량 픽셀을 검출할 수 있다. 정적 검출부(122a-1)에서 검출되는 불량 픽셀을 정적 불량 픽셀이라고 한다.
정적 검출부(122a-1)는 메모리로부터 영구 불량 픽셀의 위치 정보를 입력 받고, 이미지 생성부(110)로부터 입력 받은 픽셀 이미지에서 픽셀의 좌표 값이 영구 불량 픽셀의 위치 정보에 포함되는 경우 픽셀을 불량 픽셀로 검출할 수 있다.
정적 검출부(122a-1)는 영구 불량 픽셀의 위치 정보를 저장한 메모리(도면 미도시)로부터 영구 불량 픽셀의 위치 정보를 입력 받고, 입력 받은 영구 불량 픽셀의 위치 정보에 기초하여 픽셀 이미지에서 불량 픽셀을 검출할 수 있다. 메모리는 이미지 센서에 연결된 외부 장치일 수 있고, 또는 이미지 센서에 포함되는 구성일 수 있다. 영구 불량 픽셀의 위치 정보는 이미지 센서의 양산 테스트 과정에서 검출된 불량 픽셀 위치 정보가 메모리에 저장된 것일 수 있다. 예를 들어, 영구 불량 픽셀의 위치 정보는 불량 픽셀들 각각의 좌표 정보일 수 있다.
동적 검출부(122a-2)는 이미지 생성부(110)에서 생성되는 매 프레임의 픽셀 이미지마다 무작위로 나타나는 불량 픽셀을 검출할 수 있다. 예를 들어, 동적 불량 픽셀은 사용에 의한 이미지 센서의 열화로 발생할 수 있으며, 촬영 조건에 따라 발생 위치가 변화될 수 있다. 동적 검출부(122a-2)에서 검출되는 불량 픽셀을 동적 불량 픽셀이라고 한다.
동적 검출부(122a-2)는 이미지 생성부(110)로부터 입력 받은 픽셀 이미지(PI)에서 어느 하나의 픽셀의 픽셀 값과 픽셀을 중심으로 하는 일정 영역 내의 주변 픽셀들의 픽셀 값들을 이용하여 동적 불량 픽셀을 검출할 수 있다. 일 실시예에 따르면, 어느 하나의 픽셀의 좌표 값이 (X1, Y1)인 경우에 주변 픽셀들은 (X1α, Y1 α)(α는 양의 정수)의 좌표 값을 갖는 픽셀들일 수 있다. 예를 들어, 픽셀 이미지에서 어느 하나의 픽셀의 좌표 값이 (3,3) (α는 1)인 경우, 픽셀의 주변 픽셀들이란, (2,2), (2,3), (2,4), (3,2), (3,4), (4,2), (4,3), (4,4)의 좌표 값을 갖는 픽셀들일 수 있다. 예를 들어, α는 픽셀 이미지의 픽셀 데이터의 크기 등에 따라 달라질 수 있다. 다만, 주변 픽셀들의 의미가 반드시 전술한 내용에 한정되는 것은 아니다.
동적 검출부(122a-2)는 주변 픽셀들의 픽셀 값들을 이용하여 불량 픽셀 판단 범위를 설정할 수 있다. 예를 들어, 주변 픽셀들의 평균 휘도 값을 계산하고, 계산 결과에서 일정 범위를 정상 픽셀 범위로 설정할 수 있다. 동적 검출부(122a-2)는 픽셀 이미지의 픽셀의 픽셀 값이 픽셀의 주변 픽셀들에 의해 도출된 정상 픽셀 범위에 포함되는지 확인할 수 있다. 동적 검출부(122a-2)는 픽셀 값이 정상 픽셀 범위에 포함되지 않는 경우 픽셀을 불량 픽셀로 검출할 수 있다.
영상 처리 장치(120)가 제2 모드 또는 제3 모드로 동작하는 경우, 압축부(124)는 불량 픽셀 검출 신호(BP_det)를 입력 받고, 불량 픽셀 검출 신호(BP_det)에 기초하여 픽셀 이미지를 압축할 수 있다. 예를 들어, 압축부(124)는 픽셀 이미지에서 검출된 적어도 하나의 불량 픽셀을 제외한 나머지 픽셀들의 픽셀 값들을 비교하고, 비교 결과에 따라 픽셀 이미지를 압축할 수 있다.
압축부(124)는 픽셀 이미지에서 일정 기준에 따라 복수의 픽셀들을 그룹화하여 픽셀 그룹을 생성할 수 있다. 압축부(124)는 픽셀 그룹의 픽셀 값과 참조 픽셀들의 픽셀 값을 비교하여 픽셀 이미지를 압축할 수 있다. 예를 들어, 참조 픽셀들은 픽셀 그룹과 인접하는 픽셀들일 수 있다. 또는, 참조 픽셀들은 픽셀 그룹과 인접하면서 먼저 압축이 완료된 픽셀 그룹의 픽셀들일 수 있다.
압축부(124)는 불량 픽셀 검출 신호(BP_det)를 이용하여 불량 픽셀을 제외하고 그룹화를 수행할 수 있다. 또한, 압축부(124)는 불량 픽셀 검출 신호(BP_det)를 이용하여 참조 픽셀들에서 불량 픽셀을 제외하고, 제외되지 않은 나머지 참조 픽셀들과 픽셀 그룹을 비교하여 그 비교 결과에 따라 픽셀 이미지를 압축할 수 있다.
또한, 압축부(124)는 불량 픽셀 검출부(122a)로부터 초점 픽셀 검출 신호를 입력 받은 경우, 불량 픽셀 검출 신호(BP_det)를 입력 받은 경우와 동일한 방식으로 압축을 수행할 수 있다.
도 5은 도 4에 도시된 제1 이미지 신호 처리부의 다른 실시예를 도시한 블록도이다. 도 6는 도 5에 도시된 압축부의 작동 방법을 설명하기 위한 그래프이다. 도 5에서 도 4와 동일한 참조 부호는 동일 구성을 나타내며, 이하에서는 설명의 간략화를 위하여 이들에 대한 중복 설명을 생략한다.
도 5를 참조하면, 제1 이미지 신호 처리부(122)는 고역 통과 필터부(122b)를 더 포함할 수 있다.
고역 통과 필터부(122b)는 픽셀 이미지(PI)에 대한 주파수 크기 값(FS, Frequency scalar)을 생성할 수 있다. 예를 들어, 픽셀 이미지(PI)의 주파수 크기 값은 촬영되는 피사체의 움직임 정도에 따라 결정될 수 있다. 또는, 픽셀 이미지(PI)의 주파수 크기 값은 촬영되는 영상이 이미지 센서 자체의 움직임에 의해 흔들리는 정도에 따라 결정될 수 있다. 고역 통과 필터부(122b)는 픽셀 이미지(PI)의 일정 영역의 주파수 크기 값을 생성할 수 있다. 예를 들어, 일정 영역은 동적 검출부(122a-2)에서 픽셀 이미지를 그룹화한 픽셀들에 대응하는 영역일 수 있다. 또는, 미리 설정된 일정 기준에 따라 픽셀 이미지를 블록화 하여 형성된 영역일 수 있다. 고역 통과 필터부(122b)는 생성된 주파수 크기 값을 픽셀 이미지와 함께 제1 스위치(131)로 출력할 수 있다.
영상 처리 장치(120)가 제2 모드 또는 제3 모드로 동작하는 경우, 압축부(124)는 픽셀 이미지에 대한 주파수 크기 값(FS)을 입력 받고, 주파수 크기 값(FS)에 기초하여 픽셀 이미지를 압축할 수 있다. 예를 들어, 압축부(124)는 픽셀 이미지의 일정 영역에 대한 주파수 크기 값(FS)에 기초하여 픽셀 이미지의 일정 영역에 대한 압축률을 결정할 수 있다.
도 6를 참조하면, 압축부(124)는 픽셀 이미지의 일정 영역에 대한 주파수 크기 값이 제1 기준 값(K1) 이하인 경우 상대적으로 높은 제1 압축률(H)을 선택하여 일정 영역에 적용할 수 있다. 압축부(124)는 일정 영역에 대한 주파수 크기 값이 제2 기준 값(K2) 이상인 경우 상대적으로 낮은 제2 압축률(L)을 선택하여 일정 영역에 적용할 수 있다. 압축부(124)는 일정 영역에 대한 주파수 크기 값이 제1 기준 값(K1)과 제2 기준 값(K2) 사이인 경우 제1 압축률과 제2 압축률 사이 값을 압축률로 선택하여 일정 영역에 적용할 수 있다. 예를 들어, 일정 영역에 대한 주파수 크기 값(FS)이 제1 기준 값(K1)과 제2 기준 값(K2) 사이인 경우 압축률은 주파수 크기 값(FS)에 따라 제1 압축률과 제2 압축률의 사이에서 선형적으로 감소할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 압축부(124)는 픽셀 이미지에서 픽셀과 주변 픽셀의 차이 값을 부호화 하는 알고리즘을 사용하는 경우에, 압축부(124)가 고주파수 영역에 대해서 평탄한 영역과 같은 압축률로 압축하면 픽셀 값의 손실이 커질 수 있다. 이에, 압축부(124)는 고주파 영역에 대해서는 압축률을 감소시켜 고주파 영역의 픽셀 값 손실을 줄일 수 있다.
도 7은 본 개시의 다른 실시예에 따른 영상 처리 장치의 구성을 도시하는 블록도이다. 도 8은 도 7에 도시된 움직임 로직 회로 작동을 설명하기 위한 그래프이다. 도 9는 도 7에 도시된 움직임 로직 회로의 작동 방법을 나타내는 흐름도이다. 도 7에서 도 2와 동일한 참조 부호는 동일 구성을 나타내며, 이하에서는 설명의 간략화를 위하여 이들에 대한 중복 설명을 생략한다.
도 7을 참조하면, 영상 처리 장치(120c)는 움직임 로직 회로(127)를 포함한다. 움직임 로직 회로(127)는 이미지 센서의 움직임을 분석하여 픽셀 이미지에 대한 압축률 제어 신호를 압축부(124)로 출력할 수 있다. 압축부(124)는 움직임 로직 회로(127)로부터 입력 받은 압축률 제어 신호에 응답하여 압축률을 증감시켜 픽셀 이미지를 압축할 수 있다.
움직임 로직 회로(127)는 움직임 검출 센서(400)로부터 이미지 센서의 움직임 신호를 입력 받을 수 있다. 움직임 검출 센서(400)는 이미지 센서의 움직임을 감지하여 움직임 신호를 생성하고, 생성된 움직임 신호를 움직임 로직 회로(127)로 출력할 수 있다. 예를 들어, 움직임 검출 센서(400)는 이미지 센서와 별도의 칩으로 구현되어 이미지 센서와 연결될 수 있다. 또는, 움직임 검출 센서(400)는 이미지 센서에 포함될 수 있다.
움직임 로직 회로(127)는 움직임 검출 센서(400)로부터 입력 받은 움직임 신호를 분석하고, 분석 결과 현재 움직임 상태 및/또는 미래 움직임 상태가 기준 레벨 이상인 경우 압축률을 증가시키기 위한 압축률 제어 신호를 생성할 수 있다. 또한, 움직임 로직 회로(127)는 현재 움직임 상태 및/또는 미래 움직임 상태가 기준 레벨 이하인 경우 압축률을 감소시키기 위한 압축률 제어 신호를 생성할 수 있다. 여기서, 기준 레벨 이상이라 함은 이미지 센서에서 생성되고 처리되는 이미지가 실제 사용되지 않는 상태를 의미할 수 있다. 예를 들어, 카메라가 활성화 되었지만 동영상 촬영이나 사진 촬영이 시작되기 전의 상태를 의미할 수 있다.
기준 레벨 이하라 함은 이미지 센서에서 생성되고 처리되는 이미지가 사용되는 상태를 의미할 수 있다. 예를 들어, 카메라가 동영상 촬영 중이거나 사진 촬영하는 상태를 의미할 수 있다.
일 실시예에 따르면, 움직임 로직 회로(127)는 현재 동영상 촬영이 진행중인 경우에는 움직임 분석 결과에 무관하게 압축률 제어 신호를 생성하지 않을 수도 있다.
도 8 및 도 9를 참조하면, 움직임 로직 회로(127)는 입력 받은 움직임 신호가 제1 기준 레벨 보다 높을 때(Ta 및 Tb 구간), 이미지 센서의 현재 움직임 상태는, 이미지 센서에서 생성되고 처리되는 이미지가 실제 사용되지 않는 상태인 것으로 판단할 수 있다. 이에, 움직임 로직 회로(127)는 압축률을 증가시키는 압축률 제어 신호를 생성할 수 있다.
움직임 로직 회로(127)는 입력 받은 움직임 신호가 제1 기준 레벨(V1)보다 낮을 때(Tb 및 Tc 구간), 이미지 센서의 현재 움직임 상태는, 이미지 센서에서 생성되고 처리되는 이미지가 실제 사용되는 상태인 것으로 판단할 수 있다. 이에 움직임 로직 회로(127)는 압축률을 감소시키는 압축률 제어 신호를 생성할 수 있다.
움직임 로직 회로(127)는 입력 받은 움직임 신호가 제1 기준 레벨(V1)보다 높아지면(Td 및 Te 구간), 이미지 센서의 현재 움직임 상태는, 이미지 센서에 의해 생성되고 처리되는 이미지가 실제 사용되지 않는 상태인 것으로 판단할 수 있다. 이에, 움직임 로직 회로(127)는 압축률을 감소시키는 압축률 제어 신호를 생성할 수 있다.
움직임 로직 회로(127)는 입력 받은 움직임 신호가 제2 기준 레벨(V2) 보다 낮아지면(Tb), 이미지 센서의 미래 움직임 상태는, 이미지 센서에 의해 생성되고 처리될 이미지가 실제 사용될 상태라고 판단할 수 있다. 이에, 움직임 로직 회로(127)는 압축률을 감소시키는 압축률 제어 신호를 생성할 수 있다.
움직임 로직 회로(127)는 입력 받은 움직임 신호가 제1 기준 레벨(V1) 보다 높아지면(Td 구간), 이미지 센서의 미리 움직임 상태는, 이미지 센서에 의해 생성되고 처리될 이미지가 실제 사용되지 않을 상태라고 판단할 수 있다. 이에, 움직임 로직 회로(127)는 압축률을 증가시키는 압축률 제어 신호를 생성할 수 있다.
도 10은 본 개시의 실시예에 따른 영상 처리 장치(120)의 제어 방법을 도시하는 흐름도이다.
도 2 및 도 10을 참조하면, 본 개시의 실시예에 따른 영상 처리 장치(120)는 이미지 생성부(110)를 통해 영상 처리 장치(120)로 입력 되는 픽셀 이미지(PI)의 프레임 레이트(Frame Rate)에 기초하여 모드가 결정될 수 있다.
예를 들어, 영상 처리 장치(120)는 입력 되는 픽셀 이미지의 프레임 레이트(Frame Rate)이 미리 설정된 제1 설정 범위 이내인 경우, 모드가 제1 모드로 결정될 수 있다. 영상 처리 장치(120)가 제1 모드인 경우, 제어부(121)는 제1 경로 선택 신호를 생성하고, 제1 경로 선택 신호를 제1 스위치(131), 제1 멀티플렉서(132) 제2 스위치(133) 및 제3 멀티플렉서(136)로 출력할 수 있다. 이에, 제1 모드에서 영상 처리 장치(120)는 제1 이미지 처리부가 픽셀 이미지를 제1 처리하고, 제2 이미지 처리부가 제1 처리된 픽셀 이미지를 제2 처리할 수 있다.
영상 처리 장치(120)는 입력 되는 픽셀 이미지의 프레임 레이트(Frame Rate)이 미리 설정된 제2 설정 범위 이내인 경우, 모드가 제2 모드로 결정될 수 있다. 영상 처리 장치(120)가 제2 모드인 경우, 제어부(121)는 제2 경로 선택 신호를 생성하고, 제2 경로 선택 신호를 제1 내지 제3 스위치(135) 및 제1 내지 제3 멀티플렉서(136)로 출력할 수 있다. 이에, 제1 모드에서 영상 처리장치는 제1 이미지 신호 처리부(122)가 픽셀 이미지를 제1 처리하고, 압축부(124)가 제1 처리된 픽셀 이미지를 압축하고, 압축된 픽셀 이미지를 저장부에 저장할 수 있다. 또한, 압축 해제부(126)가 저장부(125)로부터 출력되는 압축된 픽셀 이미지를 압축 해제하고, 제2 이미지 신호 처리부(123)가 압축 해제된 픽셀 이미지를 제2 처리할 수 있다..
영상 처리 장치(120)는 입력 되는 픽셀 이미지의 프레임 레이트(Frame Rate)이 미리 설정된 제3 설정 범위 이내인 경우, 모드가 제3 모드로 결정될 수 있다. 영상 처리 장치(120)가 제3 모드인 경우, 제어부(121)는 제3 경로 선택 신호를 생성하고, 제3 경로 선택 신호를 제1 내지 제3 스위치(135) 및 제1 내지 제3 멀티플렉서(136)로 출력할 수 있다. 이에, 제3 모드에서 영상 처리 장치(120)는 제1 이미지 신호 처리부(122)가 이미지를 제1 처리하고, 제2 이미지 신호 처리부(123)가 제1 처리된 픽셀 이미지를 제2 처리하고, 압축부(124)가 제2 처리된 픽셀 이미지를 압축하고, 제3 멀티플렉서(136)가 압축된 픽셀 이미지를 출력할 수 있다.
일 실시예에 따르면, 영상 처리 장치(120)는 전원 상태를 고려하여 모드가 결정될 수 있다. 영상 처리 장치(120)의 전원이 일정 기준 값 이하인 경우에는 전원 소비를 줄이기 위하여 픽셀 이미지의 프레임 레이트(Frame Rate)와 무관하게 미리 설정된 모드로 동작할 수 있다. 예를 들어, 미리 설정된 모드는 픽셀 이미지의 압축 단계를 거치지 않는 제1 모드일 수 있다.
이상, 첨부된 도면을 참조하여 본 발명의 기술적 사상에 따른 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해하여야 한다.
10: 전자 장치 100, 100a, 100b: 이미지 센서
110: 이미지 생성부 120, 120a, 120b, 120c: 영상 처리 장치
121: 제어부 122: 제1 이미지 신호 처리부
123: 제2 이미지 신호 처리부 124: 압축부
125: 저장 제어부 126: 압축 해제부
127: 움직임 로직 회로
131: 제1 스위치 132: 제1 멀티플렉서
133: 제2 스위치 134: 제2 멀티플렉서
135: 제3 스위치 136: 제3 멀티플렉서
130: 저장부 140: 인터페이스부
200: 애플리케이션 프로세서 300: 디스플레이
400: 움직임 검출 센서

Claims (21)

  1. 삭제
  2. 픽셀 이미지를 생성하는 이미지 생성부를 포함하는 제1 칩;
    외부로부터 인가되는 모드 설정 신호에 기초하여 복수의 모드 중 하나의 모드가 결정되고, 상기 결정된 모드에 따라 경로 선택 신호를 생성하고, 상기 경로 선택 신호에 응답하여 상기 픽셀 이미지를 처리하는 영상 처리 장치를 구비하는 제2 칩; 및
    상기 영상 처리 장치로부터 출력되는 상기 픽셀 이미지를 저장하는 저장부를 포함하는 제3 칩을 포함하며,
    상기 제3 칩 상에 상기 제2 칩이 적층되고, 상기 제2 칩 상에 상기 제1 칩이 적층되거나, 상기 제2칩 상에 상기 제3 칩이 적층되고, 상기 제3 칩 상에 제1 칩이 적층되고,
    상기 영상 처리 장치는,
    상기 이미지 생성부로부터 출력되는 상기 픽셀 이미지를 제1 처리하는 제1 이미지 신호 처리부;
    상기 이미지 신호 처리부의 출력단과 연결되며, 상기 경로 선택 신호에 응답하여 상기 제1 처리된 픽셀 이미지를 제11 출력 단자 또는 제12 출력 단자 중 어느 하나를 통해 출력하는 제1 스위치;
    상기 제1 처리된 픽셀 이미지를 압축하는 압축부;
    상기 압축부로부터 출력되는 상기 압축된 픽셀 이미지를 상기 저장부로 출력하고, 상기 저장부로부터 출력되는 상기 압축된 픽셀 이미지를 입력 받는 저장 제어부;
    상기 저장 제어부로부터 출력되는 상기 압축된 픽셀 이미지를 압축 해제하는 압축 해제부;
    상기 제1 스위치의 상기 제11 출력 단자에 연결되는 제11 입력 단자와 상기 압축 해제부의 출력단과 연결되는 제12 입력 단자를 포함하며, 상기 경로 선택 신호에 응답하여 상기 제11 입력 단자를 통해 입력 받은 제1 처리된 픽셀 이미지 또는 상기 제12 입력 단자를 통해 입력 받은 압축 해제된 픽셀 이미지 중 어느 하나를 출력하는 제1 멀티플렉서;
    상기 제1 멀티플렉서를 통해 출력되는 상기 제1 처리된 픽셀 이미지 또는 상기 압축 해제된 픽셀 이미지 중 어느 하나를 제2 처리하는 제2 이미지 신호 처리부; 및
    상기 결정된 모드에 상응하는 상기 경로 선택 신호를 생성하고, 상기 생성된 경로 선택 신호를 상기 제1 스위치 및 상기 제1 멀티플렉서로 출력하는 제어부를 포함하는 이미지 센서.
  3. 제2항에 있어서,
    상기 제1 이미지 신호 처리부는,
    상기 픽셀 이미지의 일정 영역의 주파수 크기 값을 생성하는 고역 통과 필터부를 포함하고,
    상기 압축부는 상기 고역 통과 필터부로부터 출력되는 상기 주파수 크기 값에 기초하여 상기 일정 영역에 대한 압축률을 조절하는 이미지 센서.
  4. 제2항에 있어서,
    상기 제1 이미지 신호 처리부는,
    상기 픽셀 이미지에서 불량 픽셀을 검출하여 불량 픽셀 검출 신호를 생성하는 불량 픽셀 검출부를 포함하고,
    상기 압축부는 상기 불량 픽셀 검출부로부터 출력되는 상기 불량 픽셀 신호에 기초하여 상기 픽셀 이미지를 압축하는 이미지 센서.
  5. 제2항에 있어서,
    상기 제어부는,
    상기 결정된 모드가 제1 모드인 경우, 제1 경로 선택 신호를 생성하고,
    상기 제1 경로 선택 신호에 응답하여,
    상기 제1 스위치는 상기 제1 처리된 픽셀 이미지를 상기 제11 출력 단자를 통해 출력하고, 상기 제1 멀티플렉서는 상기 제11 입력 단자를 통해 입력 받은 상기 제1 처리된 픽셀 이미지를 상기 제2 이미지 신호 처리부로 출력하는 이미지 센서.
  6. 제2항에 있어서,
    상기 제어부는,
    상기 결정된 모드가 제2 모드인 경우, 제2 경로 선택 신호를 생성하고,
    상기 제2 경로 선택 신호에 응답하여,
    상기 제1 스위치는 상기 제1 처리된 픽셀 이미지를 상기 제12 출력 단자를 통해 상기 압축부로 출력하고, 상기 제1 멀티플렉서는 상기 압축 해제된 픽셀 이미지를 상기 제2 이미지 신호 처리부로 출력하는 이미지 센서.
  7. 제2항에 있어서,
    상기 영상 처리 장치는,
    상기 제2 이미지 신호 처리부의 출력단과 연결되며, 상기 경로 선택 신호에 응답하여 상기 제2 처리된 픽셀 이미지를 제21 출력 단자 또는 제22 출력 단자 중 어느 하나를 통해 출력하는 제2 스위치;
    상기 제1 스위치의 제12 출력 단자와 연결되는 제21 입력 단자와 상기 제2 스위치의 상기 제22 출력 단자와 연결되는 제22 입력 단자를 포함하고, 상기 경로 선택 신호에 응답하여 상기 제1 처리된 픽셀 이미지 또는 상기 제2 처리된 픽셀 이미지 중 어느 하나를 상기 압축부로 출력하는 제2 멀티플렉서;
    상기 압축부의 출력단과 연결되며, 상기 경로 선택 신호에 응답하여 상기 압축된 픽셀 이미지를 제31 출력 단자 또는 제32 출력 단자 중 어느 하나를 통해 출력하는 제3 스위치; 및
    상기 제2 스위치의 제21 출력 단자와 연결되는 제31 입력 단자와 상기 제 3 스위치의 상기 제32 출력 단자와 연결되는 제32 입력 단자를 포함하며, 상기 경로 선택 신호에 응답하여 상기 제31 입력 단자를 통해 입력되는 상기 제2 처리된 픽셀 이미지 또는 상기 제32 입력 단자를 통해 입력되는 상기 압축된 픽셀 이미지를 출력하는 제3 멀티플렉서를 포함하는 이미지 센서.
  8. 제7항에 있어서,
    상기 제어부는
    상기 결정된 모드가 제3 모드인 경우, 제3 경로 선택 신호를 생성하고, 상기 생성된 제3 경로 선택 신호를 제1 내지 제3 스위치 및 제1 내지 제3 멀티플렉서로 출력하고,
    상기 제3 경로 선택 신호에 응답하여,
    상기 제1 스위치는 상기 제1 처리된 픽셀 이미지를 상기 제11 출력 단자를 통해 출력하고, 상기 제1 멀티플렉서는 상기 제1 처리된 픽셀 이미지를 상기 제2 이미지 신호 처리부로 출력하고, 상기 제2 스위치는 상기 제2 처리된 픽셀 이미지를 제22 출력 단자를 통해 출력하고, 상기 제2 멀티플렉서는 상기 제2 처리된 픽셀 이미지를 상기 압축부로 출력하고, 상기 제3 스위치는 상기 압축된 픽셀 이미지를 상기 제32 출력 단자를 통해 출력하고, 상기 제3 멀티플렉서는 상기 압축된 픽셀 이미지를 출력하는 이미지 센서.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 픽셀 이미지를 생성하는 이미지 생성부;
    상기 픽셀 이미지를 처리하는 영상 처리 장치;
    상기 픽셀 이미지를 저장하는 저장부를 포함하는 이미지 센서; 및
    모드 설정 신호를 생성하고, 상기 생성된 모드 설정 신호를 상기 영상 처리 장치로 전송하는 애플리케이션 프로세서를 포함하며,
    상기 영상 처리 장치는 상기 모드 설정 신호에 기초하여 상기 픽셀 이미지를 처리 하기 위한 경로를 선택하는 경로 선택 신호를 생성하고,
    상기 영상 처리 장치는 사용자의 입력 신호, 상기 픽셀 이미지의 분석 결과 및 상기 이미지 센서의 움직임 신호 중 적어도 하나에 기초하여 압축률을 선택하고, 상기 선택된 압축률에 따라 상기 픽셀 이미지를 압축하고,
    상기 영상 처리 장치는,
    상기 이미지 생성부로부터 출력되는 상기 픽셀 이미지를 제1 처리하는 제1 이미지 신호 처리부;
    상기 이미지 신호 처리부의 출력단과 연결되며, 상기 경로 선택 신호에 응답하여 상기 제1 처리된 픽셀 이미지를 제11 출력 단자 또는 제12 출력 단자를 통해 출력하는 제1 스위치;
    상기 제1 처리된 픽셀 이미지를 압축하는 압축부;
    상기 압축부로부터 출력되는 상기 압축된 픽셀 이미지를 상기 저장부로 출력하고, 상기 저장부로부터 출력되는 상기 압축된 픽셀 이미지를 입력 받는 저장 제어부;
    상기 저장 제어부로부터 출력되는 상기 압축된 픽셀 이미지를 압축 해제하는 압축 해제부;
    상기 제1 스위치의 상기 제11 출력 단자에 연결되는 제11 입력 단자와 상기 압축 해제부의 출력단과 연결되는 제12 입력 단자를 포함하며, 상기 경로 선택 신호에 응답하여 상기 제11 입력 단자를 통해 입력 받은 제1 처리된 픽셀 이미지 또는 상기 제12 입력 단자를 통해 입력 받은 압축 해제된 픽셀 이미지를 출력하는 제1 멀티플렉서;
    상기 제1 멀티플렉서를 통해 출력되는 상기 제1 처리된 픽셀 이미지 또는 상기 압축 해제된 픽셀 이미지를 제2 처리하는 제2 이미지 신호 처리부; 및
    상기 생성된 모드 설정 신호에 대응하는 상기 경로 선택 신호를 생성하고, 상기 생성된 경로 선택 신호를 상기 제1 스위치 및 상기 제1 멀티플렉서로 출력하는 제어부를 포함하는 전자 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 설정된 모드가 제1 모드인 경우, 제1 경로 선택 신호를 생성하고,
    상기 제1 경로 선택 신호에 응답하여,
    상기 제1 스위치는 상기 제1 처리된 픽셀 이미지를 상기 제11 출력 단자를 통해 출력하고, 상기 제1 멀티플렉서는 상기 제11 입력 단자를 통해 입력 받은 상기 제1 처리된 픽셀 이미지를 상기 제2 이미지 신호 처리부로 출력하는 전자 장치.
  14. 제12항에 있어서,
    상기 제어부는,
    상기 설정된 모드가 제2 모드인 경우, 제2 경로 선택 신호를 생성하고,
    상기 제2 경로 선택 신호에 응답하여,
    상기 제1 스위치는 상기 제1 처리된 픽셀 이미지를 상기 제12 출력 단자를 통해 상기 압축부로 출력하고, 상기 제1 멀티플렉서는 상기 압축 해제된 픽셀 이미지를 상기 제2 이미지 신호 처리부로 출력하는 전자 장치.
  15. 제12항에 있어서,
    상기 영상 처리 장치는,
    상기 제2 이미지 신호 처리부의 출력단과 연결되며, 상기 경로 제어 신호에 응답하여 상기 제2 처리된 픽셀 이미지를 제21 출력 단자 또는 제22 출력 단자 중 어느 하나를 통해 출력하는 제2 스위치;
    상기 제1 스위치의 제12 출력 단자와 연결되는 제21 입력 단자와 상기 제2 스위치의 상기 제22 출력 단자와 연결되는 제22 입력 단자를 포함하고, 상기 경로 선택 신호에 응답하여 상기 제1 처리된 픽셀 이미지 또는 상기 제2 처리된 픽셀 이미지 중 어느 하나를 상기 압축부로 출력하는 제2 멀티플렉서;
    상기 압축부의 출력단과 연결되며, 상기 경로 선택 신호에 응답하여 상기 압축된 픽셀 이미지를 제31 출력 단자 또는 제32 출력 단자 중 어느 하나를 통해 출력하는 제3 스위치; 및
    상기 제2 스위치의 제21 출력 단자와 연결되는 제31 입력 단자와 상기 제 3 스위치의 상기 제32 출력 단자와 연결되는 제32 입력 단자를 포함하며, 상기 경로 선택 신호에 응답하여 상기 제31 입력 단자를 통해 입력되는 상기 제2 처리된 픽셀 이미지 또는 상기 제32 입력 단자를 통해 입력되는 상기 압축된 픽셀 이미지 중 어느 하나를 출력하는 제3 멀티플렉서를 포함하는 전자 장치.
  16. 제15항에 있어서,
    상기 제어부는
    상기 설정된 모드가 제3 모드인 경우, 제3 경로 선택 신호를 생성하고, 상기 생성된 제3 경로 선택 신호를 제1 내지 제3 스위치 및 제1 내지 제3 멀티플렉서로 출력하고,
    상기 제3 경로 선택 신호에 응답하여,
    상기 제1 스위치는 상기 제1 처리된 픽셀 이미지를 상기 제11 출력 단자를 통해 출력하고, 상기 제1 멀티플렉서는 상기 제1 처리된 픽셀 이미지를 상기 제2 이미지 신호 처리부로 출력하고, 상기 제2 스위치는 상기 제2 처리된 픽셀 이미지를 제22 출력 단자를 통해 출력하고, 상기 제2 멀티플렉서는 상기 제2 처리된 픽셀 이미지를 상기 압축부로 출력하고, 상기 제3 스위치는 상기 압축된 픽셀 이미지를 상기 제32 출력 단자를 통해 출력하고, 상기 제3 멀티플렉서는 상기 압축된 픽셀 이미지를 출력하는 전자 장치.
  17. 제12항에 있어서,
    상기 제1 이미지 신호 처리부는,
    상기 픽셀 이미지의 일정 영역의 주파수 크기 값을 생성하는 고역 통과 필터부를 포함하고,
    상기 압축부는 상기 고역 통과 필터부로부터 출력되는 상기 주파수 크기 값에 기초하여 상기 일정 영역에 대한 압축률을 조절하는 전자 장치.
  18. 픽셀 이미지를 생성하는 단계;
    상기 픽셀 이미지의 프레임 레이트에 기초하여 복수의 모드 중 하나의 모드가 결정되고, 상기 결정된 모드에 따라 경로 선택 신호를 생성하는 단계; 및
    상기 경로 선택 신호에 응답하여 상기 픽셀 이미지를 압축하거나 상기 압축된 픽셀 이미지를 압축 해제하는 단계를 포함하며,
    상기 픽셀 이미지의 프레임 레이트가 제1 설정 범위 이내인 경우, 제1 모드가 결정되는 단계;
    상기 제1 모드에 따라 제1 경로 선택 신호를 생성하는 단계; 및
    상기 제1 경로 선택 신호에 응답하여 상기 픽셀 이미지를 제1 처리하고, 상기 제1 처리된 픽셀 이미지를 제2 처리하는 단계를 포함하고,
    상기 픽셀 이미지의 프레임 레이트가 제2 설정 범위 이내인 경우, 제2 모드가 결정되는 단계;
    상기 제2 모드에 따라 제2 경로 선택 신호를 생성하는 단계; 및
    상기 제2 경로 선택 신호에 응답하여 상기 픽셀 이미지를 제1 처리하고, 상기 제1 처리된 픽셀 이미지를 압축하고, 상기 압축된 픽셀 이미지를 저장부에 저장하고, 상기 저장부로부터 출력되는 상기 압축된 픽셀 이미지를 압축 해제하고, 상기 압축 해제된 픽셀 이미지를 제2 처리하는 단계를 포함하는, 영상 처리 장치 제어 방법.
  19. 삭제
  20. 제18항에 있어서,
    상기 픽셀 이미지의 프레임 레이트가 제3 설정 범위 이내인 경우, 제3 모드가 결정되는 단계;
    상기 제3 모드에 따라 제3 경로 선택 신호를 생성하는 단계; 및
    상기 제3 경로 선택 신호에 응답하여 상기 픽셀 이미지를 제1 처리하고, 상기 제1 처리된 픽셀 이미지를 제2 처리하고, 상기 제2 처리된 픽셀 이미지를 압축하고, 상기 압축된 픽셀 이미지를 출력하는 단계를 포함하는 영상 처리 장치 제어 방법.
  21. 삭제
KR1020180011881A 2018-01-31 2018-01-31 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치 KR102499033B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180011881A KR102499033B1 (ko) 2018-01-31 2018-01-31 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치
US16/124,348 US10904436B2 (en) 2018-01-31 2018-09-07 Image sensor and electronic device including the image sensor
CN201811465182.4A CN110113547B (zh) 2018-01-31 2018-12-03 图像传感器、电子装置以及控制图像处理装置的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180011881A KR102499033B1 (ko) 2018-01-31 2018-01-31 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20190092757A KR20190092757A (ko) 2019-08-08
KR102499033B1 true KR102499033B1 (ko) 2023-02-13

Family

ID=67392557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180011881A KR102499033B1 (ko) 2018-01-31 2018-01-31 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치

Country Status (3)

Country Link
US (1) US10904436B2 (ko)
KR (1) KR102499033B1 (ko)
CN (1) CN110113547B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570479B2 (en) 2020-04-24 2023-01-31 Samsung Electronics Co., Ltd. Camera module, image processing device and image compression method
US11823417B2 (en) 2020-07-16 2023-11-21 Samsung Electronics Co., Ltd. Camera module, image processing system and image compression method
KR20220048090A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템
CN112258470B (zh) * 2020-10-20 2021-10-08 上海大学 基于缺陷检测的工业图像临界压缩率智能分析系统及方法
CN113194313B (zh) * 2021-05-06 2022-09-27 展讯通信（上海）有限公司 视频帧压缩、解压方法和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030170003A1 (en) * 1999-09-03 2003-09-11 Alain P. Levesque Time-shifted video signal processing
WO2017057292A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69010366T2 (de) 1989-03-30 1994-12-01 Canon Kk Stehbild-Videokamera.
JPH10108121A (ja) 1996-09-25 1998-04-24 Nikon Corp 電子カメラ
US6650366B2 (en) 1998-03-26 2003-11-18 Eastman Kodak Company Digital photography system using direct input to output pixel mapping and resizing
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
US7064784B2 (en) * 2000-10-19 2006-06-20 Canon Kabushiki Kaisha Image pickup apparatus adapted to carry out parallel operations in a continuous image pickup mode, and a control method
JP2003046707A (ja) * 2001-07-31 2003-02-14 Canon Inc 撮像装置、情報処理装置およびそれらの制御方法、画像処理装置およびその方法、並びに、画像処理システム
US7456875B2 (en) * 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
US20040135903A1 (en) 2002-10-11 2004-07-15 Brooks Lane C. In-stream lossless compression of digital image sensor data
JP4193804B2 (ja) * 2005-02-03 2008-12-10 カシオ計算機株式会社 撮像装置、画像記憶装置、撮像方法、記憶方法及びプログラム
JP4680166B2 (ja) * 2006-10-30 2011-05-11 ソニー株式会社 撮像装置および撮像方法
JP2009044639A (ja) * 2007-08-10 2009-02-26 Hitachi Ltd 映像記録装置及び映像記録方法
DE102007055322B4 (de) * 2007-11-20 2012-09-06 Continental Automotive Gmbh Herstellungsverfahren für eine Kamera
JP5263767B2 (ja) * 2008-09-26 2013-08-14 株式会社ザクティ 撮像装置及びモード適否判定方法
EP2579570B1 (en) 2010-06-07 2017-01-04 Olympus Corporation Signal processing device and still image generation method
US8629919B2 (en) * 2010-08-18 2014-01-14 Canon Kabushiki Kaisha Image capture with identification of illuminant
US8637800B2 (en) * 2011-04-19 2014-01-28 Altasens, Inc. Image sensor with hybrid heterostructure
KR101885341B1 (ko) * 2011-10-20 2018-08-07 삼성전자 주식회사 디스플레이 드라이버와 이미지 데이터 처리 장치의 동작 방법
KR101893406B1 (ko) 2012-03-28 2018-08-30 삼성전자 주식회사 카메라의 이미지처리 장치 및 방법
CN110148605A (zh) * 2012-03-30 2019-08-20 株式会社尼康 拍摄单元、拍摄装置及拍摄控制程序
US9313378B2 (en) 2012-04-16 2016-04-12 Samsung Electronics Co., Ltd. Image processing apparatus and method of camera
EP2846538B1 (en) * 2012-05-02 2021-06-23 Nikon Corporation Imaging device
US11284133B2 (en) * 2012-07-10 2022-03-22 Avago Technologies International Sales Pte. Limited Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information
KR101953614B1 (ko) 2012-10-12 2019-05-22 삼성전자주식회사 카메라장치의 이미지처리장치 및 방법
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
KR102009165B1 (ko) * 2013-01-24 2019-10-21 삼성전자 주식회사 이미지 센서, 멀티 칩 패키지, 및 전자 장치
KR20150014007A (ko) * 2013-07-25 2015-02-06 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
US10321083B2 (en) * 2013-08-12 2019-06-11 Nikon Corporation Electronic apparatus, method for controlling electronic apparatus, and control program
EP2858195B1 (en) * 2013-10-07 2017-08-02 ABB Technology Oy Converter circuit
JP2015076502A (ja) * 2013-10-09 2015-04-20 ソニー株式会社 半導体装置およびその製造方法、並びに電子機器
US8830367B1 (en) 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
CN105934944B (zh) * 2013-11-26 2020-08-14 株式会社尼康 摄像元件及摄像装置
US9525001B2 (en) * 2014-12-30 2016-12-20 Taiwan Semiconductor Manufacturing Co., Ltd. Semiconductor device and manufacturing method thereof
US9491495B2 (en) 2015-01-16 2016-11-08 Analog Devices Global Method and apparatus for providing input to a camera serial interface transmitter
KR20160109586A (ko) 2015-03-12 2016-09-21 삼성전자주식회사 이미지 처리 시스템, 및 이를 포함하는 모바일 컴퓨팅 장치
US10863131B2 (en) 2015-05-20 2020-12-08 Samsung Electronics Co., Ltd. Image sensor including parallel output of pixel signals from a pixel unit and image processing system including the same
JP6608185B2 (ja) * 2015-06-18 2019-11-20 キヤノン株式会社 積層型イメージセンサおよび撮像装置
JP6604782B2 (ja) 2015-09-08 2019-11-13 キヤノン株式会社 画像処理装置
EP3512193B1 (en) * 2016-09-08 2024-05-29 Sony Group Corporation Imaging element and driving method, and electronic apparatus
KR102483548B1 (ko) * 2017-10-31 2023-01-02 삼성전자주식회사 이미지 센싱 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030170003A1 (en) * 1999-09-03 2003-09-11 Alain P. Levesque Time-shifted video signal processing
WO2017057292A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置

Also Published As

Publication number Publication date
CN110113547B (zh) 2023-06-27
US20190238751A1 (en) 2019-08-01
CN110113547A (zh) 2019-08-09
KR20190092757A (ko) 2019-08-08
US10904436B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
KR102499033B1 (ko) 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치
JP4321496B2 (ja) 画像データ処理装置、画像データ処理方法およびプログラム
JP4337911B2 (ja) 撮像装置、撮像回路、および撮像方法
US7760244B2 (en) Image generating apparatus and image generating method
US9721609B2 (en) Image capturing apparatus, image capturing system, and control method for the image capturing apparatus
US9049380B2 (en) Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus
JP5056370B2 (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム
US10366465B2 (en) Image capturing apparatus, method of controlling same, and storage medium
JP2002502577A (ja) 拡張ダイナミックレンジイメージングシステム及びその方法
JP4359773B2 (ja) 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム
US20170359471A1 (en) Imaging apparatus
JP2008113070A (ja) 撮像装置および撮像方法
JP2008124671A (ja) 撮像装置および撮像方法
JP4561649B2 (ja) 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
US20070098286A1 (en) Image coding apparatus and image processing system
US10397587B2 (en) Image processing apparatus and control method thereof
US10375348B2 (en) Image capturing apparatus operable to store captured image data in image memory, method of controlling same, and storage medium
JPH09186989A (ja) 画像信号の符号化圧縮装置および方法
JP4952409B2 (ja) 画像圧縮装置及びプログラム
JP2006197181A (ja) 固体撮像素子の信号処理装置および信号処理方法、並びに画像処理装置
JP2009130563A (ja) データ処理装置、データ処理方法およびデータ処理プログラム、ならびに、撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP2011175608A (ja) 画像処理装置及び画像処理方法
JP2002112086A (ja) カメラシステム、画像符号化装置および画像復号化装置
JP2009290556A (ja) 画像情報処理装置及び画像情報処理方法
JP2009130561A (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant