KR20140105133A - 이미지 신호 프로세싱 시스템 - Google Patents

이미지 신호 프로세싱 시스템 Download PDF

Info

Publication number
KR20140105133A
KR20140105133A KR1020130018974A KR20130018974A KR20140105133A KR 20140105133 A KR20140105133 A KR 20140105133A KR 1020130018974 A KR1020130018974 A KR 1020130018974A KR 20130018974 A KR20130018974 A KR 20130018974A KR 20140105133 A KR20140105133 A KR 20140105133A
Authority
KR
South Korea
Prior art keywords
image data
memory area
memory
processor
interface
Prior art date
Application number
KR1020130018974A
Other languages
English (en)
Inventor
배형섭
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020130018974A priority Critical patent/KR20140105133A/ko
Publication of KR20140105133A publication Critical patent/KR20140105133A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7867—Architectures of general purpose stored program computers comprising a single central processing unit with reconfigurable architecture
    • G06F15/7885—Runtime interface, e.g. data exchange, runtime control
    • G06F15/7889—Reconfigurable logic implemented as a co-processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 제1 프로세서에 인터페이스하는 제1 메모리 영역에 저장된 이미지 데이터를 제2 프로세서에 인터페이스하는 제2 메모리 영역으로 전달하는 메모리 장치를 갖는 이미지 신호 프로세싱 시스템을 개시한다. 이미지 신호 프로세싱 시스템은, 제1 프로세서, 제2 프로세서, 제1 인터페이스를 통하여 제1 프로세서와 인터페이스되는 제1 메모리 영역과, 제2 인터페이스를 통하여 제2 프로세서와 인터페이스되는 제2 메모리 영역을 포함하는 메모리 장치를 포함하고, 제1 프로세서는 제2 프로세서와 연결되는 디스플레이 장치를 구동하기 위하여 제1 메모리 영역에 저장된 이미지 데이터가 제2 메모리 영역으로 전달되도록 제어하는 메모리 콘트롤러를 포함한다.

Description

이미지 신호 프로세싱 시스템 {Image signal processing system}
본 발명은 디지털 이미징 장치들에 관한 것으로, 특히 디지털 이미징 장치를 이용하여 얻은 이미지 데이터를 프로세싱하는 이미지 신호 프로세싱 시스템에 관한 것이다.
휴대폰, 휴대용 매체 재생기, 모바일 컴퓨터와 같은 모바일 장치는 디지털 카메라 또는 디지털 비디오 레코더와 같은 디지털 이미징 장치를 통합하는 사양으로 개발되고 있다. 디지털 이미징 장치는 이미지 센서를 포함하고, 이미지 센서에 의해 캡쳐된 이미지 데이터는 이미지 프로세싱 파이프 라인에 의해 다수의 이미지 프로세싱 동작이 적용된다. 프로세싱된 결과 이미지는 모니터와 같은 디스플레이 장치에 표시될 수 있다. 프로세싱되는 이미지 데이터의 해상도와 프레임 레이트가 높아짐에 따라, 이에 부합하는 이미지 신호 프로세싱 시스템이 요구된다.
본 발명이 이루고자하는 기술적 과제는 프론트-엔드 프로세서에 인터페이스하는 제1 메모리 영역에 저장된 이미지 데이터를 백-엔드 프로세서에 인터페이스하는 제2 메모리 영역으로 바로 전달하는 메모리 장치를 갖는 이미지 신호 프로세싱 시스템을 제공하는 데 있다.
본 발명의 일면에 따른 메모리 장치는, 제1 인터페이스를 통하여 제1 프로세서와 인터페이스되는 제1 메모리 영역과, 제2 인터페이스를 통하여 제2 프로세서와 인터페이스되는 제2 메모리 영역을 구비하고, 제1 메모리 영역의 소정 영역에 저장된 데이터는 제2 메모리 영역으로 바로 전달되어 독출된다.
본 발명의 실시예들에 따라, 제1 메모리 영역은 제1 프로세서의 프로세싱 동안에 프로세싱되는 제1 이미지 데이터를 저장하고 저장된 제1 이미지 데이터를 독출하는 제1 서브 메모리 영역과, 제2 프로세서와 연결되는 디스플레이 장치를 구동하기 위하여 제2 메모리 영역으로 전달되는 제2 이미지 데이터를 저장하는 제2 서브 메모리 영역을 포함할 수 있다.
본 발명의 실시예들에 따라, 제2 이미지 데이터는 제1 프로세서와 연결된 이미지 센서로부터 출력되는 이미지 데이터, 디스플레이 장치의 크기에 맞도록 조정되는 이미지 데이터, 또는 디스플레이 장치에서 표시되는 이미지 데이터의 색상 규격에 맞도록 변환되는 이미지 데이터일 수 있다.
본 발명의 실시예들에 따라, 제1 메모리 영역은 제1 서브 메모리 영역과 제2 서브 메모리 영역 사이의 억세스는 어드레스 디코딩에 의해 중재될 수 있다.
본 발명의 실시예들에 따라, 제2 메모리 영역은 제2 프로세서의 프로세싱 동안에 프로세싱되는 제3 이미지 데이터를 저장하고 저장된 제3 이미지 데이터를 독출하는 제1 서브 메모리 영역과, 전달되는 제2 이미지 데이터를 저장하고 저장된 제2 이미지 데이터를 독출하는 제2 서브 메모리 영역을 포함할 수 있다.
본 발명의 실시예들에 따라, 메모리 장치는 제1 메모리 영역의 메모리 용량과 제2 메모리 영역의 메모리 용량은 서로 다를 수 있다.
본 발명의 실시예들에 따라, 메모리 장치는 제1 메모리 영역의 메모리 용량과 제2 메모리 영역의 메모리 용량은 서로 동일할 수 있다.
본 발명의 실시예들에 따라, 제1 및 제2 인터페이스는SDRAM (Synchronous Dynamic Random Access Memory) 인터페이스일 수 있다.
본 발명의 다른 면에 따른 이미지 신호 프로세싱 시스템은, 제1 프로세서, 제2 프로세서, 제1 인터페이스를 통하여 제1 프로세서와 인터페이스되는 제1 메모리 영역과, 제2 인터페이스를 통하여 제2 프로세서와 인터페이스되는 제2 메모리 영역을 포함하는 메모리 장치를 포함하고, 제1 프로세서는 제2 프로세서와 연결되는 디스플레이 장치를 구동하기 위하여 제1 메모리 영역에 저장된 이미지 데이터가 제2 메모리 영역으로 전달되도록 제어하는 메모리 콘트롤러를 포함한다.
본 발명의 실시예들에 따라, 메모리 콘트롤러는 제3 인터페이스를 통하여 제1 프로세서의 명령에 상응하는 정보, 제1 프로세서로부터 전달받은 정보 또는 제2 프로세서가 처리한 데이터를 디스플레이 장치를 통해 디스플레이되도록 제어할 수 있다.
본 발명의 실시예들에 따라, 제3 인터페이스는 직렬 인터페이스 종류인 I2C (Inter-Integrated Circuit) 또는 SPI (Serial Peripheral Interface) 중 어느 하나일 수 있다.
본 발명의 실시예들에 따라, 제1 프로세서는 제1 프로세서와 연결되는 이미지 센서에 의해 캡쳐된 이미지 데이터를 전송 및 저장하기 위해 이미지 인코딩 및 디코딩을 수행하거나, 인코딩 및 디코딩된 이미지 데이터의 노이즈를 감소하기 위해 보정할 수 있다.
상술한 본 발명의 이미지 신호 프로세싱 시스템은, 프론트-엔드 프로세서에 인터페이스하는 메모리 장치 내 제1 메모리 영역에 저장된 이미지 데이터를 백-엔드 프로세서에 인터페이스하는 메모리 장치 내 제2 메모리 영역으로 바로 전달하므로, 빠른 데이터 처리가 가능하며, 엔드 프로세서와 메모리 장치 사이의 MIPI 블락과 같은 인터페이스 블락을 필요로 하지 않는다. 또한, 이미지 신호 프로세싱 시스템은 제1 및 제2 메모리 영역의 플렉서블한 SDRAM 메모리 구조를 이용하여, 고해상도와 높은 프레임 레이트를 요구하는 이미지 데이터 전송에 부합한다.
도 1은 본 발명의 다양한 실시예들에 따른 이미지 신호 프로세싱 시스템을 설명하는 제1 예의 도면이다.
도 2는 도 1의 CSP 를 설명하는 블락 다이어그램이다.
도 3은 본 발명의 다양한 실시예들에 따른 이미지 신호 프로세싱 시스템을 설명하는 제2 예의도면이다.
도 4a 및 도 4b는 I2C 프로토콜을 설명하는 도면이다.
도 5는 SPI 프로토콜을 설명하는 도면이다.
도 6은 도 3의 메모리 장치를 설명하는 블락 다이어그램이다.
도 7 내지 도 9는 도 6의 메모리 장치의 메모리 구조를 설명하는 도면들이다.
도 10은 도 6의 메모리 장치와 접속하는 제1 및 제2 인터페이스를 설명하는 도면이다.
본 발명의 내용을 명세서 전반에 걸쳐 설명함에 있어서, 개개의 구성요소들 사이에서 ‘전기적으로 연결된다’, ‘연결된다’, ‘접속된다’의 용어의 의미는 직접적인 연결뿐만 아니라 속성을 일정 정도 이상 유지한 채로 중간 매개체를 통해 연결이 이루어지는 것도 모두 포함하는 것이다. 개개의 신호가 ‘전달된다’, ‘도출된다’등의 용어 역시 직접적인 전달 뿐만 아니라 신호의 속성을 어느 정도 이상 유지한 채로 중간 매개체를 통한 간접적인 것까지도 모두 포함된다. 기타, 전압 또는 신호가 ‘가해진다, ‘인가된다’, '입력된다' 등의 용어도, 명세서 전반에 걸쳐 모두 이와 같은 의미로 사용된다.
또한 각 구성요소에 대한 복수의 표현도 생략될 수 도 있다. 예컨대 복수 개의 스위치나 복수개의 신호선으로 이루어진 구성일지라도 ‘스위치들’, ‘신호선들’과 같이 표현할 수도 있고, ‘스위치’, ‘신호선’과 같이 단수로 표현할 수도 있다. 이는 스위치들이 서로 상보적으로 동작하는 경우도 있고, 때에 따라서는 단독으로 동작하는 경우도 있기 때문이며, 신호선 또한 동일한 속성을 가지는 여러 신호선들, 예컨대 어드레스 신호들이나 데이터 신호들과 같이 다발로 이루어진 경우도 있기 때문이며, 이를 굳이 단수와 복수로 구분할 필요가 없기 때문이기도 하다. 이런 점에서 이러한 기재는 타당하다. 따라서 이와 유사한 표현들 역시 명세서 전반에 걸쳐 모두 이와 같은 의미로 해석되어야 한다.
일반적으로 디지털 카메라에 사용되는 이미지 센서는 센서 인터페이스를 통해 이미지 프로세싱 유닛에 의해 동작되는 로우-베이어(RAW-Bayer) 및/또는 CMOS 타입일 수 있다. 이미지 해상도를 높이기 위해 증가하는 수요를 효과적으로 수행하기 위해 프로세서-투-카메라(processor-to-camera) 센서 인터페이스의 대역폭 용량을 그 성능 이상으로 추진하고 있다. 종래의 낮은 해상도와 낮은 프레임 (한장의 그림) 레이트에서는 병렬 인터페이스로 전달 가능하였으나, 해상도와 프레임 레이트가 계속 증가하는 추세에 따라 고속 직렬 인터페이스 MIPI-CSI가 사용될 수 있다.
MIPI는 모바일 시스템에서 거의 모든 칩 인터페이스를 정의하는 사양을 발표한다. 이러한 표준들 중 하나는 CSI (Camera Serial Interface)를 정의한 MIPI-CSI이다. MIPI-CSI 표준은 모바일 장치, 고속, 저전력, 비용 절감 및 상호 확장성뿐만 아니라 전체적인 전자 산업을 제공한다.
도 1은 본 발명의 다양한 실시예들에 따른 이미지 신호 프로세싱 시스템을 설명하는 제1 예의 도면이다.
도 1을 참조하면, 이미지 신호 프로세싱 시스템(100)은 렌즈(10), 이미지 센서(12) 및 카메라 스케일 프로세서(Camera Scale Processor : CSP, 100)를 포함한다. CSP (100)는 센서 인터페이스(112), 이미지 신호 프로세싱 유닛(114) 그리고 CPU (116)를 포함한다. 이미지 센서(12)는 이미지 센서(12)에 의해 검출된 광을 전기 신호로 변환하도록 구성된 다수의 광 검출기를 포함한다. 이미지 센서(12)는 이미지 센서에 의해 캡처된 광을 필터링하여 컬러 정보를 캡쳐하는 컬러 필터 어레이를 더 포함할 수 있다.
이미지 센서(12)에 의해 캡쳐된 이미지 데이터는 이미지 처리 파이프 라인인 센서 인터페이스(112)를 통해 이미지 신호 프로세싱 유닛(114)으로 전송된다. 이미지 데이터 전송 동안, 이미지 센서(12)는 I2C (Inter Integrated Circuit) 버스를 통해 CPU (116)에 의해 제어된다. 이미지 센서(12)는 CMOS 센서로 구현된 로우-베이어(RAW-Bayer) 이미지 센서일 수 있다.
센서 인터페이스(112)에 연결된 이미지 신호 프로세싱 유닛(114)은 베이어(Bayer) 프로세싱 유닛, RGB 프로세싱 유닛, 크기조정/회전/아핀-변환(Scaling/Rotating/Affine-Transform) 프로세싱 유닛 등을 포함할 수 있다. 이미지 프로세싱 유닛(114)은 각 유닛의 프로세싱을 제어하기 위하여, 예컨대 이미지 크기, 색 온도(color temperature) 또는 색 깊이(color depth)에 상응하는 구성 벡터(V)를 사용할 수 있다.
구성 벡터는 CPU (116)에 의해 라이트(write)되거나 펌웨어에 의해 라이트되고, 데이터의 프레임의 크기를 포함하는 프로세싱 유닛의 동작의 여러 측면을 제어한다. 예컨대, 이미지의 크기, 색의 깊이, 데드 픽셀 보상(Dead Pixel Alive), 렌즈 셰이딩 보상(Lens Shading Compensation), 적합 컬러 보간(Adaptive Color Interpolation), 컬러 보정(Color Correction), 감마 제어(Gamma Control), 색상/게인 제어(hue/Gain Control), 영상 효과(Image Effect), 자동 노출(Auto Exposure), 자동 화이트 밸런스(Auto White Balance) 등을 제어한다.
이미지 신호 프로세싱 유닛(114)에서 프로세싱된 이미지 데이터는, 도 2 에 도시된 바와 같이, 버스(122)를 통하여 JPEG 디코더부(118)로 전송될 수 있다.
도 2는 도 1의 CSP (110)를 설명하는 블락 다이어그램이다.
도 2를 참조하면, CSP (110)는 이미지 신호 프로세싱 유닛(114), CPU (116), 이미지 코덱부(118), 버스(120), 제1 메모리 콘트롤러(122), 그리고 제2 메모리 콘트롤러(124)를 포함한다.
이미지 코덱부(118)는 이미지 데이터를 전송 및 저장에 용이한 형태로 이미지 인코딩 및 디코딩을 수행한다. 이미지 코덱부(118)는 JPEG 코덱부(JPEG CODEC)로 구성되어 고해상도의 JPEG 이미지를 생성한다. JPEG (Joint Photographic Expert Group)는 이미지 데이터가 블록 단위로 압축되고, 디코딩하고자 하는 위치의 블록 데이터 압축 스트림을 파일의 처음부터 스캐닝해가면서 해당 위치를 찾아 복원하여 재생한다.
JPEG 압축의 최소 사양인 베이스라인 JPEG는, 이미지 데이터를 RGB에서 YIQ로 변환하고 각 컬러 성분(Y,I,G)의 이미지를 8x8 블록 단위의 매크로 블록으로 나눈 다음, DCT (Discrete Cosign Transform) 변환하고, 그 결과 값인 DCT 계수를 양자화(quantization) 테이블을 사용하여 계수마다 상이한 스텝 크기로 선형 양자화하여 시각적으로 중요한 부분과 덜 중요한 부분으로 분리하고, 중요한 부분은 살리고 덜 중요한 부분은 손실시켜 데이터 양을 줄인다. 8x8 블록 데이터는 최소 부호화 단위로서, 최소 블록 단위가 변경되면 블록 데이터의 크기도 변경될 수 있다.
매크로 블록 단위로 블록화되어 양자화된 DCT 계수는 하나의 DC 성분(직류)과 63개의 AC 성분(교류)으로 나타나며, DC 성분은 인접한 신호 간의 상관 관계를 고려하여 인접한 이전 블록과의 차분 신호를 부호화 (DPCM: Differential Pulse Code Modulation)하고, AC 성분은 블록마다 지그재그 스캔에 의해 일렬로 나열한 후 부호화(Run-Length Coding)한다.
JPEG 압축 방식에 의해 압축된 JPEG 이미지는 다수의 매크로 블록 단위로 경계를 이루게 되며, 각각의 매크로 블록은 하나의 DC 성분과 블록의 끝을 나타내는 EOB 코드로 구성하게 된다. JPEG 이미지를 구성하는 각 매크로 블록은 상호 종속적인 DC 값을 갖는다.
이미지 신호 프로세싱 유닛(114)은 JPEG 이미지 데이터의 노이즈를 개선하기 위하여 이미지를 보정한다. 이미지 신호 프로세싱 유닛(114)는 8x8 블록 데이터의 DC/AC 계수를 조정할 수 있다. 이미지 신호 프로세싱 유닛(114)는 블록 데이터에서 DC/AC 임계값(DC/AC Threshold value)에 따라 이미지 영역(Image area)을 분리한 다음, DC/AC 계수를 조정하거나 제어하여 노이즈를 감소시킨다(Noise reduction). 이미지 신호 프로세싱 유닛(114)는 AC 계수를 조정하여 블록성 잡음을 감소시킨다(Blocky effect reduction). 또한, 이미지 신호 프로세싱 유닛(114)는 DC/AC 계수를 조정하여 휘도 강화(Brightness enhancement)를 블록 데이터에 적용할 수 있다.
CPU (116)는 상술한 이미지 데이터를 프로세싱하는 방법을 구현하는데 필요한 하드웨어, 소프트웨어, 및/또는 펌웨어를 포함하는 마이크로 프로세서이다. CPU (116)는 SOC (System On Chip)에서 사용하는 ARM (Advanced RISC Machine) 프로세서 일 수 있다. CPU (116)는 이미지 데이터를 프로세싱하는 것과 관련된 일련의 복잡한 프로세스를 핸들링함에 있어서 VPU (Video Processing Unit) 이라고도 할 수 있는 GPU (Graphics Processing Unit)을 포함할 수 있다.
CPU (116)는 다양한 전자 게임 및 다른 어플리케이션에서 관심을 끄는 그래픽 이미지의 조작 및 렌더링(rendering) 처리할 수 있다. CPU (116)는, 소프트웨어 어플리케이션과 같은, 호스트로부터 명령어 및 이미지 데이터를 수신할 수 있다. 명령어는 이미지 데이터를 변경하여 렌더링된 이미지를 발생시키는데 필요한 계산 및 동작을 특정하는데 사용된다.
CPU (116)는 카메라 기능, 멀티미디어 데이터 재생 등의 부가 프로세스 기능을 제어할 수 있다. CPU (116)는 이미지 데이터를 디스플레이 장치(160)의 크기에 맞도록 축소, 확대 또는 크로핑(cropping)하며, 디스플레이 장치(160)에서 표시되는 이미지 데이터의 색상 규격에 맞도록 변환할 수 있다.
CPU (116)에 의해 처리될 명령어들 또는 이미지 데이터는 메모리 장치(130)에 저장될 수 있다. 메모리 장치(130)는 CSP (110) 외부에 존재하는 외장형 메모리 장치일 수 있다. CSP(110)는 제1 메모리 콘트롤러(122)를 통하여 메모리 장치(130)를 제어할 수 있다. 메모리 장치(130)는 SDRAM (Synchronous Dynamic Random Access Memory)과 같은 휘발성 메모리일 수 있다. 제1 메모리 콘트롤러(122)는 SDRAM의 동작을 제어하는 SDRAM 콘트롤러일 수 있다. 메모리 장치(130)는 기본 입출력 시스템(BIOS), 운영 체계, 다양한 프로그램들, 어플리케이션들, 또는 사용자 인터페이스 기능의 펌-웨어를 저장할 수 있다.
메모리 장치(130)는 센서 인터페이스(112)를 통하여 수신되는 이미지 센서(12, 도 1)로부터의 원본 이미지 데이터를 저장할 수 있다. 메모리 장치(130)에 저장된 원본 이미지 데이터는 이미지 신호 프로세싱 유닛(114)로 제공될 수 있다.
메모리 장치(130)는 CSP (110)의 동작 동안에 버퍼링 또는 캐싱을 위해 사용될 수 있다. 예컨대, 메모리 장치(130)는 이미지 데이터가 디스플레이 장치(160)로 출력될 때 이를 버퍼링하기 위한 하나 이상의 프레임 버퍼를 포함할 수 있다. 즉, 메모리 장치(130)는 이미지 데이터의 프로세싱 이전에, 이미지 데이터의 프로세싱 동안에, 그리고 이미지 데이터의 프로세싱 이후에 그 데이터를 저장한다.
메모리 장치(130)에 더하여, CSP (110)는 이미지 데이터 및/또는 명령어들의 영구 저장을 위해 비휘발성 저장 장치(140)와 접속될 수 있다. CSP (110)는 제2 메모리 콘트롤러(124)를 통해 비휘발성 저장 장치(140)와 연결된다. 비휘발성 저장 장치(140)는 제2 메모리 콘트롤러(124)에 의해 제어된다. 비휘발성 저장 장치(140)는 CSP (110) 외부에 존재하는 외장형 저장 장치일 수 있다.
비휘발성 저장 장치(140)는 플래쉬 메모리, 하드 드라이브, 또는 임의의 다른 광, 자기 및/또는 고상 저장 매체들, 또는 이들의 일부 조합들을 포함할 수 있다. 제2 메모리 콘트롤러(124)는 플래쉬 메모리를 제어하는 플래쉬 메모리 콘트롤러일 수 있다. 도 2에는 비휘발성 메모리 장치(140)가 단일 장치로 도시되어 있지만, 비휘발성 저장 장치(140)는 CSP (110)와 관련하여 동작하는 전술한 저장 장치들 중 하나 이상의 저장 장치들의 조합을 포함할 수 있다.
비휘발성 저장 장치(140)는 펌웨어, 데이터 파일들, 이미지 데이터, 소프트웨어 프로그램들 및 어플리케이션들, 무선 접속 정보, 개인 정보, 사용자 선호들 및 임의의 다른 적절한 데이터를 저장하는 데 사용될 수 있다. 비휘발성 저장 장치(140) 및/또는 메모리 장치(130)에 저장된 이미지 데이터는 디스플레이 상에 출력되기 전에 CSP (110)에 의해 처리될 수 있다.
CSP (110)를 통하여, 메모리 장치(130)에는 이미지 센서(12, 도 1)를 통해 캡쳐된 원본 이미지 데이터를 저장하기도 하지만, 카메라, 컴퓨터 등과 같은 전자 장치에 저장된 이미지 데이터를 저장할 수도 있다. 메모리 장치(130)는 메모리 장치(130)에 저장된 원본 이미지 데이터 또는 JPEG 이미지 데이터를 디스플레이 장치(160)로 전달하여 디스플레이할 수 있다. 디스플레이 장치(160)는 이미지 데이터를 디스플레이하거나 메뉴 및 명령을 사용자 인터페이스의 일부로서 디스플레이할 수 있다.
카메라, 컴퓨터, 및/또는 디스플레이 장치(160) 등과 같은 멀티미디어는, 카메라 기능, 멀티미디어 파일 재생, 3D 그래픽 등과 같은 부가 기능을 수행하기 위하여 멀티미디어 프로세서(Multimedia Processor; MMP) 또는 어플리케이션 프로세서(Application Processor; AP)에 의해 제어될 수 있다. MMP에 의해 수행되는 카메라 기능의 동작 모드는 프리뷰(Preview) 모드와 멀티미디어 동작 모드로 구분될 수 있다. 프리뷰 모드는 카메라 촬영 이전에 미리 보기를 위한 것이고, 멀티미디어 동작 모드는 카메라 촬영 명령 입력에 의한 촬영 동작 수행 모드이다.
CSP (110)는 이미지 데이터에 관한 프론트-엔드 프로세서로 칭할 수 있고, MMP 및/또는 AP는 후속 프로세서에 해당하므로 백-엔드 프로세서(150)로 칭할 수 있다. 백-엔드 프로세서(150)는 카메라, 컴퓨터, 및/또는 디스플레이 장치(160)와 연결될 수 있다. CSP (110)는 이미지 입출력부(126)를 통해 메모리 장치(130)에 저장된 이미지 데이터를 백-엔드 프로세서(150)로 전송한다.
이미지 입출력부(126)는 센서 인터페이스(112, 도 1)를 통해 이미지 센서(12, 도 1)로부터 출력되는 원시 이미지 데이터를 백-엔드 프로세서(150)로 전송할 수 있다. 이미지 출력부(126)는 백-엔드 프로세서(150)와 연결되는 디스플레이 장치(160)의 크기에 맞도록 조정된 이미지 데이터를 전송할 수 있다. 또한, 이미지 출력부(126)는 디스플레이 장치(160)에서 표시되는 이미지 데이터의 색상 규격에 맞도록 변환된 이미지 데이터를 출력할 수 있다. 이미지 입출력부(126)와 벡-엔드 프로세서(150) 사이에는 이미지 데이터 교환을 수행하는 인터페이스 유닛(128)가 연결된다.
인터페이스 유닛(128)은 이미지 데이터 전송 단위인 프레임을 전송하는 MIPI 및/또는 병렬 인터페이스를 포함할 수 있다. 프레임은 실질적인 이미지 정보 이외에 주소와 필수적인 프로토콜 제어 정보를 포함한다. 프레임은 비트 단위로 전송되며, 데이터의 앞 뒤에 헤드 필드와 트레일러 필드를 포함한다. 병렬 인터페이스는 이미지 데이터가 낮은 해상도와 낮은 프레임 레이트를 갖는 경우에 사용된다. 고속 직렬 인터페이스인 MIPI는 해상도와 프레임 레이트가 높은 이미지 데이터를 전송할 때 사용된다.
MIPI는 단방향의 데이터 라인과 클럭 라인으로 구성된 차동 신호를 이용하는 아날로그 회로들로 구성되고, 1 레인 (lane)당 80~1000 Mbps 전송 속도를 갖는다. MIPI IP 블락은 CSP (110) 칩 사이즈의 상당 부분을 차지한다. 이미지 데이터의 해상도와 프레임 레이트가 높아짐에 따라 이에 부합하는 새로운 인터페이스가 요구될 수 있다.
도 3은 본 발명의 다양한 실시예들에 따른 이미지 신호 프로세싱 시스템을 설명하는 제2 예의도면이다.
도 3을 참조하면, 이미지 신호 프로세싱 시스템(300)은 CSP (310), 메모리 장치(330), 그리고 백-엔드 프로세서(150)를 포함한다. CSP (310)는 도 2의 CSP (110)와 비교하여 인터페이스 유닛(128)을 포함하지 않는다는 점에서 차이가 있다. CSP (310)는 도 2의 인터페이스 유닛(128) 기능을 메모리 인터페이스로 대체하는 제1 메모리 콘트롤러(322)를 포함한다. CSP (310) 내 CPU (116), ISP (114), 이미지 코덱부(118), 제2 메모리 콘트롤러(124) 및 이미지 입출력부(126)는 도 2의 CSP (110) 내 동일한 참조 부호를 갖는 구성 요소들과 동일하다. 설명의 중복을 피하기 위하여, 이들 구성 요소들에 구체적인 설명은 생략된다.
제1 메모리 콘트롤러(322)는 제1 인터페이스(INTF.1) 및 제3 인터페이스(IINT.3)로 구성되는 듀플렉스 메모리 인터페이스(Duplex Memory Interface)를 통하여 메모리 장치(330) 및 백-엔드 프로세서(150)와 접속된다. 메모리 장치(330)는 SDRAM 과 같은 휘발성 메모리일 수 있다. 제1 메모리 콘트롤러(322)는 SDRAM의 동작을 제어하는 SDRAM 콘트롤러일 수 있다.
제1 메모리 콘트롤러(322)는 제1 인터페이스(INTF.1)를 통하여 CSP (310)와 메모리 장치(330) 사이의 이미지 데이터 전송을 제어하고, 이미지 입출력부(126)와 메모리 장치(330) 사이의 이미지 데이터 전송을 제어할 수 있다. 제1 인터페이스(INTF.1)는 CSP (310)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 SDRAM 메모리 장치(330)에 저장하거나, SDRAM 메모리 장치(330)에 저장된 이미지 데이터를 독출하기 위하여 사용된다. 제1 인터페이스(INTF.1)는 CSP (310, 도 3) 내 이미지 출력부(126)에서 출력되는 이미지 데이터를 SDRAM 메모리 장치(330)에 저장하고, SDRAM 메모리 장치(330)에 저장된 이미지 데이터는 MMP 및/또는 AP백-엔드 프로세서(150)로 전달하기 위하여 사용된다.
제1 메모리 콘트롤러(322)는 제3 인터페이스(INTF.3)를 통하여 백-엔드 프로세서(150)에 내장되는 메모리 영역을 제어할 수 있다. 백-엔드 프로세서(150)에 내장되는 메모리 영역은 백-엔드 프로세서(150)에 의해 프로세싱된 멀티미디어 데이터가 저장되는 비휘발성 메모리 영역일 수 있다. 도 3에서 나타난 백-엔드 프로세서(150)는 SDRAM 메모리 장치(330)과 데이터를 주고 받아야 하므로 제1 메모리 콘트롤러(322)와 유사한 기능을 갖는 포함하여야 한다. 이러한 기능의 포함은 백-엔드 프로세서(150)에 내재된 것이므로 굳이 도시하지는 않는다. 백-엔드 프로세서(150)는 디스플레(160)이 장치와 연결될 수 있다.
제3 인터페이스(INTF.3)는 CSP (310)의 명령에 상응하는 정보, CSP (310)으로부터 전달받은 정보 또는 백-엔드 프로세서(150)가 처리한 데이터가 디스플레이 장치(160)를 통해 디스플레이되도록 하기 위하여 사용된다. 제3 인터페이스(INTF.3)를 통하여, CSP (310)와 백-엔드 프로세서(150)는 디스플레이 장치(160)의 구동 명령, 구동 종료 명령, 또는 백-엔드 프로세서(150)의 내장 메모리 영역에 저장된 데이터의 처리 명령, 상태 정보 등을 송수신할 수 있다.
SDRAM 메모리 장치(330)는 제1 인터페이스(INTF.1)를 통해 라이트 엔드 인터럽트(write end interrupt)를 주고 받고, 제2 인터페이스(INTF.2)를 통해 리드 엔드 인터럽트(read end interrupt), 라이트 사이즈(write size) 또는 이미지 포맷(image format) 등을 주고 받을 수 있다. 라이트 엔드 인터럽트는 CSP (310)가 메모리 장치(330)로 이미지 데이터의 라이트 동작을 수행하는 경우, 이를 나타내는 정보를 MMP, AP 벡-엔드 프로세서(150)로 제공할 수 있다. 리드 엔드 인터럽트는 MMP, AP 벡-엔드 프로세서(150)가 메모리 장치(330)로부터 이미지 데이터 독출 동작을 수행하는 경우, 이를 나타내는 정보를 CSP (310)로 제공할 수 있다.
제3 인터페이스(INTF.3)는 직렬 인터페이스 종류인 I2C (Inter-Integrated Circuit) 또는 SPI (Serial Peripheral Interface) 중 어느 하나일 수 있다.
도 4a 및 도 4b는 I2C 프로토콜을 설명하는 도면이다.
도 4a 및 도 4b를 참조하면, I2C 프로토콜은 SDA (Serial Data) 신호와 SCL (Serial Clock input) 신호를 각각 주고 받는 2개 핀을 이용하여 마스터와 슬레이브가 통신한다. 도 4a에 도시된 바와 같이, SDA 신호만이 변화되는 부분에서 프로토콜의 시작과 끝을 알려줄 수 있게 된다. 도 4b에 도시된 바 와 같이, 시작과 끝 사이의 데이터는 SDA 신호가 SCL 신호를 포함하는 경우에만 유효하다.
도 5는 SPI 프로토콜을 설명하는 도면이다.
도 5를 참조하면, SPI 프로토콜은 SS (Slave select) 신호, SCLK (SPI Clock) 신호, SIMO (Single-Iuput Multiple-Output) 및 SOMI (Single-Output Multiple-Input) 신호를 각각 주고 받는 4개 핀을 가지고 통신을 수행한다. SS 신호는 슬레이브 선택 신호로서, SS 신호에 의해 마스터가 슬레이브를 선택할 수 있게 된다. SCLK 신호는 마스터에서 슬레이브 측으로 출력하는 클럭 신호로서, 마스터와 슬레이브는 SCLK 신호에 데이터를 실어준다. SOMI 신호는 마스터에서 슬레이브로 전달하는 신호로서, 마스터가 슬레이브로 데이터를 전달하는 경우에 사용되는 신호이다. SIMO 신호는 마스터가 슬레이브로부터 전달받는 신호로서, 마스터가 슬레이브로부터 데이터를 가져오는 경우에 사용되는 신호이다.
다시, 도 3에서, 메모리 장치(330)는 기본 입출력 시스템(BIOS), 운영 체계, 다양한 프로그램들, 어플리케이션들, 또는 사용자 인터페이스 기능의 펌-웨어를 저장할 수 있다. 메모리 장치(330)는 CSP (310)에 의한 이미지 데이터의 프로세싱 이전에, 이미지 데이터의 프로세싱 동안에, 그리고 이미지 데이터의 프로세싱 이후에 그 데이터를 저장한다.
메모리 장치(330)는 센서 인터페이스를 통하여 수신되는 이미지 센서(12, 도 1)로부터의 원본 이미지 데이터를 저장할 수 있다. 메모리 장치(330)에 저장된 원본 이미지 데이터는 이미지 신호 프로세싱 유닛(114)로 제공될 수 있다. 메모리 장치(330)는 CSP (310)의 동작 동안에 버퍼링 또는 캐싱을 위해 사용될 수 있다. 예컨대, 메모리 장치(330)는 이미지 데이터가 디스플레이 장치(160)로 출력될 때 이를 버퍼링할 수 있다.
또한, 메모리 장치(330)는 제2 인터페이스(INTF.2)를 통하여 백-엔드 프로세서(150) 의한 멀티미디어 데이터의 프로세싱 이전에, 멀티미디어 데이터의 프로세싱 동안에, 그리고 멀티미디어 데이터의 프로세싱 이후에 그 데이터를 저장한다. 메모리 장치(330)는 백-엔드 프로세서(310)의 동작 동안에 멀티미디어 데이터의 버퍼링 또는 캐싱을 위해 사용될 수 있다.
도 6은 도 3의 메모리 장치(330)를 설명하는 블락 다이어그램이다.
도 6을 참조하면, 메모리 장치(330)는 제1 메모리 영역(A)과 제2 메모리 영역(B)을 포함한다. 메모리 장치(330)가 SDRAM인 경우, 제1 및 제2 메모리 영역들(A, B)에는 행들 및 열들로 배열되는 복수개의 DRAM 셀들을 포함한다. 제1 메모리 영역(A)은 제1 서브 메모리 영역(A1)과 제2 서브 메모리 영역(A2)으로 구분된다. 제2 메모리 영역(B)도 제3 서브 메모리 영역(B1)과 제4 서브 메모리 영역(B2)으로 구분된다.
제1 인터페이스(INTF.1)는 제1 메모리 콘트롤러(322)인 SDRAM 콘트롤러와 SDRAM 메모리 장치(330) 사이에 연결된다. 제1 인터페이스(INTF.1)는 CSP (310, 도 3)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 SDRAM 메모리 장치(330)에 저장하거나, SDRAM 메모리 장치(330)에 저장된 이미지 데이터를 독출하기 위하여 사용된다. 또한, 제1 인터페이스(INTF.1)는 CSP (310, 도 3) 내 이미지 출력부(126)에서 출력되는 이미지 데이터를 SDRAM 메모리 장치(330)에 저장하고, SDRAM 메모리 장치(330)에 저장된 이미지 데이터는 MMP 및/또는 AP백-엔드 프로세서(150)로 전달하기 위하여 사용된다.
제1 인터페이스(INTF.1)는 제1 메모리 영역(A) 내 제1 서브 메모리 영역(A1)을 억세스하는 제1 서브 인터페이스(AI)와 제1 메모리 영역(A)의 제2 서브 메모리 영역(A2)을 억세스하는 제2 서브 인터페이스(BI)로 구성된다. 제1 서브 인터페이스(AI)와 제2 서브 인터페이스(BI) 사이에는 중재(Arbitration) 동작에 의해 제1 인터페이스(INTF.1)와 접속된다.
제1 서브 인터페이스(AI)는 CSP (310, 도 3)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 저장하거나, 저장된 이미지 데이터를 독출하기 위하여 사용된다. 제2 서브 인터페이스(BI)는 CSP (310, 도 3) 내 이미지 출력부(126)에서 출력되는 이미지 데이터를 저장하고, 저장된 이미지 데이터를 독출하기 위하여 사용된다. 제1 서브 인터페이스(AI)와 제2 서브 인터페이스(BI) 사이의 중재 동작은 어드레스 디코딩에 의해 이루어질 수 있다.
제2 인터페이스(INTF.2)는 SDRAM 메모리 장치(330)과 MMP 및/또는 AP백-엔드 프로세서(150) 사이에 연결된다. 제2 인터페이스(INTF.2)는 MMP 및/또는 AP백-엔드 프로세서(150)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 SDRAM 메모리 장치(330)에 저장하거나, SDRAM 메모리 장치(330)에 저장된 이미지 데이터를 독출하기 위하여 사용된다. 또한, 제2 인터페이스(INTF.2)는 SDRAM 메모리 장치(330)에 저장되어 있는 이미지 출력부(126)에서 출력된 이미지 데이터를 MMP 및/또는 AP백-엔드 프로세서(150)로 전달하기 위하여 사용된다.
제2 인터페이스(INTF.2)는 제2 메모리 영역(B) 전체 즉, 제3 서브 메모리 영역(B1)과 제4 서브 메모리 영역(B2) 를 억세스하는 제3 서브 인터페이스(CI)로 구성된다. 제2 메모리 영역(B) 내 제4 서브 메모리 영역(B2)은 제1 인터페이스(INTF.1)의 제2 서브 인터페이스(BI)에 접속될 수 있다. 이에 따라, 제2 메모리 영역(B)은 제2 서브 인터페이스(BI)와 제3 서브 인터페이스(CI)에 인터페이스되는 듀얼 포트 메모리로 구성될 수 있다.
도 7 내지 도 9는 도 6의 메모리 장치(330)의 메모리 구조를 설명하는 도면들이다.
도 7을 참조하면, 메모리 장치(300I)는 제1 메모리 영역(A)의 메모리 용량과 제2 메모리 영역(B)의 메모리 용량이 서로 다르다. 제2 메모리 영역(B)의 메모리 용량이 제1 메모리 영역(A)의 메모리 용량보다 크다. 예컨대, 제1 메모리 영역(A)의 어드레스 위스는 0x00 ~ 0x20 정도 이고, 제2 메모리 영역(B)의 어드레스 위스는 0x00 ~ 0x40 정도로 설정될 수 있다. 제1 및 제2 메모리 영역들(A, B)의 어드레스 위스는 다양하게 구성될 수 있다.
제1 메모리 영역(A)에서, 제1 서브 메모리 영역(A1)의 어드레스 위스는 0x00 ~ 0x10으로 설정되고, 제2 서브 메모리 영역(A2)의 어드레스 위스는 0x11 ~ 0x20으로 설정될 수 있다. 제1 및 제2 서브 메모리 영역들(A1, A2)의 어드레스 위스는 다양하게 구성될 수 있다.
제1 서브 메모리 영역(A1)은 제1 서브 인터페이스(AI)를 통하여 CSP (310, 도 3)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 저장하거나, 저장된 이미지 데이터를 독출할 수 있다. 제1 서브 메모리 영역(A1)은 프레임 버퍼나 어플리케이션을 위해 사용될 수 있다. 이에 따라, 제1 서브 메모리 영역(A1)은 데이터 메모리 영역이라고 칭할 수 있다.
제2 서브 메모리 영역(A2)은 제2 서브 인터페이스(BI)를 통하여 CSP (310, 도 3) 내 이미지 출력부(126)에서 출력되는 이미지 데이터를 저장할 수 있다. 제2 서브 메모리 영역(A2)에는 센서 인터페이스(112, 도 1)를 통해 이미지 센서(12, 도 1)로부터 출력된 원시 이미지 데이터, 백-엔드 프로세서(150, 도 2)와 연결되는 디스플레이 장치(160, 도 2)의 크기에 맞도록 조정된 이미지 데이터, 또는 디스플레이 장치(160, 도 2)에서 구동되는 이미지 데이터의 색상 규격에 맞도록 변환된 이미지 데이터를 저장할 수 있다. 제2 서브 메모리 영역(A2)에 저장된 이미지 데이터는 MMP 및/또는 AP백-엔드 프로세서(150)로 전달될 수 있다. 이에 따라, 제2 서브 메모리 영역(A2)은 이미지 메모리 영역이라고 칭할 수 있다.
제2 메모리 영역(B)에서, 제3 서브 메모리 영역(B1)의 어드레스 위스는 0x00 ~ 0x30으로 설정되고, 제4 서브 메모리 영역(B2)의 어드레스 위스는 0x31 ~ 0x40으로 설정될 수 있다. 제1 및 제2 서브 메모리 영역들(B1, B2)의 어드레스 위스는 다양하게 구성될 수 있다.
제1 및 제2 서브 메모리 영역들(B1, B2)은 제3 서브 인터페이스(CI)를 통하여 MMP 및/또는 AP백-엔드 프로세서(150)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 저장하거나, 저장된 이미지 데이터를 독출할 수 있다. 제3 서브 메모리 영역(B1)은 사용자 의도에 따라 사용될 수 있다.
제4 서브 메모리 영역(B2)은 제2 서브 인터페이스(BI)를 통하여 제1 메모리 영역(A)의 제2 서브 메모리 영역(A2)에서 독출된 이미지 데이터를 저장하여 독출할 수 있다. 제4 서브 메모리 영역(B2)은 이미지 센서(12, 도 1)로부터 출력된 원시 이미지 데이터, 백-엔드 프로세서(150, 도 2)와 연결되는 디스플레이 장치(160, 도 2)의 크기에 맞도록 조정된 이미지 데이터, 또는 디스플레이 장치(160, 도 2)에서 구동되는 이미지 데이터의 색상 규격에 맞도록 변환된 이미지 데이터를 독출할 수 있다.
도 8을 참조하면, 메모리 장치(300II)는 제1 메모리 영역(A)의 메모리 용량이 제2 메모리 영역(B)의 메모리 용량보다 크다. 예컨대, 제1 메모리 영역(A)의 어드레스 위스는 0x00 ~ 0x40 정도 이고, 제2 메모리 영역(B)의 어드레스 위스는 0x00 ~ 0x20 정도로 설정될 수 있다.
제1 메모리 영역(A)에서, 제1 서브 메모리 영역(A1)의 어드레스 위스는 0x00 ~ 0x30으로 설정되고, 제2 서브 메모리 영역(A2)의 어드레스 위스는 0x31 ~ 0x40으로 설정될 수 있다. 제1 서브 메모리 영역(A1)은 제1 서브 인터페이스(AI)를 통하여 CSP (310, 도 3)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 저장하거나, 저장된 이미지 데이터를 독출할 수 있다. 제1 서브 메모리 영역(A1)은 프레임 버퍼나 어플리케이션을 위해 사용될 수 있다.
제2 서브 메모리 영역(A2)은 제2 서브 인터페이스(BI)를 통하여 CSP (310, 도 3) 내 이미지 출력부(126)에서 출력된 이미지 데이터를 저장할 수 있다. 제2 서브 메모리 영역(A2)은 센서 인터페이스(112, 도 1)를 통해 이미지 센서(12, 도 1)로부터 출력된 원시 이미지 데이터, 백-엔드 프로세서(150, 도 2)와 연결되는 디스플레이 장치(160, 도 2)의 크기에 맞도록 조정된 이미지 데이터, 또는 디스플레이 장치(160, 도 2)에서 표시되는 이미지 데이터의 색상 규격에 맞도록 변환된 이미지 데이터를 저장할 수 있다. 제2 서브 메모리 영역(A2)에 저장된 이미지 데이터는 MMP 및/또는 AP백-엔드 프로세서(150)로 전달될 수 있다.
제2 메모리 영역(B)에서, 제3 서브 메모리 영역(B1)의 어드레스 위스는 0x00 ~ 0x10으로 설정되고, 제4 서브 메모리 영역(B2)의 어드레스 위스는 0x11 ~ 0x20으로 설정될 수 있다. 제1 및 제2 서브 메모리 영역들(B1, B2)은 제3 서브 인터페이스(CI)를 통하여 MMP 및/또는 AP백-엔드 프로세서(150)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 저장하거나, 저장된 이미지 데이터를 독출할 수 있다. 제3 서브 메모리 영역(B1)은 사용자 의도에 따라 사용될 수 있다.
제4 서브 메모리 영역(B2)은 제2 서브 인터페이스(BI)를 통하여 제1 메모리 영역(A)의 제2 서브 메모리 영역(A2)에서 독출된 이미지 데이터를 저장하여 독출할 수 있다. 제4 서브 메모리 영역(B2)은 이미지 센서(12, 도 1)로부터 출력된 원시 이미지 데이터, 백-엔드 프로세서(150, 도 2)와 연결되는 디스플레이 장치(160, 도 2)의 크기에 맞도록 조정된 이미지 데이터, 또는 디스플레이 장치(160, 도 2)에서 표시되는 이미지 데이터의 색상 규격에 맞도록 변환된 이미지 데이터를 독출할 수 있다.
도 9를 참조하면, 메모리 장치(300III)는 제1 메모리 영역(A)의 메모리 용량과 제2 메모리 영역(B)의 메모리 용량은 서로 동일하다. 예컨대, 제1 메모리 영역(A)의 어드레스 위스는 0x00 ~ 0x40 정도 이고, 제2 메모리 영역(B)의 어드레스 위스는 0x00 ~ 0x40 정도로 설정될 수 있다.
제1 메모리 영역(A)에서, 제1 서브 메모리 영역(A1)의 어드레스 위스는 0x00 ~ 0x30으로 설정되고, 제2 서브 메모리 영역(A2)의 어드레스 위스는 0x31 ~ 0x40으로 설정될 수 있다. 제1 서브 메모리 영역(A1)은 제1 서브 인터페이스(AI)를 통하여 CSP (310, 도 3)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 저장하거나, 저장된 이미지 데이터를 독출할 수 있다. 제1 서브 메모리 영역(A1)은 프레임 버퍼나 어플리케이션을 위해 사용될 수 있다.
제2 서브 메모리 영역(A2)은 제2 서브 인터페이스(BI)를 통하여 CSP (310, 도 3) 내 이미지 출력부(126)에서 출력된 원시 이미지 데이터, 백-엔드 프로세서(150, 도 2)와 연결되는 디스플레이 장치(160, 도 2)의 크기에 맞도록 조정된 이미지 데이터, 또는 디스플레이 장치(160, 도 2)에서 표시되는 이미지 데이터의 색상 규격에 맞도록 변환된 이미지 데이터를 저장할 수 있다. 제2 서브 메모리 영역(A2)에 저장된 이미지 데이터는 MMP 및/또는 AP백-엔드 프로세서(150)로 전달될 수 있다.
제2 메모리 영역(B)에서, 제3 서브 메모리 영역(B1)의 어드레스 위스는 0x00 ~ 0x30으로 설정되고, 제4 서브 메모리 영역(B2)의 어드레스 위스는 0x31 ~ 0x40으로 설정될 수 있다. 제1 및 제2 서브 메모리 영역들(B1, B2)은 제3 서브 인터페이스(CI)를 통하여 MMP 및/또는 AP백-엔드 프로세서(150)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 저장하거나, 저장된 이미지 데이터를 독출할 수 있다. 제3 서브 메모리 영역(B1)은 사용자 의도에 따라 사용될 수 있다.
제4 서브 메모리 영역(B2)은 제2 서브 인터페이스(BI)를 통하여 제1 메모리 영역(A)의 제2 서브 메모리 영역(A2)에서 독출된 이미지 데이터를 저장하여 독출할 수 있다. 제4 서브 메모리 영역(B2)은 이미지 센서(12, 도 1)로부터 출력된 원시 이미지 데이터, 백-엔드 프로세서(150, 도 2)와 연결되는 디스플레이 장치(160, 도 2)의 크기에 맞도록 조정된 이미지 데이터, 또는 디스플레이 장치(160, 도 2)에서 표시되는 이미지 데이터의 색상 규격에 맞도록 변환된 이미지 데이터를 독출할 수 있다.
도 7 내지 도 9의 메모리 장치들(300I, 300II, 300III)은, 제1 서브 메모리 영역(A1, B1) 및 제2 서브 메모리 영역(A2, B2)의 어드레스 위스들을 전송되는 이미지 데이터의 크기에 따라 변경할 수 있다. 이에 따라, 이미지 신호 프로세싱 시스템(300)은 메모리 장치(300I, 300II, 300III)의 플렉서블한 메모리 구조를 이용하여, 고해상도와 높은 프레임 레이트를 요구하는 이미지 데이터 전송에 부합한다.
도 10은 도 6의 메모리 장치(330)와 인터페이스하는 제1 및 제2 인터페이스(INTF1, INTF2)를 설명하는 도면이다.
도 10을 참조하면, 제1 및 제2 인터페이스(INTF.1, INTF.2)는 SDRAM의 핀(또는 포트) 구성으로 이루어진다. 제1 및 제2 인터페이스(INTF.1, INTF.2)는 데이터 입출력 신호 핀(DQ), 어드레스 신호 핀(ADDR), 로우 어드레스 스트로브 신호 핀(RASB), 칼럼 어드레스 스트로브 신호 핀(CASB), 클럭 인에이블 신호 핀(CKE), 데이터 스트로브 신호 핀(DQS), 라이트 인에이블 신호 핀(WEB), 뱅크 어드레스 신호 핀(BA), 칩 선택 신호 핀(CSB), 그리고 클럭 신호 핀(CLK)으로 구성된다. 데이터 입출력 신호 핀(DQ), 어드레스 신호 핀(ADDR) 및 뱅크 어드레스 신호 핀(BA)의 수는 메모리 장치(330)의 메모리 용량에 따라 다양하게 구성될 수 있다.
도 11은 도 6의 메모리 장치의 제1 및 제2 메모리 영역을 설명하는 블락 다이어그램이다. 제1 및 제2 메모리 영역(A, B)은 도 10의 SDRAM 인터페이스로 인터페이스되므로, 설명의 중복을 피하기 위하여 제1 메모리 영역(A)에 대하여 설명한다.
도 11을 참조하면, 제1 메모리 영역(A)은 DRAM 셀을 포함하는 메모리 셀 어레이(1101)을 포함하고, 메모리 셀 어레이(1101)은 제1 서브 메모리 영역(A1)과 재2 서브 메모리 영역(A2)으로 나뉘어진다. 메모리 셀 어레이(1101)는 다수개의 뱅크들로 구성될 수 있다. 또한, 제1 메모리 영역(A)은 DRAM 셀을 구동하기 위한 각종 회로 블록들을 구비할 수 있다. 예컨대, 타이밍 레지스터(1102)는 칩 선택 신호(CS)가 비활성화 레벨(예컨대 로직 하이)에서 활성화 레벨(예컨대 로직 로우)로 변화될 때 활성화될 수 있다.
타이밍 레지스터(1102)는 외부로부터 클럭 신호(CLK), 클럭 인에이블 신호(CKE), 칩 선택 신호(CSB), 로우 어드레스 스트로브 신호(RASB), 칼럼 어드레스 스트로브 신호(CASB), 기입 인에이블 신호(WEB) 등의 커맨드(CMD) 신호를 수신하고, 수신된 커맨드 신호를 처리하여 회로 블록들을 제어하기 위한 각종 내부 커맨드 신호들(LRAS, LCBR, LWE, LCAS, LWCBR)을 생성할 수 있다.
타이밍 레지스터(1102)로부터 생성된 일부 내부 커맨드 신호들은 프로그래밍 레지스터(1104)에 저장된다. 예컨대, 데이터 출력에 관계된 레이턴시(Latency) 정보나 버스트 길이(Burst Length) 정보 등이 프로그래밍 레지스터(1104)에 저장될 수 있다.
프로그래밍 레지스터(1104)에 저장된 내부 커맨드 신호들은 레이턴시/버스트 길이 제어부(1106)로 제공될 수 있으며, 레이턴시/버스트 길이 제어부(1106)는 데이터 출력의 레이턴시나 버스트 길이를 제어하기 위한 제어 신호를 칼럼 버퍼(1108)를 통하여 칼럼 디코더(1110)나 출력 버퍼(1112)로 제공할 수 있다.
어드레스 레지스터(1120)는 외부로부터 어드레스 신호(ADDR)와 뱅크 어드레스 신호(BA)를 수신할 수 있다. 로우 어드레스 신호는 로우 어드레스 버퍼(1122)를 통하여 로우 디코더(1124)로 제공될 수 있다. 또한, 칼럼 어드레스 신호는 칼럼 어드레스 버퍼(1108)를 통하여 칼럼 디코더(1110)로 제공될 수 있다.
로우 어드레스 버퍼(1122)는 리프레쉬 명령(LRAS, LCBR)에 응답하여 리프레쉬 카운터에서 발생하는 리프레쉬 어드레스 신호를 더 수신할 수 있으며, 로우 어드레스 신호나 리프레쉬 어드레스 신호 중 어느 하나를 로우 디코더(1124)로 제공할 수 있다. 또한, 어드레스 레지스터(1120)는 뱅크를 선택하기 위한 뱅크 어드레스 신호(BA)를 뱅크 선택부(1126)로 제공할 수 있다.
로우 디코더(1124)는 로우 어드레스 버퍼(1122)로부터 입력되는 로우 어드레스 신호 또는 리프레쉬 어드레스 신호를 디코딩하고, 메모리 셀 어레이(1101)의 워드라인을 활성화시킬 수 있다.
칼럼 디코더(1110)는 칼럼 어드레스 신호를 디코딩하고, 메모리 셀 어레이(1101)의 비트라인에 대한 선택 동작을 수행할 수 있다. 일레8로서, 칼럼 선택 라인(Column selection Line)이 반도체 메모리 장치(1100)에 적용되어, 칼럼 선택 라인을 통한 선택 동작이 수행될 수 있다.
센스 앰프(1130)는 로우 디코더(1124)와 칼럼 디코더(1110)에 의해 선택된 메모리 셀의 데이터를 증폭하고, 증폭된 데이터를 출력 버퍼(1112)로 제공할 수 있다. 데이터 셀의 기록을 위한 데이터는 데이터 입력 레지스터(1132)를 통하여 메모리 셀 어레이(1101)로 제공되며, 입출력 컨트롤러(1134)는 데이터 입력 레지스터(1132)를 통한 데이터 전달 동작을 제어할 수 있다.
제1 메모리 영역(A)과 제2 메모리 영역(B) 각각은 제1 인터페이스(INTF.1)의 칩 선택 신호(CSB)와 제2 인터페이스(INTF.2)의 칩 선택 신호(CSB)에 의해 선택된다.
제1 메모리 영역(A)에서, 제1 서브 메모리 영역(A1)과 제2 서브 메모리 영역(A2)은 제1 인터페이스(INTF.1)를 구성하는 뱅크 어드레스 신호(BA)에 의해 선택될 수 있고, 또는 어드레스 신호(ADDR)에 의해 선택될 수 있다. 즉, 뱅크 어드레스 신호(BA) 및/또는 어드레스 신호(ADDR)의 조합에 의해 제1 서브 메모리 영역(A1)과 제2 서브 메모리 영역(A2)의 어드레스 위스는 다양하게 구성될 수 있다. 제1 서브 메모리 영역(A1)은 CSP (310, 도 3)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 저장하고 저장된 이미지 데이터를 독출하고, 제2 서브 메모리 영역(A2)은 MMP, AP 벡-엔드 프로세서(150, 도 3)와 연결되는 디스플레이 장치(160, 도 2)를 구동하기 위한 이미지 데이터를 저장한다.
제2 메모리 영역(B)에서, 제3 서브 메모리 영역(B1)과 제4 서브 메모리 영역(B2)은 제2 인터페이스(INTF.2)를 구성하는 뱅크 어드레스 신호(BA) 및/또는 어드레스 신호(ADDR)의 조합에 의해 다양한 어드레스 위스로 구성될 수 있다. 제3 서브 메모리 영역(B1)과 제4 서브 메모리 영역(B2)은 뱅크 어드레스 신호(BA) 및/또는 어드레스 신호(ADDR)의 조합에 의해 선택될 수 있다. 제3 서브 메모리 영역(B1)은 MMP, AP 벡-엔드 프로세서(150, 도 3)의 프로세싱 동안에 프로세싱되는 이미지 데이터를 저장하고 저장된 이미지 데이터를 독출하고, 제4 서브 메모리 영역(B2)은 제1 메모리 영역(A)의 제2 서브 메모리 영역(A2)에서 전달되는 이미지 데이터를 저장하고 저장된 이미지 데이터를 독출한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 이미지 신호 프로세싱 시스템 110 카메라 스케일 프로세서(CSP)
112 센서 인터페이스 114 이미지 신호 프로세싱 유닛
116 CPU 118 이미지 코덱부
120 버스 122, 322 제1 메모리 콘트롤러
124, 324 제2 메모리 콘트롤러 126 이미지 입출력부
128 인터페이스 유닛 130, 330 메모리 장치
150 백-엔드 프로세서 160 디스플레이

Claims (15)

  1. 제1 인터페이스를 통하여 제1 프로세서와 인터페이스되는 제1 메모리 영역; 및
    제2 인터페이스를 통하여 제2 프로세서와 인터페이스되는 제2 메모리 영역을 구비하고,
    상기 제1 메모리 영역의 소정 영역에 저장된 데이터는 상기 제2 메모리 영역으로 전달되어 독출되는 것을 특징으로 하는 메모리 장치.
  2. 제1항에 있어서, 상기 제1 메모리 영역은
    상기 제1 프로세서의 프로세싱 동안에 프로세싱되는 제1 이미지 데이터를 저장하고, 상기 저장된 제1 이미지 데이터를 독출하는 제1 서브 메모리 영역; 및
    상기 제2 프로세서와 연결되는 디스플레이 장치를 구동하기 위하여, 상기 제2 메모리 영역으로 전달되는 제2 이미지 데이터를 저장하는 제2 서브 메모리 영역을 구비하는 것을 특징으로 하는 메모리 장치.
  3. 제2항에 있어서, 상기 제2 이미지 데이터는
    상기 제1 프로세서와 연결된 이미지 센서로부터 출력되는 이미지 데이터, 상기 디스플레이 장치의 크기에 맞도록 조정되는 이미지 데이터, 또는 상기 디스플레이 장치에서 표시되는 이미지 데이터의 색상 규격에 맞도록 변환되는 이미지 데이터인 것을 특징으로 하는 메모리 장치.
  4. 제2항에 있어서, 상기 제1 메모리 영역은
    상기 제1 서브 메모리 영역과 상기 제2 서브 메모리 영역 사이의 억세스는 어드레스 디코딩에 의해 중재되는 것을 특징으로 하는 메모리 장치.
  5. 제2항에 있어서, 상기 제2 메모리 영역은
    상기 제2 프로세서의 프로세싱 동안에 프로세싱되는 제3 이미지 데이터를 저장하고, 상기 저장된 제3 이미지 데이터를 독출하는 제3 서브 메모리 영역; 및
    상기 전달되는 제2 이미지 데이터를 저장하고, 상기 저장된 제2 이미지 데이터를 독출하는 제4 서브 메모리 영역을 구비하는 것을 특징으로 하는 메모리 장치.
  6. 제1항에 있어서, 상기 메모리 장치는
    상기 제1 메모리 영역의 메모리 용량과 상기 제2 메모리 영역의 메모리 용량은 서로 다른 것을 특징으로 하는 메모리 장치.
  7. 제1항에 있어서, 상기 메모리 장치는
    상기 제1 메모리 영역의 메모리 용량과 상기 제2 메모리 영역의 메모리 용량은 서로 동일한 것을 특징으로 하는 메모리 장치.
  8. 제1항에 있어서, 상기 제1 및 상기 제2 인터페이스는
    SDRAM (Synchronous Dynamic Random Access Memory) 인터페이스인 것을 특징으로 하는 메모리 장치.
  9. 제1 프로세서;
    제2 프로세서;
    제1 인터페이스를 통하여 상기 제1 프로세서와 인터페이스되는 제1 메모리 영역과, 제2 인터페이스를 통하여 상기 제2 프로세서와 인터페이스되는 제2 메모리 영역을 포함하는 메모리 장치를 구비하고.
    상기 제1 프로세서는, 상기 제2 프로세서와 연결되는 디스플레이 장치를 구동하기 위하여, 상기 제1 메모리 영역에 저장된 이미지 데이터가 상기 제2 메모리 영역으로 전달되도록 제어하는 메모리 콘트롤러를 구비하는 것을 특징으로 하는 이미지 신호 프로세싱 시스템.
  10. 제9항에 있어서, 상기 메모리 콘트롤러는
    제3 인터페이스를 통하여, 상기 제1 프로세서의 명령에 상응하는 정보, 상기 제1 프로세서로부터 전달받은 정보 또는 상기 제2 프로세서가 처리한 데이터를 상기 디스플레이 장치를 통해 디스플레이되도록 제어하는 것을 특징으로 하는 이미지 신호 프로세싱 시스템.
  11. 제10항에 있어서, 상기 제3 인터페이스는
    직렬 인터페이스 종류인 I2C (Inter-Integrated Circuit) 또는 SPI (Serial Peripheral Interface) 중 어느 하나인 것을 특징으로 하는 이미지 신호 프로세싱 시스템.
  12. 제9항에 있어서, 상기 제1 프로세서는
    상기 제1 프로세서와 연결되는 이미지 센서에 의해 캡쳐된 이미지 데이터를 전송 및 저장하기 위해 이미지 인코딩 및 디코딩을 수행하거나, 상기 인코딩 및 디코딩된 이미지 데이터의 노이즈를 감소하기 위해 보정하는 것을 특징으로 하는 이미지 신호 프로세싱 시스템.
  13. 제9항에 있어서, 상기 제1 메모리 영역은
    상기 제1 프로세서의 프로세싱 동안에 프로세싱되는 제1 이미지 데이터를 저장하고, 상기 저장된 제1 이미지 데이터를 독출하는 제1 서브 메모리 영역; 및
    상기 제2 메모리 영역으로 전달되는 제2 이미지 데이터를 저장하는 제2 서브 메모리 영역을 구비하는 것을 특징으로 하는 이미지 신호 프로세싱 시스템.
  14. 제13항에 있어서, 상기 제2 메모리 영역은
    상기 제2 프로세서의 프로세싱 동안에 프로세싱되는 제3 이미지 데이터를 저장하고, 상기 저장된 제3 이미지 데이터를 독출하는 제3 서브 메모리 영역; 및
    상기 전달되는 제2 이미지 데이터를 저장하고, 상기 저장된 제2 이미지 데이터를 독출하는 제4 서브 메모리 영역을 구비하는 것을 특징으로 하는 이미지 신호 프로세싱 시스템.
  15. 제9항에 있어서, 상기 제1 및 상기 제2 인터페이스는
    SDRAM (Synchronous Dynamic Random Access Memory) 인터페이스인 것을 특징으로 하는 이미지 신호 프로세싱 시스템.
KR1020130018974A 2013-02-22 2013-02-22 이미지 신호 프로세싱 시스템 KR20140105133A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130018974A KR20140105133A (ko) 2013-02-22 2013-02-22 이미지 신호 프로세싱 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130018974A KR20140105133A (ko) 2013-02-22 2013-02-22 이미지 신호 프로세싱 시스템

Publications (1)

Publication Number Publication Date
KR20140105133A true KR20140105133A (ko) 2014-09-01

Family

ID=51754201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130018974A KR20140105133A (ko) 2013-02-22 2013-02-22 이미지 신호 프로세싱 시스템

Country Status (1)

Country Link
KR (1) KR20140105133A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984083A (zh) * 2020-09-16 2023-04-18 华为技术有限公司 电子装置和电子装置的图像处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984083A (zh) * 2020-09-16 2023-04-18 华为技术有限公司 电子装置和电子装置的图像处理方法
CN115984083B (zh) * 2020-09-16 2023-09-29 华为技术有限公司 电子装置和电子装置的图像处理方法

Similar Documents

Publication Publication Date Title
US9554038B1 (en) Camera system transmission in bandwidth constrained environments
US10089710B2 (en) Image capture accelerator
US9906753B2 (en) Imaging device, imaging apparatus, and electronic apparatus
JPH07282238A (ja) 電子カメラのデジタル画像記憶装置
US10277807B2 (en) Image device and method for memory-to-memory image processing
US20130308014A1 (en) Moving-image capturing apparatus and electronic zoom method for moving image
JP2005092203A (ja) Ｙｕｖ表示バッファ
JP2001238190A (ja) 画像処理装置及びその制御処理方法
US20070065022A1 (en) Image signal processing apparatus and method
KR100663380B1 (ko) 촬상 장치 및 영상 신호 생성 방법
KR20140091058A (ko) 비디오 분석 및 인코딩을 위한 복수의 비디오 채널의 캡쳐
JP2002010277A (ja) デジタルスチルカメラシステムおよび方法
KR20140105133A (ko) 이미지 신호 프로세싱 시스템
CN109391788B (zh) 用于处理图像信号的系统
JP2001024929A (ja) ディジタルカメラ
US20140125821A1 (en) Signal processing circuit, imaging apparatus and program
TW577229B (en) Module and method for graphics display
CA2762356C (en) Apparatus, methods and systems for randomly accessing pixel data from streaming image sensor data
KR20140126841A (ko) 메모리 장치 및 이를 포함하는 이미지 신호 처리 시스템

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination