KR101111946B1 - 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법 - Google Patents

촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법 Download PDF

Info

Publication number
KR101111946B1
KR101111946B1 KR1020090125937A KR20090125937A KR101111946B1 KR 101111946 B1 KR101111946 B1 KR 101111946B1 KR 1020090125937 A KR1020090125937 A KR 1020090125937A KR 20090125937 A KR20090125937 A KR 20090125937A KR 101111946 B1 KR101111946 B1 KR 101111946B1
Authority
KR
South Korea
Prior art keywords
processor chip
image signal
frame memory
signal processor
interface
Prior art date
Application number
KR1020090125937A
Other languages
English (en)
Other versions
KR20110069271A (ko
Inventor
김왕현
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020090125937A priority Critical patent/KR101111946B1/ko
Priority to US12/883,746 priority patent/US20110149116A1/en
Publication of KR20110069271A publication Critical patent/KR20110069271A/ko
Application granted granted Critical
Publication of KR101111946B1 publication Critical patent/KR101111946B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

촬상 장치 및 칩 간의 메모리 공유 방법이 개시된다. 촬상 장치는 이미지 센서; 프레임 메모리가 구비되고, 상기 이미지 센서로부터 영상 신호를 수신하여 처리하는 이미지 시그널 프로세서 칩; 및 상기 이미지 시그널 프로세서 칩으로부터 제1 시리얼 인터페이스를 통해 영상 정보를 수신하고, 상기 이미지 시그널 프로세서 칩이 상기 이미지 센서로부터 상기 영상 신호를 수신하기 위한 제2 시리얼 인터페이스를 이용하여 상기 프레임 메모리에 접근하는 제어 프로세서 칩을 포함할 수 있다. 본 발명에 의하여, 카메라 기능이 구비된 이동통신 단말에 구비된 자원(resource)을 최대한 효율적으로 이용할 수 있다.
메모리, 공유, 포트

Description

촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법{Imaging device, image signal processor and method for sharing memory among chips}
본 발명은 촬상 장치에 관한 것으로, 특히 촬상 장치 및 칩 간의 효율적인 메모리 공유 방법에 관한 것이다.
최근 카메라 기능을 구비한 이동통신 단말, 디지털 카메라 등과 같이 다양한 촬상 장치들이 개발되고 있다. 이중 카메라 기능을 구비한 이동통신 단말의 경우 카메라 기능 수행을 위해 구비되는 다양한 칩들이 항상 동작되는 것이 아니라 기능에 따라 동작 여부가 결정된다.
도 1은 종래기술에 따른 카메라 기능을 구비한 이동통신 단말의 구성도이다.
도 1을 참조하면, 카메라 기능을 구비한 이동통신 단말은 이미지 센서(10), 이미지 시그널 프로세서 칩(20) 및 멀티미디어 프로세서 칩(30)를 포함한다. 도시된 멀티미디어 프로세서 칩(30)은 베이스밴드 칩일 수도 있다.
멀티미디어 프로세서 칩(30)은 I2C(Inter-Integrated Circuit)/SPI(Serial Peripheral Interface)를 통해서 이미지 시그널 프로세서 칩(20)을 제어하며, 이미지 시그널 프로세서 칩(20)은 입력받은 커맨드(command)에 따라 이미지 센서(10)를 제어한다.
이미지 센서(10)로부터 출력되는 영상 신호는 패러럴 인터페이스(Parallel I/F) 또는 고속 시리얼 인터페이스(serial interface)인 MIPI(Mobile Industry Processor Interface)
를 통해서 전송된다. 이미지 시그널 프로세서 칩(20) 역시 해당 영상 신호를 처리한 영상 정보를 멀티미디어 프로세서 칩(30) 또는 베이스밴드 칩으로 패러럴 인터페이스 또는 MIPI를 통해서 전송한다.
이미지 시그널 프로세서 칩(20)은 최근 포스트 프로세싱(post Processing)을 위해 메모리(예를 들어, DRAM)을 칩 내에 스택(stack)하여 구비한다. 포스트 프로세싱으로는 예를 들어 Still DIS, Motion DIS, CPS, Face detection, smile/blink detection, digital zoom, thumbnail 및 jpeg을 1개의 Vsync에 상응하도록 전송, image rotation 등이 있으며, 이러한 처리를 위한 프레임 메모리(Frame memory)로서 DRAM이 구비되고 있다.
최근 이미지 센서(10)가 8M/12M/13M/16M 화소 등으로 점차 고화소화되면서 일정한 시간에 대용량의 이미지 전송이 가능하도록 하기 위해서 고속 시리얼 인터페이스인 MIPI가 각광을 받고 있다.
도 2는 MIPI(Mobile Industry Processor Interface)를 구성하고 있는 CSI-2 와 CCI 인 인터페이스를 나타낸 도면이다.
CSI-2는 도시된 바와 같이 단방향의 데이터 라인과 클럭 라인으로 구성된 차동 신호(differential signal)이며, CCI 인터페이스는 I2C 프로토콜과 같다.
MIPI의 전송 속도는 송신기(transmitter), 수신기(receiver) 및 연결 상태에 따라서 달라지므로 정확한 전송 속도가 정의될 수는 없으나, MIPI 표준 문서에서는 l 레인(lane)당 80 ~ 1000Mbps의 전송 속도를 위한 솔루션(solution)을 제안하고 있다.
그러나, 종래 기술에 따른 카메라 기능이 구비된 이동통신 단말의 경우, 이미지 시그널 프로세서 칩이 구동되지 않는 경우 다른 칩에서 이미지 시그널 프로세서 칩 내에 구비된 메모리를 이용할 수 있도록 하는 효과적인 방안이 제시되지 못하고 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 카메라 기능이 구비된 이동통신 단말에 구비된 자원(resource)을 최대한 효율적으로 이용할 수 있도록 하는 촬상 장치 및 칩 간의 효율적인 메모리 공유 방법을 제공하기 위한 것이다.
또한, 본 발명은 카메라 기능이 구비된 이동통신 단말에 구비된 이미지 시그널 프로세서 칩이 사용되지 않는 경우 해당 칩 내에 구비된 메모리(예를 들어, DRAM)가 효율적으로 공유되도록 함으로서 다른 칩(예를 들어, 베이스밴드 칩, 멀티미디어 프로세서 칩 등 중 하나 이상)이 부가적인 기능 수행을 위해 공유되는 메모리를 이용할 수 있도록 하는 촬상 장치 및 칩 간의 효율적인 메모리 공유 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 촬상 장치로서, 이미지 센서; 프레임 메모리가 구비되고, 상기 이미지 센서로부터 영상 신호를 수신하여 처리하는 이미지 시그널 프로세서 칩(Image Signal Processor Chip); 및 상기 이미지 시그널 프로세서 칩으로부터 제1 시리얼 인터페이스(serial interface)를 통해 영상 정보를 수신하고, 상기 이미지 시그널 프로세서 칩이 상기 이미지 센서로부터 상기 영상 신호를 수신하기 위한 제2 시리얼 인터페이스를 이용하여 상기 프레임 메모리에 접근하는 제어 프로세서 칩을 포함하는 촬상 장치가 제공된다.
상기 제1 및 상기 제2 시리얼 인터페이스는 각각 MIPI(Mobile Industry Processor Interface)일 수 있다.
상기 이미지 프로세서 칩은, 상기 제1 시리얼 인터페이스를 통해 통신하기 위한 전송부; 상기 제2 시리얼 인터페이스를 통해 수신하기 위한 수신부; 상기 제어 프로세서 칩과 제3 시리얼 인터페이스를 통해 통신하기 위한 시리얼 I/F부; 상기 전송부, 상기 수신부 및 상기 프레임 메모리에 각각 연결되고, 상기 프레임 메모리를 제어하는 메모리 인터페이스 컨트롤러(Memory Interface Controller); 및 상기 제1 내지 상기 제3 시리얼 인터페이스 중 하나 이상에 대한 설정 정보를 기록되는 레지스터부를 포함할 수 있다.
상기 제어 프로세서 칩은 상기 제3 시리얼 인터페이스를 통해 상기 프레임 메모리로의 접근을 위한 커맨드를 전송하고, 상기 커맨드에 상응하도록 상기 레지스터부 및 상기 메모리 인터페이스 컨트롤러의 설정이 갱신될 수 있다.
상기 제3 시리얼 인터페이스는 I2C(Inter-Integrated Circuit) 및 SPI(Serial Peripheral Interface) 중 하나 이상일 수 있다.
상기 제어 프로세서 칩은 멀티미디어 프로세서 칩 및 베이스밴드 칩 중 하나 이상일 수 있다.
상기 프레임 메모리는 스택(stack)되어 상기 이미지 시그널 프로세서 칩에 구비될 수 있다.
상기 프레임 메모리는 DRAM일 수 있다.
본 발명의 다른 측면에 따르면, 이미지 센서, 이미지 시그널 프로세서 칩 및 제어 프로세서 칩을 포함하는 촬상 장치에서 수행되는 칩 간의 메모리 공유 방법으로서, 상기 이미지 시그널 프로세서 칩에 구비된 프레임 메모리로의 접근을 위 해, 상기 제어 프로세서 칩이 제1 시리얼 인터페이스를 통해 상기 이미지 시그널 프로세서 칩으로 미리 설정된 커맨드를 전송하는 단계; 및 상기 이미지 시그널 프로세서 칩이 상기 커맨드에 상응하여 상기 제어 프로세서 칩이 상기 프레임 메모리에 접근할 수 있도록 내부 설정을 갱신하는 단계를 포함하는 칩 간의 메모리 공유 방법이 제공된다.
상기 제1 시리얼 인터페이스는 I2C(Inter-Integrated Circuit) 및 SPI(Serial Peripheral Interface) 중 하나 이상일 수 있다.
상기 제어 프로세서 칩은 상기 이미지 시그널 프로세서 칩으로부터 제2 시리얼 인터페이스를 통해 영상 정보를 수신하고, 상기 이미지 시그널 프로세서 칩이 상기 이미지 센서로부터 영상 신호를 수신하기 위한 제3 시리얼 인터페이스를 이용하여 상기 프레임 메모리에 접근할 수 있다.
또한, 상기 제어 프로세서 칩은 상기 제2 시리얼 인터페이스를 통해 상기 프레임 메모리에 저장된 데이터를 제공받을 수도 있다.
상기 제2 및 상기 제3 시리얼 인터페이스는 각각 MIPI(Mobile Industry Processor Interface)일 수 있다.
상기 제어 프로세서 칩은 멀티미디어 프로세서 칩 및 베이스밴드 칩 중 하나 이상일 수 있다.
상기 프레임 메모리는 스택(stack)되어 상기 이미지 시그널 프로세서 칩에 구비될 수 있다.
상기 프레임 메모리는 DRAM일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 카메라 기능이 구비된 이동통신 단말에 구비된 자원(resource)을 최대한 효율적으로 이용할 수 있도록 하는 효과가 있다.
또한, 카메라 기능이 구비된 이동통신 단말에 구비된 이미지 시그널 프로세서 칩이 사용되지 않는 경우, 해당 칩 내에 구비된 메모리(예를 들어, DRAM)가 효율적으로 공유되도록 함으로서 다른 칩(예를 들어, 베이스밴드 칩, 멀티미디어 프로세서 칩 등 중 하나 이상)이 부가적인 기능 수행을 위해 공유되는 메모리를 이용할 수 있도록 하는 효과도 있다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생 략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재될 수 있는 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 3은 SPI 프로토콜을 나타낸 도면이고, 도 4a 및 도 4b는 I2C 프로토콜을 나타낸 도면이다. 이하, 도 3, 도 4(a) 및 도 4(b)를 참조하여 직렬 인터페이스의 종류인 SPI 통신과 I2C 통신의 경우 각 핀을 이용하여 발생되는 신호에 대해 간략히 설명한다.
도 3에 도시된 바와 같이, SPI의 경우 SS, SCLK, SIMO 및 SOMI 신호를 각각 주고 받는 4개의 핀을 가지고 통신을 수행한다.
먼저 SS(slave select) 신호는 슬레이브 선택 신호로 SS 신호에 의해 슬레이브를 마스터가 선택할 수 있게 된다.
SCLK(SPI Clock) 신호는 마스터에서 슬레이브측으로 출력하는 클럭 신호로서, 마스터와 슬레이브는 SCLK 신호에 데이터를 실어준다.
SOMI(Single-Output Multiple-Input) 신호는 마스터에서 슬레이브로 전달되는 신호로서 마스터가 슬레이브로 데이터를 전달하는 경우 사용되는 신호이다.
반면, SIMO(Single-Input Multiple-Output) 신호는 마스터가 슬레이브로부터 전달받는 신호로서 마스터가 슬레이브로부터 데이터를 가져오는 경우 사용되는 신호이다.
이러한 SPI에서는 SS 신호와 SCLK 신호가 발생되는 2개의 핀은 제어 라인이고 SIMO 신호와 SOMI 신호가 발생되는 2개의 핀은 데이터 라인이 된다.
도 4(a) 및 도 4(b)에 도시된 바와 같이, I2C 통신의 경우에는 SDA(Serial Data)와 SCL(Serial Clock input)이라는 2개의 핀을 이용하여 마스터와 슬레이브가 통신을 수행한다.
여기서, 도 4(a)에 도시된 바와 같이 SDA의 신호만이 변화되는 부분에서 프로토콜의 시작과 끝을 알려줄 수 있게 된다. 또한, 도 4(b)에 도시한 바와 같이 시작과 끝 사이의 데이터는 SDA의 신호가 SCL의 신호를 포함하는 경우에만 유효하게 된다.
이러한 조건을 충족하는 경우 SDA 신호가 발생되는 1개의 핀은 데이터 라인이고, SCL 신호가 발생되는 1개의 핀은 제어 라인이 된다.
도 5는 본 발명의 일 실시예에 따른 카메라 기능을 구비한 이동통신 단말의 구성도이고, 도 6은 본 발명의 일 실시예에 따른 이미지 시그널 프로세서 칩의 개략적인 블록 구성도이다.
도 5 및 도 6을 참조하면, 카메라 기능을 구비한 이동통신 단말은 이미지 센서(510), 이미지 시그널 프로세서 칩(520) 및 멀티미디어 프로세서 칩(530)를 포함한다. 도시된 멀티미디어 프로세서 칩(530)은 베이스밴드 칩일 수도 있다.
멀티미디어 프로세서 칩(530)(또는 베이스밴드 칩일 수 있으며, 이하 동일함)은 I2C(Inter-Integrated Circuit)/SPI(Serial Peripheral Interface)를 통해서 이미지 시그널 프로세서 칩(520)을 제어하며, 이미지 시그널 프로세서 칩(520)은 입력받은 커맨드(command)에 따라 이미지 센서(510)를 제어한다.
이미지 센서(510)로부터 출력되는 영상 신호는 패러럴 인터페이스(Parallel I/F) 또는 고속 시리얼 인터페이스(serial interface)인 MIPI(Mobile Industry Processor Interface)
를 통해서 전송된다. 이미지 시그널 프로세서 칩(520) 역시 해당 영상 신호를 처리한 영상 정보를 멀티미디어 프로세서 칩(530) 또는 베이스밴드 칩으로 패러럴 인터페이스 또는 MIPI를 통해서 전송한다.
이미지 시그널 프로세서 칩(520)은 최근 포스트 프로세싱(post Processing)을 위해 메모리(예를 들어, DRAM)을 칩 내에 스택(stack)하여 구비한다. 포스트 프로세싱으로는 예를 들어 Still DIS, Motion DIS, CPS, Face detection, smile/blink detection, digital zoom, thumbnail 및 jpeg을 1개의 Vsync에 상응하도록 전송, image rotation 등이 있으며, 이러한 처리를 위한 프레임 메모리(Frame memory)로서 예를 들어 DRAM이 구비될 수 있다.
만일 이동통신 단말의 카메라 기능이 사용되지 않는 경우, 이미지 시그널 프로세서 칩(520)은 스택되어있는 프레임 메모리(예를 들어, DRAM)을 포함하여 칩 자체가 파워다운(power down) 또는 파워오프(power off) 상태로 유지될 것이다.
이 경우, MIPI 전송부를 구비하고 있는 멀티미디어 프로세서 칩(530)은 이미지 시그널 프로세서 칩(520)에 스택되어있는 프레임 메모리를 이용하기 위해, I2C 또는 SPI 등의 시리얼 인터페이스를 통해 이미지 시그널 프로세서 칩(520)으로 프레임 메모리를 이용하기 위한 커맨드(즉, 프레임 메모리의 이용을 위한 이용 요청 커맨드)를 전송할 수 있다.
여기서, 해당 커맨드는 DRAM 제어기(예를 들어, MIC(Memory Interface Controller), 도 6 참조), DMA 등의 로직과 MIPI를 제어하는 로직의 레지스터 설정에 관한 것일 수 있으며, DRAM 제어기는 메모리 인터페이스 컨트롤러로서 프레임 메모리(예를 들어, DRAM)을 제어하는 모듈이고, DMA(Direct Memory Access)는 프레임 메모리를 사용하고자 하는 구성요소(예를 들어, MIPI 수신부)로부터 데이터를 받아 DRAM 제어기에 전달하는 블록일 수 있다.
전술한 커맨드를 수신한 이미지 시그널 프로세서 칩(520)은 DRAM 제어기 및 DMA 블록들의 레지스터를 설정하여 MIPI 수신부를 통해 수신된 데이터를 프레임 메모리로 넘기기 위한 준비를 수행한다.
이어서, 멀티미디어 프로세서 칩(530)은 시리얼 인터페이스를 통해 앞서 전송한 커맨드에 따른 설정이 완료되어, 이미지 시그널 프로세서 칩(520)에 스택된 프레임 메모리가 사용가능한지 확인한다. 이때, 해당 설정의 완료 여부는 시리얼 인터페이스를 통해 이미지 시그널 프로세서 칩(520) 내부의 미리 설정된 레지스터에 기록된 값을 리드(read)함으로써 확인할 수 있다.
해당 프레임 메모리가 사용 가능함을 확인한 멀티미디어 프로세서 칩(530)은 고속 시리얼 인터페이스인 MIPI를 사용하여 데이터를 이미지 시그널 프로세서 칩(520)에 스택된 프레임 메모리에 저장하거나 프레임 메모리에 저장된 데이터를 독출한다. 이를 위해, 멀티미디어 프로세서 칩(530)은 저장할 데이터를 MIPI를 통해 DRAM 제어기로 전송하여 프레임 메모리에 저장되도록 하고, 읽을 데이터를 DRAM 제어기로 요청하여 제공받게 된다.
전술한 바와 같이, 카메라 기능이 이용되지 않는 경우, 멀티미디어 프로세 서 칩(530)은 이미지 시그널 프로세서 칩(520)에 구비된 MIPI 수신부 및 DRAM 제어기와 통신함으로써 이미지 시그널 프로세서 칩(520)에 스택되어 있는 프레임 메모리를 이용할 수 있게 된다. 이를 위한 통신 경로는 도 5에 점선으로 표시되어 있으며, 앞서 도 1을 참조하여 설명한 통신 경로와 상이함을 확인할 수 있다.
이하, 도 6에 도시된 이미지 프로세서 칩(520)의 구성 요소들에 대해 간략히 설명한다. 도 6은 이미지 프로세서 칩(520)의 구성을 예시적으로 나타낸 것으로서, 이미지 프로세서 칩(520)의 구성이 이에 제한되지 않음은 당연하다.
도 6에 도시된, 주변 장치부는 GPIO, UART, PWM 등과 같은 주변 장치를 나타내고, 제어부는 8051, ARM 등의 중앙 처리 장치(central processing unit)일 수 있으며, 레지스터부는 이미지 시그널 프로세서 칩 내부 주변 장치부의 설정을 위한 레지스터일 수 있고, DRAM 제어기는 메모리 인터페이스 컨트롤러(Memory Interface Controller)로서 프레임 메모리(예를 들어, DRAM)을 제어하는 기능을 수행할 수 있다. 또한, 시리얼 I/F부는 I2C 또는 SPI 방식으로 통신되도록 하는 기능을 수행하고, MIPI 수신부와 MIPI 전송부는 MIPI를 통해 통신되도록 하는 기능을 수행한다.
상술한 칩 간의 효율적인 메모리 공유 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 종래기술에 따른 카메라 기능을 구비한 이동통신 단말의 구성도.
도 2는 MIPI(Mobile Industry Processor Interface)를 구성하고 있는 CSI-2 와 CCI 인 인터페이스를 나타낸 도면.
도 3은 SPI 프로토콜을 나타낸 도면.
도 4a 및 도 4b는 I2C 프로토콜을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 카메라 기능을 구비한 이동통신 단말의 구성도.
도 6은 본 발명의 일 실시예에 따른 이미지 시그널 프로세서 칩의 개략적인 블록 구성도.

Claims (16)

  1. 이미지 센서 및 이미지 시그널 프로세서 칩을 포함하는 촬상 장치의 상기 이미지 시그널 프로세서 칩에 있어서,
    프레임 메모리;
    상기 이미지 센서로부터 고속 직렬 인터페이스(High Speed Serial Interface) 방식으로 영상 신호를 수신하는 수신부;
    상기 영상 신호가 처리되어 생성된 영상 정보를 고속 직렬 인터페이스 방식으로 제어 프로세서 칩으로 출력하는 전송부;
    상기 제어 프로세서 칩과 시리얼(serial) 통신방식으로 통신하기 위한 시리얼 I/F부; 및
    상기 프레임 메모리, 상기 수신부 및 상기 전송부에 각각 연결되고, 상기 프레임 메모리를 제어하는 메모리 인터페이스 컨트롤러를 포함하되,
    상기 시리얼 I/F부를 통해 상기 제어 프로세서 칩으로부터 상기 프레임 메모리에 대한 이용 요청 커맨드가 수신되면, 상기 이용 요청 커맨드에 상응하여 상기 제어 프로세서 칩으로부터 고속 직렬 인터페이스 방식으로 상기 수신부로 수신되는 데이터를 상기 프레임 메모리에 저장하거나, 상기 프레임 메모리에 저장된 데이터를 고속 직렬 인터페이스 방식으로 상기 전송부를 통해 상기 제어 프로세서 칩으로 출력하는 것을 특징으로 하는 이미지 시그널 프로세서 칩.
  2. 제1항에 있어서,
    상기 이용 요청 커맨드는 상기 프레임 메모리로의 데이터 저장 또는 상기 프레임 메모리로부터의 데이터 독출을 위한 커맨드이고.
    상기 이용 요청 커맨드에 상응하여 상기 메모리 인터페이스 컨트롤러는 상기 프레임 메모리로의 데이터 저장 또는 상기 프레임 메모리로부터 데이터 독출을 위한 동작 상태로 전환되는 것을 특징으로 하는 이미지 시그널 프로세서 칩.
  3. 제2항에 있어서,
    임의의 정보를 기록하기 위한 레지스터부를 더 포함하되,
    상기 메모리 컨트롤러가 상기 데이터 저장 또는 상기 데이터 독출을 위한 동작 상태로 전환되면 이에 상응하는 정보가 상기 레지스터부에 기록되고,
    상기 제어 프로세서 칩은 상기 레지스터부에 기록된 정보를 확인함으로써 상기 메모리 인터페이스 컨트롤러의 동작 상태 전환을 인식하는 것을 특징으로 하는 이미지 시그널 프로세서 칩.
  4. 제1항에 있어서,
    상기 이미지 시그널 프로세서 칩은 상기 수신부로 상기 영상 신호가 입력되지 않는 동안에만, 상기 제어 프로세서 칩으로부터의 요청에 따라 상기 프레임 메모리로의 데이터 저장 또는 상기 프레임 메모리로부터의 데이터 독출을 수행하는 것을 특징으로 하는 이미지 시그널 프로세서 칩.
  5. 제1항에 있어서,
    상기 고속 직렬 인터페이스 방식은 MIPI(Mobile Industry Processor Interface)인 것을 특징으로 하는 이미지 시그널 프로세서 칩.
  6. 제1항에 있어서,
    상기 시리얼 통신방식은 I2C(Inter-Integrated Circuit) 및 SPI(Serial Peripheral Interface) 중 하나 이상인 것을 특징으로 하는 이미지 시그널 프로세서 칩.
  7. 제1항에 있어서,
    상기 제어 프로세서 칩은 멀티미디어 프로세서 칩 및 베이스밴드 칩 중 하나 이상인 것을 특징으로 하는 이미지 시그널 프로세서 칩.
  8. 제1항에 있어서,
    상기 프레임 메모리는 DRAM인 것을 특징으로 하는 이미지 시그널 프로세서 칩.
  9. 이미지 센서, 이미지 시그널 프로세서 칩 및 제어 프로세서 칩을 포함하는 촬상 장치에서 수행되는 이미지 시그널 프로세서 내에 구비된 프레임 메모리의 공유 방법으로서,
    상기 촬상 장치가 카메라 모드에서 동작하지 않는 경우, 상기 이미지 시그널 프로세서 칩이 상기 제어 프로세서 칩으로부터 시리얼 통신방식을 이용하여 상기 프레임 메모리로의 데이터 저장을 위한 제1 커맨드를 수신하는 단계;
    상기 이미지 시그널 프로세서 칩이 상기 제1 커맨드에 따라 상기 프레임 메모리로의 데이터 저장을 위한 동작 상태로 전환하는 단계;
    상기 이미지 시그널 프로세서 칩이 상기 제어 프로세서 칩으로부터 고속 직렬 인터페이스(High Speed Serial Interface) 방식인 제1 인터페이스 라인을 통해 데이터를 수신하는 단계; 및
    상기 이미지 시그널 프로세서 칩이 상기 수신되는 데이터를 상기 프레임 메모리에 저장하는 단계를 포함하는 칩 간의 메모리 공유 방법.
  10. 제9항에 있어서,
    상기 제1 인터페이스 라인을 통해 데이터를 수신하는 수신부는,
    상기 촬상 장치가 카메라 모드에서 동작하는 경우에는 상기 제1 인터페이스 라인을 통해 상기 이미지 센서로부터 영상 신호를 수신하는 것을 특징으로 하는 칩 간의 메모리 공유 방법.
  11. 제9항에 있어서,
    상기 이미지 시그널 프로세서 칩이 시리얼 통신방식을 이용하여 상기 제어 프로세서 칩으로부터 상기 프레임 메모리에 저장된 데이터의 독출을 위한 제2 커맨드를 수신하는 단계;
    상기 이미지 시그널 프로세서 칩이 상기 제2 커맨드에 따라 상기 프레임 메모리에 저장된 데이터 독출을 위한 동작 상태로 전환하는 단계; 및
    상기 이미지 시그널 프로세서 칩이 프레임 메모리에 저장된 데이터를 독출하여 상기 제어 프로세서 칩으로 고속 직렬 인터페이스 방식인 제2 인터페이스 라인을 통해 전송하는 단계를 더 포함하는 칩 간의 메모리 공유 방법.
  12. 제11항에 있어서,
    상기 제1 커맨드 또는 상기 제2 커맨드가 수신되어 상응하는 동작 상태로 전환되면 이에 관련된 정보가 레지스터부에 기록되고,
    상기 제어 프로세서 칩은 상기 레지스터부에 기록된 정보를 확인함으로써 상기 이미지 시그널 프로세서 칩의 동작 상태 전환을 인식하는 것을 특징으로 하는 칩 간의 메모리 공유 방법.
  13. 제11항에 있어서,
    상기 고속 직렬 인터페이스 방식은 MIPI(Mobile Industry Processor Interface)인 것을 특징으로 하는 칩 간의 메모리 공유 방법.
  14. 제9항에 있어서,
    상기 시리얼 통신방식은 I2C(Inter-Integrated Circuit) 및 SPI(Serial Peripheral Interface) 중 하나 이상인 것을 특징으로 하는 칩 간의 메모리 공유 방법.
  15. 제9항에 있어서,
    상기 제어 프로세서 칩은 멀티미디어 프로세서 칩 및 베이스밴드 칩 중 하나 이상인 것을 특징으로 하는 칩 간의 메모리 공유 방법.
  16. 제9항에 있어서,
    상기 프레임 메모리는 DRAM인 것을 특징으로 하는 칩 간의 메모리 공유 방법.
KR1020090125937A 2009-12-17 2009-12-17 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법 KR101111946B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090125937A KR101111946B1 (ko) 2009-12-17 2009-12-17 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법
US12/883,746 US20110149116A1 (en) 2009-12-17 2010-09-16 Imaging device and method for sharing memory among chips

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090125937A KR101111946B1 (ko) 2009-12-17 2009-12-17 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법

Publications (2)

Publication Number Publication Date
KR20110069271A KR20110069271A (ko) 2011-06-23
KR101111946B1 true KR101111946B1 (ko) 2012-02-14

Family

ID=44150537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090125937A KR101111946B1 (ko) 2009-12-17 2009-12-17 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법

Country Status (2)

Country Link
US (1) US20110149116A1 (ko)
KR (1) KR101111946B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015940A (zh) * 2015-11-12 2017-08-04 三星电子株式会社 包含由多处理器共享的存储器的多处理器系统及其方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8576293B2 (en) * 2010-05-18 2013-11-05 Aptina Imaging Corporation Multi-channel imager
US9883116B2 (en) 2010-12-02 2018-01-30 Bby Solutions, Inc. Video rotation system and method
US9229526B1 (en) * 2012-09-10 2016-01-05 Amazon Technologies, Inc. Dedicated image processor
EP2739049A1 (en) * 2012-11-29 2014-06-04 Axis AB Method and system for generating real-time motion video
KR102154190B1 (ko) * 2014-05-08 2020-09-09 삼성전자 주식회사 멀티칩으로 구성된 드라이버 집적 회로 및 이의 구동 방법
EP2950058B1 (en) 2014-05-28 2018-03-28 Axis AB Calibration data in a sensor system
EP2963557B1 (en) 2014-07-01 2017-06-21 Axis AB Methods and devices for finding settings to be used in relation to a sensor unit connected to a processing unit
US10104171B1 (en) * 2015-11-25 2018-10-16 EMC IP Holding Company LLC Server architecture having dedicated compute resources for processing infrastructure-related workloads
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10750097B2 (en) * 2017-08-14 2020-08-18 Facebooke Technologies, Llc Varying exposure time of pixels in photo sensor using motion prediction
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US10903260B2 (en) 2018-06-11 2021-01-26 Facebook Technologies, Llc Multi-photodiode pixel cell
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10892287B2 (en) 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
CN110365901A (zh) * 2019-07-18 2019-10-22 北京滴普科技有限公司 一种智能相机系统及其工作方法
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
CN113873141B (zh) * 2020-06-30 2023-07-25 Oppo广东移动通信有限公司 电子设备
CN113873190A (zh) * 2020-06-30 2021-12-31 Oppo广东移动通信有限公司 图像前处理芯片及电子设备
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100560761B1 (ko) 2003-07-08 2006-03-13 삼성전자주식회사 인터페이스 변환 시스템 및 그 방법
KR100728650B1 (ko) 2005-07-26 2007-06-14 엠텍비젼 주식회사 복수 경로를 통한 다중 분할된 메모리 공유 방법 및 장치
KR100743491B1 (ko) 2006-01-26 2007-07-30 삼성전자주식회사 범용 인터페이스 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6642956B1 (en) * 1998-05-29 2003-11-04 Agilent Technologies, Inc. Digital image processor for a digital camera
KR100746364B1 (ko) * 2006-07-28 2007-08-06 엠텍비젼 주식회사 메모리 공유 방법 및 장치
TWI449400B (zh) * 2008-07-15 2014-08-11 Alpha Imaging Technology Corp 手持式電子通訊裝置及其影像處理方法
JP4766105B2 (ja) * 2008-11-27 2011-09-07 ソニー株式会社 信号処理装置、カメラモジュール、携帯端末装置、及び撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100560761B1 (ko) 2003-07-08 2006-03-13 삼성전자주식회사 인터페이스 변환 시스템 및 그 방법
KR100728650B1 (ko) 2005-07-26 2007-06-14 엠텍비젼 주식회사 복수 경로를 통한 다중 분할된 메모리 공유 방법 및 장치
KR100743491B1 (ko) 2006-01-26 2007-07-30 삼성전자주식회사 범용 인터페이스 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015940A (zh) * 2015-11-12 2017-08-04 三星电子株式会社 包含由多处理器共享的存储器的多处理器系统及其方法
CN107015940B (zh) * 2015-11-12 2021-12-21 三星电子株式会社 包含由多处理器共享的存储器的多处理器系统及其方法

Also Published As

Publication number Publication date
KR20110069271A (ko) 2011-06-23
US20110149116A1 (en) 2011-06-23

Similar Documents

Publication Publication Date Title
KR101111946B1 (ko) 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법
CN107077304B (zh) 数据转换设备、芯片、方法、装置及影像系统
CN102402413A (zh) 和影像传感器通讯的电子系统、控制器及控制方法
EP3347824A1 (en) Input/output signal bridging and virtualization in a multi-node network
CN206162501U (zh) 数据转换设备、芯片、及影像系统
US10503239B2 (en) Electronic device and power management method
JP2006024217A (ja) 複数の機能デバイスで単一のホスト・コントローラを共有すること
CN105159632A (zh) 图形多媒体集成电路及其运作方法
JP2004005541A (ja) データ転送装置、データ転送方法、プログラム及び記録媒体
JP4739349B2 (ja) マルチメディア・カード・インターフェース方法、コンピュータ・プログラム及び装置
CN104834620A (zh) 串行外设接口spi总线电路、实现方法以及电子设备
KR100663380B1 (ko) 촬상 장치 및 영상 신호 생성 방법
US20030146976A1 (en) Digital camera system enabling remote monitoring
JP2007199815A (ja) メモリ制御装置およびメモリ制御方法
CN114253898A (zh) 总线装置及数据读写电路
US20050043057A1 (en) Transferring device for transmitting images captured by a digital camera to a mobile phone
CN110336650B (zh) 一种信令交互系统及方法
KR100736902B1 (ko) 복수의 프로세서에 의한 메모리 공유 방법 및 장치
CN101251831B (zh) 支持主从设备互换的移动存储器和主从设备互换方法
CN106844273B (zh) 访问dp辅助通道的方法及装置
KR101258011B1 (ko) Ｍｌａ 구조에서 멀티 포트 메모리 장치의 저장 영역을 관리하는 방법 및 그 장치
CN102033713A (zh) 电子系统、控制器及数据传输方法
JP2001290753A (ja) 電子機器
CN114328357A (zh) 用于裸芯的互联通信方法、系统和集成合封芯片
CN100403285C (zh) 一种具有主机系统操作功能的半导体存储装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 8