KR20190014777A - 이미지 신호 처리 시스템 및 방법 - Google Patents

이미지 신호 처리 시스템 및 방법 Download PDF

Info

Publication number
KR20190014777A
KR20190014777A KR1020170098671A KR20170098671A KR20190014777A KR 20190014777 A KR20190014777 A KR 20190014777A KR 1020170098671 A KR1020170098671 A KR 1020170098671A KR 20170098671 A KR20170098671 A KR 20170098671A KR 20190014777 A KR20190014777 A KR 20190014777A
Authority
KR
South Korea
Prior art keywords
memory
processor
interface
area
memory device
Prior art date
Application number
KR1020170098671A
Other languages
English (en)
Inventor
배형섭
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020170098671A priority Critical patent/KR20190014777A/ko
Priority to US15/906,314 priority patent/US20190043155A1/en
Priority to CN201810819341.XA priority patent/CN109391788B/zh
Publication of KR20190014777A publication Critical patent/KR20190014777A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

이미지 신호 처리 시스템은, 제1 메모리 인터페이스 및 제2 메모리 인터페이스를 통해 접속되는 제1 프로세서 및 메모리 장치를 포함한다. 메모리 장치는 제1 데이터 저장 영역 및 제2 데이터 저장 영역을 갖는다. 제1 데이터 저장 영역은, 제1 메모리 인터페이스를 통해 제1 프로세서에 의한 이미징 처리 동작 과정에서 이미지 데이터를 저장한다. 제2 데이터 저장영역은, 제2 메모리 인터페이스를 통해 제1 프로세서로부터 전송되는 출력 이미지 데이터를 저장한다.

Description

이미지 신호 처리 시스템 및 방법{System and method of processing image signal}
본 개시의 여러 실시예들은, 디지털 이미징 장치로부터 전송되는 이미지 데이터를 처리하는 이미지 신호 처리 시스템 및 방법에 관한 것이다.
휴대폰, 휴대용 매체 재생기, 모바일 컴퓨터와 같은 모바일 장치는, 디지털 카메라 또는 디지털 비디오 레코더와 같은 디지털 이미징 장치를 통합하는 사양으로 개발되고 있다. 디지털 이미징 장치는 이미지 센서를 포함할 수 있다. 이미지 센서에 의해 캡쳐된 이미지 데이터에는 이미지 처리 파이프 라인에 의한 다수의 이미지 처리 동작이 적용될 수 있다. 처리된 결과 이미지는, 모니터와 같은 디스플레이 장치에 표시될 수 있다. 처리되는 이미지 데이터의 해상도와 프레임 레이트가 높아짐에 따라서 이에 부합하는 이미지 신호 처리 시스템이 요구된다.
본 출원이 해결하고자 하는 과제는, 백-엔드 칩으로의 이미지 출력을 위한 별도의 인터페이스 장치, 예컨대 모바일 산업용 프로세서 인터페이스(Mobile Industry Processor Interface; MIPI)나 병렬 인터페이스(parallel interface)가 요구되지 않도록, 메모리장치의 데이터 저장영역을 이미지 처리용 읽기/쓰기 영역과 이미지 출력용 쓰기 전용 영역으로 구분하고, 이미지 처리 및 이미지 출력 동작에서 카메라 스케일 프로세서(Camera Scale Process; CSP) 내의 메모리 컨트롤러와 백-엔드 칩 사이에 메모리 인터페이스 및 메모리 장치가 이용되도록 하는 이미지 신호 처리 시스템을 제공하는 것이다.
본 개시의 일 예에 따른 이미지 신호 처리 시스템은, 제1 메모리 인터페이스 및 제2 메모리 인터페이스를 통해 접속되는 제1 프로세서 및 메모리 장치를 포함한다. 메모리 장치는 제1 데이터 저장 영역 및 제2 데이터 저장 영역을 갖는다. 제1 데이터 저장 영역은, 제1 메모리 인터페이스를 통해 제1 프로세서에 의한 이미징 처리 동작 과정에서 이미지 데이터를 저장한다. 제2 데이터 저장영역은, 제2 메모리 인터페이스를 통해 제1 프로세서로부터 전송되는 출력 이미지 데이터를 저장한다.
본 개시의 일 예에 따른 이미지 신호 처리 시스템은, 메모리 인터페이스를 통해 접속되는 제1 프로세서 및 메모리 장치를 포함한다. 메모리 장치는, 제1 메모리 영역, 제2 메모리 영역 및 내부 버스를 갖는다. 제1 메모리 영역은, 메모리 인터페이스를 통해 제1 프로세서에 의한 이미징 처리 동작 과정에서 이미지 데이터를 저장한다. 제2 메모리 영역은, 제2 메모리 인터페이스를 통해 제1 프로세서로부터 전송되는 출력 이미지 데이터를 저장한다. 제1 메모리 영역은 양방향의 제1 내부 메모리 인터페이스를 통해 내부 버스와 접속되고, 제2 메모리 영역은 단방향의 제2 내부 메모리 인터페이스를 통해 내부 버스와 접속된다.
여러 실시예들에 따르면, 카메라 스케일 프로세서(CSP) 내의 메모리 컨트롤러로부터 백-엔드 칩으로의 이미지 출력을 메모리 인터페이스 및 메모리 장치를 이용하여 수행하도록 구성됨으로써 기존의 고해상도 및 고속의 직렬 인터페이스가 요구되지 않는다는 이점이 제공된다.
도 1은 본 개시의 일 예에 따른 이미지 신호 처리 시스템을 나타내 보인 블록도이다.
도 2는 도 1의 이미지 신호 처리 시스템의 메모리 장치의 구성을 나타내 보인 블록도이다.
도 3은 본 개시의 다른 예에 따른 이미지 신호 처리 시스템을 나타내 보인 블록도이다.
도 4는 도 3의 이미지 신호 처리 시스템의 메모리 장치의 구성을 나타내 보인 블록도이다.
본 출원의 예의 기재에서 "제1" 및 "제2"와 같은 기재는 부재를 구분하기 위한 것이며, 부재 자체를 한정하거나 특정한 순서를 의미하는 것으로 사용된 것은 아니다. 또한, 어느 부재의 "상"에 위치하거나 "상부", "하부", 또는 "측면"에 위치한다는 기재는 상대적인 위치 관계를 의미하는 것이지 그 부재에 직접 접촉하거나 또는 사이 계면에 다른 부재가 더 도입되는 특정한 경우를 한정하는 것은 아니다. 또한, 어느 한 구성 요소가 다른 구성 요소에 "연결되어 있다"거나 "접속되어 있다"의 기재는, 다른 구성 요소에 전기적 또는 기계적으로 직접 연결되어 있거나 또는 접속되어 있을 수 있으며, 또는, 중간에 다른 별도의 구성 요소들이 개재되어 연결 관계 또는 접속 관계를 구성할 수도 있다.
도 1은 본 개시의 일 예에 따른 이미지 신호 처리 시스템(100)을 나타내 보인 블록도이다. 그리도 도 2는 도 1의 이미지 신호 처리 시스템(100)의 메모리 장치(300)의 구성을 나타내 보인 블록도이다. 먼저 도 1을 참조하면, 이미지 신호 처리 시스템(100)은, 제1 프로세서 및 제2 프로세서를 포함할 수 있다. 일 예에서 제1 프로세서는 카메라 스케일 프로세서(Camera Scale Process; 이하 CSP)(200)일 수 있다. CSP(200)는 칩(chip) 형태를 가질 수 있다. 제2 프로세서는 백엔드 칩(Back-End Chip)(400)일 수 있다. CSP(200)와 백엔드 칩(400) 사이에는 메모리장치(300)가 배치된다. 이 외에도, 이미지 신호 처리 시스템(100)은, 디스플레이 장치(Display)(500) 및 스토리지장치(Storage)(600)를 더 포함할 수 있다.
CSP(200)는, 중앙처리장치(Central Processing Unit)(CPU)(210), 이미지 신호 처리 장치(ISP)(220), 이미지 코덱부(Image Codec)(230), 제1 메모리 컨트롤러(240), 이미지 출력부(Image Output)(250), 및 제2 메모리 컨트롤러(260)를 포함하여 구성될 수 있다. CSP(200)는, 디지털 카메라 또는 디지털 비디오 레코더와 같은 외부의 디지털 이미징 장치로부터 전송되는 이미지 데이터에 대한 여러 처리 동작을 수행할 수 있다. CSP(200) 내의 각 구성요소들 사이로의 이미지 데이터의 이동은 메인 버스(main bus)(270) 및 메인 버스(270) 주변의 여러 섭 버스들(sub buses)을 통해 이루어질 수 있다.
중앙처리장치(210)는, 이미지 데이터를 처리하는 방법을 구현하는데 필요한 하드웨어, 소프트웨어, 펌웨어 등을 포함하는 마이크로프로세서일 수 있다. 중앙처리장치(330)는, 시스템온칩(system on chip; SOC)에서 사용되는 ARM(Advanced RISC Machine) 프로세서일 수도 있다. 일 예에서 중앙처리장치(330)는, 이미지 데이터를 처리하는 것과 관련된 일련의 복잡한 프로세스를 핸들링함에 있어서 VPU(Video Processing Unit)이라고도 할 수 있는 GPU(Graphics Processing Unit)를 포함할 수 있다. 중앙처리장치(210)는, 다양한 전자 게임 및 다른 여러 어플리케이션에서 관심을 끄는 그래픽 이미지의 조작 및 렌더링(rendering) 처리를 수행할 수도 있다. 중앙처리장치(210)는, 카메라 기능, 멀티미디어 재생 등의 부가적인 프로세스 기능을 제어할 수도 있다. 예컨대 중앙처리장치(210)는, 이미지 데이터를 디스플레이 장치(500)의 크기에 맞도록 축소, 확대 또는 크로핑(cropping)하며, 디스플레이 장치(500)에서 표시되는 이미지의 색상 규격에 적합하도록 이미지 데이터에 대한 여러 변환 작업을 제어할 수 있다.
이미지 신호 처리 장치(220)는, 메인 버스(270)를 통해 전송되는 이미지 데이터에 대한 여러 처리 동작, 예컨대 이미지 화질 개선, 이미지 보정 작업 등을 수행할 수 있다. 일 예에서 이미지 신호 처리 장치(220)는, 베이어(Bayer) 프로세싱 장치, RGB 프로세싱 장치, 크기조정/회전/아핀-변환) 프로세싱 유닛 등을 포함할 수 있다. 일 예에서 이미지 신호 처리 장치(220)는, CSP(200)를 구성하는 각 구성요소들의 프로세싱을 제어하기 위해, 예컨대 이미지 크기, 색 온도(color temperature) 또는 색 깊이(color depth)에 상응하는 구성 벡터를 사용할 수 있다. 구성 벡터는, 중앙처리장치(330)에 의해 라이트(write)되거나, 펌웨어(firmware)에 의해 라이트되며, 데이터의 프레임 크기를 포함하는 프로세싱 장치의 동작의 여러 측면들을 제어한다. 예컨대 구성 벡터는, 이미지의 크기, 색의 깊이, 데드 픽셀 보상(dead pixel alive), 렌즈 새이딩 보상(lens shading compensation), 적합 컬러 보간(adapative color interpolation), 컬러 보정(color correction), 감마 제어(gamma control), 색상/게인 제어(hue/gain control), 영상 효과(image effect), 자동 노출(auto exposure), 자동 화이트 배런스(auto white balance) 등을 제어할 수 있다.
이미지 코덱부(230)는, 이미지 데이터에 대한 인코딩 및 디코딩을 수행하여 이미지 데이터가 전송 및 저장에 용이한 형식을 갖도록 한다. 일 예에서 이미지 코덱부(230)는, JPEG(Joing Photographic Expert Group) 코덱부로 구성될 수 있다. 이 경우, 이미지 코덱부(230)는, 외부의 디지털 이미징 장치로부터 전송되는 이미지 데이터에 JPEG 코덱 처리를 수행하여 저용량 및 고해상도의 JPEG 이미지 데이터를 생성할 수 있다.
제1 메모리 컨트롤러(240)는, 양방향의 제1 메모리 인터페이스(281) 및 단방향의 제2 메모리 인터페이스(282)를 통해 메모리 장치(300)와 접속된다. 제1 메모리 컨트롤러(240)는, CSP(200)의 여러 구성요소들에 의해 처리된 이미지 데이터를 메모리 장치(300)로 전송시킬 수 있다. 이 경우 제1 메모리 인터페이스(281) 또는 제2 메모리 인터페이스(282)가 사용될 수 있다. 제1 메모리 컨트롤러(240)는, 메모리 장치(300)에 저장되어 있던 이미지 데이터를 읽어 CSP(200)의 여러 구성요소들로 전송시킬 수도 있다. 이 경우 제1 메모리 인터페이스(281)만 사용될 수 있다. 제1 메모리 컨트롤러(240)는 섭 버스를 통해 메인 버스(270)와 통신할 수 있다. 이미지 데이터의 출력 속도 향상을 위해, 제1 메모리 컨트롤러(240)는, 메인 버스(270)를 거치지 않고 이미지 출력부(250)로부터 이미지 데이터를 직접 입력받을 수 있다. 이를 위해 제1 메모리 컨트롤러(240)와 이미지 출력부(250) 사이에는 이미지 출력 버스(272)가 배치될 수 있다.
이미지 출력부(250)는, 외부의 디지털 이미징 장치로부터 전송되는 이미지 데이터 및 CSP(200)에 의해 처리된 이미지 데이터를 CSP(200) 외부로 출력시킬 수 있다. 외부의 디지털 이미징 장치로부터 전송되는 이미지 데이터를 출력하는 경우, 이 이미지 데이터는 CSP(200) 내에서의 처리를 생략한 상태로 백-엔드 칩(400)으로 전달되어 이미지 프리뷰(image preview)로 제공될 수 있다. CSP(200)에 의해 처리된 이미지 데이터를 출력하는 경우, 이미지 출력부(250)는, 처리된 이미지 데이터, 예컨대 이미지 코덱부(230)에 의해 캡쳐된 이미지 데이터를 사용자가 지정한 프레임율(frame rate)로 조정한 후에 CSP(200) 외부로 출력시킬 수 있다.
제2 메모리 컨트롤러(260)는, CSP(200)와 외부의 스토리지 장치(600) 사이의 데이터 전송 동작을 제어한다. 일 예에서 스토리지 장치(600)는, 비휘발성 메모리 장치일 수 있다. 스토리지 장치(600)는, USB(Universal Serial Bus) 메모리, 하드 디스크 드라이브(HDD; Hard Disk Drive), 또는 고체상태 디스크 드라이브(SSD; Solid State Drive)를 포함할 수 있다.
메모리 장치(300)는, CSP(200)에 의해 처리될 이미지 데이터를 저장하거나, CSP(200)로부터 처리된 이미지 데이터를 저장할 수 있다. 일 예에서 메모리 장치(300)는 SDRAM(Synchronous Dynamic Random Access Memory)와 같은 휘발성 메모리일 수 있다. 도 2에 나타낸 바와 같이, 메모리 장치(300)는, 서로 구분되는 제1 메모리 영역(310) 및 제2 메모리 영역(320)을 갖는다. 일 예에서 제1 메모리 영역(310) 및 제2 메모리 영역(320)은 어드레스(address)에 의해 구분될 수 있다. 제1 메모리 영역(310)은 제1 메모리 인터페이스(281)를 통해 제1 메모리 컨트롤러(240)에 접속될 수 있다. 제1 메모리 인터페이스(281)가 양방향 인터페이스이므로, 제1 메모리 컨트롤러(240)는 제1 메모리 영역(310)에 대해 읽기 및 쓰기 동작을 모두 수행할 수 있다. 이에 따라 제1 메모리 영역(310)은, CSP(200)에 의해 이미지 데이터가 처리되는 과정에서 버퍼 메모리 또는 캐시 메모리로 사용될 수 있다.
제2 메모리 영역(320)은 제2 메모리 인터페이스(282)를 통해 제1 메모리 컨트롤러(240)에 접속될 수 있다. 제2 메모리 인터페이스(282)은 제1 메모리 컨트롤러(240)로부터 제2 메모리 영역(320) 방향으로의 단방향 인터페이스이므로, 제1 메모리 컨트롤러(240)는 제2 메모리 영역(320)에 대해 쓰기 동작만을 수행할 수 있다. 이에 따라 제2 메모리 영역(320)은 CSP(200) 내의 이미지 출력부(250)로부터 전송되는 이미지 데이터를 저장하기 위한 저장 영역을 제공한다.
제2 메모리 영역(320)은, 양방향의 데이터 인터페이스(290)를 통해 백-엔드 칩(Back-End Chip)(400)에 접속된다. 따라서 제2 메모리 영역(320) 내에 저장된 이미지 데이터는 백-엔드 칩(400)으로 전송될 수 있다. 또한 백-엔드 칩(400)으로부터 전송되는 이미지 데이터는 제2 메모리 영역(320)에 저장될 수 있다. 즉 백-엔드 칩(400)은 제2 메모리 영역(320)에 대해 읽기 동작 및 쓰기 동작을 수행할 수 있다.
다시 도 1을 참조하면, 백-엔드 칩(Back-End Chip)(400)은, 디스플레이 장치(500)를 통해 디스플레이되는 이미지 데이터를 처리한다. 디스플레이 장치(500)는, 카메라, 컴퓨터 등에 결합될 수 있다. 일 예에서 백-엔드 칩(400)은 멀티미디어 프로세서(MMP; Multimedia Processor) 또는 어플리케이션 프로세서(AP; Application Processor)를 포함할 수 있다. 백-엔드 칩(400)은 메모리 장치(300)의 제2 메모리 영역(320)에 저장되어 있는 이미지 데이터를 전송받아 적절한 동작 모드로 디스플레이 장치(500)에 전송할 수 있다. 일 예에서 동작 모드는 프리뷰 모드와 멀티미디어 동작 모드를 포함할 수 있다. 디스플레이 장치(500)가 카메라에 결합되는 경우, 프리뷰 모드는 카메라 촬영 이전의 미리 보기를 위한 것이고, 멀티미디어 동작 모드는 카메라 촬영 동작을 수행하기 위한 것이다.
일반적으로, 이미지 출력부(250)로부터 이미지 데이터를 백-엔드 칩(400)으로 전달하기 위해서는, 이미지 출력부(250)와 백-엔드 칩(400) 사이에 고해상도 및 고속의 직렬 인터페이스, 예컨대 MIPI(Mobile Industry Processor Interface)가 배치될 필요가 있다. 그러나 해상도 및 프레임율이 더욱 더 증가함에 따라 그에 적합한 플랫폼(platform)을 갖는 직렬 인터페이스로 교체하여야 할 경우가 발생될 수 있다. 그러나 본 예에 따른 이미지 신호 처리 시스템(100)의 경우, 이미지 출력부(250)와 백-엔드 칩(400) 사이에 제1 메모리 컨트롤러(240) 및 메모리 장치(300)를 배치시킴으로써, 기존의 고해상도 및 고속의 직렬 인터페이스가 요구되지 않는다.
즉 이미지 출력부(250)로부터의 이미지 데이터가 제1 메모리 컨트롤러(240) 및 제2 메모리 인터페이스(282)를 통해 메모리 장치(300)의 제2 메모리 영역(320)에 저장된다. 그리고 백-엔드 칩(290)이 제2 메모리 영역(320)에 저장된 이미지 데이터를 액세스한다. 메모리 장치(300)가 SDRAM인 경우, 제2 메모리 인터페이스(282) 또한 SDRAM 인터페이스가 사용될 수 있다. SDRAM 인터페이스가, 기존의 직렬 인터페이스에 비해 충분히 빠른 데이터 전송 능력을 갖는다는 것은 잘 알려져 있다. 따라서 고해상도의 이미지 데이터를 높은 프레임율을 유지하면서 백-엔드 칩(400)으로 전송시킬 수 있다. 더욱이 더 높은 해상도 및 프레임율이 요구되는 경우, CSP(200)의 플랫폼 변화 없이 SDRAM 인터페이스의 속도가 증가되도록 세팅함으로서 다양한 변화에 용이하게 대처할 수 있다.
도 3은 본 개시의 다른 예에 따른 이미지 신호 처리 시스템(700)을 나타내 보인 블록도이다. 그리고 도 4는 도 3의 이미지 신호 처리 시스템(700)의 메모리 장치의 구성을 나타내 보인 블록도이다. 도 3에서 도 1과 동일한 참조부호는 동일한 구성요소를 나타낸다. 마찬가지로 도 4에서 도 2와 동일한 참조부호는 동일한 구성요소를 나타낸다. 먼저 도 3을 참조하면, 제1 메모리 컨트롤러(240)는, 양방향의 메모리 인터페이스(880)를 통해 메모리 장치(300)와 접속된다. 메모리 인터페이스(880)를 통해, 제1 메모리 컨트롤러(240)는, CSP(200)의 여러 구성요소들에 의해 처리된 이미지 데이터를 메모리 장치(300)로 전송시킬 수 있다. 또한 메모리 인터페이스(880)를 통해, 제1 메모리 컨트롤러(240)는, 메모리 장치(300)에 저장되어 있던 이미지 데이터를 읽어 CSP(200)의 여러 구성요소들로 전송시킬 수도 있다.
도 4에 나타낸 바와 같이, 메모리 장치(300)는, 서로 구분되는 제1 메모리 영역(310) 및 제2 메모리 영역(320)을 갖는다. 일 예에서 제1 메모리 영역(310) 및 제2 메모리 영역(320)은 어드레스(address)에 의해 구분될 수 있다. 메모리 장치(300)는, 내부 버스(internal bus)(330)를 포함할 수 있다. 내부 버스(330)는 메모리 인터페이스(880)와 접속된다. 내부 버스(330)는, 양방향의 제1 내부 메모리 인터페이스(311) 및 단방향의 제2 내부 메모리 인터페이스(312)와도 접속된다. 제1 내부 메모리 인터페이스(311)는 제1 메모리 영역(310)와 내부 버스(330)를 인터페이싱한다. 제2 내부 메모리 인터페이스(312)는, 제2 메모리 영역(320)과 내부 버스(330)를 인터페이싱한다.
제1 메모리 영역(310)은, 제1 내부 메모리 인터페이스(311), 내부 버스(330), 및 메모리 인터페이스(880)를 통해 제1 메모리 컨트롤러(240)에 접속될 수 있다. 제1 내부 메모리 인터페이스(311) 및 메모리 인터페이스(880)가 모두 양방향 인터페이스이므로, 제1 메모리 컨트롤러(240)는 제1 메모리 영역(310)에 대해 읽기 및 쓰기 동작을 모두 수행할 수 있다. 이에 따라 제1 메모리 영역(310)은, CSP(200)에 의해 이미지 데이터가 처리되는 과정에서 버퍼 메모리 또는 캐시 메모리로 사용될 수 있다. 제2 메모리 영역(320)은 제2 내부 메모리 인터페이스(312), 내부 버스(330), 및 메모리 인터페이스(880)를 통해 제1 메모리 컨트롤러(240)에 접속될 수 있다. 메모리 인터페이스(880)는 양방향 인터페이스이지만, 제2 내부 메모리 인터페이스(312)가 내부 버스(330)로부터 제2 메모리 영역(320) 방향으로의 단방향 인터페이스이므로, 제1 메모리 컨트롤러(240)는 제2 메모리 영역(320)에 대해 쓰기 동작만을 수행할 수 있다. 이에 따라 제2 메모리 영역(320)은 CSP(200) 내의 이미지 출력부(250)로부터 전송되는 이미지 데이터를 저장하기 위한 저장 영역을 제공한다.
제2 메모리 영역(320)은, 양방향의 데이터 인터페이스(290)를 통해 백-엔드 칩(Back-End Chip)(400)에 접속된다. 따라서 제2 메모리 영역(320) 내에 저장된 이미지 데이터는 백-엔드 칩(400)으로 전송될 수 있다. 또한 백-엔드 칩(400)으로부터 전송되는 이미지 데이터는 제2 메모리 영역(320)에 저장될 수 있다. 즉 백-엔드 칩(400)은 제2 메모리 영역(320)에 대해 읽기 동작 및 쓰기 동작을 수행할 수 있다.
상술한 바와 같이 본 출원의 실시 형태들을 도면들을 예시하며 설명하지만, 이는 본 출원에서 제시하고자 하는 바를 설명하기 위한 것이며, 세밀하게 제시된 형상으로 본 출원에서 제시하고자 하는 바를 한정하고자 한 것은 아니다.
100...이미지 신호 처리 시스템 200...CSP
210...중앙처리장치 220...이미지신호처리장치
230...이미지 코덱부 240...제1 메모리 컨트롤러
250...이미지 출력부 260...제2 메모리 컨트롤러
270...메인 버스 272...이미지 출력 버스
281...제1 메모리 인터페이스 282...제2 메모리 인터페이스
290...데이터 인터페이스 300...메모리 장치
400...백-엔드 칩 500...디스플레이 장치
600...스토리지 장치

Claims (21)

  1. 제1 메모리 인터페이스 및 제2 메모리 인터페이스를 통해 접속되는 제1 프로세서 및 메모리 장치를 포함하되,
    상기 메모리 장치는,
    상기 제1 메모리 인터페이스를 통해 상기 제1 프로세서에 의한 이미징 처리 동작 과정에서 이미지 데이터를 저장하는 제1 데이터 저장영역, 및
    제2 메모리 인터페이스를 통해 상기 제1 프로세서로부터 전송되는 출력 이미지 데이터를 저장하는 제2 데이터 저장영역을 갖는 이미지 신호 처리 시스템.
  2. 제1항에 있어서,
    상기 제1 프로세서는, 외부의 디지털 이미징 장치로부터 전송되는 이미지 데이터에 대한 처리 동작을 수행하는 이미지 신호 처리 시스템.
  3. 제1항에 있어서,
    상기 제1 프로세서는, 상기 제1 메모리 인터페이스 및 제2 메모리 인터페이스에 결합되어 상기 메모리 장치의 동작을 제어하는 제1 메모리 컨트롤러를 포함하는 이미지 신호 처리 시스템.
  4. 제3항에 있어서,
    상기 제1 프로세서는, 외부의 디지털 이미징 장치로부터 전송되는 이미지 데이터를 출력시키는 이미지 출력부를 포함하고,
    상기 이미지 출력부는 이미지 출력 버스를 통해 상기 제1 메모리 컨트롤러와 결합하는 이미지 신호 처리 시스템.
  5. 제3항에 있어서,
    상기 제1 프로세서는, 외부의 스토리지 장치 사이의 데이터 전송 동작을 제어하는 제2 메모리 컨트롤러를 포함하는 이미지 신호 처리 시스템.
  6. 제1항에 있어서,
    상기 제1 메모리 인터페이스는 양방향 인터페이싱을 수행하고,
    상기 제2 메모리 인터페이스는 상기 제1 프로세서로부터 상기 메모리 장치로의 단방향 인터페이싱을 수행하는 이미지 신호 처리 시스템.
  7. 제6항에 있어서,
    상기 메모리 장치의 제1 데이터 저장영역은, 상기 제1 프로세서에 의해 읽기 및 쓰기가 가능한 영역이고,
    상기 메모리 장치의 제2 데이터 저장영역은, 상기 제1 프로세서에 의해 쓰기 전용 영역인 이미지 신호 처리 시스템.
  8. 제1항에 있어서,
    상기 메모리 장치와 데이터 인터페이스를 통해 결합되는 제2 프로세서를 더 포함하는 이미지 신호 처리 시스템.
  9. 제8항에 있어서,
    상기 데이터 인터페이스는, 상기 메모리 장치의 제2 메모리 영역에 결합되는 이미지 신호 처리 시스템.
  10. 제9항에 있어서,
    상기 데이터 인터페이스는, 양방향 인터페이싱을 수행하는 이미지 신호 처리 시스템.
  11. 제9항에 있어서,
    상기 메모리 장치의 제1 데이터 저장영역은, 상기 제1 프로세서에 의해 읽기 및 쓰기가 가능한 영역이고,
    상기 메모리 장치의 제2 데이터 저장영역은, 상기 제1 프로세서에 의해서는 쓰기 전용 영역이고, 상기 제2 프로세서에 의해서는 읽기 및 쓰기가 가능한 영역인 이미지 신호 처리 시스템.
  12. 메모리 인터페이스를 통해 접속되는 제1 프로세서 및 메모리 장치를 포함하되,
    상기 메모리 장치는,
    상기 메모리 인터페이스를 통해 상기 제1 프로세서에 의한 이미징 처리 동작 과정에서 이미지 데이터를 저장하는 제1 메모리 영역;
    상기 제2 메모리 인터페이스를 통해 제1 프로세서로부터 전송되는 출력 이미지 데이터를 저장하는 제2 메모리 영역; 및
    상기 메모리 인터페이스에 결합되는 내부 버스를 포함하며,
    상기 제1 메모리 영역은 양방향의 제1 내부 메모리 인터페이스를 통해 내부 버스와 접속되고, 상기 제2 메모리 영역은 단방향의 제2 내부 메모리 인터페이스를 통해 내부 버스와 접속되는 이미지 신호 처리 시스템.
  13. 제12항에 있어서,
    상기 제1 프로세서는, 외부의 디지털 이미징 장치로부터 전송되는 이미지 데이터에 대한 처리 동작을 수행하는 이미지 신호 처리 시스템.
  14. 제12항에 있어서,
    상기 제1 프로세서는, 상기 메모리 인터페이스에 결합되어 상기 메모리 장치의 동작을 제어하는 제1 메모리 컨트롤러를 포함하는 이미지 신호 처리 시스템.
  15. 제14항에 있어서,
    상기 제1 프로세서는, 외부의 디지털 이미징 장치로부터 전송되는 이미지 데이터를 출력시키는 이미지 출력부를 포함하고,
    상기 이미지 출력부는 이미지 출력 버스를 통해 상기 제1 메모리 컨트롤러와 결합하는 이미지 신호 처리 시스템.
  16. 제14항에 있어서,
    상기 제1 프로세서는, 외부의 스토리지 장치 사이의 데이터 전송 동작을 제어하는 제2 메모리 컨트롤러를 포함하는 이미지 신호 처리 시스템.
  17. 제12항에 있어서,
    상기 메모리 장치의 제1 데이터 저장영역은, 상기 제1 프로세서에 의해 읽기 및 쓰기가 가능한 영역이고,
    상기 메모리 장치의 제2 데이터 저장영역은, 상기 제1 프로세서에 의해 쓰기 전용 영역인 이미지 신호 처리 시스템.
  18. 제12항에 있어서,
    상기 메모리 장치와 데이터 인터페이스를 통해 결합되는 제2 프로세서를 더 포함하는 이미지 신호 처리 시스템.
  19. 제18항에 있어서,
    상기 데이터 인터페이스는, 상기 메모리 장치의 제2 메모리 영역에 결합되는 이미지 신호 처리 시스템.
  20. 제19항에 있어서,
    상기 데이터 인터페이스는, 양방향 인터페이싱을 수행하는 이미지 신호 처리 시스템.
  21. 제19항에 있어서,
    상기 메모리 장치의 제1 데이터 저장영역은, 상기 제1 프로세서에 의해 읽기 및 쓰기가 가능한 영역이고,
    상기 메모리 장치의 제2 데이터 저장영역은, 상기 제1 프로세서에 의해서는 쓰기 전용 영역이고, 상기 제2 프로세서에 의해서는 읽기 및 쓰기가 가능한 영역인 이미지 신호 처리 시스템.
KR1020170098671A 2017-08-03 2017-08-03 이미지 신호 처리 시스템 및 방법 KR20190014777A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170098671A KR20190014777A (ko) 2017-08-03 2017-08-03 이미지 신호 처리 시스템 및 방법
US15/906,314 US20190043155A1 (en) 2017-08-03 2018-02-27 Systems for processing image signals
CN201810819341.XA CN109391788B (zh) 2017-08-03 2018-07-24 用于处理图像信号的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170098671A KR20190014777A (ko) 2017-08-03 2017-08-03 이미지 신호 처리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190014777A true KR20190014777A (ko) 2019-02-13

Family

ID=65229615

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170098671A KR20190014777A (ko) 2017-08-03 2017-08-03 이미지 신호 처리 시스템 및 방법

Country Status (3)

Country Link
US (1) US20190043155A1 (ko)
KR (1) KR20190014777A (ko)
CN (1) CN109391788B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114341925A (zh) * 2020-07-30 2022-04-12 华为技术有限公司 电子系统、摄像头模组和片上系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065503B2 (ja) * 2001-08-21 2008-03-26 キヤノン株式会社 画像処理装置、画像入出力装置、変倍処理方法、及びメモリ制御方法
JP3902968B2 (ja) * 2002-03-26 2007-04-11 キヤノン株式会社 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
KR100490412B1 (ko) * 2002-10-11 2005-05-17 삼성전자주식회사 인쇄작업 순서 제어방법 및 이를 위한 프린트 시스템
JP5584490B2 (ja) * 2010-02-18 2014-09-03 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR102023501B1 (ko) * 2013-10-02 2019-09-20 삼성전자주식회사 설정가능한 이미지 처리 파이프라인을 포함하는 시스템 온 칩과, 상기 시스템 온 칩을 포함하는 시스템
JP6205654B2 (ja) * 2015-04-07 2017-10-04 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理方法及び画像処理装置

Also Published As

Publication number Publication date
CN109391788A (zh) 2019-02-26
CN109391788B (zh) 2020-12-18
US20190043155A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
KR101017802B1 (ko) 영상 왜곡 보정
JP2001189886A (ja) 撮像装置、情報処理装置、画像処理システム、画像処理方法、及び記憶媒体
US9332212B2 (en) Imaging apparatus with improved pre-processing
US10277807B2 (en) Image device and method for memory-to-memory image processing
US12020345B2 (en) Image signal processor, method of operating the image signal processor, and application processor including the image signal processor
TWI583178B (zh) 擷取多個視訊頻道以供視訊分析及編碼之技術（二）
JP2004312073A (ja) 画像処理装置及びカメラ
CN109391788B (zh) 用于处理图像信号的系统
KR20160102814A (ko) 이미지 센서 이를 포함하는 이미지 처리 시스템, 및 상기 이미지 센서를 포함하는 모바일 컴퓨팅 장치
US9288397B2 (en) Imaging device, method for processing image, and program product for processing image
US9672174B2 (en) Data-processing apparatus and data transfer control device
US20130021371A1 (en) Image display apparatus and image display method
US9565378B2 (en) Imaging device
KR102522566B1 (ko) 전자 기기 내에서 이미지 와핑을 위한 메모리 전송을 구현하기 위한 전자 기기 및 방법
KR102440941B1 (ko) 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들
JP2012209798A (ja) 画像処理システム及び撮像装置
KR20140105133A (ko) 이미지 신호 프로세싱 시스템
WO2018168506A1 (ja) 画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体
JP6066942B2 (ja) 画像処理装置
JP2013183383A (ja) 撮像装置、撮像方法、及びプログラム
KR100982465B1 (ko) 카메라의 메모리 제어 방법
JP2009260788A (ja) 撮像装置
JP2008225220A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application