KR102557662B1 - 이미지 처리 장치 및 이를 포함하는 전자 장치 - Google Patents

이미지 처리 장치 및 이를 포함하는 전자 장치 Download PDF

Info

Publication number
KR102557662B1
KR102557662B1 KR1020170018106A KR20170018106A KR102557662B1 KR 102557662 B1 KR102557662 B1 KR 102557662B1 KR 1020170018106 A KR1020170018106 A KR 1020170018106A KR 20170018106 A KR20170018106 A KR 20170018106A KR 102557662 B1 KR102557662 B1 KR 102557662B1
Authority
KR
South Korea
Prior art keywords
data
line
frame data
memory
image
Prior art date
Application number
KR1020170018106A
Other languages
English (en)
Other versions
KR20180092437A (ko
Inventor
차길형
이얄 바르네아
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170018106A priority Critical patent/KR102557662B1/ko
Priority to US15/837,643 priority patent/US10362267B2/en
Publication of KR20180092437A publication Critical patent/KR20180092437A/ko
Application granted granted Critical
Publication of KR102557662B1 publication Critical patent/KR102557662B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0803—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division using frequency interleaving, e.g. with precision offset
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/715—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using frame interline transfer [FIT]
    • H04N3/1531—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

이미지 처리 장치 및 이를 포함하는 전자 장치가 제공된다. 상기 이미지 처리 장치는, 이미지 센서로부터 제1 프레임 데이터와, 상기 제1 프레임과 다른 제2 프레임 데이터를 제공받는 동기화 장치, 상기 동기화 장치로부터 상기 제1 프레임 데이터의 적어도 일부와, 상기 제2 프레임 데이터의 적어도 일부를 제공받아 각각 저장하는 메모리, 상기 메모리에 저장된 상기 제1 프레임 데이터에 포함된 제1 라인 데이터와, 상기 제2 프레임 데이터에 포함된 제2 라인 데이터를 시분할 다중화 방식으로 출력하는 라인 인터리빙 컨트롤러, 및 상기 라인 인터리빙 컨트롤러로부터 출력된 상기 제1 라인 데이터와 상기 제2 라인 데이터를 라인 단위로 이미지 신호 처리하는 이미지 신호 처리기를 포함한다.

Description

이미지 처리 장치 및 이를 포함하는 전자 장치{IMAGE PROCESSING APPARATUS AND ELECTRONIC DEVICE INCLUDING THE SAME}
본 발명은 이미지 처리 장치 및 이를 포함하는 전자 장치에 관한 것이며, 더욱 구체적으로는 프레임 데이터를 라인 단위 데이터의 시분할 다중화(Time Division Multiplexing)로 수행할 수 있는 이미지 처리 장치 및 이를 포함하는 전자 장치에 관한 것이다.
스마트폰, 태블릿 PC 등과 같은 모바일 장치의 발전으로 인해 하나의 장치 안에 복수의 이미지 센서를 포함한 전자 장치가 널리 사용되고 있다. 이미지 처리 장치(image processing apparatus)는 복수의 이미지 센서에 대응하는 이미지 신호 처리기(Image Signal Processor)를 포함하고, 각각의 이미지 신호 처리기가 각각의 이미지 센서로부터 영상 데이터를 제공받아 이미지 처리(image processing)를 수행할 수 있다.
또는, 이미지 처리 장치는 하나의 이미지 신호 처리기만을 포함하고, 이미지 신호 처리기는 각각의 이미지 센서로부터 시분할 다중화 방식으로 영상 데이터를 제공받아 이미지 처리를 수행함으로써 반도체 장치의 개수 또는 면적을 절약할 수도 있다.
한편, 상기 영상 데이터들은 복수의 프레임으로 구성되어 있는데, 이미지 처리 딜레이를 감소시키기 위하여 복수의 프레임을 라인 단위로 분할하여 이미지 처리를 수행하는 방법이 소개되고 있다.
본 발명이 해결하고자 하는 기술적 과제는 프레임 데이터를 라인 단위의 데이터로 분할하고, 상기 라인 단위의 데이터를 시분할 다중화를 이용하여 이미지 신호 처리기로 이미지 처리를 수행하는 이미지 처리 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는 프레임 데이터를 라인 단위의 데이터로 분할하고, 상기 라인 단위의 데이터를 시분할 다중화를 이용하여 이미지 신호 처리기로 이미지 처리를 수행하는 이미지 처리 장치를 포함하는 전자 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이미지 처리 장치는, 이미지 센서로부터 제1 프레임 데이터와, 상기 제1 프레임과 다른 제2 프레임 데이터를 제공받는 동기화 장치, 상기 동기화 장치로부터 상기 제1 프레임 데이터의 적어도 일부와, 상기 제2 프레임 데이터의 적어도 일부를 제공받아 각각 저장하는 메모리, 상기 메모리에 저장된 상기 제1 프레임 데이터에 포함된 제1 라인 데이터와, 상기 제2 프레임 데이터에 포함된 제2 라인 데이터를 시분할 다중화 방식으로 출력하는 라인 인터리빙 컨트롤러, 및 상기 라인 인터리빙 컨트롤러로부터 출력된 상기 제1 라인 데이터와 상기 제2 라인 데이터를 라인 단위로 이미지 신호 처리하는 이미지 신호 처리기를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 전자 장치는, 중앙 처리 장치, 메모리, 및 상기 중앙 처리 장치 및 상기 메모리와 버스를 통해 연결된 이미지 처리 장치를 포함하되, 상기 이미지 처리 장치는, 이미지 센서, 상기 이미지 센서로부터 제1 프레임 데이터와, 상기 제1 프레임과 다른 제2 프레임 데이터를 제공받고, 상기 제1 프레임 데이터의 적어도 일부와, 상기 제2 프레임 데이터의 적어도 일부를 상기 메모리에 제공하는 동기화 장치, 상기 메모리에 저장된 상기 제1 프레임 데이터에 포함된 제1 라인 데이터와, 상기 제2 프레임 데이터에 포함된 제2 라인 데이터를 시분할 다중화 방식으로 출력하는 라인 인터리빙 컨트롤러, 및 상기 라인 인터리빙 컨트롤러로부터 출력된 상기 제1 라인 데이터와 상기 제2 라인 데이터를 라인 단위로 이미지 신호 처리하는 이미지 신호 처리기를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치에 포함된 제1 동기화 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 이미지 처리 장치에 포함된 동기화 장치가 메모리에 라인 데이터를 저장하는 동작을 설명하기 위한 블록도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치에 포함된 동기화 장치, 메모리 및 라인 인터리빙 컨트롤러의 동작을 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 이미지 처리 장치에 포함된 이미지 신호 처리기를 설명하기 위한 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 이미지 처리 장치에 포함된 이미지 신호 처리기를 설명하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 이미지 처리 장치의 다른 동작을 설명하기 위한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 이미지 처리 장치의 동작을 설명하기 위한 순서도이다.
도 10은 본 발명의 일 실시예에 따른 이미지 처리 장치를 포함하는 전자 장치의 블록도이다.
이하에서, 도 1 내지 도 10을 참조하여, 본 발명의 실시예에 따른 이미지 처리 장치에 관하여 설명하도록 한다.
본 실시예에서 사용되는 사용되는 '부' 또는 '블록'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부' 또는 '블록'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '블록'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '블록'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '블록'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '블록'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '블록'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '블록'들로 더 분리될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 장치(1)는 제1 이미지 센서(110), 제2 이미지 센서(120), 제1 동기화 장치(210), 제2 동기화 장치(220), 라인 인터리빙 컨트롤러(300), 메모리(400) 및 이미지 신호 처리기(500)를 포함할 수 있다.
제1 이미지 센서(110)는 예를 들어, 2차원적으로 배열된 다수의 단위 픽셀들을 포함하는 센서 어레이와, 센서 어레이가 광 신호로부터 생성한 전기적인 출력 신호를 샘플링하는 상관 이중 샘플러(correlated double sampler), 상관 이중 샘플러로부터 제공된 아날로그 신호를 디지털 신호로 변환하여 출력하는 아날로그 디지털 컨버터, 디지털 신호를 출력하는 래치(latch) 및 컬럼 디코더를 포함할 수 있다. 제1 이미지 센서(110)의 센서 어레이는 예를 들어, CMOS 이미지 센서를 포함할 수 있다.
제1 이미지 센서(110)는 상기 컬럼 디코더로부터 픽셀 데이터를 출력하여 제1 동기화 장치(210)에 제공할 수 있다. 제1 이미지 센서(110)가 생성한 픽셀 데이터는, 제1 프레임 데이터의 일부를 구성할 수 있다. 구체적으로, 제1 이미지 센서(110)는 복수의 픽셀 데이터를 생성하고, 제1 이미지 센서(110)가 제1 동기화 장치(210)에 영상 데이터를 제공할 때 제1 프레임 데이터 중 하나의 열(column)을 이루는 복수의 픽셀 데이터를 제공할 수 있다.
제1 이미지 센서(110)가 제공하는 영상 데이터는, 제1 프레임 레이트 및 제1 해상도를 갖는 영상 데이터일 수 있다. 제1 프레임 레이트는 예를 들어, 30프레임/초, 60프레임/초, 120프레임/초 240프레임/초 중에 어느 하나일 수 있으나 본 발명이 이에 제한되는 것은 아니다.
제1 해상도는 예를 들어, 1920×1080, 2560×1440 및 3840×2160 중 어느 하나일 수 있으나 본 발명이 이에 제한되는 것은 아니다. 즉, 제1 이미지 센서(110)에 포함된 2차원 픽셀 어레이에 의하여 제공되는 제1 프레임 데이터의 제1 해상도는 제1 이미지 센서(110)의 구성에 따라 얼마든지 달라질 수 있다.
제2 이미지 센서(120)는 예를 들어, 제1 이미지 센서(110)와 유사한 구성을 가질 수 있다. 즉, 제2 이미지 센서는 예를 들어, 2차원적으로 배열된 다수의 단위 픽셀들을 포함하는 센서 어레이와, 센서 어레이가 광 신호로부터 생성한 전기적인 출력 신호를 샘플링하는 상관 이중 샘플러, 상관 이중 샘플러로부터 제공된 아날로그 신호를 디지털 신호로 변환하여 출력하는 아날로그 디지털 컨버터, 디지털 신호를 출력하는 래치 및 컬럼 디코더를 포함할 수 있다. 제2 이미지 센서(120)는 예를 들어, CMOS 이미지 센서를 포함할 수 있다.
제2 이미지 센서(120)는 상기 컬럼 디코더로부터 픽셀 데이터를 출력하여 제2 동기화 장치(220)에 제공할 수 있다. 제2 이미지 센서(120)가 생성한 픽셀 데이터는, 제2 프레임 데이터의 일부를 구성할 수 있다. 구체적으로, 제2 이미지 센서(120)는 복수의 픽셀 데이터를 생성하고, 제2 이미지 센서(120)가 제2 동기화 장치(220)에 영상 데이터를 제공할 때 제2 프레임 데이터의 하나의 열을 이루는 복수의 픽셀 데이터를 제공할 수 있다.
제2 이미지 센서(120)가 제공하는 영상 데이터는, 제2 프레임 레이트 및 제2 해상도를 갖는 영상 데이터일 수 있다. 본 발명의 몇몇 실시예에서, 제2 프레임 레이트는 제1 프레임 레이트와 다르고, 제2 해상도는 제1 해상도와 다를 수 있지만 본 발명이 이에 제한되는 것은 아니다.
본 발명의 몇몇 실시예에 따른 이미지 처리 장치(1)는 도 1에 도시된 것과 같이 2개의 이미지 센서(110, 120)와, 이에 대응하는 2개의 동기화 장치(210, 220)을 포함할 수 있으나 본 발명이 이에 제한되는 것은 아니다. 이미지 처리 장치(1)는 n개의 이미지 센서 및 이에 대응하는 제1 내지 제n 동기화 장치를 포함할 수 있다. 이하 이미지 처리 장치(1)가 2개의 이미지 센서(110, 120) 및 2개의 동기화 장치(210, 220)를 포함하는 것으로 설명한다.
또한, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치(1)가 모바일 장치인 경우, 제1 이미지 센서(110)는 후면 카메라 센서이고 제2 이미지 센서(120)는 전면 카메라 센서일 수 있다. 이와는 달리, 제1 이미지 센서(110) 및 제2 이미지 센서(120) 모두 전면 카메라 센서이거나 후면 카메라 센서일 수 있다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치에 포함된 제1 동기화 장치(210)를 설명하기 위한 도면이다.
도 2를 참조하면, 제1 동기화 장치(210)는 제1 이미지 센서(110)로부터 제1 프레임 데이터를 제공받을 수 있다. 구체적으로, 제1 동기화 장치(210)는 제1 이미지 센서(110)로부터 제1 프레임 데이터를 구성하는 복수의 픽셀 데이터를 제공받아, 제1 라인 데이터(LD1)를 생성할 수 있다. 제1 동기화 장치(210)는 제1 이미지 센서(110)로부터 제공되는 복수의 픽셀 데이터를 저장하기 위한 메모리(250)를 포함할 수 있다. 제1 동기화 장치(210)는 제1 이미지 센서(110)로부터 제공된 제1 프레임 데이터의 하나의 로우에 포함된 복수의 픽셀 데이터를 메모리(250)에 순차적으로 저장하고, 저장된 픽셀 데이터를 이용하여 제1 라인 데이터(LD1)를 생성할 수 있다. 여기서 제1 라인 데이터(LD1)는 제1 프레임 데이터의 하나의 로우를 구성할 수 있다.
제1 동기화 장치(210)에 포함된 메모리(250)는 예를 들어, FIFO(First-In First-Out) 또는 SRAM(Static Random Access Memory)을 포함할 수 있으나 본 발명이 이에 제한되는 것은 아니다.
제1 동기화 장치(210)는 제1 라인 데이터를 생성하고, 이를 메모리(400)에 전송할 수 있다. 한편, 제1 동기화 장치(210)는 미리 정해진 개수만큼의 복수의 제1 라인 데이터(LD1)를 메모리(400)에 전송할 수 있다. 복수의 제1 라인 데이터(LD1)는, 제1 프레임 데이터를 구성하는 서로 다른 행의 픽셀 데이터를 포함할 수 있다. 제1 동기화 장치(210)가 제1 라인 데이터(LD1)를 메모리(400)로 전송하는 것과 관련된 더욱 자세한 사항은 후술한다.
다시 도 1을 참조하면, 제2 동기화 장치(220)는, 제2 이미지 센서(120)로부터 제2 프레임 데이터를 제공받을 수 있다. 구체적으로, 제2 동기화 장치(220)는 제2 이미지 센서(120)로부터 제2 프레임 데이터를 구성하는 복수의 픽셀 데이터를 제공받아, 제2 라인 데이터(LD2)를 생성할 수 있다. 도시되지는 않았지만 제2 동기화 장치(220)는 제2 이미지 센서(120)로부터 제공되는 복수의 픽셀 데이터를 저장하기 위한 메모리를 포함할 수 있다. 제2 동기화 장치(220)는 제2 이미지 센서(120)로부터 제공된 제2 프레임 데이터의 하나의 로우에 포함된 복수의 픽셀 데이터를 메모리(미도시)에 순차적으로 저장하고, 저장된 픽셀 데이터를 이용하여 제2 라인 데이터(LD2)를 생성할 수 있다. 여기서 제2 라인 데이터(LD2)는 제2 프레임 데이터의 하나의 로우를 구성할 수 있다.
제2 동기화 장치(220)는 제2 라인 데이터를 생성하고, 이를 메모리(400)에 전송할 수 있다. 한편, 제2 동기화 장치(220)는 미리 정해진 개수만큼의 복수의 제2 라인 데이터(LD2)를 메모리(400)에 전송할 수 있다. 복수의 제2 라인 데이터(LD2)는, 제2 프레임 데이터를 구성하는 서로 다른 열의 픽셀 데이터를 포함할 수 있다. 제2 동기화 장치(220)가 제2 라인 데이터(LD2)를 메모리(400)로 전송하는 것과 관련된 더욱 자세한 사항은 후술한다.
상술한 것과 같이, 제1 프레임 데이터의 제1 해상도와, 제2 프레임 데이터의 제2 해상도는 서로 다를 수 있다. 따라서, 제1 프레임 데이터를 구성하는 제1 라인 데이터(LD1)와, 제2 프레임 데이터를 구성하는 제2 라인 데이터(LD2)의 크기는 서로 다를 수 있다.
또한, 상술한 것과 같이 제1 이미지 센서(110)가 제공하는 영상 데이터의 제1 프레임 레이트와, 제2 이미지 센서(120)가 제공하는 영상 데이터의 제2 프레임 레이트는 서로 다를 수 있다. 따라서 제1 이미지 센서(110)가 제1 동기화 장치(210)로 제공하는 제1 프레임 데이터 및 이를 구성하는 제1 라인 데이터(LD1)의 제공 주기와, 제2 이미지 센서(120)가 제2 동기화 장치(220)로 제공하는 제2 프레임 데이터 및 이를 구성하는 제2 라인 데이터(LD2)의 제공 주기는 서로 다를 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 처리 장치(1)에 포함된 동기화 장치가 메모리에 라인 데이터를 저장하는 동작을 설명하기 위한 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 장치(1)에 포함된 동기화 장치(210, 220)는, 각각이 생성한 제1 라인 데이터(LD1) 및 제2 라인 데이터(LD2)를 메모리(400)로 전송할 수 있다.
더욱 구체적으로, 제1 동기화 장치(210)는 상술한 것과 같이 제1 이미지 센서(110)로부터 제공받은 복수의 픽셀 데이터를 이용하여 제1 라인 데이터(LD1)를 생성한다. 제1 동기화 장치(210)는 생성한 제1 라인 데이터(LD1)를 메모리(400)로 전송한다. 제1 이미지 센서(110)로부터 제1 프레임 데이터가 지속적으로 제공되고 있기 때문에, 제1 동기화 장치(210)는 복수의 제1 라인 데이터(LD1)를 메모리(400)로 순차적으로 제공할 수 있다.
제1 동기화 장치(210)는 메모리(400)와 DMA(Direct Memory Access) 방식으로 연결될 수 있다. 따라서 제1 동기화 장치(210)는 중앙 처리 장치(CPU)의 개입 없이 제1 라인 데이터(LD1)가 저장될 메모리(400)의 주소에 직접 접근하여 제1 라인 데이터(LD1)를 메모리(400)에 기록할 수 있다.
제2 동기화 장치(220) 또한 상술한 것과 같이 제2 이미지 센서(120)로부터 제공받은 복수의 픽셀 데이터를 이용하여 제2 라인 데이터(LD2)를 생성하고, 제2 동기화 장치(220)는 생성한 제2 라인 데이터(LD2)를 메모리(400)로 전송한다. 제2 이미지 센서(120)로부터 제2 프레임 데이터가 지속적으로 제공되고 있기 때문에, 제2 동기화 장치(220)는 복수의 제2 라인 데이터(LD2)를 메모리(400)로 순차적으로 제공할 수 있다.
제2 동기화 장치(220)는 메모리(400)와 DMA(Direct Memory Access) 방식으로 연결될 수 있다. 따라서 제2 동기화 장치(220)는 중앙 처리 장치(CPU)의 개입 없이 제2 라인 데이터(LD1)가 저장될 메모리(400)의 주소에 직접 접근하여 제2 라인 데이터(LD1)를 메모리(400)에 기록할 수 있다.
본 발명의 몇몇 실시예에서, 상술한 것과 같이 제1 동기화 장치(210)가 메모리(400)로 제공하는 제1 라인 데이터(LD1)의 제공 주기와, 제2 동기화 장치(220)가 메모리(400)로 제공하는 제2 라인 데이터(LD2)의 제공 주기는 서로 다를 수 있다.
메모리(400)는, 제1 동기화 장치(210) 및 제2 동기화 장치(220)로부터 제공받은 복수의 제1 라인 데이터(LD1) 및 제2 라인 데이터(LD2)를 각각 저장할 수 있다. 본 발명의 몇몇 실시예에서, 메모리(400)는 복수의 제1 라인 데이터(LD1)와 제2 라인 데이터를 동시에 저장하고 있을 수 있다. 메모리(400)는 라인 인터리빙 컨트롤러(300)의 요청에 따라 제1 라인 데이터(LD1) 또는 제2 라인 데이터(LD2)를 라인 인터리빙 컨트롤러(300)로 제공할 수 있다. 메모리(400)는 제1 내지 제2 동기화 장치(210, 220) 및 라인 인터리빙 컨트롤러(300)와 DMA 방식으로 연결될 수 있다. 즉, 이미지 처리 장치(1)는 제1 내지 제2 동기화 장치(210, 220), 라인 인터리빙 컨트롤러(300) 및 메모리(400)를 연결하는 버스를 포함할 수 있다.
본 발명의 몇몇 실시예에서, 메모리(400)는 DRAM(Dynamic Random Access Memory)를 포함할 수 있으나 본 발명이 이에 제한되는 것은 아니다. 메모리(400)가 DRAM으로 구성된 경우, 메모리(400)는 제1 내지 제2 이미지 센서(110, 120) 및 제1 내지 제2 동기화 장치(210, 220)이 패키징(packaging) 된 반도체 칩과는 다른 반도체 칩 내에 포함될 수 있고, 하나의 칩에 패키징될 수도 있다.
본 발명의 일 실시예에 따른 이미지 처리 장치(1)에서, 제1 동기화 장치(210)는 미리 정한 개수의 제1 라인 데이터(LD1)를 메모리(400)에 전송하고, 라인 인터리빙 컨트롤러(300)에 제1 승인 신호(Grant 1)를 제공한다. 제1 승인 신호(Grant 1)를 제공받은 라인 인터리빙 컨트롤러(300)는 상기 제1 승인 신호(Grant 1)에 대한 응답 신호인 제1 알림 신호(Ack 1)를 제1 동기화 장치(210)로 제공할 수 있다. 이와 함께, 라인 인터리빙 컨트롤러(300)는 메모리(400)에 접근하여, 미리 정한 개수의 복수의 제1 라인 데이터(LD1)를 메모리(400)로부터 읽어올 수 있다.
본 발명의 몇몇 실시예에서, 라인 인터리빙 컨트롤러(300)는 메모리(400)로부터 제1 라인 데이터(LD1)를 다 읽은 후에 제1 알림 신호(Ack 1)를 보낼 수도 있으며, 라인 인터리빙 컨트롤러(300)로부터 제1 알림 신호(Ack 1)를 받지 않아도 제1 동기화 장치(210)는 제1 라인 데이터(LD1)를 메모리(400)의 다른 위치에 계속 전송할 수도 있다.
라인 인터리빙 컨트롤러(300)는 메모리(400)로부터 읽어온 미리 정한 개수의 복수의 제1 라인 데이터(LD1)를 이미지 신호 처리기(500)로 전송할 수 있다. 라인 인터리빙 컨트롤러(300)가 이미지 신호 처리기(500)로 복수의 제1 라인 데이터(LD1)를 전송하는 것은, 제1 라인 데이터(LD1)를 시분할 다중화(Time Division Multiplexing)에 의하여 복수의 제1 라인 데이터(LD1)를 순차적으로 전송하는 것일 수 있다.
또한, 제2 동기화 장치(220)는 미리 정한 개수의 제2 라인 데이터(LD2)를 메모리(400)에 전송하고, 라인 인터리빙 컨트롤러(300)에게 제2 알림 신호(Grant 2)를 제공한다. 제2 승인 신호(Grant 2)를 제공받은 라인 인터리빙 컨트롤러(300)는 상기 제2 승인 신호(Grant 2)에 대한 응답 신호인 제2 알림 신호(Ack 2)를 제2 동기화 장치(220)로 제공할 수 있다. 이와 함께, 라인 인터리빙 컨트롤러(300)는 메모리(400)에 접근하여, 미리 정한 개수의 복수의 제2 라인 데이터(LD2)를 메모리(400)로부터 읽어올 수 있다.
본 발명의 몇몇 실시예에서, 라인 인터리빙 컨트롤러(300)는 메모리(400)로부터 제2 라인 데이터(LD2)를 다 읽은 후에 제2 알림 신호(Ack 2)를 보낼 수도 있으며, 라인 인터리빙 컨트롤러(300)로부터 제2 알림 신호(Ack 2)를 받지 않아도 제2 동기화 장치(220)는 제2 라인 데이터(LD2)를 메모리(400)의 다른 위치에 계속 전송할 수도 있다.
라인 인터리빙 컨트롤러(300)는 메모리(400)로부터 읽어온 미리 정한 개수의 복수의 제2 라인 데이터(LD2)를 이미지 신호 처리기(500)로 전송할 수 있다. 마찬가지로, 라인 인터리빙 컨트롤러(300)가 이미지 신호 처리기(500)로 복수의 제2 라인 데이터(LD2)를 전송하는 것은, 제2 라인 데이터(LD2)를 시분할 다중화(Time Division Multiplexing)에 의하여 복수의 제2 라인 데이터(LD2)를 순차적으로 전송하는 것일 수 있다.
제1 내지 제2 동기화 장치(210, 220)와, 라인 인터리빙 컨트롤러(300) 및 메모리(400)의 동작과 관련하여 도 4를 참조하여 더욱 자세하게 설명한다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치(1)에 포함된 제1 내지 제2 동기화 장치(210, 220), 라인 인터리빙 컨트롤러(300) 및 메모리(400)의 동작을 설명하기 위한 블록도이다.
도 4 및 도 5를 참조하면, 제1 동기화 장치(210)로부터 메모리(400)로 제1 프레임 데이터를 이루는 미리 정한 개수(N)의 제1 라인 데이터의 전송이 개시된다. 먼저 도 4 에서는, 제1 동기화 장치(210)로부터 k개(k는 1 이상 및 N 미만의 자연수)의 제1 라인 데이터(LD1)가 전송된다. 도 4에는 제1 동기화 장치(210)로부터 메모리(400)로 제1 라인 데이터(LD1)의 전송이 계속되고 있는 도중에 제2 동기화 장치(220)로부터 메모리(400)로 제2 라인 데이터(LD2)의 전송이 수행되지 않는 것으로 도시되었으나 본 발명이 이에 제한되는 것은 아니다. 즉, 제2 동기화 장치(220)는 제1 동기화 장치(210)가 제1 라인 데이터(LD1)를 메모리(400)로 전송하는 것과 동시에 제2 라인 데이터(LD2)를 메모리(400)로 전송할 수도 있다.
본 발명의 몇몇 실시예에서, 라인 인터리빙 컨트롤러(300)는 메모리(400)에 저장된 제1 라인 데이터(LD1) 또는 제2 라인 데이터(LD2)를 읽어들이기 위하여 DMA 방식으로 메모리(400)에 접근할 수 있다. 여기서 제1 또는 제2 동기화 장치(210, 220)는 DMA 마스터(master)로 동작하고, DMA 마스터인 제1 또는 제2 동기화 장치(210, 220)로부터 승인 신호를 받아 읽기 작업을 수행하는 라인 인터리빙 컨트롤러(300)는 DMA 슬레이브(slave)로 동작할 수 있다.
한편, 도 5에서는, 제1 동기화 장치(210)가 메모리(400)로 미리 정한 개수(N)의 제1 라인 데이터(LD1)을 전송하는 것을 완료하고 라인 인터리빙 컨트롤러(300)로 제1 승인 신호(Grant 1)를 제공하는 것이 도시된다. 제1 승인 신호(Grant 1)를 제공받은 라인 인터리빙 컨트롤러(300)는 제1 동기화 장치(210)로 제1 알림 신호(Ack 1)를 제공하는 한편, 메모리(400)로부터 N개의 제1 라인 데이터(LD1)를 읽어온다. 라인 인터리빙 컨트롤러(300)는 N개의 제1 라인 데이터(LD1)를 이미지 신호 처리 장치(500)에 시분할 다중화 방식으로 순차적으로 전송할 수 있다.
또한, 제2 동기화 장치(220)가 메모리(400)로 미리 정한 개수(M)의 제2 라인 데이터(LD2)의 전송을 시작한다. 도 5에서는 제2 동기화 장치(220)로부터 j개 (j는 1 이상 및 M 미만의 자연수)의 제2 라인 데이터(LD2)가 전송되는 것이 도시되었다. 제1 라인 데이터(LD1)와 제2 라인 데이터(LD2)는 메모리(400) 내에서 서로 분리된 영역에 저장될 수 있다. 제1 라인 데이터(LD1)와 마찬가지로, 미리 정한 개수(M)의 제2 라인 데이터(LD2)의 전송이 완료되면 제2 동기화 장치(220)는 라인 인터리빙 컨트롤러(300)로 제2 승인 신호(grant 2)를 제공할 수 있다. 라인 인터리빙 컨트롤러(400)는 제2 동기화 장치(220)로 제2 알림 신호(Ack 2)를 제공하는 한편, 메모리(400)로부터 M개의 제2 라인 데이터(LD2)를 읽어온다. 라인 인터리빙 컨트롤러(300)는 M개의 제2 라인 데이터(LD2)를 이미지 신호 처리 장치(500)에 시분할 다중화 방식으로 순차적으로 전송할 수 있다.
메모리(400)로부터 라인 인터리빙 컨트롤러(300)로의 N개의 제1 라인 데이터(LD1)의 전송 도중에, 제2 동기화 장치(220)로부터 제2 승인 신호(Grant 2)가 라인 인터리빙 컨트롤러(300)로 제공될 수 있다. 이 경우 라인 인터리빙 컨트롤러(300)는 제1 라인 데이터(LD1)의 읽기가 완료될 때까지 제2 라인 데이터(LD2)를 읽어들이는 것을 보류할 수 있으나 본 발명이 이에 제한되는 것은 아니다. 제1 라인 데이터(LD1)의 읽기가 완료되면, 라인 인터리빙 컨트롤러(300)는 M개의 제2 라인 데이터(LD2)의 읽기를 수행하고, 읽어들인 제2 라인 데이터(LD2)를 이미지 신호 처리기(500)에 전송할 수 있으며, 필요 시 제1 라인 데이터(LD1)의 읽기 도중에 제2 라인 데이터(LD2)의 읽기를 개시할 수 있다.
이와 마찬가지로, 메모리(400)로부터 라인 인터리빙 컨트롤러(300)로의 M개의 제2 라인 데이터(LD2)의 전송 도중에, 제1 동기화 장치(210)로부터의 제1 승인 신호(Grant 1)가 라인 인터리빙 컨트롤러(300)로 제공될 수 있다. 이 경우 라인 인터리빙 컨트롤러(300)는 제2 라인 데이터(LD2)의 읽기가 완료될 때까지 제1 라인 데이터(LD1)를 읽어들이는 것을 보류할 수 있으나 본 발명이 이에 제한되는 것은 아니다. 라인 인터리빙 컨트롤러(300)는 제2 라인 데이터(LD2)의 읽기가 완료되면, N개의 제1 라인 데이터(LD1)의 읽기를 수행하고, 읽어들인 제1 라인 데이터(LD1)를 이미지 신호 처리기(500)에 전송할 수 있으며, 필요 시 제2 라인 데이터(LD2)의 읽기 도중에 제1 라인 데이터(LD1)의 읽기를 개시할 수 있다.
도 6은 본 발명의 일 실시예에 따른 이미지 처리 장치(1)에 포함된 이미지 신호 처리기(500)를 설명하기 위한 블록도이다.
도 6을 참조하면, 이미지 신호 처리기(500)는 제1 내지 제3 신호 처리 블록(510~530), 스케일링부(540) 및 DMA 출력부(550)를 포함할 수 있다.
이미지 신호 처리기(500)는 라인 인터리빙 컨트롤러(300)로부터 복수의 제1 라인 데이터(LD1) 및 제2 라인 데이터(LD2)를 시분할 다중화 방식으로 제공받을 수 있다. 즉, 이미지 신호 처리기(500)는 라인 인터리빙 컨트롤러(300)가 메모리(400)로부터 읽어들인 복수의 제1 라인 데이터(LD1) 또는 제2 라인 데이터(LD2)를 라인 단위로 순차적으로 제공받을 수 있다.
도 6에서는 예시적으로, 이미지 신호 처리기(500)가 3개의 신호 처리 블록(510~530)을 포함하는 것으로 도시하였으나 본 발명이 이에 제한되는 것은 아니다. 제1 내지 제3 신호 처리 블록(510, 520, 530)은 예를 들어 각각 자동 노출(automatic exposure), 자동 화이트 밸런스(automatic white balance) 및 노이즈 제거를 수행하는 블록일 수 있으나 본 발명이 이에 제한되는 것은 아니다. 제1 내지 제3 신호 처리 블록(510, 520, 530)은 라인 단위의 제1 라인 데이터(LD1) 또는 제2 라인 데이터(LD2)에 대하여 상기 노출 제어 등의 이미지 처리를 수행한 후, 다음 신호 처리 블록에 결과물을 제공할 수 있다.
또한, 각각의 신호 처리 블록들은 신호 처리된 결과물을 DMA 출력부(550)로 제공할 수 있다. DMA 출력부(550)는 라인 단위로 구성된 신호 처리 결과물을 프레임 버퍼에 저장할 수 있다. 본 발명의 몇몇 실시예에서, 프레임 버퍼는 메모리(400)에 위치할 수 있다. 즉, 제1 내지 제2 동기화 장치(210, 220)가 제공한 제1 내지 제2 라인 데이터(LD1, LD2)와 프레임 버퍼는 동일한 메모리(400) 내에 저장될 수 있다.
스케일링부(540) 제3 신호 처리 블록(530)으로부터 출력된 데이터에 대하여 스케일 조절(scaling)을 수행할 수 있다. 즉, 스케일링부(540)는 제3 신호 처리 블록(530)이 출력한 데이터를 스케일 업 또는 스케일 다운하여 출력할 수 있다.
결과적으로, 본 발명의 일 실시예에 따른 이미지 처리 장치는 이미지 센서로부터 제공된 복수의 프레임 데이터를 시분할 다중화를 통해 하나의 이미지 신호 처리기(500)를 이용하여 이미지 처리를 수행할 수 있다. 특히, 프레임 데이터에 대하여 그대로 이미지 처리를 수행하는 대신에, 이미지 처리 장치는 한 프레임의 완전한 전송이 이루어지기 이전에 라인 단위로 전송된 이미지 처리를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 이미지 처리 장치에 포함된 메모리는 복수의 프레임 데이터의 적어도 일부를 각각 저장할 수 있다. 즉, 예를 들어 DRAM을 포함하는 메모리(400)의 구성에 따라, 이미지 센서(110, 120)가 생성한 복수의 프레임 데이터를 각각 저장할 수 있다. 따라서 이미지 센서(110, 120)가 생성한 프레임 데이터가 메모리(400)의 용량의 한계에 따라 소실될 가능성이 감소될 수 있다.
도 7은 본 발명의 다른 실시예에 따른 이미지 처리 장치에 포함된 이미지 신호 처리기를 설명하기 위한 블록도이다. 이하에서 앞서 설명한 실시예와 중복되는 내용은 생략하고 차이점을 위주로 설명한다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 이미지 처리 장치에 포함된 이미지 신호 처리기(1500)는 앞서 설명한 제1 내지 제3 신호 처리 블록(510~530) 이외에, 제4 신호 처리 블록(560)을 더 포함할 수 있다.
제4 신호 처리 블록(560)은 제1 내지 제3 신호 처리 블록(510~530)과 다른 방식으로 동작할 수 있다. 즉, 제1 내지 제3 신호 처리 블록(510~530)이 제1 내지 제2 라인 데이터(LD1, LD2)를 라인 단위로 입력받아 신호 처리를 수행하였다면, 제4 신호 처리 블록(560)은 제1 또는 제2 프레임 데이터에 대하여 프레임 단위의 신호 처리를 수행할 수 있다.
즉, 제1 내지 제3 신호 처리 블록(510~530)은 제1 또는 제2 라인 데이터(LD1, LD2)에 대하여 신호 처리를 수행한 후 DMA 출력부(550)를 통하여 프레임 버퍼(700)에 저장한다. 이 때 프레임 버퍼(700)에 저장되는 영상 데이터의 데이터 형식은 제1 내지 제3 신호 처리 블록(510~530)이 신호 처리에 사용한 라인 단위의 형식이 아닌, 프레임 단위일 수 있다.
제4 신호 처리 블록(560)은 프레임 버퍼(700)로부터 제공된 프레임 단위의 영상 데이터를 이용하여 신호 처리를 수행하고, 이를 스케일링부(570)에 제공할 수 있다.
즉, 본 발명의 다른 실시예에 따른 이미지 처리 장치에 포함된 이미지 신호 처리기(1500)는 라인 단위로 영상 데이터를 입력받아 신호 처리를 수행하는 제1 내지 제3 신호 처리 블록(510~530) 뿐만 아니라, 프레임 단위로 영상 데이터를 입력받아 신호 처리를 수행하는 제4 신호 처리 블록(570)을 포함할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 이미지 처리 장치의 다른 동작을 설명하기 위한 블록도이다.
도 8을 참조하면, 이미지 처리 장치(1)는 제1 이미지 센서(110)로부터 제공된 n번째 프레임의 영상 데이터와, n+k번째 프레임의 영상 데이터를 이용하여 영상 처리를 수행할 수 있다. 본 명세서에서, n+k번째 프레임의 영상 데이터는 n번째 프레임의 영상 데이터보다 시간적으로 후에 생성된 영상 데이터를 의미할 수 있다.
즉, 통상적으로 제1 이미지 센서(110) 및 제2 이미지 센서(120)가 모두 동작하여, 각각 제1 동기화 장치(210) 및 제2 동기화 장치(220)를 통해 픽셀 데이터를 메모리(400)에 저장하는 동작이 진행된다. 이 때, 사용자의 입력 또는 외부 신호에 따라 제1 이미지 센서(110) 또는 제2 이미지 센서(120)가 과거에 생성한 픽셀 데이터를 포함하는 프레임 데이터를 참조하여 이미지 처리를 수행하여야 할 필요가 있을 수 있다.
이미지 처리 장치(1)는 이러한 요구에 따라 예를 들어 제2 이미지 센서(120)의 동작을 중지시킨 후, 제1 이미지 센서(110)가 생성한 n번째 프레임의 영상 데이터와, 메모리(400)에 저장된 n+k번째 프레임의 영상 데이터를 라인 인터리빙 컨트롤러(300)에 제공할 수 있다. 라인 인터리빙 컨트롤러(300)는 입력된 n번째 및 n+k번째 프레임의 영상 데이터를 라인 단위의 라인 데이터로 분할하고, 각각의 라인 데이터를 시분할 다중화를 이용하여 이미지 신호 처리기(500)에 전송할 수 있다. 이미지 신호 처리기(500)는 라인 데이터를 신호 처리하여 출력할 수 있다.
도 9는 본 발명의 일 실시예에 따른 이미지 처리 장치의 동작을 설명하기 위한 순서도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 이미지 센서로부터 제공된 복수의 프레임 데이터를 라인 단위로 분할하고(S110), 분할된 복수의 라인 단위 데이터를 미리 정한 개수의 라인 수만큼 외부 메모리에 저장하고(S120), 미리 정한 개수의 라인 데이터가 외부 메모리에 저장이 완료된 경우 저장 완료를 라인 인터리빙 컨트롤러(300)에 알리고(S130), 외부 메모리에 저장된 복수의 라인 데이터를 시분할 다중화하여 이미지 신호 처리 장치(500)로 전송한다(S140).
도 10은 본 발명의 실시예에 따른 이미지 처리 장치를 포함하는 전자 장치를 나타내는 블록도이다.
도 10을 참조하면, 전자 장치(1000)는 이미지 신호 프로세서(1010), 메모리 장치 (1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050), 및 이미지 센서(1060)를 포함한다.
이미지 센서(1060)는 전술한 오프셋 보상된 기준 전압을 ADC 변환 시 기준 전압으로 사용하는 이미지 센서를 포함한다. 한편, 도 10에는 도시되지 않았지만, 전자 장치(1000)는 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
이미지 신호 프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 이미지 신호 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다.
이미지 신호 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030) 및 입출력 장치(1040)와 통신을 수행할 수 있다.
실시예에 따라, 이미지 신호 프로세서(1010)는 주변 구성요소 상호 연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
메모리 장치(1020)는 전자 장치(1000)의 동작에 필요한 데이터를 저장할 수 있다. 메모리 장치(1020)는 앞서 설명한 본 발명의 실시예들에 따른 이미지 처리 장치의 동작과 관련하여, 이미지 센서가 제공한 라인 데이터를 저장하고, 프레임 버퍼가 위치될 수 있다.
예를 들어, 메모리 장치(1020)는 DRAM, 모바일 DRAM, SRAM, PRAM, FRAM, RRAM 및/또는 MRAM으로 구현될 수 있으며 이미지 신호 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(Solid State Drive(SSD)), 하드 디스크 드라이브(Hard Disk Drive(HDD)), CD-ROM 등을 포함할 수 있다.
입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단, 및 프린터와 디스플레이 등과 같은 출력수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 장치(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.
이미지 센서(1060)는 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 이미지 센서(1060)는 앞서 설명한 본 발명의 실시예들에 따른 이미지 처리 장치와 같이 동작할 수 있다.
이미지 센서(1060)는 이미지 신호 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른칩에 각각 집적될 수도 있다.
한편, 전자 장치(1000)는 이미지 센서를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 전자 장치(1000)는 디지털 카메라, 이동 전화기, 스마트폰(Smart Phone), 태블릿 PC 등을 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
110, 120: 이미지 센서 210, 220: 동기화 장치
300: 라인 인터리빙 컨트롤러 400: 메모리
500: 이미지 신호 처리기

Claims (10)

  1. 이미지 센서로부터 제1 프레임 데이터와, 상기 제1 프레임과 다른 제2 프레임 데이터를 제공받는 동기화 장치;
    상기 동기화 장치로부터 상기 제1 프레임 데이터의 적어도 일부와, 상기 제2 프레임 데이터의 적어도 일부를 제공받아 각각 저장하는 메모리;
    상기 메모리에 저장된 상기 제1 프레임 데이터에 포함된 제1 라인 데이터와, 상기 제2 프레임 데이터에 포함된 제2 라인 데이터를 시분할 다중화 방식으로 출력하는 라인 인터리빙 컨트롤러; 및
    상기 라인 인터리빙 컨트롤러로부터 출력된 상기 제1 라인 데이터와 상기 제2 라인 데이터를 라인 단위로 이미지 신호 처리하는 이미지 신호 처리기를 포함하되,
    상기 제2 프레임 데이터는 동일한 이미지 센서로부터 상기 제1 프레임 데이터보다 시간적으로 뒤에 생성되는 이미지 처리 장치.
  2. 제 1항에 있어서,
    상기 이미지 센서는 제1 프레임 데이터를 생성하는 제1 이미지 센서와,
    상기 제2 프레임 데이터를 생성하는 제2 이미지 센서를 포함하는 이미지 처리 장치.
  3. 이미지 센서로부터 제1 프레임 데이터와, 상기 제1 프레임과 다른 제2 프레임 데이터를 제공받는 동기화 장치;
    상기 동기화 장치로부터 상기 제1 프레임 데이터의 적어도 일부와, 상기 제2 프레임 데이터의 적어도 일부를 제공받아 각각 저장하는 메모리;
    상기 메모리에 저장된 상기 제1 프레임 데이터에 포함된 제1 라인 데이터와, 상기 제2 프레임 데이터에 포함된 제2 라인 데이터를 시분할 다중화 방식으로 출력하는 라인 인터리빙 컨트롤러; 및
    상기 라인 인터리빙 컨트롤러로부터 출력된 상기 제1 라인 데이터와 상기 제2 라인 데이터를 라인 단위로 이미지 신호 처리하는 이미지 신호 처리기를 포함하되,
    상기 이미지 센서는 제1 프레임 데이터를 생성하는 제1 이미지 센서와, 상기 제2 프레임 데이터를 생성하는 제2 이미지 센서를 포함하고,
    상기 제1 이미지 센서는 상기 제1 프레임 데이터를 제1 프레임 레이트로 생성하고,
    상기 제2 이미지 센서는 상기 제2 프레임 데이터를 상기 제1 프레임 레이트와 다른 제2 프레임 레이트로 생성하는 이미지 처리 장치.
  4. 제 2항에 있어서,
    상기 동기화 장치는 상기 제1 이미지 센서로부터 상기 제1 프레임 데이터를 제공받는 제1 동기화 장치와,
    상기 제2 이미지 센서로부터 상기 제2 프레임 데이터를 제공받는 제2 동기화 장치를 포함하는 이미지 처리 장치.
  5. 제 2항에 있어서,
    상기 동기화 장치는 미리 정한 수의 상기 제1 라인 데이터를 상기 메모리에 제공하고, 상기 라인 인터리빙 컨트롤러에 승인 신호를 제공하는 이미지 처리 장치.
  6. 제 5항에 있어서,
    상기 라인 인터리빙 컨트롤러는 상기 승인 신호를 제공받아 상기 메모리에 저장된 상기 미리 정한 수의 상기 제1 라인 데이터를 읽어들이는 이미지 처리 장치.
  7. 삭제
  8. 제 1항에 있어서,
    상기 라인 인터리빙 컨트롤러는 DMA(Direct Memory Access) 방식으로 상기 메모리에 접근하는 이미지 처리 장치.
  9. 중앙 처리 장치;
    메모리; 및
    상기 중앙 처리 장치 및 상기 메모리와 버스를 통해 연결된 이미지 처리 장치를 포함하되,
    상기 이미지 처리 장치는,
    이미지 센서,
    상기 이미지 센서로부터 제1 프레임 데이터와, 상기 제1 프레임과 다른 제2 프레임 데이터를 제공받고, 상기 제1 프레임 데이터의 적어도 일부와, 상기 제2 프레임 데이터의 적어도 일부를 상기 메모리에 제공하는 동기화 장치,
    상기 메모리에 저장된 상기 제1 프레임 데이터에 포함된 제1 라인 데이터와, 상기 제2 프레임 데이터에 포함된 제2 라인 데이터를 시분할 다중화 방식으로 출력하는 라인 인터리빙 컨트롤러, 및
    상기 라인 인터리빙 컨트롤러로부터 출력된 상기 제1 라인 데이터와 상기 제2 라인 데이터를 라인 단위로 이미지 신호 처리하는 이미지 신호 처리기를 포함하되,
    상기 제2 프레임 데이터는 동일한 이미지 센서로부터 상기 제1 프레임 데이터보다 시간적으로 뒤에 생성되는 전자 장치.
  10. 제 9항에 있어서,
    상기 이미지 처리 장치는 상기 중앙 처리 장치의 개입 없이 상기 메모리에 접근하는 전자 장치.
KR1020170018106A 2017-02-09 2017-02-09 이미지 처리 장치 및 이를 포함하는 전자 장치 KR102557662B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170018106A KR102557662B1 (ko) 2017-02-09 2017-02-09 이미지 처리 장치 및 이를 포함하는 전자 장치
US15/837,643 US10362267B2 (en) 2017-02-09 2017-12-11 Image processing apparatus and electronic device including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170018106A KR102557662B1 (ko) 2017-02-09 2017-02-09 이미지 처리 장치 및 이를 포함하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20180092437A KR20180092437A (ko) 2018-08-20
KR102557662B1 true KR102557662B1 (ko) 2023-07-19

Family

ID=63038175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170018106A KR102557662B1 (ko) 2017-02-09 2017-02-09 이미지 처리 장치 및 이를 포함하는 전자 장치

Country Status (2)

Country Link
US (1) US10362267B2 (ko)
KR (1) KR102557662B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190313026A1 (en) * 2018-04-09 2019-10-10 Qualcomm Incorporated Multi-context real time inline image signal processing
WO2021162173A1 (ko) * 2020-02-14 2021-08-19 엘지전자 주식회사 멀티 카메라, 이미지를 촬영하는 장치 및 그 방법
KR20210150704A (ko) 2020-06-04 2021-12-13 삼성전자주식회사 라인 인터리빙 컨트롤러 및 이를 포함하는 이미지 신호 프로세서
CN113329174B (zh) * 2021-05-21 2022-06-03 浙江大华技术股份有限公司 多目摄像机的控制方法、装置、系统和电子装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197378A (ja) 1992-12-25 1994-07-15 Kawasaki Steel Corp ブロックインタリーブコントロール方式およびその回路
GB2343320B (en) 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
US7034819B2 (en) * 2002-10-04 2006-04-25 Silicon Integrated Systems Corp. Apparatus and method for generating an interleaved stereo image
JP2007158550A (ja) 2005-12-01 2007-06-21 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
KR100761833B1 (ko) 2006-01-13 2007-09-28 삼성전자주식회사 화면의 라인들을 픽셀 단위로 교대로 저장하는 비디오디코딩 장치, 비디오 디코딩 방법 및 기준화면 저장 방법
US8059174B2 (en) 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8451994B2 (en) 2010-04-07 2013-05-28 Apple Inc. Switching cameras during a video conference of a multi-camera mobile device
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US9741117B2 (en) 2014-12-22 2017-08-22 Motorola Mobility Llc Multiple camera apparatus and method for synchronized auto white balance
KR102459917B1 (ko) * 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들

Also Published As

Publication number Publication date
KR20180092437A (ko) 2018-08-20
US20180227541A1 (en) 2018-08-09
US10362267B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
KR102557662B1 (ko) 이미지 처리 장치 및 이를 포함하는 전자 장치
JP7053713B2 (ja) 低電力コンピュータイメージング
TW201631466A (zh) 影像訊號處理器以及包括其之裝置
JPH0827705B2 (ja) アダプタ
JP6272670B2 (ja) ディスプレードライバ集積回路及びディスプレーデータ処理方法
CN103686314A (zh) 采用高清视频通道传输多路标清视频的解复用装置及方法
CN109509424B (zh) 显示驱动装置、其控制方法及显示装置
US20220345769A1 (en) Image data processing device and method, and display device
US20130063630A1 (en) Image pickup device and signal transmitting device
TWI686700B (zh) 應用程式處理器、單晶片系統以及操作影像處理系統的方法
JP2016189096A (ja) 半導体装置
US20170294176A1 (en) Image processing apparatus, image processing method, and storage medium
TW200808065A (en) Video data compression system and method
JP2012049911A5 (ko)
US9070201B2 (en) Image processing apparatus
US20190392548A1 (en) Video signal switching for use with an external graphics processing unit device
US10346323B2 (en) Data transfer device and data transfer method for smoothing data to a common bus
JP5968011B2 (ja) 画像処理装置及びその制御方法
KR20210125477A (ko) 가상 플래시
CN209895383U (zh) 一种数字图像大数据的高速传输装置
US20120144150A1 (en) Data processing apparatus
CN205680092U (zh) 双口ram共享接口电路
JP2019074559A (ja) 画像表示システム
KR100284420B1 (ko) 디지털 비디오 캡쳐 보드
TWI413943B (zh) 影像處理系統及其影像處理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant