KR101068829B1 - 촬상 장치 및 이미지 회전 처리 방법 - Google Patents

촬상 장치 및 이미지 회전 처리 방법 Download PDF

Info

Publication number
KR101068829B1
KR101068829B1 KR1020090130562A KR20090130562A KR101068829B1 KR 101068829 B1 KR101068829 B1 KR 101068829B1 KR 1020090130562 A KR1020090130562 A KR 1020090130562A KR 20090130562 A KR20090130562 A KR 20090130562A KR 101068829 B1 KR101068829 B1 KR 101068829B1
Authority
KR
South Korea
Prior art keywords
image data
processor chip
bayer
bayer image
signal processor
Prior art date
Application number
KR1020090130562A
Other languages
English (en)
Other versions
KR20110073815A (ko
Inventor
김왕현
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020090130562A priority Critical patent/KR101068829B1/ko
Publication of KR20110073815A publication Critical patent/KR20110073815A/ko
Application granted granted Critical
Publication of KR101068829B1 publication Critical patent/KR101068829B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/606—Rotation of whole images or parts thereof by memory addressing or mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877—Image rotation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6016—Conversion to subtractive colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

촬상 장치 및 이미지 회전 처리 방법이 개시된다. 본 발명에 따른 촬상 장치는, 이미지 센서; 및 상기 이미지 센서로부터 입력되는 제1 베이어 이미지 데이터에 대해 90도 회전 처리한 제2 베이어 이미지 데이터 및 상기 제1 베이어 이미지 데이터를 결합된 메모리 장치에 각각 저장하는 이미지 시그널 프로세서 칩을 포함할 수 있다. 본 발명에 의하여, 저장된 베이어 이미지의 읽기 동작시 모든 방향의 회전(rotation)에 대한 버스트(burst) 동작이 가능하며 이로 인해 회전 처리된 베이어 이미지의 출력 속도를 증가시킬 수 있다.
이미지, 메모리, 회전

Description

촬상 장치 및 이미지 회전 처리 방법{Imaging device and method for processing image rotation}
본 발명은 촬상 장치에 관한 것으로, 특히 촬상 장치 및 이미지 회전 처리 방법에 관한 것이다.
최근 통신 기술 및 이동통신 단말의 제작 기술이 급속도로 발전함에 따라 다양한 소비자 욕구를 충족시키기 위한 다기능 단말이 상용화되고 있다. 즉, 음성 및/또는 화상 전달을 위한 통화 기능, 인터넷 접속 기능, 대금 결제 기능, 카메라 기능 등이 다양하게 구비되고 있다.
도 1은 종래기술에 따른 카메라 기능을 구비한 이동통신 단말의 구성도이다.
도 1을 참조하면, 카메라 기능을 구비한 이동통신 단말은 이미지 센서(10), 이미지 시그널 프로세서 칩(20) 및 멀티미디어 프로세서 칩(30)를 포함한다. 도시된 멀티미디어 프로세서 칩(30)은 베이스밴드 칩일 수도 있다.
멀티미디어 프로세서 칩(30)은 I2C(Inter-Integrated Circuit)/SPI(Serial Peripheral Interface)를 통해서 이미지 시그널 프로세서 칩(20)을 제어하며, 이미지 시그널 프로세서 칩(20)은 입력받은 커맨드(command)에 따라 이미지 센서(10)를 제어한다.
이미지 센서(10)로부터 출력되는 영상 신호는 패러럴 인터페이스(Parallel I/F) 또는 고속 시리얼 인터페이스(serial interface)인 MIPI(Mobile Industry Processor Interface)
를 통해서 전송된다. 이미지 시그널 프로세서 칩(20) 역시 해당 영상 신호를 처리한 영상 데이터를 멀티미디어 프로세서 칩(30) 또는 베이스밴드 칩으로 패러럴 인터페이스 또는 MIPI를 통해서 전송한다. 여기서, MIPI는 최근 이미지 센서(10)가 8M/12M/13M/16M 화소 등으로 점차 고화소화되면서 일정한 시간에 대용량의 이미지 전송이 가능하도록 하기 위해서 고속 시리얼 인터페이스이다.
이미지 시그널 프로세서 칩(20)은 최근 포스트 프로세싱(post Processing)을 위해 메모리(예를 들어, DRAM)를 칩 내에 스택(stack)하여 구비한다. 포스트 프로세싱으로는 예를 들어 Still DIS, Motion DIS, CPS, Face detection, smile/blink detection, digital zoom, thumbnail 및 jpeg을 1개의 Vsync에 상응하도록 전송, image rotation 등이 있으며, 이러한 처리를 위한 프레임 메모리(Frame memory)로서 DRAM이 구비되고 있다.
도 2는 일반적인 모바일(Mobile) DDR SDRAM의 기능 블록 다이어그램이다.
DRAM은 커패시턴스(capacitance)의 충방전을 이용하여 데이터를 보유하게 된다. 따라서, DATA를 유지하기 위해 일정량의 충전이 요구되며, 이러한 동작을 리프레시(refresh)라고 한다.
도 2에서 뱅크(BANK)라고 도시된 영역에 실제적으로 데이터가 기록되며, 모드 레지스터(Mode register)를 이용하여 SDRAM이 사용 목적에 맞게 설정된다.
또한, 컬럼 어드레스 카운터(COLUMN ADD. COUNTER), 버스트 카운터(BURST COUNTER)와 같이 상승 카운터(up-counter)만 가능하기 때문에 초기 주소가 입력되면, 그 주소부터 해서 증분(increment)처리 된다. 따라서, 버스트(burst) 동작은 열(row)에서 보면 낮은 주소에서 높은 주소로만 동작하게 되지만, 컬럼 버스트(column burst)는 지원되지 않는다.
도 3은 종래 기술에 따른 카메라 기능을 구비한 이동통신 단말에서 수행되는 이미지 회전 과정을 나타낸 도면이다.
이미지 시그널 프로세서 칩(20)에 이미지 센서(10)로부터 (a)와 같은 형태의 베이어 이미지(Bayer image)가 입력되고, 입력된 베이어 이미지가 DRAM에 저장된 경우, 해당 베이어 이미지는 (b), (c) 및 (d)와 같이 각각 90o , 180o , 270o 회전(rotation) 처리 및 출력되어 진다.
이 경우, (b), (c) 및 (d)와 같이 베이어 이미지를 회전하여 출력하는 경우, 그 출력 속도를 높이기 위해서는 점선 처리된 블록의 방향으로 DRAM에서 버스트(burst) 8, 버스트 16 또는 1열을 한번에 읽기(read)하는 풀 페이지(full page)로 읽기하면 된다.
그러나 DRAM은 구조적으로 도 3의 (a)에 점선 처리된 블록의 방향으로만 버스트 4/8/16 또는 풀 페이지 읽기가 가능하다. 즉, (b) 내지 (d)의 점선 처리된 블록 방향으로 회전(rotation) 할 때에는 1개의 데이터만을 읽기하는 1 버스트를 이용해야 하며, 이로 인해 회전 출력시 속도의 저하는 불가피하다. 또한, DRAM 동작을 위해서 선행되어야 할 부분들이 있는데, 이러한 부분들이 1 버스트할 때마다 발생되면, 불필요한 시간들이 누적되어 회전(rotation) 출력시 속도 저하가 불가피하다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 베이어 이미지(Bayer image)의 저장시 메모리의 구조를 고려하여 저장함으로써, 저장된 베이어 이미지의 읽기 동작시 모든 방향의 회전(rotation)에 대한 버스트(burst) 동작이 가능하며 이로 인해 회전 처리된 베이어 이미지의 출력 속도를 증가시킬 수 있는 촬상 장치 및 이미지 회전 처리 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 촬상 장치로서, 이미지 센서; 및 상기 이미지 센서로부터 입력되는 제1 베이어 이미지 데이터에 대해 90도 회전 처리한 제2 베이어 이미지 데이터 및 상기 제1 베이어 이미지 데이터를 결합된 메모리 장치에 각각 저장하는 이미지 시그널 프로세서 칩을 포함하는 촬상 장치가 제공된다.
상기 메모리 장치의 저장 영역은 복수의 분할 영역들로 구획되고, 상기 제1 베이어 이미지 데이터는 제1 분할 영역에 저장되고, 상기 제2 베이어 이미지는 제2 분할 영역에 저장될 수 있다.
상기 이미지 시그널 프로세서 칩은, 상기 제1 베이어 이미지 데이터에 대해 글루 로직(glue logic)을 수행하여 제2 베이어 이미지 데이터를 생성하는 DMA(Direct Memory Access); 상기 제1 베이어 이미지 데이터 및 상기 제2 베이어 이미지 데이터를 상기 메모리 장치에 저장하는 MIC(Memory Interface Controller); 및 수신단으로 제공하기 위해, 상기 MIC에 의해 독출된 상기 메모리 장치에 저장된 상기 제1 또는 상기 제2 베이어 이미지 데이터를 구성하는 영상 정보를 저장하는 입력 버퍼를 포함할 수 있다.
상기 입력 버퍼는, 상기 영상 정보를 저장하기 위한 둘 이상의 라인 메모리들; 및 상기 라인 메모리들에 저장된 영상 정보를 상기 수신단으로 선택적 출력하기 위한 MUX(Multiplexer)를 포함할 수 있다.
상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 0도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제1 베이어 이미지 데이터에서 M x 1부터 순차적인 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장할 수 있다. 여기서, 상기 M과 N은 각각 임의의 자연수일 수 있다.
상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 90도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제2 베이어 이미지 데이터에서 M x 1부터 순차적인 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장할 수 있다. 상기 M과 N은 각각 임의의 자연수일 수 있다.
0도 회전 또는 90도 회전된 베이어 이미지 데이터의 출력을 위해, 하나의 라인 메모리 내에 저장된 영상 정보는 기록된 순서대로 상기 수신단으로 출력될 수 있다.
상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 180도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제1 베이어 이미지 데이터에서 M x N부터 역순의 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장할 수 있다. 여기서, 상기 M과 N은 각각 임의의 자연수일 수 있다.
상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 270도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제2 베이어 이미지 데이터에서 M x N부터 역순의 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장할 수 있다. 여기서, 상기 M과 N은 각각 임의의 자연수일 수 있다.
1800도 회전 또는 270도 회전된 베이어 이미지 데이터의 출력을 위해, 하나의 라인 메모리 내에 저장된 영상 정보는 기록된 순서의 역순으로 상기 수신단으로 출력될 수 있다.
상기 수신단은 상기 이미지 시그널 프로세서 칩의 제어부, 멀티미디어 프로세서 칩 및 베이스밴드 칩 중 하나 이상일 수 있다.
본 발명의 다른 측면에 따르면, 촬상 장치의 이미지 시그널 프로세서 칩에서 수행되는 이미지 회전 처리 방법으로서, 이미지 센서로부터 제1 베이어 이미지 데이터를 입력받는 단계; 및 상기 제1 베이어 이미지 데이터에 대해 90도 회전 처리한 제2 베이어 이미지 데이터를 생성하는 단계를 포함하되, 상기 제1 베이어 이미지 데이터와 상기 제2 베이어 이미지 데이터는 결합된 메모리 장치에 각각 저장되는 것을 특징으로 하는 이미지 회전 처리 방법이 제공된다.
상기 메모리 장치의 저장 영역은 복수의 분할 영역들로 구획되고, 상기 제1 베이어 이미지 데이터는 제1 분할 영역에 저장되고, 상기 제2 베이어 이미지는 제2 분할 영역에 저장될 수 있다.
상기 이미지 시그널 프로세서 칩은, 상기 제1 베이어 이미지 데이터에 대해 글루 로직(glue logic)을 수행하여 제2 베이어 이미지 데이터를 생성하는 DMA(Direct Memory Access); 상기 제1 베이어 이미지 데이터 및 상기 제2 베이어 이미지 데이터를 상기 메모리 장치에 저장하는 MIC(Memory Interface Controller); 및 수신단으로 제공하기 위해, 상기 MIC에 의해 독출된 상기 메모리 장치에 저장된 상기 제1 또는 상기 제2 베이어 이미지 데이터를 구성하는 영상 정보를 저장하는 입력 버퍼를 포함할 수 있다.
상기 입력 버퍼는, 상기 영상 정보를 저장하기 위한 둘 이상의 라인 메모리들; 및
상기 라인 메모리들에 저장된 영상 정보를 상기 수신단으로 선택적 출력하기 위한 MUX(Multiplexer)를 포함할 수 있다.
상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 0도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제1 베이어 이미지 데이터에서 M x 1부터 순차적인 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장되고, 각 라인 메모리 내에 저장된 영상 정보는 기록된 순서대로 상기 수신단으로 출력되되, 상기 M과 N은 각각 임의의 자연수일 수 있다.
상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 90도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제2 베이어 이미지 데이터에서 M x 1부터 순차적인 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장되고, 각 라인 메모리 내에 저장된 영상 정보는 기록된 순서대로 상기 수신단으로 출력되되, 상기 M과 N은 각각 임의의 자연수일 수 있다.
상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 180도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제1 베이어 이미지 데이터에서 M x N부터 역순의 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장되고, 각 라인 메모리 내에 저장된 영상 정보는 기록된 순서의 역순으로 상기 수신단으로 출력되되, 상기 M과 N은 각각 임의의 자연수일 수 있다.
상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 270도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제2 베이어 이미지 데이터에서 M x N부터 역순의 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장되고, 각 라인 메모리 내에 저장된 영상 정보는 기록된 순서의 역순으로 상기 수신단으로 출력되되, 상기 M과 N은 각각 임의의 자연수일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 베이어 이미지(Bayer image)의 저장시 메모리의 구조를 고려하여 저장함으로써, 저장된 베이어 이미지의 읽기 동작시 모든 방향의 회전(rotation)에 대한 버스트(burst) 동작이 가능하며 이로 인해 회전 처리된 베이어 이미지의 출력 속도를 증가시킬 수 있는 효과가 있다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재될 수 있는 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 이미지 시그널 프로세서 칩 및 메모리의 구조를 개략적으로 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 저장된 베이어 이미지(Bayer image)의 회전 출력 방법을 개념적으로 나타낸 도면이다.
도 4에는 이미지 시그널 프로세서 칩(410)과 메모리(450)의 구성 및 상호간의 연결 관계가 개략적으로 도시되어 있다.
도시된 바와 같이, 이미지 시그널 프로세서 칩(410)은 DMA(Direct Memory Access)(415), MIC(Memory Interface Controller)(420) 및 입력 버퍼(422)를 포함한다. 도시되지는 않았지만, 이미지 시그널 프로세서 칩(410)은 예를 들어 GPIO, UART, PWM 등과 같은 주변 장치를 나타내는 주변장치부, 예를 들어 8051, ARM 등의 제어부, 이미지 시그널 프로세서 칩(410) 내부 주변장치부 등의 설정을 위한 레지스터, 예를 들어 I2C 또는 SPI 등의 방식으로 통신되도록 하는 시리얼 I/F부, 및 MIPI를 통해 통신되도록 하는 MIPI 송/수신부 등 중 하나 이상을 더 포함할 수 있다.
DMA(415)는 메모리(450)을 사용하고자 하는 블록(예를 들어, 이미지 센서로부터 영상 신호를 수신하는 MIPI 수신부 등)으로부터 데이터를 수신하여 MIC(420)에 전달한다. 예를 들어, DMA(415)는 MIPI 수신부로부터 베이어 이미지 데이터를 제공받아, 이를 0도 회전된 베이어 이미지 데이터와 90도 회전된 베이어 이미지 데이터가 함께 저장되도록 하는 글루 로직(glue logic)을 수행하여 MIC(420)에 전달함으로써, 메모리(450)에 회전 각도가 상이한 복수의 베이어 이미지 데이터들이 저장되도록 할 수 있다.
MIC(420)는 메모리 인터페이스 컨트롤러로서 결합된 메모리(450)를 제어하는 모듈이다.
입력 버퍼(422)는 복수의 라인 메모리(Line Memory)(425, 430) 및 MUX(Multiplexer)(435)를 포함한다. 입력 버퍼(422)는 이미지 시그널 프로세서 칩(410)으로 입력되는 데이터를 제어부로 제공하거나, 이미지 시그널 프로세서 칩(410)에서 데이터를 수신단으로 제공하기 위한 용도로 이용될 수 있다. 예를 들어, 입력 버퍼(422)는 제어부로 데이터가 입력되기 전단에 위치하여 이미지 센서(10)로부터 입력된 데이터를 제어부로 제공하거나, 수신 프로세서 칩(즉, 이미지 시그널 프로세서 칩(410)으로부터 데이터를 수신하는 칩으로서 예를 들어 멀티미디어 프로세서 칩, 베이스밴드 칩 등)에 제공할 데이터를 MIPI 전송부 등에 제공하기 이전에 임시로 저장할 수도 있다.
라인 메모리(425, 430)는 수신단(예를 들어, 제어부, 수신 프로세서 칩 등 중 하나 이상)으로 제공될 베이어 이미지 데이터가 저장되는 공간이다. 신속한 처리가 가능할 수 있도록, 임의의 라인 메모리에 대해 읽기(read) 동작이 수행되는 동안 다른 라인 메모리에 대해서는 쓰기(write) 동작이 수행될 수 있도록 둘 이상의 라인 메모리들이 포함될 수 있다. 라인 메모리(425, 430)에 저장된 데이터는 제어부의 처리(예를 들어, 화질 개선 처리, 라인 메모리에 저장된 데이터의 읽기 처리 등) 등에 의해 수신 프로세서 칩으로 제공될 수 있으며, 해당 데이터의 제공을 위해 패러럴 인터페이스(예를 들어, VSYNC 신호, HSYNC 신호, 데이터의 출력을 위한 패러럴 인터페이스) 및/또는 MIPI 등의 시리얼 인터페이스 방식이 이용될 수 있다.
MUX(410)는 결합된 복수의 라인 메모리들 중 하나를 선택하여 기록된 데이터를 출력할 수 있도록 한다.
또한, 도시된 바와 같이 이미지 시그널 프로세서 칩(410)에 결합되는 메모리(450)의 저장 영역은 복수의 분할 영역들로 구획될 수 있다. 여기서, 메모리(450)는 예를 들어 DRAM 계열의 임의의 메모리 장치일 수 있다.
이하 도 5를 참조하여, 베이어 이미지(Bayer image)의 회전 출력 방법에 대해 설명한다.
이미지 센서(10)로부터 이미지 시그널 프로세서 칩(410)으로 도 5의 (a)와 같은 베이어 이미지 데이터가 수신되면, DMA(415)의 글루 로직 수행에 의해 (b) 및 (c)와 같이 0도 회전된 베이어 이미지 데이터와 90도 회전된 베이어 이미지 데이터가 메모리(450) 내의 분할 영역에 각각 저장된다. 예를 들어, 제1 저장영역(455)에는 0도 회전된 베이어 이미지 데이터가 저장되고, 제2 저장영역(460)에는 90도 회전된 베이어 이미지 데이터가 저장될 수 있다.
만일 (b)와 같이 0도 회전된 베이어 이미지가 저장된 경우, 회전 출력시 메모리(450)의 버스트(burst) 동작을 이용하여, 0도 또는 180도 회전된 베이어 이미지의 출력이 가능하다. 또한, 만일 (c)와 같이 90도 회전된 베이어 이미지가 저장된 경우, 회전 출력시 메모리(450)의 버스트(burst) 동작을 이용하여, 90도 또는 270도 회전된 베이어 이미지의 출력이 가능하다.
이미지 시그널 프로세서 칩(410)은 수신 프로세서 칩으로부터 임의의 각도 회전 처리된 베이어 이미지 데이터의 제공이 요청된 경우, 상응하는 영상 데이터를 신속하게 제공할 수 있도록 하기 위해 상응하도록 회전되어 메모리(450)에 저장된 베이어 이미지 데이터를 이용하여 요청된 데이터를 제공한다.
예를 들어, 이미지 시그널 프로세서 칩(410)이 이미지 센서(10)로부터 입력되는 베이어 이미지 데이터를 각각 0도, 90도 회전하여 메모리(450)에 저장한 후, 수신 프로세서 칩으로부터 90도 회전 처리된 영상 데이터가 요청된 경우 제2 저장영역에 저장된 베이어 이미지 데이터를 도시된 화살표 방향(즉, 버스트 4/8/16 또는 풀 페이지 읽기 처리가 가능한 방향)으로 읽기 처리함으로써 신속한 처리가 가 능해진다. 이는 180도 및 270도 회전 처리된 베이어 이미지 데이터를 출력하는 경우에도 동일하게 적용될 수 있다.
이를 보다 구체적으로 설명하면 다음과 같다.
이미지 시그널 프로세서 칩(410)는 수신 프로세서 칩으로부터 0도 또는 90도 회전 처리된 영상 데이터의 제공이 요청된 경우, 이미지 시그널 프로세서 칩(410)은 A 또는 C 방향으로 버스트 읽기(예를 들어, 버스트 4/8/16 또는 풀 페이지) 처리를 수행한 후, 이를 라인 메모리(425 또는 430)에 저장한다. 만일, 첫 번째 읽기 처리 과정에서 라인 메모리 0(425)에 해당 데이터가 저장(예를 들어, 0, 1, 2, ... , 6, 7)되었다면, 두 번째 읽기 처리 과정에서는 라인 메모리 1(430)에 해당 데이터가 저장(예를 들어, 8, 9, 10, ... , 14, 15)되도록 할 수 있으며, 이 동안 라인 메모리 0(425)에 저장된 데이터는 낮은 주소부터 높은 주소의 방향으로 읽기 처리되어 MUX(435)를 통해 출력(예를 들어, 0, 1, 2, ... , 6, 7)된다. 이러한 처리는 핑퐁(ping-pong) 처리 방식으로 반복 수행될 수 있다.
그러나, 이미지 시그널 프로세서 칩(410)는 수신 프로세서 칩으로부터 180도 또는 270도 회전 처리된 영상 데이터의 제공이 요청된 경우, 이미지 시그널 프로세서 칩(410)은 B 또는 D 방향으로 버스트 읽기(예를 들어, 버스트 4/8/16 또는 풀 페이지) 처리를 수행한 후, 이를 라인 메모리(425 또는 430)에 저장한다. 만일, 첫 번째 읽기 처리 과정에서 라인 메모리 0(425)에 해당 데이터가 저장(예를 들어, 56, 57, 58, ... , 62, 63)되었다면, 두 번째 읽기 처리 과정에서는 라인 메모리 1(430)에 해당 데이터가 저장(예를 들어, 48, 49, 50, ... , 54, 55)되도록 할 수 있으며, 이 동안 라인 메모리 0(425)에 저장된 데이터는 라인 메모리의 높은 주소부터 낮은 주소의 방향으로 읽기 처리되어 MUX(435)를 통해 출력(예를 들어, 63, 62, 61, ... , 57, 56)된다. 이러한 처리는 핑퐁(ping-pong) 처리 방식으로 반복 수행될 수 있다.
전술한 과정들에 의해 입력 버퍼(422)에서 출력되는 베이어 이미지 데이터가 0도 내지 270도 회전 처리된 베이어 이미지 데이터임은 앞서 도 3과 비교할 때 보다 명확히 이해될 수 있을 것이다.
상술한 이미지 회전 처리 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 종래기술에 따른 카메라 기능을 구비한 이동통신 단말의 구성도.
도 2는 일반적인 모바일(Mobile) DDR SDRAM의 기능 블록 다이어그램.
도 3은 종래 기술에 따른 카메라 기능을 구비한 이동통신 단말에서 수행되는 이미지 회전 과정을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 이미지 시그널 프로세서 칩 및 메모리의 구조를 개략적으로 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 저장된 베이어 이미지(Bayer image)의 회전 출력 방법을 개념적으로 나타낸 도면.

Claims (20)

  1. 촬상 장치로서,
    이미지 센서; 및
    상기 이미지 센서로부터 입력되는 제1 베이어 이미지 데이터에 대해 90도 회전 처리한 제2 베이어 이미지 데이터 및 상기 제1 베이어 이미지 데이터를 메모리 장치에 각각 저장하는 이미지 시그널 프로세서 칩을 포함하되,
    상기 이미지 시그널 프로세서 칩은,
    상기 제1 베이어 이미지 데이터에 대해 글루 로직(glue logic)을 수행하여 상기 제2 베이어 이미지 데이터를 생성하는 DMA(Direct Memory Access);
    상기 제1 베이어 이미지 데이터 및 상기 제2 베이어 이미지 데이터를 상기 메모리 장치에 저장하는 MIC(Memory Interface Controller); 및
    수신단으로 제공하기 위해, 상기 MIC에 의해 독출된 상기 메모리 장치에 저장된 상기 제1 또는 상기 제2 베이어 이미지 데이터를 구성하는 영상 정보를 저장하는 입력 버퍼를 포함하는 것을 특징으로 하는 촬상 장치.
  2. 제1항에 있어서,
    상기 메모리 장치의 저장 영역은 복수의 분할 영역들로 구획되고,
    상기 제1 베이어 이미지 데이터는 제1 분할 영역에 저장되고, 상기 제2 베이어 이미지는 제2 분할 영역에 저장되는 것을 특징으로 하는 촬상 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 입력 버퍼는,
    상기 영상 정보를 저장하기 위한 둘 이상의 라인 메모리들; 및
    상기 라인 메모리들에 저장된 영상 정보를 상기 수신단으로 선택적 출력하기 위한 MUX(Multiplexer)를 포함하는 것을 특징으로 하는 촬상 장치.
  5. 제4항에 있어서,
    상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 0도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제1 베이어 이미지 데이터에서 M x 1부터 순차적인 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장하되,
    상기 M과 N은 각각 임의의 자연수인 것을 특징으로 하는 촬상 장치.
  6. 제4항에 있어서,
    상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 90도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제2 베이어 이미지 데이터에서 M x 1부터 순차적인 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장하되,
    상기 M과 N은 각각 임의의 자연수인 것을 특징으로 하는 촬상 장치.
  7. 제5항 및 제6항 중 어느 한 항에 있어서,
    하나의 라인 메모리 내에 저장된 영상 정보는 기록된 순서대로 상기 수신단으로 출력되는 것을 특징으로 하는 촬상 장치.
  8. 제4항에 있어서,
    상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 180도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제1 베이어 이미지 데이터에서 M x N부터 역순의 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장하되,
    상기 M과 N은 각각 임의의 자연수인 것을 특징으로 하는 촬상 장치.
  9. 제4항에 있어서,
    상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 270도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제2 베이어 이미지 데이터에서 M x N부터 역순의 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장하되,
    상기 M과 N은 각각 임의의 자연수인 것을 특징으로 하는 촬상 장치.
  10. 제8항 및 제9항 중 어느 한 항에 있어서,
    하나의 라인 메모리 내에 저장된 영상 정보는 기록된 순서의 역순으로 상기 수신단으로 출력되는 것을 특징으로 하는 촬상 장치.
  11. 제1항에 있어서,
    상기 수신단은 상기 이미지 시그널 프로세서 칩의 제어부, 멀티미디어 프로세서 칩 및 베이스밴드 칩 중 하나 이상인 것을 특징으로 하는 촬상 장치.
  12. 촬상 장치의 이미지 시그널 프로세서 칩에서 수행되는 이미지 회전 처리 방법으로서,
    이미지 센서로부터 제1 베이어 이미지 데이터를 입력받는 단계; 및
    상기 제1 베이어 이미지 데이터에 대해 90도 회전 처리한 제2 베이어 이미지 데이터를 생성하는 단계를 포함하되,
    상기 제1 베이어 이미지 데이터와 상기 제2 베이어 이미지 데이터는 메모리 장치에 각각 저장되고,
    상기 이미지 시그널 프로세서 칩은,
    상기 제1 베이어 이미지 데이터에 대해 글루 로직(glue logic)을 수행하여 제2 베이어 이미지 데이터를 생성하는 DMA(Direct Memory Access);
    상기 제1 베이어 이미지 데이터 및 상기 제2 베이어 이미지 데이터를 상기 메모리 장치에 저장하는 MIC(Memory Interface Controller); 및
    수신단으로 제공하기 위해, 상기 MIC에 의해 독출된 상기 메모리 장치에 저장된 상기 제1 또는 상기 제2 베이어 이미지 데이터를 구성하는 영상 정보를 저장하는 입력 버퍼를 포함하는 것을 특징으로 하는 이미지 회전 처리 방법.
  13. 제12항에 있어서,
    상기 메모리 장치의 저장 영역은 복수의 분할 영역들로 구획되고,
    상기 제1 베이어 이미지 데이터는 제1 분할 영역에 저장되고, 상기 제2 베이어 이미지는 제2 분할 영역에 저장되는 것을 특징으로 하는 이미지 회전 처리 방법.
  14. 삭제
  15. 제12항에 있어서,
    상기 입력 버퍼는,
    상기 영상 정보를 저장하기 위한 둘 이상의 라인 메모리들; 및
    상기 라인 메모리들에 저장된 영상 정보를 상기 수신단으로 선택적 출력하기 위한 MUX(Multiplexer)를 포함하는 것을 특징으로 하는 이미지 회전 처리 방법.
  16. 제15항에 있어서,
    상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 0도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우,
    M x N 형태의 상기 제1 베이어 이미지 데이터에서 M x 1부터 순차적인 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장되고, 각 라인 메모리 내에 저장된 영상 정보는 기록된 순서대로 상기 수신단으로 출력되되,
    상기 M과 N은 각각 임의의 자연수인 것을 특징으로 하는 이미지 회전 처리 방법.
  17. 제15항에 있어서,
    상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 90도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우, M x N 형태의 상기 제2 베이어 이미지 데이터에서 M x 1부터 순차적인 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장되고, 각 라인 메모리 내에 저장된 영상 정보는 기록된 순서대로 상기 수신단으로 출력되되,
    상기 M과 N은 각각 임의의 자연수인 것을 특징으로 하는 이미지 회전 처리 방법.
  18. 제15항에 있어서,
    상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 180도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우,
    M x N 형태의 상기 제1 베이어 이미지 데이터에서 M x N부터 역순의 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장되고, 각 라인 메모리 내에 저장된 영상 정보는 기록된 순서의 역순으로 상기 수신단으로 출력되되,
    상기 M과 N은 각각 임의의 자연수인 것을 특징으로 하는 이미지 회전 처리 방법.
  19. 제15항에 있어서,
    상기 이미지 시그널 프로세서 칩은 수신 프로세서 칩으로부터 270도 회전된 베이어 이미지 데이터에 대한 영상 데이터의 제공 요청이 수신된 경우,
    M x N 형태의 상기 제2 베이어 이미지 데이터에서 M x N부터 역순의 열 방향으로 버스트 읽기 처리하여 상기 라인 메모리들에 순차적으로 저장되고, 각 라인 메모리 내에 저장된 영상 정보는 기록된 순서의 역순으로 상기 수신단으로 출력되되,
    상기 M과 N은 각각 임의의 자연수인 것을 특징으로 하는 이미지 회전 처리 방법.
  20. 제12항 내지 제13항, 제15항 내지 제19항 중 어느 하나에 기재된 이미지 회전 처리 방법을 수행하기 위하여 차량용 영상 저장 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체
KR1020090130562A 2009-12-24 2009-12-24 촬상 장치 및 이미지 회전 처리 방법 KR101068829B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090130562A KR101068829B1 (ko) 2009-12-24 2009-12-24 촬상 장치 및 이미지 회전 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090130562A KR101068829B1 (ko) 2009-12-24 2009-12-24 촬상 장치 및 이미지 회전 처리 방법

Publications (2)

Publication Number Publication Date
KR20110073815A KR20110073815A (ko) 2011-06-30
KR101068829B1 true KR101068829B1 (ko) 2011-09-29

Family

ID=44404285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090130562A KR101068829B1 (ko) 2009-12-24 2009-12-24 촬상 장치 및 이미지 회전 처리 방법

Country Status (1)

Country Link
KR (1) KR101068829B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995258B1 (ko) * 2012-05-14 2019-07-02 삼성전자 주식회사 카메라를 구비하는 휴대단말기의 동영상 촬영장치 및 방법
CN108492243B (zh) * 2018-04-13 2021-08-27 福州新迪微电子有限公司 一种基于块处理的图像旋转装置、系统和方法
CN110336970A (zh) * 2019-07-18 2019-10-15 广州健飞通信有限公司 一种多路信号接口的电路及其信号合成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6683996B1 (en) 1999-09-16 2004-01-27 Silverbrook Research Pty Ltd Method and apparatus for rotating Bayer images
KR20040110112A (ko) * 2003-06-18 2004-12-31 엘지전자 주식회사 휴대용 컴퓨터에서의 디스플레이 회전 제어방법
KR20080021377A (ko) * 2006-09-04 2008-03-07 엘지전자 주식회사 자동으로 영상을 회전 처리하여 저장하는 영상 처리장치 및영상 처리방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6683996B1 (en) 1999-09-16 2004-01-27 Silverbrook Research Pty Ltd Method and apparatus for rotating Bayer images
KR20040110112A (ko) * 2003-06-18 2004-12-31 엘지전자 주식회사 휴대용 컴퓨터에서의 디스플레이 회전 제어방법
KR20080021377A (ko) * 2006-09-04 2008-03-07 엘지전자 주식회사 자동으로 영상을 회전 처리하여 저장하는 영상 처리장치 및영상 처리방법

Also Published As

Publication number Publication date
KR20110073815A (ko) 2011-06-30

Similar Documents

Publication Publication Date Title
US6028807A (en) Memory architecture
US20090135256A1 (en) Sata camera system
US8918589B2 (en) Memory controller, memory system, semiconductor integrated circuit, and memory control method
US8904069B2 (en) Data processing apparatus and image processing apparatus
JP5137374B2 (ja) メモリマッピング方法及び装置
US20170024162A1 (en) Computing system and data transferring method thereof
US9787991B2 (en) Analytics assisted encoding
US10362267B2 (en) Image processing apparatus and electronic device including the same
KR101068829B1 (ko) 촬상 장치 및 이미지 회전 처리 방법
US7061496B2 (en) Image data processing system and image data reading and writing method
JPWO2018134882A1 (ja) メモリアクセス装置、画像処理装置、および撮像装置
JP6131357B1 (ja) 半導体記憶装置とそのアドレス制御方法
KR100663380B1 (ko) 촬상 장치 및 영상 신호 생성 방법
US7525577B2 (en) Image processing apparatus and image processing method
JP2007164355A (ja) 不揮発性記憶装置、そのデータ読出方法及びそのデータ書込み方法
US7103702B2 (en) Memory device
US8732384B1 (en) Method and apparatus for memory access
US8527717B2 (en) Content data storage device and its control method
CN109391788B (zh) 用于处理图像信号的系统
US9286018B2 (en) Image processing device for improved access efficiency
US20140125821A1 (en) Signal processing circuit, imaging apparatus and program
JP4930825B2 (ja) 撮像装置及びデータ転送装置
WO2022011614A1 (zh) Dma控制器、电子设备、芯片、可移动平台、数据搬移方法
TWI768147B (zh) 半導體裝置、資料處理系統、資料讀取方法及資料讀取程式
JP2005109856A (ja) 画像回転回路及びそれを有する画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170829

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 8