KR100594438B1

KR100594438B1 - 이동통신단말기의 카메라 인터페이스 장치

Info

Publication number: KR100594438B1
Application number: KR1020040093377A
Authority: KR
Inventors: 최병준
Original assignee: 엘지전자 주식회사
Priority date: 2004-11-16
Filing date: 2004-11-16
Publication date: 2006-07-03
Also published as: KR20060054716A; CN100393124C; CN1777262A

Abstract

본원발명은 이동통신단말기의 카메라인터페이스에 관한 것으로서, 더욱 상세하게는 이동통신단말기에서 영상데이터 처리를 위한 프로세서의 외부메모리 액세 절차를 감소시켜, 프로세서의 데이터처리를 위한 부하를 감소시키면서도 신속한 영상데이터처리를 수행할 수 있도록 하는 이동통신단말기의 카메라인터페이스장치에 관한 것이다.

상술한 본원발명은 카메라모듈로부터 영상데이터를 입력받는 카메라인터페이스부와, 상기 카메라인터페이스부에서 입력받은 영상데이터를 저장하도록, 상기 카메라인터페이스부와 상기 이동통신단말기의 제어부의 사이에 구비되는 두 개의 데이터액세스 포트를 구비한 외부저장부로 구성되어, 이동통신단말기가 영상데이터 신호처리를 위해 외부메모리(RAM)에 접속하는 절차 및 시간을 줄임으로써 프로세서의 부하를 감소시킬 수 있도록 하는 것을 특징으로 한다.

카메라, 이동통신단말기, 디피램, 어플리케이션디에스피, 비디오텔레포니

Description

이동통신단말기의 카메라 인터페이스 장치{Camera interface apparatus for mobile communication terminal}

도1은 카메라가 구비된 종래기술에서의 이동통신단말기의 블록 구성도이고,

도2는 도1의 이동통신단말기에서의 이미지프리뷰 및 이미지캡쳐의 처리과정을 나타내는 도면이며,

도3은 도1의 이동통신단말기에서의 VT서비스 구현을 위한 데이터 흐름을 나타내는 도면이고,

도4는 본원발명의 카메라인터페이스장치가 구비된 이동통신단말기의 블록구성도이며,

도5는 도4의 카메라인터페이스장치의 연결 구성을 나타내는 도면이고,

도6은 도5의 카메라인터페이스모듈의 상세 구성을 나타내는 도면이며,

도7은 도4의 이동통신단말기에서의 이미지프리뷰 및 이미지캡쳐를 위한 데이터흐름을 나타내는 도면이고,

도8은 도4의 이동통신단말기에서의 VT서비스를 위한 데이터흐름을 나타내는 도면이며,

도9는 일반적인 디피램의 기능블록도이다.

*도면의 주요 부호에 대한 설명*

1 : 카메라모듈 2 : 프로세서

2ad : 어플리케이션디에스피(aDSP : application digital signl processor)

2md : 모뎀디에스피(mDSP : modem digital signal processor)

2ac : 암코어(ARM core : advanced RISC machine core)

3 : 외부저장부 3R : 램

3F : 플래시메모리 4 : LCD

5 : 알에프모듈 6 : 마이크

7 : 사용자인터페이스부 10 : 오디오출력부

100 : 카메라인터페이스장치 110 : 카메라인터페이스모듈

120 : 디피램(DPRAM: dual port RAM)

본원발명은 이동통신단말기의 카메라인터페이스에 관한 것으로서, 더욱 상세하게는 카메라가 구비된 이동통신단말기에서 프로세서(processor)와 카메라 사이에 카메라인터페이스(camera interface)와 디피램(DPRAM)을 구비하여, 카메라로부터 입력되는 영상데이터를 디피램에 저장한 후 이미지프리뷰, 이미지캡쳐 등의 처리과정에서 프로세서의 램 액세스 시간을 줄일 수 있도로 함으로써 프로세서의 영상데이터 처리시간을 줄여 프로세서의 부하를 줄일 수 있도록 하는 이동통신단말기의 카메라인터페이스장치에 관한 것이다.

현재의 이동통신단말기는 카메라, 카메라인터페이스 및 영상데이터처리를 위한 암코어 aDSP 등을 구비하여 이미지프리뷰(image preview), 이미지캡쳐(image capture), 특히 W-CDMA 등에서의 비이오텔레포니(이하 "브이티이"라 함)(VT : Video Telephony) 서비스 등을 제공한다. 즉, 상술한 멀티미디어데이터 처리의 증가 및 다양한 어플리케이션 개발 등으로 인해 대부분의 이동통신단말기는 보다 많은 데이터처리를 필요로 하고 있다. 특히 큐씨아이에프(QCIF), 큐브이지에이(QVGA),브이지에이(VGA), 엑스브이지에이(XGA)등으로 높아져 가는 카메라 및 LCD 픽셀(Pixel)을 처리하기 위해서는 더 많고 더욱 빠른 데이터 처리를 필요로 한다.

상술한 기능을 가지는 종래기술의 카메라가 구비된 이동통신 단말기의 블록구성도가 도1에 도시되고, 도1의 이동통신단말기에서 카메라와 관련된 영상 데이터 처리과정으로서의 이미지프리뷰(imeage preview)와 이미지캡쳐(image capture)의 처리과정이 도2에 도시되어 있다, 그리고, VT서비스의 데이터흐름을 나타내는 영상 데이터 처리과정이 도3에 도시되어 있다.

도1에 도시된 바와 같이 종래기술의 카메라모듈(1)이 구비된 이동통신단말기는 영상 촬상을 위한 카메라모듈(camera module)(1)이 프로세서(2)에 직접 연결 구성된다. 그리고, 이동통신단말기의 전체 기능을 제어하는 프로세서(2)에는 마이크(mic)(6), 오디오출력부(speaker/receiver)(10), LCD(4), 외부메모리(3), 키패드 등을 포함하는 사용자인터페이스(user interface)(7), 외부와 알에프(RF)신호에 의한 통신을 수행할 수 있도록 하는 알에프모듈(RF module)(5)이 연결된다.

상술한 프로세서(2)에는 도1 내지 도3에 도시된 바와 같이 영상데이터의 입 출력을 제어하기 위한 암코어(ARM(advanced RISC machine) core)(2ac)와, 영상데이터 처리를 위한 어플리케이션디에스피(aDSP : application digital signal processor)(2ad)와, WCDMA 신호처리 및 음성 데이터의 전달을 제어하기 위한 모뎀디에스피(mDSP : modem digital signal processor)(2md)와, 다이렉트 메모리 액세서(이하 'DMA(direct memory access)'라 함)와, 카메라인터페이스(camera interface)(2c)와, LCD인터페이스(LCD interface)와, 오디오신호처리를 위한 오디오코덱(송신 및 수신 Audio codec)(8,9)(도3참조)과, 알에프신호처리를 위한 알에프인터페이스(RF interface)와, 사용자인터페이스에서 발생되는 이벤트(event)를 포함하는 다양한 이벤트를 제어하기 위한 이벤트제어기(event controller) 등이 탑재된다.

외부메모리(3)에는 램(RAM)(3R)과 플레시메모리(FLASH MEMORY)(3F)가 탑재된다.

상술한 aDSP(2ad)는 도2내지 도3에 도시된 바와 같이 와이유브이(YUV) 포맷의 이미지 데이터를 알지비(RGB) 포맷의 이미지로 변환하는 이미지변환, JPEG 등의 이미지압축, MP3 신호처리, MIDI 신호처리, MPEG 데이터처리, 패킷단위의 멀티플렉싱 프로토콜인 H.223 프로토콜제어, 에이엠알(AMR : adaptive multi rate)보코더의 기능 제어 등을 처리하도록 구성된다.

상술한 mDSP(2md)(도3참조)는 영상 및 데이터 신호처리를 수행하는 것으로서 도3에서는 WCDMA 신호처리를 수행하는 것으로 도시되어 있다.

도2를 참조하여 상술한 구성을 가지는 종래기술의 이동통신단말기에서의 이 미지프리뷰(image preview) 및 이미지캡쳐(imaget capture)의 처리과정을 설명하면 다음과 같다.

도2에 도시된 바와 같이 카메라모듈(1)에 의해 촬상되어 전기신호로 변환된 영상데이터는 프로세서(2)의 내부에 탑재되는 카메라인터페이스(2c)에서 받아 들여진 후 외부메모리(3)의 램(3R)에 저장된다. 그리고, 램(3R)에 저장된 영상 데이터는 프로세서(2)의 aDSP(2ad)가 읽어 들여 와이유브이(YUV) 포맷의 영상데이터를 알지비(RGB) 포맷의 영상데이터로 변환한 후 (대부분의 LCD는 RGB 데이터 픽셀로 표현됨) 다시 램(3R)에 저장한다. RGB포맷의 영상데이터는 다시 프로세서(2)의 암코어(ARM(Advanced RISC machine) core)(2ac)가 다시 읽어서 LCD(4)에 1프레임(frame)을 표현하게 된다.

다음으로 이미지 캡쳐시의 처리과정을 살펴보면 카메라모듈(1)로부터 들어 온 영상데이터를 프로세서(2)의 내부에 탑재된 카메라인터페이스(2c)가 받아들여 외부메모리(3)의 램(3R)에 저장한다. aDSP(2ad)는 램(3R)에 저장된 YUV포맷의 영상데이터를 읽어들여 RGB 포맷의 영상데이터로 변환하고 JPEG등의 인코딩(Encoding)을 수행한 후 다시 램(3R)에 저장한다. 다음에는 암코어(ARM core)(2ac)가 다시 램(3R)에 저장된 영상이미지를 읽어들여 플래시메모리(Flash Memory)(3F)에 저장한다.

상술한 이미지프리뷰 및 이미지캡쳐시의 처리과정을 수행하는 과정에서 암코어(ARM Core)(2ac)는 위의 처리와 병행하여 다른 이벤트를 주기적으로 또는 일시적으로 처리해야 하며, 이를 위해 지속적인 외부메모리(3)에 대한 액세스(Access)를 수행하게 된다. 또한, 도3에서와 같이, 비디오텔레포니(VT) 서비스를 제공받는 경우에는 도2에서와 같이 프로세서가 카메라모듈(1)에 의해 입력되는 영상데이터를 외부메모리(3)의 램(3R)에 저장, 독출하는 처리과정을 수행하게 된다.

도2 및 도3에서 설명된 처리과정에서와 같이 외부메모리(3)의 액세스가 전체 이동통신단말기의 부하에 많은 부분을 차지하는 것을 알 수 있다. 이와 같이 이동통신단말기에서 영상처리를 위한 모든 데이터가 프로세서(2)의 mDSP(2md)와 aDSP(2ad) 및 외부메모리(3)의 램(3R)을 연결하는 데이터버스를 반복적으로 경유하게 됨으로써 프로세서(2)의 mDSP(2md)와 외부메모리(3)의 램(3R) 그리고 aDSP(2ad) 사이에 데이터버스에 과도한 데이터 점유가 발생하게 되며, 영상데이터처리를 위한 암코어로 인해 프로세서에 과부하가 걸리게 된다.

상술한 바와 같은 영상처리를 위한 데이터버스의 과도한 데이터 점유 및 암코어(2ac)의 영상데이터처리에 따른 프로세서(2)의 과부하는 프로세서(Processor : Modem & DSP 등을 포함)에 카메라인터페이스가 직접 탑재되어 있어, 카메라모듈로부터 입력되는 영상을 램에 저장한 후, 이미지프리뷰, 이미지캡쳐 등의 영상데이터 처리시 다시 프로세서의 다양한 DSP 들이 램에서 영상데이터를 호출하기 위한 액세스절차를 수행하기 때문에 발생된다.

즉, 카메라를 구비한 이동통신단말기에서 종래기술에서와 같이 카메라인터페이스가 프로세서의 내부에 탑재되는 경우 영상데이터 처리를 위해 이동통신단말기의 프로세서에 과부하가 발생되는 것은 필연적으로 발생하게 된다. 그리고, 상술한 바와 같이 영상데이터 처리를 위해 프로세서에 과부하가 걸리게 되면, 프로세서 (2)가 VT서비스를 위한 이벤트를 처리하지 못하게 되어 영상데이터의 손실이 발생되어 화면이 끊길 수 있으며, 프로세서(2)의 과부하로 인해 부가적인 다른 어플리케이션(Application)의 탑재하지 못하게 되는 문제점이 발생하게 된다.

따라서, 본원발명은 상술한 종래기술의 카메라를 구비한 이동통신단말기에서와 같이 영상데이터 처리를 위한 프로세서의 과도한 외부메모리(외부메모리 중 램(RAM))로의 접속절차를 감소시키고, 영상데이터처리에 따른 프로세서의 부하를 줄일 수 있도록 함으로써, 프로세서의 이벤트처리 효율을 향상시키면서도 영상데이터 처리를 신속하게 수행할 수 있도록 하는 이동통신단말기의 카메라인터페이스 장치를 제공하는 것을 그 목적으로 한다.

상술한 목적을 달성하기 위한 본원발명의 이동통신 단말기의 카메라인터페이스장치는, 이동통신단말기의 카메라모듈로부터 영상데이터를 입력받는 카메라인터페이스부와, 상기 카메라인터페이스부에서 입력받은 영상데이터를 저장하고 저장된 데이터를 상기 이동통신단말기의 제어부가 액세스할 수 있도록 상기 카메라인터페이스부와 상기 제어부의 사이에 구비되는 외부저장부로 구성되는 것을 특징으로 한다.

상기 외부저장부는 상기 카메라인터페이스부에 연결되는 제1데이터포트와 상기 제어부에 연결되는 제2데이터포트를 가지는 이중포트랜덤액세스메모리(DPRAM)로 구성될 수 있다.

상술한 카메라인터페이스부는 상기 카메라모듈로부터 입력되는 영상데이터를 일시 저장하는 버퍼수단과, 상기 버퍼수단의 영상데이터에 주소를 지정한 후 상기 외부저장부로 출력하는 외부저장부인터페이스수단과, 상기 버퍼수단 및 외부저장부인터페이스수단의 영상데이터처리를 위한 동기신호를 제공하는 동기수단으로 구성된다.

상술한 버퍼수단은 카메라모듈로부터 영상신호를 수신한 후 일시저장하는 제1버퍼와 상기 제1버퍼에 연결되는 다중화기와 다중화기가 순차적으로 스위칭되도록 구성되는 다채널래치버퍼와 상기 다채널래치버퍼의 영상데이터를 통합하여 입력받아 선입선출(FIFO) 시키는 시프트래지스터로 구성된다.

이하, 첨부도면을 참조하여 본원발명을 더욱 상세히 설명한다.

먼저, 도4내지 도8의 각각의 도면에 기재된 영문기호의 의미는 다음과 같다.

<카메라모듈(Camera Module)(1)> (도5참조)

- CSP : 카메라 신호처리 프로세서(Camera signal processor)

- Color Filter : 컬러필터

- AFE : 아날로그 프론트엔드(Analog Front End)

<디피램( DPRAM(Dual Port SRAM))(120)>(도6참조)

- CS_A(B) : 디피램 포트 A(B) 칩 실렉트(DPRAM Port A(B) Chip Select)

- OE_A(B) : 디피램 포트 A(B) 출력 인에이블(DPRAM Port A(B) Output Enable)

- WE_A(B) :디피램 포트 A(B) 쓰기 인에이블( DPRAM Port A(B) Write Enable)

- INT_A(B) :디피램 포트 A(B) 인터럽트( DPRAM Port A(B) Interrupt)

- Addr_A(B)[0:29] : 디피램 포트 A(B) 어드레스(DPRAM Port A(B) Address)

- D_A(B)[0:15]: 디피램 포트 A(B) 데이터( DPRAM Port A Data)

<카메라신호( Camera Signal)>(도6참조)

- CAM_MCLK : 호스트로(프로세서(2))부터 입력되는 마스터 클럭( Master clock for CSP from host(or processor(2))

- CAM_reset :카메라신호처리프로세서 리셋신호( reset signal for CSP)

- CAM_PCLK : 데이터비트 동기 클럭(Data bit synchronizing clock)

- CAM_VSYNC : 카메라 영상의 수직동기신호(Vertical Synchronizing signal)

- CAM_HSYNC : 카메라 영상의 수평동기신호(Horizontal Synchronizing signal)

- CAM_DATA : 카메라 데이터 버스(Camera data bus)

- I2C_CLK : I2C호스트(프로레서(2))클럭신호(inter integrated circuit bus host clock signal)

- I2C_DATA : I2C데이터라인(inter integrated circuit bus data line)를 나타낸다.

다음으로 본원발명의 일 실시예를 나타내는 첨부도면을 참조하여 본원발명을 설명하면 다음과 같다.

도4는 본원발명에 따르는 카메라인터페이스장치(100)가 구비된 이동통신단말 기의 블록구성도이고, 도5는 도4의 이동통신단말기의 구성 중 카메라인터페이스장치 부분의 상세 구성도이며, 도6은 도5의 카메라인터페이스장치의 상세 구성도이다.

도4 내지 도6에서 이중포트를 가지는 외부저장부는 이중포트랜덤액세스메모리(DPRAM)(이하 "디피램(DPRAM)"이라 함)로서 특히 듀얼포트 에스디램(dual port SDRMA)으로 도시하였다. 또한, 카메라인터페이스부는 카메라인터페이스모듈(110)로 도시하였다.

도4에 도시된 본원발명의 카메라인터페이스장치(100)가 구비된 이동통신단말기는 이동통신단말기의 전체 기능을 제어하는 프로세서(2)에 마이크(mic)(6), 오디오출력부(speaker/receiver)(10), LCD(4), 외부메모리(3), 키패드 등을 포함하는 사용자인터페이스(user interface)(7), 외부와 알에프(RF)신호에 의한 통신을 수행할 수 있도록 하는 알에프모듈(RF module)(5)이 구비된다.

상술한 프로세서(2)에는 암코어(ARM(advanced RISC machine) core)(2ac)와, 어플리케이션디에스피(aDSP : application digital signal processor)(2ad)와, 모뎀디에스피(mDSP : modem digital signal processor)(2md)와, LCD인터페이스(LCD interface)와, 오디오신호처리를 위한 오디오코덱(송신 및 수신 Audio codec)(8,9)(도3참조)과, 알에프신호처리를 위한 알에프인터페이스(RF interface)와, 사용자인터페이스에서 발생되는 이벤트(event)를 포함하는 다양한 이벤트를 제어하기 위한 이벤트제어기(event controller) 등이 탑재된다. 그리고, 도1의 카메라인터페이스(camera interface)(2c)에 해당되는 카메라인터페이스부는 본원발명의 외부저장부로서의 디피램(120)과 카메라인터페이스모듈(110)로 구성되는 카메라인터페이스장치(100)로서 프로세서(2)와 카메라모듈(1)의 사이에 구비된다. 즉, 본원발명의 경우 종래기술에서 프로세서(2)의 내부에 탑재되는 카메라인터페이스부를 프로세서의 외부에 구성하여 프로세서(2)의 부하를 줄이도록 한 것을 그 특징으로 한다. 여기서 외부(프로세서의 외부)메모리(3)와 aDSP(2ad)와 mDSP(2md)는 도1 내지 도3에서 설명된 것과 동일한 것이므로 그 상세한 설명은 생략한다.

상술한 구성에서 본원발명의 카메라인터페이스장치(100)는 카메라모듈(1)로부터 영상데이터를 입력받고, 프로세서(제어부)(2)로부터 제어명령 및 동기신호(MCLK)를 수신하여 동작되며, 램(3R)과 플래시메모리(3F)를 가지는 외부메모리(3)와 직접 데이터 통신을 수행할 수 있도록 구성된다.

도5에 도시된 바와 같이, 상술한 카메라인터페이스장치(100)는 카메라인터페이스모듈(110)(본원발명의 카메라인터페이스부)과 디피램(120)(본원발명의 외부저장부)로 구성된다. 카메라인터페이스모듈(110)은 영상신호를 입력받을 수 있도록 카메라모듈(1)의 영상신호 출력단에 연결된다. 카메라인터페이스모듈(110)과 카메라모듈(1) 사이에 구성되는 데이터버스에는 프로세서(2)와 연결되는 I2C인터페이스(Inter - Integrated Circuit Bus)(또는 I2C데이터버스)가 구비되며, 프로세서(2)는 I2C인터페이스(Inter - Integrated Circuit Bus)를 통해 카메라모듈(1) 및 카메라인터페이스장치(100)로 영상신호처리를 위한 제어명령 및 영상데이터의 동기를 부여하기 위한 마스터클럭(MCLK)을 제공한다. 그리고, 디피램(120)의 제1포트(DPRAM Port A)에는 카메라인터페이스모듈(110)이 직접 카메라모듈(1)로부터 입력 된 영상데이터를 저장할 수 있도록 연결된다. 디피램(120)의 제2포트(DPRAM Port B)에는 메모리인터페이스(memory interface)에 의해 프로세서(2)와 외부메모리(RAM 및 FLASH MEMORY)(3)가 연결된다.

도6은 도5의 카메라인터페이스모듈(110)의 상세 구성을 나타내는 블록도이다. 도6에 도시된 바와 같이, 카메라인터페이스모듈(110)은 카메라모듈(1)로부터 입력되는 8비트 영상데이터를 입력받아서 32비트 영상 데이터로 변환한 후 입력된 순서대로 순차적으로 출력하는 영상데이터버퍼(111)와 영상데이터버퍼(111)에서 출력되는 32비트 영상데이터에 16비트주소를 부가하여 디피램(120)으로 출력하는 디피램인터페이스(113)와 영상데이터버퍼(111)와 디피램인터페이스(113)로 영상데이터 제어 명령 및 동기신호를 제공하여 영상데이터에 주소를 부여할 수 있도록 하는 제어기(112)로 구성된다. 제어기(112)는 I2C인터페이스(inter integrated circuit bus interface)를 구비한 커맨드인터프리터(command interpreter)(114)를 통해 프로세서(2)와 연결되어 프로세서(2)로부터 클럭(I2C_CLK), I2C데이터라인(I2C_DATA)을 통한 제어명령, 마스터클럭(MCLK) 등을 수신하여 영상데이터버퍼(111)와 디피램인터페이스(113)로 출력한다. 영상데이터버퍼(111) 및 디피램인터페이스(113)는 제어기(112)로부터 수신되는 제어명령 및 클럭에 따라 영상이미지의 다중화, 디피램(120)내에 저장되는 영상데이터에 주소(address)를 부여하여 디피램(120)에 저장하는 기능을 수행한다.

상술한 영상데이터버퍼(111)는 카메라모듈(1)로부터 8비트 영상데이터를 입력받는 제1버퍼(111a)와 제1버퍼(111a)로부터 입력되는 8비트데이터를 다중화시키 는 4채널의 다중화기(111b)와 다중화기(111b)의 순차적 스위칭에 의하여 다중화기(111c)로부터 입력되는 8비트 데이터를 순차적으로 저장하는 4채널의 래치버퍼(111c)와 래치버퍼(111c)로부터 입력되는 4개의 8비트 영상데이터를 32비트 영상데이터로 입력받은 후 선입선출(FIFO)되도록 하는 시프트래지스터(111d)로 구성된다.

여기서, 다중화기(111b), 래치버퍼(111c), 시프트래지스터(111d)에서의 영상데이터의 동기는 상술한 프로세서(2)로부터 입력된 마스터클럭(MCLK) 및 제어명령에 따라 제어기(112)에 의해 부여된다.

도7은 상술한 도5 및 도6의 카메라인터페이스장치(100)가 구비된 도4의 이동통신단말기에서의 이미지프리뷰(image preview) 및 이미지캡쳐(image cpature)를 위한 데이터처리과정을 나타내는 도면이다.

먼저 이미지프리뷰(image preview)의 처리과정은 다음과 같다.

카메라모듈(1)에 의해 촬상된 영상이미지는 카메라인터페이스모듈(110)에 의해 디피램(120)에 저장된다. 이 과정에서 카메라모듈(1)에 의해 입력되는 영상데이터는 RGB포맷인 것으로 가정하나 이에 한정되는 것은 아니며 YUV포맷일 수도 있다. 프로세서(2)의 암코어(2ac)는 디피램(120)에 저장된 알지비(RGB) 이미지 포맷의 영상데이터를 디피램(120)으로부터 바로 읽어들여 LCD(4)에 프레임단위로 출력하게 된다. 따라서, 영상이미지를 LCD(4)에 출력하기 위하여 외부메모리(External Memory)(3,도4 참조)에 프로세서(2)가 액세스하는 시간을 줄일 수 있게 됨으로써 데이터버스의 점유율 및 프로세서(2)의 부하를 도1 내지 도3의 종래기술에 비해 현저히 감소시킬 수 있게 된다.

또한, 이미지캡쳐(Image Capture)시의 처리과정을 보면 디피램(120)에 저장된 영상데이터를 aDSP(2ad)가 읽어들여 JPEG 압축 등의 인코딩(Encoding)을 수행한 후 외부메모리(3)의 램(RAM)(3R)에 저장하고 이를 암코어(ARM core)(2ac)가 다시 읽어들여 플래시메모리(Flash Memory)(3F)에 저장함으로서 도2에 도시된 종래기술에서와 같이, 프로세서(2)내에 탑재된 카메라인터페이스(도면부호 생략)가 카메라모듈(1)로부터 입력된 영상데이터를 램(3R)에 저장한 후 다시 aDSP(2ad)가 램에 저장된 영상데이터를 읽어들여 영상데이터를 처리하고 이 후 다시 램(3R)에 저장하면 암코어(2ac)가 다시 램(3R)으로부터 영상데이터를 읽어 들여 플래시메모리(3F)에 저장하는 경우보다 프로세서(2)가 램(3R)으로 접속하는 데이터액세스 절차를 간소화하며, 이로 인해 데이터액세스 시간 및 데이터버스의 점유율이 감소되어 프로세서(2)의 부하를 감소시킬 수 있게 된다.

이하에서는 도1내지 도3의 종래기술과 도4내지 도7의 본원발명에서 다음의 조건에 따른 이미지프리뷰의 데이터 처리과정을 위한 데이터액세스 시간을 비교 설명함으로서 종래기술에 대한 본원발명의 프로세서의 부하율 개선의 효과를 설명하고자 한다.

<조건>

- QCIF(Quarter common intermediate format) 프리뷰(Preview) : 176 x 144 픽셀(Pixe)l /1프레임(Frame) ,

- YUV 이미지데이터(Image Data) : 8bit , RGB 이미지테이터(Image Data) : 16bit,

- 카메라모듈(Camera Module)(YUV,RGB 데이터) :일반적인 경우(normal case),

- LCD 모듈(Module (RGB 데이터 디스플레어(Data Display)) :일반적인 경우(normal case),

- 메모리 액세스 타임(Memory Access Time) : Page Read기준 평균(average) 30ns : 일반적인 경우 (normal case),

- 카메라인터페이스(Camera Interface)는 듀얼버퍼(Dual Buffer)를 이용(액세스타임 125ns) : 일반적인 경우(normal case)

<도1의 이동통신 단말기의 이미지프리뷰(Image Preview processing)시 도2의 절차에 따른 처리시간>

YUV 이미지 데이터를 카메라인터페이스모듈(CAM Interface and DMA)(2C)(도2참조)이 입력받는 시간(D1) : 6.33밀리세크(msec)

카메라인터페이스모듈(2C)에서 램(3R)에 저장되는데 경과된 시간(D2)(DMA to RAM)(D2) : 2.02밀리초(msec)(DMA and DATA BUS)

aDSP(2ad)가 램에서 영상데이터를 읽어들이는 시간(D3): 4.04밀리초(msec)(Data bus and aDSP)

YUV RGB 이미지포맷변환 시간(D4) : 8.25밀리초(msec)(aDSP)

aDSP(2ad)의 램(3R)(RAM) 액세스 시간(D5) : 1.01밀리초(msec)(aDSP and Data bus)

암코어(2ac)가 램(3R)으로부터 영상데이터를 독출하는 시간(D6) : 2.02밀리 초(msec)(Data bus and ARM core)

암코어(2ac)가 영상이미지를 LCD(4)로 출력하는 시간(D7) : 2.53밀리초(msec)(ARM core and LCD)

<도4의 이동통신 단말기의 이미지프리뷰시 도7의 절차에 따른 처리시간>

카메라모듈(1)로부터 카메라인터페이스모듈(110)로 알지비(RGB)이미지 데이터전송 시간(N1) : 12.66밀리초(msec) (RGB data : 16bit/Pixel)

카메라인터페이스모듈(110)이 알지비 이미지 데이터를 디피램(120)에 저장하는 시간(N2): 2.02밀리초(msec)

암코어(2ac)가 알지비 이미지 데이터를 디피램(120)으로 독출하는 시간(N3) : 2.02밀리초(msec)(Data bus and ARM core)

암코어(2ac)가 알지비 이미지 데이터를 LCD(4)에 출력하는 시간(N4) : 2.53밀리초(msec)(ARM core and LCD)

상술한 비교에서와 같이 종래기술의 이미지프리뷰를 나타내는 도2의 경우 전체 이미지프리뷰의 처리과정에 소요되는 시간(D1~D7 소요신간의 합)은 28.38밀리초(msec)이며 이때의 데이터버스점유시간(D2+D3+D5+D6)은 9.09밀리초(msec)가 된다. 반면에 본원발명에 따르는 도7의 경우에는 전체 이미지프리뷰를 위한 처리시간(N1 ~ N4의 합)이 19.23밀리초(msec)이며 이때의 데이터버스점유시간(Data bus Latency)(N3+N4)는 4.04밀리초(msec)가 된다. 즉, 본원발명은 카메라를 이용한 이미지데이터의 처리시간 및 데이터버스버스 점유율을 종래기술에 비해 현저히 감소시켜 영상이미지 데이터 처리를 위한 프로세스의 부하를 줄일 수 있게 된다.

도8은 본원발명의 카메라인터페이스장치(100)가 구비된 이동통신단말기에서의 비디오텔레포니(VT)서비스의 처리과정을 나타내는 도면이다. 즉, 도8의 경우에서도 도7의 설명에서와 같이, 영상데이터의 처리를 위해 외부메모리(3)의 램(3R)에 프로세서(2)가 접속하는 절차를 줄일 수 있게 되므로, 프로세서(2)의 이벤트(Event) 처리 의 횟수를 줄이게 됨으로써 비디오텔레포니 서비스를 위한 영상처리 작업에 더 많은 처리시간을 할당할 수 있게 되어 외부로부터 입력되는 비디오텔레포니서비스(VT서비스)시 영상의 손실을 방지할 수 있게 된다. 또한 VT서비스시의 성능이 카메라인터페이스모듈(Camera Interface module)의 픽셀/프레임(Pixel / Frame) 수에 따라 보다 많은 데이터처리를 가능케 하여 현재의 QCIF(Quarter common intermediate format) 15프레임(frame) 이상의 CIF(common intermediate format)급 또는 그 이상의 VT화질이 가능하게 할 수도 있다.

첨부 도면 중 도9는 본원발명의 디피램(120)의 구성을 나타내기 위한 것으로서 일반적인 디피램(DPRAM)의 기능블록도를 도시한 것이므로 그 상세한 설명은 생략한다.

상술한 본원발명은 영상처리 과정에서 프로세서의 램 접속 절차를 간소화시킴으로써, 프로세서의 램 액세스 타임을 현저히 줄일 수 있도록 하는 효과를 제공한다. 그리고, 프로세서의 램액세스 타임의 감소는 프로세서의 부하를 감소시키는 효과를 제공한다. 따라서, 상술한 본원발명은 프로세서가 부가적인 다양한 이벤트처리를 수행할 수 있게 되어 다양한 부가적인 어플리케이션을 탑재할 수 있도록 하 여 프로세서의 기능 및 성능을 향상시킬 수 있도록 하는 효과를 제공한다.

Claims

카메라모듈과 카메라모듈로부터 입력되는 영상데이터처리를 수행하는 프로세서를 구비한 이동통신단말기의 카메라인터페이스에 있어서,

카메라모듈로부터 영상데이터를 입력받는 카메라인터페이스부와,

상기 카메라인터페이스부에 연결되는 제1데이터포트와 상기 이동통신단말기의 제어부에 연결되는 제2데이터포트를 가지는 외부저장부로 구성되는 것을 특징으로 하는 이동통신단말기의 카메라인터페이스 장치.
제1항에 있어서, 상기 카메라인터페이스부는,

상기 이동통신단말기의 카메라모듈로부터 입력되는 영상데이터를 입력받는 영상데이터버퍼와,

상기 영상데이터버퍼에 연결되어 출력되는 영상데이터에 주소를 부가한 후 상기 외부저장부에 저장하는 외부저장부인터페이스와,

상기 영상데이터버퍼와 상기 외부저장부인터페이스로 영상데이터 제어 명령 및 동기신호를 출력하는 제어기로 구성되는 것을 특징으로 하는 이동통신 단말기의 카메라인터페이스 장치.
제2항에 있어서, 상기 카메라인터페이스부는,

상기 이동통신단말기의 제어부로부터 동기신호, 제어명령를 입력받은 후 상 기 제어기로 입력하는 커맨드인터프리터를 더 포함하여 구성되는 것을 특징으로 하는 이동통신단말기의 카메라인터페이스 장치.
제2항에 있어서, 상기 영상데이터버퍼는,

상기 이동통신단말기의 카메라모듈로부터 영상데이터를 입력받는 제1버퍼와,

상기 제1버퍼로부터 입력되는 영상데이터를 다중화시키는 다중화기와,

상기 다중화기의 순차적 스위칭에 의하여 다중화기로부터 입력되는 데이터를 순차적으로 저장하는 다채널 래치버퍼와,

상기 다채널 래치버퍼의 영상데이터를 하나로 통합하여 입력받은 후 선입선출(FIFO)되도록 하는 시프트래지스터로 구성되는 것을 특징으로 하는 이동통신단말기의 카메라인터페이스 장치.
제1항에 있어서, 상기 외부저장부는 이중포트 랜덤액세스 메모리인 것을 특징으로 하는 이동통신단말기의 카메라인터페이스 장치.
제1항에 있어서, 상기 카메라인터페이스부는 RGB 또는 YUV 포맷의 영상데이터를 선택적으로 처리하도록 구성되는 것을 특징으로 하는 이동통신단말기의 카메라인터페이스 장치.