KR100848589B1 - An mobile camera telephone, method of recording an image and a camera module - Google Patents

An mobile camera telephone, method of recording an image and a camera module Download PDF

Info

Publication number
KR100848589B1
KR100848589B1 KR1020057019324A KR20057019324A KR100848589B1 KR 100848589 B1 KR100848589 B1 KR 100848589B1 KR 1020057019324 A KR1020057019324 A KR 1020057019324A KR 20057019324 A KR20057019324 A KR 20057019324A KR 100848589 B1 KR100848589 B1 KR 100848589B1
Authority
KR
South Korea
Prior art keywords
camera
image
digital data
image processing
processing
Prior art date
Application number
KR1020057019324A
Other languages
Korean (ko)
Other versions
KR20050121718A (en
Inventor
아미트 두타
카즈노부 신
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Priority to KR1020057019324A priority Critical patent/KR100848589B1/en
Publication of KR20050121718A publication Critical patent/KR20050121718A/en
Application granted granted Critical
Publication of KR100848589B1 publication Critical patent/KR100848589B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers; Analogous equipment at exchanges
    • H04M1/72Substation extension arrangements; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selecting
    • H04M1/725Cordless telephones
    • H04M1/72519Portable communication terminals with improved user interface to control a main telephone operation mode or to indicate the communication status
    • H04M1/72522With means for supporting locally a plurality of applications to increase the functionality

Abstract

휴대용 카메라폰은, 이미지를 포착하여 RGB 포맷으로 디지털 데이터를 제공하는 카메라 모듈; The portable camera phone includes: a camera module that captures an image and provides digital data in an RGB format; 및 상기 휴대용 카메라폰의 동작을 제어하는 CPU 및 상기 카메라 모듈로부터 수신되는 RGB 포맷의 디지털 데이터에 대한 카메라 이미지 처리를 수행하기 위해 구성되는 하드웨어를 지니는 애플리케이션 프로세서를 포함한다. And an application processor having a CPU for controlling the operation of the portable camera phone and hardware configured to perform camera image processing on digital data in RGB format received from the camera module. 휴대용 카메라폰을 사용한 이미지 레코딩방법은, 상기 휴대용 카메라폰의 제1의 카메라 컴포넌트에서 이미지를 포착하여 상기 제1의 카메라 컴포넌트로부터 상기 휴대용 카메라폰의 제2의 애플리케이션 처리 컴포넌트로 RAW 포맷의 디지털 데이터를 송신하는 단계; The image recording method using a portable camera phone captures an image from a first camera component of the portable camera phone, and converts digital data in RAW format from the first camera component to a second application processing component of the portable camera phone. Transmitting; 및 상기 애플리케이션 처리 컴포넌트 내에서, 시각화 이미지를 생성하기 위한 RGB 포맷의 디지털 데이터의 이미지 처리를 수행할 뿐만 아니라 상기 휴대용 카메라폰 내의 그 이미지의 저장을 제어하는 단계를 포함한다. And in the application processing component, not only performing image processing of digital data in RGB format for generating a visualization image, but also controlling storage of the image in the portable camera phone.

Figure R1020057019324

A portable camera phone includes a camera module for capturing an image and providing digital data in an RGB format; A portable camera phone includes a camera module for capturing an image and providing digital data in an RGB format; And an application processor having a CPU controlling an operation of the portable camera phone and hardware configured to perform camera image processing on digital data in RGB format received from the camera module. And an application processor having a CPU controlling an operation of the portable camera phone and hardware configured to perform camera image processing on digital data in RGB format received from the camera module. An image recording method using a portable camera phone captures an image from a first camera component of the portable camera phone and transfers digital data in RAW format from the first camera component to a second application processing component of the portable camera phone. An image recording method using a portable camera phone captures an image from a first camera component of the portable camera phone and transfers digital data in RAW format from the first camera component to a second application processing component of the portable camera phone. Transmitting; Transmitting; And in the application processing component, performing image processing of digital data in RGB format for generating a visualization image, as well as controlling the storage of that image in the portable camera phone. And in the application processing component, performing image processing of digital data in RGB format for generating a visualization image, as well as controlling the storage of that image in the portable camera phone.

Description

휴대용 카메라폰, 이미지 레코딩 방법 및 카메라 모듈 {An mobile camera telephone, method of recording an image and a camera module} Portable camera phone, method of recording an image and a camera module

본 발명의 실시예들은 휴대용 카메라폰들에 관한 것이다. 휴대용 카메라폰이란 디지털 카메라로도 동작 가능하고 무선 이동통신 장치로도 동작 가능한 휴대용 장치를 말한다. Embodiments of the present invention relate to portable camera phones. A portable camera phone is a portable device that can operate as a digital camera and can also operate as a wireless mobile communication device.

도 1은 종래의 휴대용 카메라폰(10)의 개략적인 예시도이다. 종래의 휴대용 카메라폰(10)은 개별 컴포넌트들로서, 광학기기-이미지센서(optics and image sensor)(12), 카메라 코프로세서(14) 및 애플리케이션 프로세서(16)를 포함한다. 광학기기-이미지센서(12)는 이미지를 포착하고 그 이미지를 나타내는 디지털 출력(11)을 발생시킨다. 상기 카메라 코프로세서(14)는 이미지 데이터(13)를 생성하기 위해 특별히 최적화된 이미지처리 하드웨어 가속장치를 사용하여 디지털 데이터(11)를 처리하는 단일의 칩이다. 상기 애플리케이션 프로세서(16)는 종래 휴대용 카메라폰의 중앙처리장치(CPU)이다. 이는 종래 휴대용 카메라폰의 동작과, 특히, 종래 카메라 휴대폰에서 제공되는 사용자 애플리케이션, 입력 및 출력을 제어한다. 예를 들어, 상기 애플리케이션 프로세서(16)는 SDRAM(2) 및 멀티미디어 메모리 카드(4)와 같은 메모리 장치들을 제어하며 그곳에 이미지 데이터(13)를 저장할 수 있다. 상기 애플리케이션 프로세서(16)는 종래 휴대용 카메라폰(10)을 통해 이루어 지는 원격통신의 처리에 사용할 수 있는 디지털 베이스밴드 회로(digital baseband circuitry; DSP; 6)를 제어할 수 있다. 다른 구현예들에서, 상기 휴대용 카메라폰(10)은 상기 디지털 베이스밴드 회로(6)를 제어하는데 전용으로 사용되는 부가적인 프로세서를 갖는다.1 is a schematic illustration of a conventional portable camera phone 10. The conventional portable camera phone 10 includes, as separate components, an optics and image sensor 12, a camera coprocessor 14 and an application processor 16. Optics-image sensor 12 captures an image and generates a digital output 11 representing the image. The camera coprocessor 14 is a single chip that processes the digital data 11 using an image processing hardware accelerator specially optimized for generating the image data 13. The application processor 16 is a central processing unit (CPU) of a conventional portable camera phone. This controls the operation of conventional portable camera phones and, in particular, the user applications, inputs and outputs provided in conventional camera phones. For example, the application processor 16 controls memory devices such as SDRAM 2 and multimedia memory card 4 and can store image data 13 therein. The application processor 16 may control digital baseband circuitry (DSP) 6 that can be used for the processing of telecommunications made through a conventional portable camera phone 10. In other implementations, the portable camera phone 10 has an additional processor dedicated to controlling the digital baseband circuit 6.

휴대폰 기능들 및 휴대용 카메라 기능들은 개별 컴포넌트들에 의해 수행된다. 상기 광학기기-이미지센서(12) 및 카메라 코프로세서 칩(14)은 휴대용 카메라 기능들을 제공하며 상기 휴대용 카메라폰(10) 본체에 통합하기 위해서 단일의 모듈 또는 칩으로 공급하는 것이 가능하다. 상기 애플리케이션 프로세서(16)는 휴대폰 기능들을 제공하는 또 다른 모듈 또는 칩이며, 이미지 저장 및 재생 기능들을 제공할 수 있다.Cell phone functions and portable camera functions are performed by separate components. The optics-image sensor 12 and camera coprocessor chip 14 provide portable camera functions and can be supplied as a single module or chip for integration into the portable camera phone 10 body. The application processor 16 is another module or chip that provides cellular phone functions and may provide image storage and playback functions.

휴대용 카메라폰의 구조를 개선하는 것이 바람직하다 할 것이다.It would be desirable to improve the structure of a portable camera phone.

본 발명의 일 실시태양에 따르면, 이미지를 포착하여 RAW 포맷으로 디지털 데이터를 제공하는 카메라 모듈; 및 휴대용 카메라폰의 동작을 제어하는 CPU 및 상기 카메라 모듈로부터 수신되는 RAW 포맷의 디지털 데이터에 대한 카메라 이미지 처리를 수행하도록 구성되는 하드웨어를 지니는 애플리케이션 프로세서를 포함하는 휴대용 카메라폰이 제공된다.According to one embodiment of the present invention, a camera module for capturing an image and providing digital data in a RAW format; And an application processor having a CPU controlling the operation of the portable camera phone and hardware configured to perform camera image processing on the digital data in RAW format received from the camera module.

본 발명의 다른 실시태양에 따르면, 휴대용 카메라폰의 제1의 카메라 컴포넌트에서 이미지를 포착하는 단계; 상기 휴대용 카메라폰의 제1의 카메라 컴포넌트로부터 상기 휴대용 카메라폰의 제2의 애플리케이션 처리 컴포넌트로 RAW 포맷의 디지털 데이터를 송신하는 단계; 및 상기 제2의 애플리케이션 컴포넌트 내에서, 시각화 이미지를 생성하기 위한 RAW 포맷의 디지털 데이터의 이미지 처리를 수행할 뿐만 아니라 또한 상기 휴대용 카메라폰 내의 그 이미지의 저장을 제어하는 단계를 포함하는 휴대용 카메라폰을 사용하는 이미지 레코딩방법을 제공한다.According to another embodiment of the present invention, there is provided a method comprising: capturing an image at a first camera component of a portable camera phone; Transmitting digital data in RAW format from a first camera component of the portable camera phone to a second application processing component of the portable camera phone; And in the second application component, performing image processing of digital data in RAW format for generating a visualization image, as well as controlling the storage of that image in the portable camera phone. Provides an image recording method for use.

"RAW" 포맷이란 CMOS센서 또는 CCD센서와 같은 이미지센서로부터 출력되는 아날로그 데이터를 디지털화함으로써 얻어지는 데이터 포맷을 의미한다. The "RAW" format refers to a data format obtained by digitizing analog data output from an image sensor such as a CMOS sensor or a CCD sensor.

시각화 또는 저장을 위한 이미지는 전형적으로 RGB포맷, YUV포맷, 또는 JPEG이나 TIFF와 같은 압축된 포맷을 취한다. Images for visualization or storage typically take the RGB format, YUV format, or compressed formats such as JPEG or TIFF.

그 결과 본 발명의 실시예들에 의하면 카메라 모듈들의 컴포넌트들의 수가 감소하게 된다. 상기 선행기술에 있어서의 상기 카메라 모듈의 이미징 코프로세서의 기능들은 하드웨어나 소프트웨어로서 상기 애플리케이션 프로세서에 통합된다. 결과적으로 상기 카메라 모듈의 크기와 비용은 감소하게 된다.As a result, according to embodiments of the present invention, the number of components of the camera modules is reduced. The functions of the imaging coprocessor of the camera module in the prior art are integrated into the application processor as hardware or software. As a result, the size and cost of the camera module is reduced.

본 발명의 몇몇 실시예들에 따르면 상기 카메라 모듈은 상기 제공된 디지털 데이터의 크기를 축소하는 축소수단을 포함한다. 이는 상기 카메라 모듈과 상기 애플리케이션 프로세서 사이에서 값비싼 광대역폭 인터페이스의 사용을 불필요하게 한다.According to some embodiments of the present invention, the camera module includes reduction means for reducing the size of the provided digital data. This eliminates the use of an expensive wide bandwidth interface between the camera module and the application processor.

이하, 본 발명의 이해를 돕고자 단지 일례로서 첨부된 도면들을 참조할 것이다. Hereinafter, reference will be made to the accompanying drawings as an example only to assist in understanding the present invention.

도 1은 종래의 휴대용 카메라폰(10)의 개략적인 예시도이다. 1 is a schematic illustration of a conventional portable camera phone 10.

도 2 및 도 3은 본 발명의 제1실시예에 따른 휴대용 카메라폰(20)의 개략적인 예시도들이다. 2 and 3 are schematic diagrams of a portable camera phone 20 according to a first embodiment of the present invention.

도 4는 본 발명의 변형 실시예를 보여주는 도면이다. 4 is a view showing a modified embodiment of the present invention.

도 5는 본 발명의 다른 변형 실시예를 보여주는 도면이다. 5 is a view showing another modified embodiment of the present invention.

도 2 내지 도 5에는 휴대용 카메라폰(20)이 예시되어 있으며, 상기 휴대용 카메라폰(20)은 이미지를 포착하여 RAW 포맷으로 디지털 데이터(11)를 제공하는 카메라 모듈(28); 및 상기 휴대용 카메라폰의 동작을 제어하는 CPU(26a) 및 상기 카메라 모듈로부터 수신되는 RAW 포맷의 디지털 데이터에 대한 카메라 이미지 처리를 수행하여 디지털 디스플레이(digital display) 상에서 시각화하기에 적합한 이미지 데이터(13)를 생성하기 위해 구성되는 하드웨어를 지니는 애플리케이션 프로세서(26)를 포함한다.2 to 5 illustrate a portable camera phone 20, which comprises: a camera module 28 for capturing an image and providing digital data 11 in RAW format; And CPU 26a for controlling the operation of the portable camera phone and image data 13 suitable for visualization on a digital display by performing camera image processing on digital data in RAW format received from the camera module. And an application processor 26 having hardware configured to create the PDU.

상기 이미지 데이터(13)는 상기 CPU(26a)의 제어에 의해 저장된다. The image data 13 is stored under the control of the CPU 26a.

RAW 포맷이란 CMOS센서 또는 CCD센서와 같은 이미지센서로부터 출력되는 아날로그 데이터를 디지털화함으로써 얻어지는 데이터 포맷을 의미한다. The RAW format refers to a data format obtained by digitizing analog data output from an image sensor such as a CMOS sensor or a CCD sensor.

시각화 또는 저장을 위한 데이터 이미지는 RGB 포맷, YUV 포맷, 또는 JPEG나 TIFF 포맷과 같은 압축된 포맷을 취할 수 있다.The data image for visualization or storage can take the RGB format, the YUV format, or a compressed format such as JPEG or TIFF format.

도 2 및 도 3은 본 발명의 제1실시예에 따른 휴대용 카메라폰의 개략적인 예시도들이다. 상기 휴대용 카메라폰(20)은, 개별 컴포넌트들로서, 광학기기-이미지센서(12) 및 애플리케이션 프로세서(26)를 포함한다. 상기 애플리케이션 프로세서 (26)는 단일의 칩이다. 이는 상기 휴대용 카메라폰(20)의 CPU로서 동작하는 CPU부(26a), 카메라 이미지 프로세서로서 동작하는 카메라 이미지 처리부(26b), 및 저장장치인 SDRAM(2)과 메모리카드(4)를 위한 인터페이스들(26c)을 갖추고 있다. 애플리케이션 프로세서(26)는 시스템온칩(system on a chip; SOC)일 수 있다.2 and 3 are schematic diagrams of a portable camera phone according to a first embodiment of the present invention. The portable camera phone 20 comprises, as separate components, an optics-image sensor 12 and an application processor 26. The application processor 26 is a single chip. This includes the CPU unit 26a operating as the CPU of the portable camera phone 20, the camera image processing unit 26b operating as the camera image processor, and the interfaces for the SDRAM 2 and the memory card 4 as storage devices. (26c) The application processor 26 may be a system on a chip (SOC).

상기 광학기기-이미지센서(12)는 카메라 모듈(28)의 일부이다. 상기 광학기기-이미지센서(12)는 렌즈(12a), 이미지센서부(12b) 및 아날로그-디지털 컨버터(ADC)부(12c)를 포함한다. 이는 이미지를 포착하고 그 이미지를 나타내는 디지털 출력(11)을 발생시킨다. 상기 디지털 출력(11)은 베이어 데이터(Bayer data)이며, 이는 상기 이미지센서(12)에서 사용되는 컬러 필터에 상응하는 RGB 컬러 데이터이다. 상기 'raw'디지털 출력(11)은 상기 카메라 모듈(28)과 애플리케이션 프로세서(26) 사이의 인터페이스(27)를 통과한다.The optics-image sensor 12 is part of the camera module 28. The optics-image sensor 12 includes a lens 12a, an image sensor portion 12b and an analog-digital converter (ADC) portion 12c. This captures an image and generates a digital output 11 representing the image. The digital output 11 is Bayer data, which is RGB color data corresponding to the color filter used in the image sensor 12. The 'raw' digital output 11 passes through an interface 27 between the camera module 28 and the application processor 26.

상기 애플리케이션 프로세서(26)는 이미지 데이터(13)를 발생시키기 위해 상기 카메라 이미지 처리부(26b)가 제공하는 특수한 이미지 처리능력을 사용하여 디지털 데이터(11)를 처리한다. 상기 애플리케이션 프로세서(26)는 상기 휴대용 카메라폰의 중앙처리장치(CPU)부(26a)를 포함하고, 이는 상기 휴대용 카메라폰의 동작들과 특히, 상기 휴대용 카메라폰 상에서 제공되는 애플리케이션들, 입력 및 출력을 제어한다. 예를 들어, 상기 애플리케이션 프로세서(26)는 SDRAM(2) 및 멀티미디어 메모리 카드(4)와 같은 메모리 장치들을 제어하며, 그곳에 이미지 데이터(13)를 저장할 수 있다. 또한, 이는 종래 휴대용 카메라폰(10)을 통해 이루어지는 원격통신의 처리에 사용할 수 있는 디지털 베이스밴드 회로(6)를 제어하기도 한다.The application processor 26 processes the digital data 11 using the special image processing capability provided by the camera image processing unit 26b to generate the image data 13. The application processor 26 comprises a central processing unit (CPU) portion 26a of the portable camera phone, which acts on the portable camera phone and in particular, the applications, inputs and outputs provided on the portable camera phone. To control. For example, the application processor 26 controls memory devices such as the SDRAM 2 and the multimedia memory card 4, and may store the image data 13 therein. It also controls the digital baseband circuit 6 that can be used for the processing of telecommunications made through conventional portable camera phones 10.

휴대폰 기능들 및 휴대용 카메라 기능들은 동일한 컴포넌트인, 상기 카메라 이미지 처리부(26b)가 내재하는 상기 애플리케이션 프로세서(26)에 의해 실질적으로 수행된다. (다른 실시예에서 상기 휴대폰의 일부 기능들은 다른 프로세서에 의해 수행될 수 있다.) 상기 광학기기-이미지센서(12)는 상기 휴대용 카메라폰(20)의 본체에 통합하기 위해 간단하면서도 작고 저렴한 모듈(28)로서 제공된다. 이 실시예에서 상기 광학기기-이미지센서(12)는 휴대용 카메라 이미지 포착기능 및 A/D 변환기능들을 제공하나, 디스플레이에서의 시각화 또는 메모리 내의 저장을 위한 최종 이미지 데이터를 구성하는 추가적인 이미지 처리 기능들을 제공하지는 않는다. 상기 애플리케이션 프로세서(26)는 휴대용 카메라 데이터 처리 기능들 및 휴대폰 제어 기능들을 제공한다.Mobile phone functions and portable camera functions are substantially performed by the application processor 26 inherent in the camera image processor 26b, which is the same component. (In other embodiments, some of the functions of the mobile phone may be performed by other processors.) The optics-image sensor 12 is a simple, small and inexpensive module for integrating into the body of the portable camera phone 20. 28). In this embodiment the optics-image sensor 12 provides portable camera image capture and A / D conversion functions, but additional image processing functions that constitute the final image data for visualization on a display or storage in memory. It does not provide. The application processor 26 provides portable camera data processing functions and mobile phone control functions.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리 기능은 상기 애플리케이션 프로세서(26) 내에서 상기 CPU 프로세서와는 다른 전용 하드와이어드 파이프라인 프로세서(pipeline processor) 또는 상기 CPU 프로세서의 확장이라 할 수 있는 전용 프로그램가능 하드웨어 가속장치에 의해 제공된다. 프로그램가능 하드웨어 가속장치의 장점은 프로그래밍에 의해 상이한 이미지센서 모듈들(28)을 동작시키기에 적합할 수 있다는 점이다. 프로그램가능 하드웨어 가속장치의 하나의 유형은 카메라 이미지 처리를 위해 최적화된 SIMD(single instruction multiple data) 처리 가속장치이다.The camera image processing function of the application processor 26 may be a dedicated hardwired pipeline processor or extension of the CPU processor that is different from the CPU processor in the application processor 26. Provided by the accelerator. An advantage of the programmable hardware accelerator is that it may be suitable for operating different image sensor modules 28 by programming. One type of programmable hardware accelerator is a single instruction multiple data (SIMD) processing accelerator optimized for camera image processing.

상기 이미지 처리는: 결점 보정(defect correction), 이득 제어(gain control), 블랙 레벨 오프셋 매칭(black level offset matching), 화이트 발란싱 (white balancing), 감마 제어(gamma control), CFA 보간(CFA interpolation)과 색 공간 변환(color space conversion), 경계 강조(edge enhancement) 및 데이터 압축(data compression) 동작들을 포함할 수 있다. 상기 동작들은 상기 순서대로 수행될 필요는 없다.The image processing includes: defect correction, gain control, black level offset matching, white balancing, gamma control, CFA interpolation And color space conversion, edge enhancement, and data compression operations. The operations need not be performed in this order.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)는 상기 CPU부(26a) 및/또는 상기 디지털 베이스밴드 회로(DSP)(6)를 상기 이미지 처리 동작들에 관련시킬 수 있다.The camera image processing unit 26b of the application processor 26 may associate the CPU unit 26a and / or the digital baseband circuitry (DSP) 6 with the image processing operations.

도 4는 본 발명의 변형 실시예를 보여주는 도면이다. 상기 인터페이스(27)의 대역폭을 좁히기 위하여, 인터페이스(27)를 통해 전송하기 전에 상기 디지털 데이터(11)의 크기를 축소한다. 도 4의 실시예에서, 상기 디지털 데이터(11)는 상기 인터페이스(27)를 통과할 때 상기 ADC(12c)의 출력에서, 10비트로부터 8비트로 비트-깊이(bit depth)가 축소된다. 이 실시예에서 상기 비트축소는 감마보정부(30)에 의해 감마보정의 일부로서 수행된다. 감마보정의 이미지 처리 기능은 상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)를 대신하여 상기 카메라 모듈(28)에서 감마보정부(30)에 의해 수행된다.4 is a view showing a modified embodiment of the present invention. In order to narrow the bandwidth of the interface 27, the size of the digital data 11 is reduced before transmitting over the interface 27. In the embodiment of FIG. 4, the bit data is reduced from 10 bits to 8 bits at the output of the ADC 12c as the digital data 11 passes through the interface 27. In this embodiment, the bit reduction is performed by the gamma correction unit 30 as part of gamma correction. An image processing function of gamma correction is performed by the gamma correction unit 30 in the camera module 28 in place of the camera image processing unit 26b of the application processor 26.

상기 모듈(28)은 일부 제한된 이미지 처리를 수행하나, 이미지 처리의 대부분은 상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)에 의해 수행된다. 상기 모듈(28)은 간단하면서도 작고 저렴한 모듈로서 남게 되어 상기 휴대용 카메라폰(20)의 본체에 쉽게 통합된다. 상기 모듈(28)은 휴대용 카메라 이미지 포착 기능들, A/D 변환, 데이터 대역폭 축소 기능들을 제공하며, 일부 제한된 이미지 처리 기능들(감마보정)을 제공할 수 있다. 상기 애플리케이션 프로세서(26)는 휴대폰 제어 기능들 및 최종 이미지 데이터 구성을 위한 카메라 데이터 처리 기능들의 대부분을 제공한다. 그리고, 이 실시예에서 인터페이스(27)의 대역폭을 도 3에서 예시한 앞선 실시예의 경우보다 좁힐 수 있다.The module 28 performs some limited image processing, but most of the image processing is performed by the camera image processing unit 26b of the application processor 26. The module 28 remains as a simple, small and inexpensive module that is easily integrated into the body of the portable camera phone 20. The module 28 provides portable camera image capture functions, A / D conversion, data bandwidth reduction functions, and may provide some limited image processing functions (gamma correction). The application processor 26 provides most of the mobile phone control functions and camera data processing functions for final image data construction. In this embodiment, the bandwidth of the interface 27 can be narrowed than in the case of the previous embodiment illustrated in FIG. 3.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리 기능은 애플리케이션 프로세서 내에서 상기 CPU 프로세서와는 다른 전용 하드와이어드 파이프라인 프로세서 또는 상기 CPU 프로세서의 확장이라 할 수 있는 전용 프로그램가능 하드웨어 가속장치에 의해 제공될 수 있다.The camera image processing function of the application processor 26 may be provided by a dedicated hardwired pipeline processor that is different from the CPU processor in the application processor or by a dedicated programmable hardware accelerator, which may be referred to as an extension of the CPU processor. .

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)는 상기 CPU부(26a) 및/또는 상기 DSP(6)를 상기 이미지 처리 동작들에 관련시킬 수 있다.The camera image processing unit 26b of the application processor 26 may associate the CPU unit 26a and / or the DSP 6 with the image processing operations.

도 5는 도 4를 참조하여 설명한 본 발명의 다른 변형 실시예를 보여주는 도면이다. 상기 디지털 데이터(11)는 상기 인터페이스(27)를 통해 송신하기 전에 무손실 압축부(32)를 통해 손실 없이 압축된다. 도 5의 실시예에서, 디지털 데이터는 우선 상기 ADC(12c)의 출력에서, 감마보정부(30)에 의해 10비트로부터 8비트로 비트-깊이가 축소된다. 그리고 나서 감마보정된 디지털 데이터는 디지털 데이터(11)로서 상기 인터페이스(27)를 통해 송신하기 전에 압축부(32)에 의해 손실 없이 압축된다. 이 실시예에서, 인터페이스(27)의 대역폭을 도 4에서 예시한 실시예의 경우보다 좁힐 수 있다.5 is a view showing another modified embodiment of the present invention described with reference to FIG. The digital data 11 is compressed losslessly through the lossless compression section 32 before transmitting via the interface 27. In the embodiment of FIG. 5, the digital data is first reduced at the output of the ADC 12c by the gamma correction unit 30 from 10 bits to 8 bits. The gamma corrected digital data is then compressed without loss by the compression section 32 before transmitting over the interface 27 as digital data 11. In this embodiment, the bandwidth of the interface 27 can be narrower than in the embodiment illustrated in FIG.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)에 의해 수행되는 카메라 이미지 처리는 이미지 처리가 행해지기 전에 상기 인터페이스(27)에서 압축해제(decompression)부(34)에 의해 손실 없이 압축을 해제하는 단계를 부가적으로 포함한다.Camera image processing performed by the camera image processing unit 26b of the application processor 26 decompresses without loss by the decompression unit 34 at the interface 27 before image processing is performed. It additionally includes a step.

상기 모듈(28)은 데이터 압축을 수행하며 또한 일부 제한된 이미지 처리를 수행할 수도 있으나, 대부분의 이미지 처리는 상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)에 의해 수행된다. 상기 모듈(28)은 간단하면서도 작고 저렴한 모듈로서 남게 되어 상기 휴대용 카메라폰의 본체에 쉽게 통합된다. 상기 모듈(28)은 휴대용 카메라 이미지 포착 기능들, 무손실 압축에 의한 데이터 대역폭 축소 기능을 제공할 수 있으며, 또한 일부 제한된 이미지 처리 기능들(감마보정)을 제공할 수 있다. 상기 애플리케이션 프로세서(26)는 무손실 압축해제 기능을 제공하며 적어도 대부분의 휴대용 카메라 데이터 처리 기능들 및 휴대폰 제어 기능들을 제공한다.The module 28 performs data compression and may also perform some limited image processing, but most of the image processing is performed by the camera image processing unit 26b of the application processor 26. The module 28 remains as a simple, small and inexpensive module that is easily integrated into the body of the portable camera phone. The module 28 may provide portable camera image capture functions, data bandwidth reduction by lossless compression, and may also provide some limited image processing functions (gamma correction). The application processor 26 provides a lossless decompression function and provides at least most portable camera data processing functions and mobile phone control functions.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리 기능은 상기 애플리케이션 프로세서(26) 내에서 상기 CPU 프로세서와는 다른 전용 하드와이어드 파이프라인 프로세서 또는 상기 CPU 프로세서의 확장이라 할 수 있는 전용 프로그램가능 하드웨어 가속장치에 의해 제공될 수 있다.The camera image processing function of the application processor 26 is provided by a dedicated hardwired pipeline processor, which is different from the CPU processor in the application processor 26, or by a dedicated programmable hardware accelerator, which may be referred to as an extension of the CPU processor. Can be provided.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)는 상기 CPU부(26a) 및/또는 상기 DSP(6)를 상기 이미지 처리 동작들에 관련시킬 수 있다. The camera image processing unit 26b of the application processor 26 may associate the CPU unit 26a and / or the DSP 6 with the image processing operations.

상기 모듈은 상기 휴대용 카메라폰의 본체에 통합되거나 또는 상기 휴대용 카메라폰의 본체에 사용자에 의한 장착/분리가 가능하다. The module may be integrated into the main body of the portable camera phone or may be mounted / removed by the user on the main body of the portable camera phone.

지금까지 앞선 단락들에서 본 발명의 실시예들을 다양한 예들을 참조하여 설 명하였으나, 본 발명의 사상 또는 범위를 벗어나지 않고 상기 주어진 예들의 변형예들이 구현될 수 있음을 인식하여야 할 것이다.While embodiments of the invention have been described with reference to various examples in the foregoing paragraphs, it will be appreciated that variations of the examples given above may be implemented without departing from the spirit or scope of the invention.

본 명세서에서 특히 중요한 것으로 여겨지는 본 발명의 그러한 특징들에 대해 주의를 환기시키려고 노력하였지만 본 출원인이 지금까지 도면들을 참조 및/또는 도면에서 예시한 어떤 특허성 있는 특징이나 특징들의 결합에 관하여 그것에 대해 특별히 강조를 하였든 하지않았든 간에 보호를 주장하고 있는 것으로 해석하여야 할 것이다.Although efforts have been made to draw attention to those features of the invention that are considered to be particularly important herein, the Applicant has so far referred to them with respect to any patentable feature or combination of features exemplified by reference to the drawings and / or illustrated in the drawings. It should be interpreted as claiming protection, with or without special emphasis.

Claims (27)

  1. 휴대용 카메라폰에 있어서, In a portable camera phone,
    이미지를 포착하여 RAW 포맷으로 디지털 데이터를 제공하는 카메라 모듈; 및 A camera module for capturing an image and providing digital data in a RAW format; And
    상기 휴대용 카메라폰의 동작을 제어하는 CPU 및 상기 카메라 모듈로부터 수신되는 RAW 포맷의 디지털 데이터에 대해 카메라 이미지 처리를 수행하도록 구성되는 하드웨어를 지니는 애플리케이션 프로세서를 포함하며, An application processor having a CPU controlling an operation of the portable camera phone and hardware configured to perform camera image processing on digital data in RAW format received from the camera module,
    상기 애플리케이션 프로세서는 프로그램가능 하드웨어 가속장치를 포함하는 것을 특징으로 하는 휴대용 카메라폰. And said application processor comprises a programmable hardware accelerator.
  2. 제1항에 있어서, The method of claim 1,
    상기 카메라 모듈은 광학기기, 이미지센서 및 아날로그-디지털 컨버터만을 포함하고, 이미지 처리 수단이 없는 것을 특징으로 하는 휴대용 카메라폰. The camera module includes only an optical device, an image sensor, and an analog-to-digital converter, and has no image processing means.
  3. 제1항 또는 제2항에 있어서, The method according to claim 1 or 2,
    상기 디지털 데이터는 이미지센서의 디지털화된 출력인 것을 특징으로 하는 휴대용 카메라폰. The digital data is a portable camera phone, characterized in that the digitized output of the image sensor.
  4. 제1항에 있어서, The method of claim 1,
    상기 카메라 모듈은 상기 제공된 디지털 데이터의 크기를 축소하는 축소수단을 포함하는 것을 특징으로 하는 휴대용 카메라폰. The camera module comprises a reduction means for reducing the size of the provided digital data.
  5. 제4항에 있어서, The method of claim 4, wherein
    상기 축소수단은 비트-깊이 축소(bit depth reduction)를 수반하는 것을 특징으로 하는 휴대용 카메라폰. And said reducing means is accompanied by bit depth reduction.
  6. 제4항 또는 제5항에 있어서, The method according to claim 4 or 5,
    상기 축소수단은 무손실 압축을 수반하고 또한 상기 애플리케이션 프로세서는 이미지 처리 전의 무손실 압축해제 수단을 포함하는 것을 특징으로 하는 휴대용 카메라폰. And said reduction means comprises lossless compression and said application processor comprises lossless decompression means prior to image processing.
  7. 제1항, 제4항 또는 제5항 중의 한 항에 있어서, The method of claim 1, 4 or 5,
    상기 카메라 모듈은 소정의 제한된 이미지 처리 수단을 더 포함하는 것을 특징으로 하는 휴대용 카메라폰. The camera module further comprises a predetermined limited image processing means.
  8. 제1항, 제4항 또는 제5항 중의 한 항에 있어서, The method of claim 1, 4 or 5,
    상기 카메라 모듈은 상기 디지털 데이터를 상기 애플리케이션 프로세서에 제공하기 전에 감마보정하는 감마보정 수단을 더 포함하는 것을 특징으로 하는 휴대용 카메라폰. The camera module further comprises a gamma correction means for gamma correction before providing the digital data to the application processor.
  9. 제1항, 제4항 또는 제5항 중의 한 항에 있어서, The method of claim 1, 4 or 5,
    상기 애플리케이션 프로세서는 감마보정을 제외한 카메라 이미지 처리를 수행하는 것을 특징으로 하는 휴대용 카메라폰. The application processor performs a camera image processing except gamma correction.
  10. 제1항, 제4항 또는 제5항 중의 한 항에 있어서, The method of claim 1, 4 or 5,
    상기 애플리케이션 프로세서는 시스템온칩인 것을 특징으로 하는 휴대용 카메라폰. The application processor is a portable camera phone, characterized in that the system on a chip.
  11. 제1항, 제4항 또는 제5항 중의 한 항에 있어서, The method of claim 1, 4 or 5,
    상기 애플리케이션 프로세서는 카메라 이미지 처리를 위한 하드와이어드 파이프라인 프로세서를 포함하는 것을 특징으로 하는 휴대용 카메라폰. And said application processor comprises a hardwired pipeline processor for processing camera images.
  12. 삭제 delete
  13. 제1항에 있어서, The method of claim 1,
    상기 프로그램가능 하드웨어 가속장치는 카메라 이미지 처리를 위해 최적화된 SIMD 처리 가속장치인 것을 특징으로 하는 휴대용 카메라폰. And said programmable hardware accelerator is a SIMD processing accelerator optimized for camera image processing.
  14. 휴대용 카메라폰을 사용하는 이미지 레코딩방법에 있어서, In the image recording method using a portable camera phone,
    상기 휴대용 카메라폰의 제1의 카메라 컴포넌트에서 이미지를 포착하여 상기 제1의 카메라 컴포넌트로부터 상기 휴대용 카메라폰의 제2의 애플리케이션 처리 컴포넌트로 RAW 포맷의 디지털 데이터를 송신하는 단계; 및Capturing an image at a first camera component of the portable camera phone and transmitting digital data in RAW format from the first camera component to a second application processing component of the portable camera phone; And
    상기 제2의 애플리케이션 프로세싱 컴포넌트 내에서, 시각화 이미지를 생성하기 위한 상기 RAW 포맷의 디지털 데이터의 이미지 처리를 수행할 뿐만 아니라 상기 휴대용 카메라폰 내의 그 이미지의 저장을 제어하는 단계;를 포함하며,In the second application processing component, performing image processing of the digital data in the RAW format to generate a visualization image, as well as controlling the storage of that image in the portable camera phone;
    상기 제2의 애플리케이션 프로세싱 컴포넌트는 프로그램가능 하드웨어 가속장치를 포함하는 것을 특징으로 하는 휴대용 카메라폰을 사용하는 이미지 레코딩방법. And said second application processing component comprises a programmable hardware accelerator.
  15. 제14항에 있어서, The method of claim 14,
    상기 제1 카메라 컴포넌트는 광학기기, 이미지센서 및 아날로그-디지털 컨버터만을 포함하고, 이미지 처리 수단이 없는 것을 특징으로 하는 이미지 레코딩 방법. And said first camera component comprises only optics, an image sensor and an analog-to-digital converter and no image processing means.
  16. 제14항 또는 제15항에 있어서, The method according to claim 14 or 15,
    상기 디지털 데이터는 이미지센서의 디지털화된 출력인 것을 특징으로 하는 이미지 레코딩 방법. And the digital data is a digitized output of an image sensor.
  17. 제14항에 있어서, The method of claim 14,
    상기 제1 카메라 컴포넌트에서 상기 디지털 데이터의 크기를 축소하는 단계를 더 포함하는 것을 특징으로 하는 이미지 레코딩 방법. And reducing the size of the digital data at the first camera component.
  18. 제17항에 있어서, The method of claim 17,
    상기 디지털 데이터의 크기를 축소하는 단계는 비트-깊이 축소(bit depth reduction)를 수반하는 것을 특징으로 하는 이미지 레코딩 방법. Reducing the size of the digital data involves bit depth reduction.
  19. 제17항 또는 제18항에 있어서, The method of claim 17 or 18,
    상기 디지털 데이터의 크기를 축소하는 단계는 무손실 압축을 수반하며, Reducing the size of the digital data involves lossless compression,
    상기 제2 애플리케이션 처리 컴포넌트에서 이미지 처리 전에 상기 디지털 데이터를 무손실 압축 해제하는 단계를 더 포함하는 것을 특징으로 하는 이미지 레코딩 방법. Lossless decompressing the digital data prior to image processing at the second application processing component.
  20. 제14항, 제17항 또는 제18항 중의 한 항에 있어서, The method of claim 14, 17 or 18,
    상기 제1 카메라 컴포넌트에서 소정의 제한된 이미지 처리를 실행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 레코딩 방법. And performing some limited image processing on the first camera component.
  21. 제14항, 제17항 또는 제18항 중의 한 항에 있어서, The method of claim 14, 17 or 18,
    상기 디지털 데이터를 상기 제2 애플리케이션 처리 컴포넌트에 제공하기 전에 상기 제1 카메라 컴포넌트에서 감마보정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 레코딩 방법. And gamma correcting at the first camera component prior to providing the digital data to the second application processing component.
  22. 제14항, 제17항 또는 제18항 중의 한 항에 있어서, The method of claim 14, 17 or 18,
    상기 제2 애플리케이션 처리 컴포넌트에서 감마보정을 제외한 카메라 이미지 처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 레코딩 방법. And performing camera image processing excluding gamma correction in the second application processing component.
  23. 제14항, 제17항 또는 제18항 중의 한 항에 있어서, The method of claim 14, 17 or 18,
    상기 제2 애플리케이션 처리 컴포넌트는 시스템온칩인 것을 특징으로 하는 이미지 레코딩 방법. And the second application processing component is a system on a chip.
  24. 제14항, 제15항, 제17항 또는 제18항 중의 한 항에 있어서, The method according to any one of claims 14, 15, 17 or 18,
    상기 제2 애플리케이션 처리 컴포넌트는 카메라 이미지 처리를 위한 하드와이어드 파이프라인 프로세서를 포함하는 것을 특징으로 하는 이미지 레코딩 방법. And the second application processing component comprises a hardwired pipeline processor for camera image processing.
  25. 삭제 delete
  26. 제14항에 있어서, The method of claim 14,
    상기 프로그램가능 하드웨어 가속장치는 카메라 이미지 처리를 위해 최적화된 SIMD 처리 가속장치인 것을 특징으로 하는 이미지 레코딩 방법. And said programmable hardware accelerator is a SIMD processing accelerator optimized for camera image processing.
  27. 휴대폰의 카메라 모듈에 있어서, In the camera module of the mobile phone,
    이미지를 포착하는 이미지 센서; 및 An image sensor for capturing an image; And
    상기 이미지 센서로부터의 출력을 수신하고 RAW 포맷의 디지털 데이터를, 상기 디지털 데이터를 이미지 처리하고 상기 휴대폰의 동작을 제어하도록 구성되며 프로그램가능 하드웨어 가속장치를 포함하는, 프로세서로 제공하는 아날로그-디지털 컨버터;를 포함하며, An analog-to-digital converter for receiving output from the image sensor and providing digital data in RAW format to the processor, the programmable digital accelerator configured to image the digital data and control the operation of the mobile phone; Including;
    상기 모듈은 이미지 처리 수단이 없는 것을 특징으로 하는 카메라 모듈. Said module having no image processing means.
KR1020057019324A 2005-10-11 2003-04-17 An mobile camera telephone, method of recording an image and a camera module KR100848589B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020057019324A KR100848589B1 (en) 2005-10-11 2003-04-17 An mobile camera telephone, method of recording an image and a camera module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020057019324A KR100848589B1 (en) 2005-10-11 2003-04-17 An mobile camera telephone, method of recording an image and a camera module

Publications (2)

Publication Number Publication Date
KR20050121718A KR20050121718A (en) 2005-12-27
KR100848589B1 true KR100848589B1 (en) 2008-07-28

Family

ID=37293763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057019324A KR100848589B1 (en) 2005-10-11 2003-04-17 An mobile camera telephone, method of recording an image and a camera module

Country Status (1)

Country Link
KR (1) KR100848589B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798360B2 (en) 2011-06-15 2014-08-05 Samsung Techwin Co., Ltd. Method for stitching image in digital image processing apparatus
KR101795531B1 (en) 2017-09-04 2017-11-10 (주)나오플러스 Reconfiguable system on chip
KR101795528B1 (en) * 2016-11-23 2017-11-10 (주)나오플러스 Reconfiguable system on chip
RU2696766C1 (en) * 2018-10-08 2019-08-06 Вячеслав Михайлович Смелков Method of controlling sensitivity of a television camera on a ccd matrix and reproducing its video signal in a mobile device in conditions of high illumination and / or complex brightness of objects
RU2699805C1 (en) * 2018-10-08 2019-09-11 Вячеслав Михайлович Смелков Method of controlling sensitivity of a television camera on a ccd matrix and reproducing its video signal in a mobile device in conditions of high illumination and/or complex brightness of objects

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306336B2 (en) 2006-05-17 2012-11-06 Qualcomm Incorporated Line or text-based image processing tools
KR102102177B1 (en) * 2013-09-03 2020-05-29 삼성전자 주식회사 Semiconductor device and method for operating the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001001675A2 (en) 1999-06-30 2001-01-04 Logitech, Inc. Video camera with major functions implemented in host software
WO2002047385A1 (en) * 2000-12-07 2002-06-13 Nokia Corporation Optimized camera sensor architecture for a mobile telephone
EP1215894A2 (en) * 2000-12-08 2002-06-19 Nokia Corporation Method and device for data transmission

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001001675A2 (en) 1999-06-30 2001-01-04 Logitech, Inc. Video camera with major functions implemented in host software
WO2002047385A1 (en) * 2000-12-07 2002-06-13 Nokia Corporation Optimized camera sensor architecture for a mobile telephone
EP1215894A2 (en) * 2000-12-08 2002-06-19 Nokia Corporation Method and device for data transmission

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798360B2 (en) 2011-06-15 2014-08-05 Samsung Techwin Co., Ltd. Method for stitching image in digital image processing apparatus
KR101795528B1 (en) * 2016-11-23 2017-11-10 (주)나오플러스 Reconfiguable system on chip
KR101795531B1 (en) 2017-09-04 2017-11-10 (주)나오플러스 Reconfiguable system on chip
RU2696766C1 (en) * 2018-10-08 2019-08-06 Вячеслав Михайлович Смелков Method of controlling sensitivity of a television camera on a ccd matrix and reproducing its video signal in a mobile device in conditions of high illumination and / or complex brightness of objects
RU2699805C1 (en) * 2018-10-08 2019-09-11 Вячеслав Михайлович Смелков Method of controlling sensitivity of a television camera on a ccd matrix and reproducing its video signal in a mobile device in conditions of high illumination and/or complex brightness of objects

Also Published As

Publication number Publication date
KR20050121718A (en) 2005-12-27

Similar Documents

Publication Publication Date Title
US8692896B2 (en) Image quality evaluation device, terminal device, image quality evaluation system, image quality evaluation method and computer-readable recording medium for storing programs
KR102128468B1 (en) Image Processing Device and Method including a plurality of image signal processors
US20150269717A1 (en) Scene adaptive brightness/contrast enhancement
US20150062386A1 (en) Imaging device and signal correcting method
JP3987788B2 (en) Digital camera system
US9432643B2 (en) Image processing device, image capture device, image processing method, and non-transitory computer-readable medium
CN100476568C (en) Camera module
CN101668123B (en) Pre- and post-shutter signal image capture and sort for digital camera
JP4907764B2 (en) Dual-mode digital camera for video and steel operation
US8564683B2 (en) Digital camera device providing improved methodology for rapidly taking successive pictures
JP3995595B2 (en) Optimized camera sensor structure for mobile phones
EP2533520B1 (en) Image sensor having HDR capture capability
US8212893B2 (en) Digital camera device and methodology for distributed processing and wireless transmission of digital images
US7369161B2 (en) Digital camera device providing improved methodology for rapidly taking successive pictures
US7372485B1 (en) Digital camera device and methodology for distributed processing and wireless transmission of digital images
US7973823B2 (en) Method and system for image pre-processing
US8478076B2 (en) Alignment of digital images and local motion detection for high dynamic range (HDR) imaging
KR100653965B1 (en) A 3d stereoscopic image processing device of portable telephone using the different camera sensor
US6985169B1 (en) Image capture system for mobile communications
US7388992B2 (en) Digital photographic device for controlling compression parameter of image data and method of deciding compression parameter value of image data
KR100656589B1 (en) Portable terminal capable of displaying and deleting division photograph pictures and method therof
US8154610B2 (en) Image sensor with built-in ISP and dual camera system
US8619866B2 (en) Reducing memory bandwidth for processing digital image data
CN103430532B (en) Produce method, equipment and the system of scaled image
US20040150723A1 (en) Apparatus and method for displaying pictures in a mobile terminal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee