KR20050121718A - An improved mobile camera telephone - Google Patents

An improved mobile camera telephone Download PDF

Info

Publication number
KR20050121718A
KR20050121718A KR1020057019324A KR20057019324A KR20050121718A KR 20050121718 A KR20050121718 A KR 20050121718A KR 1020057019324 A KR1020057019324 A KR 1020057019324A KR 20057019324 A KR20057019324 A KR 20057019324A KR 20050121718 A KR20050121718 A KR 20050121718A
Authority
KR
South Korea
Prior art keywords
camera
image
application processor
digital data
image processing
Prior art date
Application number
KR1020057019324A
Other languages
Korean (ko)
Other versions
KR100848589B1 (en
Inventor
아미트 두타
카즈노부 신
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Priority to KR1020057019324A priority Critical patent/KR100848589B1/en
Publication of KR20050121718A publication Critical patent/KR20050121718A/en
Application granted granted Critical
Publication of KR100848589B1 publication Critical patent/KR100848589B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

a camera module far capturing an image and providing digital data in an RGB format; arid an application processor including a CPU for controlling the operation of the telephone and hardware arranged to perform camera image processing on the digital data in RGB format received from the camera module. A method of recording an image using a mobile camera telephone comprising the steps of capturing an image in a first comer's component of the mobile camera telephone sending digital data in an RGB format from the first component to a second application processing component of the mobile camera telephone; and, in the application processing component, bath image processing the digital data in RGB format to produce an image for viewing and controlling the storage of that image in the telephone.

Description

개선된 휴대용 카메라폰{An improved mobile camera telephone}An improved mobile camera telephone

본 발명의 실시예들은 휴대용 카메라폰들에 관한 것이다. 휴대용 카메라폰이란 디지털 카메라로도 동작 가능하고 무선 이동통신 장치로도 동작 가능한 휴대용 장치를 말한다.Embodiments of the present invention relate to portable camera phones. A portable camera phone is a portable device that can operate as a digital camera and can also operate as a wireless mobile communication device.

도 1은 종래의 휴대용 카메라폰(10)의 개략적인 예시도이다. 종래의 휴대용 카메라폰(10)은 개별 컴포넌트들로서, 광학기기-이미지센서(optics and image sensor)(12), 카메라 코프로세서(14) 및 애플리케이션 프로세서(16)를 포함한다. 광학기기-이미지센서(12)는 이미지를 포착하고 그 이미지를 나타내는 디지털 출력(11)을 발생시킨다. 상기 카메라 코프로세서(14)는 이미지 데이터(13)를 생성하기 위해 특별히 최적화된 이미지처리 하드웨어 가속장치를 사용하여 디지털 데이터(11)를 처리하는 단일의 칩이다. 상기 애플리케이션 프로세서(16)는 종래 휴대용 카메라폰의 중앙처리장치(CPU)이다. 이는 종래 휴대용 카메라폰의 동작과, 특히, 종래 카메라 휴대폰에서 제공되는 사용자 애플리케이션, 입력 및 출력을 제어한다. 예를 들어, 상기 애플리케이션 프로세서(16)는 SDRAM(2) 및 멀티미디어 메모리 카드(4)와 같은 메모리 장치들을 제어하며 그곳에 이미지 데이터(13)를 저장할 수 있다. 상기 애플리케이션 프로세서(16)는 종래 휴대용 카메라폰(10)을 통해 이루어지는 원격통신의 처리에 사용할 수 있는 디지털 베이스밴드 회로(digital baseband circuitry; DSP; 6)를 제어할 수 있다. 다른 구현예들에서, 상기 휴대용 카메라폰(10)은 상기 디지털 베이스밴드 회로(6)를 제어하는데 전용으로 사용되는 부가적인 프로세서를 갖는다.1 is a schematic illustration of a conventional portable camera phone 10. The conventional portable camera phone 10 includes, as separate components, an optics and image sensor 12, a camera coprocessor 14 and an application processor 16. Optics-image sensor 12 captures an image and generates a digital output 11 representing the image. The camera coprocessor 14 is a single chip that processes the digital data 11 using an image processing hardware accelerator specially optimized for generating the image data 13. The application processor 16 is a central processing unit (CPU) of a conventional portable camera phone. This controls the operation of conventional portable camera phones and, in particular, the user applications, inputs and outputs provided in conventional camera phones. For example, the application processor 16 controls memory devices such as SDRAM 2 and multimedia memory card 4 and can store image data 13 therein. The application processor 16 can control digital baseband circuitry (DSP) 6 which can be used for the processing of telecommunications made via conventional portable camera phones 10. In other implementations, the portable camera phone 10 has an additional processor dedicated to controlling the digital baseband circuit 6.

휴대폰 기능들 및 휴대용 카메라 기능들은 개별 컴포넌트들에 의해 수행된다. 상기 광학기기-이미지센서(12) 및 카메라 코프로세서 칩(14)은 휴대용 카메라 기능들을 제공하며 상기 휴대용 카메라폰(10) 본체에 통합하기 위해서 단일의 모듈 또는 칩으로 공급하는 것이 가능하다. 상기 애플리케이션 프로세서(16)는 휴대폰 기능들을 제공하는 또 다른 모듈 또는 칩이며, 이미지 저장 및 재생 기능들을 제공할 수 있다.Cell phone functions and portable camera functions are performed by separate components. The optics-image sensor 12 and camera coprocessor chip 14 provide portable camera functions and can be supplied as a single module or chip for integration into the portable camera phone 10 body. The application processor 16 is another module or chip that provides cellular phone functions and may provide image storage and playback functions.

휴대용 카메라폰의 구조를 개선하는 것이 바람직하다 할 것이다.It would be desirable to improve the structure of a portable camera phone.

도 1은 종래의 휴대용 카메라폰(10)의 개략적인 예시도이다.1 is a schematic illustration of a conventional portable camera phone 10.

도 2 및 도 3은 본 발명의 제1실시예에 따른 휴대용 카메라폰(20)의 개략적인 예시도들이다.2 and 3 are schematic diagrams of a portable camera phone 20 according to a first embodiment of the present invention.

도 4는 본 발명의 변형 실시예를 보여주는 도면이다.4 is a view showing a modified embodiment of the present invention.

도 5는 본 발명의 다른 변형 실시예를 보여주는 도면이다.5 is a view showing another modified embodiment of the present invention.

본 발명의 일 실시태양에 따르면, 이미지를 포착하여 RAW 포맷으로 디지털 데이터를 제공하는 카메라 모듈; 및 휴대용 카메라폰의 동작을 제어하는 CPU 및 상기 카메라 모듈로부터 수신되는 RAW 포맷의 디지털 데이터에 대한 카메라 이미지 처리를 수행하도록 구성되는 하드웨어를 지니는 애플리케이션 프로세서를 포함하는 휴대용 카메라폰이 제공된다.According to one embodiment of the present invention, a camera module for capturing an image and providing digital data in a RAW format; And an application processor having a CPU controlling the operation of the portable camera phone and hardware configured to perform camera image processing on the digital data in RAW format received from the camera module.

본 발명의 다른 실시태양에 따르면, 휴대용 카메라폰의 제1의 카메라 컴포넌트에서 이미지를 포착하는 단계; 상기 휴대용 카메라폰의 제1의 카메라 컴포넌트로부터 상기 휴대용 카메라폰의 제2의 애플리케이션 처리 컴포넌트로 RAW 포맷의 디지털 데이터를 송신하는 단계; 및 상기 제2의 애플리케이션 컴포넌트 내에서, 시각화 이미지를 생성하기 위한 RAW 포맷의 디지털 데이터의 이미지 처리를 수행할 뿐만 아니라 또한 상기 휴대용 카메라폰 내의 그 이미지의 저장을 제어하는 단계를 포함하는 휴대용 카메라폰을 사용하는 이미지 레코딩방법을 제공한다.According to another embodiment of the present invention, there is provided a method of capturing an image at a first camera component of a portable camera phone; Transmitting digital data in RAW format from a first camera component of the portable camera phone to a second application processing component of the portable camera phone; And in the second application component, performing image processing of digital data in RAW format for generating a visualization image, as well as controlling the storage of that image in the portable camera phone. Provides an image recording method for use.

"RAW" 포맷이란 CMOS센서 또는 CCD센서와 같은 이미지센서로부터 출력되는 아날로그 데이터를 디지털화함으로써 얻어지는 데이터 포맷을 의미한다.The "RAW" format refers to a data format obtained by digitizing analog data output from an image sensor such as a CMOS sensor or a CCD sensor.

시각화 또는 저장을 위한 이미지는 전형적으로 RGB포맷, YUV포맷, 또는 JPEG이나 TIFF와 같은 압축된 포맷을 취한다.Images for visualization or storage typically take the RGB format, YUV format, or compressed formats such as JPEG or TIFF.

그 결과 본 발명의 실시예들에 의하면 카메라 모듈들의 컴포넌트들의 수가 감소하게 된다. 상기 선행기술에 있어서의 상기 카메라 모듈의 이미징 코프로세서의 기능들은 하드웨어나 소프트웨어로서 상기 애플리케이션 프로세서에 통합된다. 결과적으로 상기 카메라 모듈의 크기와 비용은 감소하게 된다.As a result, according to embodiments of the present invention, the number of components of the camera modules is reduced. The functions of the imaging coprocessor of the camera module in the prior art are integrated into the application processor as hardware or software. As a result, the size and cost of the camera module is reduced.

본 발명의 몇몇 실시예들에 따르면 상기 카메라 모듈은 상기 제공된 디지털 데이터의 크기를 축소하는 축소수단을 포함한다. 이는 상기 카메라 모듈과 상기 애플리케이션 프로세서 사이에서 값비싼 광대역폭 인터페이스의 사용을 불필요하게 한다.According to some embodiments of the present invention, the camera module includes reduction means for reducing the size of the provided digital data. This eliminates the use of an expensive wide bandwidth interface between the camera module and the application processor.

이하, 본 발명의 이해를 돕고자 단지 일례로서 첨부된 도면들을 참조할 것이다.Hereinafter, reference will be made to the accompanying drawings as an example only to assist in understanding the present invention.

도 2 내지 도 5에는 휴대용 카메라폰(20)이 예시되어 있으며, 상기 휴대용 카메라폰(20)은 이미지를 포착하여 RAW 포맷으로 디지털 데이터(11)를 제공하는 카메라 모듈(28); 및 상기 휴대용 카메라폰의 동작을 제어하는 CPU(26a) 및 상기 카메라 모듈로부터 수신되는 RAW 포맷의 디지털 데이터에 대한 카메라 이미지 처리를 수행하여 디지털 디스플레이(digital display) 상에서 시각화하기에 적합한 이미지 데이터(13)를 생성하기 위해 구성되는 하드웨어를 지니는 애플리케이션 프로세서(26)를 포함한다.2 to 5 illustrate a portable camera phone 20, which comprises: a camera module 28 for capturing an image and providing digital data 11 in RAW format; And CPU 26a for controlling the operation of the portable camera phone and image data 13 suitable for visualization on a digital display by performing camera image processing on digital data in RAW format received from the camera module. And an application processor 26 having hardware configured to create the PDU.

상기 이미지 데이터(13)는 상기 CPU(26a)의 제어에 의해 저장된다.The image data 13 is stored under the control of the CPU 26a.

RAW 포맷이란 CMOS센서 또는 CCD센서와 같은 이미지센서로부터 출력되는 아날로그 데이터를 디지털화함으로써 얻어지는 데이터 포맷을 의미한다.The RAW format refers to a data format obtained by digitizing analog data output from an image sensor such as a CMOS sensor or a CCD sensor.

시각화 또는 저장을 위한 데이터 이미지는 RGB 포맷, YUV 포맷, 또는 JPEG나 TIFF 포맷과 같은 압축된 포맷을 취할 수 있다.The data image for visualization or storage can take the RGB format, the YUV format, or a compressed format such as JPEG or TIFF format.

도 2 및 도 3은 본 발명의 제1실시예에 따른 휴대용 카메라폰의 개략적인 예시도들이다. 상기 휴대용 카메라폰(20)은, 개별 컴포넌트들로서, 광학기기-이미지센서(12) 및 애플리케이션 프로세서(26)를 포함한다. 상기 애플리케이션 프로세서(26)는 단일의 칩이다. 이는 상기 휴대용 카메라폰(20)의 CPU로서 동작하는 CPU부(26a), 카메라 이미지 프로세서로서 동작하는 카메라 이미지 처리부(26b), 및 저장장치인 SDRAM(2)과 메모리카드(4)를 위한 인터페이스들(26c)을 갖추고 있다. 애플리케이션 프로세서(26)는 시스템온칩(system on a chip; SOC)일 수 있다.2 and 3 are schematic diagrams of a portable camera phone according to a first embodiment of the present invention. The portable camera phone 20 comprises, as separate components, an optics-image sensor 12 and an application processor 26. The application processor 26 is a single chip. This includes the CPU unit 26a operating as the CPU of the portable camera phone 20, the camera image processing unit 26b operating as the camera image processor, and the interfaces for the SDRAM 2 and the memory card 4 as storage devices. (26c) The application processor 26 may be a system on a chip (SOC).

상기 광학기기-이미지센서(12)는 카메라 모듈(28)의 일부이다. 상기 광학기기-이미지센서(12)는 렌즈(12a), 이미지센서부(12b) 및 아날로그-디지털 컨버터(ADC)부(12c)를 포함한다. 이는 이미지를 포착하고 그 이미지를 나타내는 디지털 출력(11)을 발생시킨다. 상기 디지털 출력(11)은 베이어 데이터(Bayer data)이며, 이는 상기 이미지센서(12)에서 사용되는 컬러 필터에 상응하는 RGB 컬러 데이터이다. 상기 'raw'디지털 출력(11)은 상기 카메라 모듈(28)과 애플리케이션 프로세서(26) 사이의 인터페이스(27)를 통과한다.The optics-image sensor 12 is part of the camera module 28. The optics-image sensor 12 includes a lens 12a, an image sensor portion 12b and an analog-digital converter (ADC) portion 12c. This captures an image and generates a digital output 11 representing the image. The digital output 11 is Bayer data, which is RGB color data corresponding to the color filter used in the image sensor 12. The 'raw' digital output 11 passes through an interface 27 between the camera module 28 and the application processor 26.

상기 애플리케이션 프로세서(26)는 이미지 데이터(13)를 발생시키기 위해 상기 카메라 이미지 처리부(26b)가 제공하는 특수한 이미지 처리능력을 사용하여 디지털 데이터(11)를 처리한다. 상기 애플리케이션 프로세서(26)는 상기 휴대용 카메라폰의 중앙처리장치(CPU)부(26a)를 포함하고, 이는 상기 휴대용 카메라폰의 동작들과 특히, 상기 휴대용 카메라폰 상에서 제공되는 애플리케이션들, 입력 및 출력을 제어한다. 예를 들어, 상기 애플리케이션 프로세서(26)는 SDRAM(2) 및 멀티미디어 메모리 카드(4)와 같은 메모리 장치들을 제어하며, 그곳에 이미지 데이터(13)를 저장할 수 있다. 또한, 이는 종래 휴대용 카메라폰(10)을 통해 이루어지는 원격통신의 처리에 사용할 수 있는 디지털 베이스밴드 회로(6)를 제어하기도 한다.The application processor 26 processes the digital data 11 using the special image processing capability provided by the camera image processing unit 26b to generate the image data 13. The application processor 26 comprises a central processing unit (CPU) portion 26a of the portable camera phone, which acts on the portable camera phone and in particular, the applications, inputs and outputs provided on the portable camera phone. To control. For example, the application processor 26 controls memory devices such as the SDRAM 2 and the multimedia memory card 4, and may store the image data 13 therein. It also controls the digital baseband circuit 6 that can be used for the processing of telecommunications made through conventional portable camera phones 10.

휴대폰 기능들 및 휴대용 카메라 기능들은 동일한 컴포넌트인, 상기 카메라 이미지 처리부(26b)가 내재하는 상기 애플리케이션 프로세서(26)에 의해 실질적으로 수행된다. (다른 실시예에서 상기 휴대폰의 일부 기능들은 다른 프로세서에 의해 수행될 수 있다.) 상기 광학기기-이미지센서(12)는 상기 휴대용 카메라폰(20)의 본체에 통합하기 위해 간단하면서도 작고 저렴한 모듈(28)로서 제공된다. 이 실시예에서 상기 광학기기-이미지센서(12)는 휴대용 카메라 이미지 포착기능 및 A/D 변환기능들을 제공하나, 디스플레이에서의 시각화 또는 메모리 내의 저장을 위한 최종 이미지 데이터를 구성하는 추가적인 이미지 처리 기능들을 제공하지는 않는다. 상기 애플리케이션 프로세서(26)는 휴대용 카메라 데이터 처리 기능들 및 휴대폰 제어 기능들을 제공한다.Mobile phone functions and portable camera functions are substantially performed by the application processor 26 inherent in the camera image processor 26b, which is the same component. (In other embodiments, some of the functions of the mobile phone may be performed by other processors.) The optics-image sensor 12 is a simple, small and inexpensive module for integrating into the body of the portable camera phone 20. 28). In this embodiment the optics-image sensor 12 provides portable camera image capture and A / D conversion functions, but additional image processing functions that constitute the final image data for visualization on a display or storage in memory. It does not provide. The application processor 26 provides portable camera data processing functions and mobile phone control functions.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리 기능은 상기 애플리케이션 프로세서(26) 내에서 상기 CPU 프로세서와는 다른 전용 하드와이어드 파이프라인 프로세서(pipeline processor) 또는 상기 CPU 프로세서의 확장이라 할 수 있는 전용 프로그램가능 하드웨어 가속장치에 의해 제공된다. 프로그램가능 하드웨어 가속장치의 장점은 프로그래밍에 의해 상이한 이미지센서 모듈들(28)을 동작시키기에 적합할 수 있다는 점이다. 프로그램가능 하드웨어 가속장치의 하나의 유형은 카메라 이미지 처리를 위해 최적화된 SIMD(single instruction multiple data) 처리 가속장치이다.The camera image processing function of the application processor 26 may be a dedicated hardwired pipeline processor or extension of the CPU processor that is different from the CPU processor in the application processor 26. Provided by the accelerator. An advantage of the programmable hardware accelerator is that it may be suitable for operating different image sensor modules 28 by programming. One type of programmable hardware accelerator is a single instruction multiple data (SIMD) processing accelerator optimized for camera image processing.

상기 이미지 처리는: 결점 보정(defect correction), 이득 제어(gain control), 블랙 레벨 오프셋 매칭(black level offset matching), 화이트 발란싱(white balancing), 감마 제어(gamma control), CFA 보간(CFA interpolation)과 색 공간 변환(color space conversion), 경계 강조(edge enhancement) 및 데이터 압축(data compression) 동작들을 포함할 수 있다. 상기 동작들은 상기 순서대로 수행될 필요는 없다.The image processing includes: defect correction, gain control, black level offset matching, white balancing, gamma control, CFA interpolation And color space conversion, edge enhancement, and data compression operations. The operations need not be performed in this order.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)는 상기 CPU부(26a) 및/또는 상기 디지털 베이스밴드 회로(DSP)(6)를 상기 이미지 처리 동작들에 관련시킬 수 있다.The camera image processing unit 26b of the application processor 26 may associate the CPU unit 26a and / or the digital baseband circuitry (DSP) 6 with the image processing operations.

도 4는 본 발명의 변형 실시예를 보여주는 도면이다. 상기 인터페이스(27)의 대역폭을 좁히기 위하여, 인터페이스(27)를 통해 전송하기 전에 상기 디지털 데이터(11)의 크기를 축소한다. 도 4의 실시예에서, 상기 디지털 데이터(11)는 상기 인터페이스(27)를 통과할 때 상기 ADC(12c)의 출력에서, 10비트로부터 8비트로 비트-깊이(bit depth)가 축소된다. 이 실시예에서 상기 비트축소는 감마보정부(30)에 의해 감마보정의 일부로서 수행된다. 감마보정의 이미지 처리 기능은 상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)를 대신하여 상기 카메라 모듈(28)에서 감마보정부(30)에 의해 수행된다.4 is a view showing a modified embodiment of the present invention. In order to narrow the bandwidth of the interface 27, the size of the digital data 11 is reduced before transmitting over the interface 27. In the embodiment of FIG. 4, the bit data is reduced from 10 bits to 8 bits at the output of the ADC 12c as the digital data 11 passes through the interface 27. In this embodiment, the bit reduction is performed by the gamma correction unit 30 as part of gamma correction. An image processing function of gamma correction is performed by the gamma correction unit 30 in the camera module 28 in place of the camera image processing unit 26b of the application processor 26.

상기 모듈(28)은 일부 제한된 이미지 처리를 수행하나, 이미지 처리의 대부분은 상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)에 의해 수행된다. 상기 모듈(28)은 간단하면서도 작고 저렴한 모듈로서 남게 되어 상기 휴대용 카메라폰(20)의 본체에 쉽게 통합된다. 상기 모듈(28)은 휴대용 카메라 이미지 포착 기능들, A/D 변환, 데이터 대역폭 축소 기능들을 제공하며, 일부 제한된 이미지 처리 기능들(감마보정)을 제공할 수 있다. 상기 애플리케이션 프로세서(26)는 휴대폰 제어 기능들 및 최종 이미지 데이터 구성을 위한 카메라 데이터 처리 기능들의 대부분을 제공한다. 그리고, 이 실시예에서 인터페이스(27)의 대역폭을 도 3에서 예시한 앞선 실시예의 경우보다 좁힐 수 있다.The module 28 performs some limited image processing, but most of the image processing is performed by the camera image processing unit 26b of the application processor 26. The module 28 remains as a simple, small and inexpensive module that is easily integrated into the body of the portable camera phone 20. The module 28 provides portable camera image capture functions, A / D conversion, data bandwidth reduction functions, and may provide some limited image processing functions (gamma correction). The application processor 26 provides most of the mobile phone control functions and camera data processing functions for final image data construction. In this embodiment, the bandwidth of the interface 27 can be narrowed than in the case of the previous embodiment illustrated in FIG. 3.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리 기능은 애플리케이션 프로세서 내에서 상기 CPU 프로세서와는 다른 전용 하드와이어드 파이프라인 프로세서 또는 상기 CPU 프로세서의 확장이라 할 수 있는 전용 프로그램가능 하드웨어 가속장치에 의해 제공될 수 있다.The camera image processing function of the application processor 26 may be provided by a dedicated hardwired pipeline processor that is different from the CPU processor in the application processor or by a dedicated programmable hardware accelerator, which may be referred to as an extension of the CPU processor. .

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)는 상기 CPU부(26a) 및/또는 상기 DSP(6)를 상기 이미지 처리 동작들에 관련시킬 수 있다.The camera image processing unit 26b of the application processor 26 may associate the CPU unit 26a and / or the DSP 6 with the image processing operations.

도 5는 도 4를 참조하여 설명한 본 발명의 다른 변형 실시예를 보여주는 도면이다. 상기 디지털 데이터(11)는 상기 인터페이스(27)를 통해 송신하기 전에 무손실 압축부(32)를 통해 손실 없이 압축된다. 도 5의 실시예에서, 디지털 데이터는 우선 상기 ADC(12c)의 출력에서, 감마보정부(30)에 의해 10비트로부터 8비트로 비트-깊이가 축소된다. 그리고 나서 감마보정된 디지털 데이터는 디지털 데이터(11)로서 상기 인터페이스(27)를 통해 송신하기 전에 압축부(32)에 의해 손실 없이 압축된다. 이 실시예에서, 인터페이스(27)의 대역폭을 도 4에서 예시한 실시예의 경우보다 좁힐 수 있다.5 is a view showing another modified embodiment of the present invention described with reference to FIG. The digital data 11 is compressed losslessly through the lossless compression section 32 before transmitting via the interface 27. In the embodiment of FIG. 5, the digital data is first reduced at the output of the ADC 12c by the gamma correction unit 30 from 10 bits to 8 bits. The gamma corrected digital data is then compressed without loss by the compression section 32 before transmitting over the interface 27 as digital data 11. In this embodiment, the bandwidth of the interface 27 can be narrower than in the embodiment illustrated in FIG.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)에 의해 수행되는 카메라 이미지 처리는 이미지 처리가 행해지기 전에 상기 인터페이스(27)에서 압축해제(decompression)부(34)에 의해 손실 없이 압축을 해제하는 단계를 부가적으로 포함한다.Camera image processing performed by the camera image processing unit 26b of the application processor 26 decompresses without loss by the decompression unit 34 at the interface 27 before image processing is performed. It additionally includes a step.

상기 모듈(28)은 데이터 압축을 수행하며 또한 일부 제한된 이미지 처리를 수행할 수도 있으나, 대부분의 이미지 처리는 상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)에 의해 수행된다. 상기 모듈(28)은 간단하면서도 작고 저렴한 모듈로서 남게 되어 상기 휴대용 카메라폰의 본체에 쉽게 통합된다. 상기 모듈(28)은 휴대용 카메라 이미지 포착 기능들, 무손실 압축에 의한 데이터 대역폭 축소 기능을 제공할 수 있으며, 또한 일부 제한된 이미지 처리 기능들(감마보정)을 제공할 수 있다. 상기 애플리케이션 프로세서(26)는 무손실 압축해제 기능을 제공하며 적어도 대부분의 휴대용 카메라 데이터 처리 기능들 및 휴대폰 제어 기능들을 제공한다.The module 28 performs data compression and may also perform some limited image processing, but most of the image processing is performed by the camera image processing unit 26b of the application processor 26. The module 28 remains as a simple, small and inexpensive module that is easily integrated into the body of the portable camera phone. The module 28 may provide portable camera image capture functions, data bandwidth reduction by lossless compression, and may also provide some limited image processing functions (gamma correction). The application processor 26 provides a lossless decompression function and provides at least most portable camera data processing functions and mobile phone control functions.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리 기능은 상기 애플리케이션 프로세서(26) 내에서 상기 CPU 프로세서와는 다른 전용 하드와이어드 파이프라인 프로세서 또는 상기 CPU 프로세서의 확장이라 할 수 있는 전용 프로그램가능 하드웨어 가속장치에 의해 제공될 수 있다.The camera image processing function of the application processor 26 is provided by a dedicated hardwired pipeline processor, which is different from the CPU processor in the application processor 26, or by a dedicated programmable hardware accelerator, which may be referred to as an extension of the CPU processor. Can be provided.

상기 애플리케이션 프로세서(26)의 카메라 이미지 처리부(26b)는 상기 CPU부(26a) 및/또는 상기 DSP(6)를 상기 이미지 처리 동작들에 관련시킬 수 있다.The camera image processing unit 26b of the application processor 26 may associate the CPU unit 26a and / or the DSP 6 with the image processing operations.

상기 모듈은 상기 휴대용 카메라폰의 본체에 통합되거나 또는 상기 휴대용 카메라폰의 본체에 사용자에 의한 장착/분리가 가능하다.The module may be integrated into the main body of the portable camera phone or may be mounted / removed by the user on the main body of the portable camera phone.

지금까지 앞선 단락들에서 본 발명의 실시예들을 다양한 예들을 참조하여 설명하였으나, 본 발명의 사상 또는 범위를 벗어나지 않고 상기 주어진 예들의 변형예들이 구현될 수 있음을 인식하여야 할 것이다.While embodiments of the present invention have been described with reference to various examples in the foregoing paragraphs, it will be appreciated that variations of the examples given above may be implemented without departing from the spirit or scope of the invention.

본 명세서에서 특히 중요한 것으로 여겨지는 본 발명의 그러한 특징들에 대해 주의를 환기시키려고 노력하였지만 본 출원인이 지금까지 도면들을 참조 및/또는 도면에서 예시한 어떤 특허성 있는 특징이나 특징들의 결합에 관하여 그것에 대해 특별히 강조를 하였든 하지않았든 간에 보호를 주장하고 있는 것으로 해석하여야 할 것이다.Although efforts have been made to draw attention to those features of the invention that are considered to be particularly important herein, the Applicant has so far referred to them with respect to any patentable feature or combination of features exemplified by reference to and / or illustrated in the figures. It should be interpreted as claiming protection, with or without special emphasis.

Claims (14)

휴대용 카메라폰에 있어서,In a portable camera phone, 이미지를 포착하여 RAW 포맷으로 디지털 데이터를 제공하는 카메라 모듈; 및A camera module for capturing an image and providing digital data in a RAW format; And 상기 휴대용 카메라폰의 동작을 제어하는 CPU 및 상기 카메라 모듈로부터 수신되는 RAW 포맷의 디지털 데이터에 대해 카메라 이미지 처리를 수행하도록 구성되는 하드웨어를 지니는 애플리케이션 프로세서를 포함하는 것을 특징으로 하는 휴대용 카메라폰.And an application processor having a CPU controlling the operation of the portable camera phone and hardware configured to perform camera image processing on the digital data in RAW format received from the camera module. 제1항에 있어서,The method of claim 1, 상기 카메라 모듈은 광학기기, 이미지센서 및 아날로그-디지털 컨버터만을 포함하고, 이미지 처리 수단이 없는 것을 특징으로 하는 휴대용 카메라폰.The camera module includes only an optical device, an image sensor, and an analog-to-digital converter, and has no image processing means. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2, 상기 디지털 데이터는 이미지센서의 디지털화된 출력인 것을 특징으로 하는 휴대용 카메라폰.The digital data is a portable camera phone, characterized in that the digitized output of the image sensor. 제1항에 있어서,The method of claim 1, 상기 카메라 모듈은 상기 제공된 디지털 데이터의 크기를 축소하는 축소수단을 포함하는 것을 특징으로 하는 휴대용 카메라폰.The camera module comprises a reduction means for reducing the size of the provided digital data. 제4항에 있어서,The method of claim 4, wherein 상기 축소수단은 비트-깊이 축소(bit depth reduction)를 수반하는 것을 특징으로 하는 휴대용 카메라폰.And said reducing means is accompanied by bit depth reduction. 제4항 또는 제5항에 있어서,The method according to claim 4 or 5, 상기 축소수단은 무손실 압축을 수반하고 또한 상기 애플리케이션 프로세서는 이미지 처리 전의 무손실 압축해제 수단을 포함하는 것을 특징으로 하는 휴대용 카메라폰.And said reduction means comprises lossless compression and said application processor comprises lossless decompression means prior to image processing. 제1항 및 제4항 내지 제6항 중 어느 한 항에 있어서,The method according to any one of claims 1 and 4 to 6, 상기 카메라 모듈은 소정의 제한된 이미지 처리 수단을 더 포함하는 것을 특징으로 하는 휴대용 카메라폰.The camera module further comprises a predetermined limited image processing means. 제1항 및 제4항 내지 제7항 중 어느 한 항에 있어서,The method according to any one of claims 1 and 4 to 7, 상기 카메라 모듈은 상기 디지털 데이터를 상기 애플리케이션 프로세서에 제공하기 전에 감마보정하는 감마보정 수단을 더 포함하는 것을 특징으로 하는 휴대용 카메라폰.The camera module further comprises a gamma correction means for gamma correction before providing the digital data to the application processor. 제1항 및 제4항 내지 제8항 중 어느 한 항에 있어서,The method according to any one of claims 1 and 4 to 8, 상기 애플리케이션 프로세서는 감마보정을 제외한 카메라 이미지 처리를 수행하는 것을 특징으로 하는 휴대용 카메라폰.The application processor performs a camera image processing except gamma correction. 제1항 및 제4항 내지 제6항 중 어느 한 항에 있어서,The method according to any one of claims 1 and 4 to 6, 상기 애플리케이션 프로세서는 시스템온칩인 것을 특징으로 하는 휴대용 카메라폰.The application processor is a portable camera phone, characterized in that the system on a chip. 제1항 내지 제10항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 10, 상기 애플리케이션 프로세서는 카메라 이미지 처리를 위한 하드와이어드 파이프라인 프로세서를 포함하는 것을 특징으로 하는 휴대용 카메라폰.And said application processor comprises a hardwired pipeline processor for processing camera images. 제1항 내지 제11항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 11, 상기 애플리케이션 프로세서는 프로그램가능 하드웨어 가속장치를 포함하는 것을 특징으로 하는 휴대용 카메라폰.And said application processor comprises a programmable hardware accelerator. 제12항에 있어서,The method of claim 12, 상기 프로그램가능 하드웨어 가속장치는 카메라 이미지 처리를 위해 최적화된 SIMD 처리 가속장치인 것을 특징으로 하는 휴대용 카메라폰.And said programmable hardware accelerator is a SIMD processing accelerator optimized for camera image processing. 휴대용 카메라폰을 사용하는 이미지 레코딩방법에 있어서,In the image recording method using a portable camera phone, 상기 휴대용 카메라폰의 제1의 카메라 컴포넌트에서 이미지를 포착하여 상기 제1의 카메라 컴포넌트로부터 상기 휴대용 카메라폰의 제2의 애플리케이션 처리 컴포넌트로 RAW 포맷의 디지털 데이터를 송신하는 단계; 및Capturing an image at a first camera component of the portable camera phone and transmitting digital data in RAW format from the first camera component to a second application processing component of the portable camera phone; And 상기 제2의 애플리케이션 프로세싱 컴포넌트 내에서, 시각화 이미지를 생성하기 위한 상기 RAW 포맷의 디지털 데이터의 이미지 처리를 수행할 뿐만 아니라 상기 휴대용 카메라폰 내의 그 이미지의 저장을 제어하는 단계를 포함하는 것을 특징으로 하는 휴대용 카메라폰을 사용하는 이미지 레코딩방법.Within the second application processing component, performing image processing of the digital data in the RAW format to generate a visualization image as well as controlling the storage of that image in the portable camera phone. Image recording method using a portable camera phone.
KR1020057019324A 2005-10-11 2003-04-17 An mobile camera telephone, method of recording an image and a camera module KR100848589B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020057019324A KR100848589B1 (en) 2005-10-11 2003-04-17 An mobile camera telephone, method of recording an image and a camera module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020057019324A KR100848589B1 (en) 2005-10-11 2003-04-17 An mobile camera telephone, method of recording an image and a camera module

Publications (2)

Publication Number Publication Date
KR20050121718A true KR20050121718A (en) 2005-12-27
KR100848589B1 KR100848589B1 (en) 2008-07-28

Family

ID=37293763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057019324A KR100848589B1 (en) 2005-10-11 2003-04-17 An mobile camera telephone, method of recording an image and a camera module

Country Status (1)

Country Link
KR (1) KR100848589B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306336B2 (en) 2006-05-17 2012-11-06 Qualcomm Incorporated Line or text-based image processing tools
KR20150026530A (en) * 2013-09-03 2015-03-11 삼성전자주식회사 Semiconductor device and method for operating the same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279576B1 (en) 2011-06-15 2013-06-27 삼성테크윈 주식회사 Method for generating panorama image within digital image processing apparatus
KR101795528B1 (en) * 2016-11-23 2017-11-10 (주)나오플러스 Reconfiguable system on chip
KR101795531B1 (en) 2017-09-04 2017-11-10 (주)나오플러스 Reconfiguable system on chip
RU2696766C1 (en) * 2018-10-08 2019-08-06 Вячеслав Михайлович Смелков Method of controlling sensitivity of a television camera on a ccd matrix and reproducing its video signal in a mobile device in conditions of high illumination and / or complex brightness of objects
RU2699805C1 (en) * 2018-10-08 2019-09-11 Вячеслав Михайлович Смелков Method of controlling sensitivity of a television camera on a ccd matrix and reproducing its video signal in a mobile device in conditions of high illumination and/or complex brightness of objects

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2567940Y (en) 1999-06-30 2003-08-20 罗技电子股份有限公司 Camera equipment
US6895256B2 (en) * 2000-12-07 2005-05-17 Nokia Mobile Phones Ltd. Optimized camera sensor architecture for a mobile telephone
FI109391B (en) * 2000-12-08 2002-07-15 Nokia Corp Method and device for data transmission

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306336B2 (en) 2006-05-17 2012-11-06 Qualcomm Incorporated Line or text-based image processing tools
KR20150026530A (en) * 2013-09-03 2015-03-11 삼성전자주식회사 Semiconductor device and method for operating the same

Also Published As

Publication number Publication date
KR100848589B1 (en) 2008-07-28

Similar Documents

Publication Publication Date Title
US20060221230A1 (en) Mobile camera telephone
JP6803982B2 (en) Optical imaging method and equipment
CN107431770B (en) Method, system, device and medium for adaptive linear luma domain video pipeline architecture
US20070285550A1 (en) Method and apparatus for taking images using mobile communication terminal with plurality of camera lenses
US7821548B2 (en) Temporal image buffer for image processor using compressed raw image
US10516860B2 (en) Image processing method, storage medium, and terminal
US20060126954A1 (en) Image compression apparatus and method capable of varying quantization parameter according to image complexity
KR20090015402A (en) Image processing device for reducing jpeg(joint photographic coding experts group) capture time and method of capturing jpeg in the same device
JP4460447B2 (en) Information terminal
KR100848589B1 (en) An mobile camera telephone, method of recording an image and a camera module
KR20140106221A (en) Photographing method and apparatus using multiple image sensors
US7813015B2 (en) Image processor of imaging apparatus
CN114298889A (en) Image processing circuit and image processing method
US7746390B2 (en) Method and device for processing pixel array data of mobile terminal equipped with digital camera function
KR100815121B1 (en) Method for magnifying of selected area using screen division in portable communication terminal
KR101046111B1 (en) Image capture method
US8390664B2 (en) Hand-held electrical communication device and image processing method thereof
KR101276874B1 (en) Mobile communication terminal having a camera and method of controlling the same
JP2004200756A (en) Portable telephone
CN118175441A (en) Image sensor, image processing method, electronic device, storage medium, and product
KR100824582B1 (en) Apparatus and method for compensationing dual camera's clock level in porterble terminal
KR100765730B1 (en) Camera phone of performing auto-stabilization and method for operating the same
KR100693661B1 (en) Method for displaying sharpness in potableterminal having camera
KR20090018507A (en) Method and device for outputting video data
JP2005269642A (en) Communication terminal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee