KR100686358B1 - 영상 개선 시스템 및 영상 개선 방법 - Google Patents

영상 개선 시스템 및 영상 개선 방법 Download PDF

Info

Publication number
KR100686358B1
KR100686358B1 KR1020050057017A KR20050057017A KR100686358B1 KR 100686358 B1 KR100686358 B1 KR 100686358B1 KR 1020050057017 A KR1020050057017 A KR 1020050057017A KR 20050057017 A KR20050057017 A KR 20050057017A KR 100686358 B1 KR100686358 B1 KR 100686358B1
Authority
KR
South Korea
Prior art keywords
image
image data
memory
signal processing
display
Prior art date
Application number
KR1020050057017A
Other languages
English (en)
Other versions
KR20070001497A (ko
Inventor
노요환
김왕현
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020050057017A priority Critical patent/KR100686358B1/ko
Publication of KR20070001497A publication Critical patent/KR20070001497A/ko
Application granted granted Critical
Publication of KR100686358B1 publication Critical patent/KR100686358B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/222—Control of the character-code memory
    • G09G5/227—Resolution modifying circuits, e.g. variable screen formats, resolution change between memory contents and display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0465—Improved aperture ratio, e.g. by size reduction of the pixel circuit, e.g. for improving the pixel density or the maximum displayable luminance or brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 영상 시스템에 관한 것으로, 보다 상세하게는 휴대폰에서 사용되는 기존 영상 시스템에 부가 회로를 추가하여 한번 저장된 영상의 화질을 개선하여 재저장하는 영상 개선 시스템 및 그 방법에 관한 것이다. 메모리에 저장된 제1 영상 데이터가 상기 디스플레이의 화면 크기에 맞도록 스케일링(scaling)된 제2 영상 데이터를 저장하는 디스플레이 메모리를 포함하는 영상 시스템과 연동하여, 상기 디스플레이 메모리로부터 상기 제2 영상 데이터를 읽는 메모리 인터페이스부, 상기 메모리 인터페이스부가 읽은 상기 제2 영상 데이터로부터 영상 정보를 추출하는 영상 정보 추출부 및 추출된 상기 영상 정보를 기초로 하여 상기 영상 신호 처리 장치에 포함되는 각 레지스터의 설정값을 조정하고, 상기 메모리의 상기 제1 영상 데이터를 상기 영상 신호 처리 장치에 인가하도록 하는 제어부를 포함하되, 상기 영상 신호 처리 장치는 상기 각 레지스터의 설정값에 따라 인가된 상기 제1 영상 데이터를 영상 처리하는 영상 개선 시스템에 관한 것이다. 기존 휴대폰에 내장된 영상 시스템에 부가 회로를 추가하여 사용자가 영상을 개선시킬 수 있도록 한다.
영상 시스템, 개선, 영상 정보 추출, 메모리

Description

영상 개선 시스템 및 영상 개선 방법{Image improving system and method thereof}
도 1은 종래 기술에 따른 휴대폰의 영상 시스템(100)을 개략적으로 나타낸 구성도.
도 2는 본 발명의 바람직한 일 실시예에 따른 휴대폰의 영상 시스템(100) 및 영상 개선 시스템(200)을 개략적으로 나타낸 구성도.
도 3은 본 발명의 바람직한 일 실시예에 따른 메모리 인터페이스부(203)의 블록도.
도 4는 본 발명의 바람직한 일 실시예에 따른 제어부(209)의 블록도.
도 5는 본 발명의 바람직한 일 실시예에 따른 전력 소모 감소를 위한 제어부(209)의 블록도.
<도면의 주요부분에 대한 부호의 설명>
100 : 영상 시스템
120 : 영상 신호 처리 장치(ISP)
130 : 디스플레이
150 : 메모리
160 : 디스플레이 메모리
200 : 영상 개선 시스템
203 : 메모리 인터페이스부
206 : 영상 정보 추출부
209 : 제어부
본 발명은 영상 개선 시스템에 관한 것으로, 보다 상세하게는 영상의 화질을 개선하여 재저장하는 영상 개선 시스템에 관한 것이다.
현재 휴대폰은 카메라, MP3 플레이어 등의 다양한 기능을 포함하는 컨버전스 제품으로 현대인에게 없어서는 안될 필수품이 되었다. 휴대폰에 장착되는 카메라는 일반 디지털 카메라와 비교할 때에도 손색이 없으며, 오히려 최근에는 휴대폰에 장착되는 카메라의 성능이 일반 디지털 카메라의 성능을 뛰어넘는 경우도 있다. 이에 따라 휴대폰을 이용하여서도 수백만 화소를 가지는 영상 데이터를 촬영하여 메모리에 저장하는 추세이다.
도 1은 종래 기술에 따른 휴대폰의 영상 시스템(100)을 개략적으로 나타낸 구성도이다. 영상 시스템(100)은 영상 센서(110), 영상 신호 처리 장치(Image signal processor)(120), 디스플레이(130), 기본 대역 프로세서(Baseband processor)(140), 메모리(memory)(150) 및 디스플레이 메모리(160)를 포함한다. 이외에도 도면에 도시되지 않은 휴대폰의 플래시 메모리(Flash memory)가 더 포함될 수 있다.
영상 센서(110)로부터 입력되는 영상은 영상 신호 처리 장치(120)를 통해 영상 처리를 거친 영상 데이터로 생성된다. 상기 영상 데이터는 영상 신호 처리 장치(120) 내에 포함된 JPEG 인코더(encoder)를 통해 JPEG, MPEG 또는 H.264 등의 압축 방법을 통해 압축되는 인코딩(encoding) 과정을 거친다. 이때 영상 신호 처리 장치(120)는 인코딩된 영상 데이터를 디코딩(decoding) 할 수 있는 JPEG 디코더(decoder)를 포함한다. 그리고 OSD(on screen display), 스케일링(scaling) 등의 과정을 거친 영상 데이터를 메모리(150)에 저장하거나, 디스플레이 메모리(160)에 저장하고 디스플레이(130)의 화면으로 출력한다. 디스플레이 메모리(160)에 저장되는 영상 데이터는 원본 영상 데이터가 아니라, 디스플레이(130)의 화면 크기에 맞도록 스케일링된 영상 데이터가 저장된다. 그리고 디스플레이 메모리(160)에 저장된 영상 데이터가 디스플레이(130)의 화면에 출력된다.
현재에는 휴대폰에서도 카메라의 기능이 우수하여 수백만 화소의 고화질 영상 데이터를 저장할 필요가 있으며, 저장된 영상에 대해서 사용자가 영상을 개선시키고자 할 수 있다. 하지만, 종래의 휴대폰에서는 한번 저장된 영상에 대해서는 사용자가 영상을 개선시킬 수 있는 방법이 없었다. 한번 저장되거나 캡쳐된 이후에는 다시 영상 신호 처리 장치(120)를 거치지 못한다. 따라서, 저화질의 영상이 저장되거나 캡쳐된 경우에도 사용자가 영상을 개선시킬 수 있는 방법은 영상을 다시 캡쳐하는 방법 뿐이어서, 사용자의 영상 선택의 폭을 좁게 하였다.
저장된 영상에 관하여 영상 편집을 위해서는 영상 데이터를 개인용 컴퓨터(PC) 등에 이동시킨 후 특정 영상 처리 프로그램을 사용하여 영상 개선이 가능할 뿐이다. 만약 휴대폰에서 일반적인 통화 송수신 등의 처리를 담당하는 기본 대역 프로세서(baseband processor)(150)에 상기 특정 영상 처리 프로그램의 기능을 하는 소프트웨어를 설치한다면, 상기 소프트웨어를 이용하여 영상 개선이 가능하다. 화소수가 적은 영상 데이터의 경우에는 메모리(150)에 저장된 인코딩된 원본 영상 데이터를 디코딩하여 전부 영상 재처리하는 것이 가능하다. 하지만, 수백만 화소에 달하는 고화소 영상 데이터의 경우에는 메모리(150)에 저장될 수 있는 영상 데이터가 한정이 되어 있으며, 이때 휴대폰 메모리의 많은 부분을 영상 개선을 위해 할당해야 한다. 따라서, 휴대폰의 기본 대역 프로세서(150)에 과도한 부하를 주게 되어 휴대폰의 전체적인 성능의 저하를 유발한다.
그리고 휴대폰 내의 영상 시스템 중 영상 개선시 필요하지 않은 부분 또는 구성요소에 대해서도 작동 상태를 유지하게 됨에 따라 불필요한 전력 소모가 이루어진다. 이로 인해 휴대폰의 배터리 소모가 증가하는 문제점이 있었다.
따라서, 본 발명은 기존 휴대폰에 내장된 영상 시스템에 부가 회로를 추가하 여 사용자가 영상을 개선시킬 수 있도록 하는 영상 개선 시스템을 제공한다.
또한, 본 발명은 영상 개선시 사용되지 않는 영상 시스템 내의 부분에 대해서는 슬립 모드로 전환하여 휴대폰의 배터리 소모를 줄일 수 있는 영상 개선 시스템을 제공한다.
또한, 본 발명은 영상 개선시 부가 회로의 추가를 통해 휴대폰의 기본 대역 프록세서의 CPU의 과부하를 줄이고 메모리의 부담을 감소시킬 수 있는 영상 개선 시스템을 제공한다.
또한, 본 발명은 영상 개선된 화면을 디스플레이 화면에 바로 보여줌으로써 반복적으로 영상 개선이 가능하도록 하는 영상 개선 시스템을 제공한다.
본 발명의 일 측면에 따르면, 영상 신호 처리 장치, 디스플레이, 디스플레이 메모리 및 메모리를 포함하는 영상 시스템과 연동하는 영상 개선 시스템에 있어서-여기서, 상기 디스플레이 메모리는 상기 메모리에 저장된 제1 영상 데이터가 상기 디스플레이의 화면 크기에 맞도록 스케일링(scaling)된 제2 영상 데이터를 저장함-, 상기 디스플레이 메모리로부터 상기 제2 영상 데이터를 읽는 메모리 인터페이스부; 상기 메모리 인터페이스부가 읽은 상기 제2 영상 데이터로부터 영상 정보를 추출하는 영상 정보 추출부; 및 추출된 상기 영상 정보를 기초로 하여 상기 영상 신호 처리 장치에 포함되는 각 레지스터의 설정값을 조정하고, 상기 메모리의 상기 제1 영상 데이터를 상기 영상 신호 처리 장치에 인가하도록 하는 제어부를 포 함하되, 상기 영상 신호 처리 장치는 상기 각 레지스터의 설정값에 따라 인가된 상기 제1 영상 데이터를 영상 처리한 제3 영상 데이터를 생성하는 영상 개선 시스템이 제공될 수 있다.
바람직하게는, 상기 각 레지스터는 데드 픽셀 보상(Dead Pixel Alive; DPA), 렌즈 셰이딩 보상(Lens Shading Compensation; LSC), 적합 컬러 보간(Adaptive Color Interpolation), 컬러 보정(Color Correction), 감마 제어(GAMMA Control), 색상/게인 제어(Hue/Gain Control), 영상 효과(Image Effect), 자동 노출(Auto Exposure; AE) 및 자동 화이트 밸런스(Auto White Balance; AWB) 중 하나의 처리를 담당한다.
또한, 상기 영상 신호 처리 장치는 상기 제3 영상 데이터를 상기 메모리에 저장한다. 여기서, 상기 메모리에 저장된 상기 제1 영상 데이터는 인코딩된 데이터이고, 인코더(encoder) 및 디코더(decoder)를 포함하는 상기 영상 처리 장치는 상기 제1 영상 데이터를 상기 디코더를 통해 디코딩하여 영상 처리하여 상기 제3 영상 데이터를 생성하고, 상기 제3 영상 데이터를 상기 인코더를 통해 인코딩한 후 상기 메모리에 저장한다.
또한, 상기 영상 신호 처리 장치는 상기 제3 영상 데이터를 상기 디스플레이의 화면 크기에 맞도록 스케일링하여 상기 디스플레이 메모리에 저장한다.
또한, 상기 메모리 인터페이스부는 상기 제2 영상 데이터의 분석에 따라 설정되거나 미리 설정된 횟수만큼 상기 디스플레이 메모리로부터 저장된 상기 제2 영상 데이터를 읽고, 상기 제어부는 상기 영상 신호 처리 장치의 동작 종료를 감지하 고 슬립 플래그(sleep flag)를 생성하여 상기 영상 신호 처리 장치에 인가되는 클럭(ISP CLOCK)과 앤드(AND) 연산시켜 상기 영상 신호 처리 장치를 슬립 모드(sleep mode)로 전환시킨다.
본 발명의 다른 측면에 따르면, 영상 신호 처리 장치, 디스플레이, 디스플레이 메모리 및 메모리를 포함하는 영상 시스템에서 영상을 개선시키는 방법에 있어서-여기서, 상기 영상 신호 처리 장치는 포함된 각 레지스터의 설정값에 따라 인가되는 영상 데이터를 영상 처리하고, 상기 디스플레이 메모리는 상기 메모리에 저장된 제1 영상 데이터가 상기 디스플레이의 화면 크기에 맞도록 스케일링된 제2 영상 데이터를 저장함-, (a) 상기 디스플레이 메모리에 저장된 제2 영상 데이터를 읽는 단계; (b) 상기 제2 영상 데이터로부터 영상 정보를 추출하는 단계; (c) 상기 영상 정보를 기초로 하여 상기 영상 신호 처리 장치의 각 레지스터의 설정값을 조정하는 단계; 및 (d) 상기 영상 신호 처리 장치는 조정된 상기 각 레지스터의 설정값에 따라 상기 메모리로부터 인가된 상기 제1 영상 데이터를 영상 처리하여 제3 영상 데이터를 생성하는 단계를 포함하는 영상 개선 방법이 제공될 수 있다.
바람직하게는, 상기 (d) 단계 이후에, (e) 상기 제3 영상 데이터를 상기 메모리에 저장하는 단계를 더 포함한다. 여기서, 상기 메모리에 저장된 상기 제1 영상 데이터는 인코딩된 데이터이고, 상기 영상 신호 처리 장치는 인코더 및 디코더를 포함하며, 상기 (d) 단계는, 상기 제1 영상 데이터가 상기 디코더를 통해 디코딩되는 단계를 포함하되, 상기 영상 신호 처리 장치는 상기 디코딩된 데이터를 영상 처리하여 상기 제3영상 데이터를 생성하며, 상기 (e) 단계는, 상기 제3 영상 데 이터를 상기 인코더를 통해 인코딩하는 단계를 포함한다.
또한, 상기 (d) 단계 이후에, (e) 상기 제3 영상 데이터를 상기 디스플레이의 화면 크기에 맞도록 스케일링하여 상기 디스플레이 메모리에 저장하는 단계를 더 포함한다.
또한, 상기 (b) 단계에서의 상기 제2 영상 데이터의 분석에 따라 설정되거나 미리 설정된 횟수만큼 상기 (a) 단계 내지 (e) 단계를 반복하고, 상기 각 레지스터는 데드 픽셀 보상(DPA), 렌즈 셰이딩 보상(LSC), 적합 컬러 보간, 컬러 보정, 감마 제어, 색상/게인 제어, 영상 효과, 자동 노출(AE) 및 자동 화이트 밸런스(AWB) 중 하나의 처리를 담당한다.
본 발명의 그 밖의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 분명해질 것이다. 이하, 본 발명에 따른 영상 개선 시스템 및 영상 개선 방법의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 달리 정의되지 않는 한, 여기에 사용된 모든 기술적 및 과학적 용어는 본 발명이 속하는 기술 분야에서 통상의 기술을 가진 자에 의해 통상적으로 이해되는 것과 같은 의미를 갖는다. 또한, 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하기로 한다. 하기 실시예는 단지 예시적인 것이지 한정하고자 함이 아니다.
도 2는 본 발명의 바람직한 일 실시예에 따른 휴대폰의 영상 시스템(100) 및 영상 개선 시스템(200)을 개략적으로 나타낸 구성도이다.
영상 시스템(100)은 영상 센서(110), 영상 신호 처리 장치(Image signal processor)(120), 디스플레이(130), 기본 대역 프로세서(Baseband processor)(140), 메모리(Memory)(150) 및 디스플레이 메모리(160)를 포함한다. 여기서, 기본 대역 프로세서(140)는 휴대폰을 이용한 송, 수신 통화 등 전반적인 휴대폰의 동작을 제어하는 부분이다.
영상 센서(110)는 휴대폰에 장착된 카메라(미도시)의 렌즈 등을 통해서 촬영한 영상을 전기적인 신호인 원본 영상 데이터로 변환하여 영상 시스템(100)에서 처리가능하게 한다. 원본 영상 데이터는 로우 데이터(raw data)를 의미하고, 빛의 강약에 따른 전기 신호의 변화만이 기록된 정보이다.
영상 신호 처리 장치(120)는 영상 센서(110)로부터 입력받은 원본 영상 데이터를 미리 설정된 기준에 따라 처리하여 사용자가 원하는 화질 또는 이전보다 개선된 화질의 영상 데이터를 생성한다. 영상 신호 처리 장치(120)에서는 데드 픽셀 보상(Dead Pixel Alive; DPA), 렌즈 셰이딩 보상(Lens Shading Compensation; LSC), 적합 컬러 보간(Adaptive Color Interpolation), 컬러 보정(Color Correction), 감마 제어(GAMMA Control), 색상/게인 제어(Hue/Gain Control), 영상 효과(Image Effect), 자동 노출(Auto Exposure), 자동 화이트 밸런스(Auto White Balance) 등의 처리를 위한 레지스터가 각각 존재한다. 상기 각 레지스터들의 설정값을 조정함 으로써 원본 영상 데이터의 화질 개선이 가능하다.
영상 신호 처리 장치(120)는 인코더(encoder), 디코더(decoder), 스케일러(scaler)를 포함한다. 영상 신호 처리 장치(120)는 인코더(Encoder)를 포함하여 영상 처리가 완료된 영상 데이터를 JPEG 등의 알고리즘에 따라 인코딩한다. 그리고 디코더(decoder)를 포함하여 인코딩된 영상 데이터를 JPEG 등의 알고리즘에 따라 디코딩하여 원본 영상 데이터 즉, 로우 데이터(raw data)를 추출한다.
인코더는 JPEG, MPEG, H.246 등의 압축 기술을 통해 입력된 영상 데이터를 압축한다. 휴대폰의 메모리는 한정이 되어 있는 바 영상 데이터의 용량을 줄여 메모리 활용을 효율적으로 하기 위한 부분이다. 메모리(150)에는 상기 인코더를 거친 압축 영상 데이터가 저장된다.
디코더는 상기 압축 기술을 통해 압축된 영상 데이터를 디스플레이(130) 화면에 표시하기 위해서 영상 정보를 가지는 원본 영상 데이터 즉, 로우 데이터(raw data)로 디코딩한다.
스케일러는 디스플레이(130)의 화면 크기에 맞도록 영상 데이터를 영상 스케일 변환 처리한다. 원본 영상 데이터는 고화소(예를 들어, 1600ㅧ1200 화소) 데이터이지만, 디스플레이(130)의 화면 크기는 저화소(예를 들어, 320ㅧ240 화소)인 경우에 고화소의 영상 데이터를 디스플레이 화면 크기에 맞도록 변환한다.
메모리(150)는 영상 신호 처리 장치(120)에서 인코더를 거쳐 인코딩된 압축 영상 데이터를 저장한다. 휴대폰의 카메라를 통해 촬영된 백만 화소 이상의 영상 데이터는 그 자체로 용량이 크고 휴대폰의 메모리는 한정되어 있는 바, 상기 압축 기술을 사용하여 압축 영상 데이터를 생성한다. 상기 압축 영상 데이터는 exif 정보 및 영상 정보를 포함한다. exif 정보는 메타 데이터(metadata)로서 ISO나 셔터 스피드, 조리개 수치 등의 촬영 정보를 알려준다. 영상 정보는 각 화소마다의 레드(Red), 그린(Green), 블루(Blue)에 관한 게인 등의 정보를 의미하는 RGB 정보를 포함한다. JPEG의 경우 손실압축을 하기 때문에 압축 영상 데이터는 원본 영상 데이터에 비해 작은 용량을 가지게 되고 휴대폰 메모리를 적게 차지한다.
디스플레이 메모리(160)는 영상 신호 처리 장치(120)에서 디코더 및 스케일러를 거친 사이즈가 디스플레이(130)의 화면 크기에 맞도록 변경된 원본 영상 데이터를 저장한다. 즉, 영상 정보를 포함하고 있어 바로 화면에 표시가능한 영상 데이터를 저장한다.
디스플레이(130)는 디스플레이 메모리(160)에 저장된 영상 데이터를 읽어서 화면에 출력한다. 디스플레이(130)를 통해 출력되고 캡쳐된 영상 또는 이에 상응하는 압축 영상 데이터가 휴대폰의 플래시 메모리(미도시)에 저장된다. 상기 디스플레이(130)는 액정 디스플레이(LCD) 또는 유기 발광 소자 디바이스(OLED) 등이 될 수 있다.
여기서, 예를 들어 화이트 밸런스의 경우 휴대폰 카메라를 통해 촬영된 영상은 일반적으로 내장된 자동 화이트 밸런스 기능이 정확하지 않아 고화질의 영상을 얻기가 힘들다. 이때 종래에는 새로이 영상을 촬영하지 아니하고 고화질의 영상을 얻을 수가 없었다. 본 발명에서는 이하 설명할 영상 개선 시스템(200)을 통해 새로이 영상을 촬영하지 아니하고도 촬영된 영상이 개선되어 고화질의 영상을 생성한다.
영상 개선 시스템(200)은 메모리 인터페이스부(Memory interface)(203), 영상 정보 추출부(Image information extractor)(206) 및 제어부(209)를 포함한다.
메모리 인터페이스부(203)는 디스플레이(130)의 화면에 출력되는 사이즈가 변경된 영상 데이터를 저장하고 있는 디스플레이 메모리(160), 한 프레임의 영상 데이터를 저장하고 있는 메모리(150) 및 원본 영상 데이터를 저장하고 있는 휴대폰의 플래시 메모리(미도시)와 연동가능하다. 상기 메모리들에 저장된 데이터를 읽어와 영상 정보 추출부(206)로 전송한다.
영상 정보 추출부(206)는 메모리 인터페이스부(203)를 통해 읽어온 데이터를 이용하여 영상 신호 처리 장치(120)에서 사용할 수 있는 정보를 추출한다. 메모리(150) 또는 플래시 메모리에는 인코딩된 압축 영상 데이터가 저장되어 있는 바 영상 정보 추출부(206)는 디코더를 통해 압축 영상 데이터를 디코딩한 후 영상 정보를 추출한다. 디스플레이 메모리(160)는 디코딩 및 스케일링 과정을 거쳐 화면에 출력되는 영상 데이터가 저장되어 있다.
따라서, 영상 정보 추출부(206)는 디스플레이 메모리(160)에 저장된 사이즈가 변경된 로우 데이터(raw data)로부터 현재 디스플레이(130)의 화면에 출력되고 있는 영상의 영상 정보를 추출한다.
제어부(209)는 영상 정보 추출부(206)에서 추출한 영상 정보를 기초로 하여 자동 노출(Auto Exposure; AE), 자동 화이트 밸런스(Auto White Balance; AWB), 자동 초점(Auto Focus; AF), 감마 설정(GAMMA), 색상 설정(HUE), 렌즈 셰이딩 현상 보정(Lens Shading Compensation; LSC), 데드 픽셀 보정(Dead Pixel Alive; DPA), 스케일링(Scaling) 등을 위해서 필요한 레지스터 값을 설정한다. 상기 각 레지스터는 영상 신호 처리 장치(120)에서 영상 개선을 위한 영상 처리 과정을 제어한다. 또한, 메모리 인터페이스부(203) 및 영상 정보 추출부(206)가 상기 동작을 하도록 제어한다.
사용자의 설정에 의해 또는 영상 데이터의 분석을 통해 피드백(feedback) 횟수가 설정되면, 제어부(209)는 메모리 인터페이스부(203) 및 영상 정보 추출부(206)의 동작이 피드백 횟수만큼 반복되도록 제어한다. 이를 통해 한번에 고화질의 영상 개선이 힘든 고화소 영상 데이터에 대해서 반복적인 개선으로 고화질의 개선된 영상 데이터를 획득한다. 첫번째에는 자동 노출(AE), 두번째에는 자동 화이트 밸런스(AWB),… 이런 식으로의 화질 개선이 가능하다.
그리고 제어부(209)는 추후 도 5를 참조하여 설명할 영상 신호 처리 장치(120)의 슬립(sleep) 모드를 제어한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 메모리 인터페이스부(203)의 블록도이다.
메모리 인터페이스부(203)는 칩 선택 신호(CSxn)를 이용하여 메모리를 선택한다. 메모리는 디스플레이 메모리(160), 메모리(160) 및 플래시 메모리(미도시) 중 어느 하나이다. 이외 다른 메모리가 더 포함될 수도 있음은 물론이다. 그리고 칩 선택 신호(CSxn) 및 멀티플렉서(Mux)(300)를 이용하여 선택된 메모리로부터 입 력되는 영상 데이터를 선택한다(Data In).
칩 선택 신호(CSxn)를 이용하여 메모리 인터페이스부(203)가 접근하고자 하는 메모리를 선택한다. 따라서, 다수의 메모리마다 메모리 제어 신호(MEM CONTROL SIGNAL)와 메모리로 입력되는 데이터 출력 버스(Data Out)가 따로 있지 아니하고, 모든 메모리는 메모리 제어 신호 및 데이터 출력 버스를 공통으로 사용하게 된다. 이를 통해 하드웨어 자원 활용을 극대화할 수 있다.
또한, 노말(Normal) 모드에서 사용되는 메모리 제어 신호와 상기 메모리 인터페이스부(203)의 메모리 제어 신호는 공유가 가능하므로, 기존의 패스(path)와의 충돌은 생기지 아니한다. 따라서, 기존의 휴대폰 영상 시스템의 하드웨어 자원을 활용함으로써 자원 활용면에서 재사용(reuse)의 효과가 있다.
도 4는 본 발명의 바람직한 일 실시예에 따른 제어부(209)의 블록도이다.
영상 정보 추출부(206)는 메모리 인터페이스부(203)를 통해 입력된 영상 데이터로부터 영상 정보를 추출한다. 입력된 영상 데이터는 압축 영상 데이터가 아니라 디스플레이(130)에 실제 보여지는 디코딩된 영상 데이터 또는 사이즈가 축소된 디코딩 영상 데이터이다. 상기 추출된 영상 정보를 이용하여 사용자가 원하는 또는 미리 설정된 화질을 가지도록 영상 신호 처리 장치(120)의 각 레지스터의 설정값을 결정한다.
상기 각 레지스터의 설정값은 한번의 분석 외에 복수번의 피드백(feedback)을 통한 분석을 통해 획득될 수 있다. 여기서, 제어부(209)는 영상 정보 추출부(206)가 메모리 인터페이스부(203)를 통해 획득한 영상 데이터로부터 영상 정보를 추출하여 각 레지스터 설정값을 조정하는 피드백 횟수를 결정한다.
본 발명의 바람직한 일 실시예에 따르면, 제어부(209)는 영상 신호 처리 장치(120)가 영상 데이터의 적정한 밝기 값을 찾아서 종래의 밝기 값을 높이거나 줄이도록 각 레지스터의 설정값을 조정한다(AE 조정).
영상 정보 추출부(206)를 통해 추출된 영상 정보를 Y(luminance) 정보로 바꾸는 수식 또는 알고리즘을 통해서 색공간을 RGB에서 Y 공간으로 바꾼다. 그리고 전체 화면에 대한 Y 합계(summation)를 구하여 전체 평균 밝기를 산출한다. 상기 전체 평균 밝기와 사용자가 원하는 타겟 밝기(예를 들어, 0~255 level에서 150 level 정도)와 얼마의 오차가 있는지를 계산한 후 차이가 나는 만큼을 각 화소마다 동일하게 더해주거나 빼주거나 한다. 다만, 컨트라스트(contrast)가 손상이 될 우려로 인해 각 화소의 RGB 성분들에 대한 히스토그램을 구해서 히스토그램 이퀄라이제이션을 수행하면, 적정한 밝기와 컨트라스트를 가지도록 하여 영상 개선이 가능하다.
즉, 제어부(209)는 상기 각 화소마다 동일하게 더해주거나 빼주는 양 또는 히스토그램 이퀄라이제이션에 상응하는 각 레지스터의 설정값을 조정한다. 이를 통해 영상 신호 처리 장치(120)는 상기와 같이 입력된 영상 데이터의 각 화소 값을 변경시켜 영상 개선이 이루어지도록 한다.
다른 실시예에 따르면, RGB 각각에 대해서 R(Red), G(Green), B(Blue) 픽셀들의 전체 합이 서로 같아지도록 한다(AWB 조정). 제어부(209)는 영상 정보 추출 부(206)를 통해 추출된 영상 정보로부터 각 RGB 성분들에 대한 합을 구한다. 그리고 G(Green)의 합을 기준으로 R(Red), B(Blue)에 임의의 값을 곱하여 서로의 합이 같아지도록 한다. 이때의 게인(gain)을 획득하여 영상 신호 처리 장치(120)에서 게인을 조정하는 레지스터의 설정값을 변경시킨다. 이를 통해 화이트 밸런스가 맞게 되고 영상이 개선된다.
도 5는 본 발명의 바람직한 일 실시예에 따른 전력 소모 감소를 위한 제어부(209)의 블록도이다.
제어부(209)는 영상 신호 처리 장치(Image signal processor; ISP)(120)의 동작 종료를 감지한다. 영상 신호 처리 장치(ISP)(120)의 동작이 종료된 것으로 감지된 경우, 영상 신호 처리 장치(ISP)(120)의 슬립 플래그(sleep flag)를 발생시킨다. 상기 슬립 플래그는 영상 신호 처리 장치(ISP)(120)를 동작시키는 클럭(ISP CLOCK)와 앤드(AND) 연산(500)이 행해진다. 슬립 플래그는 로우(low) 신호로써, 영상 신호 처리 장치(ISP)(120)의 동작이 종료되었으므로, 영상 신호 처리 장치(ISP)(120)가 슬립 모드(sleep mode)가 되도록 클럭(ISP CLOCK)을 오프(off)시킨다. 이를 통해 이동 통신 단말의 배터리 전력 소모를 줄일 수 있다.
이후 제어부(209)는 영상 신호 처리 장치(ISP)(120)가 동작해야 하는 경우에는, 슬립 플래그를 하이(high)로 설정하여 동작 클럭(ISP CLOCK)이 영상 신호 처리 장치(ISP)(120)에 입력되어 동작이 가능하도록 한다.
상술한 바와 같이, 본 발명에 따른 영상 개선 시스템은 기존 휴대폰에 내장된 영상 시스템에 부가 회로를 추가하여 사용자가 영상을 개선시킬 수 있다.
또한, 영상 개선시 사용되지 않는 영상 시스템 내의 부분에 대해서는 슬립 모드로 전환하여 휴대폰의 배터리 소모를 줄일 수 있다.
또한, 영상 개선시 부가 회로의 추가를 통해 휴대폰의 기본 대역 프록세서의 CPU의 과부하를 줄이고 메모리의 부담을 감소시킬 수 있으며, 영상 개선된 화면을 디스플레이 화면에 바로 보여줌으로써 반복적으로 영상 개선이 가능하도록 한다.
또한, 기존의 휴대폰 영상 시스템의 하드웨어 자원을 활용함으로써 자원 활용면에서 재사용(reuse)의 효과가 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

  1. 영상 신호 처리 장치, 디스플레이, 디스플레이 메모리 및 메모리를 포함하는 영상 시스템과 연동하는 영상 개선 시스템에 있어서-여기서, 상기 디스플레이 메모리는 상기 메모리에 저장된 제1 영상 데이터가 상기 디스플레이의 화면 크기에 맞도록 스케일링(scaling)된 제2 영상 데이터를 저장함-,
    상기 디스플레이 메모리로부터 상기 제2 영상 데이터를 읽는 메모리 인터페이스부;
    상기 메모리 인터페이스부가 읽은 상기 제2 영상 데이터로부터 영상 정보를 추출하는 영상 정보 추출부; 및
    추출된 상기 영상 정보를 기초로 하여 상기 영상 신호 처리 장치에 포함되는 각 레지스터의 설정값을 조정하고, 상기 메모리의 상기 제1 영상 데이터를 상기 영상 신호 처리 장치에 인가하도록 하는 제어부를 포함하되,
    상기 영상 신호 처리 장치는 상기 각 레지스터의 설정값에 따라 인가된 상기 제1 영상 데이터를 영상 처리한 제3 영상 데이터를 생성하는 영상 개선 시스템.
  2. 제1항에 있어서,
    상기 각 레지스터는 데드 픽셀 보상(Dead Pixel Alive; DPA), 렌즈 셰이딩 보상(Lens Shading Compensation; LSC), 적합 컬러 보간(Adaptive Color Interpolation), 컬러 보정(Color Correction), 감마 제어(GAMMA Control), 색상/게인 제어(Hue/Gain Control), 영상 효과(Image Effect), 자동 노출(Auto Exposure; AE) 및 자동 화이트 밸런스(Auto White Balance; AWB) 중 하나의 처리를 담당하는 영상 개선 시스템.
  3. 제1항에 있어서, 상기 영상 신호 처리 장치는
    상기 제3 영상 데이터를 상기 메모리에 저장하는 영상 개선 시스템.
  4. 제3항에 있어서,
    상기 메모리에 저장된 상기 제1 영상 데이터는 인코딩된 데이터이고,
    인코더(encoder) 및 디코더(decoder)를 포함하는 상기 영상 처리 장치는 상기 제1 영상 데이터를 상기 디코더를 통해 디코딩하여 영상 처리하여 상기 제3 영상 데이터를 생성하고, 상기 제3 영상 데이터를 상기 인코더를 통해 인코딩한 후 상기 메모리에 저장하는 영상 개선 시스템.
  5. 제1항에 있어서, 상기 영상 신호 처리 장치는
    상기 제3 영상 데이터를 상기 디스플레이의 화면 크기에 맞도록 스케일링하 여 상기 디스플레이 메모리에 저장하는 영상 개선 시스템.
  6. 제1항에 있어서,
    상기 메모리 인터페이스부는 상기 제2 영상 데이터의 분석에 따라 설정되거나 미리 설정된 횟수만큼 상기 디스플레이 메모리로부터 저장된 상기 제2 영상 데이터를 읽는 영상 개선 시스템.
  7. 제1항에 있어서, 상기 제어부는
    상기 영상 신호 처리 장치의 동작 종료를 감지하고 슬립 플래그(sleep flag)를 생성하여 상기 영상 신호 처리 장치에 인가되는 클럭(ISP CLOCK)과 앤드(AND) 연산시켜 상기 영상 신호 처리 장치를 슬립 모드(sleep mode)로 전환시키는 영상 개선 시스템.
  8. 영상 신호 처리 장치, 디스플레이, 디스플레이 메모리 및 메모리를 포함하는 영상 시스템에서 영상을 개선시키는 방법에 있어서-여기서, 상기 영상 신호 처리 장치는 포함된 각 레지스터의 설정값에 따라 인가되는 영상 데이터를 영상 처리하고, 상기 디스플레이 메모리는 상기 메모리에 저장된 제1 영상 데이터가 상기 디스 플레이의 화면 크기에 맞도록 스케일링된 제2 영상 데이터를 저장함-,
    (a) 상기 디스플레이 메모리에 저장된 제2 영상 데이터를 읽는 단계;
    (b) 상기 제2 영상 데이터로부터 영상 정보를 추출하는 단계;
    (c) 상기 영상 정보를 기초로 하여 상기 영상 신호 처리 장치의 각 레지스터의 설정값을 조정하는 단계; 및
    (d) 상기 영상 신호 처리 장치는 조정된 상기 각 레지스터의 설정값에 따라 상기 메모리로부터 인가된 상기 제1 영상 데이터를 영상 처리하여 제3 영상 데이터를 생성하는 단계
    를 포함하는 영상 개선 방법.
  9. 제8항에 있어서, 상기 (d) 단계 이후에,
    (e) 상기 제3 영상 데이터를 상기 메모리에 저장하는 단계를 더 포함하는 영상 개선 방법.
  10. 제9항에 있어서,
    상기 메모리에 저장된 상기 제1 영상 데이터는 인코딩된 데이터이고, 상기 영상 신호 처리 장치는 인코더 및 디코더를 포함하며,
    상기 (d) 단계는,
    상기 제1 영상 데이터가 상기 디코더를 통해 디코딩되는 단계를 포함하되,
    상기 영상 신호 처리 장치는 상기 디코딩된 데이터를 영상 처리하여 상기 제3영상 데이터를 생성하며,
    상기 (e) 단계는,
    상기 제3 영상 데이터를 상기 인코더를 통해 인코딩하는 단계를 포함하는 영상 개선 시스템.
  11. 제8항에 있어서, 상기 (d) 단계 이후에,
    (e) 상기 제3 영상 데이터를 상기 디스플레이의 화면 크기에 맞도록 스케일링하여 상기 디스플레이 메모리에 저장하는 단계를 더 포함하는 영상 개선 방법.
  12. 제9항 또는 제11항에 있어서,
    상기 (b) 단계에서의 상기 제2 영상 데이터의 분석에 따라 설정되거나 미리 설정된 횟수만큼 상기 (a) 단계 내지 (e) 단계를 반복하는 영상 개선 방법.
  13. 제8항에 있어서,
    상기 각 레지스터는 데드 픽셀 보상(DPA), 렌즈 셰이딩 보상(LSC), 적합 컬 러 보간, 컬러 보정, 감마 제어, 색상/게인 제어, 영상 효과, 자동 노출(AE) 및 자동 화이트 밸런스(AWB) 중 하나의 처리를 담당하는 영상 개선 방법.
KR1020050057017A 2005-06-29 2005-06-29 영상 개선 시스템 및 영상 개선 방법 KR100686358B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050057017A KR100686358B1 (ko) 2005-06-29 2005-06-29 영상 개선 시스템 및 영상 개선 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050057017A KR100686358B1 (ko) 2005-06-29 2005-06-29 영상 개선 시스템 및 영상 개선 방법

Publications (2)

Publication Number Publication Date
KR20070001497A KR20070001497A (ko) 2007-01-04
KR100686358B1 true KR100686358B1 (ko) 2007-02-22

Family

ID=37868879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050057017A KR100686358B1 (ko) 2005-06-29 2005-06-29 영상 개선 시스템 및 영상 개선 방법

Country Status (1)

Country Link
KR (1) KR100686358B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101132241B1 (ko) * 2010-02-09 2012-04-12 엠텍비젼 주식회사 멀티미디어 프로세서 칩 및 화질 개선 방법
KR101039404B1 (ko) * 2010-02-16 2011-06-07 엠텍비젼 주식회사 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017858A (ko) * 2001-08-23 2003-03-04 엠텍비젼 주식회사 대기모드에서의 전력소모를 감소시키는 휴대용 전자장치
KR20040073722A (ko) * 2003-02-14 2004-08-21 엘지전자 주식회사 디지털 카메라가 장착된 이동 단말의 화질 개선 방법 및장치
KR20040080456A (ko) * 2003-03-11 2004-09-20 엘지전자 주식회사 카메라 결합형 이동통신 단말기의 화질 보정 방법
KR20050053143A (ko) * 2003-12-02 2005-06-08 삼성테크윈 주식회사 디지털 카메라의 영상보정방법
KR20060076467A (ko) * 2004-12-29 2006-07-04 브이케이 주식회사 화질 개선 프로그램이 내장된 이동통신 단말기용 싱크프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017858A (ko) * 2001-08-23 2003-03-04 엠텍비젼 주식회사 대기모드에서의 전력소모를 감소시키는 휴대용 전자장치
KR20040073722A (ko) * 2003-02-14 2004-08-21 엘지전자 주식회사 디지털 카메라가 장착된 이동 단말의 화질 개선 방법 및장치
KR20040080456A (ko) * 2003-03-11 2004-09-20 엘지전자 주식회사 카메라 결합형 이동통신 단말기의 화질 보정 방법
KR20050053143A (ko) * 2003-12-02 2005-06-08 삼성테크윈 주식회사 디지털 카메라의 영상보정방법
KR20060076467A (ko) * 2004-12-29 2006-07-04 브이케이 주식회사 화질 개선 프로그램이 내장된 이동통신 단말기용 싱크프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체

Also Published As

Publication number Publication date
KR20070001497A (ko) 2007-01-04

Similar Documents

Publication Publication Date Title
KR102376901B1 (ko) 이미징 제어 방법 및 이미징 디바이스
US10616511B2 (en) Method and system of camera control and image processing with a multi-frame-based window for image data statistics
US9294687B2 (en) Robust automatic exposure control using embedded data
US20180176573A1 (en) Apparatus and methods for the encoding of imaging data using imaging statistics
US7725022B2 (en) Dynamic automatic exposure compensation for image capture devices
US11516482B2 (en) Electronic device and image compression method of electronic device
CN111885312B (zh) Hdr图像的成像方法、系统、电子设备及存储介质
CN104954771A (zh) 进行色阶校正的图像处理设备和图像处理方法
US8885078B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
JP6598479B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US10469749B1 (en) Temporal filter with criteria setting maximum amount of temporal blend
US10600170B2 (en) Method and device for producing a digital image
US11601600B2 (en) Control method and electronic device
KR100902419B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
US8718376B2 (en) Apparatus and method for enhancing image in portable terminal
JP2005311743A (ja) 画像処理装置
US9503652B2 (en) Method and apparatus for controlling image generation of image capture device by determining one or more image capture settings used for generating each subgroup of captured images
KR100686358B1 (ko) 영상 개선 시스템 및 영상 개선 방법
US9374526B2 (en) Providing frame delay using a temporal filter
US20200294211A1 (en) Image display apparatus, image supply apparatus, and control method thereof
CN112788364B (zh) 码流动态调整装置、方法及计算机可读存储介质
CN116416323A (zh) 图像处理方法及装置、电子设备及存储介质
WO2017096855A1 (zh) 伽马参数的动态调整方法及装置
KR20140071867A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP6849351B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140203

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 12