KR101201620B1 - 휴대단말기의 영상 개선장치 및 방법 - Google Patents

휴대단말기의 영상 개선장치 및 방법 Download PDF

Info

Publication number
KR101201620B1
KR101201620B1 KR1020100007157A KR20100007157A KR101201620B1 KR 101201620 B1 KR101201620 B1 KR 101201620B1 KR 1020100007157 A KR1020100007157 A KR 1020100007157A KR 20100007157 A KR20100007157 A KR 20100007157A KR 101201620 B1 KR101201620 B1 KR 101201620B1
Authority
KR
South Korea
Prior art keywords
image
roi
extracted
isp
processing unit
Prior art date
Application number
KR1020100007157A
Other languages
English (en)
Other versions
KR20110087646A (ko
Inventor
임성준
서자원
이해선
이종협
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100007157A priority Critical patent/KR101201620B1/ko
Priority to US13/014,301 priority patent/US8718376B2/en
Publication of KR20110087646A publication Critical patent/KR20110087646A/ko
Application granted granted Critical
Publication of KR101201620B1 publication Critical patent/KR101201620B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 휴대단말기의 영상 개선장치 및 방법에 관한 것으로, 특히 ROI의 특성에 맞는 영상개선을 통해 전체적으로 향상된 영상을 얻을 수 있는 휴대단말기의 영상 개선장치 및 방법에 관한 것이다.
이를 달성하기 위해 휴대단말기의 영상 개선장치가, 프리뷰모드에서 수신되는 영상에 대해 ISP(Image Signal Processing)를 수행하는 영상처리부와; 상기 영상처리부에서 수신되는 영상에서 ROI(Region Of Interest)를 추출하고, 상기 추출된 ROI의 영상특성의 종류에 따른 해당 ISP방법을 상기 추출된 ROI의 영상에 적용하며, 상기 해당 ISP방법이 적용된 ROI의 영상을 상기 영상처리부에서 수신된 영상에 합성하여 출력하는 ROI처리부와; 상기 프리뷰모드에서 상기 영상처리부에서 수신되는 영상에서 ROI를 추출하고, 촬영이 선택되면 상기 추출된 ROI의 영상에 상기 해당 ISP방법을 적용하고, 상기 해당 ISP방법이 적용된 ROI의 영상을 상기 영상처리부에서 수신된 영상에 합성하여 출력하도록 상기 ROI처리부를 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

휴대단말기의 영상 개선장치 및 방법{DEVICE AND METHOD FOR ENHANCING IMAGE IN　WIRELESS TERMINAL}
본 발명은 휴대단말기의 영상 개선장치 및 방법에 관한 것으로, 특히 ROI의 특성에 맞는 영상개선을 통해 전체적으로 향상된 영상을 얻을 수 있는 휴대단말기의 영상 개선장치 및 방법에 관한 것이다.
일반적인 영상개선방법은 전체 영상에 동일한 영상 개선 알고리즘을 적용하는 것이다. 그러나 하나의 영상 내에도 여러 가지의 특성을 갖는 부분영역들이 존재하는데, 전체 영상에 동일한 영상 개선 알고리즘을 적용할 경우 각 부분을 특성에 맞게 전체적으로 향상시키지 못하는 문제가 발생하게 된다.
예를 들면 선명도와 노이즈관점에서 볼 때 선명도를 높이기 위해 sharpening을 높이고 Denoise를 감소시킨 경우, 동일 영상에서 잔디나 나무등 고주파영역의 선명도는 높아지는 반면, 인물의 얼굴에 대한 노이즈가 많아지는 문제가 발생하게 된다.
따라서 본 발명의 목적은 ROI의 특성에 맞는 영상개선을 통해 전체적으로 향상된 영상을 얻을 수 있는 휴대단말기의 영상 개선장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 휴대단말기의 영상 개선장치가, 프리뷰모드에서 수신되는 영상에 대해 ISP(Image Signal Processing)를 수행하는 영상처리부와; 상기 영상처리부에서 수신되는 영상에서 ROI(Region Of Interest)를 추출하고, 상기 추출된 ROI의 영상특성의 종류에 따라 해당 ISP방법을 상기 추출된 ROI의 영상에 적용하며, 상기 해당 ISP방법이 적용된 ROI의 영상을 상기 영상처리부에서 수신된 영상에 합성하여 출력하는 ROI처리부와; 상기 프리뷰모드에서 상기 영상처리부에서 수신되는 영상에서 ROI를 추출하고, 촬영이 선택되면 상기 추출된 ROI의 영상에 상기 해당 ISP방법을 적용하고, 상기 해당 ISP방법이 적용된 ROI의 영상을 상기 영상처리부에서 수신된 영상에 합성하여 출력하도록 상기 ROI처리부를 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한 상기 목적을 달성하기 위한 휴대단말기의 영상 개선방법이, 프리뷰모드에서 수신되는 영상에 대해 ISP(Image Signal Processing)를 수행하는 과정과; 상기 영상에서 ROI(Region Of Interest)를 추출하는 과정과; 상기 추출된 ROI의 영상특성의 종류에 따른 해당 ISP방법을 상기 추출된 ROI의 영상에 적용하는 과정과; 상기 해당 ISP방법이 적용된 ROI의 영상을 상기 영상에 합성하여 표시하는 과정으로 포함하는 것을 특징으로 한다.
본 발명은 휴대단말기의 영상 개선장치 및 방법을 제공함으로써, 전체적으로 향상된 사진을 얻을 수 있으며, 이는 고화소로 진행 될수록 좋은 효과를 얻을 수 있다.
도 1은 본 발명의 실시 예에 따른 휴대단말기의 구성도.
도 2는 본 발명의 실시 예에 따른 휴대단말기에서 영상 개선 과정을 도시한 흐름도.
도 3 -도 4는 도 2의 합성과정을 설명하기 위한 도면.
이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
도 1은 본 발명의 실시 예에 따른 휴대단말기의 구성도이다.
상기 도 1을 참조하면, RF부(123)는 휴대 단말기의 무선 통신 기능을 수행한다. 상기 RF부(123)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기등을 포함한다. 데이터처리부(120)는 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화 하는 수신기 등을 구비한다. 즉, 상기 데이터 처리부(123)는 모뎀(MODEM) 및 코덱(CODDEC)으로 구성될 수 있다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비한다. 오디오 처리부(125)는 상기 데이터 처리부(120)의 오디오 코덱에서 출력되는 수신 오디오신호를 재생하거나 또는 마이크로부터 발생되는 송신 오디오신호를 상기 데이터 처리부(120)의 오디오 코덱에 전송하는 기능을 수행한다.
키입력부(127)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능키들을 구비한다.
메모리(130)는 프로그램 메모리, 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리는 휴대 단말기의 일반적인 동작을 제어하기 위한 프로그램들 및 본 발명의 실시 예에 따라 영상에서 추출되는 적어도 하나의 ROI에 대해 해당 ISP방법 적용하여 상기 적어도 하나의 ROI의 영상을 개선하도록 제어하는 프로그램들을 저장할 수 있다. 또한 상기 데이터 메모리는 상기 프로그램들을 수행하는 중에 발생되는 데이터들을 일시 저장하는 기능을 수행한다.
또한 상기 메모리(130)는 본 발명의 실시 예에 따라 ROI(Region Of Interest)의 영상특성의 종류 및 상기 영상특성의 종류에 따른 해당 ISP(Image Signal Process)방법들을 저장한다. 상기 ROI의 영상특성의 종류는 얼굴영역 또는객체영역 또는 고주파영역 또는 저주파 영역 중 적어도 어느 하나를 포함한다.
제어부(110)는 휴대 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 상기 제어부(110)는 본 발명의 실시 예에 따라 영상처리부(150)를 통해 프리뷰모드에서 카메라부(140)로부터 수신되는 영상에 대해 ISP를 수행하도록 제어하고, 상기 ISP된 영상을 상기 표시부(160)에 표시하도록 제어한다.
또한 상기 제어부(110)는 본 발명의 실시 예에 따라 프리뷰모드에서 ROI처리부(170)를 통해 상기 ISP된 영상에서 적어도 하나의 ROI를 추출하도록 제어하고, 촬영이 선택되면 상기 추출된 적어도 하나의 ROI를 개선하며, 상기 개선된 적어도 하나의 ROI의 영상을 상기 ISP된 영상과 합성하여 출력하도록 제어한다.
상기 카메라부(140)는 영상 데이터를 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서 상기 카메라 센서는 CCD 또는 CMOS센서라 가정하며, 상기 신호처리부는 DSP(Digital Signal Processor)로 구현할 수 있다. 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다.
상기 영상처리부(150)는 상기 카메라부(140)에서 출력되는 영상신호를 표시부(160)에 표시하기 위한 ISP(Image Signal Processing)를 수행하며, 상기 ISP는 감마교정, 인터폴레이션, 공간적 변화, 이미지 효과, 이미지 스케일, AWB, AE,AF등과 같은 기능을 수행한다. 따라서 상기 영상처리부(150)상기 카메라부(140)에서 출력되는 영상신호를 프레임 단위로 처리하며, 상기 프레임 영상데이터를 상기 표시부(160)의 특성 및 크기에 맞춰 출력한다. 또한 상기 영상처리부(150)는 영상코덱을 구비하며, 상기 표시부(160)에 표시되는 프레임 영상데이터를 설정된 방식으로 압축하거나, 압축된 프레임 영상데이터를 원래의 프레임 영상데이터로 복원하는 기능을 수행한다. 여기서 상기 영상코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다. 상기 영상처리부(150)는 OSD(On Screen Display) 기능을 구비한다고 가정하며, 상기 제어부(110)의 제어하여 표시되는 화면크기에 따라 온 스크린 표시데이터를 출력할 수 있다.
또한 상기 영상처리부(150)는 본 발명의 실 시예에 따라 프리뷰모드에서 상기 카메라부(140)에서 출력되는 영상에 대해 ISP를 수행한 후 상기 표시부(160) 또는 상기 ROI처리부(170)로 출력한다.
상기 ROI처리부(170)는 상기 영상처리부(150)에서 수신되는 영상에서 추출되는 적어도 하나의 ROI에 해당 ISP방법을 적용하여 상기 ROI의 영상을 개선하는 것으로, ROI추출부(171), ROI개선부(172) 및 합성부(173)를 포함한다.
상기 ROI추출부(171)는 자동/수동선택모드를 통해 상기 영상처리부(150)에서 수신되는 영상에서 적어도 하나의 ROI를 추출하고, 상기 추출된 적어도 하나의 ROI의 영상특성의 종류에 따라 해당 ISP방법을 추출한다.
상기 ROI개선부(172)는 상기 ROI추출부(171)를 통해 추출된 적어도 하나의 ROI에 대해 해당 ISP방법을 적용하여 상기 추출된 적어도 하나의 ROI의 영상을 개선한다.
상기 합성부(173)는 상기 ROI개선부(172)를 통해 개선된 적어도 하나의 ROI를 상기 영상처리부(150)에서 수신된 영상과 합성한다.
상기 합성부(173)는 상기 ROI 개선부(172)를 통해 개선된 상기 적어도 하나의 ROI를 상기 영상처리부(150)에서 수신된 영상에 합성할 때, 개선 전인 상기 영상처리부(150)에서 수신된 영상에서 추출된 ROI와, 상기 ROI개선부(172)를 통해 개선된 ROI에 대해 경계영역을 설정한다.
상기 경계영역은 개선 전인 상기 영상에서 추출된 ROI와 상기 개선된 ROI의 밝기 값의 차이에 따라 조절되는 것으로, 상기 두 ROI의 영상의 밝기 값의 차 가 임의 값 보다 크면 상기 경계영역의 길이를 길게 하여 합성할 때 밝기의 차이가 눈에 보이지 않도록 한다. 그리고 상기 두 ROI의 영상의 밝기 값의 차 가 임의 값 보다 작으면, 상기 경계영역의 길이를 짧게 하여 계산량을 줄인다. 본 발명의 실시 예에서 상기 경계영역의 길이는 상기 ROI의 1/32 보다 크고, 1/4 보다 작은 값을 가질 수 있다.
상기 합성부(173)는 상기 경계영역이 설정된 두 ROI에 대해서는 하기와 같은 <식 1 >을 통해 합성하고, 나머지 부분에 대해서는 일반적인 합성방법을 수행한다.
< 식 1>
Figure 112010005457039-pat00001

Figure 112010005457039-pat00002
: 0<
Figure 112010005457039-pat00003
<1
Figure 112010005457039-pat00004
: 영상에서 추출된 ROI의 픽셀 값
Figure 112010005457039-pat00005
: 개선된 ROI의 픽셀 값
이때 상기
Figure 112012020586615-pat00006
는 상기 ROI의 영상의 중심으로 갈수록 값이 감소되며, 따라서 ROI의 영상의 중심으로 갈수록 화질이 좋은 ROI의 영상을 얻을 수 있다. 또한 상기 경계영역을 설정하고 상기 경계영역이 설정된 두 ROI에 대해서는 상기와 같은 <식 1>을 통해 합성함으로써, 상기 개선된 적어도 하나의 ROI를 상기 영상에 합성할 때 발생할 수 있는 Artifact를 해결할 수 있다.
상기 표시부(160)는 상기 영상처리부(150)에서 출력되는 영상신호를 화면으로 표시하며, 상기 제어부(110)에서 출력되는 사용자 데이터를 표시한다. 여기서 상기 표시부(160)은 LCD를 사용할 수 있으며, 이런 경우 상기 표시부(160)은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 입력부로 동작할 수도 있다. 또한 상기 표시부(160)는 본 발명의 실 시예에 따라 상기 개선된 적어도 하나의 ROI가 합성된 영상을 표시한다.
상기와 같은 휴대단말기에서 영상 개선 동작을 도 2를 통해 살펴본다.
도 2는 본 발명의 실시 예에 따른 휴대단말기에서 영상 개선 과정을 도시한 흐름도이고, 도 3 및 도 4는 상기 도 2에서 합성과정을 설명하기 위한 도면이다.
이하 본 발명의 실시 예를 도 1의 참조와 함께 상세히 설명한다.
상기 도 2를 참조하면, 상기 휴대단말기의 프리뷰모드인 201단계에서 상기 카메라부(140)를 통해 영상이 수신되면, 상기 제어부(110)는 이를 감지하고 202단계에서 상기 영상처리부(150)를 통해 상기 영상에 대해 ISP를 수행한 후 상기 표시부(160)에 표시하도록 제어한다.
상기 표시부(160)에 상기 ISP된 영상을 표시하는 동안, 상기 제어부(110)는 ROI의 선택모드를 판단한다. 상기 ROI선택모드가 자동선택모드로 미리 설정되어 있으면, 상기 제어부(110)는 203단계에서 이를 감지하고 상기 영상에서 ROI를 자동으로 추출하도록 상기 ROI처리부(170)를 제어하는 204단계를 진행한다.
상기 204단계에서 상기 ROI처리부(170)의 ROI추출부(171)는 상기 영상에서 영상특성의 종류(얼굴영역 또는 객체영역 또는 고주파영역 또는 저주파영역)에 해당하는 적어도 하나의 ROI를 자동으로 추출한다.
또는 상기 ISP된 영상이 상기 표시부(160)에 표시하는 동안, 사용자에 의해 ROI 수동선택모드가 선택되면 상기 제어부(110)는 205단계에서 이를 감지하고 상기 영상에서 적어도 하나의 ROI를 수동으로 추출하는 206단계를 진행한다.
상기 206단계에서 상기 제어부(110)는 ROI의 영상특성의 종류를 표시하며, 사용자에 의해 영상특성의 종류가 선택되면, 상기 ROI추출부(171)를 통해 상기 영상에서 사용자에 의해 선택된 영상특성의 종류에 해당하는 ROI를 추출하도록 제어한다. 또는 상기 206단계에서 상기 표시부(160)의 터치동작 또는 키 입력부(127)의 동작을 통해 사용자는 상기 표시부(160)에 표시되는 영상에서 ROI를 지정할 수 있다.
상기 204단계와 상기 206단계에서 적어도 하나의 ROI가 추출되면, 상기 ROI 추출부(171)는 상기 추출된 적어도 하나의 ROI의 영상특성의 종류에 해당하는 ISP방법을 상기 메모리(130)에서 추출하는 207단계를 진행한다.
상기 과정을 수행하는 동안 촬영이 선택되면, 상기 제어부(110)는 208단계에서 이를 감지하고 상기 ROI개선부(172)를 통해 상기 추출된 적어도 하나의 ROI를 개선하도록 제어하는 209단계를 진행한다.
상기 209단계에서 상기 ROI개선부(172)는 상기 추출된 적어도 하나의 ROI 각각에 대해 해당 ISP방법을 적용하여, 상기 추출된 적어도 하나의 ROI를 개선한다.
예를 들어, 상기 추출된 ROI의 영상특성의 종류가 얼굴영역 또는/및 객체영역이면, 얼굴 또는/및 객체의 화질을 향상시켜주는 ISP처리방법을 적용한다.
또는 상기 추출된 ROI의 영상특성의 종류가 고주파영역 또는/및 저주파 영역이면, 해당 ROI영역에 대한 주파수 값과 임의 주파수 값을 비교하여 선명도를 위한 sharpening과 노이를 위한 Denoise를 조절하는 해당 ISP방법을 수행한다. 상기 해당 ROI영역에 대한 주파수 값이 임의 주파수 값보다 크면 sharpening은 증가시키고 Denoise는 감소시키며, 상기 해당 ROI영역에 대한 주파수 값이 임의 주파수 값보다 작으면 sharpening은 감소시키고 Denoise는 증가시킨다.
상기 209단계에서 상기 적어도 하나의 ROI에 대한 영상개선이 완료되면, 상기 제어부(110)는 이를 감지하고 상기 합성부(173)를 통해 상기 영상처리부 (150)에서 수신된 영상과 상기 개선된 적어도 하나의 ROI를 합성하도록 제어하는 210단계를 진행한다.
상기 210단계에서 상기 합성부(173)는 상기 영상에서 추출된 적어도 하나의 ROI에 상기 개선된 적어도 하나의 ROI를 합성하기 위해, 개선 전인 상기 영상에서 추출된 적어도 하나의 ROI와 상기 개선된 적어도 하나의 ROI에 경계영역을 설정한다.
상기 경계영역은 상기 두 ROI가 합성되었을 때 발생되는 Artifact를 방지하기 위한 것으로, 상기 경계영역은 도 3과 같이 두 ROI(
Figure 112010005457039-pat00007
)(
Figure 112010005457039-pat00008
)의 상하/좌우의 가장 밖에서 중심으로 일정길이(Fusion_Length)를 가진다. 상기 경계영역은 개선 전인상기 영상에서 추출된 ROI(
Figure 112010005457039-pat00009
)와 상기 개선된 ROI(
Figure 112010005457039-pat00010
)의 밝기 값의 차이에 따라 조절되는 것으로, 상기 두 ROI의 영상의 밝기 값의 차 가 임의 값 보다 크면 상기 경계영역의 길이를 길게 하여 합성할 때 밝기의 차이가 눈에 보이지 않도록 한다. 그리고 상기 두 ROI의 영상의 밝기 값의 차 가 임의 값 보다 작으면 상기 경계영역을 짧게 하여 계산 량을 줄인다. 본 발명의 실시 예에서 상기 경계영역의 길이(Fusion_Length)는 상기 ROI의 1/32 보다 크고, 1/4 보다 작은 값을 가질 수 있다. 본 발명의 실시 예에서 상기 경계영역의 길이는 상기 ROI의 1/32 보다 크고 1/4 보다 작은 값을 가질 수 있다.
상기 합성부(173)는 상기 경계영역이 설정된 두 ROI에 대해서는 하기와 같은 <식 1 >을 통해 합성하고, 나머지 부분에 대해서는 일반적인 합성방법을 수행한다.
< 식 1>
Figure 112010005457039-pat00011

Figure 112010005457039-pat00012
: 0<
Figure 112010005457039-pat00013
<1
Figure 112010005457039-pat00014
: 영상에서 추출된 ROI의 픽셀 값
Figure 112010005457039-pat00015
: 개선된 ROI의 픽셀 값
상기와 같이 합성부(173)는 상기 두 ROI의 영상에 weight(
Figure 112010005457039-pat00016
)값을 서로 다르게 주어 처리하며, 상기 ROI의 영상의 중심으로 갈수록 상기
Figure 112010005457039-pat00017
값을 감소하여 상기 ROI의 영상의 중심으로 갈수록 화질이 좋은 ROI의 영상을 얻을 수 있도록 한다. 상기 weight(
Figure 112010005457039-pat00018
)값의 변화는 간단하게 1차 식, 2차 이상의 다항식으로 구성될 수 있다,
상기 도 4는 상기 경계영역이 설정된 두 ROI에 대해서만 상기 <식 1>을 통해 합성하였을 때 Artifact가 발생하지 않는 것을 도시하고 있다.
상기 210단계를 통해 상기 영상에서 상기 개선된 적어도 하나의 ROI가 합성되면, 상기 제어부(110)는 이를 감지하고 상기 개선된 적어도 하나의 ROI가 합성된 영상을 상기 표시부(160)에 표시하는 211단계를 진행한다.
상술한 본 발명의 설명에서는 휴대 단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.
150: 영상처리부, 170: ROI 처리부, 171: ROI 추출부, 172: ROI개선부, 173: 합성부

Claims (16)

  1. 휴대단말기의 영상 개선장치에 있어서,
    프리뷰모드에서 수신되는 영상에 대해 ISP(Image Signal Processing)를 수행하는 영상처리부와,
    상기 영상처리부에서 수신되는 영상에서 ROI(Region Of Interest)를 추출하고, 상기 추출된 ROI의 영상특성의 종류에 따른 해당 ISP방법을 상기 추출된 ROI의 영상에 적용하며, 상기 해당 ISP방법이 적용된 ROI의 영상을 상기 영상처리부에서 수신된 영상에 합성하여 출력하는 ROI처리부와,
    상기 프리뷰모드에서 상기 영상처리부에서 수신되는 영상에서 ROI를 추출하고, 촬영이 선택되면 상기 추출된 ROI의 영상에 상기 해당 ISP방법을 적용하고, 상기 해당 ISP방법이 적용된 ROI의 영상을 상기 영상처리부에서 수신된 영상에 합성하여 출력하도록 상기 ROI처리부를 제어하는 제어부를 포함하는 것을 특징으로 하는 휴대단말기의 영상 개선장치.
  2. 제1항에 있어서,
    상기 ROI처리부는 상기 영상처리부에 포함될 수 있는 것을 특징으로 하는 휴대단말기의 영상 개선장치.
  3. 제1항에 있어서, 상기 ROI처리부는,
    상기 영상처리부에서 수신되는 상기 영상에서 적어도 하나의 ROI를 추출하고, 상기 추출된 적어도 하나의 ROI의 영상특성의 종류에 따라 해당 ISP 방법을 추출하는 ROI추출부와,
    상기 추출된 적어도 하나의 ROI의 영상에 해당 ISP방법을 적용하는 ROI개선부와,
    상기 해당 ISP방법이 적용된 적어도 하나의 ROI의 영상을 상기 영상처리부에서 수신되는 영상에 합성하는 합성부를 포함하는 것을 특징으로 하는 휴대단말기의 영상 개선장치.
  4. 제3항에 있어서,
    상기 ROI의 영상특성의 종류는 얼굴영역 또는 객체영역 또는 고주파 영역 또는 저주파 영역 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 휴대단말기의 영상 개선장치.
  5. 제3항에 있어서, 상기 ROI추출부는,
    ROI 자동선택모드에 따라, 상기 영상에서 영상특성의 종류에 해당하는 적어도 하나의 ROI를 자동으로 추출하고
    ROI 수동선택모드에 따라, 사용자에 의해 선택된 적어도 하나의 ROI를 추출하는 것을 특징으로 하는 휴대단말기의 영상 개선장치.
  6. 제3항에 있어서, 상기 합성부는
    상기 영상에서 추출된 적어도 하나의 ROI 및 상기 해당 ISP방법이 적용된 적어도 하나의 ROI에 대해 경계영역을 설정하고, 상기 경계영역이 설정된 두 ROI는 하기와 같은 <식 1>을 통해 합성하는 것을 특징으로 하는 휴대단말기의 영상 개선장치.
    < 식 1>
    Figure 112012020586615-pat00019


    y : 두 ROI에 대한 합성 값
    Figure 112012020586615-pat00020
    : 0<
    Figure 112012020586615-pat00021
    <1
    Figure 112012020586615-pat00022
    : 영상에서 추출된 ROI의 픽셀 값
    Figure 112012020586615-pat00023
    : 해당 ISP방법이 적용된 ROI의 픽셀 값
  7. 제6항에 있어서,
    상기 ROI의 중심으로 갈수록 상기
    Figure 112010005457039-pat00024
    값을 감소하는 것을 특징으로 하는 휴대단말기의 영상 개선장치.
  8. 제6항에 있어서,
    상기 경계영역은 상기 영상에서 추출된 ROI와 상기 해당 ISP방법이 적용된 ROI의 밝기 값의 차이에 따라 조절되는 것을 특징으로 하는 휴대단말기의 영상 개선장치.
  9. 제8항에 있어서,
    상기 경계영역의 길이는 상기 ROI의 1/32 보다 크고, 1/4 보다 작은 값을 가지는 것을 특징으로 하는 휴대단말기의 영상 개선장치.
  10. 휴대단말기의 영상 개선방법에 있어서,
    프리뷰모드에서 수신되는 영상에 대해 ISP(Image Signal Processing)를 수행하는 과정과,
    상기 영상에서 ROI(Region Of Interest)를 추출하는 과정과,
    상기 추출된 ROI의 영상특성의 종류에 따른 해당 ISP방법을 상기 추출된 ROI의 영상에 적용하는 과정과,
    상기 해당 ISP방법이 적용된 ROI의 영상을 상기 영상에 합성하여 표시하는 과정으로 포함하는 것을 특징으로 하는 휴대단말기의 영상 개선방법.
  11. 제10항에 있어서, 상기 ROI를 추출하는 과정이,
    ROI 자동선택모드가 선택되면, 상기 영상에서 영상특성의 종류에 해당하는 적어도 하나의 ROI를 자동으로 추출하는 과정과,
    ROI 수동선택모드가 선택되면, 상기 영상에서 사용자에 의해 선택된 영상특성의 종류에 해당하는 적어도 하나의 ROI를 추출하는 과정과,
    상기 추출된 적어도 하나의 ROI의 영상특성의 종류에 따라 해당 ISP방법을 추출하는 과정을 포함하는 것을 특징으로 하는 휴대단말기의 영상 개선방법.
  12. 제11항에 있어서,
    상기 ROI의 영상특성의 종류는 얼굴영역 또는 객체영역 또는 고주파영역 또는 저주파영역 중 적어도 어느 하나인 것을 특징으로 하는 휴대단말기의 영상 개선방법.
  13. 10항에 있어서, 상기 합성하여 표시하는 과정이,
    상기 영상에서 추출된 ROI와 상기 해당 ISP방법이 적용된 ROI에 대한 경계영역을 설정하는 과정과,
    상기 경계영역이 설정된 두 ROI는 하기 <식 1>을 통해 합성하는 과정을 포함하는 것을 특징으로 하는 휴대단말기의 영상 개선방법.
    < 식 1>
    Figure 112012020586615-pat00025


    y : 두 ROI에 대한 합성 값
    Figure 112012020586615-pat00026
    : 0<
    Figure 112012020586615-pat00027
    <1
    Figure 112012020586615-pat00028
    : 영상에서 추출된 ROI의 픽셀 값
    Figure 112012020586615-pat00035
    : 해당 ISP방법이 적용된 ROI의 픽셀 값
  14. 제13항에 있어서,
    상기 ROI의 중심으로 갈수록 상기
    Figure 112010005457039-pat00030
    값을 감소하는 것을 특징으로 하는 휴대단말기의 영상 개선방법.
  15. 제13항에 있어서,
    상기 경계영역은 상기 영상에서 추출된 ROI와 상기 해당 ISP방법이 적용된 ROI의 밝기 값의 차이에 따라 조절되는 것을 특징으로 하는 휴대단말기의 영상 개선방법.
  16. 제15항에 있어서,
    상기 경계영역의 길이는 상기 ROI의 1/32 보다 크고, 1/4 보다 작은 값을 가지는 것을 특징으로 하는 휴대단말기의 영상 개선방법.
KR1020100007157A 2010-01-26 2010-01-26 휴대단말기의 영상 개선장치 및 방법 KR101201620B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100007157A KR101201620B1 (ko) 2010-01-26 2010-01-26 휴대단말기의 영상 개선장치 및 방법
US13/014,301 US8718376B2 (en) 2010-01-26 2011-01-26 Apparatus and method for enhancing image in portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100007157A KR101201620B1 (ko) 2010-01-26 2010-01-26 휴대단말기의 영상 개선장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110087646A KR20110087646A (ko) 2011-08-03
KR101201620B1 true KR101201620B1 (ko) 2012-11-14

Family

ID=44308993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100007157A KR101201620B1 (ko) 2010-01-26 2010-01-26 휴대단말기의 영상 개선장치 및 방법

Country Status (2)

Country Link
US (1) US8718376B2 (ko)
KR (1) KR101201620B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110795B2 (en) * 2002-06-04 2018-10-23 General Electric Company Video system and method for data communication
KR101292115B1 (ko) * 2011-12-13 2013-08-08 자동차부품연구원 차량용 영상 시스템
EP2806374B1 (en) * 2013-05-24 2022-07-06 Tata Consultancy Services Limited Method and system for automatic selection of one or more image processing algorithm
US10163028B2 (en) * 2016-01-25 2018-12-25 Koninklijke Philips N.V. Image data pre-processing
CN108307113B (zh) * 2018-01-26 2020-10-09 北京图森智途科技有限公司 图像采集方法、图像采集控制方法及相关装置
CN111460138B (zh) * 2020-03-02 2021-05-11 广州高新工程顾问有限公司 一种基于bim的数字化工程监理方法与系统
CN114663842B (zh) * 2022-05-25 2022-09-09 深圳比特微电子科技有限公司 图像融合处理方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279397A (ja) * 2005-03-29 2006-10-12 Megachips Lsi Solutions Inc 画像強調装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5630037A (en) * 1994-05-18 1997-05-13 Schindler Imaging, Inc. Method and apparatus for extracting and treating digital images for seamless compositing
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
KR100493702B1 (ko) 2002-10-09 2005-06-02 엘지전자 주식회사 화상통신 시스템 및 그 운용방법
KR100887288B1 (ko) 2004-04-23 2009-03-06 엠텍비젼 주식회사 에지 방향성을 고려하여 이미지의 노이즈를 제거하는 방법 및 장치
KR100764345B1 (ko) 2006-01-18 2007-10-08 주식회사 어니언텍 이동통신망에서의 동영상 화질 개선 방법 및 이를 구현하는장치
US7634108B2 (en) 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
KR100768035B1 (ko) 2006-05-04 2007-10-18 한양대학교 산학협력단 적응적 화질 개선 장치 및 그 방법
KR100808610B1 (ko) 2006-06-13 2008-02-28 중앙대학교 산학협력단 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
KR100947660B1 (ko) 2008-02-25 2010-03-12 김영로 선택적 영역의 독립적 화질 개선 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279397A (ja) * 2005-03-29 2006-10-12 Megachips Lsi Solutions Inc 画像強調装置

Also Published As

Publication number Publication date
US20110182526A1 (en) 2011-07-28
KR20110087646A (ko) 2011-08-03
US8718376B2 (en) 2014-05-06

Similar Documents

Publication Publication Date Title
KR101201620B1 (ko) 휴대단말기의 영상 개선장치 및 방법
US7881549B2 (en) Visual processing device, display device, visual processing method, program, and integrated circuit
JP6024110B2 (ja) 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム
KR101864059B1 (ko) 이동 단말 및 그 촬영 방법
US7860339B2 (en) Visual processing device, visual processing method, visual processing program, intergrated circuit, display device, image-capturing device, and portable information terminal
US7773158B2 (en) Visual processing device, display device, and integrated circuit
US7881550B2 (en) Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
CN109729405B (zh) 视频处理方法、装置、电子设备及存储介质
EP3087730A1 (en) Method for inverse tone mapping of an image
JP2010041336A (ja) 画像処理装置、および画像処理方法
JP4437150B2 (ja) 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
CN109345490B (zh) 一种移动播放端实时视频画质增强方法及系统
WO2013101547A1 (en) Photo extraction from video
US20090304300A1 (en) Display control apparatus and display control method
KR100703290B1 (ko) 특정 영역을 확대하여 촬영하는 방법
US20120170807A1 (en) Apparatus and method for extracting direction information image in a portable terminal
US20130021378A1 (en) Apparatus and method for displaying popup window in portable terminal
WO2010137387A1 (ja) 画像処理装置及びプログラム
US20130242167A1 (en) Apparatus and method for capturing image in mobile terminal
KR20090029454A (ko) 휴대단말기에서 영상데이터 처리 장치 및 방법
US20120099013A1 (en) Apparatus and method for creating dot led image in portable terminal
JP2008113088A (ja) ドアホン装置
KR100827142B1 (ko) 휴대단말기에서 영상 데이터 추출을 위한 장치 및 방법
KR20070001497A (ko) 영상 개선 시스템 및 영상 개선 방법
KR100778924B1 (ko) 차등 적용 필터부를 가지는 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 7