KR101805629B1 - 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치 - Google Patents

영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치 Download PDF

Info

Publication number
KR101805629B1
KR101805629B1 KR1020130051270A KR20130051270A KR101805629B1 KR 101805629 B1 KR101805629 B1 KR 101805629B1 KR 1020130051270 A KR1020130051270 A KR 1020130051270A KR 20130051270 A KR20130051270 A KR 20130051270A KR 101805629 B1 KR101805629 B1 KR 101805629B1
Authority
KR
South Korea
Prior art keywords
image
images
image data
final
generating
Prior art date
Application number
KR1020130051270A
Other languages
English (en)
Other versions
KR20140132141A (ko
Inventor
문영수
이시화
김도형
박현상
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130051270A priority Critical patent/KR101805629B1/ko
Priority to US14/269,559 priority patent/US9525824B2/en
Publication of KR20140132141A publication Critical patent/KR20140132141A/ko
Application granted granted Critical
Publication of KR101805629B1 publication Critical patent/KR101805629B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129—Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

본 발명의 일 실시 예에 따른 영상처리장치는 이미지 센서로부터 영상(image)들이 입력될 때마다 상기 영상들을 누적한 영상 데이터(image data)를 생성하는 어큐뮬레이터(accumulator); 상기 어큐뮬레이터로부터 출력되는 상기 영상 데이터들을 순차적으로 저장하는 메모리; 및 상기 메모리에 저장된 상기 영상 데이터들 중에서 적어도 하나의 영상 데이터를 이용하여 최종 영상을 생성하는 프로세서를 포함한다.

Description

영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치{Method and apparatus for processing image according to a condition of the image}
영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치에 관한 것이다.
이미지 센서에 의해 변환된 영상은 롤링 셔터(rolling shutter) 왜곡, 저조도(low illumination) 노이즈, 모션 블러(motion blur) 또는 역광(backlight) 등을 포함한다. 영상의 화질을 향상시키기 위해서 상기 문제들은 해결하기 위한 연구들이 진행되고 있다.
또한, HDR(high dynamic range) 영상을 생성하기 위해 노출 시간이 서로 다른 영상들을 촬영하고, 노출 시간이 다른 영상들을 이용하여 HDR 영상을 생성함으로써 고대비(high-contrast) 및 고선명(high-resolution) 영상을 생성하는 방법이 사용되고 있다.
영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치를 제공하는 데 있다.
본 발명의 일 실시 예에 따른 영상처리장치는 이미지 센서로부터 영상(image)들이 입력될 때마다 상기 영상들을 누적한 영상 데이터(image data)를 생성하는 어큐뮬레이터(accumulator); 상기 어큐뮬레이터로부터 출력되는 상기 영상 데이터들을 순차적으로 저장하는 메모리; 및 상기 메모리에 저장된 상기 영상 데이터들 중에서 적어도 하나의 영상 데이터를 이용하여 최종 영상을 생성하는 프로세서를 포함한다.
본 발명의 또 다른 실시 예에 따른 영상처리방법은 외부의 신호를 변환하여 생성된 영상들이 입력될 때마다 상기 영상들을 누적한 영상 데이터를 생성하는 단계; 상기 생성된 영상 데이터들을 순차적으로 저장하는 단계; 및 상기 저장된 복수의 영상 데이터들 중에서 적어도 하나의 영상 데이터를 이용하여 최종 영상을 생성하는 단계를 포함한다.
이미지 센서로부터 입력된 영상을 순차적으로 누적한 영상 데이터들을 이용하여, 영상의 상태에 따라 적응적인 영상 처리를 수행할 수 있다.
영상에 포함된 결점들을 분석하고, 분석 결과에 대응하여 복수의 영상 데이터들을 이용함으로써 영상에 포함된 결점들을 제거할 수 있다.
도 1은 영상처리 플랫폼(image processing platform)을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상처리장치를 설명하기 위한 도면이다.
도 3은 본 발명의 또 다른 일 실시 예에 따른 영상처리장치를 설명하기 위한 도면이다.
도 4는 영상처리장치가 생성하는 영상 데이터를 설명하기 위한 도면이다.
도 5는 영상처리장치가 영상의 상태에 따라 적응적으로 영상을 처리하는 것을 설명하기 위한 순서도이다.
도 6은 본 발명의 또 다른 일 실시 예에 따른 영상처리방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 또 다른 일 실시 예에 따른 영상처리방법을 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 영상처리 플랫폼(100, image processing platform)을 설명하기 위한 도면이다. 도 1을 참조하면, 영상처리 플랫폼(100)은 이미지 센서(110, image sensor), 동조기(120, synchronizer), 어큐뮬레이터(130, accumulator), 제어기(140, controller), 메모리(150, memory), 프로세서(160, processor) 및 출력 포맷터(170, output formatter)를 포함한다.
영상처리 플랫폼(100)은 이미지 센서(110)에 입력된 입력 신호에 대해 영상 처리를 수행하여 출력 영상을 생성한다. 예를 들어, 입력 신호는 이미지 센서(110)의 외부에서 입사되는 빛이 될 수 있다. 영상처리 플랫폼(100)은 입력된 영상의 상태에 따라 영상처리 방법을 결정하고, 결정된 방법에 따라 입력 영상을 처리함으로써, 고대비 및 고선명(high-contrast and high-resolution)의 출력 영상을 생성할 수 있다.
영상처리 플랫폼(100)은 입력된 영상의 상태를 분석하여, 입력된 영상의 상태에 따른 영상처리를 수행한다. 예를 들어, 입력된 영상은 역광 영상, 저조도 영상이거나 손떨림이 발생된 영상일 수 있다. 영상처리 플랫폼(100)은 입력된 영상이 어떠한 영상인지 분석하고, 분석 결과에 따라 영상처리 방법을 결정한다. 따라서, 입력된 영상이 어떠한 상태라도, 영상처리 플랫폼(100)은 입력된 영상의 상태에 따른 영상처리를 수행함으로써, 입력된 영상의 화질을 높일 수 있다. 다시 말해서, 입력된 영상에 포함된 결점이 무엇이더라도, 영상처리 플랫폼(100)은 영상의 결점을 판단하고, 결점을 제거한 최종 영상을 생성할 수 있다.
이미지 센서(110)는 외부의 신호를 영상으로 변환한다. 다시 말해서, 이미지 센서(110)는 입력된 신호를 전기적인 신호로 변환하고, 변환된 전기 신호를 이용하여 영상을 생성한다. 예를 들어, 외부의 신호는 빛이 될 수 있다.
이미지 센서(110)로부터 출력된 영상은 손떨림 보정 등이 수행될 수 있다. 손떨림 보정 방법으로는 광학적 영상 안정화(Optical Image Stabilization) 방법과 디지털 영상 안정화(Digital Image Stabilization) 방법이 있다.
이미지 센서(110)는 CCD(Charge Coupled Devive) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 일 수 있다. CMOS의 경우 영상을 촬영 시, 라인(line) 마다 노출 타이밍이 달라 롤링 셔터 현상이 발생한다. 롤링 셔터 현상을 줄이기 위한 방법으로 고속의 프레임율을 갖는 CMOS를 사용할 수 있으며, 고속의 프레임율을 갖는 CMOS를 이용함으로써 라인 사이의 노출 타이밍의 간격을 줄임으로써 롤링 셔터 현상을 줄일 수 있다.
동조기(120)는 주파수의 동기화를 수행한다. 동조기(120)는 이미지 센서(110)와 시스템 버스(system bus) 간의 데이터 처리시 주파수를 일치시킨다.
어큐뮬레이터(130)는 영상을 누적한다. 어큐뮬레이터(130)는 적어도 하나 이상의 영상을 누적하여 영상 데이터를 생성한다. 다시 말해서, 어큐뮬레이터(130)는 영상들을 합하여 누적된 영상을 생성한다.
어큐뮬레이터(130)가 수행하는 기능에 대해서는 도 2 내지 도 4를 통해 상세히 설명한다.
제어기(140)는 영상처리 플랫폼(100)에 포함된 장치들의 동작을 제어한다. 예를 들어, 동조기(120) 또는 어큐뮬레이터(130)의 동작 시간 등을 제어할 수 있다. 또한, 제어기(140)는 어큐뮬레이터(130)가 누적하는 최대 영상의 개수를 결정하여, 어큐뮬레이터(130)가 영상을 누적하는 것을 제어할 수 있다. 또한, 제어기(140)는 메모리(150)를 제어한다.
메모리(150)는 데이터를 저장한다. 예를 들어, 메모리(150)는 어큐뮬레이터(130)에 의해 누적된 영상을 저장할 수 있다. 또한, 메모리(150)는 이미지 센서(110)에 의해 변환된 영상을 저장할 수도 있다. 메모리(150)는 제어기(140)에 의해 제어된다.
프로세서(160)는 영상 데이터에 대한 영상처리를 수행한다. 프로세서(160)가 영상 데이터에 대한 영상처리를 수행하는 것은 도 2 이하에서 상세히 설명한다.
출력 포맷터(170)는 영상 처리된 영상을 영상처리 플랫폼(100)의 외부로 출력한다. 예를 들어, 출력 포맷터(170)는 외부의 디스플레이 장치(미도시) 또는 다른 전자기기(미도시)로 출력 영상을 전송한다.
도 2는 본 발명의 일 실시 예에 따른 영상처리장치(200)를 설명하기 위한 도면이다. 영상처리장치(200)는 어큐뮬레이터(130), 메모리(150) 및 프로세서(160)를 포함한다.
영상처리장치(200)는 입력된 영상의 상태에 따라 적응적으로 영상처리를 수행하여 최종 영상을 출력한다. 입력된 영상은 롤링 셔터 왜곡, 저조도 노이즈 등을 포함할 수 있으며, 영상처리장치(200)는 입력된 영상의 상태를 분석하고, 분석 결과에 기초하여 영상처리를 수행한다. 영상처리장치(200)는 적어도 하나의 영상을 누적한 영상 데이터를 생성할 수 있으며, 영상 데이터를 이용하여 영상처리를 수행할 수 있다.
영상처리장치(200)는 입력 영상의 프레임율과 다른 프레임율을 갖는 최종 영상을 출력한다. 영상처리장치(200)로 입력 영상의 프레임율이 출력되는 최종 영상의 프레임율보다 높은 경우, 영상처리장치(200)는 입력 영상의 프레임율과 최종 영상의 프레임율에 기초하여 입력되는 영상에 대한 영상처리를 수행한다. 예를 들어, 영상처리장치(200)는 입력 영상의 프레임율이 최종 영상의 프레임율보다 높은 경우, 복수의 입력 영상들을 누적하여 하나의 최종 영상을 생성할 수 있다. 이때, 영상처리장치(200)가 누적하는 입력 영상의 개수는 입력 영상의 프레임율을 최종 영상의 프레임율로 나눈 값이 될 수 있다. 프레임율은 단위 시간당 영상의 수를 나타낸다.
어큐뮬레이터(130)는 입력된 영상을 누적한다. 어큐뮬레이터(130)는 영상이 입력될 때마다 영상들을 누적한 영상 데이터를 출력한다. 이 때, 영상 데이터는 2개 이상의 영상들이 누적된 데이터를 나타내며, 경우에 따서 1개의 영상을 영상 데이터로 지칭할 수도 있다. 어큐뮬레이터(130)는 영상이 입력될 때마다 이전까지 누적된 영상 데이터에 현재 입력된 영상을 누적한다.
예를 들어, 어큐뮬레이터(130)는 영상 또는 영상 데이터의 픽셀들 중에서 대응되는 픽셀들의 픽셀값을 합하여 영상 또는 영상 데이터를 누적할 수 있다. 영상 또는 영상 데이터는 복수의 픽셀들로 구분되며, 각 픽셀들은 픽셀값을 갖는다. 만약, 2개의 영상을 누적하는 경우, 어큐뮬레이터(130)는 2개의 영상들의 픽셀들 중에서 동일한 위치의 픽셀의 픽셀값들을 합하여 2개의 영상을 누적할 수 있다.
어큐뮬레이터(130)는 생성된 영상 데이터를 메모리(150)로 출력한다. 어큐뮬레이터(130)는 2개의 영상 또는 영상과 영상 데이터를 누적하여 새로운 영상 데이터를 생성하고, 생성된 영상 데이터를 메모리(150)로 출력한다. 어큐뮬레이터(130)는 다음 영상이 입력되면, 메모리(150)에 가장 최근에 저장된 영상 데이터와 입력된 영상을 누적할 수 있다.
메모리(150)는 영상 또는 영상 데이터를 저장한다. 영상처리장치(200)에 영상이 최초로 입력되면, 어큐뮬레이터(130)는 누적할 영상이 없으므로 입력된 영상을 메모리(150)에 저장한다. 영상처리장치(200)에 2개 이상의 영상이 입력되면, 어큐뮬레이터(130)는 복수의 영상들을 누적하여 영상 데이터를 생성하고, 메모리(150)는 생성된 영상 데이터를 저장한다.
프로세서(160)는 메모리(150)에 저장된 영상 또는 영상 데이터를 이용하여 최종 영상을 생성한다. 예를 들어, 프로세서(160)는 영상 또는 영상 데이터를 합성하여 최종 영상을 생성할 수 있다. 프로세서(160)는 영상 데이터의 일부 픽셀값이 포화된 값을 갖는 경우, 포화된 픽셀값을 영상의 픽셀값으로 대체함으로써 최종 영상을 생성할 수 있다. 프로세서(160)가 최종 영상을 생성하는 과정에 대하여는 도 5를 통하여 이하에서 상세히 설명한다.
프로세서(160)는 영상의 상태에 따라 적응적으로 최종 영상을 생성한다. 영상은 다양한 요인에 따라 결점을 포함할 수 있다. 예를 들어, 외부의 빛의 세기에 따라 밝거나 어두운 영상이 있을 수 있다. 또한, 카메라를 이용하여 영상을 촬영 시, 손떨림 등으로 인하여 대상체가 흔들린 영상이 있을 수 있다. 따라서, 프로세서(160)는 영상이 어떠한 결점을 포함하고 있는지를 분석하고, 분석 결과에 기초하여 결점을 제거한 최종 영상을 생성한다.
이때, 프로세서(160)는 메모리(150)에 저장된 복수의 영상 데이터를 선택적으로 이용할 수 있다. 예를 들어, 영상이 저조도 영상인 경우, 프로세서(160)는 메모리(150)에 저장된 영상 데이터들 중에서 가장 많은 수의 영상이 누적된 영상 데이터를 이용하여 최종 영상을 생성할 수 있다. 또한, 영상이 밝은 영역과 어두운 영역을 동시에 포함하는 영상인 경우, 프로세서(160)는 메모리(150)에 저장된 영상 데이터들 중에서 1장만 누적된 영상과 가장 많은 수의 영상이 누적된 영상 데이터를 합성하여 최종 영상을 생성할 수 있다.
도 3은 본 발명의 또 다른 일 실시 예에 따른 영상처리장치(200)를 설명하기 위한 도면이다. 도 3을 참조하면, 영상처리장치(200)는 메모리(150)와 어큐뮬레이터(130)가 병렬로 연결된다. 도 2에서는 어큐뮬레이터(130)와 메모리(150)가 직렬로 연결되어, 영상처리장치(200)로 입력된 영상은 어큐뮬레이터(130)로 입력되었다. 하지만, 도 3에서는 어큐뮬레이터(130)와 메모리(150)가 병렬로 연결되어 영상처리장치(200)로 입력된 영상은 메모리(150)로 직접 입력될 수 있고, 메모리(150)에 저장된 영상은 어큐뮬레이터(130)로 출력될 수 있다.
영상처리장치(200)에 최초로 영상이 입력되면, 최초로 입력된 영상은 메모리(150)에 직접 저장된다. 영상처리장치(200)에 다음 영상이 입력되면, 어큐뮬레이터(130)로 입력되고, 어큐뮬레이터(130)는 메모리(150)에 저장된 최초로 입력된 영상과 현재 입력된 영상을 합하여 영상 데이터를 생성한다. 어큐뮬레이터(130)는 생성된 영상 데이터를 메모리(150)에 저장한다.
도 4는 영상처리장치(200)가 생성하는 영상 데이터를 설명하기 위한 도면이다. 도 4를 참조하면, 도 4는 이미지 센서(110)가 생성하는 복수의 영상들 및 메모리(150)에 저장되는 복수의 영상 데이터들(410 내지 440)을 도시한다. 이미지 센서(110)는 K개의 영상을 생성하며, 메모리(150)는 K장의 영상을 누적한 영상 데이터를 저장한다. 메모리(150)는 제1 내지 제K 영상 데이터들(410 내지 440)을 모두 저장한다.
제1 영상 데이터(410)는 이미지 센서(110)가 생성한 영상(#0)을 나타낸다. 제2 영상 데이터(420)는 영상(#0)과 영상(#1)을 합한 영상 데이터를 나타낸다. 제3 영상 데이터(430)는 영상(#0) 내지 영상(#2)을 합한 영상 데이터를 나타낸다. 제K 영상 데이터(440)는 영상(#0) 내지 영상(#K-1)을 모두 합한 영상 데이터를 나타낸다.
도 5는 영상처리장치(200)가 영상의 상태에 따라 적응적으로 영상을 처리하는 것을 설명하기 위한 도면이다. 도 5를 참조하면, 영상처리장치(200)가 영상의 상태를 분석 또는 판단하여, 최종 영상을 생성할 때 필요한 영상 데이터를 결정한다. 구체적으로, 영상처리장치(200)의 프로세서(160)가 최종 영상을 생성하는 과정을 수행할 수 있다.
프로세서(160)는 영상의 상태를 분석한다. 프로세서(160)는 영상이 역광 영상, 저조도 영상 등인지 여부를 판단한다. 도 5에서는 역광 영상 또는 저조도 영상의 경우만을 설명하고 있으나, 영상이 다른 결점을 포함하는 경우에도 각 결점에 대해 설정된 기준에 따라 영상을 분류할 수 있다.
역광 영상인지 여부를 판단하는 경우를 예를 들어 설명하면, 프로세서(160)는 제K 영상 데이터(440)의 픽셀값들을 분석하여 역광 영상인지를 결정한다. 예를 들어, 프로세서(160)는 제K 영상 데이터(440)의 픽셀값들 중에서 포화된 픽셀값을 갖는 픽셀이 있는지 판단한다. 만약, 포화된 픽셀값을 갖는 픽셀의 수가 미리 설정된 임계값보다 큰 경우, 프로세서(160)는 영상을 역광 영상으로 결정할 수 있다. 즉, 역광으로 인하여 영상의 일부 영역의 픽셀값들이 포화되는 경우, 영상은 역광 영상으로 결정된다. 역광 영상인지 여부를 판단하는 방법은 상기 방법 이외에 다양한 방법이 이용될 수 있으며, 상기 방법에 한정되는 것은 아니다. 프로세서(160)는 역광 영상에 해당하는지 여부를 판단하는 복수의 조건들을 설정할 수 있으며, 영상이 복수의 조건들 중 어느 하나에 해당하면 영상이 역광 영상에 해당한다고 결정할 수 있다.
저조도 영상인지 여부를 판단하는 경우를 예를 들어 설명하면, 프로세서(160)는 제1 영상 데이터(410)의 평균 픽셀값이 미리 설정된 임계값보다 작은지 여부를 판단한다. 만약, 제1 영상 데이터(410)의 평균 픽셀값이 미리 설정된 임계값보다 작은 경우, 프로세서(160)는 영상을 저조도 영상으로 결정할 수 있다. 저조도 영상인지 여부를 판단하는 방법은 상기 방법 이외에 다양한 방법이 이용될 수 있으며, 상기 방법에 한정되는 것은 아니다. 프로세서(160)는 저조도 영상에 해당하는지 여부를 판단하는 복수의 조건들을 설정할 수 있으며, 영상이 복수의 조건들 중 어느 하나에 해당하면 영상이 저조도 영상에 해당한다고 결정할 수 있다.
또한, 프로세서(160)는 HDR 또는 WDR 영상을 생성하도록 요청이 있었는지 여부를 판단한다. 프로세서(160)는 HDR 또는 WDR 영상의 생성 요청이 있는 경우, 미리 설정된 알고리즘에 따라 HDR 또는 WDR 영상을 생성한다. 예를 들어, HDR 영상의 생성 요청이 있는 경우, 프로세서(160)는 메모리에 저장된 제1 내지 제K 영상 데이터들(410 내지 440)를 모두 이용하여 HDR 영상을 생성한다.
프로세서(160)는 제1 내지 제K 영상 데이터들(410 내지 440) 중에서 최종 영상을 생성 시 필요한 영상 데이터를 결정한다. 프로세서(160)는 영상의 상태에 따라 최종 영상의 생성에 필요한 영상 데이터를 결정할 수 있다. 예를 들어, 영상이 역광 영상으로 판단된 경우, 프로세서(160)는 제1 영상 데이터(410)와 제K 영상 데이터(440)를 선택한다. 또는, 영상이 저조도 영상으로 판단된 경우, 프로세서(160)는 제K 영상 데이터(440)를 선택한다.
프로세서(160)는 선택된 영상 데이터를 이용하여 영상에 포함된 결점을 제거함으로써 최종 영상을 생성한다. 예를 들어, 저조도 영상의 경우, 프로세서(160)는 제K 영상 데이터를 선택할 수 있으며, 제K 영상 데이터는 K장의 영상이 누적된 영상이므로 1장의 영상에 비해 높은 조도를 갖는 영상 데이터이다. 따라서, 프로세서(160)는 제K 영상 데이터(440)를 최종 영상으로 출력함으로써 밝은 영상을 출력할 수 있다. 일반적으로, 낮은 조도 환경에서는 이미지 센서(110)의 노출 시간을 길게 함으로써, 밝은 영상을 생성하지만, 노출 시간이 길어질수록 대상체의 움직임에 의한 노이즈가 발생할 확률이 높다. 하지만, 제K 영상 데이터(440)는 짧은 노출 시간을 갖는 영상들이 누적된 데이터이므로, 대상체의 움직임에 의한 노이즈는 노출 시간이 상대적으로 긴 영상보다 적다. 결론적으로, 프로세서(160)는 제K 영상 데이터(440)를 출력함으로써, 움직임에 의한 노이즈는 적고 밝은 영상을 출력할 수 있다.
또 다른 예로, 역광 영상의 경우, 프로세서(160)는 제1 및 제K 영상 데이터를 선택할 수 있다. 프로세서(160)는 제K 영상 데이터에서 역광으로 인하여 포화된 픽셀값을 갖는 픽셀들의 픽셀값을 제1 영상 데이터의 픽셀값으로 대체함으로써, 역광으로 인한 결점을 제거한다. 프로세서(160)는 제K 영상 데이터에서 포화된 픽셀값을 제1 영상 데이터에서 동일한 위치의 픽셀들의 픽셀값들로 대체한다. 제1 영상 데이터의 경우, 짧은 노출 시간 동안 생성된 영상 데이터이므로 역광에 의한 영향이 적다. 따라서, 프로세서(160)는 제1 영상 데이터의 픽셀값을 이용하여 제K 영상 데이터의 결정을 제거할 수 있다.
도 6은 본 발명의 또 다른 일 실시 예에 따른 영상처리방법을 설명하기 위한 순서도이다. 도 6을 참조하면, 영상처리방법은 도 2 또는 3에 도시된 영상처리장치(200)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 영상처리장치(200)에 관하여 이상에서 기술된 내용은 도 6의 영상처리방법에도 적용된다. 영상처리장치(200)가 입력된 영상을 처리하는 방법은 다음과 같은 단계들로 구성된다.
610단계에서, 영상처리장치(200)는 외부의 신호를 변환하여 생성된 영상들이 입력될 때마다 상기 영상들을 누적한 영상 데이터를 생성한다. 영상처리장치(200)는 첫 번째 영상이 입력되면, 누적할 영상이 없으므로 입력된 영상을 메모리(150)에 저장한다. 두 번째 영상이 입력되면, 영상처리장치(200)는 첫 번째 영상과 두 번째 영상을 합하여 영상 데이터를 생성한다. 영상처리장치(200)는 K 번째 영상이 입력될 때까지 영상이 입력될 때마다 영상들을 누적하여 영상 데이터를 생성한다.
620단계에서, 영상처리장치(200)는 생성된 복수의 영상 데이터들을 순차적으로 저장한다. 영상처리장치(200)는 영상이 입력될 때마다 생성되는 영상 데이터들을 저장한다. 순차적으로 저장되는 영상 데이터들은 서로 다른 수의 영상이 누적된 데이터이다.
630단계에서, 영상처리장치(200)는 저장된 복수의 영상 데이터들 중에서 적어도 하나의 영상 데이터를 이용하여 최종 영상을 생성한다.
도 7은 본 발명의 또 다른 일 실시 예에 따른 영상처리방법을 설명하기 위한 흐름도이다. 도 7을 참조하면, 영상처리방법은 도 2 또는 3에 도시된 영상처리장치(200)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 영상처리장치(200)에 관하여 이상에서 기술된 내용은 도 6의 영상처리방법에도 적용된다. 영상처리장치(200)가 입력된 영상을 처리하는 방법은 다음과 같은 단계들로 구성된다.
710단계에서, 영상처리장치(200)는 n을 1로 설정한다. n은 누적되는 영상을 카운트(count)하기 위한 변수이다.
720단계에서, 영상처리장치(200)는 영상을 수신한다. 영상은 이미지 센서(110)로부터 수신된다.
730단계에서, 영상처리장치(200)는 n=1로 설정된 이후 수신된 영상들을 합하여 영상 데이터를 생성한다. 예를 들어, 영상처리장치(200)는 n=1로 설정된 이후 수신된 영상이 3개 인 경우, 3개의 영상이 누적된 영상 데이터를 생성한다. 또한, n=K가 되어 n=1로 재설정되면, 영상처리장치(200)는 n=1로 재설정된 이후에 입력된 영상들을 누적하여 영상 데이터를 생성한다.
740단계에서, 영상처리장치(200)는 생성된 영상 데이터를 메모리에 저장한다. 메모리(150)는 영상 데이터가 생성될 때마다 영상 데이터를 저장한다.
750단계에서, 영상처리장치(200)는 n이 K와 같은지 판단한다. 만약, n이 K와 같으면, 770단계로 진행하여 영상처리장치(200)는 최종 영상을 생성한다. 만약, n이 K와 같이 않으면, 760단계로 진행하여 n은 1 증가되고 720단계로 진행한다. 따라서, n=K가 될 때까지 n은 1씩 증가한다.
770단계에서, 영상처리장치(200)는 K개의 영상이 누적되어 생성된 영상 데이터를 1/K 배 곱하여 최종 영상을 생성할 수 있다. 또한, 영상처리장치(200)는 1개의 영상이 누적된 영상 데이터와 K개의 영상이 누적되어 생성된 영상 데이터를 합성하여 최종 영상을 생성할 수 있다. 770단계가 종료되면, 710단계로 진행하여 n은 1로 재설정된다. 영상처리장치(200)는 720 내지 770단계를 반복하여 수신되는 영상들에 대해 상기 과정을 반복한다.
도 7에서 설정된 K의 값은 이미지 센서(110)의 프레임율과 영상처리장치(200)의 프레임율에 따라 결정될 수 있다. 고속의 프레임율을 갖는 이미지 센서(110)는 단위 시간당 생성하는 영상이 영상처리장치(200)에서 단위 시간당 출력되는 영상에 비하여 더 많다. 따라서, 영상처리장치(200)는 높은 프레임율로 입력되는 영상들을 누적하여 출력함으로써 입력 영상 및 출력 영상의 비율을 조절할 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)를 포함한다.
130: 어큐뮬레이터
150: 메모리
160: 프로세서
200: 영상처리장치

Claims (17)

  1. 이미지 센서로부터 영상(image)들이 입력될 때마다 상기 영상들을 누적한 영상 데이터(image data)를 생성하는 어큐뮬레이터(accumulator);
    상기 어큐뮬레이터로부터 출력되는 상기 영상 데이터들을 순차적으로 저장하는 메모리; 및
    상기 메모리에 저장된 상기 영상 데이터들 중에서 적어도 하나의 영상 데이터를 이용하여 최종 영상을 생성하는 프로세서를 포함하고,
    상기 프로세서는 상기 이미지 센서로부터 입력된 영상이 역광 영상인지 여부를 판단하고,
    상기 영상이 역광 영상인 경우, 상기 영상 데이터들 중에서 1장의 영상이 누적되어 생성된 영상 데이터 및 상기 영상들이 최대로 누적되어 생성된 영상 데이터를 이용하여 상기 최종 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  2. 제 1 항에 있어서,
    상기 어큐뮬레이터가 누적하는 최대 영상의 개수는 상기 이미지 센서의 프레임율(fame-rate) 및 상기 영상처리장치에서 출력되는 최종 영상의 프레임율의 비율에 기초하여 결정되는 것을 특징으로 하는 영상처리장치.
  3. 제 2 항에 있어서,
    상기 최대 영상의 개수는 상기 이미지 센서의 프레임율을 상기 영상처리장치에서 출력되는 영상의 프레임율로 나눈 값인 것을 특징으로 하는 영상처리장치.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 영상들의 상태를 분석하고, 분석 결과에 기초하여 상기 최종 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 영상들의 상태를 분석하고, 분석 결과에 기초하여 상기 영상 데이터들 중에서 적어도 하나의 영상 데이터를 이용하여 상기 최종 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  6. 제 1 항에 있어서,
    상기 프로세서는 상기 이미지 센서로부터 입력된 영상이 저조도 영상인지 여부를 판단하고,
    상기 영상이 저조도 영상인 경우, 상기 영상 데이터들 중에서 상기 영상들이 최대로 누적되어 생성된 영상 데이터를 이용하여 상기 최종 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 프로세서는 상기 메모리에 저장된 영상 데이터들 중에서 1장의 상기 영상이 누적된 영상 데이터 및 상기 영상들이 최대로 누적되어 생성된 영상 데이터를 합성하여 하이 다이나믹 레인지(High Dynamic Range) 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  9. 제 1 항에 있어서,
    상기 프로세서는 상기 이미지 센서로부터 출력된 영상에 대해 손떨림 보정을 수행하여 상기 보정된 영상을 상기 어큐뮬레이터로 출력하는 것을 특징으로 하는 영상처리장치.
  10. 외부의 신호를 변환하여 생성된 영상들이 입력될 때마다 상기 영상들을 누적한 영상 데이터를 생성하는 단계;
    상기 생성된 영상 데이터들을 순차적으로 저장하는 단계; 및
    상기 저장된 복수의 영상 데이터들 중에서 적어도 하나의 영상 데이터를 이용하여 최종 영상을 생성하는 단계를 포함하고,
    상기 최종 영상을 생성하는 단계는,
    상기 영상이 역광 영상인지 여부를 판단하고, 상기 영상이 역광 영상인 경우, 상기 영상 데이터들 중에서 1장의 영상이 누적되어 생성된 영상 데이터 및 상기 영상들이 최대로 누적되어 생성된 영상 데이터를 이용하여 상기 최종 영상을 생성하는 것을 특징으로 하는 영상처리방법.
  11. 제 10 항에 있어서,
    상기 영상 데이터를 생성하는 단계는,
    상기 입력되는 영상들의 프레임율과 상기 최종 영상의 프레임율에 기초하여 상기 영상들을 누적하는 최대 영상의 개수가 결정되는 것을 특징으로 하는 영상처리방법.
  12. 제 11 항에 있어서,
    상기 최대 영상의 개수는 상기 입력되는 영상들의 프레임율을 상기 최종 영상의 프레임율로 나눈 값인 것을 특징으로 하는 영상처리방법.
  13. 제 10 항에 있어서,
    상기 최종 영상을 생성하는 단계는,
    상기 영상들의 상태를 분석하고, 분석 결과에 기초하여 상기 최종 영상을 생성하는 것을 특징으로 하는 영상처리방법.
  14. 제 10 항에 있어서,
    상기 최종 영상을 생성하는 단계는,
    상기 영상들의 상태를 분석하고, 분석 결과에 기초하여 상기 영상 데이터들 중에서 적어도 하나의 영상 데이터를 이용하여 상기 최종 영상을 생성하는 것을 특징으로 하는 영상처리방법.
  15. 제 10 항에 있어서,
    상기 최종 영상을 생성하는 단계는,
    상기 영상이 저조도 영상인지 여부를 판단하고, 상기 영상이 저조도 영상인 경우, 상기 영상 데이터들 중에서 상기 영상들이 최대로 누적되어 생성된 영상 데이터를 이용하여 상기 최종 영상을 생성하는 것을 특징으로 하는 영상처리방법.
  16. 삭제
  17. 제 10 항에 있어서,
    상기 최종 영상을 생성하는 단계는,
    상기 영상 데이터들 중에서 1장의 상기 영상이 누적된 영상 데이터 및 상기 영상들이 최대로 누적되어 생성된 영상 데이터를 합성하여 하이 다이나믹 레인지(High Dynamic Range) 영상을 생성하는 것을 특징으로 하는 영상처리방법.


KR1020130051270A 2013-05-07 2013-05-07 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치 KR101805629B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130051270A KR101805629B1 (ko) 2013-05-07 2013-05-07 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치
US14/269,559 US9525824B2 (en) 2013-05-07 2014-05-05 Method and apparatus for processing image according to image conditions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130051270A KR101805629B1 (ko) 2013-05-07 2013-05-07 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140132141A KR20140132141A (ko) 2014-11-17
KR101805629B1 true KR101805629B1 (ko) 2017-12-07

Family

ID=51864523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130051270A KR101805629B1 (ko) 2013-05-07 2013-05-07 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치

Country Status (2)

Country Link
US (1) US9525824B2 (ko)
KR (1) KR101805629B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6137936B2 (ja) * 2013-05-10 2017-05-31 オリンパス株式会社 撮影機器，画像処理装置及び画像補正方法
KR102207633B1 (ko) * 2014-11-27 2021-01-26 삼성전자주식회사 촬영 장치 및 그 제어 방법
JP6887853B2 (ja) * 2017-04-03 2021-06-16 キヤノン株式会社 撮像装置、その制御方法、プログラム
JP7164730B2 (ja) * 2019-09-24 2022-11-01 株式会社日立国際電気 カメラおよびカメラの制御方法
CN112634160A (zh) * 2020-12-25 2021-04-09 北京小米松果电子有限公司 拍照方法及装置、终端、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000358190A (ja) * 1990-10-08 2000-12-26 Olympus Optical Co Ltd 画像入力装置の露光制御回路
JP2012209951A (ja) * 2007-04-18 2012-10-25 Panasonic Corp 撮像装置、撮像方法、集積回路およびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136101B2 (en) * 2001-12-24 2006-11-14 Hewlett-Packard Development Company, L.P. Use-controlled exposure method and system with visual feedback
US8698924B2 (en) * 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US7345688B2 (en) 2004-10-18 2008-03-18 Microsoft Corporation Semantic thumbnails
WO2007017835A2 (en) * 2005-08-08 2007-02-15 Joseph Rubner Adaptive exposure control
JP4979969B2 (ja) * 2006-04-03 2012-07-18 三星電子株式会社 撮像装置および撮像方法
JP4483841B2 (ja) * 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
JP2009017078A (ja) * 2007-07-03 2009-01-22 Fujifilm Corp ディジタル・スチル・カメラおよびその動作制御方法
JP2009049547A (ja) * 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム
JP5346498B2 (ja) 2008-06-10 2013-11-20 キヤノン株式会社 画像処理装置および画像処理方法
US8326662B1 (en) 2008-06-18 2012-12-04 Overstock.Com, Inc. Positioning E-commerce product related to graphical imputed consumer demand
CN101635764A (zh) 2008-07-23 2010-01-27 鸿富锦精密工业（深圳）有限公司 移动设备及其输入界面显示方法
KR101495172B1 (ko) 2008-07-29 2015-02-24 엘지전자 주식회사 이동단말기 및 그의 이미지 제어방법
US8062693B2 (en) 2008-09-22 2011-11-22 Sunpower Corporation Generation of contact masks for inkjet printing on solar cell substrates
US9165302B2 (en) 2008-09-29 2015-10-20 Apple Inc. System and method for scaling up an image of an article displayed on a sales promotion web page
TWI464706B (zh) * 2009-03-13 2014-12-11 Micro Star Int Co Ltd 以單張影像模擬高動態範圍之暗部曝光補償方法及其應用該方法的影像處理裝置
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
WO2010123923A1 (en) * 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
CN102117188A (zh) 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 打印系统及打印方法
US20110221766A1 (en) 2010-03-09 2011-09-15 Designmade Co., Ltd. Method for printing a captured screen of web pages
US8699821B2 (en) * 2010-07-05 2014-04-15 Apple Inc. Aligning images
JP5661351B2 (ja) * 2010-07-05 2015-01-28 キヤノン株式会社 撮像装置
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
US20130176458A1 (en) * 2012-01-11 2013-07-11 Edwin Van Dalen Flexible Burst Image Capture System
US8965120B2 (en) * 2012-02-02 2015-02-24 Canon Kabushiki Kaisha Image processing apparatus and method of controlling the same
JP6046905B2 (ja) * 2012-04-02 2016-12-21 キヤノン株式会社 撮像装置、露出制御方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000358190A (ja) * 1990-10-08 2000-12-26 Olympus Optical Co Ltd 画像入力装置の露光制御回路
JP2012209951A (ja) * 2007-04-18 2012-10-25 Panasonic Corp 撮像装置、撮像方法、集積回路およびプログラム

Also Published As

Publication number Publication date
KR20140132141A (ko) 2014-11-17
US20140333801A1 (en) 2014-11-13
US9525824B2 (en) 2016-12-20

Similar Documents

Publication Publication Date Title
US9210333B2 (en) Image capturing apparatus for generating composite image and control method thereof
KR101805629B1 (ko) 영상의 상태에 따라 적응적인 영상 처리를 위한 방법 및 장치
US9344640B2 (en) Imaging device, integrated circuit, and flicker reduction method
JP5417746B2 (ja) 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法
US9832382B2 (en) Imaging apparatus and imaging method for outputting image based on motion
WO2016129405A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN104380710A (zh) 闪烁减少装置、拍摄装置以及闪烁减少方法
CN108833801B (zh) 基于图像序列的自适应运动检测方法
US11863873B2 (en) Image capturing apparatus, method of controlling image capturing apparatus, and storage medium
JP6124506B2 (ja) 撮像装置及び撮像方法
JP4879363B1 (ja) 画像処理システム
JP2020071809A (ja) 画像処理装置および画像処理方法
JP5882759B2 (ja) 撮像装置、その制御方法、および制御プログラム
KR101477505B1 (ko) 하이 다이나믹 레인지 영상 형성 방법
JP5621335B2 (ja) 画像処理装置及び画像処理方法、並びに画像撮像装置
JP2007158964A (ja) 画像処理装置および撮像装置
US9007491B2 (en) Image processing apparatus and control method thereof
US20180352153A1 (en) Image processing apparatus that generates evaluation value for evaluating luminance of image data, image capturing apparatus, method for processing image, and program
JP4322258B2 (ja) ノイズ処理装置および撮像装置
US8957995B2 (en) Image processing apparatus and control method thereof
JP5721552B2 (ja) 撮像装置および画像合成方法
JP7117532B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011097335A (ja) 信号処理装置及び撮像装置
JP6660270B2 (ja) フリッカー補正装置
KR20240016331A (ko) 픽셀 데이터 처리 방법, 대응하는 장치 및 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right