KR102632193B1 - 광 레벨 적응 필터 및 방법 - Google Patents

광 레벨 적응 필터 및 방법 Download PDF

Info

Publication number
KR102632193B1
KR102632193B1 KR1020187021487A KR20187021487A KR102632193B1 KR 102632193 B1 KR102632193 B1 KR 102632193B1 KR 1020187021487 A KR1020187021487 A KR 1020187021487A KR 20187021487 A KR20187021487 A KR 20187021487A KR 102632193 B1 KR102632193 B1 KR 102632193B1
Authority
KR
South Korea
Prior art keywords
pixel
noise
signal level
frame
filter
Prior art date
Application number
KR1020187021487A
Other languages
English (en)
Other versions
KR20180100150A (ko
Inventor
맥스 제이 트레조
제프리 엠 디카를로
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority to KR1020247003174A priority Critical patent/KR20240017978A/ko
Publication of KR20180100150A publication Critical patent/KR20180100150A/ko
Application granted granted Critical
Publication of KR102632193B1 publication Critical patent/KR102632193B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G06T5/70—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

시스템은 이미지 센서, 이미징 파이프라인, 및 디스플레이 디바이스를 포함한다. 이미지 센서는 픽셀 데이터의 제1 프레임을 캡처하도록 구성된다. 이미징 파이프라인은 픽셀 데이터의 제1 프레임을 수신하기 위해 이미지 센서에 결합된다. 이미징 파이프라인은 적응 잡음 필터를 포함한다. 적응 잡음 필터는 픽셀을 픽셀에서의 잡음에 기초하여 필터링하도록 구성된다. 이미징 파이프라인은 픽셀 데이터의 제2 프레임을 출력하도록 구성된다. 픽셀 데이터의 제2 프레임은 적응 잡음 필터에 의해 필터링된 픽셀들을 포함한다. 디스플레이 디바이스는 픽셀 데이터의 제2 프레임을 수신하기 위해 이미징 파이프라인에 결합된다. 디스플레이 디바이스는 픽셀 데이터의 제2 프레임을 디스플레이하도록 구성된다.

Description

광 레벨 적응 필터 및 방법
관련 출원들
이 특허 출원은 2016년 1월 29일자로 출원된, 발명의 명칭이 "LIGHT LEVEL ADAPTIVE FILTER AND METHOD"인 미국 가특허 출원 제62/288,956호 - 참조에 의해 그 전체가 본 명세서에 원용됨 - 에 대한 우선권 및 그의 출원일의 이익을 주장한다.
발명의 분야
본 발명은 일반적으로 컴퓨터 보조 수술 시스템에 대한 이미지 파이프라인들에 관한 것이며, 보다 상세하게는 이미지 파이프라인들에서 사용되는 적응 필터들에 관한 것이다.
수술 시스템(100)은 내시경 이미징 시스템(192), 외과의 콘솔(194)(마스터), 및 환자측 지지 시스템(110)(슬레이브) - 모두가 유선(전기 또는 광학) 또는 무선 연결(196)에 의해 상호연결됨 - 을 포함하는 컴퓨터 보조 수술 시스템이다. 하나 이상의 전자 데이터 프로세서가 시스템 기능을 제공하기 위해 이 주요 컴포넌트들에 다양하게 위치될 수 있다. 예들은, 참조에 의해 본 명세서에 원용되는, 미국 특허 출원 공보 제US 2008/0065105 A1호에 개시되어 있다.
환자측 지지 시스템(110)은 엔트리 가이드 머니퓰레이터(entry guide manipulator)(130)를 포함한다. 적어도 하나의 수술 디바이스 어셈블리는 엔트리 가이드 머니퓰레이터(130)에 결합된다. 각각의 수술 디바이스 어셈블리는 수술 기구 또는 이미지 캡처 유닛 중 어느 하나를 차례로 포함하는 기구를 포함한다. 예를 들어, 도 1에서, 하나의 수술 디바이스 어셈블리는 외과적 시술(surgical procedure) 동안 엔트리 가이드(115)를 통해 연장되는, 샤프트(137-1) 및 이미지 캡처 유닛을 갖는 기구(135-1)를 포함한다. 기구(135-1)는 때로는 내시경이라고, 또는 대안적으로 이미징 시스템 디바이스 또는 카메라 기구라고 지칭된다. 전형적으로, 엔트리 가이드(115)는 복수의 채널을 포함한다.
이미징 시스템(192)은, 예컨대, 수술 부위의 캡처된 내시경 이미징 데이터 및/또는 환자 외부의 다른 이미징 시스템들로부터의 수술전 또는 실시간 이미지 데이터에 대해 이미지 프로세싱 기능들을 수행한다. 이미징 시스템(192)은 프로세싱된 이미지 데이터(예컨대, 수술 부위의 이미지들은 물론, 관련 제어 및 환자 정보)를 외과의 콘솔(194)에서 외과의에게 출력한다. 일부 양태들에서, 프로세싱된 이미지 데이터는 다른 수술실 의료인들(operating room personnel)에게 보이는 임의적 외부 모니터에 또는 수술실에서 멀리 떨어진 하나 이상의 장소에 출력된다(예컨대, 다른 장소에 있는 외과의가 비디오를 모니터링할 수 있고; 라이브 피드 비디오가 훈련을 위해 사용될 수 있으며; 기타임).
외과의 콘솔(194)은 외과의가, 슬레이브들이라고 통칭되는, 기구들, 엔트리 가이드(들), 및 이미징 시스템 디바이스들을 조작하는 것을 가능하게 하는 다중 자유도(degrees-of-freedom)("DOF") 기계식 입력 디바이스들("마스터들")을 포함한다. 이 입력 디바이스들은, 일부 양태들에서, 기구들 및 수술 디바이스 어셈블리 컴포넌트들로부터의 햅틱 피드백을 외과의에게 제공할 수 있다. 외과의 콘솔(194)은 또한 디스플레이 상의 이미지들이 일반적으로 디스플레이 화면 뒤에서/아래에서 작업하는 외과의의 손들에 대응하는 거리에 포커싱되도록 배치된 입체 비디오 출력 디스플레이를 포함한다. 이 양태들은, 참조에 의해 본 명세서에 원용되는, 미국 특허 제6,671,581호에서 보다 충분히 논의된다.
기구들의 삽입 동안의 제어는, 예를 들어, 외과의가 마스터들 중 하나 또는 둘 다를 사용하여 이미지에 제시되는 기구들을 움직이는 것에 의해 달성될 수 있으며; 외과의는, 이미지에서의 기구를 좌우로 움직이고 기구를 외과의 쪽으로 당기기 위해, 마스터들을 사용한다. 마스터들의 움직임은 출력 디스플레이 상의 고정 중심점 쪽으로 스티어링하고 환자 내부로 전진하라고 이미징 시스템 및 연관된 수술 디바이스 어셈블리에 명령한다.
일 양태에서, 카메라 제어는 이미지가 마스터 핸들(master handle)들이 움직이게 되는 것과 동일한 방향으로 움직이도록 마스터들이 이미지에 고정되어 있다는 인상을 주도록 설계된다. 이 설계는 외과의가 카메라 제어를 종료할 때 마스터들로 하여금 기구들을 제어하기 위한 올바른 위치에 있게 하고, 결과적으로 이 설계는 기구 제어를 시작 또는 재개하기 전에, 마스터들을 다시 제자리로 가게 클러치(clutch)(디스인게이지(disengage)), 이동, 및 디클러치(declutch)(인게이지(engage))시킬 필요가 없게 한다.
환자측 지지 시스템(110)의 베이스(base)(101)는 수동 비제어 셋업 암 어셈블리(passive, uncontrolled setup arm assembly)(120) 및 능동 제어 머니퓰레이터 암 어셈블리(actively controlled manipulator arm assembly)(130)를 포함하는 암 어셈블리(arm assembly)를 지지한다. 능동 제어 머니퓰레이터 암 어셈블리(130)는 때때로 엔트리 가이드 머니퓰레이터(130)라고 지칭된다. 때때로 플랫폼(132)이라고 지칭되는, 엔트리 가이드 머니퓰레이터 어셈블리 플랫폼(132)은 제4 머니퓰레이터 링크(manipulator link)(119)의 원위 단부(distal end)에 결합된다. 엔트리 가이드 머니퓰레이터 어셈블리(133)는 플랫폼(132) 상에 회전가능하게 마운팅된다. 화살표(190)는 원위 및 근위 방향들을 나타낸다.
엔트리 가이드 머니퓰레이터 어셈블리(133)는 기구 머니퓰레이터 포지셔닝 시스템(instrument manipulator positioning system)을 포함한다. 엔트리 가이드 머니퓰레이터 어셈블리(133)는 복수의 기구 머니퓰레이터(140-1, 140-2)를 한 그룹으로서 축(125)을 중심으로 회전시킨다.
복수의 기구 머니퓰레이터(140-1, 14-2) 각각은 상이한 삽입 어셈블리(136)에 의해 엔트리 가이드 머니퓰레이터 어셈블리(133)에 결합된다. 일 양태에서, 각각의 삽입 어셈블리(136)는 대응하는 기구 머니퓰레이터를 엔트리 가이드 머니퓰레이터 어셈블리(133)로부터 멀어지게 그리고 그 쪽으로 이동시키는 텔레스코핑 어셈블리(telescoping assembly)이다. 도 1에서, 삽입 어셈블리들 각각은 완전히 수축된 포지션(fully retracted position)에 있다.
복수의 기구 머니퓰레이터 어셈블리(140-1, 140-2) 각각은 그 기구 머니퓰레이터의 출력 인터페이스에서 복수의 출력을 구동하는 복수의 모터를 포함한다. 기구 머니퓰레이터 및 기구 머니퓰레이터에 결합될 수 있는 수술 기구의 일 예에 대한, 참조에 의해 원용되는, 미국 특허 출원 제61/866,115호(2013년 8월 15일에 출원됨)를 참조한다.
복수의 수술 디바이스 어셈블리(180) 각각은 복수의 기구 머니퓰레이터 어셈블리의 상이한 것과 수술 기구 및 이미지 캡처 유닛 중 하나를 포함하는 기구를 포함한다. 기구들(135-1, 135-2) 각각은 변속기 유닛(transmission unit)을 하우징하는 보디를 포함한다. 변속기 유닛은 복수의 입력을 포함하는 입력 인터페이스를 포함한다. 기구들(135-1, 135-2) 각각은 또한 보디로부터 원위 방향으로 연장되는, 때때로 메인 튜브(main tube)라고 지칭되는, 샤프트(137-1, 137-2)를 포함한다. 엔드 이펙터(end effector)는 수술 기구 어셈블리의 샤프트의 원위 단부에 결합되고, 이미지 캡처 유닛, 예컨대, 카메라는 상이한 수술 기구 어셈블리의 원위 단부에 포함된다. 기구 머니퓰레이터 어셈블리 및 수술 기구의 일 예에 대한, 참조에 의해 원용되는, 미국 특허 출원 제61/866,115호(2013년 8월 15일에 출원됨)를 참조한다.
기구(135-1, 135-2) 내의 변속기 유닛의 입력 인터페이스에서의 복수의 입력이 기구 머니퓰레이터 어셈블리(140-1, 140-2)의 기구 마운트 인터페이스에서의 복수의 출력에 의해 구동되도록, 기구들(135-1, 135-2) 각각은 대응하는 기구 머니퓰레이터 어셈블리(140-1, 140-2)의 기구 마운트 인터페이스에 결합된다. 미국 특허 출원 제61/866,115호(2013년 8월 15일에 출원됨)를 참조한다.
도 1에 도시된 바와 같이, 복수의 수술 디바이스 어셈블리(180)의 샤프트들은 기구들의 보디들로부터 원위로 연장된다. 샤프트들은 엔트리 포트(entry port)에 배치된 공통 캐뉼라(116)를 통해 환자 내로(예컨대, 체벽(body wall)을 통해 또는 자연 오리피스(natural orifice)에서) 연장된다. 일 양태에서, 엔트리 가이드(115)는 캐뉼라(116) 내에 배치되고, 기구 샤프트들에 대한 추가 지지를 제공하기 위해 각각의 기구 샤프트는 엔트리 가이드(115) 내의 채널을 통해 연장된다.
시스템은 이미지 센서, 이미징 파이프라인, 및 디스플레이 디바이스를 포함한다. 이미지 센서는 픽셀 데이터의 제1 프레임을 캡처하도록 구성된다. 이미징 파이프라인은 픽셀 데이터의 제1 프레임을 수신하기 위해 이미지 센서에 결합된다.
이미징 파이프라인은 적응 잡음 필터를 포함한다. 적응 잡음 필터는 픽셀을 제1 픽셀에 대한 추정된 픽셀 잡음 파라미터를 사용하여 그리고 제1 픽셀의 신호 레벨과 적어도 제2 픽셀의 신호 레벨 간의 차이를 사용하여 필터링하도록 구성된다. 적응 잡음 필터는 또한 픽셀 데이터의 제2 프레임을 출력하도록 구성된다. 픽셀 데이터의 제2 프레임은 적응 잡음 필터에 의해 필터링된 픽셀들을 포함한다.
이미징 파이프라인은 적응 잡음 필터링된 픽셀 데이터의 제2 프레임에 기초한 픽셀 데이터의 프레임을 출력하도록 구성된다. 여기서, 적응 잡음 필터링된 픽셀 데이터의 제2 프레임에 기초한 픽셀 데이터의 프레임은 이미징 파이프라인에 의해 적응 잡음 필터링된 픽셀 데이터의 제2 프레임의 임의의 추가 프로세싱의 결과인 픽셀 데이터의 프레임이다. 디스플레이 디바이스는 적응 잡음 필터링된 픽셀 데이터의 제2 프레임에 기초한 픽셀 데이터의 프레임을 수신하기 위해 이미징 파이프라인에 결합된다. 디스플레이 디바이스는 적응 잡음 필터링된 픽셀 데이터의 제2 프레임에 기초한 픽셀 데이터의 프레임을 디스플레이하도록 구성된다.
일 양태에서, 제2 픽셀은 이미지 센서에 의해 캡처된 제3 프레임에서 제1 프레임에서의 제1 픽셀의 위치와 동일한 위치에 있다. 제3 프레임은 시간상 제1 프레임의 캡처 이전에 캡처되었고, 따라서 적응 잡음 필터에 의해 사용되는 신호 레벨들의 차이는 2개의 상이한 프레임에서 동일한 위치에 있는 픽셀들 간의 시간 신호 레벨 변화(temporal signal level change)이다. 다른 양태에서, 제1 픽셀의 신호 레벨과 적어도 제2 픽셀의 신호 레벨 간의 차이는 제1 픽셀의 신호 레벨과, 때때로 복수의 이웃하는 픽셀들이라고 지칭되는, 제1 픽셀과 이웃하는 복수의 픽셀 중 하나의 픽셀의 신호 레벨 간의 차이이다. 복수의 이웃하는 픽셀 중 하나의 픽셀은 제2 픽셀이다.
적응 잡음 필터는 적응 시간 잡음 필터(adaptive temporal noise filter)를 포함한다. 적응 시간 잡음 필터는 제1 및 제2 픽셀들의 신호 레벨들의 시간 변화를 제1 픽셀의 추정된 픽셀 잡음 레벨과 비교하도록 구성된다. 이 양태에서, 추정된 픽셀 잡음 레벨은 추정된 픽셀 잡음 파라미터이다. 적응 시간 잡음 필터는 또한 픽셀 잡음 프레임을 출력하도록 구성된다.
일 양태에서, 이미징 파이프라인은 복수의 스테이지를 포함하고, 적응 시간 잡음 필터는 복수의 스테이지의 제1 스테이지에 포함된다. 또한, 복수의 스테이지의 제1 스테이지에 후속하는 복수의 스테이지 각각은 입력 픽셀 잡음 프레임을 프로세싱하도록 구성되고 스테이지 의존 픽셀 잡음 프레임(stage dependent pixel noise frame)을 출력하도록 구성된다.
다른 양태에서, 적응 잡음 필터는 적응 공간 잡음 필터(adaptive spatial noise filter)를 포함한다. 적응 공간 잡음 필터는 제1 픽셀의 신호 레벨과 복수의 이웃하는 픽셀 각각의 신호 레벨 간의 차이를 결정하도록 구성된다. 적응 공간 잡음 필터는 또한 잡음 의존 신호 레벨 파라미터를 사용하며, 여기서 잡음 의존 신호 레벨 파라미터는 제1 픽셀의 잡음의 함수이다. 이 양태에서, 잡음 의존 신호 레벨 파라미터는 이 양태에서 픽셀에 대한 추정된 픽셀 잡음 파라미터이다. 다른 양태에서, 적응 공간 잡음 필터는 거리 필터 및 신호 레벨 범위 필터를 포함한다. 신호 레벨 범위 필터는 픽셀을 픽셀의 신호 레벨과 복수의 이웃하는 픽셀의 신호 레벨들 각각 간의 차이에 기초하여 그리고 잡음 의존 신호 레벨 파라미터에 기초하여 필터링하도록 구성된다. 일 양태에서, 잡음 의존 신호 레벨 파라미터는 신호 레벨 범위 파라미터이다.
추가의 양태에서, 이미징 파이프라인 스테이지는 신호 레벨 대 잡음 룩업 테이블을 포함하는 적응 시간 잡음 필터를 포함한다. 적응 시간 잡음 필터는 픽셀들의 프레임을 수신하도록 구성되고; 프레임의 복수의 픽셀 내의 각각의 픽셀을 픽셀의 신호 레벨의 시간 변화를 픽셀의 신호 레벨에 대응하는 신호 레벨 대 잡음 룩업 테이블 내의 값과 비교하는 것에 의해 필터링하도록 구성되며; 비교하는 것에 기초하여 적응 시간 잡음 필터링된 픽셀들의 프레임을 출력하도록 구성된다.
다른 양태에서, 이미징 파이프라인 스테이지는 현재 픽셀 프레임, 신호 레벨 대 잡음 룩업 테이블, 변화 룩업 테이블, 픽셀 출력 프레임, 픽셀 잡음 프레임, 및 현재 픽셀 프레임에, 신호 레벨 대 잡음 룩업 테이블에, 변화 룩업 테이블에, 픽셀 출력 프레임에, 그리고 픽셀 잡음 프레임에 결합된 적응 시간 잡음 필터를 포함한다. 신호 레벨 대 잡음 룩업 테이블은 현재 픽셀 프레임의 픽셀의 신호 레벨을 수신하고 픽셀의 신호 레벨에 대응하는 잡음 표준 편차를 출력하도록 구성된다. 변화 룩업 테이블은 잡음 표준 편차 수(number of noise standard deviations)로 표현된 픽셀의 신호 레벨의 시간 변화를 수신하고, 필터를 통과할 픽셀의 신호 레벨의 시간 변화의 허용 퍼센티지(allowed percentage)를 출력하도록 구성된다. 적응 시간 잡음 필터는 적응 시간 잡음 필터링된 픽셀을 픽셀 출력 프레임에 출력하도록 구성된다. 적응 시간 잡음 필터는 또한 픽셀 잡음을 픽셀 잡음 프레임에 출력하도록, 즉 적응 시간 잡음 필터링된 픽셀에 대응하는 픽셀 잡음을 출력하도록 구성된다.
다른 추가의 양태에서, 적응 공간 잡음 필터는 입력 픽셀 프레임 및 입력 픽셀 잡음 프레임을 수신하도록 구성되며, 적응 공간 잡음 필터링된 픽셀을 생성하기 위해 입력 픽셀 프레임의 픽셀을 픽셀의 신호 레벨과 복수의 이웃하는 픽셀의 신호 레벨들 간의 공간 변화들에 기초하여 그리고 잡음 의존 신호 레벨 파라미터에 기초하여 필터링하도록 구성된다. 잡음 의존 신호 레벨 파라미터가 픽셀에 대응하는 입력 픽셀 잡음 프레임에서의 픽셀 잡음을 사용하여 결정된다. 픽셀의 공간 필터링은 입력 픽셀 프레임 내의 복수의 이웃하는 픽셀에 대한 것이다. 적응 공간 잡음 필터는 또한 적응 공간 잡음 필터링된 픽셀을 적응 공간 잡음 필터링된 픽셀 프레임에 출력하도록 구성된다.
또 다른 양태에서, 이미징 파이프라인 스테이지는 입력 픽셀 프레임 및 입력 픽셀 잡음 프레임을 포함한다. 입력 픽셀 잡음 프레임 내의 각각의 픽셀 잡음 요소는 입력 픽셀 프레임 내의 상이한 픽셀에 대응한다. 이미징 파이프라인 스테이지는 픽셀 출력 프레임 및 입력 픽셀 프레임에, 입력 픽셀 잡음 프레임에 그리고 픽셀 출력 프레임에 결합된 적응 공간 잡음 필터를 추가로 포함한다.
일 양태에서, 적응 공간 잡음 필터는 적응 공간 잡음 양방향 필터(adaptive spatial noise bilateral filter)를 포함한다. 위치 x에 있는 픽셀에 대해, 적응 공간 잡음 양방향 필터는 다음과 같이 정의되고:
여기서
는 위치 x에 있는 픽셀의 적응 공간 잡음 필터링된 신호 레벨이고;
C는 정규화 상수(normalization constant)이며;
는 공간 가우시안 분포(spatial Gaussian distribution)이고;
||y-x||는 위치 y에 있는 픽셀과 위치 x에 있는 픽셀 간의 거리의 노름(norm)이며;
σ d 는 거리 파라미터이고;
는 위치 x에 있는 픽셀의 잡음의 함수인 신호 레벨 범위 가우시안 분포이며;
I(y)는 위치 y에 있는 픽셀의 신호 레벨이고;
I(x)는 위치 x에 있는 픽셀의 신호 레벨이며;
|I(y) - I(x)|는 위치 y에 있는 픽셀(제2 픽셀)의 신호 레벨과 위치 x에 있는 픽셀(제1 픽셀)의 신호 레벨 간의 차이의 절댓값이고;
σ(Noise) r 은 위치 x에 있는 픽셀의 잡음의 함수인 신호 레벨 범위 파라미터이며;
N(x)는 위치 x에 중심 픽셀(center pixel)을 갖는 픽셀 블록(block of pixels)이고;
는 위치 x에 중심 픽셀을 갖는 픽셀 블록 내의 픽셀들에 걸친 합산을 나타낸다.
일 양태에서, 방법은 제1 프레임의 제1 픽셀을 수신하는 단계 및 필터링된 픽셀을 획득하기 위해 제1 픽셀을 제1 픽셀에 대한 추정된 픽셀 잡음 파라미터를 사용하여 그리고 제1 픽셀의 신호 레벨과 적어도 제2 픽셀의 신호 레벨 간의 차이를 사용하여 적응 잡음 필터링하는 단계를 포함한다. 필터링된 픽셀은 출력 프레임에 출력된다. 본 방법은 또한 필터링된 픽셀에 대응하는 픽셀 잡음을 잡음 출력 프레임에 출력하는 단계를 포함한다.
다른 양태에서, 제2 픽셀은 이미지 센서에 의해 캡처된 제2 프레임에서 제1 프레임에서의 제1 픽셀의 위치와 동일한 위치에 있다. 제2 프레임은 시간상 제1 프레임의 캡처 이전에 캡처된다. 이 양태에서, 제1 픽셀을 적응 잡음 필터링하는 단계는 제1 픽셀을, 때때로 제1 픽셀의 신호 레벨의 시간 변화라고 지칭되는, 제1 및 제2 픽셀들의 신호 레벨들의 변화와 제1 픽셀의 추정된 픽셀 잡음 레벨의 비교에 기초하여 적응 시간 잡음 필터링하는 단계를 포함한다. 이 양태에서, 추정된 픽셀 잡음 레벨은 추정된 픽셀 잡음 파라미터이다.
제1 픽셀을 적응 시간 잡음 필터링하는 단계는 제1 픽셀의 신호 레벨을 신호 레벨 대 잡음 룩업 테이블에 입력하는 단계, 및 신호 레벨 대 잡음 룩업 테이블에 의해 제1 픽셀의 신호 레벨에 대응하는 잡음 표준 편차를 출력하는 단계를 포함한다. 이 양태에서, 잡음 표준 편차는 제1 픽셀의 추정된 픽셀 잡음 레벨이다. 제1 픽셀을 적응 시간 잡음 필터링하는 단계는 또한 잡음의 표준 편차 단위의(in standard deviations of noise) 제1 픽셀의 신호 레벨의 시간 변화를 획득하기 위해 제1 픽셀의 신호 레벨의 시간 변화를 잡음 표준 편차로 나누는 단계 - 나누는 것은 비교임 - 를 포함한다. 제1 픽셀을 적응 시간 잡음 필터링하는 단계는 잡음의 표준 편차 단위의 제1 픽셀의 신호 레벨의 시간 변화를 변화 룩업 테이블에 입력하는 단계, 및 변화 룩업 테이블에 의해 필터를 통과할 제1 픽셀의 신호 레벨의 시간 변화의 허용 퍼센티지를 출력하는 단계를 추가로 포함한다. 마지막으로, 제1 픽셀을 적응 시간 잡음 필터링하는 단계는 제1 픽셀의 신호 레벨의 시간 변화의 허용 퍼센티지를 제1 픽셀의 신호 레벨의 시간 변화와 곱하는 것에 의해 제1 픽셀의 신호 레벨의 허용 시간 변화를 생성하는 단계, 및 제1 픽셀의 신호 레벨의 허용 시간 변화를 대응하는 픽셀에 가산하는 것에 의해 필터링된 픽셀을 발생시키는 단계 - 대응하는 픽셀은 제2 프레임 내의 픽셀이고, 제2 프레임은 시간상 제1 프레임 직전에 있음 - 를 그 밖에 추가로 포함한다.
또 다른 양태에서, 본 방법의 적어도 하나의 제2 픽셀은 제1 픽셀에 이웃하는 복수의 픽셀에 포함되며, 제1 픽셀을 적응 잡음 필터링하는 단계는 제1 픽셀을 제1 픽셀의 신호 레벨과 복수의 이웃하는 픽셀의 신호 레벨들 각각 간의 차이에 기초하여 그리고 잡음 의존 신호 레벨 파라미터에 기초하여 적응 공간 잡음 필터링하는 단계를 포함한다. 잡음 의존 신호 레벨 파라미터는 제1 픽셀의 잡음의 함수이고, 이 양태에서, 잡음 의존 신호 레벨 파라미터는 제1 픽셀에 대한 추정된 픽셀 잡음 파라미터이다.
픽셀을 적응 공간 잡음 필터링하는 단계는 필터링된 픽셀을 거리 필터와 신호 레벨 범위 필터를 조합하는 것에 의해 발생시키는 단계 - 신호 레벨 범위 필터는 잡음 의존 신호 레벨 파라미터의 함수임 - 를 포함한다. 상세하게는, 신호 레벨 필터는 신호 레벨 범위 파라미터를 갖는 신호 레벨 범위 가우시안 분포를 포함한다. 신호 레벨 범위 파라미터는 잡음 의존 신호 레벨 파라미터이다.
도 1은 종래 기술의 컴퓨터 보조 수술 시스템의 예시이다.
도 2는 적응 잡음 필터를 갖는 이미징 파이프라인을 포함하는 이미징 시스템의 다이어그램이다.
도 3a는 적응 시간 잡음 필터를 구현하는 방법이다.
도 3b는 적응 시간 잡음 필터의 다이어그램이다.
도 4a는 도 3a 및 도 3b의 양태들에서 신호 레벨 대 잡음 룩업 테이블에 포함된 데이터의 그래픽 예시이다.
도 4b는 도 3a 및 도 3b의 양태들에서 변화 룩업 테이블에 포함된 데이터의 그래픽 예시이다.
도 5는 복수의 적응 잡음 필터를 포함하는 이미징 파이프라인의 다이어그램이다.
도 6a는 적응 공간 잡음 필터를 구현하는 방법이다.
도 6b는 적응 공간 잡음 필터의 다이어그램이다.
도면들에서, 세 자릿수 참조 번호의 첫 자릿수는 그 참조 번호를 갖는 요소가 처음으로 나오는 도 번호(figure number)이다.
내시경 이미징 시스템(192)에서의 이미징 파이프라인과 같은, 이미징 파이프라인은 많은 잡음 필터를 포함한다. 이 잡음 필터들은 장면에서 예상되는 잡음에 기초한 파라미터들을 포함한다. 이 잡음 필터들이 주어진 신호 레벨, 예컨대, 잡음에 기초한 파라미터들이 선택된 신호 레벨을 갖는 캡처된 프레임들에 대해서는 잘 작동하지만, 이 잡음 필터들은 상이한 신호 레벨들의 캡처된 프레임들 및 다양한 신호 레벨들을 포함하는 이미지 프레임들을 처리하는 데 문제들이 있다.
이 문제점들은 하나 이상의 적응 잡음 필터를 포함하는 이미징 파이프라인에 의해 해결된다. 적응 잡음 필터들 각각은, 이미지 캡처 유닛, 예컨대, 카메라 내의 이미지 센서에 의해 측정되는 바와 같이, 로컬 기반(locally based) 신호 레벨들과 연관된 잡음 의존 파라미터들을 선택한다. 적응 잡음 필터들 각각에 사용되는 잡음 의존 파라미터들이 이미지 프레임마다 다를 수 있으며 이미지 프레임 내에서 픽셀마다 다를 수 있다. 구체적으로는, 적응 잡음 필터들은 프레임에서의 관심 영역의 신호 레벨에 기초하여 잡음 필터링을 조정한다. 일부 예들에서, 관심 영역은 픽셀이지만, 다른 예들에서, 관심 영역은 픽셀들의 그룹이고, 여기서 픽셀들의 그룹은 단일 픽셀보다 많고 프레임 내의 픽셀들의 수보다 적은 것을 포함한다. 적응 잡음 필터들 각각은 제1 픽셀의 값을 적어도 제2 픽셀의 값과 비교하는 것, 예컨대, 시간 또는 공간 변화를 그 픽셀에 대한 추정된 픽셀 잡음 파라미터와 비교하는 것에 의해 픽셀을 적응적으로 필터링하며, 여기서 픽셀에 대한 추정된 픽셀 잡음 파라미터는 픽셀 데이터 프레임 내의 픽셀들의 총수보다 적은 것에 기초한다. 추정된 픽셀 잡음이 픽셀마다 다를 수 있기 때문에, 적응 필터는 추정된 픽셀 잡음 파라미터의 이러한 변동들을 보상한다.
내시경에 사용되는 이미지 캡처 센서들에서 그리고 다른 소형 이미지 캡처 센서들에서, 픽셀은 노출 시간 내에 그 픽셀에 입사하는 광자들을 카운트한다. 따라서, 때때로 픽셀의 값이라고 불리는, 픽셀의 신호 레벨은 노출 시간에 걸친 입사 광자들의 카운트를 포함한다. 그렇지만, 카운트, 즉 신호 레벨은 또한 픽셀 잡음과 연관된 기여분(contribution)을 포함할 수 있다. 픽셀 잡음은 전자(샷) 잡음에 의해 좌우되며, 이미지 캡처 센서에서의 전기적 변동들로 인한 픽셀 잡음에의 기본 기여분(underlying contribution)이 또한 있다. 픽셀 잡음은 이미지 캡처 센서에 충돌하는 전자들의 수의 분산(variance)을 처리하는 제곱근 함수로서 추정되며, 예컨대, 추정된 픽셀 잡음 파라미터는 추정된 픽셀 잡음 레벨이다. 표준 편차 수 단위의(in number of standard deviations), 때때로 추정된 픽셀 잡음이라고 지칭되는, 추정된 픽셀 잡음 레벨은 다음과 같이 추정될 수 있고:
여기서
std(Noise)는 픽셀에 대한 잡음의 표준 편차이고;
O는 센서에서의 전기적 잡음으로 인한 오프셋이며;
G는 이득 값이고;
SignalLevel은 이미지 캡처 센서에 의해 판독되는 바와 같은 픽셀 신호 레벨이며;
MaxSignalLevel은 이미지 캡처 센서의 최대 픽셀 신호 레벨이다.
여기서, 픽셀 신호 레벨 SignalLevel은 이미지 캡처 센서에서의 픽셀 상에 떨어지는 광의 척도이다. 위의 표현식은, 저 픽셀 신호 레벨들에서, 잡음이 고 픽셀 신호 레벨들에서보다 훨씬 더 작다는 것을 보여준다. 그렇지만, 저 신호 레벨들에서는, 잡음이 고 신호 레벨들에서보다 신호의 훨씬 더 많은 부분을 차지한다.
예를 들어, 2의 오프셋 O 및 40의 이득 G, 6의 픽셀 신호 레벨 SignalLevel을 갖는 제1 픽셀, 그리고 4000의 픽셀 신호 레벨 SignalLevel을 갖는 제2 픽셀을 생각해본다. 이 예에서,　12-비트 픽셀들이 사용되고 있으며, 따라서 최대 픽셀 신호 레벨 MaxSignalLevel은 4095이다.
std(제1 픽셀의 잡음) =　2 +　40 * (6/4095) ** .5 =　3.5
std(제2 픽셀의 잡음) =　2 +　40 * (4000/4095) ** .5 =　41.5
따라서, 제2 픽셀에 대한 추정된 픽셀 잡음의 표준 편차는 제1 픽셀에 대한 추정된 픽셀 잡음의 표준 편차보다 10배 이상 더 크다. 그렇지만, 제1 픽셀의 추정 픽셀 잡음의 표준 편차는 제1 픽셀의 픽셀 신호 레벨의 약 58%인 반면, 제2 픽셀의 추정 픽셀 잡음의 표준 편차는 제2 픽셀의 픽셀 신호 레벨의 약 1%이다.
일 양태에서, 이미지 캡처 유닛(201)은 픽셀 데이터의 프레임을 캡처하고, 픽셀 데이터의 이 프레임은 이미징 시스템(292) 내의 이미징 파이프라인(230)에 의해 프로세싱된다. 전형적으로, 이미징 파이프라인(230)은 복수의 스테이지를 포함한다. 이미징 시스템(292) 내의 이미징 파이프라인(230)은, 종래의 이미징 시스템(192) 내의 이미징 파이프라인의 스테이지에서의 잡음 필터들 중 적어도 하나가 적응 잡음 필터(210)로 대체된다는 것을 제외하면, 종래의 이미징 시스템(192) 내의 이미징 파이프라인과 유사하다.
때때로 입력 프레임(214)이라고 지칭되는, 픽셀 데이터의 스테이지 입력 프레임(214)은 이미징 프로세싱 파이프라인(230)의 특정의 스테이지에 입력되는 픽셀 데이터의 함수이다. 이미징 시스템(292)의 이미징 파이프라인(230) 내의 적응 잡음 필터(210)는 입력 프레임(214) 내의 픽셀의 신호 레벨의 변화가 잡음인지 진정한 변화(real change)인지를 결정하는 것에 의해 동작한다. 진정한 변화란 잡음으로 인한 변화가 아니라 신호 레벨의 실제 변화(actual change)로 인한 변화이다. 적응 잡음 필터(210)가 픽셀의 신호 레벨의 변화가 잡음으로 인한 것이라고 결정하는 경우, 적응 잡음 필터(210)는 픽셀을 필터링하고 필터링된 픽셀을 픽셀 데이터의 필터링된 프레임(212)에 전달한다. 반대로, 적응 잡음 필터(210)가 그 픽셀의 신호 레벨의 변화가 신호 레벨의 변화로 인한 것이라고, 즉 진정한 변화라고 결정하는 경우, 적응 잡음 필터(210)는 픽셀을 필터링되지 않은 채로(unfiltered) 픽셀 데이터의 필터링된 프레임(212)에 전달한다. 적응 잡음 필터(210)는 픽셀과 연관된 신호 레벨의 변화를 그 픽셀에 대한 추정된 픽셀 잡음 파라미터와 비교하고 이어서 비교에 기초하여 픽셀을 필터링하는 것에 의해 픽셀의 신호 레벨의 변화가 잡음으로 인한 것인지를 결정한다.
따라서, 적응 잡음 필터(210)는 이미지 캡처 유닛(201)의 이미지 캡처 센서에 의해 캡처된 프레임 내의 적어도 관심 영역 내의 각각의 픽셀을 살펴보고, 신호 레벨 변화가 잡음에 의해서만 야기되는 것으로 생각되는지에 기초하여, 각각의 픽셀에서 임의의 신호 레벨 변화, 예컨대, 이웃하는 픽셀들 간의 공간 변화 또는 시간 경과에 따른 변화를 프로세싱한다. 이러한 적응 잡음 필터링은 종래 기술의 잡음 필터들을 사용하여 획득된 것보다 더 양호한 이미지가 디스플레이 유닛(220) 상에 디스플레이되도록 한다.
종래 기술의 잡음 필터들에서, 잡음 필터에 사용된 파라미터들이 저 신호 레벨들에 대한 잡음을 목표로 한 경우, 고 신호 레벨들을 나타내는 픽셀들에서의 잡음은 필터를 그냥 통과하였다. 그 결과, 디스플레이 유닛 상에 디스플레이된 장면의 고 신호 레벨들에서의 잡음은 디스플레이된 장면에서의 밝은 영역들이 프레임마다 변하게 할 수 있고, 이는 차례로 디스플레이된 장면에 잡음으로 유발된 플리커(noise induced flicker)를 야기하였다.
반대로, 종래 기술의 잡음 필터에 사용된 파라미터들이 고 신호 레벨들에 대한 잡음을 목표로 한 경우, 모든 것이 잡음인 것으로 결정될 것이기 때문에 저 신호 레벨들을 갖는 픽셀들이 과다 필터링(over filter)될 것이다. 결과적으로, 저 신호 레벨 픽셀들 내의 임의의 정보가 손실될 것이다.
본 명세서에 기술된 적응 잡음 필터들은 각각의 픽셀의 신호 레벨에 기초하여 잡음 필터링을 조정하는 것에 의해 이 문제점들을 극복한다. 따라서, 저 신호 레벨들에 대한 필터링은 고 신호 레벨들에 대한 필터링과 상이하고 - 신호 레벨이 변함에 따라 픽셀에서의 추정된 픽셀 잡음이 변함 -, 디스플레이된 이미지에서의 픽셀 잡음의 효과가 분명하지 않도록 잡음으로 인한 임의의 기여분을 스무딩(smoothing)하면서 각각의 픽셀에 의해 전달되는 정보를 보존하기 위해 필터링이 조정된다. 예를 들어, 적응 잡음 필터(210)는 신호 레벨 대 잡음 데이터(211) 내의 그 픽셀에 대한 잡음에 액세스하기 위해 픽셀의 신호 레벨을 사용한다. 신호 레벨 대 잡음 데이터(211)는 픽셀에 대한 가능한 신호 레벨들의 범위에 걸쳐 각각의 신호 레벨에 대한 적절한 잡음 파라미터를 갖는다. 픽셀의 신호 레벨의 임의의 변화를 신호 레벨 대 잡음 데이터(211)로부터의 그 픽셀에 대한 잡음 레벨과 비교하는 것에 의해, 적응 잡음 필터(210)는 각각의 픽셀이 그 픽셀의 신호 레벨에 대한 잡음에 기초하여 적절하게 필터링되도록 보장한다. 이것은 픽셀 데이터의 프레임에서 전체 장면에 걸쳐 동일한 파라미터들을 사용하려고 시도한 종래 기술의 잡음 필터들에서 봉착하는 문제점들을 크게 감소시키거나 제거한다.
일 양태에서, 적응 잡음 필터(210)는, 때때로 잡음 프레임(213)이라고 지칭되는, 픽셀 잡음 데이터의 출력 프레임(213)에 각각의 픽셀에 대한 잡음 값을 저장하며, 예컨대, 픽셀 잡음을 저장한다. 일 양태에서, 픽셀 잡음 데이터(213) 내의 값들은 잡음 표준 편차들로 표현된다. 잡음 프레임(213)은 파이프라인(230)을 통과하며 파이프라인(230)의 각각의 스테이지에 의해 프로세싱된다. 결과적으로, 파이프라인(230)의 각각의 스테이지는, 그 스테이지에 구현된 임의의 적응 잡음 필터링에 사용될 수 있는, 그 스테이지에 입력되는 잡음의 표현을 갖는다.
이하에서 보다 완전히 설명되는 바와 같이, 일 양태에서, 이미징 파이프라인(230)은 이미징 파이프라인(230)의 초기 스테이지에 적응 시간 잡음 필터를 포함한다. 적응 잡음 필터(210)가 적응 시간 잡음 필터일 때, 픽셀 데이터의 스테이지 입력 프레임(214)은 이미지 캡처 유닛(201) 내의 이미지 캡처 센서로부터의 원시 픽셀 데이터의 입력 프레임(input frame of raw pixel data)이다.
다른 양태에서, 이미징 파이프라인(230)은 이미징 파이프라인(230)의 후단 스테이지(later stage)에 적응 공간 잡음 필터를 포함한다. 적응 잡음 필터(210)가 적응 공간 잡음 필터일 때, 픽셀 데이터의 스테이지 입력 프레임(214)은, 예를 들어, 디모자이크되고(demosaiced) 컬러 변환된(color transformed) 픽셀 데이터의 입력 프레임이다.
또 다른 양태에서, 이미징 파이프라인(230)은 이미징 파이프라인의 초기 스테이지에 있는 적응 시간 잡음 필터 및 이미징 파이프라인의 후단 스테이지에 있는 적응 공간 잡음 필터 둘 다를 포함한다. 도 5를 참조한다.
적응 잡음 필터(210)가 적응 시간 잡음 필터일 때, 원시 픽셀 데이터의 현재 프레임에서 한 위치에 있는 현재 픽셀, 즉 제1 픽셀의 값이 시간상 현재 프레임 직전의 필터링된 데이터의 프레임에서 동일한 위치에 있는 선행하는(preceding) 필터링된 픽셀, 즉 제2 픽셀의 값과 비교된다. 여기서, 원시 픽셀 데이터는 아직 디모자이크되지 않은 이미지 캡처 유닛(201)으로부터의 데이터를 지칭한다. 2개의 픽셀의 2개의 값의 차이, 즉 현재 픽셀의 시간 변화는 2개의 픽셀의 값들의 차이가 잡음으로 인한 것인지 진정한 변화인지를 결정하는 데 사용된다.
일 양태에서, 현재 픽셀의 값(신호 레벨)에 대한 잡음의 표준 편차 - 추정된 픽셀 잡음 파라미터 - 는 적응 잡음 필터(210)에 의해 신호 레벨 대 잡음 데이터(211)로부터 획득된다. 다음에, 잡음의 표준 편차 수 단위의 시간 신호 변화를 획득하기 위해 현재 픽셀의 시간 변화가 잡음의 표준 편차로 나누어진다. 잡음의 표준 편차 수 단위의 시간 신호 변화는 현재 픽셀의 시간 변화의 몇 퍼센티지가 필터(210)를 통과하도록 허용하는지를 결정하는 데 사용된다. 따라서, 필터(210)는 현재 픽셀의 시간 신호 변화를 현재 픽셀에 대한 추정된 픽셀 잡음 파라미터, 예컨대, 추정된 픽셀 잡음 레벨과 비교하고 비교에 기초하여 필터링을 한다. 일 양태에서, 적응 시간 잡음 필터링된 픽셀은 현재 픽셀의 시간 변화의 퍼센트와 제2 픽셀의 값을 더한 것으로서 정의된다. 적응 시간 잡음 필터링된 픽셀의 값은, 때때로 출력 프레임(212)이라고 지칭되는, 필터링된 픽셀 데이터의 스테이지 출력 프레임(212)에 배치된다. 필터(210)를 통과하도록 허용된 현재 픽셀의 시간 변화의 허용 퍼센티지가 100 퍼센트인 경우, 현재 픽셀은 적응 시간 잡음 필터를 그대로(unchanged) 통과한다. 필터(210)를 통과하도록 허용된 현재 픽셀의 시간 변화의 허용 퍼센티지가 100 퍼센트보다 작은 경우, 현재 픽셀은 그의 신호 레벨에 기초하여 필터링된다. 출력 프레임(212)은 이미징 파이프라인(230)을 계속하여 통과하고 디스플레이 유닛(220) 상에 디스플레이된다. 따라서, 출력 프레임(212)에 기초하는 프레임이 이미징 파이프라인(230)에 의해 디스플레이 유닛(220)으로 송신되며, 즉 디스플레이 유닛(220)으로 송신되는 프레임은 출력 프레임(212)이 이미징 파이프라인(230) 내의 임의의 후속 스테이지들에 의해 프로세싱된 후의 출력 프레임(212)이다.
적응 잡음 필터(210)가 적응 공간 잡음 필터일 때, 디모자이크되고 컬러 변환된 픽셀 데이터의 현재 프레임에서 한 위치에 있는 현재 픽셀의 값이 현재 프레임 내의 이웃하는 픽셀들의 값들과 비교된다. 적응 공간 잡음 필터링된 픽셀로서 필터를 통과하는 현재 픽셀의 공간 변화의 퍼센티지는 현재 픽셀과 이웃하는 픽셀들 간의 공간적 관계에 기초하여; 현재 픽셀과 이웃하는 픽셀들의 신호 레벨 간의 신호 레벨 관계에 기초하여; 그리고 현재 픽셀의 잡음 성분(noise component)에 기초하여 가중된다. 일 양태에서, 이하에서 보다 완전히 설명되는 바와 같이, 적응 공간 잡음 필터는 픽셀을 픽셀의 신호 레벨과 복수의 이웃하는 픽셀의 신호 레벨들 간의 공간 변화에 기초하여, 그리고 잡음 의존 신호 레벨 파라미터에 기초하여 필터링하도록 구성된다. 잡음 의존 신호 레벨 파라미터는 현재 픽셀의 잡음의 함수이다. 여기서, 이 양태에서, 잡음 의존 신호 레벨 파라미터는 픽셀에 대한 추정된 픽셀 잡음 파라미터이다. 스테이지 출력 프레임(212)은 이미징 파이프라인(230)을 계속하여 통과하고 디스플레이 유닛(220) 상에 디스플레이된다.
도 3a는 이미징 파이프라인(230)에서 사용될 수 있는 적응 시간 잡음 필터의 일 구현에 대한 프로세스 흐름 다이어그램이다. 도 3b는 적응 시간 잡음 필터(300)에서의 도 3a의 방법(350)의 일 구현의 블록 다이어그램이다.
이 예에서, 현재 픽셀 프레임(315)(도 3b) 내의 픽셀들이 순차적으로 프로세싱되는 것으로 기술된다. 이것은 단지 예시적인 것이며 제한하려는 것으로 의도되어 있지 않다. 본 개시내용을 고려하여, 다수의 픽셀이 병렬로 프로세싱될 수 있고, 프레임 내의 픽셀들이 그룹으로서 또는 어떤 다른 상황에서(in some other matter) 프로세싱될 수 있다. 도 3a의 프로세스 흐름 다이어그램은 현재 픽셀 프레임(315)(도 3b) 내의 각각의 픽셀이 현재 픽셀의 시간 변화가 잡음으로 인한 것인지를 결정하기 위해 프로세싱되는 것을 보여주려는 것으로 의도되어 있다. 일부 양태들에서, 프레임 내의 픽셀들 전부를 프로세싱할 필요는 없다. 따라서, 적어도 프레임의 관심 구역 내의 픽셀들, 예컨대, 프레임 내의 복수의 픽셀이 전형적으로 적응 시간 잡음 필터(300)에 의해 프로세싱되며, 여기서 관심 구역은 알려져 있고 픽셀 프레임의 특정의 부분으로 지정된다.
초기에, 새로운 프레임 검색(RETRIEVE NEW FRAME) 프로세스(301)는 이미지 캡처 유닛(210) 내의 이미지 캡처 센서로부터 새로운 픽셀 프레임(302)을 검색한다. 검색된 새로운 픽셀 프레임(302)은 현재 픽셀 프레임(315)(도 3b)으로서 저장된다. 새로운 프레임 검색 프로세스(301)은 픽셀 가져오기(GET PIXEL) 프로세스(303)로 넘어간다.
픽셀 가져오기 프로세스(303)는 현재 픽셀 프레임(315)(도 3b)으로부터 제1 픽셀을 그리고 저장된 이전의 필터링된 픽셀 프레임(304)으로부터 제1 픽셀에 대응하는 제2 픽셀을 검색한다. 때때로, 현재 픽셀 프레임(315)으로부터의 제1 픽셀은 현재 픽셀이라고 지칭된다. 저장된 이전의 필터링된 픽셀 프레임(304)은 현재 픽셀 프레임(315)과 연관된 시간 직전의 시간에 대한 필터링된 픽셀 프레임이다. 현재 픽셀 프레임(315)이 시간 t에 대한 것인 경우, 저장된 이전의 필터링된 픽셀 프레임(304)은 시간 t-1에 대한 것이다. 여기서, 저장된 이전의 필터링된 픽셀 프레임(304)으로부터의 제2 대응하는 픽셀은 프레임(304)에서 프레임(315)에서의 제1 픽셀의 위치와 동일한 위치에 있는 픽셀이다. 여기서, 픽셀이 검색된다고 말해질 때, 검색되는 것은 픽셀의 값이다. 픽셀의 값은 신호 레벨을 나타낸다. 픽셀 가져오기 프로세스(303)는 프레임간 픽셀 차이(FRAME-TO-FRAME PIXEL DIFFERENCE) 프로세스(305)로 넘어간다.
프레임간 픽셀 차이 프로세스(305)는 먼저 제1 및 제2 픽셀들 간의 시간 변화를 결정하며, 예컨대, 시간 t-1 에서의 제2 픽셀의 값으로부터 시간 t에서의 제1 픽셀의 값의 시간 변화를 결정한다. 프레임간 픽셀 차이 프로세스(305)는 제1 픽셀의 값의 시간 변화를 픽셀 발생(GENERATE PIXEL) 프로세스(309)에 공급한다.
다음에, 프레임간 픽셀 차이 프로세스(305)는 제1 픽셀의 시간 변화의 절댓값을 취한다. 프레임간 픽셀 차이 프로세스(305)는 제1 픽셀의 값의 시간 변화의 절댓값을 신호 레벨 변화(SIGNAL LEVEL CHANGE) 프로세스(307)에 공급한다.
신호 레벨 변화 프로세스(307)는 제1 픽셀의 시간 변화의 절댓값을 수신할 뿐만 아니라, 신호 레벨 대 잡음 룩업 테이블(SIGNAL LEVEL TO NOISE LOOK-UP TABLE)(306)로부터도 값을 수신한다. (본 명세서에서, 대문자와 소문자는 요소들 간을 구분하기 위해 사용되지 않는다. 예를 들어, 신호 레벨 대 잡음 룩업 테이블(SIGNAL LEVEL TO NOISE LOOK-UP TABLE)(306)(도 3a), 신호 레벨 대 잡음 룩업 테이블(306)(Signal Level to Noise Look-up Table　306)(도 3b), 및 신호 레벨 대 잡음 룩업 테이블(signal level to noise look-up table)(306)은 모두 동일한 요소이다.)
도 4a는, 일 양태에서, 신호 레벨 대 잡음 룩업 테이블(306)에서의 데이터의 그래픽 표현이다. 이 양태에서, 곡선(401)을 발생시키기 위해 2의 오프셋 O, 40의 이득 G, 및 4095의 최대 픽셀 신호 레벨 MaxSignalLevel을 갖는 위의 잡음 정의 (1)이 사용되었다. 곡선(401)은 단지 예시적인 것이며 이 구체적인 예로 제한하려는 것으로 의도되어 있지 않다. 본 개시내용을 고려하여, 본 기술분야에 통상의 지식을 가진 자(one knowledgeable in the field)는 이미지 센서의 특성 및 이미징 파이프라인에 프레임을 제공하기 위해 사용되는 연관된 이득을 나타내는 신호 레벨 대 잡음 룩업 테이블(306)을 발생시킬 수 있다.
도 4a에서, 신호 레벨은 수평 x-축을 따라 플로팅되고 잡음의 표준 편차는 수직 y-축을 따라 플로팅된다. 따라서, 신호 레벨 대 잡음 룩업 테이블(306)이 픽셀 가져오기 프로세스(303)로부터, x-축을 따른 값인, 현재 픽셀의 값을 수신할 때, 신호 레벨 대 잡음 룩업 테이블(306)은 현재 픽셀의 값에 대한 y-축을 따른 곡선(401)의 값을 출력한다. 예를 들어, 현재 픽셀의 신호 레벨이, 현재 픽셀의 값인, 1750이라고 가정한다. 신호 레벨 대 잡음 룩업 테이블(306)이 1750의 입력 값을 수신할 때, 신호 레벨 대 잡음 룩업 테이블(306)은 현재 픽셀에 대한 28.1의 표준 편차 값을 출력한다. 이 룩업은 도 4a에서 파선들로 나타내어져 있다.
일 양태에서, 신호 레벨 대 잡음 룩업 테이블(306)은 현재 픽셀의 가능한 신호 레벨들 각각의 엔트리를 포함한다. 그렇지만, 보다 적은 수의 엔트리를 사용하고 이어서 엔트리들 간의 보간을 사용하는 것이 또한 가능하다. 신호 레벨 대 잡음 룩업 테이블(306)은 현재 픽셀의 신호 레벨에 대한 잡음의 표준 편차를 신호 레벨 변화 프로세스(307)에뿐만 아니라 픽셀 잡음 발생(GENERATE PIXEL NOISE) 프로세스(311)에도 공급한다.
신호 레벨 변화 프로세스(307)는 제1 픽셀의 시간 변화에 포함된 표준 편차 수를 결정하며, 즉 제1 픽셀(현재 픽셀)의 값의 시간 변화의 절댓값이 신호 레벨 대 잡음 룩업 테이블(306)로부터 수신된 잡음 표준 편차 입력 값으로 나누어진다. 따라서, 제1 픽셀의 값의 변화가, 이 예에서 추정된 픽셀 잡음 파라미터인, 제1 픽셀에 대한 추정된 픽셀 잡음 레벨과 비교된다. 시간 변화의 절댓값에 포함된 표준 편차 수가 변화 룩업 테이블(CHANGE LOOK-UP TABLE)(308)에 입력된다.
변화 룩업 테이블(308)에 포함된 데이터의 그래픽 표현이 도 4b에 제시되어 있다. 잡음의 표준 편차 단위의 현재 픽셀의 시간 신호 변화의 가능한 입력 값들의 범위는 수평 x-축을 따라 제시되며, 이 예에서, 가능한 입력 값들은 0 내지 4 표준 편차의 범위에 있다. 곡선(402)은 가능한 입력 값들 각각에 대한 적응 시간 잡음 필터를 통과하도록 허용할(allow through) 퍼센트 변화 단위의 출력(output in percent change)을 나타내고, 주어진 입력에 대한 곡선의 값은 수직 y-축으로부터 필터를 통과하도록 허용할 현재 픽셀의 시간 변화의 퍼센트로서 판독된다.
곡선(402)에 의해 나타낸 바와 같이, 1 잡음 표준 편차 이하의 현재 픽셀의 시간 변화들에 대해, 현재 픽셀의 시간 변화의 약 19 퍼센트 - 제1 상수 고정 퍼센티지(constant fixed percentage) - 가 필터를 통과하도록 허용된다. 3 잡음 표준 편차 이상의 현재 픽셀의 시간 변화들에 대해, 현재 픽셀의 시간 변화의 100 퍼센트 - 제2 상수 고정 퍼센티지 - 가 필터를 통과하도록 허용되며, 즉 현재 픽셀이 펄터링되지 않은 채로 필터를 통과한다. 1 잡음 표준 편차 초과 3 잡음 표준 편차 미만의 현재 픽셀의 시간 변화들에 대해, 필터를 통과하도록 허용된 시간 변화의 퍼센티지는 1 잡음 표준 편차에 대한 현재 픽셀의 시간 변화의 약 19 퍼센트로부터 3 잡음 표준 편차에 대한 100 퍼센트까지 선형적으로 변한다.
예를 들어, 현재 픽셀의 시간 변화에서의 2 잡음 표준 편차의 입력 값에 대해, 변화 룩업 테이블(308)은 필터를 통과하도록 허용된 현재 픽셀의 시간 변화의 퍼센트인 약 59%의 값을 출력한다. 이 예시적인 룩업은 도 4b에서 파선들로 나타내어져 있다.
일 양태에서, 변화 룩업 테이블(308)이 사용되지 않고, 도 4b에 도시된 바와 같은 구분적 함수(piecewise function)로 대체된다. 도 4b에 예시된 것보다 더 복잡한 곡선의 경우, 곡선은 약 512개의 엔트리를 갖는 변화 룩업 테이블(308)에 구현된다.
따라서, 변화 룩업 테이블(308)에 입력되는 현재 픽셀에 대한 시간 변화의 절댓값에 포함된 표준 편차 수에 응답하여, 변화 룩업 테이블(308)은 현재 픽셀에 대한 적응 시간 잡음 필터를 통과하도록 허용할 대응하는 퍼센트 변화("change")를 출력한다. 현재 픽셀에 대한 적응 시간 잡음 필터를 통과하도록 허용할 퍼센트 변화("change")는 픽셀 발생 프로세스(309)에 그리고 픽셀 잡음 발생 프로세스(311)에 공급된다.
픽셀 발생 프로세스(309)는 입력들로서: 변화 룩업 테이블(308)로부터의 필터를 통과하도록 허용된 현재 픽셀의 시간 변화의 퍼센트, 프레임간 픽셀 차이 프로세스(305)로부터의 현재 픽셀의 시간 변화, 및 저장된 이전의 필터링된 픽셀 프레임(304)으로부터의 제2 픽셀의 값을 수신한다. 픽셀 발생 프로세스(309)는, 픽셀 출력 프레임(310)에 전달되는 적응 시간 잡음 필터링된 픽셀을 획득하기 위해, 변화 룩업 테이블(308)로부터의 필터를 통과하도록 허용된 현재 픽셀의 시간 변화의 퍼센트를 프레임간 픽셀 차이 프로세스(305)로부터의 현재 픽셀의 시간 변화와 곱하고, 이어서 결과를 저장된 이전의 필터링된 픽셀 프레임(304)으로부터의 제2 픽셀의 값에 가산한다. 따라서, 앞서 기술된 비교에 기초하여 적응적으로 필터링된 출력 픽셀이 출력된다.
픽셀 잡음 발생 프로세스(311)는 입력들로서: 적응 시간 잡음 필터를 통과하도록 허용할 퍼센트 변화("change"), 현재 픽셀의 신호 레벨에 대한 잡음 표준 편차("stdCurr"), 및 시간상 직전 프레임에서의 대응하는 필터링된 픽셀(corresponding filtered pixel)의 신호 레벨에 대한 잡음 표준 편차("stdPrev")를 수신한다. 시간상 직전 프레임에서의 대응하는 픽셀의 신호 레벨에 대한 잡음 표준 편차(stdPrev)는, 시간상 직전 프레임에 대한 적응 잡음 필터에 의해 발생된 픽셀 잡음 표준 편차들의 프레임인, 저장된 이전의 픽셀 잡음 프레임(314)으로부터 수신된다.
픽셀 잡음 발생 프로세스(311)는 현재의 필터링된 픽셀에 대한 픽셀 잡음 표준 편차("stdOut")를 발생시킨다. 현재의 필터링된 픽셀의 픽셀 잡음 표준 편차(stdOut)는, 이 양태에서, 다음과 같이 정의된다:
픽셀 잡음 발생 프로세스(311)는 현재의 필터링된 픽셀에 대한 픽셀 잡음 표준 편차(stdOut)를, 때때로 잡음 출력 프레임(312)이라고 지칭되는, 픽셀 잡음 출력 프레임(312)에 기입한다. 현재 픽셀 잡음은 적응 시간 잡음 필터링된 픽셀의 잡음 성분을 나타낸다. 픽셀 잡음 발생 프로세스(311)는 프로세싱을 마지막 픽셀(LAST PIXEL) 체크 프로세스(313)로 넘긴다.
마지막 픽셀 체크 프로세스(313)는 현재 픽셀 프레임 내의 픽셀들 전부가 필터링되었는지를 결정한다. 픽셀들 전부가 필터링된 경우, 마지막 픽셀 체크 프로세스(313)는 새로운 프레임 검색 프로세스(301)로 넘어가고, 그렇지 않은 경우 픽셀 가져오기 프로세스(303)로 넘어간다.
프레임 내의 관심 픽셀들 전부가 필터링되었을 때, 필터링된 픽셀의 프레임이라고 지칭되는, 픽셀 출력 프레임(310)이 저장된 이전의 필터링된 픽셀 프레임(304)으로 이동된다. 또한, 픽셀 잡음 출력 프레임(312)이, 때때로 저장된 이전의 잡음 프레임(314)으로 지칭되는, 저장된 이전의 픽셀 잡음 프레임(314)으로 이동된다.
도 3a의 방법(350)은 프레임 내의 적어도 한 영역에서의 각각의 픽셀을 적응 시간 잡음 필터링하고, 그 픽셀에서의 추정된 픽셀 잡음에 기초하여 필터를 조정한다. 그에 부가하여, 이 방법은 각각의 픽셀에의 잡음 기여분이 이미징 파이프라인의 각각의 필터 스테이지에게 이용가능하도록 다른 필터 스테이지에 도달할 때까지 이미징 파이프라인의 각각의 스테이지에 의해 프로세싱되는 픽셀 잡음 출력 프레임을 발생시킨다. 각각의 필터 스테이지는 그 스테이지로부터 픽셀 잡음 출력 프레임을 발생시키는 옵션을 포함한다.
적응 시간 잡음 필터(300)는 도 3a의 방법(350)을 수행하는 필터의 일 예이다. 적응 시간 잡음 필터(300)는 제1 가산기(320), 절댓값 모듈(321), 나눗셈기(322), 곱셈기(323), 제2 가산기(324), 제2 내지 제7 곱셈기(325,　326,　328,　329,　330, 및　331), 제3 및 제4 가산기(327 및 332), 그리고 제곱근 모듈(333)을 포함한다. 적응 시간 잡음 필터(300)는 현재 픽셀 프레임(315), 저장된 이전의 필터링된 픽셀 프레임(304), 신호 레벨 대 잡음 룩업 테이블(306), 변화 룩업 테이블(308), 픽셀 출력 프레임(310), 픽셀 잡음 출력 프레임(312), 및 저장된 이전의 픽셀 잡음 프레임(314)에 연결된다. 일 양태에서, 현재 픽셀 프레임(315), 저장된 이전의 필터링된 픽셀 프레임(304), 신호 레벨 대 잡음 룩업 테이블(306), 변화 룩업 테이블(308), 픽셀 출력 프레임(310), 픽셀 잡음 출력 프레임(312), 및 저장된 이전의 픽셀 잡음 프레임(314) 각각은 메모리에 저장된다. 이 예에서, 픽셀 출력 프레임(310)이 저장된 이전의 필터링된 픽셀 프레임(304)으로 이동될 수 있도록 픽셀 출력 프레임(310)이 저장된 이전의 필터링된 픽셀 프레임(304)에 결합된다. 이와 유사하게, 픽셀 잡음 출력 프레임(312)이 저장된 이전의 픽셀 잡음 출력 프레임(314)으로 이동될 수 있도록 픽셀 잡음 출력 프레임(312)이 저장된 이전의 픽셀 잡음 출력 프레임(314)에 결합된다.
현재 픽셀 프레임(315), 저장된 이전의 필터링된 픽셀 프레임(304), 신호 레벨 대 잡음 룩업 테이블(306), 변화 룩업 테이블(308), 픽셀 출력 프레임(310), 픽셀 잡음 출력 프레임(312) 및 저장된 이전의 픽셀 잡음 프레임(314)을 적응 시간 잡음 필터(300)와 분리되어 있는 것으로 도시한 것은 예시적인 것에 불과하다. 예를 들어, 적응 시간 잡음 필터(300)가 도 3b에서 현재 픽셀 프레임(315), 저장된 이전의 필터링된 픽셀 프레임(304), 신호 레벨 대 잡음 룩업 테이블(306), 변화 룩업 테이블(308), 픽셀 출력 프레임(310), 픽셀 잡음 출력 프레임(312), 및 저장된 이전의 픽셀 잡음 프레임(314)의 모든 또는 일부 조합을 포함하는 것으로 그려질 수 있다.
픽셀 가져오기 프로세스(303)를 구현하기 위해, 라인(Control) 상의 신호들은, 때때로 프레임(315)이라고 지칭되는, 현재 픽셀 프레임(315)으로부터의 제1 픽셀을 적응 시간 잡음 필터(300)의 가산기(320)의 제1 입력(In1) 상에 그리고, 때때로 프레임(304)이라고 지칭되는, 저장된 이전의 필터링된 픽셀 프레임(304)으로부터의 제2 픽셀을 가산기(320)의 제2 반전 입력(inverting second input)(In2)으로 구동한다. 앞서 살펴본 바와 같이, 제1 픽셀은 때때로 현재 픽셀이라고 지칭된다. 또한, 픽셀이 입력 상에 구동되거나 입력에 공급된다고 말해질 때, 이는 픽셀의 값이 입력 상에 있다는 것을 의미한다.
현재 픽셀이 또한 적응 시간 잡음 필터(300)의 신호 레벨 대 잡음 룩업 테이블(306)의 입력(In)에 공급된다. 저장된 이전의 필터링된 픽셀 프레임(304)으로부터의 제2 픽셀은 또한 제2 가산기(324)의 제2 입력(In2)에 공급된다.
가산기(320)는 저장된 이전의 필터링된 픽셀 프레임(304)으로부터의 제2 픽셀의 값을 현재 픽셀 프레임(315)으로부터의 제1 픽셀의 값으로부터 감산한다. 2개의 픽셀 간의 차이, 즉 제1 픽셀의 시간 변화는 적응 시간 잡음 필터(300)의 곱셈기(323)의 제1 입력(In1)에 그리고 절댓값 모듈(321)의 입력(In)에 공급된다. 절댓값 모듈(321)은 2개의 픽셀 사이의 시간 차이의 절댓값을 취한다. 2개의 픽셀의 시간 차이의 절댓값은 나눗셈기(322)의 분자 입력(Num)에 공급된다. 이 양태에서, 가산기(320)와 절댓값 모듈(321)은 프레임간 픽셀 차이 프로세스(305)를 구현하는 데 사용된다.
신호 레벨 대 잡음 룩업 테이블(306)의 입력(In) 상의 현재 픽셀의 값에 응답하여, 신호 레벨 대 잡음 룩업 테이블(306)은 입력(In) 상의 현재 픽셀의 값에 의해 표현되는 바와 같은 입력 신호 레벨에 대응하는 잡음 표준 편차를 출력한다. 출력 잡음 표준 편차는 나눗셈기(322)의 제2 입력 - 입력(Denom) - 에 그리고 곱셈기(325)의 양쪽 입력에 공급된다.
신호 레벨 변화 프로세스(307)는 적응 시간 잡음 필터(300)에서 나눗셈기(322)에 의해 구현된다. 앞서 설명된 바와 같이, 2개의 픽셀의 차이의 절댓값, 즉 현재 픽셀의 시간 변화의 절댓값은 나눗셈기(322)의 제1 입력(Num)에서 수신된다. 방금 설명된 바와 같이, 신호 레벨 대 잡음 룩업 테이블(306)(도 3b)은 입력(In)에서 현재 픽셀의 값을 수신하고, 입력에 응답하여, 입력 값에 대응하는 잡음 표준 편차를 출력한다. 도 4a를 참조한다. 잡음 표준 편차는 나눗셈기(322)의 제2 입력(Denom)에 제공된다.
나눗셈기(322)는 제1 입력(Num) 상의 값을 제2 입력(Denom) 상의 값으로 나누고 결과는 출력(Out) 상에 있다. 나눗셈기(322)의 출력(Out) 상의 결과는 변화 룩업 테이블(308)의 입력(In)에 공급된다. 따라서, 나눗셈기(322)는, 변화 룩업 테이블(308)에 입력되는, 잡음의 표준 편차 단위의 시간 신호 변화를 획득하기 위해 현재 픽셀의 시간 변화의 절댓값을 현재 픽셀의 잡음 표준 편차로 나눈다.
잡음의 표준 편차 단위의 입력 시간 신호 변화에 응답하여, 변화 룩업 테이블(308)은 필터(300)를 통과하도록 허용할 시간 변화의 퍼센트를 출력한다. 도 4b를 참조한다. 필터(300)를 통과하도록 허용할 시간 변화의 퍼센트는 곱셈기(323)의 제2 입력(In2)에, 가산기(327)의 제2 반전 입력(In2)에, 그리고 곱셈기(326)의 양쪽 입력에 공급된다.
따라서, 곱셈기(323)는 제2 입력(In2)에서는 필터(300)를 통과하도록 허용할 시간 변화의 퍼센트를 그리고 제1 입력(In1)에서는 제1 픽셀의 시간 변화를 수신한다. 곱셈기(323)는 필터(300)를 통과하도록 허용할 시간 변화를 획득하기 위해 2개의 입력을 곱한다. 필터(300)를 통과하도록 허용할 시간 변화는 곱셈기(323)의 출력(Out)에서 출력되고 제2 가산기(324)의 제1 입력(In1)에 공급된다.
가산기(324)는 제1 입력(In1)에서는 필터(300)를 통과하도록 허용할 시간 변화를 그리고 제2 입력(In2)에서는 저장된 이전의 필터링된 픽셀 프레임(304)으로부터의 제2 픽셀의 값을 수신한다. (여기서 사용되는 바와 같이, 저장된 이전의 필터링된 픽셀 프레임(304)으로부터의 제2 픽셀은 문자 그대로 그 프레임에서의 제2 픽셀을 지칭하는 것이 아니라, 오히려 현재 픽셀 프레임(315)에서의 현재 픽셀의 위치와 동일한, 즉 그에 대응하는 위치를 갖는 저장된 픽셀 프레임(304)으로부터의 픽셀을 지칭한다는 것을 상기한다.) 가산기(324)는 필터(300)를 통과하도록 허용할 시간 신호 변경을 저장된 이전의 필터링된 픽셀 프레임(304)으로부터의 제2 픽셀의 값에 가산하고 합(sum)을 출력(Out)에서 출력한다. 합은 적응 시간 잡음 필터링된 픽셀의 값이다. 가산기(324)의 출력(Out)은 픽셀 출력 프레임(310)에 연결된다. 따라서, 적응 시간 잡음 필터링된 픽셀은 픽셀 출력 프레임(310)에 기입된다. 곱셈기(323)와 가산기(324)는 픽셀 발생 프로세스(309)를 구현한다.
픽셀 출력 프레임(310)은 이미징 파이프라인에서의 임의의 나머지 스테이지들에 의해 프로세싱되고(도 5를 참조), 이어서 디스플레이 유닛으로 송신된다. 디스플레이 유닛으로 송신된 픽셀 데이터의 프레임이 이미징 파이프라인이 픽셀 출력 프레임(310)을 프로세싱한 결과이기 때문에, 디스플레이 유닛으로 송신된 픽셀 데이터의 프레임은 픽셀 출력 프레임(310)에 기초한다고 말해진다. 따라서, 픽셀 출력 프레임(310)에 기초한 픽셀 데이터의 프레임은 디스플레이 유닛에 의해 디스플레이되고, 앞서 살펴본 바와 같이, 비-적응 시간 잡음 필터링(non-adaptive temporal noise filtering)으로 획득된 것보다 더 양호한 이미지를 제공한다.
현재 픽셀의 잡음 표준 편차 stdCurr는 곱셈기(325)의 입력 단자들(In1 및 In2) 둘 다 상에 있다. 곱셈기(325)는 2개의 값을 곱하여, 잡음 표준 편차의 제곱 stdCurr 2 을 발생시킨다. 잡음 표준 편차의 제곱 stdCurr 2 은, 곱셈기(330)의 제1 입력 단자(In1)에 연결되는, 출력 단자(Out) 상에 구동된다.
필터를 통과하도록 허용할 시간 변화 change는 곱셈기(326)의 입력 단자들(In1 및 In2) 둘 다 상에 있다. 곱셈기(326)는 2개의 값을 곱하여, 필터를 통과하도록 허용할 시간 변화의 제곱 change 2 을 발생시킨다. 필터를 통과하도록 허용할 시간 변화의 제곱 change 2 은, 곱셈기(330)의 제2 입력 단자(In2)에 연결되는, 출력 단자(Out) 상에 구동된다.
가산기(327)의 제1 입력 단자(In1)는 입력으로서 "1"을 수신하고, 제2 반전 입력(In2)은, 0과 1 사이의 숫자로서 표현되는, 필터를 통과하도록 허용할 시간 변화 change를 수신한다. 가산기는 필터를 통과하도록 허용할 시간 변화의 퍼센트를 1로부터 감산하여, 값 (1-change)을 발생시킨다. 값 (1-change)은, 곱셈기(329)의 제1 입력 단자(In1)에 그리고 제2 입력 단자(In2)에 연결되는, 출력 단자(Out) 상에 구동된다.
저장된 이전의 픽셀 잡음 프레임으로의 라인(Control) 상의 신호들은 곱셈기(328)의 양쪽 입력 단자(In1 및 In2) 상에 현재 픽셀에 대응하는 이전의 필터링된 픽셀 잡음 표준 편차 stdPrev를 구동한다. 다시 말하지만, 현재 픽셀에 대응하는 이전의 필터링된 픽셀 잡음 표준 편차 stdPrev는 저장된 이전의 픽셀 잡음 프레임(314)에서 현재 픽셀 프레임(315)에서의 현재 픽셀의 위치와 동일한 위치에 있는 이전의 필터링된 픽셀 잡음 표준 편차 stdPrev이다. 곱셈기(328)는 2개의 값을 곱하여, 이전의 필터링된 픽셀 잡음 표준 편차의 제곱 stdPrev 2 을 발생시킨다. 이전의 필터링된 픽셀 잡음 표준 편차의 제곱 stdPrev 2 은, 곱셈기(331)의 제2 입력 단자(In2)에 연결되는, 출력 단자(Out) 상에 구동된다.
값 (1-change)이 곱셈기(329)의 제1 입력 단자(In1) 및 제2 입력 단자(In2) 둘 다 상에 있다. 곱셈기(329)는 2개의 값을 곱하여, 값 (1-change) 2 을 발생시킨다. 값 (1-change) 2 이, 곱셈기(331)의 제1 입력 단자(In1)에 연결되는, 출력 단자(Out) 상에 구동된다.
필터를 통과하도록 허용할 시간 변화의 제곱 change 2 은 곱셈기(330)의 제2 입력 단자(In2) 상에 있고, 현재 픽셀의 잡음 표준 편차의 제곱 stdCurr 2 은 곱셈기(330)의 제2 입력 단자(In2) 상에 있다. 곱셈기(330)는 2개의 값을 곱하여, 값 change 2 * stdCurr 2 을 발생시킨다. 값 change 2 * stdCurr 2 이, 가산기(332)의 제1 입력 단자(In1)에 연결되는, 출력 단자(Out) 상에 구동된다.
현재 픽셀에 대응하는 이전의 필터링된 픽셀의 잡음 표준 편차의 제곱 stdPrev 2 은 곱셈기(331)의 제2 입력 단자(In2) 상에 있고 값 (1-change) 2 은 곱셈기(331)의 제1 입력 단자(In1) 상에 있다. 곱셈기(331)는 2개의 값을 곱하여, 값 (1-change) 2 * stdPrev 2 을 발생시킨다. 값 (1-change) 2 * stdPrev 2 이, 가산기(332)의 제2 입력 단자(In2)에 연결되는, 출력 단자(Out) 상에 구동된다.
따라서, 가산기(332)는 제2 입력 단자(In2)에서는 값 (1-change) 2 * stdPrev 2 을 그리고 제1 입력 단자(In1)에서는 값 change 2 * stdCurr 2 을 수신한다. 가산기(332)는 2개의 값을 가산하여, 값 ((1-change) 2 * stdPrev 2 + change 2 * stdCurr 2 )을 발생시킨다. 값 ((1-change) 2 * stdPrev 2 + change 2 * stdCurr 2 )은, 제곱근 모듈(333)의 입력 단자(In)에 연결되는, 출력 단자(Out) 상에 구동된다.
제곱근 모듈(333)은 값 ((1-change) 2 * stdPrev 2 + change 2 * stdCurr 2 )의 제곱근을 취하고, 결과 stdOut를 현재 픽셀 프레임(315)에서의 현재 픽셀의 위치에 대응하는 픽셀 잡음 출력 프레임(312)에서의 위치에, 즉 픽셀 잡음 출력 프레임(312)에서의 현재 픽셀에 대응하는 위치에 저장한다. 제2 내지 제7 곱셈기(325,　326,　328,　329,　330, 및　331), 제3 및 제4 가산기(327 및 332), 및 제곱근 모듈(333)은 픽셀 잡음 발생 프로세스(311)를 구현한다.
도 5는 복수의 적응 잡음 필터를 포함하는 이미징 파이프라인(530)의 대표적인 스테이지들(501 내지　504)의 블록 다이어그램이다. 이미징 파이프라인(530)은 이미징 파이프라인(230)의 일 예이다. 이미징 파이프라인의 이 예에서, 적응 시간 잡음 필터(300)는 제1 스테이지(501)에 포함되고, 적응 공간 잡음 필터(570)는 제4 스테이지(504)에 포함된다. 이미징 파이프라인(530)은 파이프라인에서의 적응 잡음 필터들의 출력들에 기초하는 프레임을 디스플레이 유닛에 출력한다.
도 5의 예에서, 이미지 캡처 유닛(201)은 베이어 적색-녹색-청색 컬러 필터(Bayer red-green-blue color filter)를 갖는 이미지 캡처 센서를 포함한다. 베이어 픽셀 데이터 입력(Bayer pixel data-in) 프레임(515)은 적응 시간 잡음 필터(300)에 대한 현재 픽셀 프레임이다. 여기서, 베이어 픽셀 데이터 입력 프레임(515)은 적색 픽셀 데이터의 세트, 녹색 픽셀 데이터의 세트, 및 청색 데이터의 세트를 포함한다. 그렇지만, 스테이지(501)에서, 시간 필터링은 특정의 픽셀들의 세트의 컬러 속성(color attribute)들에 의존하지 않는다 - 픽셀들 각각의 신호 레벨에만 의존한다.
도 3a 및 도 3b와 관련하여 기술된 바와 같이, 베이어 픽셀 데이터 입력 프레임(515)에서의 픽셀들 각각은 신호 레벨 대 잡음 룩업 테이블(506)에 액세스하고, 신호 레벨 대 잡음 룩업 테이블(506)은 각각의 픽셀에 대한 잡음 표준 편차 - 추정된 픽셀 잡음 파라미터 - 를 베이어 픽셀 잡음 입력(Bayer pixel noise in) 프레임(516)에 출력한다. 신호 레벨 대 잡음 룩업 테이블(506)은 신호 레벨 대 잡음 룩업 테이블(306)과 동등한 것이다.
적응 시간 잡음 필터(300)는 입력들로서 베이어 픽셀 데이터 입력 프레임(515) 및 베이어 픽셀 잡음 입력 프레임(516)을 수신하고, 변화 룩업 테이블(308)에 대해 이전에 기술된 바와 같은 변화 룩업 테이블(508)을 사용한다. 변화 룩업 테이블(508)은 변화 룩업 테이블(308)과 동등한 것이다. 적응 시간 잡음 필터(300)는, 도 3a 및 도 3b와 관련하여 앞서 기술된 바와 같이, 베이어 픽셀 데이터 입력 프레임(515) 내의 각각의 픽셀에 대한 베이어 픽셀 데이터 출력(Bayer pixel data-out) 프레임(510) 내의 적응 시간 잡음 필터링된 픽셀을 발생시키고 베이어 픽셀 데이터 입력 프레임(515) 내의 각각의 픽셀에 대한 베이어 픽셀 잡음 출력(Bayer pixel noise out) 프레임(512)을 발생시키며, 따라서 설명이 여기서 반복되지 않는다.
베이어 픽셀 데이터 출력 프레임(510) 및 베이어 픽셀 잡음 출력 프레임(512)은 이미징 파이프라인(530)의 제2 스테이지(502)인 디모자이크 스테이지(demosaic stage)에의 입력 프레임들이다. 디모자이크 프로세스(550)는 베이어 픽셀 데이터 출력 프레임(510)의 적응 시간 잡음 필터링된 픽셀들을 프로세싱하여, 전체 해상도(full resolution) 적색 픽셀 프레임(imRed), 전체 해상도 녹색 픽셀 프레임(imGreen), 및 전체 해상도 청색 픽셀 프레임(imBlue)을 발생시킨다. 또한, 디모자이크 프로세스(550)는 베이어 픽셀 잡음 데이터 출력 프레임(512)의 픽셀 잡음을 프로세싱하여, 전체 해상도 적색 픽셀 잡음 프레임(imNoiseRed), 전체 해상도 녹색 픽셀 잡음 프레임(imNoiseGreen), 및 전체 해상도 청색 픽셀 잡음 프레임(imNoiseBlue)을 발생시킨다. 베이어 적색, 녹색, 및 청색 픽셀들의 세트들을 디모자이크하여 전체 해상도 적색, 녹색, 및 청색 픽셀들의 프레임들을 획득하는 프로세스는 널리 공지되어 있고, 따라서 더 상세히 고려되지 않는다.
전체 해상도 적색 픽셀 프레임(imRed), 전체 해상도 녹색 픽셀 프레임(imGreen), 전체 해상도 청색 픽셀 프레임(imBlue), 전체 해상도 적색 픽셀 잡음 프레임(imNoiseRed), 전체 해상도 녹색 픽셀 잡음 프레임(imNoiseGreen), 및 전체 해상도 청색 픽셀 잡음 프레임(imNoiseBlue)은 이미징 파이프라인(530)의 제3 스테이지(503)인 컬러 공간 변환 스테이지에의 입력 프레임들이다. 컬러 변환 프로세스(560)는 적색 픽셀, 녹색 픽셀, 및 청색 픽셀, 즉 제1 컬러 공간에서의 컬러 픽셀을 루미넌스 픽셀(luminance pixel)(Y) 및 2개의 크로미넌스 픽셀(chrominance pixel)(U, V), 즉 제2 컬러 공간에서의 컬러 픽셀로 변환한다. RGB 컬러 공간으로부터 YUV 컬러 공간으로의 변환은 널리 공지되어 있으며, 따라서 더 상세히 고려되지 않는다.
컬러 변환 프로세스(560)는 전체 해상도 적색 픽셀 프레임(imRed), 전체 해상도 녹색 픽셀 프레임(imGreen), 및 전체 해상도 청색 픽셀 프레임(imBlue)을 전체 해상도 루미넌스 픽셀 프레임(imY), 제1 전체 해상도 크로미넌스 픽셀 프레임(imU), 및 제2 전체 해상도 크로미넌스 픽셀 프레임(imV)으로 변환한다. 컬러 변환 프로세스(560)는 또한 전체 해상도 적색 픽셀 잡음 프레임(imNoiseRed), 전체 해상도 녹색 픽셀 잡음 프레임(imNoiseGreen), 및 전체 해상도 청색 픽셀 잡음 프레임(imNoiseBlue)을 전체 해상도 루미넌스 픽셀 잡음 프레임(imNoiseY), 제1 전체 해상도 크로미넌스 픽셀 잡음 프레임(imNoiseU), 및 제2 전체 해상도 크로미넌스 픽셀 잡음 프레임(imNoiseV)으로 변환한다.
전체 해상도 루미넌스 픽셀 프레임(imY), 제1 전체 해상도 크로미넌스 픽셀 프레임(imU), 제2 전체 해상도 크로미넌스 픽셀 프레임(imV), 전체 해상도 루미넌스 픽셀 잡음 프레임(imNoiseY), 제1 전체 해상도 크로미넌스 픽셀 잡음 프레임(imNoiseU), 및 제2 전체 해상도 크로미넌스 픽셀 잡음 프레임(imNoiseV)은 이미징 파이프라인(530)의 제4 스테이지(504)인 적응 공간 잡음 필터 스테이지에의 입력들이다.
RGB 컬러 공간으로부터 YUV 컬러 공간으로 변환하는 이유들 중 하나는 인간 시지각(human visual perception)에 중요한 강도 정보(intensity information)의 대부분이 YUV 컬러 공간의 루미넌스 성분(Y)에서 전달된다는 것이다. 따라서, 스테이지(504)에서, 적응 공간 잡음 필터(570)는 루미넌스 성분 픽셀들의 공간 잡음(spatial noise)만을 적응적으로 필터링한다. 이것은 2개의 크로미넌스 성분의 픽셀들의 공간 잡음을 적응적으로 필터링하는 시간 및 비용 없이 최종 디스플레이된 이미지의 향상을 제공한다. 그렇지만, 컬러 변환이 이미징 파이프라인(530)에서 사용되지 않거나, 컬러 변환이 루미넌스 성분을 포함하지 않는 다른 컬러 공간으로인 경우, 적응 공간 잡음 필터(570)는 컬러 성분들 각각의 픽셀들을 적응 공간 잡음 필터링할 것이다.
전체 해상도 루미넌스 픽셀 프레임(imY) 및 전체 해상도 루미넌스 픽셀 잡음 프레임(imNoiseY)은 적응 공간 잡음 필터(570)에의 입력들이다. 전체 해상도 루미넌스 픽셀 잡음 프레임(imNoiseY)에서의 픽셀의 값은 전체 해상도 루미넌스 픽셀 프레임(imY)에서의 대응하는 픽셀, 즉 프레임(imY)에서 프레임(imNoiseY)에서의 픽셀 잡음의 위치와 동일한 위치에 있는 픽셀의 잡음 성분을 나타낸다. 프레임(imNoiseY)에서의 픽셀 잡음 값은 프레임(imY)에서의 대응하는 픽셀에 대한 필터를 지정하는 데 사용되고, 따라서 필터가 적응 공간 잡음 필터라고 말해진다. 공간 잡음 필터에서 픽셀들 전부에 대해 동일한 상수 파라미터들이 사용될 수 있다고 가정하는 대신에, 필터가 각각의 픽셀과 연관된 공간 잡음에 대해 적응된다.
적응 공간 잡음 필터(570)는 적응 공간 잡음 필터링된 픽셀들의 출력 프레임(imYout) 및 픽셀 잡음의 출력 프레임(imNoiseYout)을 발생시킨다. 크로미넌스 픽셀 프레임(imU) 및 크로미넌스 픽셀 프레임(imV)은 필터링되지 않은 채로, 제각기, 크로미넌스 픽셀 프레임(imUout) 및 크로미넌스 픽셀 프레임(imVout)으로서 출력된다. 크로미넌스 픽셀 잡음 프레임(imNoiseU) 및 크로미넌스 픽셀 잡음 프레임(imNoiseV)은 필터링되지 않은 채로 크로미넌스 픽셀 잡음 프레임(imNoiseUout) 및 크로미넌스 픽셀 잡음 프레임(imNoiseVout)으로서 출력된다. 일 양태에서, 적응 공간 잡음 필터링된 픽셀들의 프레임(imYout), 크로미넌스 픽셀 프레임(imUout) 및 크로미넌스 픽셀 프레임(imVout)이 파이프라인 스테이지(504)로부터 출력된다. 이 프레임들은 파이프라인에서 추가로 프로세싱되고 디스플레이 디바이스로 송신될 수 있거나, 일 양태에서, 디스플레이 디바이스로 송신될 수 있다.
일 양태에서, 적응 공간 잡음 필터(570)는 적응 공간 잡음 양방향 필터로서 구현되며, 예컨대,
여기서
는 프레임에서 위치 x에 있는 픽셀의 필터링된 신호 레벨이다.
적응 공간 잡음 필터(570)는 현재 픽셀을 어떻게 필터링할지를 결정하기 위해 현재 픽셀을 중심으로 한 정사각형 픽셀 블록, 예컨대, 복수의 이웃하는 픽셀을 사용한다. 거리 필터는 현재 픽셀과 블록 내의 인접 픽셀들 간의 유클리드 거리(Euclidean distance)로부터 결정된 가중치들에 기초하여 현재 픽셀을 필터링한다. 때때로 범위 필터 또는 강도 필터라고 불리는, 신호 범위 필터는 필터링되는 픽셀에 대응하는 프레임(imNoiseY)에서의 픽셀 잡음의 값에 기초한 적응 잡음 신호 범위 필터이다. 따라서, 범위 필터에서 사용되는 가중치들은 블록에서의 인접 픽셀들과 현재 픽셀 간의 신호 레벨들의 차이들뿐만 아니라 현재 픽셀의 잡음 성분에도 기초한다. 입력 픽셀 프레임에서의 현재 픽셀의 위치와 동일한 위치에 있는 픽셀 잡음 입력 프레임에서의 픽셀 잡음은 현재 픽셀에 대응한다고 말해지며, 때때로 현재 픽셀의 잡음 성분이라고 지칭된다.
비-잡음 적응 양방향 필터(non-noise adaptive bilateral filter)들이 공지되어 있다. 예를 들어, 본 기술분야의 지식의 실증으로서 참조에 의해 본 명세서에 원용되는, 문헌 [C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images," Proceeding of the　1998 IEEE International Conference on Computer Vision, Bombay India, pp. 839-846 (1998)]을 참조한다.
종래 기술의 양방향 필터들에서와 같이, 적응 공간 잡음 필터(570)는 비선형 에지 보존 필터(nonlinear, edge-preserving filter)이다. 그렇지만, 방금 언급된 바와 같이, 종래 기술의 양방향 필터와는 달리, 픽셀에 대해, 적응 공간 잡음 필터는 픽셀과 인접 픽셀들 간의 유클리드 거리에 기초하여뿐만 아니라, 현재 픽셀과 인접 픽셀들 간의 신호 레벨들의 차이들에 기초하여 그리고 현재 픽셀의 잡음 성분에 기초하여 필터에서 사용되는 가중치들을 조정한다. 구체적으로는, 이하에서 보다 완전히 설명되는 바와 같이, 적응 공간 잡음 필터(570)는 현재 픽셀의 이웃에 있는 픽셀들의 가중 합을 취한다. 가중치들은 공간 거리에 그리고 이웃하는 픽셀들의 신호 레벨들은 물론 현재 픽셀 자체의 잡음 성분에 의존한다. 따라서, 프레임 내의 각각의 픽셀에서의 신호 값이 근방의 픽셀들로부터의 신호 값들의 잡음 기반 가중 평균으로 대체된다.
잡음을 평균화하고 감소시키면서 에지 보존의 효과를 달성하기 위해 모든 픽셀들에 대해 상수 신호 범위 파라미터 σ r 에 의존했던 양방향 필터의 이전의 구현과 달리, 적응 공간 잡음 필터(570)는 각각의 픽셀에 대한 신호 범위 파라미터 σ r 를 그 픽셀의 잡음 성분에 기초하여 조정한다. 따라서, 프레임 내의 각각의 픽셀은 픽셀과 연관된 잡음에 기초하여 양방향으로 필터링되며, 즉 공간 양방향 필터가 각각의 픽셀의 잡음에 적응한다.
하기의 표현식은 일 양태에서 이미징 파이프라인(530)에 구현된 적응 공간 잡음 필터(570)의 정의이다.
여기서
는 위치 x에 있는 픽셀의 필터링된 신호 레벨이고;
C는 정규화 상수이며;
는 공간 가우시안 분포이고;
||y-x||는 위치 y에 있는 픽셀과 위치 x에 있는 픽셀 간의 거리의 노름이며;
σ d 는, 보통 1 내지 10의 범위에 있는, 거리 파라미터이고;
는 위치 x에 있는 현재 픽셀의 잡음의 함수인 신호 레벨 범위 가우시안 분포이며;
I(y)는 위치 y에 있는 픽셀의 신호 레벨이고;
I(x)는 위치 x에 있는 픽셀의 신호 레벨이며;
|I(y) - I(x)|는 위치 y에 있는 픽셀의 신호 레벨과 위치 x에 있는 픽셀의 신호 레벨 간의 차이의 절댓값이고;
σ(Noise) r 은 위치 x에 있는 픽셀의 잡음의 함수인 신호 레벨 범위 파라미터이며;
N(x)는 위치 x에 중심 픽셀을 갖는 픽셀 블록이고;
는 위치 x에 중심 픽셀을 갖는 픽셀 블록 내의 픽셀들에 걸친 합산을 나타낸다.
위치 x와 위치 y가 픽셀 블록에서의 위치들을 지정하고, 각각의 위치가 2개의 좌표에 의해 표현된다는 것에 유의해야 한다.
도 6a는 적응 공간 잡음 픽셀 필터링을 위한 방법(650)의 일 구현에 대한 프로세스 흐름 다이어그램이다. 도 6b는 적응 공간 잡음 필터(670)에서의 도 6a의 방법(650)의 일 구현의 블록 다이어그램이다. 일 양태에서, 적응 공간 잡음 필터(670)는 이미징 파이프라인(230)에서 그리고 이미징 파이프라인(530)에서 사용될 수 있다. 적응 공간 잡음 필터(670)는 적응 공간 잡음 필터(570)의 일 예이다.
초기에, 새로운 프레임 검색 프로세스(601)는 새로운 픽셀 프레임(602), 예컨대, 프레임(imY)을 검색한다. 새로운 프레임 검색 프로세스(601)는 블록 가져오기(GET BLOCK) 프로세스(603)로 넘어간다.
블록 가져오기 프로세스(603)는 현재 픽셀에 중심을 둔 입력 n x n 픽셀 블록을 현재 픽셀 프레임(616)(도 6b)으로부터 검색한다. 프레임 내의 각각의 픽셀이 적응 공간 잡음 필터링되거나 프레임 내의 적어도 복수의 픽셀이 적응 공간 잡음 필터링되며, 따라서 현재 픽셀은 적응 공간 잡음 필터링되고 있는 픽셀이다. 일 양태에서, 입력 n x n 픽셀 블록은 블록의 중심에 현재 픽셀을 갖는 5 픽셀 x 5 픽셀 블록이다. 블록 가져오기 프로세스(603)는 거리 필터(DISTANCE FILTER) 프로세스(604)로 넘어간다.
거리 필터 프로세스(604)는 입력 픽셀 블록 내의 각각의 픽셀에 대해, 즉 입력 픽셀 블록 내의 각각의 픽셀에 대해 앞서 정의된 공간 가우시안 함수의 값을 발생시키고, 따라서 각각의 위치에 대한 거리 필터 값을 n x n 거리 필터 값 블록으로 생성한다. 거리 필터 프로세스(604)는 범위 차이(RANGE DIFFERENCE) 프로세스(605)로 넘어간다.
범위 차이 프로세스(605)는 현재 픽셀과 입력 픽셀 블록 내의 다른 픽셀들 각각 사이의 신호 레벨의 차이를 결정한다. 구체적으로는, 범위 차이 프로세스(605)는 I(y)-I(x)를 평가하고 - 여기서, x는 블록에서의 중심 픽셀의 위치이고, I(x)는 중심 픽셀의 값이며, I(y)는 입력 픽셀 블록에서 위치 y에 있는 픽셀의 값이고, y는 입력 픽셀 블록에서의 위치들에 걸친 범위에 있음 -, 각각의 위치에 대한 범위 차이를 n x n 범위 차이 블록으로 발생시킨다. 범위 차이 프로세스(605)는 범위 필터(RANGE FILTER) 프로세스(606)로 넘어간다.
범위 필터 프로세스(606)는 앞서 기술된 바와 같이 현재 픽셀의 잡음의 함수인 신호 레벨 범위 가우시안 분포를 구현한다. 신호 레벨 범위 가우시안 분포를 구현하기 위해, 범위 필터 프로세스(606)는 현재 픽셀에 대한 신호 레벨 범위 파라미터 σ(Noise) r 의 잡음 의존 값을 필요로 한다. 여기서, 신호 레벨 범위 파라미터 σ(Noise) r 에서의 괄호들 내의 포함되는 Noise는 신호 레벨 범위 파라미터 σ r 이 현재 픽셀의 잡음 성분의 함수라는 것을 의미한다. 이 기능의 결과는 양방향 필터에서의 범위 필터가 적응적이고 양방향으로 필터링되는 픽셀의 잡음 성분에 기초하여 변한다다는 것이다. 결과적으로, 공간 잡음 필터는 잡음에 적응적이며, 따라서 적응 공간 잡음 필터라고 지칭된다. 따라서, 적응 공간 잡음 필터는, 위치 y에 있는 픽셀의 신호 레벨과 위치 x에 있는 픽셀의 신호 레벨 간의 차이의 절댓값의 제곱을 신호 레벨 범위 파라미터 σ(Noise) r 의 제곱으로 나누는 것에 의해, 현재 픽셀의 신호 레벨을 복수의 이웃하는 픽셀의 신호 레벨들과 그리고 추정된 픽셀 잡음 파라미터와 비교한다. 여기서, 신호 레벨 범위 파라미터 σ(Noise) r 은 이 양태에 대한 추정된 픽셀 잡음 파라미터이다. 이 비교는 적응 공간 잡음 필터링된 픽셀 값을 출력하는 데 사용된다.
일 양태(도시되지 않음)에서, 신호 레벨 범위 파라미터 σ(Noise) r 은 현재 픽셀의 잡음 성분의 선형 함수이다. 이 양태에서, 현재 픽셀의 위치는 파이프라인의 스테이지에 입력되는, 픽셀 잡음 데이터의 프레임에서의 대응하는 위치, 예컨대, 동일한 위치로부터 픽셀 잡음을 검색하는 데 사용된다. 검색되는 픽셀 잡음은 중심 픽셀에 대응한다. 신호 레벨 범위 파라미터 σ(Noise) r 을 획득하기 위해, 중심 픽셀의 잡음 성분인, 픽셀 잡음이 선형 함수에 입력된다. 이미징 파이프라인(530)에 대해, 픽셀 잡음 데이터의 입력 프레임(612)은 프레임(imNoiseY)이다. 일 양태에서, 선형 함수의 기울기는 2 내지 3이다. 일 양태에서, 일군의 관찰자에 의해 결정되는 바와 같이, 상이한 값들을 기울기 및 오프셋으로서 사용하고, 값들 각각에 대한 적응 공간 필터들을 사용하여 잡음이 있는 이미지(noisy image)를 필터링하며, 이어서 최상의 필터링된 이미지를 생성하는 값들을 선택하는 것에 의해, 기울기 및 오프셋이 경험적으로 결정된다.
다른 양태에서, 도 6a에 예시된 바와 같이, 현재 픽셀의 위치가 픽셀 잡음 데이터의 프레임(612)으로부터 픽셀 잡음을 검색하는 데 사용되며, 픽셀 잡음이 잡음 대 시그마 R 룩업 테이블(Noise to Sigma R Look-up Table)(613)에 입력된다. 이 테이블은 선형 함수에 대해 방금 기술된 것과 동등한 절차를 사용하여 경험적으로 발생되지만, 보다 복잡한 곡선이 사용된다. 따라서, 잡음 대 시그마 R 룩업 테이블(613)은 복수의 픽셀 잡음 레벨 각각에 대한 신호 레벨 범위 파라미터 σ(Noise) r 을 포함하며, 여기서 복수의 픽셀 잡음 레벨은, 이 양태에서, 수술 이미지에서 흔히 마주치는 일정 범위의 픽셀 잡음을 포함한다. 잡음 대 시그마 R 룩업 테이블(613)은 입력 픽셀 잡음에 대응하는 신호 레벨 범위 파라미터 σ(Noise) r 을 범위 필터 프로세스(606)에 출력하고, 따라서 현재 픽셀의 잡음 성분에 의존하는 신호 레벨 범위 파라미터 σ(Noise) r 을 출력한다.
따라서, 범위 필터 프로세스(606)는 n x n 범위 필터링된 값 블록을 발생시키고, 여기서 n x n 범위 필터링된 값 블록에서 주어진 위치에 있는 범위 필터링된 값은 n x n 범위 차이 블록에서 주어진 위치와 동일한 위치로부터의, 예컨대, 대응하는 위치로부터의 입력 범위 차이, 및 입력 신호 레벨 σ(Noise) r 을 사용하는 신호 레벨 범위 가우시안 분포의 값이다. 따라서, 범위 필터 프로세스(606)는 필터들 조합(COMBINE FILTERS) 프로세스(607)로 넘어간다.
필터들 조합 프로세스(607)는 n x n 거리 필터 값 블록에서의 한 위치에 있는 값을 n x n 범위 필터링된 값 블록에서의 동일한 위치에 있는 값과 곱하는 것을 2개의 블록에서의 각각의 위치에 대해 행하고, 따라서 n x n 조합된 필터 값 블록에서의 각각의 위치에 대한 조합된 필터 값을 발생시킨다. 필터들 조합 프로세스(607)는 정규화(NORMALIZE) 프로세스(608)로 넘어간다.
정규화 프로세스(608)는 먼저, 앞서 정의된, 정규화 상수 C의 값을 결정한다. 구체적으로는, 정규화 프로세스(608)는 n x n 조합된 필터 값 블록에서의 값들을 합산하여, 정규화 상수 C를 발생시킨다. 다음에, 정규화 프로세스(608)는 n x n 조합된 필터 값 블록에서의 각각의 위치에 있는 값을 정규화 상수 C로 나누어, n x n 정규화된 조합된 필터 값 블록을 발생시킨다. 정규화 프로세스(608)는 픽셀 발생 프로세스(609)로 넘어간다.
픽셀 발생 프로세스(609)는 적응 공간 잡음 필터링된 픽셀을 발생시키고 적응 공간 잡음 필터링된 픽셀을, 때때로 픽셀 데이터의 출력 프레임 또는 필터링된 픽셀 출력 프레임이라고 지칭되는, 필터링된 픽셀 데이터의 출력 프레임(614)에 기입한다. 구체적으로는, 픽셀 발생 프로세스(609)는 n x n 적용된 필터 값 블록에서의 한 위치에 대한 적용된 필터 값을 n x n 정규화된 조합된 필터 값 블록의 동일한 위치에 있는 값을 n x n 입력 픽셀 블록의 동일한 위치에 있는 픽셀의 값과 곱하는 것에 의해 발생시킨다. 곱셈은 블록들에서의 각각의 위치에 대해 행해진다. 마지막으로, 블록의 중심에 있는 픽셀에 대한 적응 공간 잡음 필터링된 픽셀을 발생시키기 위해, 픽셀 발생 프로세스(609)는 적응 공간 잡음 필터링된 픽셀을 획득하기 위해 n x n 적용된 필터 값 블록에서의 값들을 합산하고, 적응 공간 잡음 필터링된 픽셀은 필터링된 픽셀 데이터의 출력 프레임(614)에서의 적절한 위치에, 즉 필터링된 픽셀 데이터의 출력 프레임(614)에서 현재 픽셀 프레임(616)에서의 중심 픽셀의 위치와 동일한 위치에 기입된다. 필터링된 픽셀 데이터의 출력 프레임(614)은 때때로 필터링된 픽셀 데이터 출력 프레임(614)이라고 지칭된다.
픽셀 잡음 발생 프로세스(610)는 임의적이며, 전형적으로 적응 잡음 필터를 이용하는 다른 필터 스테이지가 파이프라인에서 후단에(later) 있는 경우 구현된다. 앞서, 정규화 상수 C는 다음과 같이 정의되었다:
정규화 상수 C를 결정할 때, n x n 조합된 필터 값 블록이 발생되었고, 블록 Cxy에서의 한 위치에 있는 조합된 필터 값은 다음과 같이 표현될 수 있다:
또한, 앞서 설명된 바와 같이, 다음과 같이 표현되는, n x n 정규화된 조합된 필터 값 블록 CFN을 발생시키기 위해 n x n 조합된 필터 값 블록에서의 각각의 위치에 있는 값이 정규화 상수 C로 나누어졌다:
픽셀 잡음 발생 프로세스(610)는 정규화 프로세스(608)로부터 n x n 정규화된 조합된 필터 값 블록 CFN을 수신한다. 또한, 현재 픽셀에 중심을 둔 n　x n 픽셀 블록에서의 각각의 픽셀에 대해, 픽셀 잡음 데이터의 프레임(612)에 대응하는 픽셀 잡음 표준 편차 stdPix i,j 가 있다. 현재 픽셀에 대한 잡음 출력 표준 편차 픽셀 stdOut은 다음과 같이 정의된다:
잡음 출력 표준 편차 픽셀 stdOut은, 때때로 픽셀 잡음 데이터의 출력 프레임(615)이라고 지칭되는, 픽셀 잡음 출력 프레임(615)에 전달된다. 픽셀 잡음 발생 프로세스(610)는 프로세싱을 마지막 픽셀 체크 프로세스(611)로 넘긴다.
마지막 픽셀 체크 프로세스(611)는 현재 픽셀 프레임 내의 픽셀들 전부가 필터링되었는지를 결정한다. 픽셀들 전부가 필터링된 경우, 마지막 픽셀 체크 프로세스(611)는 새로운 프레임 검색 프로세스(601)로 넘어가고, 그렇지 않은 경우 블록 가져오기 프로세스(603)로 넘어간다.
이하는 적응 공간 잡음 필터(670)의 일 양태의 의사 코드(pseudo code) 구현이다.
sigmaD =　1 %거리 필터에 대한 시그마 값
I = [5,5] %블록의 크기를 정의한다
distFilt = fspecial('gausian', [5,5],10) %블록에서의 각각의 위치에 대한 거리 필터를 평가한다
cp = I(3,3) %중심 픽셀을 정의한다
diff = I-cp %각각의 픽셀과 중심 픽셀 간의 신호 레벨 차이
np = 잡음 프레임에서의 cp의 위치 %중심 픽셀에 대응하는 픽셀 잡음을 정의한다
sigmaR = lookup(np) %sigmaR을 중심 픽셀에 대응하는 잡음 픽셀의 함수로서 획득한다
rangeFilt = exp(-diff.^2/(2*sigmaR^2))) %블록에서의 각각의 위치에 대한 범위 필터를 평가한다
combFilt=rangeFilt.*distFilt %범위 필터의 각각의 성분을 거리 필터의 대응하는 성분과 곱한다
sumFilt=sum(combFilt(:)) %조합된 필터의 값들을 합산한다
combFiltNorm = comFilt./sumFilt %조합 필터의 각각의 값을 정규화 인자로 나눈다
appliedFilter = I.*comFiltNorm %블록에서의 각각의 픽셀을 정규화된 조합된 필터와 곱한다
newValue = sum(appliedFilter(:)) %필터링된 중심 픽셀은 적용된 필터에서의 값들의 합이다
일 양태에서, 적응 공간 잡음 필터는 컴퓨터 프로그래밍 언어로 작성되고 이미징 파이프라인에서의 프로세서 상에서 실행될 수 있는 실행가능 모듈로 컴파일된다. 대안적으로, 적응 공간 필터는 하드웨어로, 펌웨어로, 또는 하드웨어, 펌웨어의 임의의 조합, 및 프로세서와 실행가능 모듈의 조합으로 구현될 수 있다. 예를 들어, 도 6b를 참조한다.
적응 공간 잡음 필터(670)는 도 6a의 방법(650)을 수행하는 필터의 일 예이다. 적응 공간 잡음 필터(670)는 거리 필터 모듈(620), 제1 합산기(621), 범위 필터 모듈(622), 제1 곱셈기(623), 제2 합산기(624), 나눗셈기(625), 제2 곱셈기(626), 제3 합산기(627), 곱셈기 뱅크(628), 제4 합산기(629), 및 제곱근 모듈(630)을 포함한다. 적응 공간 잡음 필터(670)는 현재 픽셀 프레임(616), 현재 픽셀 잡음 프레임(612), 잡음 대 시그마 R 룩업 테이블(613), 필터링된 픽셀 데이터의 출력 프레임(614), 및 픽셀 잡음 출력 프레임(615)에 연결된다. 일 양태에서, 현재 픽셀 프레임(616), 현재 픽셀 잡음 프레임(612), 잡음 대 시그마 R 룩업 테이블(613), 필터링된 픽셀 출력 프레임(614), 및 픽셀 잡음 출력 프레임(615) 각각은 메모리에 저장된다.
현재 픽셀 프레임(616), 현재 픽셀 잡음 프레임(612), 잡음 대 시그마 R 룩업 테이블(613), 필터링된 픽셀 출력 프레임(614), 및 픽셀 잡음 출력 프레임(615)을 적응 공간 잡음 필터(670)와 분리되어 있는 것으로 도시한 것은 예시적인 것에 불과하다. 예를 들어, 적응 공간 잡음 필터(670)가 도 6b에서 현재 픽셀 프레임(616), 현재 픽셀 잡음 프레임(612), 잡음 대 시그마 R 룩업 테이블(613), 필터링된 픽셀 출력 프레임(614), 및 픽셀 잡음 출력 프레임(615)의 모든 또는 일부 조합을 포함하는 것으로 그려질 수 있다.
블록 가져오기 프로세스(603)를 구현하기 위해, 제어 신호들이, 때때로 프레임(616)이라고 지칭되는, 현재 픽셀 프레임(616)에 공급되며, 따라서 픽셀 블록 I(n,n)은 거리 필터 모듈(620)에 그리고 합산기(621)의 제1 입력에 공급되고, 따라서 블록 I(n,n)의 중심 픽셀 cp은 적응 공간 잡음 필터(670)의 합산기(621)의 제2 반전 입력(second inverting input)(In2)에 공급된다. 여기서, n은 0이 아닌 양의 홀수 정수(positive non-zero odd integer)이다.
앞서 살펴본 바와 같이, 중심 픽셀은 때때로 현재 픽셀이라고 지칭된다. 또한, 픽셀이 입력 상에 구동되거나 입력에 공급된다고 말해질 때, 이는 픽셀의 값이 입력 상에 있다는 것을 의미한다.
거리 필터 모듈(620)은 블록 I(n,n)에서의 각각의 픽셀에 대한, 즉 블록 I(n,n)에서의 각각의 위치에 대한 앞서 정의된 공간 가우시안 함수를 구현하고, 따라서 블록 I(n,n)에서의 각각의 위치에 대한 거리 필터 값을 발생시킨다. 거리 필터 모듈(620)은 거리 필터 프로세스(604)를 구현한다.
합산기(621)는 블록 I(n,n)에서의 각각의 값으로부터 중심 픽셀의 값을 감산하며, 즉 합산기(621)는 n x n 신호 레벨 범위 차이 블록을 발생시키기 위해 현재 픽셀과 블록 I(n,n)에서의 다른 픽셀들 각각 간의 신호 레벨의 차이를 결정한다. 합산기(621)는 n x n 신호 레벨 범위 차이 블록을 출력(Out) 상에 출력한다. 합산기(621)는 범위 차이 프로세스(605)를 구현한다.
범위 필터 모듈(622)은 앞서 기술된 바와 같이 현재 픽셀의 잡음의 함수인 신호 레벨 범위 가우시안 분포를 구현한다. 신호 레벨 범위 필터 모듈(622)을 구현하는 것은 블록 I(n,n)의 중심 픽셀에 대한 신호 레벨 범위 파라미터 σ(Noise) r 의 잡음 의존 값을 필요로 한다.
이 양태에서, 현재 픽셀 cp의 위치가 픽셀 잡음 데이터의 프레임(612)에서의 동일한 위치에 있는 픽셀 잡음을 검색하는 데 사용되며, 픽셀 잡음이 잡음 대 시그마 R 룩업 테이블(613)에 입력된다. 검색된 픽셀 잡음은 블록 I(n, n)의 중심 픽셀에 대응하는 픽셀 잡음이다. 입력 픽셀 잡음에 응답하여, 잡음 대 시그마 R 룩업 테이블(613)은 신호 레벨 범위 파라미터 σ(Noise) r 을 제2 입력(In2)에서 범위 필터 모듈(622)에 제공한다. 범위 필터 모듈(622)은 제1 입력(In1)에서 합산기(621)로부터 n x n 신호 레벨 범위 차이 블록을 수신한다.
따라서, 범위 필터 모듈(622)은 블록 I(n,n)에서의 각각의 위치의 범위 필터링된 값을 발생시킨다. n x n 범위 필터링된 값 블록에서의 주어진 위치에 있는 범위 필터링된 값은 n x n 신호 레벨 범위 차이 블록에서의 그 주어진 위치에 대한 입력 범위 차이 및 입력 신호 레벨 σ(Noise) r 을 사용하는 신호 레벨 범위 가우시안 분포의 값이다. 범위 필터 모듈(622)은 범위 필터 프로세스(606)를 구현한다.
곱셈기(623)는 제1 입력(In1)에서는 n x n 거리 필터 값 블록을 수신하고 제2 입력 단자(In2)에서는 n x n 범위 필터링된 값 블록을 수신한다. 곱셈기(623)는 n x n 거리 필터 값 블록의 거리 필터 값을 n x n 범위 필터 블록의 대응하는 범위 필터 값과 곱하고 결과를 n x n 조합된 필터 블록의 대응하는 위치에 놓는다. 여기서, 거리 필터 값 블록의 위치 (1,1)에 있는 거리 필터 값은 범위 필터 값 블록의 위치 (1,1)에 있는 범위 필터 값에 그리고 조합된 필터 값 블록의 위치 (1,1)에 있는 조합된 필터 값에 대응하고; 거리 필터 값 블록의 위치 (1,2)에 있는 거리 필터 값은 범위 필터 값 블록의 위치 (1,2)에 있는 범위 필터 값에 그리고 조합된 필터 값 블록의 위치 (1,2)에 있는 조합된 필터 값에 대응하며; ... 거리 필터 값 블록의 위치 (2,1)에 있는 거리 필터 값은 범위 필터 값 블록의 위치 (2,1)에 있는 범위 필터 값에 그리고 조합된 필터 값 블록의 위치 (2,1)에 있는 조합된 필터 값에 대응하고, 이하 마찬가지이다. 따라서, 본 명세서에서 일반적으로, 2개의 n x n 블록에서의 동일한 위치들에 있는 엔트리들은 대응한다고 말해진다. n x n 조합된 필터 값 블록이 곱셈기(623)의 출력(Out)에서 제공된다. 곱셈기(623)는 필터들 조합 프로세스(607)를 구현한다.
합산기(624)는 입력(In)에서 n x n 조합된 필터 값 블록을 수신한다. 합산기(624)는 n x n 조합된 필터 값 블록에서의 값들을 합산하여, 앞서 정의된, 정규화 상수 C를 발생시킨다. 정규화 상수 C는 합산기(624)의 출력(Out)에서 제공된다.
나눗셈기(625)는 분자 입력(Num)에서는 n x n 조합된 필터 값 블록을 수신하고 분모 단자(Denom)에서는 정규화 상수 C를 수신한다. 나눗셈기(625)는 n x n 조합된 필터 값 블록에서의 조합된 필터들 각각을 정규화 상수 C로 나누어, n x n 정규화된 조합된 필터 값 블록을 발생시킨다. n x n 정규화된 조합된 필터 값 블록이 나눗셈기(625)의 출력(Out)에서 제공된다. 합산기(624)와 나눗셈기(625)는 정규화 프로세스(608)를 구현한다.
곱셈기(626)는 제1 입력(In1)에서는 픽셀 블록 I(n,n)을 그리고 제2 입력(In2)에서는 n x n 정규화된 조합된 필터 값 블록을 수신한다. 곱셈기는 정규화된 조합된 필터 값들 각각을 픽셀 블록 I(n,n)에서의 대응하는 픽셀과 곱하는 것에 의해 n x n 적용된 필터 값 블록을 발생시킨다. 다시 말하지만, 픽셀 블록의 위치 (1,1)에 있는 픽셀 값은 정규화된 조합된 필터 값 블록의 위치(1,1)에 있는 정규화된 조합된 필터 값 및 적용된 필터 값 블록의 위치 (1,1)에 있는 적용된 필터 값에 대응하고; 픽셀 블록의 위치 (1,2)에 있는 픽셀 값은 정규화된 조합된 필터 값 블록의 위치(1,2)에 있는 정규화된 조합된 필터 값 및 적용된 필터 값 블록의 위치 (1,1)에 있는 적용된 필터 값에 대응하며, 이하 마찬가지이다. n x n 적용된 필터 값 블록이 곱셈기(626)의 출력(Out)에서 공급된다.
합산기(627)는 입력(In)에서 n x n 적용된 필터 값 블록을 수신한다. 합산기(624)는 n x n 적용된 필터 값 블록에서의 값들을 합산하여, 픽셀 블록 I(n,n)의 중심 픽셀에 대한 적응 공간 잡음 필터링된 픽셀을 발생시킨다. 중심 픽셀에 대한 적응 공간 잡음 필터링된 픽셀은 합산기(627)의 출력(Out)에서 제공되고, 따라서 필터링된 픽셀 출력 프레임(614)에서의 적절한 위치, 즉 필터링된 픽셀 출력 프레임(614)에서 현재 픽셀 프레임(616)에서의 중심 픽셀 cp의 위치와 동일한 위치에 기입된다. 곱셈기(627)와 합산기(627)는 픽셀 발생 프로세스(609)를 구현한다.
곱셈기 뱅크(628)는 제1 입력(In1)에서는 픽셀 잡음 데이터의 프레임(612)으로부터 n x n 픽셀 잡음 표준 편차 stdPix i,j 블록을 수신하고 제2 입력 단자(In2)에서는 n x n 정규화된 조합된 필터 값 블록을 수신한다. 곱셈기 뱅크(623)는 입력 값 각각을 그 자체와 곱하고, 하나의 블록에서의 제곱된 값을 다른 블록에서의 대응하는 제곱된 값과 곱한다. 픽셀 잡음 표준 편차 제곱과 정규화된 조합된 필터 값 제곱의 곱의 n x n 블록은, 합산기(629)의 입력 단자(In)를 구동하는, 곱셈기 뱅크(628)의 출력(Out)에서 제공된다.
합산기(629)는 픽셀 잡음 표준 편차 제곱과 정규화된 조합된 필터 값 제곱의 곱의 n x n 블록을 입력(In)에서 수신한다. 합산기(624)는 픽셀 잡음 표준 편차 제곱과 정규화된 조합된 필터 값 제곱의 곱의 n x n 블록에서의 값들을 합산한다. 결과가 합산기(629)의 출력(Out)에서 제공된다.
제곱근 모듈(630)은 합산기(629)의 출력(Out)에서의 결과를 입력(In)에서 수신한다. 제곱근 모듈(630)은 입력 값의 제곱근을 취하고 잡음 출력 표준 편차 픽셀 stdout을 픽셀 잡음 출력 프레임(615)에 공급한다. 곱셈기 뱅크(628), 합산기(629), 및 제곱근 모듈(630)은 픽셀 잡음 발생 프로세스(610)를 구현한다.
앞서 기술된 적응 잡음 필터들은 실제로 임의의 수의 모듈에 의해 구현될 수 있으며, 각각의 모듈은 컴포넌트들의 임의의 조합을 포함할 수 있다. 각각의 모듈 및 각각의 컴포넌트는 하드웨어, 프로세서 상에서 실행되는 소프트웨어, 및 펌웨어, 또는 이 세 가지의 임의의 조합을 포함할 수 있다. 또한, 적응 잡음 필터의 기능들 및 동작(act)들이, 본 명세서에 기술된 바와 같이, 하나의 모듈에 의해 수행되거나, 상이한 모듈들 간에 또는 심지어 모듈의 상이한 컴포넌트들 간에 분할될 수 있다. 상이한 모듈들 또는 컴포넌트들 간에 분할될 때, 모듈들 또는 컴포넌트들이 하나의 장소에 집중(centralize)되거나 분산 프로세싱 목적들을 위해 컴퓨터 보조 수술 시스템에 걸쳐 분산될 수 있다. 따라서, 적응 잡음 필터에 대한 언급들이 단일 물리적 엔티티를 요구하는 것으로 해석되어서는 안된다.
위의 예들에서, 단일 이미징 파이프라인이 도시되고 기술되었다. 그렇지만, 입체 장면들을 이용하는 시스템에서, 하나의 파이프라인이 좌측 이미지 캡처 유닛으로부터의 좌측 캡처된 프레임을 프로세싱하고 다른 파이프라인이 우측 이미지 캡처 유닛으로부터의 우측 캡처된 프레임을 프로세싱하도록, 앞서 기술된 파이프라인들과 동일한 제2 파이프라인이 사용될 것이다. 제2 파이프라인에 대한 위의 설명을 반복하는 것은 중복적이며, 따라서 명확성을 위해 본 명세서에 포함되지 않는다.
본 명세서에서 사용되는 바와 같이, "제1", "제2", "제3" 등은 상이한 컴포넌트들 또는 요소들을 구별하기 위해 사용되는 형용사들이다. 따라서, "제1", "제2", 및 "제3"은 컴포넌트들 또는 요소들의 임의의 순서(ordering)를 암시하거나 컴포넌트들 또는 요소들의 임의의 총수를 암시하려는 것으로 의도되어 있지 않다.
본 발명들의 양태들 및 실시예들을 예시하는 위의 설명 및 첨부 도면들은 제한하는 것으로 보아서는 안된다 - 청구항들은 보호된 발명들을 한정한다. 이 설명 및 청구항들의 사상 및 범주를 벗어나지 않고 다양한 기계적, 조성적, 구조적, 전기적, 및 동작적 변경들이 이루어질 수 있다. 일부 경우들에서, 본 발명을 불명료하게 하는 것을 피하기 위해 널리 공지된 회로들, 구조들, 및 기법들이 상세히 도시 또는 기술되지 않았다.
게다가, 이 설명의 용어는 본 발명을 제한하려는 것으로 의도되어 있지 않다. 예를 들어, 공간 관계어(spatially relative term)들 - "아래에(beneath)", "아래쪽에(below)", "하부의(lower)", "위쪽에(above)", "상부의(upper)", "근위의(proximal)", "원위의(distal)", 및 이와 유사한 것 등 - 은 도면들에 예시된 바와 같이 하나의 요소 또는 피처의 다른 요소 또는 피처에 대한 관계를 기술하는 데 사용될 수 있다. 이 공간 관계어들은 도면들에 도시된 포지션 및 배향에 부가하여 사용 또는 동작 중인 디바이스의 상이한 포지션들(즉, 위치들) 및 배향들(즉, 회전 배치들)을 포괄하도록 의도되어 있다. 예를 들어, 디바이스가 도면들에서 뒤집힌 경우, 다른 요소들 또는 피처들의 "아래에" 또는 "아래쪽에"로 기술된 요소들이 다른 요소들 또는 피처들의 "위에"또는 "위쪽에" 있을 것이다. 따라서, "아래에"라는 예시적인 용어는 위에 및 아래에의 포지션들과 배향들 둘 다를 포괄할 수 있다. 디바이스는 다른 방식으로 배향(90도 또는 다른 배향들로 회전)될 수 있고, 본 명세서에서 사용되는 공간 관계 기술어(spatially relative descriptor)들은 그에 따라 해석될 수 있다. 마찬가지로, 다양한 축들을 따라 그리고 그를 중심으로 한 움직임에 대한 설명들은 다양한 특별한 디바이스 포지션들 및 배향들을 포함한다.
단수 형태들 "한(a)", "한(an)", 및 "그(the)"는, 문맥이 달리 지시하지 않는 한, 복수 형태들도 포함하려는 것으로 의도되어 있다. 용어들 "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)", 및 이와 유사한 것은 언급된 피처들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만 하나 이상의 다른 피처들, 단계들, 동작들, 요소들, 컴포넌트들, 및 그룹들의 존재 또는 추가를 배제하지 않는다. 결합된 것으로 기술된 컴포넌트들은 전기적으로 또는 기계적으로 직접 결합될 수 있거나, 하나 이상의 중간 컴포넌트를 통해 간접적으로 결합될 수 있다.
모든 예들 및 예시적인 참조들은 비제한적이며 청구항들을 본 명세서에 기술된 구체적인 구현들 및 실시예들 그리고 그 등가물들로 제한하기 위해 사용되어서는 안된다. 임의의 제목들은 서식(formatting)을 위한 것에 불과하고 발명 요지를 제한하는 것으로 결코 사용되어서는 안되는데, 그 이유는 하나의 제목 하의 본문이 하나 이상의 제목 하의 본문을 상호참조하거나 그에 적용될 수 있기 때문이다. 마지막으로, 본 개시내용을 고려하여, 일 양태 또는 실시예와 관련하여 기술된 특정의 특징들이, 비록 도면들에 구체적으로 도시되지 않거나 본문에 기술되어 있지 않더라도, 본 발명의 다른 개시된 양태들 또는 실시예들에 적용될 수 있다.
앞서 기술된 실시예들은 본 개시내용을 예시하지만 제한하지는 않는다. 본 개시내용의 원리들에 따른 많은 수정들 및 변형들이 가능하다는 것을 또한 이해해야 한다. 예를 들어, 많은 양태들에서, 본 명세서에 기술된 디바이스들은 단일 포트 디바이스들로서 사용되며; 즉, 외과적 시술을 완료하는 데 필요한 모든 컴포넌트들은 단일 엔트리 포트를 통해 신체에 들어간다. 그렇지만, 일부 양태들에서, 다수의 디바이스 및 포트가 사용될 수 있다.

Claims (25)

  1. 시스템으로서,
    픽셀 데이터의 제1 프레임을 캡처하도록 구성된 이미지 센서;
    상기 픽셀 데이터의 제1 프레임을 수신하기 위해 상기 이미지 센서에 결합된 이미징 파이프라인(imaging pipeline) - 상기 이미징 파이프라인은 적응 잡음 필터(adaptive noise filter)를 포함하고, 상기 적응 잡음 필터는:
    제1 픽셀을 상기 제1 픽셀에 대한 추정된 픽셀 잡음 파라미터를 사용하여, 그리고 상기 제1 픽셀의 신호 레벨과 제2 픽셀의 신호 레벨 간의 차이를 사용하여 필터링하고;
    상기 필터링된 제1 픽셀에 대응하는 픽셀 잡음을 잡음 출력 프레임에 출력하며;
    상기 필터링된 제1 픽셀을 포함하는 픽셀 데이터의 제2 프레임을 출력하도록 구성되고;
    상기 이미징 파이프라인은 상기 픽셀 데이터의 제2 프레임에 기초한 픽셀 데이터의 출력 프레임을 출력하도록 구성됨 -; 및
    상기 픽셀 데이터의 출력 프레임을 수신하기 위해 상기 이미징 파이프라인에 결합된 디스플레이 디바이스 - 상기 디스플레이 디바이스는 상기 픽셀 데이터의 출력 프레임을 디스플레이하도록 구성됨 -
    를 포함하는, 시스템.
  2. 제1항에 있어서, 상기 적응 잡음 필터는 적응 시간 잡음 필터(adaptive temporal noise filter)를 포함하며, 상기 제2 픽셀은 상기 이미지 센서에 의해 캡처된 제3 프레임에서 상기 제1 프레임에서의 상기 제1 픽셀의 위치와 동일한 위치에 있고, 상기 제3 프레임은 시간상 상기 제1 프레임의 상기 캡처 이전에 캡처되며, 상기 시간 잡음 필터는 상기 제1 픽셀을 상기 제1 및 제2 픽셀들의 상기 신호 레벨들의 변화와 상기 제1 픽셀의 추정된 픽셀 잡음 레벨의 비교에 기초하여 필터링하도록 구성되고, 상기 추정된 픽셀 잡음 레벨은 상기 추정된 픽셀 잡음 파라미터인, 시스템.
  3. 제2항에 있어서, 상기 이미징 파이프라인은 복수의 스테이지를 포함하며, 상기 적응 시간 잡음 필터는 상기 복수의 스테이지의 제1 스테이지에 포함되는, 시스템.
  4. 제2항에 있어서, 상기 적응 시간 잡음 필터는 상기 잡음 출력 프레임을 출력하도록 구성되는, 시스템.
  5. 제1항에 있어서, 상기 이미징 파이프라인은 복수의 스테이지를 포함하며, 상기 복수의 스테이지의 제1 스테이지에 후속하는 상기 복수의 스테이지 각각은 입력 픽셀 잡음 프레임을 프로세싱하도록 구성되고 스테이지 의존 픽셀 잡음 프레임(stage dependent pixel noise frame)을 출력하도록 구성되는, 시스템.
  6. 제1항에 있어서, 상기 적응 잡음 필터는 적응 공간 잡음 필터(adaptive spatial noise filter)를 포함하며, 상기 제2 픽셀은 상기 제1 픽셀에 이웃하는 복수의 픽셀에 포함되고, 상기 적응 공간 잡음 필터는 상기 제1 픽셀을 상기 제1 픽셀의 신호 레벨과 상기 복수의 이웃하는 픽셀의 상기 신호 레벨들 각각 간의 차이에 기초하여 그리고 잡음 의존 신호 레벨 파라미터에 기초하여 필터링하도록 구성되며, 상기 잡음 의존 신호 레벨 파라미터는 상기 제1 픽셀의 잡음의 함수이고, 상기 잡음 의존 신호 레벨 파라미터는 상기 제1 픽셀에 대한 상기 추정된 픽셀 잡음 파라미터인, 시스템.
  7. 제6항에 있어서, 상기 적응 공간 잡음 필터는 거리 필터 및 신호 레벨 범위 필터를 포함하며, 상기 신호 레벨 범위 필터는 상기 제1 픽셀을 상기 제1 픽셀의 신호 레벨과 상기 복수의 이웃하는 픽셀의 상기 신호 레벨들 각각 간의 차이에 기초하여 필터링하도록 구성되는, 시스템.
  8. 제6항에 있어서, 상기 잡음 의존 신호 레벨 파라미터는 신호 레벨 범위 파라미터인, 시스템.
  9. 제1항에 있어서, 상기 적응 잡음 필터는 적응 공간 잡음 양방향 필터(adaptive spatial noise bilateral filter)를 포함하며, 상기 픽셀은 위치 x에 있는 픽셀이고, 상기 적응 공간 잡음 양방향 필터는 다음과 같이 정의되며:


    여기서
    는 위치 x에 있는 상기 픽셀의 적응 공간 잡음 필터링된 신호 레벨이고;
    C는 정규화 상수(normalization constant)이며;
    는 공간 가우시안 분포(spatial Gaussian distribution)이고;
    ||y-x||는 위치 y에 있는 픽셀과 상기 위치 x에 있는 상기 픽셀 간의 거리의 노름(norm)이며;
    σd 는 거리 파라미터이고;
    는 상기 픽셀의 잡음의 함수인 신호 레벨 범위 가우시안 분포이며;
    I(y)는 상기 위치 y에 있는 상기 픽셀의 신호 레벨이고;
    I(x)는 상기 위치 x에 있는 상기 픽셀의 신호 레벨이며;
    |I(y) - I(x)|는 상기 위치 y에 있는 상기 픽셀의 상기 신호 레벨과 상기 위치 x에 있는 상기 픽셀의 상기 신호 레벨 간의 차이의 절댓값이고;
    σ(Noise)r 은 상기 위치 x에 있는 상기 픽셀의 잡음의 함수인 신호 레벨 범위 파라미터이며;
    N(x)는 상기 위치 x에 중심 픽셀(center pixel)을 갖는 픽셀 블록(block of pixels)이고;
    는 상기 위치 x에 중심 픽셀을 갖는 상기 픽셀 블록 내의 픽셀들에 걸친 합산을 나타내는, 시스템.
  10. 방법으로서,
    제1 프레임의 제1 픽셀을 수신하는 단계;
    필터링된 픽셀을 획득하기 위해 상기 제1 픽셀을 상기 제1 픽셀에 대한 추정된 픽셀 잡음 파라미터를 사용하여 그리고 상기 제1 픽셀의 신호 레벨과 제2 픽셀의 신호 레벨 간의 차이를 사용하여 적응 잡음 필터링하는 단계;
    상기 필터링된 픽셀을 출력 프레임에 출력하는 단계; 및
    상기 필터링된 픽셀에 대응하는 픽셀 잡음을 잡음 출력 프레임에 출력하는 단계
    를 포함하는, 방법.
  11. 제10항에 있어서, 상기 제2 픽셀은 이미지 센서에 의해 캡처된 제2 프레임에서 상기 제1 프레임에서의 상기 제1 픽셀의 위치와 동일한 위치에 있고, 상기 제2 프레임은 시간상 상기 제1 프레임의 상기 캡처 이전에 캡처되며, 상기 제1 픽셀을 적응 잡음 필터링하는 단계는 상기 제1 픽셀을 상기 제1 및 제2 픽셀들의 상기 신호 레벨들의 변화와 상기 제1 픽셀의 추정된 픽셀 잡음 레벨의 비교에 기초하여 적응 시간 잡음 필터링하는 단계를 포함하고, 상기 추정된 픽셀 잡음 레벨은 상기 추정된 픽셀 잡음 파라미터이며, 상기 제1 및 제2 픽셀들의 상기 신호 레벨들의 상기 변화는 상기 제1 픽셀의 상기 신호 레벨의 시간 변화인, 방법.
  12. 제11항에 있어서, 상기 제1 픽셀을 적응 시간 잡음 필터링하는 단계는:
    상기 제1 픽셀의 신호 레벨을 신호 레벨 대 잡음 룩업 테이블(signal level to noise look-up table)에 입력하는 단계;
    상기 신호 레벨 대 잡음 룩업 테이블에 의해 상기 제1 픽셀의 상기 신호 레벨에 대응하는 잡음 표준 편차를 출력하는 단계 - 상기 잡음 표준 편차는 상기 제1 픽셀의 상기 추정된 픽셀 잡음 레벨임 -;
    잡음의 표준 편차 단위의(in standard deviations of noise) 상기 제1 픽셀의 상기 신호 레벨의 시간 변화를 획득하기 위해 상기 제1 픽셀의 상기 신호 레벨의 상기 시간 변화를 상기 잡음 표준 편차로 나누는 단계 - 상기 나누는 것은 상기 비교임 - ;
    잡음의 표준 편차 단위의 상기 제1 픽셀의 상기 신호 레벨의 상기 시간 변화를 변화 룩업 테이블(change look-up table)에 입력하는 단계;
    상기 변화 룩업 테이블에 의해 상기 필터를 통과할 상기 제1 픽셀의 상기 신호 레벨의 시간 변화의 허용 퍼센티지를 출력하는 단계;
    상기 제1 픽셀의 상기 신호 레벨의 시간 변화의 상기 허용 퍼센티지를 상기 제1 픽셀의 상기 신호 레벨의 상기 시간 변화와 곱하는 것에 의해 상기 제1 픽셀의 상기 신호 레벨의 허용 시간 변화를 생성하는 단계; 및
    상기 제1 픽셀의 상기 신호 레벨의 상기 허용 시간 변화를 대응하는 픽셀에 가산하는 것에 의해 상기 필터링된 픽셀을 발생시키는 단계 - 상기 대응하는 픽셀은 제2 프레임 내의 픽셀이고, 상기 제2 프레임은 시간상 상기 제1 프레임 직전에 있음 -
    를 포함하는, 방법.
  13. 제10항에 있어서, 상기 제2 픽셀은 상기 제1 픽셀에 이웃하는 복수의 픽셀에 포함되고, 상기 제1 픽셀을 적응 잡음 필터링하는 단계는 상기 제1 픽셀을 상기 제1 픽셀의 신호 레벨과 상기 복수의 이웃하는 픽셀의 상기 신호 레벨들 각각 간의 차이에 기초하여 그리고 잡음 의존 신호 레벨 파라미터에 기초하여 적응 공간 잡음 필터링하는 단계를 포함하며, 상기 잡음 의존 신호 레벨 파라미터는 상기 제1 픽셀의 잡음의 함수이고, 상기 잡음 의존 신호 레벨 파라미터는 상기 제1 픽셀에 대한 상기 추정된 픽셀 잡음 파라미터인, 방법.
  14. 제13항에 있어서, 상기 제1 픽셀을 적응 공간 잡음 필터링하는 단계는:
    상기 필터링된 픽셀을 거리 필터와 신호 레벨 필터를 조합하는 것에 의해 발생시키는 단계 - 상기 신호 레벨 필터는 상기 잡음 의존 신호 레벨 파라미터의 함수임 - 를 포함하는, 방법.
  15. 제14항에 있어서, 상기 신호 레벨 필터는 신호 레벨 범위 파라미터를 갖는 신호 레벨 범위 가우시안 분포를 포함하고, 상기 신호 레벨 범위 파라미터는 상기 잡음 의존 신호 레벨 파라미터인, 방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
KR1020187021487A 2016-01-29 2017-01-27 광 레벨 적응 필터 및 방법 KR102632193B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247003174A KR20240017978A (ko) 2016-01-29 2017-01-27 광 레벨 적응 필터 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662288956P 2016-01-29 2016-01-29
US62/288,956 2016-01-29
PCT/US2017/015485 WO2017132600A1 (en) 2016-01-29 2017-01-27 Light level adaptive filter and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247003174A Division KR20240017978A (ko) 2016-01-29 2017-01-27 광 레벨 적응 필터 및 방법

Publications (2)

Publication Number Publication Date
KR20180100150A KR20180100150A (ko) 2018-09-07
KR102632193B1 true KR102632193B1 (ko) 2024-02-01

Family

ID=59398803

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247003174A KR20240017978A (ko) 2016-01-29 2017-01-27 광 레벨 적응 필터 및 방법
KR1020187021487A KR102632193B1 (ko) 2016-01-29 2017-01-27 광 레벨 적응 필터 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020247003174A KR20240017978A (ko) 2016-01-29 2017-01-27 광 레벨 적응 필터 및 방법

Country Status (4)

Country Link
US (3) US11017504B2 (ko)
JP (3) JP6874009B2 (ko)
KR (2) KR20240017978A (ko)
WO (1) WO2017132600A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017504B2 (en) * 2016-01-29 2021-05-25 Intuitive Surgical Operations, Inc. Light level adaptive filter and method
JP7169751B2 (ja) * 2018-03-15 2022-11-11 キヤノン株式会社 撮像素子およびそれを有する電子機器
DE102019217220A1 (de) * 2019-11-07 2021-05-12 Siemens Healthcare Gmbh Computerimplementiertes Verfahren zur Bereitstellung eines Ausgangsdatensatzes
AU2021233699A1 (en) * 2020-03-13 2023-04-27 University Of South Australia A data processing method
US20220245407A1 (en) * 2021-02-03 2022-08-04 Samsung Electronics Co., Ltd. Confidence aided upsampling of categorical maps
CN113009550A (zh) * 2021-02-26 2021-06-22 山东省科学院海洋仪器仪表研究所 一种海水放射性核素能量谱的滤波方法
WO2022187393A1 (en) * 2021-03-03 2022-09-09 Boston Scientific Scimed, Inc. Method of image enhancement for distraction deduction in endoscopic procedures
US11308349B1 (en) * 2021-10-15 2022-04-19 King Abdulaziz University Method to modify adaptive filter weights in a decentralized wireless sensor network

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072422A (ja) 2002-08-06 2004-03-04 Olympus Corp 撮像システムおよび画像処理プログラム
JP2008263507A (ja) 2007-04-13 2008-10-30 Olympus Corp 映像処理装置及び映像処理プログラム
US20120081553A1 (en) 2010-09-30 2012-04-05 Apple Inc. Spatial filtering for image signal processing
JP2012174275A (ja) 2011-02-22 2012-09-10 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
US6804393B2 (en) * 2001-01-02 2004-10-12 Eastman Kodak Company Method of calculating noise from a digital image utilizing color cross correlation statistics
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
KR100564592B1 (ko) * 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
US7860167B2 (en) 2004-07-30 2010-12-28 Algolith Inc. Apparatus and method for adaptive 3D artifact reducing for encoded image signal
US20060139494A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
US7643699B2 (en) * 2005-07-05 2010-01-05 Hewlett-Packard Development Company, L.P. Image processing based on local noise statistics
US7821578B2 (en) * 2006-04-07 2010-10-26 Marvell World Trade Ltd. Reconfigurable self-calibrating adaptive noise reducer
JP2008205737A (ja) 2007-02-19 2008-09-04 Olympus Corp 撮像システム、画像処理プログラム、画像処理方法
US8059207B2 (en) 2007-02-23 2011-11-15 Samsung Electronics Co., Ltd. System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
US8711249B2 (en) * 2007-03-29 2014-04-29 Sony Corporation Method of and apparatus for image denoising
JP4465002B2 (ja) * 2007-11-16 2010-05-19 オリンパス株式会社 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
US8149336B2 (en) * 2008-05-07 2012-04-03 Honeywell International Inc. Method for digital noise reduction in low light video
KR101508386B1 (ko) * 2008-09-29 2015-04-03 엘지전자 주식회사 움직임 적응적 잡음 제거 방법 및 그 장치
JP5197414B2 (ja) 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
JP5251637B2 (ja) * 2009-03-16 2013-07-31 株式会社リコー ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
US9225916B2 (en) * 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9036695B2 (en) * 2010-11-02 2015-05-19 Sharp Laboratories Of America, Inc. Motion-compensated temporal filtering based on variable filter parameters
JP5657375B2 (ja) * 2010-12-24 2015-01-21 オリンパス株式会社 内視鏡装置及びプログラム
GB2489272B (en) * 2011-03-23 2013-03-13 Toshiba Res Europ Ltd An image processing system and method
KR101248808B1 (ko) * 2011-06-03 2013-04-01 주식회사 동부하이텍 경계 영역의 잡음 제거 장치 및 방법
US9215355B2 (en) 2011-09-30 2015-12-15 Apple Inc. Scene adaptive temporal filtering
EA017302B1 (ru) * 2011-10-07 2012-11-30 Закрытое Акционерное Общество "Импульс" Способ подавления шума серий цифровых рентгенограмм
TW201318418A (zh) * 2011-10-26 2013-05-01 Novatek Microelectronics Corp 降低影像雜訊的方法及相關裝置
US20130202079A1 (en) * 2012-02-07 2013-08-08 Lifeng Yu System and Method for Controlling Radiation Dose for Radiological Applications
EA201200255A1 (ru) * 2012-02-22 2013-08-30 Закрытое Акционерное Общество "Импульс" Способ подавления шума цифровых рентгенограмм
US9412155B2 (en) * 2012-12-31 2016-08-09 Karl Storz Imaging, Inc. Video system with dynamic contrast and detail enhancement
CN103632352B (zh) * 2013-11-01 2017-04-26 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
WO2015172235A1 (en) * 2014-05-15 2015-11-19 Tandemlaunch Technologies Inc. Time-space methods and systems for the reduction of video noise
US10614554B2 (en) * 2015-04-16 2020-04-07 Beijing Smartlogic Technology Ltd. Contrast adaptive video denoising system
DE102015213911B4 (de) * 2015-07-23 2019-03-07 Siemens Healthcare Gmbh Verfahren zum Erzeugen eines Röntgenbildes und Datenverarbeitungseinrichtung zum Ausführen des Verfahrens
US10269095B2 (en) * 2015-08-31 2019-04-23 Apple Inc. Dynamically determining filtering strength for noise filtering in image processing
US11017504B2 (en) * 2016-01-29 2021-05-25 Intuitive Surgical Operations, Inc. Light level adaptive filter and method
US10038862B2 (en) * 2016-05-02 2018-07-31 Qualcomm Incorporated Methods and apparatus for automated noise and texture optimization of digital image sensors
US9979942B2 (en) * 2016-06-30 2018-05-22 Apple Inc. Per pixel color correction filtering
GB2570528B (en) * 2018-06-25 2020-06-10 Imagination Tech Ltd Bilateral filter with data model
US11915391B2 (en) * 2020-03-26 2024-02-27 Intel Corporation Reduction of visual artifacts in images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072422A (ja) 2002-08-06 2004-03-04 Olympus Corp 撮像システムおよび画像処理プログラム
JP2008263507A (ja) 2007-04-13 2008-10-30 Olympus Corp 映像処理装置及び映像処理プログラム
US20120081553A1 (en) 2010-09-30 2012-04-05 Apple Inc. Spatial filtering for image signal processing
JP2012174275A (ja) 2011-02-22 2012-09-10 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
US11704774B2 (en) 2023-07-18
JP2023120364A (ja) 2023-08-29
WO2017132600A1 (en) 2017-08-03
JP2021119491A (ja) 2021-08-12
US20210264570A1 (en) 2021-08-26
US11017504B2 (en) 2021-05-25
KR20180100150A (ko) 2018-09-07
KR20240017978A (ko) 2024-02-08
JP6874009B2 (ja) 2021-05-19
US20200211161A1 (en) 2020-07-02
JP2019512178A (ja) 2019-05-09
US20230325984A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
KR102632193B1 (ko) 광 레벨 적응 필터 및 방법
US11750782B2 (en) Endoscopic image enhancement using contrast limited adaptive histogram equalization (CLAHE) implemented in a processor
US10928622B2 (en) Medical image processing apparatus, medical image processing method, and medical observation system
WO2017122541A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
US20170046836A1 (en) Real-time endoscopic image enhancement
US20160269713A1 (en) Stereoscopic endoscopic image processing apparatus
US10089724B2 (en) System and method for multi-resolution sharpness transport across color channels
WO2016114155A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
US20220007925A1 (en) Medical imaging systems and methods
CN114730454A (zh) 场景感知系统和方法
JP7163913B2 (ja) 医療用システム及び制御ユニット
WO2020106629A1 (en) Systems and methods for emulating far-range lighting for an operational scene illuminated by close-range light
WO2019049595A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11936989B2 (en) Apparatuses, systems, and methods for gaze-based auto-exposure management of image frames
JP2015047440A (ja) プロセッサ
US20220370167A1 (en) Systems and methods for scene-adaptive image quality in surgical video
KR20180104761A (ko) 가상 원색들을 사용한 수술 디스플레이 기술들의 매칭
WO2023054089A1 (ja) 映像処理システム、並びに、医療情報処理システムおよび動作方法
CN114463236A (zh) 单目内窥镜三维图像的显示方法和系统
JP2019055290A (ja) プロセッサ及び内視鏡システム
JP2015223221A (ja) 画像強調処理システムおよび電子内視鏡システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant