KR102002572B1

KR102002572B1 - 뷰잉-포커스 지향식 이미지 프로세싱

Info

Publication number: KR102002572B1
Application number: KR1020147003317A
Authority: KR
Inventors: 하오 란 구
Original assignee: 에이티아이 테크놀로지스 유엘씨
Priority date: 2011-07-07
Filing date: 2012-06-29
Publication date: 2019-07-22
Also published as: IN2014DN00132A; EP2729914A4; WO2013003942A1; US20130009980A1; EP2729914A1; JP2014527324A; JP2017225128A; KR20140058553A; JP6581153B2; JP6416623B2; CN103797510A

Abstract

이미지를 프로세싱하기 위한 방법을 구현하기 위한 방법 및 프로세서가 개시된다. 제 1 알고리즘이 선택되어, 이미지 내의 관심 영역(area of interest)을 나타내는 정보를 프로세싱하는데 이용된다. 제 2 알고리즘이 선택되어, 상기 관심 영역에 속하지 않는 상기 이미지의 영역을 나타내는 정보를 프로세싱하는데 이용된다. 상기 제 1 및 제 2 알고리즘들은 상기 이미지를 나타내는 정보의 이들 각각의 부분들에 적용된다.

Description

뷰잉-포커스 지향식 이미지 프로세싱{VIEWING-FOCUS ORIENTED IMAGE PROCESSING}

[관련 출원의 상호 참조]

본 출원은 2011년 7월 7일자로 출원된 미국 출원 제13/178,127호의 이익을 주장하며, 상기 미국 출원의 내용은 그 전체가 본 명세서에 참조로서 포함된다.

본 발명은 전자적 이미지 프로세싱에 관한 것이다.

정지 이미지(still image) 및 비디오와 같은 동영상 이미지(moving image) 둘다를 포함하는 이미지들에 대한 전자적 프로세싱은 전형적으로, 상대적으로 높은 프로세싱 속도와 많은 양의 다른 프로세싱 리소스들(가령, 메모리)을 요구한다. 일반적으로, 요구되는 화질이 높을수록, 요구되는 속도가 높아지고 요구되는 리소스들의 양이 많아진다.

지속적으로 증가되는 이미지 해상도(가령, HD 비디오)와 3-차원 비디오와 같은 혁신들로 인하여, 더 많은 수요들이 이미지 프로세싱 하드웨어 및 소프트웨어 상에서 발생하고 있다. 하드웨어, 소프트웨어 또는 이들의 조합들이 화질의 현저한 감소 없이 이러한 수요들을 충족시키기 위해 추구된다.

도 1은 이미지 프로세싱의 방법을 구현하기 위한 프로세서를 포함하는 시스템을 도시한다.
도 2는 이미지 프로세싱의 방법을 구현하기 위한 대안적인 시스템이다.
도 3은 이미지 프로세싱을 위한 방법의 흐름도이다.

이미지 프로세싱에서 화질과 속도 또는 컴퓨팅 리소스 요건들과의 사이의 트레이드오프(tradeoff)들이 이미지 프로세싱을 최적화하는 데 사용될 수 있다. 이미지의 다양한 영역들이 서로 다른 이미지 프로세싱 알고리즘들을 사용하여 프로세싱될 수 있고, 각각의 알고리즘은 서로 다른 트레이드오프를 가진다.

예로서, 정지 이미지 또는 움직이는 이미지를 보는 사람들은, 이미지의 특정한 부분들에 상대적으로 더 관심을 기울이고 다른 부분들에는 관심을 덜 기울이는 경향이 있음이 발견되었다. 뷰어(viewer)로부터 상대적으로 더 관심을 끄는 이미지의 부분은 "관심 영역"이라 지칭될 수 있다. 예를 들어, 사람들이 이미지에서 정지된 객체(stationary object)들 보다는 움직이는 객체에 더 관심을 집중하는 경향이 있음이 발견되었다. 사람들은 또한, 중앙으로부터 먼 영역들보다 이미지의 중앙에 더 관심을 집중하는 경향이 있다.

고화질을 생성하지만 상대적으로 많은 프로세싱 리소스들을 요구하는 이미지 프로세싱은 관심 영역에만 적용될 수 있다. 상기 관심 영역 이외의 상기 이미지의 영역들은 저화질을 생성하지만 적은 리소스들을 요하는 알고리즘들에 의해 프로세싱될 수 있다. 이는 위치에 종속적인 이미지 프로세싱(location-dependent image processing) 또는 위치에 최적화된 이미지 프로세싱(location-optimized image processing)이라 지칭될 수 있다. 장점은, 적은 리소스들을 이용하지만, 전체 이미지를 프로세싱하는데 단일 알고리즘을 사용하는 것에 비하여, 품질의 현저한 손실 없이(인지되는 손실 없이) 전체 이미지들을 빠르게 프로세싱하는 것이 될 수 있다.

도1은 위치에 종속적인 이미지 프로세싱을 이용하는 이미지 디스플레이를 위한 시스템(100)의 일 실시예를 도시하며, 상기 실시예는 제한적인 것으로 여겨지지 않는다. 시스템(100)은 이미지를 나타내는 정보(데이터)를 프로세싱하도록 구성된 프로세서(125)를 포함한다. 디스플레이 디바이스(150)는 상기 프로세서로부터 프로세싱된 정보를 수신하고 이미지를 디스플레이하도록 구성된다. 상기 이미지는 정지 이미지 또는 비디오 이미지와 같은 움직이는 이미지의 프레임일 수 있다. 시스템(100)은 또한, 이미지를 나타내는 정보를 수신 및 저장하는 이미지 메모리(120) 및 복수의 실행가능한 이미지 프로세싱 알고리즘들을 저장하는 알고리즘 메모리(130)를 포함할 수 있다. 프로세서(125)는 저장된 이미지 프로세싱 알고리즘들을 알고리즘 메모리(130)로부터 검색할 수 있다. 프로세서(125), 이미지 메모리(120), 및 알고리즘 메모리(130)는 시스템 버스(115)를 이용하여 상호연결될 수 있다. 버스(115)의 특정 구현예는 본 명세서에 개시된 바에 국한되지 않는다. 케이블(145)은 프로세서(125)를 디스플레이 디바이스(150)에 연결할 수 있으며, 이는 정보가 디스플레이 디바이스(150) 상에 이미지로서 디스플레이되게 하는 도관(conduit)의 역할을 할 수 있다.

시스템(100)은 매체(110)에 저장된 이미지 혹은 일련의 이미지들을 나타내는 정보를 수신 및 프로세싱하도록 구성된다. 이 정보는 디지털 정보일 수 있다. 이 정보는 단일한 정지 이미지 혹은 움직이는 이미지의 프레임을 나타낼 수 있다. 매체(110)는 도 1에서 디스크로서 도시되었지만 이러한 형태로만 한정되는 것은 아니다. 매체(110)는 DVD, CD, 테이프 혹은 반도체 메모리와 같은 비-일시적 저장 매체일 수 있다. 대안적으로, 매체(110)는 동축 케이블 혹은 광섬유를 통해 전송되거나 무선으로 전송되는 전자기 반송파와 같은 일시적 매체일 수 있다.

이미지를 나타내는 수신된 정보는 이미지 메모리(120) 내에 저장될 수 있다. 이미지 메모리(120)는 전체 정지 이미지, 움직이는 이미지의 전체 프레임, 혹은 움직이는 이미지의 하나 이상의 프레임을 저장할 수 있다. 그 다음에, 이미지 메모리(120)는 저장된 이미지, 프레임 혹은 프레임들을 프로세서(125)에 의해서 지시되는 때에 프로세싱을 위해 프로세서(125)에 방출할 수 있다. 대안적으로, 이미지의 단지 일부분만이 임의의 시간에 이미지 메모리(120)에 저장될 수 있다. 대안적으로, 이미지 메모리(120)는 없을 수 있으며, 정보는 프로세서(125)에 의해 수신되어 저장됨이 없이 수신되는 대로 프로세서(125)에 의해 프로세싱될 수 있다.

앞서 설명된 바와 같이, 프로세서(125)는, 위치 종속 이미지 프로세싱을 사용하여, 아래에서 더 상세히 설명되는 방법에 근거하여 이미지를 나타내는 수신된 정보를 프로세싱하도록 구성될 수 있다. 프로세서(125)는 알고리즘 내의 명령들에 근거하여 이미지 내에서 관심 영역을 결정할 수 있다. 알고리즘은 비-일시적 메모리(130)와 같은 메모리로부터 검색될 수 있다. 이미지 정보 자체에 포함된 정보를 사용하는 것에 추가하여, 아래에서 설명되는 바와 같이, 프로세서(125)는 관심 영역을 결정하기 위해 뷰어의 눈 움직임과 같은 다른 정보를 사용할 수 있다.

관심 영역이 결정되면, 프로세서(125)는 이미지 프로세싱 알고리즘들을 선택 및 로딩할 수 있다. 프로세서(130)는, 관심 영역을 나타내는 이미지 정보 부분을 프로세싱하기 위해 사용될 제 1 알고리즘, 그리고 관심 영역에 없는 이미지 영역을 나타내는 이미지 정보 부분을 프로세싱하기 위해 사용될 제 2 알고리즘을 선택할 수 있다. 이러한 후자의 영역은 관심 영역에 포함되지 않는 전체 이미지 영역일 수 있지만 이러한 것으로만 한정되는 것은 아니다. 관심 영역에 포함되지 않는 영역은 복수의 영역들로 분할될 수 있고, 이러한 영역들 각각에 대해서는 별개의 알고리즘들이 적용될 수 있다. 대안적으로, 제 1 알고리즘과는 다른 단일의 제 2 알고리즘이 관심 영역에 포함되지 않는 이미지 영역 전체에 적용될 수 있다. 프로세서(125)는 이미지를 나타내는 정보의 그 각각의 부분들에 제 1 알고리즘 및 제 2 알고리즘을 적용한다. 이미지 프로세싱이 완료되면, 프로세싱된 정보는 케이블(145)을 통해 디스플레이 디바이스(150)에 전송될 수 있으며 뷰어에게 보일 수 있는 이미지로서 렌더링될 수 있다. 대안적으로, 프로세싱된 정보는, 케이블(145)이 없는 경우, 디스플레이 디바이스(150)에 무선으로 전송될 수 있다. 일 실시예에서, 제 1 알고리즘 및 제 2 알고리즘은 디스플레이되는 이미지의 종횡비(aspect ratio)를 보존한다. 종횡비는 2-차원으로 디스플레이되는 이미지의 수평 치수 대 수직 치수의 비율로서 정의될 수 있다. 종횡비의 예로서, 표준 고화질 텔레비젼(High Definition Television, HDTV) 이미지에서 수평 치수 대 수직 치수의 비율은, 종래 배향의 경우, 16:9이다. 종횡비를 보존하는 것의 의미는 디스플레이되는 이미지가 제 1 알고리즘 및 제 2 알고리즘의 적용으로 인해 왜곡되지 않음을 의미한다.

프로세서(125)는 이미지를 나타내는 정보의 소정의 부분(예를 들어, 이미지의 중심을 나타내는 부분)을 선택함으로써 관심 영역을 결정하도록 구성될 수 있다. 대안적으로, 프로세서(125)는 움직이는 이미지의 수 개의 연속적인 프레임들을 나타내는 정보를 비교할 수 있고, 움직이는 객체를 포함하는 이미지의 일부분을 결정할 수 있다. 이러한 일부분이 관심 영역으로서 선택된다.

일 실시예에서, 관심 영역은 뷰어의 실제 시야 방향을 판단 및 추적함으로써 결정될 수 있다. 이러한 실시예에서, 임의의 순간에 그 관심 영역은 뷰어가 실제로 보고 있는 이미지의 영역이다. 이러한 실시예가 도 2에 제시된다. 도 2는 도 1과 유사하며, 대응하는 참조 번호를 가지고 있지만, 뷰어(320)에 의해 착용되는 일 타입의 눈 추적 디바이스(310)와, 그리고 뷰어(320)의 눈 위치에 관한 정보를 프로세서(125)에 전달하는 케이블(330)을 추가적으로 가지고 있다. 눈 위치 및 움직임을 추적하기 위한 기법들은 예를 들어, www.diku.dk/~panic/eyegaze에서 찾을 수 있는 문서(제목: "Eye Controlled Media: Present and Future State", 저자: Theo Engell-Nielsen 및 Arne John Glenstrup, 1995 발행, 2006 업데이트)에서 설명된다. 눈 움직임을 검출 및 추적하기 위한 기법들은 눈의 서로 다른 부분들로부터의 반사된 빛을 검출하는 것, 그리고 눈이 움직임에 따라 인접하는 피부의 전위차를 측정하는 것, 그리고 특수하게 설계된 콘택트 렌즈를 활용하는 것을 포함한다.

프로세서(125)에 의해 적용되는 제 1 이미지 프로세싱 알고리즘 및 제 2 이미지 프로세싱 알고리즘은 디스플레이 디바이스(150)에 맞도록 이미지의 크기를 증가 혹은 감소시키기 위한 스케일링 알고리즘들일 수 있다. 각각의 스케일링 알고리즘은 하나 이상의 스케일링 파라미터들에 의해 특징지어질 수 있다. 서로 다른 스케일링 파라미터들이 이미지의 수평 치수와 이미지의 수직 치수에 서로 독립적으로 적용될 수 있다. 스케일링 파라미터는 수평 치수를 2/3만큼 감소시키거나 수직 치수를 1/2만큼 감소시키는 것과 같이, 간단한 스케일링 팩터(scaling factor)로서 동작할 수 있다. 수직 스케일링 파라미터는 제 1 알고리즘과 제 2 알고리즘 모두에서 동일할 수 있다. 수평 스케일링 파라미터는 제 1 알고리즘과 제 2 알고리즘 모두에서 동일할 수 있다. 모든 수평 스케일링 팩터들 및 모든 수직 스케일링 팩터들이 동일할 수도 있으며, 이러한 경우 앞서 설명된 바와 같이 종횡비는 보존된다. 스케일링 알고리즘들의 예들로는, 픽셀 삭제 및 복제(pixel dropping and duplication), 선형 보간(linear interpolation), 안티-앨리어싱된 리샘플링(anti-aliased resampling), 콘텐츠-적응형 스케일링(content-adaptive scaling), 스케일링 필터(scaling filter)의 적용이 있으며, 이들 중 일부는 아래에서 더 상세히 설명된다. 제 1 알고리즘 및 제 2 알고리즘은, 비디오 이미지들의 프로세싱을 위한 알고리즘들과 같이, 이미지 정보를 프로세싱하기 위한 다른 타입의 알고리즘들을 포함할 수 있다. 비디오 프로세싱 알고리즘들은, 색상 강화(color enhancement), 색상 보정(color correction), 샤프니스 강화(sharpness enhancement), 콘트라스트 강화(contrast enhancement), 휘도 강화(brightness enhancement), 에지 강화(edge enhancement), 움직임 보상(motion compensation), 압축 및 압축해제(compression and decompression), 비디오 인터레이싱 및 디-인터레이싱(video interlacing and de-interlacing), 그리고 스캔-속도 변환(scan-rate conversion)을 위한 알고리즘들을 포함할 수 있다. 이러한 타입의 알고리즘들 모두는, 이미지 품질과 속도 혹은 필요한 리소스들 간에 트레이드오프(tradeoffs)를 활용하여, 위치-종속 이미지 프로세싱에서 사용될 수 있다. 이러한 알고리즘들 중 일부는 도 3에서 제시되는 방법의 설명을 통해 아래에서 더 상세히 설명된다.

이미지를 프로세싱하기 위해 프로세서(125)에 의해 선택되는 특정 제 1 알고리즘과 제 2 알고리즘은 이러한 선택들이 수행되는 때 어떤 이미지 프로세싱 리소스들이 이용가능하냐에 의존할 수 있다. 이러한 것은 도 3에서 제시되는 방법의 설명을 통해 아래에서 더 상세히 설명된다.

프로세서(125)는 이미지를 프로세싱하기 위한 통합된 그래픽 프로세싱 회로(예를 들어, 그래픽 프로세싱 유닛(Graphics Processing Unit: GPU))를 포함할 수 있다. 대안적으로, GPU와 같은 이미지 프로세싱 회로는 프로세서(125) 외부에 있을 수 있다. 이미지 메모리(120)는, 시스템(100)의 동작 동안 이미지 데이터를 저장하는 종래의 랜덤 액세스 메모리와 같은 휘발성 메모리일 수 있다. 이미지 메모리(120)는 예를 들어, 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM)의 형태일 수 있다.

알고리즘 메모리(130)는 예를 들어, 하드 디스크 드라이브와 같은 종래의 비-휘발성 메모리 형태일 수 있는바, 이미지 프로세싱 알고리즘들을 실행가능한 소프트웨어로서 저장할 수 있음과 아울러 시스템(100)에 전원이 차단되는 경우에도 이러한 소프트웨어를 보유할 수 있다. 알고리즘 메모리(130)는 또한 오퍼레이팅 시스템 소프트웨어 및 애플리케이션 소프트웨어와 같은 다른 실행가능한 소프트웨어를 저장할 수 있다. 오퍼레이팅 시스템 소프트웨어는, 예를 들어, 윈도우 XP(Windows XP), 리눅스(Linux®), 유닉스(UNIX®) 혹은 맥 OS(MAC OS™)와 같은 종래의 오퍼레이팅 시스템을 나타내는 실행가능한 코드일 수 있다. 애플리케이션 소프트웨어는, 2D 혹은 3D 비디오 이미지들이 디스플레이를 위해 발생되도록 하는, 미디어 플레이어 혹은 비디오 게임과 같은 종래의 애플리케이션일 수 있다.

도 3은 위치-종속 이미지 프로세싱으로 이미지를 디스플레이하기 위한 방법(200)의 실시예를 제시하는바, 이러한 실시예가 한정의 의미로서 해석돼서는 안 된다. 이미지를 나타내는 정보가 수신된다(210). 이 정보는 디지털 정보일 수 있다. 이 정보는 단일한 정지 이미지 혹은 움직이는 이미지의 일 프레임의 적어도 일부분을 나타낼 수 있다. 이 정보는 DVD, CD, 테이프 혹은 반도체 메모리와 같은 비-일시적 저장 매체로부터 수신될 수 있다. 이 정보는 동축 케이블 혹은 광섬유를 통해 전송되거나 혹은 무선으로 전송되는 전자기 반송파와 같은 일시적 매체로부터 수신될 수 있다.

이미지를 나타내는 수신된 정보는 휘발성 메모리와 같은 매체에 저장될 수 있다. 휘발성 메모리는 전체 이미지 또는 프레임을 저장할 수 있고 그 후 처리를 위해 이미지 또는 프레임을 방출(release)한다. 대안으로, 이미지의 일부분만이 임의의 시간에 저장될 수 있다. 대안으로, 메모리가 없을 수도 있으며, 정보는 저장됨이 없이 수신되는 대로 처리될 수 있다.

이미지 내의 관심 영역을 나타내는 정보 부분이 결정된다(215). 관심 영역은 이미지의 중심 주변의 영역과 같은 미리결정된 영역으로 고정될 수 있다. 그것은 움직이는 객체를 포함하는 것으로 판별된 이미지의 소정 영역이 될 수 있다. 관심 영역은 뷰어에 의해 보여지는 이미지의 소정 부분에 의해 결정될 수 있다. 이 예에서, 뷰어의 시야 방향은 상기에서 기술된 것처럼 결정되고 추적될 수 있다. 관심 영역을 식별하기 위한 다른 기법들이 또한 가능하다. 이러한 기법들은, 예를 들어, 이미지에서 사람들의 얼굴들(대부분의 뷰어들에 대한 통상적인 포커스 영역인 얼굴들), 또는 다른 것들과 함께 (예를 들어, 움직임 벡터 정보를 사용하는) 비디오 시퀀스의 빠르게 움직이는 부분들을 포함한다. 이러한 기법들의 일부는 이미지 또는 비디오 스트림 데이터를 넘는 부가적인 정보를 거의 또는 전혀 요구하지 않을 것이다.

도 3을 참조하여, 관심 영역이 일단 결정되면, 관심 영역을 나타내는 정보를 처리하기 위한 제 1 알고리즘이 복수의 알고리즘들로부터 선택된다(220). 관심 영역이 아닌 곳의 이미지 영역을 나타내는 정보를 처리하기 위한 제 2 알고리즘이 복수의 알고리즘들로부터 선택된다(225).

제 1 및 제 2 알고리즘들은 정보 중 그들 각각의 부분들의 처리에 적용된다(230). 즉, 관심 영역을 나타내는 정보 부분은 제 1 알고리즘을 사용하여 처리되고, 관심 영역이 아닌 곳의 이미지 영역을 나타내는 정보 부분은 제 2 알고리즘을 사용하여 처리된다. 후자인 부분은 관심 영역에 포함되지 않은 전체 이미지 영역을 나타낼 수도 있다. 대안적으로, 관심 영역에 포함되지 않은 영역은 복수의 영역들로 분할될 수 있고, 각각의 알고리즘들이 이러한 영역들 각각을 나타내는 정보의 각 부분에 적용될 수 있다. 이후, 제 1 및 제 2 알고리즘의 출력은 단일 이미지로 결합될 수 있는데, 이러한 단일 이미지는 추가로 프로세싱되거나 혹은 디스플레이 목적등으로 최종적으로 사용될 수 있다. 알 수 있는 것처럼, 여러가지 처리 기법들이, 프로세싱된 관심 영역과 관심 영역에 포함되지 않은 프로세싱된 영역을 결합하기 위해 사용될 수 있다. 예를 들어, 스무딩 또는 디블록킹(deblocking) 알고리즘은 최종 이미지의 제 1 영역(예를 들어, 제 1 알고리즘에 의해 처리된 관심 영역)으로부터 최종 이미지의 제 2 영역(예를 들어, 제 2 알고리즘에 의해 처리되고 관심 영역에 포함되지 않은 영역)으로 뷰어의 시야들을 전환하는 것과 같은 임의의 인지된 차이들을 감소시키도록 적용될 수 있다.

이후, 처리된 정보는 디스플레이 디바이스를 구동하고 이미지를 디스플레이하기 위해 사용된다(235). 정보는 이미징 디바이스로 전송되기 전에 추가로 프로세싱될 수도 있다. 일 실시예에서, 제 1 및 제 2 알고리즘들은 디스플레이된 이미지의 종횡비를 보존한다. 알 수 있는 것처럼, 일부 실시예들에서의 이러한 기법들은, 본 발명의 양상들을 구현하는 디바이스의 판매자로 하여금 더 낮은 가격에 그와 같은 디바이스를 제공하도록 할 수 있다(본 발명의 양상들을 구현함으로써, 가격이 낮고 성능이 떨어지는 부품들을 사용하더라도, 인지되는 시각적 품질의 손상이 감소될 수 있으므로). 또한, 판매자들은 본 발명의 양상들을 구현하지 않는 디바이스들과 비교하여 개선된 인지 품질을 갖는 이러한 같은 디바이스를 제공할 수 있다(관심 영역 상의 증가된 인지된 품질로부터 기인하는). 판매자들은 또한 (고성능을 요구하는 단일 알고리즘에 의해 전체 이미지를 처리하는 것과 비교하여 관심 영역에 포함되지 않은 영역에서의 낮은 처리 요구들로부터 발생하는) 더 긴 베터리 수명을 갖는 그와 같은 디바이스를 제공할 수 있다. 또한, 판매자들은 다른 이익을 갖는 그러한 디바이스를 제공할 수 있다.

제 1 및 제 2 알고리즘은 서로 구별될 수 있다. 그것들은, 한편으로는 이미지 품질과 다른 한편으로는 메모리 또는 처리 시간과 같은 처리 속도 또는 처리 리소스 요건들 간의 트레이드오프(tradeoff)에 기초하여 선택될 수 있다. 한 예로써, 특정 디스플레이에 적합하도록 디스플레이된 이미지의 크기를 증가 또는 감소시키기 위해 전체 이미지를 스케일링하는 것이 요구될 수 있다. 하지만, 단일 스케일링 알고리즘을 이미지를 나타내는 모든 정보에 적용하는 것은 너무 느리거나 너무 많은 처리 리소스들을 차지할 수 있어 실현가능하지 않을 수 있다. 대신, 상대적으로 많은 양의 계산 또는 상대적으로 많은 양의 계산 리소스들을 사용하지만, 상대적으로 높은 품질을 만들어 내는 알고리즘은, 상대적으로 높은 이미지 품질이 요구되는 관심 영역에만 적용될 수 있다. 상대적으로 적은 양의 계산을 사용하지만 상대적으로 낮은 이미지 품질을 만들어 내는 상대적으로 빠른 알고리즘은 관심 영역 밖의 이미지 영역들에 적용될 수 있다. 그때, 최종 결과는, 이용가능한 리소스들로 달성되는, 전체적으로 허용가능한 이미지 품질을 갖는 이미지가 될 수 있다.

알고리즘들을 스케일링하는 경우, 예를 들어, 계산 리소스들 또는 속도와 이미지 품질간의 트레이드오프는, 서로 다른 콘트라스트를 갖는 2개의 영역들 사이의 에지들의 샤프니스에서 찾아볼 수 있다. 이미지의 크기를 증가시키기 위해 설계된, 상대적으로 간단한 스케일링 알고리즘은 빠르고 상대적으로 적은 계산을 요구할 수 있지만, 동시에 계단을 닮은 들쭉날쭉한 에지들을 초래할 것이다. 더 많은 계산을 사용하는 스케일링 알고리즘은 더 느릴 수 있고, 더 스무스한 에지들을 초래하는 더 많은 리소스들을 요구할 수 있다.

방법(200)에서 사용될 수 있는 스케일링 알고리즘들의 쌍의 특정 일례는, 관심 영역에 적용된 선형 보간(제 1 알고리즘) 및 또 다른 영역들에 적용된 화소 드로핑 및 복제(제 2 알고리즘)이다. 선형 보간에서, 이미지를 나타내는 정보의 출력 샘플이 수평적으로 또는 수직적으로 2개의 입력 샘플들 간에 속할 때, 2개의 입력 샘플들 사이에서 선형으로 보간함으로써 출력 샘플이 계산된다. 최근접 이웃 샘플링으로 또한 언급될 수 있는 화소 드로핑 및 복제에서, 모든 Y 샘플들 외의 부분 X는 수평 및 수직 모두로 복제(화소 복제) 또는 폐기(화소 드로핑)된다. 화소 드로핑 및 복제는 선형 보간보다 적은 계산을 요구하지만 더 현저하게 들쭉날쭉한 에지들(즉, 감소된 이미지 품질)을 초래한다.

방법(200)에서 사용하는 한 쌍의 스케일링 알고리즘들의 다른 예는 관심 영역에 대한 8-탭 스케일링 필터(제 1 알고리즘) 및 관심 영역 밖의 2-탭 스케일링 필터(제 2 알고리즘)이다. "탭(tap)"은 계산에서 사용된 인접한 샘플들의 수를 언급한다. 탭들의 수가 증가할수록, 요구되는 계산(요구되는 리소스들)의 수도 증가하지만 발생된 품질도 또한 높아진다.

방법(200)에서 사용가능한 또 다른 알려진 스케일링 알고리즘들은, 안티-앨리어스 리샘플링 및 콘텐트 적응형 스케일링을 포함하지만 이에 제한되지 않고, 이러한 스케일링은 일반적으로 적용된 스케일링 알고리즘과 달리, 스케일링되는 특별한 이미지 정보에 부분적으로 기초한다.

이미지 스케일링 알고리즘들에 부가하여, 제 1 및 제 2 알고리즘은 비디오 이미지들의 처리를 위한 알고리즘들과 같은, 이미지 정보를 처리하는 다른 타입들의 알고리즘들을 포함할 수 있다. 그와 같은 알고리즘들은 색상 강화, 색상 보정, 샤프니스 강화, 콘트라스트 강화, 휘도 강화, 에지 강화, 움직임 보상, 압축 및 압축해제, 비디오 인터레이싱 및 디-인터레이싱, 및 스캔-속도 변환을 위한 알고리즘들을 포함할 수 있다. 스케일링 알고리즘들과 함께, 모든 이러한 타입들의 알고리즘들은 이미지 품질과 속도 또는 요구된 리소스들 간의 트레이드오프들을 사용하는, 위치-의존 이미지 처리에서 사용될 수 있다. 제 1 및 제 2 알고리즘은, (i) 이미지 디코딩(또한 압축해제로 지칭됨) 동안 이미지 디코딩 알고리즘으로서 적용될 수 있으며, (ii) 이미지 포스트-프로세싱(post-processing) 알고리즘처럼 포스트-프로세싱 활동들로서 적용될 수도 있으며, 또는 (iii) 이미지 디코딩 및 포스트-프로세싱 활동들의 조합으로서 적용될 수도 있다.

관심 영역 및 관심 영역외의 영역을 처리하는 알고리즘들의 선택은, 선택이 수행될 때 이용가능한 컴퓨팅 리소스들에 의존할 수 있다. 일 예에서, 이미지를 나타내는 정보의 처리는 범용 컴퓨터상에서 수행될 수 있다. 컴퓨터는 그들 자신의 리소스들을 요구하는 워드 프로세싱 또는 인터넷 브라우징과 같은 다른 업무들을 위해 사용될 수 있다. 이러한 다른 업무들이 이미지 처리가 수행되는 것과 동시에 실행되면, 관심 영역 및 관심 영역이 아닌 곳에서 처리하기 위해 선택된 알고리즘들은 상대적으로 적은 리소스들을 요구하는 알고리즘들이 될 수 있다. 다른 업무들이 완료되면, 상대적으로 많은 리소스들을 요구하고 더 높은 품질 이미지들을 만들어 내는 이미지 처리 알고리즘들이 이후 사용될 수 있다.

정지된 이미지 또는 움직이는 이미지의 단일 프레임과 같은 단일 이미지의 경우에서, 단일 이미지를 나타내는 정보는 메모리에 저장될 수 있다. 움직이는 이미지의 프레임의 경우에서, 메모리는 프레임 버퍼로 언급될 수 있다. 단일 이미지가 일단 저장되면, 관심 영역이 결정될 수 있고, 저장된 정보에 제 1 및 제 2 알고리즘이 적용될 수 있다. 움직이는 이미지의 경우, 하나의 프레임은, 이전에 수신 및 프로세싱된 프레임이 디스플레이되는 것과 동시에 처리될 수 있다.

대안적으로, 관심 영역이 결정될 수 있으며 그리고 전체 이미지를 먼저 저장함이 없이, 이미지 정보가 수신됨에 따라 알고리즘들이 이미지 정보에 적용될 수 있다. 이는 실시간 처리로 언급될 수 있다. 움직이는 이미지에서, 각 프레임은 수신되자마자 처리된다.

본 발명의 실시예들은 컴퓨터 판독가능한 저장 매체에 저장된 데이터 및 명령어들로서 표현될 수 있다. 예를 들어, 본 발명의 양상들은 하드웨어 기술 언어(HDL)인 베리로그를 사용하여 구현될 수 있다. 처리될 때, 베리로그 데이터 명령어들은 반도체 제작 시설에서 구현된 제작 공정을 수행하기 위해 사용될 수 있는 다른 중계 데이터(예를 들어, 넷리스트들, GDS 데이터 등)를 발생시킬 수 있다. 제작 공정은 본 발명의 여러 양상들을 구현하는 반도체 디바이스들(예를 들어, 프로세서들)을 제작하기 위해 구성될 수 있다.

적합한 프로세서들은, 예로써, 범용 프로세서, 특별한 용도의 프로세서, 종래 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서들, 그래픽 처리 유닛(CPU), DSP 코어, 제어기, 마이크로제어기, ASIC(application sepecific integrated circuit)들, FPGA(field prgrammable gate array)들, 다른 형태의 집적 회로(IC), 및/또는 상태 머신 또는 이들의 조합을 포함한다.

본 명세서의 다른 실시예들, 사용들 및 이득들은 본 명세서에 개시된 내용의 명세 및 실제의 고려로부터 당업자에게 자명할 것이다. 명세서 및 도면들은 단지 예시로서 고려되어야 하고 따라서 본 명세서의 범위는 하기의 청구범위 및 그것의 등가물에 의해서만 제한되도록 의도된다.

Claims

이미지를 프로세싱하기 위한 방법으로서,
이미지 프로세서에 의해서 이미지를 획득하는 단계;
상기 이미지 프로세서에 의해서, 상기 이미지 프로세서의 이용가능한 리소스를 판별하는 단계;
상기 이미지 프로세서에 의해서, 상기 이미지의 제 1 부분을 식별하는 단계;
상기 이미지 프로세서에 의해서, 상기 제 1 부분이 아닌 상기 이미지의 제 2 부분을 식별하는 단계;
상기 이미지 프로세서에 의해서, 상기 이미지 프로세서의 이용가능한 리소스에 기초하여 상기 제 1 부분을 프로세싱하는데 사용되는 제 1 알고리즘을 선택하는 단계, 상기 제 1 알고리즘은 8-탭 스케일링 필터 알고리즘 및 선형 보간(linear interpolation) 알고리즘 중 하나를 포함하며;
상기 이미지 프로세서에 의해서, 상기 이미지 프로세서의 이용가능한 리소스에 기초하여 상기 제 2 부분을 프로세싱하는데 사용되는 제 2 알고리즘을 선택하는 단계, 상기 제 2 알고리즘은 상기 제 1 알고리즘이 8-탭 스케일링 필터 알고리즘인 경우에는 2-탭 스케일링 필터 알고리즘이고, 상기 제 1 알고리즘이 선형 보간 알고리즘인 경우에는 픽셀 삭제 및 복제(pixel dropping and duplication) 알고리즘이며;
상기 이미지 프로세서에 의해서, 제 1 프로세싱된 이미지를 생성하도록 상기 제 1 알고리즘을 상기 제 1 부분에 적용하는 단계; 및
상기 이미지 프로세서에 의해서, 제 2 프로세싱된 이미지를 생성하도록 상기 제 2 알고리즘을 상기 제 2 부분에 적용하는 단계를 포함하며,
상기 제 2 알고리즘은 상기 제 1 알고리즘보다 더 느린 속도 혹은 더 적은 계산 리소스를 요구하는 것을 특징으로 하는 이미지를 프로세싱하기 위한 방법.
제1항에 있어서,
상기 제 1 및 제 2 알고리즘을 상기 이미지의 각각의 부분들에 적용한 후에 상기 이미지를 디스플레이하는 단계를 더 포함하며,
상기 제 1 및 제 2 알고리즘의 적용은 상기 디스플레이되는 이미지의 종횡비(aspect ratio)를 보존하는 것을 특징으로 하는 이미지를 프로세싱하기 위한 방법.
제1항에 있어서,
상기 제 1 프로세싱된 이미지와 상기 제 2 프로세싱된 이미지를 하나의 프로세싱된 이미지로 결합하는 단계를 더 포함하는 것을 특징으로 하는 이미지를 프로세싱하기 위한 방법.
제1항에 있어서,
상기 제 1 부분은,
상기 이미지의 중심 주위의 영역(an area surrounding a center of the image), 상기 이미지 내에서 움직이는 객체를 포함하는 것으로 판별된 영역, 뷰어의 눈의 시야 방향(viewing direction)에 기초하여 결정된 상기 이미지의 영역, 또는 상기 이미지 내의 관심 객체의 영역 중 하나 이상을 포함하는 것을 특징으로 하는 이미지를 프로세싱하기 위한 방법.
제1항에 있어서,
뷰어의 눈의 시야 방향을 결정 및 추적하는 단계를 더 포함하며, 상기 제 1 부분은 상기 시야 방향으로부터 결정되는 것을 특징으로 하는 이미지를 프로세싱하기 위한 방법.
삭제
삭제
디스플레이되는 이미지의 품질을 개선하도록 프로세서를 조작하는 명령어들을 포함하는 프로그램을 저장한 비-일시적인 컴퓨터 판독가능한 매체로서, 상기 명령어들은,
이미지 프로세서에 의해서 이미지를 획득하고;
상기 이미지 프로세서에 의해서, 상기 이미지 프로세서의 이용가능한 리소스를 판별하고;
상기 이미지 프로세서에 의해서, 상기 이미지의 제 1 부분을 식별하고;
상기 이미지 프로세서에 의해서, 상기 제 1 부분이 아닌 상기 이미지의 제 2 부분을 식별하고;
상기 이미지 프로세서에 의해서, 상기 이미지 프로세서의 이용가능한 리소스에 기초하여 상기 제 1 부분을 프로세싱하는데 사용되는 제 1 알고리즘을 선택하고, 상기 제 1 알고리즘은 8-탭 스케일링 필터 알고리즘 및 선형 보간(linear interpolation) 알고리즘 중 하나를 포함하며;
상기 이미지 프로세서에 의해서, 상기 이미지 프로세서의 이용가능한 리소스에 기초하여 상기 제 2 부분을 프로세싱하는데 사용되는 제 2 알고리즘을 선택하고, 상기 제 2 알고리즘은 상기 제 1 알고리즘이 8-탭 스케일링 필터 알고리즘인 경우에는 2-탭 스케일링 필터 알고리즘이고, 상기 제 1 알고리즘이 선형 보간 알고리즘인 경우에는 픽셀 삭제 및 복제(pixel dropping and duplication) 알고리즘이며;
상기 이미지 프로세서에 의해서, 제 1 프로세싱된 이미지를 생성하도록 상기 제 1 알고리즘을 상기 제 1 부분에 적용하고; 그리고
상기 이미지 프로세서에 의해서, 제 2 프로세싱된 이미지를 생성하도록 상기 제 2 알고리즘을 상기 제 2 부분에 적용하며,
상기 제 2 알고리즘은 상기 제 1 알고리즘보다 더 느린 속도 혹은 더 적은 계산 리소스를 요구하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
제8항에 있어서,
상기 명령어들은,
상기 제 1 및 제 2 알고리즘을 상기 이미지의 각각의 부분들에 적용한 후에 상기 이미지를 디스플레이하는 것을 더 포함하며,
상기 제 1 및 제 2 알고리즘의 적용은 상기 디스플레이되는 이미지의 종횡비를 보존하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
제8항에 있어서,
상기 명령어들은,
상기 제 1 프로세싱된 이미지와 상기 제 2 프로세싱된 이미지를 하나의 프로세싱된 이미지로 결합하는 것을 더 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
디스플레이되는 이미지의 품질을 개선하기 위한 방법을 수행하도록 구성된 프로세서로서, 상기 방법은,
이미지 프로세서에 의해서 이미지를 획득하는 단계;
상기 이미지 프로세서에 의해서, 상기 이미지 프로세서의 이용가능한 리소스를 판별하는 단계;
상기 이미지 프로세서에 의해서, 상기 이미지의 제 1 부분을 식별하는 단계;
상기 이미지 프로세서에 의해서, 상기 제 1 부분이 아닌 상기 이미지의 제 2 부분을 식별하는 단계;
상기 이미지 프로세서에 의해서, 상기 이미지 프로세서의 이용가능한 리소스에 기초하여 상기 제 1 부분을 프로세싱하는데 사용되는 제 1 알고리즘을 선택하는 단계, 상기 제 1 알고리즘은 8-탭 스케일링 필터 알고리즘 및 선형 보간(linear interpolation) 알고리즘 중 하나를 포함하며;
상기 이미지 프로세서에 의해서, 상기 이미지 프로세서의 이용가능한 리소스에 기초하여 상기 제 2 부분을 프로세싱하는데 사용되는 제 2 알고리즘을 선택하는 단계, 상기 제 2 알고리즘은 상기 제 1 알고리즘이 8-탭 스케일링 필터 알고리즘인 경우에는 2-탭 스케일링 필터 알고리즘이고, 상기 제 1 알고리즘이 선형 보간 알고리즘인 경우에는 픽셀 삭제 및 복제(pixel dropping and duplication) 알고리즘이며;
상기 이미지 프로세서에 의해서, 제 1 프로세싱된 이미지를 생성하도록 상기 제 1 알고리즘을 상기 제 1 부분에 적용하는 단계; 및
상기 이미지 프로세서에 의해서, 제 2 프로세싱된 이미지를 생성하도록 상기 제 2 알고리즘을 상기 제 2 부분에 적용하는 단계를 포함하며,
상기 제 2 알고리즘은 상기 제 1 알고리즘보다 더 느린 속도 혹은 더 적은 계산 리소스를 요구하는 것을 특징으로 하는 프로세서.
제11항에 있어서,
상기 제 1 프로세싱된 이미지와 상기 제 2 프로세싱된 이미지를 하나의 프로세싱된 이미지로 결합하도록 더 구성된 것을 특징으로 하는 프로세서.
제11항에 있어서,
상기 제 1 부분은,
상기 이미지의 중심 주위의 영역, 상기 이미지 내에서 움직이는 객체를 포함하는 것으로 판별된 영역, 뷰어의 눈의 시야 방향에 기초하여 결정된 상기 이미지의 영역, 또는 상기 이미지 내의 관심 객체의 영역 중 하나 이상을 포함하는 것을 특징으로 하는 프로세서.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제