KR20070026681A - 이미지 보기 및 개선을 위한 방법 및 시스템 - Google Patents

Abstract

본 발명은 디스플레이(14), 비트 이미지들에 대한 메모리와 프로세싱 수단, 및 비트 이미지들을 수신하는 입력 장치를 포함하는 모바일 장치(12)의 디스플레이(14) 상에 이미지들을 보이고 개선시키는 방법 및 시스템과 관련된 것이다. 비트 이미지는 수신되어, 일차 스케일링이 중간 사이즈의 비트 이미지(33)를 생성하고 이차 스케일링이 디스플레이될 사이즈의 제2비트 이미지(21)를 생성하는, 미리 선택된 스케일링 알고리즘들을 이용해, 두 단계(31, 20)로 더 작게 스케일링 되도록 처리된다. 디스플레이될 비트 이미지(21)는 개선된다. 그 제2비트 이미지(21)는 적어도 두 개의 개선 알고리즘들을 구비한 개선 체인(29)을 사용해 개선된다.

Description

이미지 보기 및 개선을 위한 방법 및 시스템{Method and system for viewing and enhancing images}

본 발명은 디스플레이, 비트 이미지들을 위한 메모리 및 프로세싱 수단, 비트 이미지들 수신을 위한 입력 장치를 포함하는 모바일 장치의 디스플레이 상에 이미지들을 보이고 개선 시키기 위한 방법 및 시스템에 관한 것으로서, 여기서 비트 이미지는 수신된 후 미리 선택된 스케일링 알고리즘을 사용해 보다 작은 스케일로 처리되고 개선 알고리즘을 사용해 개선되며 프로세싱을 위해 오픈되고, 개선동작은 컬러 및 콘트라스트 개선, 샤프닝(sharpening), 컬러 관리, 및 디더링(dithering) 절차들을 하나나 여러 개를 포함한다.

이미징 모바일 장치는 다양한 사이즈의 이미지들을 포획 및 수신할 수 있다. 이러한 이미지들은 장치의 디스플레이에서 보여질 수 있어야 한다. 통상적으로 디스플레이는 물리적으로나 픽셀 수에 있어서 모두 상대적으로 작다. 따라서, 디스플레이 사이즈가 이미지 사이즈와 비교해 상대적으로 작다. 이미지 사이즈는 이미지가 디스플레이에 꼭 맞춰지도록 줄여져야 한다. 이것은 다운 스케일링 (downscaling) 혹은 데시메이션(decimation) 알고리즘을 요한다. 때때로 이미지의 일부만이 관심을 끄는 정보를 포함한다. 팬 지원 (panning support)을 통한 줌(zooming) 레벨 가변이, 관심 가진 영역에서의 세부사항들을 보는 데 있어 필요로 된다. 줌은 업 스케일링이나 보간 알고리즘들을 이용해 구현될 수 있다. 다운 스케일링 및 업 스케일링 알고리즘들은 충분한 품질을 가진 것이어야 한다. 그렇지 않으면 앨리어싱 효과, 울퉁불퉁한 테두리(jagged edges), 과도한 스무딩(smoothing) 또는 계단형 왜곡(pixelization) 등의 인공물(artifact)들이 이미지에 나타나게 될 것이다.

모바일 플랫폼들은 이미지 프로세싱 및 개선 알고리즘에 사용될 메모리 량과 프로세싱 파워에 대해 엄격한 제한을 둔다. 큰 이미지들은 많은 양의 메모리와 프로세싱 파워를 소비한다. 그 양은 이미지 내 픽셀들의 개수와 정비례, 혹은 지수함수적으로 비례하게 된다. 따라서, 큰 이미지들을 모바일 장치상에서 보는 것은 불가능하다.

현 세대의 모바일 디스플레이들에서의 또 다른 문제가 불충분한 화질이다. 특히, 이미지들이 좋은 화질을 내는 특성들을 결여할 때, 디스플레이 모듈의 동일 특성들에 대한 결여가 비적합(non-optimal) 인식 화질을 야기한다. 통상적으로 이러한 특징들로는 샤프니스(sharpness), 콘트라스트(contrast), 컬러 콘트라스트, 및 이미지의 채도가 포함된다. 디스플레이들의 불충분한 비트 깊이(depth)로 인해, 양자화 인공물들 역시 보일 수 있다. 이러한 특성들은 이미지 프로세싱 수단을 통해 개선될 수 있지만, 사용가능한 프로세싱 파워 및 메모리 량이 이러한 방법들의 활용을 제한하거나 막을 수 있다.

저 메모리 문제에 대한 소소한 해법이, 장치를 통해 보일 수 있는 이미지 사 이즈를 제한하는 것이다. 이 경우, 사용할 수 있는 메모리들이 충분치 않으면 몇몇 이미지들은 보이지 않게 될 것이다. 이 해법은 현재의 많은 제품들에서 사용되고 있다. 이 해법이 매우 간단하다고는 하나, 이 역시 명백히 매우 옹색한 점이 있다.

이미지는 오픈 된 동안 다운 스케일링 된다. 이미지 재조정(resizing) 및 스케일링에 대한 많은 공개 사항들을 논문들과 특허 데이터베이스에서 찾아 볼 수 있다. 디코딩 및 오프닝 중에 이미지 사이즈를 줄여 보다 큰 이미지들이 열리게 할 수 있다. 그러한 해법은 가령 현재의 Nokia® 시리즈60 이미지 뷰어(viewer)에서 활용되고 있다. 이미지는 디코딩 중에 다운 스케일링 되어, 디스플레이되는 이미지 사이즈에 가능한 가깝게 매치된다. 부호화된 이미지 포맷에 따라, 스케일링은 때때로 매우 효과적으로 행해질 수 있다 [US6067384]. 그러나, 이런 종류의 해법은 사용가능한 크기 조정(resizing) 팩터들을 소수의 소정 값들로 제한할 것이다. 어떤 포맷들은 표준 조정 절차들을 요하는데, 이 절차들은 비록 이들 절차들이 이미지 픽셀들이 이미지 소스로부터 읽혀질 때 동시에 적용될 수 있다고 해도, 프로세싱 복잡도를 줄이기 위해 인코딩 특성들을 활용하지는 못한다. 같은 시도가 변형되어 스트리밍 타입 입력에도 적합하게 될 수 있다. 이러한 시도의 결점은 다양한 조정 레벨 지원시, 즉, 다운 스케일링, 줌(zooming), 팬(panning)시의 융통성없음에 있다. 이를테면, 최초 오프닝 줌 비(율)보다 큰 줌 비가 요망될 때, 이미지가 다시 오픈 되어야 한다. 이것은 일련의 재 오프닝으로 인해 많은 시간이 걸리게 하고, 어떤 시점에서 시스템이 메모리가 바닥날 수 있다.

이미지들의 불충분하거나 열악한 가시성은 이미지를 수동적으로 조정해 개선될 수 있다. 이를테면, 사용자가 이미지의 콘트라스트와 채도를 변경할 수 있다. 그러나, 이것은 그러한 조정이 각 이미지에 대해 개별적으로 이뤄져야 하기 때문에 매우 불편하게 된다. 또, 사용자는 이미지 프로세싱에 대한 약간의 경험을 가져야 된다. 이미지들의 외관 개선에 대한 보다 진보한 해법은, 자동 이미지 적응 및 디스플레이 고유 개선을 이용하는 것이다 [WO03083775]. 이를테면, 히스토그램-분석 기반 콘트라스트 및 컬러 콘트라스트 알고리즘들이 적용될 수 있다 [US6148103]. 적절한 샤프닝 알고리즘 [WO2004/036449A1] 역시 화질에 있어 보다 만족스러운 인상을 제공할 것이다. 마지막으로, 특정 디스플레이 상에서의 이미지 모양은 컬러 제어 및 디더링 같은 디스플레이 고유의 보정과 프로세싱을 통해 최적화될 수 있다 [US2003179393]. 개선 체인의 알고리즘들은 효율적이고도 강력한 협력을 통해 변경 또는 결합될 수도 있는데, 예를 들면, 샤프닝과 콘트라스트 개선이 결합될 수 있다 [EP1242975]. 개별 개선 알고리즘들과 관련된 많은 참증들을 공개공보 및 특허 데이터베이스들에서 찾아 볼 수 있다.

종래 기술의 해법들과 관련해 주요한 문제점들은 다음과 같다:

- 메모리 부족 : 보여질 이미지가 너무 커서 쓸 수 있는 메모리에 맞지 않게 된다. 시스템은 디코딩 중 다운 스케일링이 사용되지 않는 경우 오프닝 중에 금방 메모리가 모자라게 될 수 있다. 다운 스케일링이 디코딩시 포함되더라도, 메모리 양은 주밍 중에 재오프닝하기에는 불충분할 수 있다.

- 부적격 다운 스케일링 알고리즘으로 인한 인공물들: 스케일링 알고리즘들 은, 알고리즘의 입력 이미지가 최선일 것을 요한다. 비호환 프로세스를 이용해 이미 스케일링된 이미지들은 스케일링 알고리즘들에 대한 최적 입력이 되지 못할 것이다. 적절한 다운 스케일링 역시 스케일링 프로세스 중에 어떤 공간 필터링이 포함될 것을 요한다. 가장 가까운 이웃이라 불리는 최저 레벨 방법은 필터링을 포함하지 않는다. 그것은 프로세싱 파워를 매우 효율적으로 감지하지만, 필더링 결여가 이미지들의 고주파수 콘텐츠와 관련해 성가신 앨리어싱 인공물들을 야기한다. 디코딩 중 필터링 다운 스케일링 알고리즘 사용에도 불구하고, 인공물들은 이 스케일링 알고리즘이 디스플레이 사이즈에 대한 정밀한 스케일링 비율을 지원하지 못하는 경우 발생할 수 있다. 또, 줌과 재 오프닝 후 디스플레이 사이즈에 대한 다운 스케일링 역시, 다운 스케일링과 함께 다른 재 오프닝이 수행되지 않으면 앨리어싱 인공물들을 야기할 것이다. 스케일링과 관련된 다른 인공물은 블러링(blurring)으로, 이것은 지나치게 강력한 필터링이 사용될 때 일어난다. 앨리어싱 및 블러링 모두 이미지가 샤프닝 알고리즘을 통해 개선되게 될 때 특히 해가 된다. 이러한 인공물들은 샤프닝 품질을 감소시키거나, 그 활용을 완전히 막을 것이다.

- 부적격 줌 알고리즘에 의한 인공물들: 가장 간단하고 흔하게 사용되는 줌 알고리즘을 픽셀 카피 (pixel copy)라 부른다. 이 알고리즘에서, 입력 픽셀들이 반복되어 보다 큰 이미지를 형성한다. 그에 따른 이미지의 픽셀들은 개별 픽셀들로서 보여지는 대신, 보다 큰 정사각형들로 보여진다. 처음에 완만하던 에지들도 울퉁불퉁하게 된다. 따라서 어떤 공간 필터링 방법을 포함하는 보다 나은 알고리즘이 요망된다.

- 응답 시간의 변화: 오프닝 중의 이미지 다운 스케일링은, 다운 스케일링이나 줌 비가 바뀌는 경우 일련의 재 오프닝을 야기한다. 이미지 오프닝, 파일 시스템으로부터 이미지 읽기, 및 이미지 디코딩은 매우 시간 소모적인 프로세스들이므로, 재 오프닝이 수행될 때 시스템의 응답 시간은 급격하게 상승한다.

- 개선 결함 또는 부적절한 개선 품질: 전 프로세싱 체인의 부적합한 구성이 형편없는 개선 품질을 일으키거나, 개선의 활용을 막을 수 있다. 예를 들어, 적절한 스케일링 알고리즘들이 사용되지 않으면 이미지 스케일링 인공물들이 샤프닝 기능을 망칠 수 있다. 또, 프로세싱 파워 자원들이 복잡한 개선 알고리즘들의 활용을 막을 수 있다.

- 느린 개선 기능: 개선이 적합하게 구현되지 않으면, 프로세싱 파워는 허용 가능한 프로세싱 시간 동안 불충분할 것이다.

- 전체 프로세싱 체인의 느린 기능 또는 불충분한 품질: 전체 이미지 프로세싱 체인이 모바일 용도 및 모바일 환경에 대해 부적합하게 구성될 수 있다

이러한 문제들은 본 발명의 방법을 통해 해결될 수 있다:

본 발명은 종래 기술 수준에 대한 향상을 도모하고 기존 방법들의 결함을 피하고자 한 것이다. 본 발명에 따른 방법의 특징적 특성들이 청구범위 1에 기재되고 있고, 그에 상응하는 시스템의 특징들이 청구범위 10에 기재되고 있으며, 그에 상응하는 소프트웨어 수단의 특징들은 청구범위 15에 기재된다.

본 발명의 사용으로 다음과 같은 이점들을 얻는다:

- 메모리 소비: 본 발명의 시스템에서, 이미지는 항상 오리지널 소스 이미지 사이즈나 사용가능한 메모리 량을 초과하지 않는 양에 의해 허용되는 최대 사이즈로서 오픈 된다. 이로 인해, 메모리 부족은 일어나지 않는다. 최대 가능 크기로의 제한은 오프닝 도중 다운 스케일링을 이용해 행해진다. 디스플레이 사이즈로의 다운 스케일링은 별도로 충분한 품질의 다운 스케일링 알고리즘을 이용해 행해진다. 보다 큰 줌 비율이 요구될 때 재 오프닝은 행해지지 않지만, 이미지는 충분한 품질의 줌 알고리즘을 통해 크기 재조정된다. 따라서, 메모리를 다 쓰지 않고도 큰 줌 비를 얻는 것이 가능하다. 다른 선택적 구성에서, 이미지는 초대 가능 크기 아닌 다른 크기로 초기에 오픈 될 수도 있다. 그러나, 제2다운 스케일링 알고리즘 사용 때문에, 오프닝 사이즈들은 다운 스케일링 또는 줌 비에 의해 결정된다. 따라서, 재오프닝 및 이들의 발생 횟수가 조정될 수 있다.

- 크기 재조정 품질: 최선의 가능한 다운 스케일링 및 줌 알고리즘들이 사용될 수 있는데, 이는 오픈 된 이미지 사이즈가 다운 스케일링이나 줌 팩터에 의해 정해지지 않기 때문이다. 오픈 된 이미지는 이용가능한 메모리 자원들의 한계 내에서 최선의 것일 수 있다. 최적의 오픈 이미지는 디스플레이되는 사이즈로의 이미지 보기를 위해 고품질 제2스케일링 알고리즘의 이용을 가능하게 한다. 오픈 된 이미지 사이즈가 이용가능한 메모리 량으로 제한되면, 보다 나은 품질의 이미지가 이미지 소스에서 사용될 수 있음에도 불구하고 그 이미지 품질은 사용된 크기 재조정 알고리즘들에 의해 제한될 것이다. 그러나 제한하지 않으면 이미지는 완전히 보이지 않을 수 있다.

- 프로세싱 속도: 크기 재조정 알고리즘의 복잡도는 동적으로 변화될 수 있다. 예를 들어, 줌 및 팬(panning) 동작을 수행할 때, 사용자가 정확한 줌 비율 및 팬 위치를 찾을 때까지 저품질 고속 알고리즘이 사용된다. 그런 다음, 크기 재조정은 더 나은 품질의 알고리즘을 이용해 수행되고, 이것은 약간 더 시간이 걸릴 수 있다. 동일한 방식이 이미지 오프닝 중에 적용되어, 빠른 이미지 검색을 가능하게 한다. 오프닝 직후, 하위 품질 버전의 이미지가 보여진다. 사용자가 정확한 이미지를 찾아서 검색을 중단하면, 품질이 개선된다.

- 프로세싱 속도: 이미지는 최대 사이즈로 오픈 되기 때문에, 줌 & 팬 동작들은 재 오프닝을 요하지 않는다. 이로 인해, 프로세싱 시간의 급격한 변화는 보이지 않는다. 그러나, 이와 달리, 가령, 고속 초기 오프닝이 요구되는 경우, 재 오프닝 사이즈들은 여전히 시스템에서 규정될 수 있다.

- 화질: 적절한 스케일링 알고리즘들의 도움으로, 디스플레이되는 이미지의 품질을 강화하기 위해 일련의 개선(enhancements)이 활용될 수 있다. 이것은 보여진 이미지의 품질에 따라, 부적절한 디스플레이 특성들의 보상을 가능하게 한다.

- 프로세싱 속도: 개선은 디스플레이 사이즈의 이미지에서 이뤄질 수 있다. 이 경우, 프로세싱 복잡도, 즉, 처리된 픽셀들의 개수가 낮게 유지될 수 있다. 개선을 위한 분석 단계 역시 작은 사이즈의 이미지로부터 행해질 수 있어 가령 줌 및 팬 도중에 불필요한 재분석을 피할 수 있다.

본 발명은 디스플레이 고유 개선을 통해 협력하도록 결합 및 최적화되는, 이미지 오프닝 또는 디코딩 그리고 이차 크기 재조정(resizing) 중에 이미지 다운 스케일링하기 위한 장치를 제공한다. 이 장치에서, 이미지가 먼저 오프닝 중에 사용가능한 메모리에 따라 좌우되는 사이즈로 다운 스케일링 된다. 이차 다운 스케일링 또는 주밍(zooming) 및 패닝(panning)이 그 오픈 된 이미지에 적용된다. 일련의 자동 개선 및 디스플레이 고유 프로세싱이 이 이차 재조정된 이미지에 적용된다. 두 단계 스케일링은, 자원 한계를 초과함이 없이 복잡하고 우수한 개선 알고리즘들의 사용을 가능하게 한다. 본 발명은 이미지-적응 콘트라스트 및 컬러-콘트라스트 개선, 샤프닝(sharpening), 컬러 조정, 및 디더링(dithering)을 포함하는 개선 체인으로 주어진다. 일실시예에서, 빠른 이미지 브라우징을 위한 제1세트 (고속 알고리즘들)와 최종 보기를 위한 보다 정확한 스케일링의 제2세트인, 두 세트의 알고리즘들이 사용된다. 고속 알고리즘이라는 말은 여기서 여기 언급한 우수한 품질의 알고리즘들에 의해 요구되는 프로세싱 타임의 10-20% (일반적으로 5-30%)를 요하는 알고리즘들을 말한다.

이하에서, 본 발명은 첨부된 도면들과 예들을 참조해 설명될 것이다.

도 1은 모바일 전화에 이미지를 로딩하여 보이는 종래의 프로세스를 보인다.

도 2는 본 발명에 따라, 모바일 전화에 대한 이미지 프로세싱 체인의 예를 보인다.

도 3은 이미지에 대한 두 단계 스케일링 및 프로세싱의 원리를 보인다.

도 4는 포스트 프로세싱 이미지 개선을 하는 전 이미지 처리 체인을 보인다.

도 5는 도 4에 도시된 프로세싱 체인의 변형을 보인다.

도 1을 참조하여, 카메라 폰(12)에서 구현되는 종래 기술에 따른 디스플레이 이미징 시스템을 설명한다. 이 예에서, 이미지들은 스토리지(10) 안에 있다. 이러한 종래의 예는 정수 비 (integer ratio)를 갖는 일차 스케일링 (11), 중간 이미지 오프닝 (13), 및 필요한 경우 마지막으로, 타깃 디스플레이(14)에 대한 저화질 스케일링(15)을 포함한다. 주로 저화질 스케일링으로 인해, 화질은 열악하게 나타난다. 이미지 개선은 이용되지 않는데, 그것이 저화질 이미지에서는 도움이 되지 않을 수 있기 때문이다. 일차 스케일링에도 불구하고, 이용 가능한 메모리가 중간 이미지에 대해 체크 되지 않으면 메모리 문제가 있을 수 있다. 디스플레이 체인이라는 개념은 이미지 개선을 위한 자동 툴(tool)을 제공한다는 것이다. 동일한 자동 개선이 보여질 모든 이미지들에 대해 이뤄진다. 디스플레이 체인이 디스플레이에 종속되는 것이라고 해도, 그것은 또한 이미지 적응적인 것이므로, 모든 이미지들에서 작용할 것이다.

도 2에서 알 수 있는 것처럼, 구현된 자동 체인이 최초 이미지 스케일링 체인의 줌 및 보기 부분을 대체한다. 메모리(10), 모바일 폰(12), 및 그 디스플레이(14) 같은 유사 구성요소들은 상술한 것과 같은 참조 부호들을 사용해 언급하였다. 본 발명은 이미지 오프닝, 즉 디코딩 중의 다운 스케일링(31)을, 이차 스케일링(20) 알고리즘 및 이미지 개선 체인(29)과 결합한다. 메모리(10) 내 이미지가 스케일링되고(31) 소스 비트맵(33)으로 오픈 된 (가령, 640 x 480 사이즈의) 후, 디스플레이(14) 상에 보여지도록 타깃 비트맵(21)으로 스케일링된다(20). 일차 스 케일링(31)은 오픈 된 이미지 사이즈를 사용가능한 메모리에 따라 제한하는데 사용되고 일반적으로 1:2 스케일링 비를 이용한다. 멱수 n은, 이미지가 메모리에 꼭 맞게 되는 한, 가능한 낮게 설정된다. 사용가능한 메모리 량은 로딩 전에 체크된다. 이차 스케일링(20)은 이미지를 디스플레이되는 이미지 사이즈로 크기 재조정하는데 사용된다. 이차 스케일링 알고리즘은 디스플레이 사이즈나 더 작은 이미지로의 다운 스케일링 및, 한 영역이 보여지기 위해 팬(pan) 되고 크롭(cropping) 되게 하는, 디스플레이 사이즈보다 큰 이미지들로의 스케일링뿐 아니라, 한 영역이 보여지기 위해 팬 되고 크롭 되게 하는, 오픈 된 이미지보다 큰 이미지 사이즈들로의 줌 역시 지원한다. 이러한 것에 대해서는 나중에 상세히 설명할 것이다.

이 구성의 이점은, 할당된 메모리 자원들의 양이 제어될 수 있다는 것이다. 메모리는 제한된 사이즈를 갖는 오픈 되는 이미지 및 디스플레이되는 이미지에 대해 필요로 되고, 그 사이즈는 디스플레이 사이즈에 따라 달라진다. 디스플레이되는 이미지 메모리는 디스플레이 하드웨어에 직접 할당될 수도 있다.

다른 이점은, 메모리 고갈 없이, 매우 큰 이미지들을 포함하는 다양한 사이즈들로 된 이미지들을 오픈 및 보게 하는 능력이다.

이미지 프로세싱 체인(32)은 이차 스케일링(20)(줌, zooming)과 개선 체인(29)으로 이뤄진다. 스케일링된 이미지(21)는 이차 스케일링을 통해 얻어진다. 이 예에서, 개선 체인(29)은 네 개의 알고리즘들인 컬러 및 콘트라스트 개선(22), 샤프닝(24), 컬러 조정(26), 및 디더링(28)을 포함한다. 줌 후, 블러링(burring), 콘트라스트 및 컬러 손실 등에 대해 보상하도록 된 일련의 알고리즘들과 함께 이미 지를 개선하는데 사용된다. 보상은 소정 디스플레이 및, 그 디스플레이나 이러한 디스플레이에 적합하지 않은 이미지 특성들에 의해 야기된 결함에 대해 최적화된다. 결함들은 가령 카메라 센서 및 광학계와 반투과(transflective) 디스플레이에 의해 야기될 수 있다. 보상은 디스플레이에 따라 다음과 같은 방법으로 적용될 수 있다:

A 낮은 콘트라스트 디스플레이 (낮은 컬러 색역(gamut)) => 강한 콘트라스트 개선이 적용된다.

B 낮은 채도를 가진 디스플레이 => 강한 채도 개선이 적용된다.

C 낮은 콘트라스트를 갖는 작은 픽셀 디스플레이 => 강한 샤프니스 개선이 적용된다.

D 컬러 조정(management)은 이미지 및 디스플레이의 컬러 공간들에 따라 좌우됨.

E 디더링은 디스플레이의 이미지 깊이에 의함.

특히 A, B, 및 C 개선은 이미지 적응적이다. 따라서, 이미지들이 디스플레이와 같은 특성을 결여하면, 이러한 개선이 더 강해진다.

샤프닝은 에지들을 개선하는데 사용된다. 작은 픽셀 사이즈 및 낮은 콘트라스트가 강한 샤프닝을 가능하게 한다. 컬러 및 콘트라스트 개선은, 컬러 콘트라스트 및 채도를 자동으로 개선함으로써 컬러들이 주관적으로 더 쾌적하게 보이게 만든다. 컬러 조정은, 이미지 컬러 공간이 사용된 디스플레이 컬러 공간과 같지 않을 때, 디스플레이 상에서의 컬러 표현을 개선한다. 디더링은 디스플레이의 양자 화로 야기된 컨투어링(contouring) 효과를 감소시킨다. 이것은 낮은 깊이 (8-12 비트) 디스플레이들에서 매우 필요하다.

이차 스케일링(20)은 별도로 실행되고 모든 다른 개선동작들이, 디스플레이 메모리 (버퍼)이거나 다른 메모리 영역일 수 있는, 타깃 비트맵(21) (도 2)에 대해 이뤄진다. 먼저, 메모리(10) 내 이미지가 오픈 되고, 사용 가능 메모리 량 (일반적으로 최대량의 25-100%) 만큼 제한되는 최대 이용가능 사이즈로 다운 스케일링 되어(31) 소스 비트맵(33)이 얻어진다. 다운 스케일링은 소정 이미지 포맷들에 고유한 고속 알고리즘들을 활용할 수 있다. 따라서, 오픈 된 이미지는 항상 최대 이용 가능 사이즈 및 최선의 가능한 품질을 가진다. 이차 스케일링 알고리즘(20)은 이미지를 디스플레이 사이즈로 스케일링하여 타깃 비트 이미지(21)가 얻어진다. 아주 빈번하게 전체 이미지가 보여지도록 요청되고 이차 스케일링 알고리즘은 디스플레이되는 이미지 사이즈 및 오픈 된 이미지 사이즈에 의해 규정된 다운 스케일링 비를 이용한다. 그러나, 이미지의 어떤 디테일을 보고자 하는 것도 매우 흔한 일이다. 이차 스케일링 알고리즘은 보다 큰 스케일링 비를 사용하여 디스플레이되는 이미지보다 큰 다운 스케일링 된 이미지로부터 관심있는 영역을 크롭(crop, 잘라내기) 할 수도 있다. 관심 있는 영역은 다운 스케일링 된 이미지 안에서 팬 될 수 있다. 스케일링 알고리즘이, 메모리가 이미지의 디스플레이되는 부분에만 할당되도록 하는 방식으로 팬 및 크롭을 구현할 수 있다는 것을 알아야 한다. 다시 한번, 이 메모리는, 어느 경우에나 이미지를 보이기 위한 메모리 자원들을 필요로 하는 디스플레이 하드웨어에 상주할 수도 있다. 스케일링 알고리즘은 다운 스케일링 에만 국한되는 것이 아니며, 줌 역시 지원한다. 이것이 오리지널 이미지 사이즈와 훨씬 더 큰 사이즈들의 실현을 가능하게 한다. 사용자가 다운 스케일링 비나 줌 비를 변경하면 이미지는 재 오픈 되어야 한다. 이것이 응답 시간의 급격한 변화 없는 빠른 동작을 보증한다. 그러나, 만약 크롭된 이미지가 중간 이미지에 의해 허용된 것 이상으로 줌 되면, 오리지널 이미지는 일부 오픈 될 수 있다. 시스템은, 사용 가능한 메모리 자원들에 의해 지정된 것보다 작은 한계치의 초기 사용 또한 허용한다. 이러한 것은 이미지의 최초 고속 오프닝에 활용될 수 있다. 이 경우에도, 재 오프닝 회수는 통제될 수 있다.

지금부터 이미지 스케일링 프로세스의 한 예를 도 3을 참조하여 보다 상세히 설명할 것이다. 소스 이미지(10)가 우선 다운 스케일링되어 중간 이미지(33)로서 오픈된다. 이것은 다시 디스플레이되는 이미지(21')로 곧장 다운 스케일링 될 수 있다 (부가적으로, 도 2에서와 같은 개선 체인을 이용함). 이와 달리, 중간 이미지(33)가 다른 중간 (버추얼) 이미지(46)로 업 스케일링될 수 있으며, 그것은 팬 되고 (패닝 윈도(48)) 그런 다음 개선동작(enhancements)을 통해 크롭 되어 디스프레이할 최종 이미지(21)를 형성한다.

사용하는 다운 스케일링 및 줌 알고리즘은 본 발명의 구성에서 제한을 두지 않는다. 그러나, 알고리즘의 품질은 지정된 요건을 만족해야 한다. 이 알고리즘은 또한 동적으로 스위칭 될 수 있다. 이를테면, 매우 고속이지만 그다지 높은 품질은 아닌 스케일링 방법이 메모리(10) 내 이미지들의 고속 브라우징에 사용될 수 있다. 일 실시예에서, 사용자가 한 이미지를 선택할 때까지 고속 알고리즘들이 사 용되고 개선동작들은 생략되며, 사용자가 이미지를 선택하고 나면 그 이미지가 보다 우수한 알고리즘을 통해 다운 스케일링 되고 모든 개선 동작들이 실행된다. 양호한 품질의 이미지가 디스플레이된다. 그런 다음, 다른 모드에서, 사용자는 선택된 팬 윈도를 가지고 이미지 팬을 시작한다. 다시, 사용자가 그가 보고자 하는 타깃을 더 정밀하게 선택할 때까지 또 다른 고속 알고리즘이 사용되고 개선동작들은 생략될 것이다. 사용자가 관심있는 이미지나 영역을 발견했으면, 더 우수한 스케일링 알고리즘을 사용하여 이미지를 재처리하고 개선 체인을 이용함으로써 그 화질이 향상될 수 있다.

본 발명의 구성은 개선동작들이 디스플레이되는 이미지에 적용될 때 더욱 바람직하게 된다. 도 4는 이미지 분석을 동반하는 크기 재조정 알고리즘들 및 개선동작들을 포함하는 전 구성의 예를 보인다. 상술한 것과 동일한 참조 부호들이 기능적으로 유사한 구성요소들에 대해 사용되었다. 개선동작들을 통해, 디스플레이되는 이미지의 주관적 품질이 크게 향상될 수 있다. 이 경우, 소스 이미지(10)가 오프닝 중에 스케일링 되어(31), 중간 이미지(33)가 얻어진다. 그런 다음 이것이 디스플레이에 맞춰 스케일링 된다. 도 2를 참조해보면, 디스플레이 고유 프로세싱 체인을 위한 적절한 일련의 개선동작들(29)의 예는 다음과 같다:

- 컬러 및 콘트라스트 개선 (22)

- 샤프닝 (24)

- 컬러 조정 (26)

- 디더링 (28).

컬러 조정 및 디더링은 매우 디스플레이에 고유한 동작들이다. 프로세싱 파라미터들은 디스플레이 특성들에 매우 크게 좌우된다. 샤프닝과 컬러 및 콘트라스트 개선동작들은 이미지 종속적인 것들이다. 이미지 적응적 알고리즘들이 최선의 결과를 낳는다. 그러나, 이러한 알고리즘들 역시 디스플레이 특성들에 기초해 제어될 수 있다. 따라서, 전 체인이 디스플레이에 고유하게 된다.

샤프닝과 디더링은 공간 동작들 (spatial operations)이다. 공간 동작들은 디스플레이되는 사이즈의 이미지 상에서 실행되어야 한다, 즉, 이들은 모든 스케일링 동작들 뒤에 자리 잡아야 된다. 그렇지 않으면, 크기 재조정이 이미지의 공간 정보를 바꾸기 때문에, 이들 알고리즘들의 동작을 망쳐 심각한 인공물들이 발생되게 할 것이다. 샤프닝 역시 특정 품질의 크기 재조정 알고리즘들을 요구하는 알고리즘들의 좋은 본보기로서, 이 알고리즘들이 샤프닝 전에 적용되더라도 그러하다. 실제로, 최저 레벨 크기 재조정, 즉, 픽셀 카피나 최근접 이웃 알고리즘들은 샤프닝의 활용을 막는다. 콘트라스트 및 컬러 개선과 컬러 조정은 픽셀 기반 동작들의 본보기들로서, 이들은 크기 재조정 같이 다른 알고리즘들로 이미지의 공간적 모양을 바꾸는 데 대해 그다지 민감하지 않다. 알고리즘들의 최적의 순서는 구성의 디테일에 따라 달라진다.

제안된 구성은 효율적인 개선 체인의 구현을 가능하게 한다. 모든 개선동작들이 작은 디스플레이 사이즈의 이미지로 적용될 수 있다. 이것이 처리되는 픽셀 수를 줄이고, 궁극적으로 프로세싱 파워의 수요를 최소화한다. 이미지 적응적 개선동작들의 분석(42) 역시 작은 이미지로부터 이뤄질 수 있다. 분석 데이터(43)가 메모리에 있으면, 분석은 이미지가 바뀔 때에만 행해져도 된다. 예를 들어, 이미지가 최초 오프닝 뒤에 분석될 수 있고, 줌 또는 팬 한 뒤의 재분석은 필요로 되지 않는다. 이것이 프로세싱 시간을 크게 줄이게 된다.

도 5에 도시된 바와 같이, 픽셀 동작들, 이 경우 콘트라스트 및 컬러 개선동작 (22')과 컬러 조정(26')이 이차 스케일링 전에 올 수도 있다. 유사한 기능들과 대상들은 상술한 것과 동일한 모든 참조 부호들로 나타낸다. 일차 스케일링(31) 중에, 이미지 데이터가 분석되고(52) 분석 데이터(53)가 상술한 개선동작들에 대해 얻어진다. 이것이 처리되는 픽셀들의 개수를 증가시키고 그에 따라 이미지 오픈 시간 역시 증가하지만, 줌 및 팬 동작들은 개선동작들의 개수 감소로 인해 더 빨라질 것이다. 기능적으로, 중간 이미지(33)는 이제 이전 예들 보다 더 많은 정보를 가지게 된다. 분석(42)을 통해 공간적 개선동작에 대한 분석 데이터(43)가 얻어지고, 이 분석(42) 및 이들 개선동작들(24, 28) 자체는 이차 스케일링(20) 뒤에 온다.

이와 달리, 일차 스케일링 중에 수집된 분석 데이터가 이차 스케일링 뒤에도 사용될 수 있다 (미도시).

이 기술분야의 당업자라면 첨부된 청구항들의 범위 안에 들도록 하면서 최대한 본 발명에 따른 (규정)/방법을 변경할 수 있다는 것은 자명한 사실이다.

본 발명은 모바일 플랫폼들과 디스플레이들 상에서 이미지들을 보고 개선하기 위한 방법 및 알고리즘들의 구성에 관한 것이다. 본 발명은 어떤 크기으 이미지들이라도 일반적인 모바일 플랫폼상에서 개선되어 보일 수 있게 하는 효과적으로 구축가능한 시스템에 대해 설명하였다. 그러한 플랫폼들의 예가, 이미징 기능을 가진 모바일 폰들을 타깃으로 하는 Nokia®시리즈 30, 60, 40, 80 및 90 플랫폼들이다.

모바일 장치(12)에서 이미지들을 보고 개선하는 시스템은, 디스플레이(14), 비트 이미지의 처리 수단, 및 비트 이미지 수신을 위한 입력 장치를 포함한다. 시스템은 개선 체인(29)을 사용해 중간 이미지(33)를 개선하는 수단 역시 포함한다. 일실시예에서, 프로세싱 수단은 프로그램 가능 수단을 포함하여 고속 이미지 브라우징을 위한 제1세트 및 최종 보기를 위한 보다 정밀한 스케일링을 위한 제2세트인, 두 세트의 알고리즘들을 실행시킨다.

본 발명에 따른 방법은 컴퓨터 판독가능 메모리 매체로 구성된 프로그램 제품을 이용해 수행될 수 있으며, 컴퓨터 판독가능 프로그램 코드 요소들이 상기 매체 안에 저장된다. 상기 프로그램 코드 요소들은:

- 비트 플로(flow)를 수신하여 곧장 선택된 사이즈로 스케일링하여 제1메모리 영역에 비트 이미지를 형성하도록 프로그램으로서 구현되는 제1요소,

- 상기 비트 이미지를 디스플레이 사이즈로 제2메모리 영역 안에 스케일링하도록 프로그램으로서 구현되는 제2요소,

- 적어도 서로 다른 두 특성들과 관련된 이미지 개선 알고리즘들을 활용하여, 제2메모리 영역 내 비트 이미지의 일부를 처리하도록 프로그램으로서 구현되는 제3요소로 이뤄진다.

이 경우, 컴퓨터라는 용어는 당연히 모바일 스테이션의 마이크로프로세서, 고정 및/또는 탈부착 메모리 매체, 및 디스플레이와 키보드 같은 I/O 수단을 말한다.

Claims (16)

1. 이미지를 보이는 디스플레이(14), 비트 이미지들을 위한 메모리 및 프로세싱 수단, 및 비트 이미지들을 수신하는 입력 장치를 포함하는 모바일 장치(12)에서 이미지들을 보이고 개선하는 방법에 있어서,

   비트 이미지가 수신되어 미리 선택된 스케일링 알고리즘들을 이용해 두 단계(31, 20)로 더 작게 스케일링 되도록 처리되고,

   이때 일차 스케일링은 중간 사이즈의 비트 이미지(33)를 생성하고, 이차 스케일링은 디스플레이될 사이즈의 제2비트 이미지(21)를 생성하며,

   상기 디스플레이될 비트 이미지(21)가 개선되고(enhanced),

   상기 제2비트 이미지(21)는, 이미지의 다양한 특성들과 관련된 적어도 두 개의 개선 알고리즘들을 구비한 개선 체인(29)을 사용해 개선됨을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 개선 체인은, 컬러 및 콘트라스트 개선, 샤프닝(sharpening), 이미지를 디스플레이의 컬러 공간에 맞추는 컬러 조정, 및 디더링(dithering) 단계들 중 적어도 한 가지를 포함함을 특징으로 하는 방법.
3. 제1항 또는 제2항에 있어서, 상기 중간 이미지는 제2크기의 버추얼 이미지로 스케일링되고, 이 가운데 디스플레이되는 부분만이 처리되어 디스플레이에 맞게 커 트 (cut)됨을 특징으로 하는 방법.
4. 제3항에 있어서, 상기 버추얼 이미지는 최종 커트 이미지를 선택하도록 팬 됨 (panned)을 특징으로 하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 메모리의 최대 사용 가능한 양이 비트 이미지 오프닝 전에 검출되고, 중간 이미지(33)의 사이즈는 장치의 상기 사용 가능한 메모리에 따른 최대 사이즈의 25-100%가 되게 설정됨을 특징으로 하는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 중간 이미지 및/또는 최종 이미지는 사용자가 관심 있는 영역을 선택하였을 때 보다 우수한 알고리즘을 써서 재처리됨을 특징으로 하는 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 이미지 데이터는 일차 스케일링 중에 분석되어, 분석 데이터가 얻어지고, 그 분석 데이터는 이차 스케일링 후 디스플레이될 이미지의 픽셀 기반 개선을 위해 사용됨을 특징으로 하는 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 사용자가 한 오리지널 이미지로부터 커트된 이미지들을 브라우징하는 것은, 중간 이미지가 딱 한번 오픈 되고 커 트 이미지들이 동일한 중간 이미지로부터 처리됨을 특징으로 하는 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 다수의 이미지들이 수신되고 브라우징 되며 최종 보기를 위한 하나가 선택되는 것은, 이미지들의 고속 브라우징을 위한 제1세트 및 최종 보기에 더 정확한 스케일링을 위한 제2세트인, 두 세트의 알고리즘들이 사용됨을 특징으로 하는 방법.
10. 디스플레이(14), 비트 이미지들을 위한 메모리 및 프로세싱 수단, 및 비트 이미지들을 수신하는 입력 장치를 포함하는 모바일 스테이션(12)의 디스플레이(14) 상에 디스플레이될 이미지들을 보이고 개선하는 시스템에 있어서,

    비트 이미지가 수신되어, 중간 이미지(33)를 만드는 일차 스케일링과 디스플레이될 비트 이미지(21)를 만드는 이차 스케일링을 구비한 두 단계 스케일링을 이용해 더 작게 스케일링 되도록 처리되고,

    상기 시스템은, 이미지의 다양한 특성들과 관련된 적어도 두 개의 개선 알고리즘들이 있는 개선 체인(29)을 사용해 상기 중간 이미지(33)를 개선하는 수단을 더 포함함을 특징으로 시스템.
11. 제10항에 있어서, 상기 개선 수단은, 컬러 및 콘트라스트 (22), 샤프닝(sharpening) (24), 이미지를 디스플레이의 컬러 공간에 맞추는 컬러 조정 (26), 또는 디더링(dithering) (28) 가운데 적어도 한 가지를 포함함을 특징으로 하는 시 스템.
12. 제10항 또는 제11항에 있어서, 상기 프로세싱 수단은 이미지 팬 (48) 및 커트를 위한 구성요소들을 포함함을 특징으로 하는 시스템.
13. 제10항 내지 제12항 중 어느 한 항에 있어서, 상기 프로세싱 수단은, 이미지들의 고속 브라우징을 위한 제1세트 및 최종 보기를 위한 보다 정밀한 스케일링을 위한 제2세트의 두 세트 알고리즘들을 실행하는 프로그램가능 수단을 포함함을 특징으로 하는 시스템.
14. 제10항 내지 제13항 중 어느 한 항에 있어서, 상기 시스템은 모바일 폰을 포함함을 특징으로 하는 시스템.
15. 이미지를 보이는 디스플레이(14), 비트 이미지들을 수신하는 입력 장치, 비트 이미지들을 위한 메모리 및 프로세싱 수단을 포함하는 모바일 스테이션(12)에서 이미지들을 보이고 이들을 프로그램으로서 개선 시키기 위한 방법에 있어서,

    - 수신된 비트 이미지가, 선택된 한 스케일링 알고리즘들을 이용해, 도달한 비트 플로(flow)로부터 바로 중간 사이즈(33)로 메모리의 제1영역에 스케일링 되고,

    - 상기 중간 비트 이미지가, 선택된 한 알고리즘을 이용해, 디스플레이될 최 종 크기(21)로, 제2메모리 영역이나 디스플레이의 상기 메모리 안에 스케일링 되고,

    상기 디스플레이될 비트 이미지(21)는, 이미지의 다양한 특성들과 관련이 있는 적어도 두 알고리즘들 (22, 24, 26, 28)을 이용해, 상기 제2메모리 영역 또는 디스플레이 메모리에서 처리됨을 특징으로 하는 방법.
16. 컴퓨터 판독가능 프로그램 코드 요소들이 저장되는 컴퓨터 판독가능 메모리 매체를 포함하여 제1항에 따른 방법을 구현하는 프로그램 제품에 있어서, 상기 프로그램 코드 요소들은:

    - 비트 플로(flow)를 수신하여 선택된 사이즈의 비트 이미지로서 곧장 제1메모리 영역 안에 스케일링하도록 된 제1프로그램 요소,

    - 상기 비트 이미지를 디스플레이 사이즈로 제2메모리 영역에 스케일링하도록 된 제2프로그램 요소,

    - 다양한 특성들과 관련된 적어도 두 개의 이미지 개선 알고리즘들을 활용하여, 제2메모리 영역의 비트 이미지를 처리하도록 된 제3프로그램 요소를 포함함을 특징으로 하는 프로그램 제품.

Images