KR20120039546A - 콘트라스트 개선 - Google Patents

콘트라스트 개선 Download PDF

Info

Publication number
KR20120039546A
KR20120039546A KR1020117030244A KR20117030244A KR20120039546A KR 20120039546 A KR20120039546 A KR 20120039546A KR 1020117030244 A KR1020117030244 A KR 1020117030244A KR 20117030244 A KR20117030244 A KR 20117030244A KR 20120039546 A KR20120039546 A KR 20120039546A
Authority
KR
South Korea
Prior art keywords
pyramid
image
contrast
laplacian
laplacian pyramid
Prior art date
Application number
KR1020117030244A
Other languages
English (en)
Other versions
KR101728088B1 (ko
Inventor
지에푸 자이
호안 야크
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20120039546A publication Critical patent/KR20120039546A/ko
Application granted granted Critical
Publication of KR101728088B1 publication Critical patent/KR101728088B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 발명에 따른 방법은 원본 이미지에 액세스하고, 이미지의 픽셀의 픽셀 값 및 픽셀 좌표를 구축, 할당 또는 초기화함으로써 이미지의 콘트라스트를 개선시킨다. 그런 후에, 정수 개수의 레벨을 갖는 라플라시안(Laplacian) 피라미드가 이미지에 대해 생성된다. 콘트라스트 강화(boost) 피라미드가 생성되고, 라플라시안 피라미드에 적용되어, 수정된 라플라시안 피라미드를 획득하게 되고, 여기서 라플라시안 피라미드의 레벨의 값이 개선된다. 그런 후에, 개선된 이미지는 수정된 라플라시안 피라미드로부터 재구성된다.

Description

콘트라스트 개선{CONTRAST ENHANCEMENT}
본 출원은 2009년 6월 29일에 출원된, 미국 가특허출원 제61/269,757에 대한 35 U.S.C§119(e)하에 우선권을 주장하고, 상기 출원의 교시는 본 명세서에 통합된다.
본 발명은 다중 해상도의 접근법을 이용한 화상의 콘트라스트(contrast)를 개선시키는 방법에 관한 것이고, 더 구체적으로 이미지의 콘트라스트를 개선시키기 위한 라플라시안(Laplacian) 피라미드의 계수의 비선형 스케일링(scaling)의 사용에 관한 것이다.
콘트라스트 개선은 디스플레이 상에서 또는 다른 물리적 지지체(support) 상에서 이미지의 외관을 수정하는데 사용되는 공통적인 방법이다. 이용가능한 다수의 콘트라스트 개선 방법이 존재한다. 기본적 접근방식은 선형 확장(linear stretching) 또는 히스토그램 등화(histogram equalization)와 유사하게 전체 이미지를 처리하기 위한 단일 응답 곡선을 사용한다. 응답 곡선의 올바른 생성이 국부적인 또는 전역적인 콘트라스트 모두를 변경하는 것을 허용할 수 있지만, 이들 접근법은 이미지상에서 픽셀 값의 공간적 분포를 고려하지 않고, 따라서 최적의 결과를 제공하지 못한다.
더 개선된 콘트라스트 개선 기법은 국부적인 이미지 특성을 기초로 하는 응답 곡선을 수정하는 적응형 알고리즘을 사용한다. 적응형 알고리즘의 사용이 이미지의 상이한 영역상에서 상이한 콘트라스트 개선 파라미터를 사용하는 것을 허용하지만, 이들 방법은 여전히 어떤 이웃 크기가 국부적인 이미지 특성을 추정하는데 사용되는지에 의존한다. 작은 이웃은 작은 객체에 대해 더 나은 콘트라스트 개선을 제공하는 반면, 더 큰 이웃은 더 나은 전역적인 콘트라스트를 제공한다. 이웃 크기가 픽셀 사이에서 변경될 수 있지만, 이들 방법은 각 픽셀이 상이한 크기로 처리되는 것을 허용하지 않고, 그러므로 최적의 결과를 제공하지 못한다. 방법이 이미지의 콘트라스트를 수정하는데 이용가능하지만, 이미지 레벨(전역 콘트라스트) 및 영역 레벨(국부 콘트라스트) 모두에 동작하면서, 기존의 방법은 동시에 다중 크기를 다룰 수 없다.
본 발명에 따른 이미지의 다중 해상도 분해는 이러한 한계를 다룬다. 본 발명을 따른 방법은 원본 이미지에 액세스하고, 이미지의 픽셀의 픽셀 값 및 픽셀 좌표를 구축, 할당 또는 초기화함으로써 이미지의 콘트라스트를 개선한다. 그런 후에, 정수 개수의 레벨을 갖는 라플라시안 피라미드가 이미지에 대해 생성된다. 콘트라스트 강화(boost) 피라미드가 생성되고, 라플라시안 피라미드에 적용되어, 수정된 라플라시안 피라미드를 획득하게 되고, 여기서 라플라시안 피라미드의 레벨의 값이 개선된다. 그런 후에, 수정된 라플라시안 피라미드로부터 개선된 이미지가 구성된다. 방법은 적어도 하나의 레벨의 값이 다른 레벨의 값보다 더 개선되는 특성을 포함할 수 있다.
또한, 이미지의 콘트라스트를 개선하는 방법은 적어도 하나의 원본 이미지에 액세스하는 단계, 정수 개수의 레벨을 갖는 적어도 하나의 원본 이미지의 다중-크기 신호 표현을 생성하는 단계, 및 적어도 하나의 개선된 이미지를 생성하기 위해 다중-크기 표현에 응답하는 적어도 하나의 원본 이미지를 처리하는 단계를 포함할 수 있다. 방법은 적어도 하나의 원본 이미지의 다중-크기 신호의 표현을 형성하기 위해, 적어도 하나의 원본 이미지의 피라미드 표현을 생성하는 단계; 피라미드 표현을 생성하기 위해 대역 피라미드 방법을 사용하는 단계로서, 피라미드 표현은 라플라시안 피라미드(Ik)일 수 있고, k={1,...K}이고, K는 라플라시안 피라미드의 레벨의 개수인, 기저대역 피라미드 방법을 사용하는 단계; 라플라시안 피라미드에 적용될 때 라플라시안 피라미드를 비선형적으로 변경하는 함수인 콘트라스트 강화 피라미드(Bk)를 생성하는 단계; 및 콘트라스트 강화 피라미드를 생성하기 위해, 형태 제어 수단 및/또는 강화 강도 수단을 갖는 검정력 함수를 사용하는 단계 중 하나 이상을 포함할 수 있다. 방법은 원본 이미지 각각에 관련된 라플라시안 피라미드 및 대응하는 콘트라스트 강화 피라미드를 생성하는 단계에 덧붙여, 원본 이미지 각각에 대응하는 가우시안 피라미드 가중치를 포함할 수 있는 합성 이미지를 생성하기 위해 강화된 라플라시안 피라미드를 퓨징(fusing)하는 단계를 포함할 수 있다. 방법은 적어도 하나의 개선된 이미지를 생성하기 위해 사용자 인터페이스를 통해 다중-크기 표현에 응답하는 사용자 명령을 적용하는 단계를 더 포함할 수 있고, 이 단계는 이미지의 적어도 일 부분에서 콘트라스트를 증가시키기 위해, 사용자 인터페이스를 통해 성형 제어 수단 및/또는 강화 강도 수단을 사용자가 선택하거나 제어하는 단계를 수반할 수 있다.
이제부터, 본 발명은 첨부 도면을 참조하여 예시의 방식으로 서술될 것이다.
본 발명을 통해, 종래의 콘트라스트 개선 방법을 향상시켜 이미지에 대해 최적의 결과를 가질 수 있다.
도 1은 본 발명에 따라, 구역(zone) 기반의 톤(tone) 매핑 방법의 흐름도.
도 2는 본 발명에 따른 콘트라스트 개선 방법의 흐름도.
도 3은 하나의 이미지가 본 발명의 방법에 따라 개선되는, 샘플 이미지의 쌍을 도시하는 도면.
본 발명은 이제부터 더 상세히 서술되는데, 먼저 본 발명의 콘트라스트 개선 알고리즘이 동작하는 구역 기반의 톤 매핑 프레임워크의 개략적인 서술로 개시된다. 구역 기반의 톤 매핑 프레임워크는 도 1에 도시되고, 다음의 주요 단계를 포함한다.
입력의 높은 동적 영역(HDR, high dynamic range) 이미지는 단계(10)에서 먼저 상이한 영역으로 분할된다. 이는 분명한(hard) 분할 또는 분명치 않은(fuzzy) 분할 일 수 있다. 어떠한 경우에서도, 각 영역은 매트릭스로 표현될 수 있는데, 여기서 매트릭스의 각 요소는 픽셀의 확률(가중치)이다. 분명한 분할이 사용된다면, 이미지 픽셀은 단일 영역에 속하게 되므로, 확률은 0 또는 1이다. 분명치 않은 분할이 사용된다면, 각 픽셀은 수개(심지어 전체) 영역 상에 분산될 수 있으므로, 확률은 0 내지 1의 임의의 값을 가질 수 있다.
그런 후에, 단계(12)에서, 알고리즘은 각 영역이 어떤 영역에 매핑될 지를 결정한다. 이는 각 영역에 대한 노출을 본질적으로 추정한다. 영역과 구역(zone) 사이의 매핑은 또한, 사용자와의 상호작용을 통해 행해질 수 있다.
그 다음에, 단계(14)에서, 각 영역은 영역의 노출 파라미터를 통해 노출된다.
그 후, 단계(10)에서 획득된 가중치를 사용하여, 단계(16)에서 상이한 영역(각각이 영역의 노출 값을 통해 노출되는)을 함께 퓨징(fusing) 함으로써, 최종 톤 매핑된 이미지를 생성하는 퓨전(fusion) 또는 혼합 처리가 사용된다.
선택적으로, 단계(18 및 20)에서, 사용자는 톤 매핑된 이미지의 외관(look)을 검사할 수 있고, 하나 이상의 영역의 노출 값을 변경할 수 있으며, 그런 후에 결과가 만족스러울 때까지, 단계(14 내지 18)를 반복할 수 있다.
비디오 톤 매핑에 대해, 장면에서 하나의 키 프레임에 대한 처리가 수행될 수 있고, 장면의 모든 프레임에 동일한 파라미터가 적용될 수 있다.
이제부터, 단계(16)에서 적용된 콘트라스트 개선 알고리즘은 도 2를 참조로 더 상세히 서술되고, 일반적으로 알고리즘에서 사용된 피라미드의 서술로 개시된다. 피라미드(또는 피라미드 표현)는 다중 크기 신호 표현인데, 여기서 신호(또는 이미지)는 반복된 평활화 및 서브샘플링(subsampling) 된다. 2개의 타입의 피라미드: 저역 통과 피라미드 및 대역 통과 피라미드가 서술된다.
주로 각 좌표 방향을 따르는 2개의 인자에 의해, 먼저 적합한 평활화 필터로 이미지를 평활화하고, 그런 후에 평활화된 이미지를 서브샘플링 함으로써, 저역 통과 피라미드가 생성된다. 이러한 처리가 진행할 때, 결과는 점차 더 평활화되는 이미지의 세트이고, 공간 샘플링 밀도는 한 레벨씩 감소된다. 그래픽적으로 도시된다면, 이러한 멀티-크기 표현은 피라미드처럼 보일 것이고, 이 피라미드로부터 명칭이 획득된다. 가우시안 피라미드는 저역 통과 피라미드이다.
피라미드에서 인접한 레벨 사이의 차를 형성함으로써 라플라시안 피라미드로 알려진 대역 통과 피라미드가 획득되고, 인접한 해상도의 레벨에서의 표현 사이의 보간이 수행되어, 픽셀 방향의(pixelwise) 차의 계산을 가능케 한다.
접근법은 I를 디지털 이미지의 색 구성요소로 표기함으로써 개시될 수 있다.
그러면, I(i, j)는 좌표(i, j)에서의 픽셀 값을 나타낸다. 그 다음, 이미지(I)의 라플라시안 피라미드의 일 레벨은 Ik로 표기될 수 있고, 여기서 k = {1,...,K}이다. k는 레벨이고, K는 피라미드의 레벨의 개수이다.
입력 이미지(I)가 주어지면, 본 발명에 따른 콘트라스트 개선 알고리즘은 도 2에 도시된 다음의 주요 단계:
1. 단계(30)에서 수신된 입력 이미지로부터, 단계(32)에서 라플라시안 피라미드(Ik), k={1,...,K}를 생성하는 단계,
2. 단계(34)에서 콘트라스트 강화 피라미드(Bk)를 계산하는 단계,
3. 단계(36)에서, k={1,...,K}인 다음의 피라미드(Ik?Bk)로부터 이미지를 재구성하는 단계를
갖게 된다.
가우시안 피라미드의 차에 기초한 다른 이미지 개선 방법은 이미지를 한 번에 하나의 특정 크리로만 개선할 수 있다. 반면, 제안된 방법은 콘트라스트를 동시에 상이한 크기들로 개선할 수 있다.
콘트라스트 강화 피라미드로 라플라시안 피라미드의 계수를 적합하게 스케일링함으로써, 본 발명의 방법은 콘트라스트를 다중 크기로 증가시킬 수 있다. 동시에, 이미지의 재구성 처리(여기서 피라미드의 모든 레벨은 함께 혼합된다)는 콘트라스트 개선된 이미지가 아티팩트(artifact)를 갖지 않는 것을 보장한다. 방법은 이미지를 한번에 다중 크기로 개선하기 위해 라플라시안 피라미드를 이롭게 사용한다.
도 2를 다시 참조하면, 본 발명의 방법의 더 상세한 서술이 제공된다. 먼저, 단계(30)에서 이미지가 입력된다. 단계(32)에서, 콘트라스트 강화 피라미드를 계산하기 위해 이미지 라플라시안 피라미드의 비선형 함수가 사용된다. 기본적인 아이디어는 작은 계수의 크기를 증가시키고, 높은 계수를 동일하게 또는 약간 감소된 상태로 유지시키는 것이다. 동시에, 모든 계수는 자신의 부호(sign)를 유지해야된다. 피라미드의 최고 레벨에 대해, 강화 피라미드는 모든 입력이 1과 동일한 콘트라스트 매트릭스여야 한다. 이는 이미지 라플라시안 피라미드의 최고 레벨에 어떠한 변화도 적용하지 않고, 결과적으로 이미지의 낮은 빈도를 변경하지 않는다. 본질적으로, 이러한 목적에 도움이 되는 비선형 함수는 단계(34)에서 강화 피라미드를 계산하기 위해 사용될 수 있다. 특정 실시예에서, 다음의 수학식:
Figure pct00001
과 같은 강화 피라미드를 계산하기 위해, 검정력 함수가 사용된다. 여기에서, 형태 제어기(α)는 영역[0,1] 내에 있는데, 이러한 접근법에 대해, 최적으로 0.2 내지 0.4일 수 있고, 강화 밀도(β)는 영역[0,2] 내로 최적으로 선택될 수 있는 양수이다. β<1이 콘트라스트를 증가시키는 반면, β>1은 콘트라스트를 감소시킨다는 것을 주목하라. 이들 2개의 파라미터를 통해, 얼마나 많은 개선이 이미지에 적용되는지를 제어할 수 있다.
개선된 이미지(Jk)의 라플라시안 피라미드는
Figure pct00002
로 계산될 수 있다.
강화 피라미드의 모든 입력이 양수이기에, 개선된 이미지의 라플라시안 피라미드의 각 계수는 원본 이미지의 부호와 동일한 부호를 갖는다. 계수의 크기는 공간적으로 변하는 방식으로 스케일링 되고, 즉, 작은 절대값을 갖는 계수는 더 스케일링 된다. 이는 이미지 개선 아티팩트가 훨씬 덜 눈에 띈다는 점에서, 계수의 선형 스케일링에 대해 분명한 장점을 갖는다.
본 명세서에서 서술된 이미지 개선 방법은 이미지 퓨전 애플리케이션에 사용될 수 있다. 방법이 매우 작은 계산의 복잡도를 부가하기에, 방법은 특히 라플라시안 피라미드와의 이미지 퓨전에 적합하다. 이러한 애플리케이션의 결과는 도 3에 도시되는데, 여기서 좌측 이미지는 원본 이미지이고, 우측 이미지는 콘트라스트 개선된 이미지이다. 여기서, 개선된 콘트라스트는 이미지의 하늘 및 땅 부분 모두에서 관찰될 수 있다.
이미지 퓨전은 다수의 이미지 처리 애플리케이션에 사용되는 기법이다. 다중-센서 사진술에서, 이미지 퓨전은 단일 이미지에 다중-스펙트럼 데이터(예를 들어, 적외선 및 가시광선)를 결합하는데 도움을 준다. 매크로 사진술에서, 이미지 퓨전은 피사계 심도를 증가시키는 것을 허용한다. 그리고, 이미지 퓨전은 또한, 톤 매핑 알고리즘에 사용될 수 있어서, 톤 매핑된 이미지에 함께 낮은 다중 동적 영역(LDR, low dynamic range) 노출을 결합시킬 수 있다.
n={1,...,N}인, 이미지(In)의 세트 및 이미지의 대응하는 이미지 가중치(Wn)가 주어진다면, N개의 이미지는:
Figure pct00003
과 같이, 이미지의 라플라시안 피라미드(In k) 및 가중치의 가우시안 피라미드(Wn k)를 선형으로 결합함으로써 함께 퓨징될 수 있다. 그런 후에, 단계(36)에서, k={1,...,K}인 Tk로부터 이미지를 재구성하고, 단계(38)에서 이미지를 출력한다.
다수의 시나리오에서, 퓨징될 이미지는 퓨전 처리 이전에 더 개선된다. 전통적으로, 이미지 개선은 공간 영역 상에서 수행되어, 퓨징될 모든 이미지는 라플라시안 영역으로 변환되고, 상기 수학식에 따라 퓨징된다. 본 명세서에 서술된 방법을 사용하면, 다중-크기 이미지 개선은 퓨전 처리에 직접 적용되어, 퓨전 수학식이 조금 변경된다. 이는 계산적 복잡도를 상당히 감소시킨다. 이러한 구현에서, 수학식은 다음:
Figure pct00004
과 같이 수정되는데, 여기서, k={1,...,K}인 Bn k는 이미지(In)의 콘트라스트 강화 피라미드이다. 이러한 변경된 퓨전 수학식을 통해, 이미지 개선 단계는 라플라시안 영역에서 직접적으로 행해지고, 공간 영역에서의 이미지 개선을 할 어떠한 필요성도 존재하지 않게 된다.
전술한 바와 같이, 이미지는 k={1,...,K}인, Tk 로부터 재구성된다.
방법에 대한 일부 변형이 가능할 수 있고, 본 발명의 범주 내로 고려된다. 예를 들어, 다른 α및β 파라미터는 피라미드의 각 레벨에서 사용될 수 있다. 적응형 가중치는 콘트라스트 강화 피라미드(Bk)의 더 높은 레벨에 대해 사용될 수 있다. k={1,...,K}인, 콘트라스트 강화 피라미드(Bk)(수학식 1)는 상이한 수학식을 사용하여 계산될 수 있다.
특정 특징 및 양상을 갖는 더 많은 구현이 가능할 수 있다. 하지만, 서술된 구현의 특징 및 양상은 또한, 다른 구현에 대해 적응될 수 있다.
예를 들어, 이들 구현 및 특징은 비디오의 코딩 및/또는 다른 타입의 데이터의 코딩의 배경으로 사용될 수 있다. 게다가, 이들 구현 및 특징은 H.264/MPEG-4 AVC(AVC) 표준, MVC 확장을 갖는 AVC 표준, SVC 확장을 갖는 AVC 표준, 3DV 표준 및/또는 다른 표준(기존의 또는 미래의)의 배경으로, 또는 표준을 수반하지 않는 배경으로 사용되거나, 상기 배경에서의 사용을 위해 적응될 수 있다.
게다가, 구현은 SEI 메세지, 슬라이스 헤더, 다른 높은 레벨의 구문, 높지 않은 레벨의 구문, 대역 외 정보, 데이터스트림 데이터 및 암묵적 신호 발신을 포함하고, 이에 제한되지 않는 다양한 기법을 사용하여 정보를 신호 발신할 수 있다. 따라서, 본 명세서에서 서술된 구현이 특정 배경으로 서술될 수 있지만, 이러한 서술은 이러한 구현 또는 배경에 대한 특징 및 개념을 한정하는 것으로 취해지지 않아야 한다.
전체 이미지를 한번에 또는 영역을 통해 처리하기 위해 적어도 하나의 구현이 사용될 수 있다. 영역을 통한 처리는 예를 들어, 다양한 톤 매핑 방법과 유사하게, 이미지 퓨전에 기초한 처리 알고리즘에서 특히 유용하다.
적어도 하나의 구현은 다중-해상도 접근법을 사용하여 화상의 콘트라스트를 개선시키는 방법을 포함한다. 위에 서술된 바와 같이, 적어도 하나의 구현에서, 라플라시안 피라미드의 계수의 비선형 계수의 사용은 이미지의 콘트라스트를 개선한다.
명세서에서 본 발명의 원리의 "일 실시예" 또는 "실시예" 또는 "일 구현" 또는 "구현" 뿐 아니라 이들의 다른 변형에 대한 언급은 실시예와 연관되어 서술된 특정 특징, 구조, 또는 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 명세서 전체에 걸쳐서 다양한 부분에 기재된 "일 실시예에서" 또는 "실시예에서" 또는 "일 구현에서" 또는 "구현에서"라는 구문, 및 임의의 다른 변형의 출현은 모두 동일한 실시예를 참조해야 하는 것은 아니다.
본 명세서에 서술된 구현은 예를 들어, 방법 또는 처리, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있고, 각각의 및 임의의 단계에 대한 신호는 형태 제어기 또는 강화 강도를 변경하는 것과 같은 조정 및/또는 개선을 수행하는데 적합한 사용자 인터페이스를 사용하여 사용자와의 인터페이싱을 수반할 수 있다. 구현이 단일 형태의 구현(예를 들어, 오직 방법만으로 논의된)의 배경으로만 논의되었지만, 논의된 특징의 구현은 또한, 다른 형태(예를 들어, 장치 또는 프로그램)로 구현될 수 있다. 예를 들어, 장치는 적합한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법은 예를 들어, 일반적으로 처리 디바이스로 언급되는 처리기와 같은 장치로 구현될 수 있는데, 이 처리 디바이스는 컴퓨터, 마이크로 처리기, 집적 회로 또는 프로그램 가능 논리 디바이스를 포함한다. 또한, 처리기 또는 인터페이스는 예를 들어, 컴퓨터, 셀 폰, 휴대용/개인용 디지털 장비("PDA")와 같은 통신 디바이스, 및 최종 사용자 사이의 정보의 통신을 용이하게 하는 다른 디바이스를 포함한다.
본 명세서에서 서술된 다양한 처리 및 특징의 구현은 상이한 장비 또는 애플리케이션, 예를 들어, 데이터 인코딩 및 디코딩에 관련된 장비 또는 애플리케이션으로 구현될 수 있다. 이러한 장비의 예시는 인코더, 디코더, 디코더로부터 출력을 처리하는 후-처리기, 인코더에 입력을 제공하는 전-처리기, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋-톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스 및 사용자 인터페이스를 포함한다. 명백한 바와 같이, 장비는 모바일일 수 있고, 심지어 모바일 수단에 탑재될 수 있다.
게다가, 방법은 처리기에 의해 수행되는 지령에 의해 구현될 수 있고, 이러한 지령(및/또는 구현에 의해 생성되는 데이터 값)은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는, 예를 들어, 하드 디스크, 콤팩트 디스켓, 랜덤 액세스 메모리("RAM") 또는 읽기 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서 판독가능 매체 상에 저장될 수 있다. 지령은 프로세서 판독가능 매체 상에 명백히 구현되는 애플리케이션 프로그램을 형성할 수 있다. 지령은 예를 들어, 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합일 수 있다. 지령은 예를 들어, 운영체제, 별도의 애플리케이션 또는 이들 2개의 조합 내에서 발견될 수 있다. 그러므로, 처리기는 처리를 수행하도록 구성되는 디바이스와, 처리를 수행하는 지령을 갖는 프로세서 판독 가능 매체(저장 디바이스와 같은)를 포함하는 디바이스 모두로서 특징 지워질 수 있다. 게다가, 프로세서 판독 가능 매체는 지령에 덧붙여, 또는 지령 대신에 구현에 의해 생성된 데이터 값을 저장할 수 있다.
당업자에게 자명한 바와 같이, 구현은 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷된 다양한 신호를 생성할 수 있다. 정보는 예를 들어, 방법을 수행하는 지령, 서술된 구현 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 서술된 실시예의 구문을 쓰거나 판독하기 위한 규칙을 데이터로서 전달하도록, 또는 서술된 실시예에 의해 기록된 실제 구문-값을 데이터로서 전달하도록 포맷될 수 있다. 이러한 신호는 예를 들어, 전자파(예를 들어, 스펙트럼의 무선 주파수 부분을 사용하는), 또는 기저대역 신호로서 포맷될 수 있다. 포맷은 예를 들어, 데이터 스트림을 인코딩하는 것, 및 인코딩된 데이터 스트림을 통해 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 것처럼, 다양한, 상이한 유선 또는 무선 연결을 통해 송신될 수 있다. 신호는 프로세서-판독 가능 매체 상에 저장될 수 있다.
다수의 구현이 서술된다. 그렇지만, 다양한 수정이 이루어질 수 있다는 것이 이해되어야 한다. 예를 들어, 다른 구현을 생성하기 위해, 상이한 구현의 요소가 결합, 보충, 수정 또는 제거될 수 있다. 게다가, 당업자라면, 다른 구조 및 처리가 개시된 구조 및 처리를 대체할 수 있고, 결과적인 구현이 적어도 실질적으로 개시된 구현과 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행한다는 것을 이해할 것이다. 이에 따라, 이들 및 다른 구현은 본 개시물에 의해 관찰되고, 본 개시물의 범주 내에 있다.
전술한 것은 본 발명을 수행하기 위한 가능성 중 일부를 서술했다. 다수의 다른 실시예는 본 발명의 범주 및 사상 내에서 가능하다. 그러므로, 전술한 서술은 한정이 아닌 설명을 위한 것으로 여겨져야 하고, 본 발명의 범주는 등가물의 전체 범위와 함께 첨부된 청구항에 의해 주어진다고 고려된다.
30 : 이미지를 입력
32 : 라플라시안 피라미드를 계산(다중 크기 표현)
34 : 강화 피라미드를 계산
36 : 강화 피라미드(비선형 함수)를 갖는 개선 이미지 크기 라플라시안 피라미드를 재구성
38 : 이미지를 출력

Claims (20)

  1. 이미지의 콘트라스트를 개선하기 위한 방법으로서,
    원본 이미지에 액세스하는 단계,
    상기 이미지의 픽셀의 픽셀 값 및 픽셀 좌표를 구축, 할당, 또는 초기화하는 단계,
    정수 개수(integral number)의 레벨을 갖는 상기 이미지에 대한 라플라시안(Laplacian) 피라미드를 생성하는 단계,
    콘트라스트 강화(boost) 피라미드를 생성하는 단계,
    수정된 라플라시안 피라미드를 획득하기 위해 상기 콘트라스트 강화 피라미드를 상기 라플라시안 피라미드에 적용하여, 상기 라플라시안 피라미드의 레벨의 값이 개선되는, 상기 콘트라스트 강화 피라미드를 상기 라플라시안 피라미드에 적용하는 단계, 및
    수정된 라플라시안 피라미드로부터 개선된 이미지를 구성하는 단계를
    포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  2. 제1항에 있어서, 적어도 하나의 레벨의 값은 다른 레벨의 값보다 더 개선되는, 이미지의 콘트라스트를 개선하기 위한 방법.
  3. 이미지의 콘트라스트를 개선하기 위한 방법으로서,
    적어도 하나의 원본 이미지에 액세스하는 단계,
    정수 개의 레벨을 갖는 상기 적어도 하나의 원본 이미지의 다중-크기 신호 표현을 생성하는 단계,
    적어도 하나의 개선된 이미지를 생성하기 위해 상기 다중-크기 표현에 응답하는 상기 적어도 하나의 원본 이미지를 처리하는 단계를
    포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  4. 제3항에 있어서, 상기 적어도 하나의 원본 이미지의 상기 다중-크기 신호 표현을 형성하기 위해 상기 적어도 하나의 원본 이미지의 피라미드 표현을 생성하는 단계를 더 포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  5. 제4항에 있어서, 상기 피라미드 표현을 생성하기 위해 대역 통과 피라미드 방법을 사용하는 단계를 더 포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  6. 제5항에 있어서, 상기 피라미드 표현은 라플라시안 피라미드(Ik)이고, 여기서 k = {1, ..., K}이며, K는 라플라시안 피라미드의 레벨의 개수인, 이미지의 콘트라스트를 개선하기 위한 방법.
  7. 제6항에 있어서, 상기 라플라시안 피라미드에 적용될 때, 비선형적으로 상기 라플라시안 피라미드를 변경하는 함수인 콘트라스트 강화 피라미드(Bk)를 생성하는 단계를 더 포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  8. 제7항에 있어서, 상기 콘트라스트 강화 피라미드를 생성하기 위해, 검정력 함수(power function)를 사용하는 단계를 더 포함하고, 상기 검정력 함수는
    Figure pct00005

    로 표현되며, 형태 제어기(α)는 영역[0,1] 내에 있고, 강화 밀도(β)는 영역[0,2] 내에서 양수인, 이미지의 콘트라스트를 개선하기 위한 방법.
  9. 제8항에 있어서, 콘트라스트를 개선하기 위해, 1 미만의 β값을 선택하여, 적용하는 단계를 더 포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  10. 제8항에 있어서, 콘트라스트를 감소시키기 위해, 1보다 큰 β값을 선택하여, 적용하는 단계를 더 포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  11. 제7항에 있어서,
    Jk가 개선된 이미지의 피라미드 중 k번째 레벨인
    Figure pct00006

    로, 라플라시안 피라미드에 상기 콘트라스트 강화 피라미드(Bk)를 적용하는 단계를 더 포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  12. 제7항에 있어서,
    2개 이상의 원본 이미지에 액세스하는 단계,
    상기 원본 이미지 각각에 관련된 라플라시안 피라미드 및 대응하는 콘트라스트 강화 피라미드를 생성하여, 각 이미지에 대해 강화된 라플라시안 피라미드를 생성하는 단계,
    Wn k가 상기 원본 이미지 각각에 대응하는 가우시안 피라미드 가중치인
    Figure pct00007

    에 따라, 합성 이미지를 생성하기 위해 상기 강화된 라플라시안 피라미드를 퓨징하는 단계를
    더 포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  13. 제7항에 있어서,
    2개 이상의 원본 이미지에 액세스하는 단계,
    상기 원본 이미지 각각에 관련된 라플라시안 피라미드 및 대응하는 콘트라스트 강화 피라미드를 생성하여, 각 이미지에 대해 강화된 라플라시안 피라미드를 생성하는 단계,
    Wn k가 상기 원본 이미지 각각에 대응하는 가우시안 피라미드 가중치이고, Bn k가 이미지(In)의 콘트라스트 강화 피라미드인
    Figure pct00008

    에 따라, 합성 이미지를 생성하기 위해 상기 강화된 라플라시안 피라미드를 퓨징하는 단계를 더 포함하는, 이미지의 콘트라스트를 개선하기 위한 방법.
  14. 방법으로서,
    적어도 하나의 원본 이미지에 액세스하는 단계,
    정수 개수의 레벨을 갖는 상기 적어도 하나의 원본 이미지의 다중-크기 신호 표현을 생성하는 단계,
    상기 다중-크기 표현에 응답하는 상기 적어도 하나의 원본 이미지를 처리하는 단계, 및
    적어도 하나의 개선된 이미지를 생성하기 위해 사용자 인터페이스를 통해 상기 다중-크기 표현에 응답하는 사용자 명령을 적용하는 단계를
    포함하는, 방법.
  15. 제14항에 있어서, 상기 적어도 하나의 원본 이미지의 상기 다중-크기 신호 표현을 형성하기 위해, 상기 적어도 하나의 원본 이미지의 피라미드 표현을 생성하는 단계를 더 포함하는, 방법.
  16. 제15항에 있어서, 상기 피라미드 표현을 생성하기 위해 기저대역 피라미드 방법을 사용하는 단계를 더 포함하는, 방법.
  17. 제16항에 있어서, 상기 피라미드 표현은 라플라시안 피라미드(Ik)이고, 여기서 k={1,...,K}이며, K는 상기 라플라시안 피라미드의 레벨의 개수인, 방법.
  18. 제17항에 있어서, 콘트라스트 강화 피라미드(Bk)를 생성하는 단계를 더 포함하고, 상기 콘트라스트 강화 피라미드는 상기 라플라시안 피라미드에 적용될 때, 상기 라플라시안 피라미드를 비선형으로 변경하는 함수인, 방법.
  19. 제18항에 있어서, 상기 콘트라스트 강화 피라미드를 생성하기 위해, 검정력 함수를 사용하는 단계를 더 포함하고, 상기 검정력 함수는
    Figure pct00009

    로 표현되며, 형태 제어기(α)는 영역[0,1] 내에 있고, 강화 밀도(β)는 영역[0,2] 내에서 양수인, 방법.
  20. 제19항에 있어서, 상기 사용자 명령을 적용하는 단계에서 이미지의 적어도 일 부분에서 콘트라스트를 증가시키기 위해, 사용자가 사용자 인터페이스를 통해 β의 하나의 값 및/또는 α의 하나의 값을 선택하는, 방법.
KR1020117030244A 2009-06-29 2010-06-28 콘트라스트 개선 KR101728088B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US26975709P 2009-06-29 2009-06-29
US61/269,757 2009-06-29
PCT/US2010/001848 WO2011008239A1 (en) 2009-06-29 2010-06-28 Contrast enhancement

Publications (2)

Publication Number Publication Date
KR20120039546A true KR20120039546A (ko) 2012-04-25
KR101728088B1 KR101728088B1 (ko) 2017-04-18

Family

ID=42697281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117030244A KR101728088B1 (ko) 2009-06-29 2010-06-28 콘트라스트 개선

Country Status (6)

Country Link
US (1) US8639056B2 (ko)
EP (1) EP2449524A1 (ko)
JP (1) JP5628306B2 (ko)
KR (1) KR101728088B1 (ko)
CN (1) CN102473290A (ko)
WO (1) WO2011008239A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210145077A (ko) * 2020-05-22 2021-12-01 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 이미지 처리 방법, 이미지 신호 프로세서 및 단말기 디바이스

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571289B2 (en) 2002-11-27 2013-10-29 Hologic, Inc. System and method for generating a 2D image from a tomosynthesis data set
US10008184B2 (en) * 2005-11-10 2018-06-26 Hologic, Inc. System and method for generating a 2D image using mammography and/or tomosynthesis image data
JP5554927B2 (ja) 2006-02-15 2014-07-23 ホロジック, インコーポレイテッド トモシンセシスシステムを使用した乳房バイオプシおよびニードル位置特定
ES2862525T3 (es) 2009-10-08 2021-10-07 Hologic Inc Sistema de biopsia de mama con aguja y método de uso
WO2011102887A1 (en) * 2010-02-19 2011-08-25 Thomson Licensing Parameters interpolation for high dynamic range video tone mapping
US8666148B2 (en) 2010-06-03 2014-03-04 Adobe Systems Incorporated Image adjustment
US9075903B2 (en) 2010-11-26 2015-07-07 Hologic, Inc. User interface for medical image review workstation
WO2012122399A1 (en) 2011-03-08 2012-09-13 Hologic, Inc. System and method for dual energy and/or contrast enhanced breast imaging for screening, diagnosis and biopsy
US8903169B1 (en) 2011-09-02 2014-12-02 Adobe Systems Incorporated Automatic adaptation to image processing pipeline
US9008415B2 (en) 2011-09-02 2015-04-14 Adobe Systems Incorporated Automatic image adjustment parameter correction
EP2782505B1 (en) 2011-11-27 2020-04-22 Hologic, Inc. System and method for generating a 2d image using mammography and/or tomosynthesis image data
CN104135935A (zh) 2012-02-13 2014-11-05 霍罗吉克公司 用于利用合成图像数据导航层析堆的系统和方法
CN103581535B (zh) * 2012-08-09 2017-10-24 华晶科技股份有限公司 能产生高动态影像的影像撷取装置、电子装置及其方法
RU2648635C2 (ru) 2012-10-05 2018-03-26 Конинклейке Филипс Н.В. Обработка изображений в режиме реального времени для оптимизации представления фрагментов изображения
US9008458B2 (en) 2013-02-07 2015-04-14 Raytheon Company Local area processing using packed distribution functions
EP2967479B1 (en) 2013-03-15 2018-01-31 Hologic Inc. Tomosynthesis-guided biopsy in prone
EP3060132B1 (en) 2013-10-24 2019-12-04 Hologic, Inc. System and method for navigating x-ray guided breast biopsy
WO2015105643A1 (en) * 2014-01-13 2015-07-16 Marvell World Trade Ltd. System and method for tone mapping of images
EP3868301B1 (en) 2014-02-28 2023-04-05 Hologic, Inc. System and method for generating and displaying tomosynthesis image slabs
US9754358B1 (en) * 2015-09-21 2017-09-05 Rockwell Collins, Inc. Image content enhancement generating and presenting system, device, and method
JP6598660B2 (ja) * 2015-12-01 2019-10-30 キヤノン株式会社 画像処理装置および画像処理方法
WO2018183550A1 (en) 2017-03-30 2018-10-04 Hologic, Inc. System and method for targeted object enhancement to generate synthetic breast tissue images
EP3600051B1 (en) 2017-03-30 2024-05-01 Hologic, Inc. Method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement
CN110621231B (zh) 2017-03-30 2024-02-23 豪洛捷公司 用于分层次多级特征图像合成和表示的系统以及方法
EP3641635A4 (en) 2017-06-20 2021-04-07 Hologic, Inc. DYNAMIC SELF-LEARNING MEDICAL IMAGING PROCESS AND SYSTEM
CN108198152B (zh) * 2018-02-07 2020-05-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US10949959B2 (en) 2019-02-18 2021-03-16 Samsung Electronics Co., Ltd. Processing image data in a composite image
CN110021031B (zh) * 2019-03-29 2023-03-10 中广核贝谷科技有限公司 一种基于图像金字塔的x射线图像增强方法
CN110415188B (zh) * 2019-07-10 2021-08-20 首都师范大学 一种基于多尺度形态学的hdr图像色调映射方法
CN113724144B (zh) * 2020-05-22 2024-08-09 北京小米移动软件有限公司 一种图像处理方法及终端设备上的图像信号处理器
CN111709904B (zh) * 2020-05-27 2023-12-26 盛视科技股份有限公司 一种图像融合方法及装置
CN112184604B (zh) * 2020-09-15 2024-02-20 杭州电子科技大学 一种基于图像融合的彩色图像增强方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69214229T2 (de) 1991-08-14 1997-04-30 Agfa Gevaert Nv Verfahren und Vorrichtung zur Kontrastverbesserung von Bildern
US5717789A (en) * 1993-09-08 1998-02-10 California Institute Of Technology Image enhancement by non-linear extrapolation in frequency space
GB9626676D0 (en) 1996-12-23 1997-02-12 Smith & Nephew Res Imaging method
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6775407B1 (en) * 2000-08-02 2004-08-10 Eastman Kodak Company Producing a final modified digital image using a source digital image and a difference digital image
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US7480421B2 (en) 2005-05-23 2009-01-20 Canon Kabushiki Kaisha Rendering of high dynamic range images
US7492962B2 (en) * 2005-08-25 2009-02-17 Delphi Technologies, Inc. System or method for enhancing an image
US7821570B2 (en) * 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
US7636496B2 (en) * 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
CN100461218C (zh) * 2007-03-29 2009-02-11 杭州电子科技大学 多尺度自适应对比度变换的医学图像增强方法
JP5041876B2 (ja) 2007-05-22 2012-10-03 株式会社日立製作所 デジタル放送受信装置
JP5188101B2 (ja) 2007-06-01 2013-04-24 株式会社キーエンス 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体
US8233738B2 (en) * 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
US7471826B1 (en) 2008-03-31 2008-12-30 International Business Machines Corporation Character segmentation by slices
US8346009B2 (en) * 2009-06-29 2013-01-01 Thomson Licensing Automatic exposure estimation for HDR images based on image statistics

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210145077A (ko) * 2020-05-22 2021-12-01 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 이미지 처리 방법, 이미지 신호 프로세서 및 단말기 디바이스
US11625817B2 (en) 2020-05-22 2023-04-11 Beijing Xiaomi Mobile Software Co., Ltd. Pyramid-based tone mapping

Also Published As

Publication number Publication date
JP2012532367A (ja) 2012-12-13
CN102473290A (zh) 2012-05-23
WO2011008239A1 (en) 2011-01-20
EP2449524A1 (en) 2012-05-09
JP5628306B2 (ja) 2014-11-19
KR101728088B1 (ko) 2017-04-18
US20120082397A1 (en) 2012-04-05
US8639056B2 (en) 2014-01-28

Similar Documents

Publication Publication Date Title
KR101728088B1 (ko) 콘트라스트 개선
CN108885783B (zh) 编码和解码可逆制作质量单层视频信号
KR102004199B1 (ko) 높은 동적 범위 이미지들의 프로세싱
CN102282838B (zh) 针对多次曝光的增强动态范围图像和视频的方法和系统
KR101739432B1 (ko) 구역 기반의 톤 매핑
US20120269457A1 (en) Method for Synthesizing a Virtual Image from a Reduced Resolution Depth Image
KR20170031033A (ko) 과노출 정정을 위한 방법, 시스템 및 장치
JP2010218548A (ja) 仮想画像を合成する方法
CN114079779B (zh) 图像处理方法、智能终端及存储介质
CN113781320A (zh) 一种图像处理方法、装置、终端设备及存储介质
Nguyen et al. Efficient techniques for depth video compression using weighted mode filtering
CN115409716B (zh) 视频处理方法、装置、存储介质及设备
WO2022072884A1 (en) Adaptive local reshaping for sdr-to-hdr up-conversion
CN114554212A (zh) 视频处理装置及方法、计算机存储介质
CN117830077A (zh) 图像处理方法、装置以及电子设备
CN115375539A (zh) 图像分辨率增强、多帧图像超分辨率系统和方法
CN113766239B (zh) 数据处理的方法和系统
CN114359100A (zh) 图像色彩增强方法、装置、存储介质与电子设备
Li et al. High dynamic range image compression based on visual saliency
JP6584538B2 (ja) 高ダイナミックレンジ画像の処理
GB2554663A (en) Method of video generation
WO2023205548A1 (en) Generating hdr image from corresponding camera raw and sdr images
KR20240124304A (ko) 포인트 클라우드 압축을 위한 하이브리드 프레임워크
WO2023096728A1 (en) Denoising for sdr-to-hdr local reshaping
CN117998090A (zh) 视频处理方法、装置和相关产品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant