KR20070068433A - 2차원 이미지의 확대 및 핀칭 - Google Patents

2차원 이미지의 확대 및 핀칭 Download PDF

Info

Publication number
KR20070068433A
KR20070068433A KR1020077009611A KR20077009611A KR20070068433A KR 20070068433 A KR20070068433 A KR 20070068433A KR 1020077009611 A KR1020077009611 A KR 1020077009611A KR 20077009611 A KR20077009611 A KR 20077009611A KR 20070068433 A KR20070068433 A KR 20070068433A
Authority
KR
South Korea
Prior art keywords
region
interest
pinching
magnification
image
Prior art date
Application number
KR1020077009611A
Other languages
English (en)
Other versions
KR100935172B1 (ko
Inventor
멩야오 조우
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20070068433A publication Critical patent/KR20070068433A/ko
Application granted granted Critical
Publication of KR100935172B1 publication Critical patent/KR100935172B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

일 실시예로, 이미지 내에서 관심영역(region of interest, ROI)을 정의하는 관심영역 정의 매커니즘을 포함하는 내장형 장치가 제시된다. 상기 내장형 장치의 변환 매커니즘은 비선형 확대 또는 핀칭 변환을 상기 관심영역에 적용하여 상기 관심영역 내의 확대 또는 핀칭이 상기 관심영역의 초점에서의 더 큰 정도로부터 상기 관심영역의 바깥쪽 경계에서의 더 적은 정도에까지 변화하게 한다.

Description

2차원 이미지의 확대 및 핀칭{MAGNIFICATION AND PINCHING OF TWO-DIMENSIONAL IMAGES}
본 발명은 일반적으로 디지털 이미지 조작, 더 상세하게는, 디지털 이미지 확대 및 핀칭에 관련된 것이다.
디지털 이미지 조작은 디지털 이미지 상에서 수행될 수 있는 매우 다양한 종류의 수정과 변환을 칭한다. 이미지 조작 동작의 예로써 회전, 확대, 핀칭(pinching), 휨(warping), 모서리 검출(edge detection), 및 필터링을 포함한다.
일부 애플리케이션에서, 확대 및 핀칭과 같은 동작들은 사용자가 이미지의 멋진 세부(detail)를 보거나 감상하는데 도움이 될 수 있다. 회전은 사용자가 특정한 관점으로부터 이미지를 이해하는데 도움이 될 수 있고, 또는 특정한 용도를 위해 이미지의 방향을 맞출 수 있다. 다른 애플리케이션들에서, 디지털 이미지 조작은 재미를 위해 수행되는데, 예를 들어, 이미지의 일부를 핀칭 또는 확대하여 사진의 안면 표정을 변화시킬 수 있다. 디지털 이미지 조작 기법은 또한 산업적으로, 패턴 인식(pattern recognition), 특징 추출(feature extraction)(예컨대 영상 감시 및 인체 동작 분석(human motion analysis)), 이미지 복원, 이미지 개선, 컴퓨터 애니메이티드 시퀀스(computer animated sequence)를 위한 휨(warping)/모핑 (morphing), 및 생의학(biomedical) 이미지 처리를 포함하는 애플리케이션에 이용될 수 있다.
다수의 디지털 이미지 조작 기술이 사진 편집 소프트웨어의 형태로서 상업적으로 이용가능하다. 디지털 카메라 및 이동 전화와 같은 내장형 장치들 또한 디지털 이미지 조작 기능을 갖추고 있다.
본 발명의 일 실시예 또는 특징에 따르면, 내장형 장치로서 이미지 내의 관심 영역(region of interest, ROI)을 정의하는 관심영역 정의 매커니즘(mechanism)을 포함한다. 상기 내장형 장치의 변환 매커니즘은 비선형 확대(nonlinear magnification) 또는 핀칭(pinching) 변환을 관심영역에 적용시켜 관심영역 내에서의 확대 또는 핀칭이 관심영역의 초점에서의 큰 정도로부터 상기 관심영역 바깥쪽의 경계에서의 적은 정도에 이르기까지 변화한다.
이하의 도면들을 참조로 하여 실시예들이 기술되며, 유사한 숫자들은 전체 도면에 걸쳐서 유사한 항목을 나타낸다:
도 1은 이미지에 대해 변환을 수행할 수 있는 예시적인 내장형 장치의 블록 다이어그램이다.
도 2는 식별된 관심영역에서의 변환에 대한 이미지의 개요도이다.
도 3은 예시된 방법을 이용한 변환 전의 본래 크기인 520x390 픽셀 이미지이다.
도 4-16은 상기 변환들에 대해 다양한 파라미터들을 이용하여 예시된 실시예들에 따라 변환된 도 3의 이미지를 예시한다.
도 17-22는 종래의 이미지 변환 방법들로써 변환된 도 3의 이미지를 예시한다.
도 23은 이미지에 변환을 수행할 수 있는 정수 마이크로프로세서(integer microprocessor)를 갖는 예시적인 내장형 장치의 블록 다이어그램이다.
도 24는 이미지에 변환을 수행할 수 있는 부동 소수점(floating-point) 마이크로프로세서를 갖는 예시적인 내장형 장치의 블록 다이어그램이다.
도 25는 변환 방법들의 구현에 관계된 작업들을 나타내는 개략적인 순서도이다.
도 26은 디지털 카메라를 가지며, 휴대용 장치에서 변환 방법의 이용을 예시하는 이동 전화의 예시이다.
도 27은 예시된 실시예들에 따른 변환 방법을 이용하기 전 본래 크기 520x390 픽셀의 얼굴 이미지이다.
도 28 및 29는 다양한 파라미터들을 이용하여 변환 방법에 의해 변환된 도 27의 이미지를 예시한다.
도 1은 예시적인 내장형 장치(10)의 블록 다이어그램으로, 예시된 실시예에서, 무선 이동 통신 장치를 포함한다. 상기 예시된 내장형 장치(10)는 시스템 버스(system bus)(14), 시스템 버스(14)를 통해 상기 내장형 장치(10)의 다른 부분에 연결되고 다른 부분에 의해 액세스가능한 장치 메모리(16)(상기 제시된 장치(10)의 주 메모리임), 그리고 상기 시스템 버스(14)에 연결된 하드웨어 엔티티(entity)를 포함한다. 상기 하드웨어 엔티티(18)들 중 적어도 일부는 주 메모리(16)으로의 액세스 및 이용에 관련된 동작을 수행한다. 상기 하드웨어 엔티티(18)들은 마이크로프로세서, ASIC, 및 다른 하드웨어를 포함할 수 있다.
그래픽 엔티티(graphics entity)(20)는 상기 시스템 버스(14)에 연결된다. 상기 그래픽 엔티티(20)는 코어(core) 또는 큰 집적 시스템(예컨대, 시스템 온 칩(system on a chip, SoC)의 일부를 포함할 수 있고, 또는 그래픽 가속기(graphic accelerator)와 같은 그래픽 칩을 포함할 수 있다. 제시된 실시예에서, 상기 그래픽 엔티티(20)는 그래픽 파이프라인(graphics pipeline)(도시하지 않음), 그래픽 클록(23), 버퍼(22), 및 그래픽 엔티티(20)와 시스템 버스(14)를 인터페이스하기 위한 버스 인터페이스(19)를 포함한다.
버퍼(22)는 그래픽 엔티티(20)에 의해 픽셀-단위 프로세싱(per-pixel processing)에 이용되는 데이터를 보관한다. 버퍼(22)는 주 메모리(16)내의 버퍼(도시하지 않음)로부터의 픽셀 정보와 같은, 픽셀-관련 데이터의 국부 저장장치(local storage)를 제공한다.
예시된 실시예에서, 그래픽 엔티티(20)는 이미지의 일부분에 이미지 변환을 수행할 수 있다. 그 때문에, 그래픽 엔티티(20)는 변환될 이미지 내의 관심영역을 표시하고 사용자로 하여금 선택할 수 있게 하는 관심영역 정의 매커니즘(24)과 상기 이미지 변환을 수행하는 변환 장치(26)를 포함한다. 도시한 바와 같이, 관심영 역 정의 매커니즘(24)은 상기 내장형 장치(10)의 사용자 인터페이스(28)에 연결된다. 내장형 장치(10)에 의해 수행가능한 이미지 변환은 이하에서 더욱 상세히 기술할 것이다. 상기 내장형 장치(10)가 조작하는 이미지는 상기 내장형 장치(10)의 주 메모리, 상기 내장형 장치의 버퍼(22), 또는 상기 내장형 장치와 호환가능한 기타 기계-판독가능한 매체에 저장될 수 있다. 추가적으로, 제시된 실시예에서는 상기 그래픽 엔티티(20)가 변환 기능을 수행할지라도, 다른 실시예에서, 그러한 기능들은 기타 하드웨어(18)에 의해 수행될 수 있다.
도 2는 이미지(50)의 개요도이다. 상기 이미지(50)는 너비 W와 높이 H를 갖는다. 상기 예시된 실시예에서, 다른 측정단위가 이용될 수 있을지라도, 너비 W 및 높이 H는 픽셀 단위로 표현된다. 상기 이미지(50)의 높이 H는 도 2의 y-축(52)을 따라 펼쳐지며, 상기 이미지의 너비 W는 x-축(54)을 따라 펼쳐진다. 도 2에서, 도시한 바와 같이 상기 이미지(50)의 너비 좌표는 0부터 W-1까지 펼쳐지며 높이 좌표는 0부터 H-1까지 펼쳐진다.
이미지(50)는 디지털 사진술, 디지털화에 이은 필름 사진술, 비-사진(non-photographic) 소스로부터의 디지털화, 및 순수 디지털 일러스트레이션(illustration)/렌더링(rendering)을 포함하는, 본래 다양한 방법으로 생성될 수 있다. 여기 제시된 특정한 종류의 이미지 및 특정한 플랫폼(platform) 또는 컴퓨터 시스템 상의 이미지 변환 방법의 특정한 구현이 이하에서 더욱 상세히 기술될 것이다.
여기에 예시된 변환 방법들은 이미지의 일부분에 제한된(localized) 변환을 제공한다. 도 2에 제시한 바와 같이, 상기 변환은 예컨대 (xo,yo)를 중심으로 반경 R인 원형 영역과 같이, 정의된 관심영역(56)을 이용하여 일부에 제한될 수 있다. 좀 더 상세하게는, 상기 변환은 상기 관심영역(56) 내부로 그 영역을 제한함으로써 국부에 제한될 수 있다. 상기 원형 영역(56)의 중심 좌표(xo,yo)는 임의로 선택될 수 있고, 전체 원은 상기 이미지의 경계에 위치할 필요가 없다. 상기 관심영역(56)을 원으로 예시하였을지라도, 원일 필요는 없으며, 형태와 차원(dimension)은 바뀔 수 있다. 다른 형태의 관심영역은 이하에서 상세히 기술할 것이다.
대부분의 이미지 변환은 수학식의 세트(set)로 표현되는 수학 변환 함수 세트로 기술될 수 있다:이러한 수식들은 상기 변환들이 구현될 특정한 플랫폼에 무관하게 이미지 상에서 수행되는 연산을 기술한다. 예시된 실시예에 대해 변환 함수 세트의 일례를 기술하는 상기 수학식들이 이하의 수식(1)과 수식(2)로 제시된다. 이미지(50)의 각 픽셀에 대해:
Figure 112007031953013-PCT00001
(1)
Figure 112007031953013-PCT00002
(2)
수식 (1)과 (2)에서, (xin, yin)은 입력 픽셀 위치이며, (xout, yout)은 출력 픽셀 위치이고, 파라미터 a 및 k는 왜곡(예컨대, 확대 또는 핀칭)의 종류 및 확대 또는 핀칭의 수준을 제어한다. 상기 파라미터 a는 영과 무한대 사이의 값을 가질 수 있다; 상기 파라미터 k는 음(-)의 무한대와 무한대 사이의 값을 가질 수 있다. (상기 가변 파라미터 a와 k의 효과는 특정 예들과 관련하여 이하에서 상세히 기술될 것이다.) 수식 (1)과 (2)에서 제시한 바처럼, 본 실시예에서 원형인 상기 관심영역(56) 내부의 픽셀들은 변환되는 반면, 다른 모든 픽셀들에 대해서는 출력은 입력과 동일하다.
수식 (1)과 (2)에서, 상기 파라미터 a는 왜곡의 크기와 종류 모두에 영향을 준다. 수식 (1)과 (2)가 어떠한 환경에서 직접 적용될 수 있는 반면, 상기 파라미터 a의 크기 효과를 왜곡의 종류에 대한 그 효과와 분리시키는 것이 유용하다. 이는 파라미터 a의 허용치를 1과 무한대 사이의 값으로 제한하고 상기 왜곡이 확대(m = 0) 또는 핀칭(m = 1)인지를 결정하는 별도의 이진 파라미터 m을 도입함으로써 이뤄질 수 있다. 수식 (3)과 (4)는 상기 이진 파라미터 m의 이용을 예시한다:
Figure 112007031953013-PCT00003
(3)
Figure 112007031953013-PCT00004
(4)
수식 (3) 및 (4)는 수학적 동일성을 고려하면, 사실상 수식 (1) 및 (2)와 항등(identical)하다:
Figure 112007031953013-PCT00005
(5)
만일 a가 1≤a＜∞ 범위 내에서 변화한다면,
Figure 112007031953013-PCT00006
은
Figure 112007031953013-PCT00007
범위 내에서 변한다. 따라서, 수식 (3) 및 (4)에서 a가 1≤a＜∞ 범위로 제한되고 m = 1로 설정함으로써 음의 지수(exponent)가 이용되면, 상기 본래의 변환 함수에서 a가 1≤a＜∞ 범위에서 변화하는 것과 동일하다. 대안적으로 m=0 으로 으로 설정하여 수식 (3)과 (4)에서 양의 지수가 되게 하는 것은 상기 본래의 변호나 함수들에서 a가 1≤a＜∞ 범위에서 변하게 하는 것과 동일하다. m의 값을 조정함으로써, 상기 새로운 변환 함수들이 상기 본래의 변환 함수들과 동일한 범위의 a에 걸치게 된다.
수식 (1)-(4)는 그 파라미터가 무엇이던지, 수평 및 수직 방향 모두에서 변환을 수행한다. 교번하는(alternate) 실시예에서, 상기 변환은 오로지 한 방향에만 적용될 수 있다. 그 경우, 수평선을 따르는 일차원 변환에 대한 예시적인 변환 함수 세트는:
Figure 112007031953013-PCT00008
(6) yout = yin (7)
이며 수직선을 따르는 일창너 변환에 대한 예시적인 변환 함수 세트는:
xout = xin (8)
Figure 112007031953013-PCT00009
(9)
여기서 d는 상기 관심영역의 너비 또는 높이의 절반이다. 변환 수식(3) 및 (4)의 효과와 파라미터 a, k, 및 m의 값은 이하의 두 예시를 통해 잘 알 수 있다.
예시 1: a = 2, k = 1, m = 0
수식 (3) 및 (4)의 상기 세 파라미터가 위와 같이 설정될 때, 수식(3)과 (4)는 다음과 같이 간소화된다:
Figure 112007031953013-PCT00010
(10)
Figure 112007031953013-PCT00011
(11)
수식(10)과 (11)은 2의 최대 확대 거듭제곱(maximum magnification power of two)으로써 확대된 이미지를 생성한다. (xin, yin)=(xo, yo)인 상기 관심영역(56)의 중심에서, 상기 지수 항은 2이다;그러므로, 상기 중심은 2의 인수(factor)로 확대된다. 그러나, (x in - x o ) 2+(y in - y o ) 2=R 2 인 상기 관심영역(56)의 가장자리에서, 상기 지수 항은 1과 같다; 그러므로, 상기 가장자리에 위치한 픽셀들은 확대되지 않는다. 수식(10)과 (11)의 전체적인 효과는 관심영역(56)의 중심에 2의 거듭제곱 확대를 제공하는 상기 관심영역(56)의 중심으로부터의 거리가 증가함에 따라 점진적으로 감소하게 된다.
도 3은 본래 이미지 크기 520x390 픽셀인 RGB 포맷(format)의 이미지이다. 도 4는 도 3의 변형된 이미지로, 확대 반경 100 픽셀로 예시 1의 상기 파라미터들을 이용하여 수식(10)과 (11)의 적용을 예시한다.
예시 2: a = 2, k = 1, m = 1
수식(3)과 (4)의 세 파라미터들이 상기와 같이 설정될 때, 수식 (3)과 (4)는 다음과 같이 간소화 된다:
Figure 112007031953013-PCT00012
(12)
Figure 112007031953013-PCT00013
(13)
수식(12) 및 (13)은 2의 최대 핀칭 인수로써 부분적으로 핀칭된 이미지를 생성한다. 상기 관심영역(56)의 중심에서, 상기 지수 항은 1/2와 같다;그러므로, 상기 중심은 2의 인수로 핀칭된다. 상기 관심영역(56)의 가장자리에서, 상기 지수항은 1과 같다;그러므로, 상기 관심영역(56)의 가장자리의 픽셀들은 핀칭되지 않는다. 수식(12) 및 (13)의 전체적인 효과는 상기 관심영역(56)의 중심에서 2의 인수로의 핀칭을 제공하며 상기 중심영역(56)의 중심으로부터의 거리가 증가할수록 점차 줄어들게 된다. 도 12는 이러한 파라미터들로 변환된 이미지를 나타낸다.
하기 표 1은 몇몇 추가적인 예시의 결과를 제시하며, 수식 (3)과 (4)에 대한 상기 파라미터 a, k, 및 m의 이용 및 선택을 예시한다. 내삽법(interpolation)과 같은 다른 방법들을 확대된 이미지들의 픽셀을 채우는데 이용할 수 있을지라도, 하기의 모든 예시들은 최근접-이웃 픽셀 복제(nearest-neighbor pixel duplication)를 이용하였다. 하기에 제시한 예시들에서 이미지 크기와 관심영역의 반경 및 위치는 예시 1 및 2에서와 동일하다. 표 1에서, 어떤 예시들은 다른 것과 중복되지만, 그럼에도 불구하고 참조의 편의를 위해 제시하였다.
표 1: 예시
Figure 112007031953013-PCT00014
일반적으로, 상기 제시한 예들은 a와 m의 값은 불변인 채 파라미터 k의 값이 증가함에 따라, 최대 확대 또는 핀칭 포인트(point)와 최소 확대 또는 핀칭 포인트 간의 전이(transition)가 부드럽고 더 점차적임을 보여 준다. 그러므로, 상기 파라미터 k는 상기 이미지의 최대 및 최소 왜곡 영역 사이의 전이 지역의 왜곡의 크기와 정도를 결정하는 것으로 해석할 수 있다.
상기 제시한 예들은 또한 상기 k 및 m값이 불변인 채 파라미터 a의 값이 증 가할수록, 확대 또는 핀칭의 최대 급수가 증가함을 보여 준다.
표 1은 상기 변환된 이미지에서 가변 파라미터 a, k, 및 m의 효과를 보여준다. 그러나, 출력 이미지가 입력 이미지와 동일한 두 경우가 있다. 첫 번째 경우는 a=1, k=1, 및 m=0인 때이다. 두 번째 경우는 a=1, k=1, 및 m=1인 때이다.
상기 제시된 예시에 부가하여, 몇몇 비교례가 이미지 편집 프로그램 어도브 포토샵(ADOBE PHOTOSHOP®)과 그 스피어라이즈(SPHERIZE) 및 핀치(PINCH) 동작을 이용하여 준비되어 있다. 여섯 경우가 종래의 소프트웨어를 이용하여 근사화될 수 있다. 이들은 표 2에 제시된다.
표 2: 비교례
Figure 112007031953013-PCT00015
여섯 예시들 중 두개인, 예시 C1과 C2가 유사한 효과를 나타내기 위해 두 번의 PHOTOSHOP® 동작을 요구한다. (유사할지라도, 도면들로부터 보여지는 바와 같이, 상기 PHOTOSHOP® 소프트웨어에 의해 생성된 효과가 동일하지는 않다.) 따라 서, 이러한 변환 방법의 한 이점은 원하는 효과를 나타내기 위해 요구되는 변환 연산이 더 적을 수 있다는 점이다. 이러한 변환 방법들은 또한 상기 변환 영역의 중심부에서 약간 많은 확대 및 핀칭을 제공하는 것으로 보여 진다.
모두 수식(3) 및 (4)를 이용한 상기의 예시들에서,상기 변환이 수행되는 영역은 원형이다. 그러나, 상기 변환의 영역이 원형일 필요는 없으며, 적절한 수식이 상기 변환에 이용된다면, 애플리케이션에 따라 선택될 수 있다. 예를 들어, 하기 수식 (14) 및 (15)는 타원 영역에서의 변환을 제공한다. 수식 (14) 및 (15)에서, 두개의 추가적인 파라미터들인 b와 c는 상기 타원의 장축(major axis) 및 단축(minor axis), 즉 그 너비와 높이를 나타낸다. (그러나, 상기 파라미터 b와 c가 그 자체로서 상기 타원의 장축 및 단축과 동일한 것은 아니다. 상기 장축은 2 bR 그리고 단축은 2 cR과 같다.)
Figure 112007031953013-PCT00016
(14)
Figure 112007031953013-PCT00017
(15)
변환영역 또는 관심영역이 용이하게 중심에 위치할 수 있는 기하형태가 아닌 실시예에서, 임이의 초점이 선택될 수 있다. 관심영역(56)이 용이하게 위치하는 기하 중심을 갖는 경우에, 다른(같이 배치되는 것이 아님) 초점이 선택될 수 있다.
상기 예시된 변환 방법들은 정수 마이크로프로세서(integer microprocessor) 와 같이, 능력이 제한된 컴퓨팅 시스템 상에서 실행되도록 구현될 수 있다. 정수 마이크로프로세서는 이동전화, 디지털 카메라가 부착된 이동 전화, 그리고 다른 휴대용 컴퓨팅 장치와 같은, 이동 장치들에 널리 이용된다. 정수 마이크로프로세서가 일반적으로 부동 소수점(즉, 소수) 수학 에뮬레이터(mathmatics emulator)를 포함하지만, 상기 에뮬레이터를 이용하는 것은 과도하게 시간을 소요하고 계산상 낭비가 될 수 있다. 상기 변환들은 정수 연산을 이용하여 구현할 수 있다.
정수 마이크로프로세서에서 수식(3)과 (4)와 같은 변환 수식을 구현할 때, 두 가지 고려사항이 제기된다:오직 정수 연산만을 이용하는 그러한 수식의 멱함수(power function) 계산, 그리고 정수 오버플로(overflow)(즉, 계산된 수가 상기 마이크로프로세서가 다룰 수 있는 최대 정수를 초과하는 상황)를 피하기 위한 연산의 배열(ordering)이다.
도 23은 상기 기술된 정수 연산을 이용하여 상기 변환을 수행하는데 적응되는 예시적인 내장형 장치(60)의 블록 다이어그램이다. 상기 내장형 장치(60)는 시스템 버스(14)에 연결된 주 메모리(16), 인터페이스(19)에 의해 상기 시스템 버스(14)에 연결되는 그래픽 엔티티(66), 그리고 상기 시스템 버스(14)에 연결된 정수 마이크로프로세서(61)를 포함한다. 내장형 장치(60)는 또한 상기 마이크로프로세서에 연결된 변환 연산 촉진자(transformation operations facilitator)(62)를 포함한다. 정수 연산 촉진자(integer operations facilitator)(64)는 상기 변환 연산 촉진자(62)내에 포함된다.
상기 변환 연산 촉진자(62)는 수식(3)과 (4)의 멱함수(power function)를 계 산하고 상기 마이크로프로세서(61)와 호환성 있는 방법으로 다른 변환 연산들을 수행한다. 상기 정수 연산 촉진자(64)는 모든 필요한 연산들이 상기 정수 마이크로프로세서(61)에서의 정수 오버플로를 피하기 위한 계산의 순서(order)로 정수 계산을 이용하여 수행될 수 있게 한다. (구성요소(62)와 (64) 모두의 기능들과 수행되는 계산들은 이하에서 더 상세히 기술될 것이다.) 장치(60)와 같은 내장형 장치의 이점은 부동-소수점 에뮬레이터가 사용되지 않는다는 점이며, 이는 상기 정수 마이크로프로세서(61)에서 상기 변환들을 더욱 효율성있게 한다. 상기 변환 연산 촉진자(62)와 정수 연산 촉진자(64)는 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 일부 조합, 또는 상기 마이크로프로세서(61)과 호환성 있는 여타의 방법으로 구현될 수 있다.
도 23에 예시되기는 하였지만, 상기 그래픽 엔티티(66)는 내장형 장치(60)에 포함될 필요는 없다.
수식(3)과 (4)의 멱함수를 계산하기 위해, 예시된 실시예에서, 상기 함수의 테일러 급수 전개(Taylor series expansion)가 이용된다. 임의의 멱함수에 대해, 상기 테일러 급수 전개가 수식(16)으로 주어진다.
Figure 112007031953013-PCT00018
(16)
테일러 급수의 여하한 사용에 있어서, 상기 근사화는 항이 더 추가될수록 더욱 정확해 진다. 그러나, 이용되는 테일러 급수의 항이 많아지면, 상기 프로세스는 계산상 더욱 비용이 든다. 게다가, 테일러 급수의 연속되는 항들은 정확도에 있어 점차 감소하는 양을 최종 결과에 추가한다. 그러므로, 멱함수를 계산하는데 이용되는 테일러 급수 항의 수는 가용(加用)한 컴퓨팅 능력과 더불어 요구되는 정확도에 의존할 것이다. 일 실시예로, 이하에서 더욱 상세히 기술할 것이지만, 상기 테일러 급수의 최초 4개 항이 과도한 컴퓨팅 성능을 요구하지 않고 충분한 정확도를 제공하는 것으로 알려졌다. a=2로하여 상기 급수의 최초 4개 항을 이용하여, 상기 수식(16)은 수식(17)로 간소화된다:
Figure 112007031953013-PCT00019
Figure 112007031953013-PCT00020
Figure 112007031953013-PCT00021
(17)
수식(17)이 엄격하게 정수 항을 포함하지는 않더라도, 상기 비-정수 항들은 상기 계산을 수행하기 위한 목적으로 정수로 변환될 수 있다. 예를 들어, 2의 자연로그(natural logarithm)는 223(즉, 왼쪽으로 23 비트 시프트함)만큼 곱(multiply)이 되어 정수 5767168이 될 수 있다. 상기 계산의 결과는 이후 역으로 시프트되어(즉, 223만큼 나누어짐) 상기 승수의 효과가 제거될 수 있다. 일반적으로, 다수의 유효자릿수(significant digit)를 보전함으로써 정확도를 유지하는데 큰 2의 인수들을 이용할 수 있다;정확도가 덜 요구된다면 더 작은 인수들을 이용할 수 있다. 또한, 부동-소수점 수들을 정수로 변환할 때 여하한 큰 정수 인수를 이용할 수 있을지라도, 2의 인수들을 상기 예시된 실시예에서 이용하여 상대적으로 느린 곱셈 연산을 상대적으로 빠른 비트-시프팅 연산으로 대체할 수 있다.
수식(17)의 4-항 테일러 급수 전개와 상기 확대 연산을 관한 223 정수 변환 승산(multiplier)을 이용한 32-비트 마이크로프로세서를 위한 구현 코드의 실례는 a=2, k=1, 그리고 m=0 인 경우에 대해 아래와 같다:
Figure 112007031953013-PCT00022
상기 코드 부분에서, 8388608은 1x223이고, 상기 연산들은 상기 32-비트 마이크로프로세서에서 정수 오버플로를 피하도록 수행된다. 상기 테일러 급수의 값은 곱셈 배율로서 계산되고, 상기 입력 픽셀의 위치와 상기 변환 영역의 중심과의 차이만큼 곱해지며, 상기 변환 영역의 중심 위치에 더해진다. 마지막의 시프트 연산으로 상기 223 승산의 효과가 제거된다. 이러한 연산들은 상기 관심영역의 각 입력 픽셀마다 수행된다.
일반적으로, 상기 확대와 핀칭 변환 사이의 차이점은 어떤 연산의 부호(즉, 가산 대 감산)에 있다. a=2, k=1, 및 m=1인 경우에 대한 핀칭 연산 코드는 다음과 같다:
Figure 112007031953013-PCT00023
상기 코드 부분은 ARM926EJ-S 32-비트 정수 마이크로프로세서에서 실시간 결과를 제공하는 것으로 알려졌다. 여기 기술된 실시예가 C로 코딩되고 32-비트 마이크로프로세서에서 구현되지만, C, C++, Java, J++ 및 어셈블러(assembler)를 포함한 어떠한 프로그래밍 언어로 코딩될 수 있고, 64-비트 마이크로프로세서 및 128-비트 마이크로프로세서를 포함한 어떤 성능의 마이크로프로세서에서 구현될 수 있으며, 상기 파라미터 a,k 및 m의 임의의 값을 이용할 수 있다. 본 구현예들에서 정수-전용(integer-only) 연산을 할 필요가 없으며 정수 오버플로를 피하기 위해 정돈될 필요가 없다. 이러한 방법들이 정수 마이크로프로세서에서 구현되면, 디지털 카메라가 부착된 이동전화 또는 다른 휴대용 전자 장치에 이미지 처리 기능으로서 제공될 수 있다. 또한 이러한 방법들이 마이크르프로세서, ASIC, 또는 이를 구현할 충분한 컴퓨팅 성능을 갖춘 여타 플랫폼에서 소프트웨어, 하드웨어 또는 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다는 점을 고려하여야 한다.
도 24는 부동소수점 연산을 이용하여 상기 기술한 변환을 수행하는데 적응되는 예시적인 내장형 장치(70)의 블록 다이어그램이다. 상기 내장형 장치(70) 구성 요소들은 대체로 내장형 장치(60)와 유사하며, 따라서 상기 기술내용이 유사한 구성요소들에 관해서는 충분할 것이다. 내장형 장치(60)와 달리, 내장형 장치(70)는 부동소수점 마이크로프로세서(72)를 포함한다. 내장형 장치(70)는 또한 상기 부동소수점 마이크로프로세서(72)에 연결된 변환 연산 촉진자(74)를 포함하지만, 상기 변환 연산 촉진자(74)는 정수 연산 촉진자를 갖지 않는다. 계산들은 내장형 장치(70)에서 부동소수점 수를 이용하여, 예를 들어 상기 수식(3)과 (4)의 항들을 정수로 변환하는 작업을 생략하여 수행된다. 예시된 변환 방법들의 정수-전용(integer-only) 구현이 내장형 장치(70)에서 수행된다면 정확하게 기능할지라도, 마이크로프로세서(72)의 부동소수점 능력을 이용하는 것이 유리하다.
도 25는 일부분에 한정된 확대 또는 핀칭을 이미지에 적용하기 위한 방법(100)을 나타내는 더욱 일반적인 순서도이다. 방법(100)은 상기의 필요한 계산을 수행할 수 있는 여하한 플랫폼에서 구현될 수 있다.
방법(100)은 S102에서 입력 이미지 처리로 시작하여 S104로의 경과를 제어한다. S104에서, 상기 입력 이미지의 관심영역이 선택된다. 상기 관심영역은, 상기 변환 계산이 적절히 수정될 경우 임의의 기하학적 영역이 이용될 수 있을지라도, 일반적으로 기하 형태(상기 기술된 원 및 타원과 같은)로 정의된다. S104에서, 사용자는 상기 관심영역의 중심 및 반경 또는 다른 크기를 선택한다. 상기 관심영역이 선택되면, 방법(100)은 S106을 계속하여, 상기 입력 이미지의 픽셀이 선택된다. S106에 이어, 방법(100)은 상기 선택된 픽셀이 관심영역 내인지 아닌지를 결정하는 결정 작업인, S108을 진행한다. 상기 선택된 픽셀이 관심영역 내에 있다면(S108: 예), 그 픽셀은 S114에서 상기 기술된 하나 이상의 연산을 수행함으로써 변환되고 그 결과인 출력 이미지의 출력 픽셀이 생성된다. 상기 선택된 픽셀이 관심영역 내가 아닌 경우(S108:아니오), 방법(100)의 제어권은 S110으로 넘겨져서, 상기 입력 이미지에 남아있는 다른 픽셀들이 존재하는지 여부가 결정된다. 상기 이미지내에 남아 있는 다른 픽셀들이 있다면(S110:예), 방법(100)의 제어권은 S106으로 돌아간다. 상기 이미지에 남아 있는 다른 픽셀이 없다면(S110:아니오), 제어권은 S112로 넘어간다. S112에서, 완전히 변환된 출력 이미지를 생성하기 위하여 상기 출력 이미지 내의 빠져 있는 픽셀에 관한 여하한 내삽(interpolation) 또는 복제(replication)가 수행될 수 있다. (가장 간소한 경우로, 필수적인 여하한 픽셀 복제가 최근접 이웃 복제(nearest neighbor duplication)로 수행될 수 있다.) 전체적, 가시적 이미지를 생성하는데 요구되는 여타 작업들 또한 S112에서 수행될 수 있고, 여기에는 출력 이미지 파일에 대한 헤더(header) 정보를 기록하는 것이 포함된다. S112가 완료되면, 방법(100)이 종결되고 S116에서 복귀된다.
상기 전술사항 중 일부에서, 변환되는 상기 이미지는 RGB(적-녹-청) 포맷( 각 이미지 픽셀이 그 픽셀의 적색 컨텐츠에 대한 값, 녹색 컨텐츠에 대한 값, 그리고 청색 컨텐츠에 대한 값을 가짐)으로 가정하였다. 그러나, 상기 제시된 변환 방법들은 1차적으로 RGB로 변환하지 않고 직접 다른 이미지 포맷에서 이용될 수 있다. RGB-포맷 이미지가 상대적으로 변환이 용이할지라도, 압축하기에 더 어렵고, 일반적으로 더 많은 저장공간을 소비하기 때문에 이것이 유리하다.
다른 두개의 일반적인 이미지 포맷은 YCbCr과 YCrCb이다. RGB 이미지에서, 데이터는 각 픽셀에 대해 적색, 녹색 및 청색 값의 항으로 저장되는 반면, 상기 YCbCr 및 YCrCb 포맷은 각 픽셀에 대해 휘도(luminance)(Y)와 색차(chrominance)(Cb, Cr)값을 기록함으로써 이미지 데이터를 저장한다. 상기 YCbCr 및 YCrCb 포맷은 일반적인 JPEG 그림 파일 포맷에서 이용될 수 있기 때문에 널리 쓰인다.
RGB, YCbCr 및 YCrCb 이미지를 다룰 수 있는 능력은 디지털 카메라와 같은 휴대용 장치에서 이미지 변환이 구현된다면 유리한데, 이는 세가지 모든 포맷들이 디지털 카메라에서 이용될 수 있기 때문이다. 이는 디지털 이미지가 생성되고 처리되는 방법 때문이다.
예를 들어, 대부분의 디지털 카메라 이미지 센서는 적,녹 또는 청색광 중 단 하나에만 민감하며, 세가지 모든 색광에는 민감하지 않은 개별적인 센서 셀(cell)들로 구성된다. 그러므로, 개별 셀들은 일반적으로 바이어 패턴(Bayer pattern)으로 불리는 패턴으로 전개되는데, 여기서 녹색에 민감한 셀들은 적색 및 청색에 민감한 셀들 사이에서 분산되고 이들과 교번한다. 소비자 제품에서, 인간의 시각 시스템이 녹색에 더 민감하기 때문에 녹색 셀들은 일반적으로 우세하며, 녹색 셀을 더 많이 포함하면 인식한 이미지의 품질을 증가시키는 경향이 있다. 하나의 대표적인 바이어 패턴에서, 16 센서 셀 어레이(array)는 대략 체커보드(checkerboard) 패턴으로 배열된 8개의 녹색 셀, 4개의 적색 셀 및 4개의 청색 셀을 포함할 수 있다. 바이어 패턴의 단일-색상 셀을 이용하는 디지털 장치로 이미지를 얻었을 때, 로 이미지(raw image)는 일반적으로 내삽(interpolation)되어 적어도 프로세싱의 중간 단계에서는 각 픽셀이 적색 값, 녹색 값과 청색 값을 가지고 RGB 이미지로 저장된다. 상기 이미지는 압축 및 저장을 위해 추가로 YCbCr 또는 YCrCb로 변환될 수 있다.
YCbCr 및 YCrCb 포맷의 이미지가 상기 기술된 변환을 적용함으로써 직접 처리될 수 있을지라도, 예컨대 서브샘플링(subsample)된 YCbCr 및 YCrCb 이미지와 함께 추가적인 작업이 수행될 수 있는 환경이 일부 존재한다. 서브샘플링 된 이미지에서, 일부 색차(chrominance) 값은 상기 파일의 크기를 줄이기 위해 버려지거나 서브샘플링 된다. 예를 들어, 일반적인 H2V1 YCbCr 4:2:2 포맷에서, 픽셀 열은 서브샘플링되지만, 픽셀 행은 영향받지 않는다. 이러한 서브샘플링 방식에서, 상기 열들이 0으로 시작하여 번호가 매겨지면, 짝수 열 만이 Cb 요소를 가지며 홀수 열만이 Cr 요소를 갖는다. 다른 서브샘플링 포맷은 YCbCr 4:2:0 포맷으로, 각각의 2x2 픽셀 어레이는 단일 Cb 값과 단일 Cr값을 공유한다. YCrCb 포맷은 일반적으로 YCbCr와 같고, 다만 Cb와 Cr 구성요소의 순서만 반대이다.
상기 기술된 변환 방법들은 정확히 Cb와 Cr 성분이 교번하는 최종 이미지의 결과가 되지는 않을지라도, 직접 서브샘플링된 YCbCr 및 YCrCb 포맷에 적용될 수 있다. 이러한 문제를 극복하기 위해, 임시의 서브샘플링되지 않은(unsubsampled) 이미지(YCbCr 4:4:4 또는 YCrCb 4:4:4)가 인접한 픽셀들의 쌍을 고려하고 적절한 Cb 및 Cr값을 복제함으로써 각 픽셀이 Cb 및 Cr 값을 가질 수 있도록 상기 서브샘플링된 이미지로부터 생성될 수 있다. 변환 후의 저장을 위해, 여분의 Cb 및 Cr 값은 폐기될 수 있다. 발명자가 수행한 테스트에서 RGB 이미지의 상기 처리 결과 와 YCbCr 및 YCrCb 포맷으로 그 동일한 이미지를 처리한 결과 사이에 시각적으로 인식가능한 차이가 나타나지 않았다.
도 26은 디지털 카메라(202)를 가진 이동 전화(200)의 실시예를 보여준다. 상기 이동전화(200)와 그 디지털 카메라(202)는 도 1의 상기 관심영역 정의 매커니즘(24)과 변환 장치(26), 또는 여기 기술된 이미지 변환을 수행하기 위한 다른 매커니즘을 포함한다. 일반적 용도로, 사용자는 이동 전화(200)의 디지털 카메라(202)를 이용하여 디지털 사진을 찍을 것이며, 그리고 나서 상기 이동전화(200)의 처리 능력을 이용하여 변환을 수행할 것이다. 도 26에 제시한 바와 같이, 디지털 이미지(204)가 상기 이동전화(200)의 디스플레이 화면(206)에 표시된다. (일반적으로, 상기 디스플레이 화면(206)은 다른 종류의 디스플레이 화면(206)이 이용될 수 있을지라도, 그래픽 엔티티(20)에 의해 구동되는 상대적으로 작은 액정 표시장치이다.) 예시한 바와 같이, 상기 이미지(204)는 관심영역(208)의 부분 확대에 의해 변환된다. 임시로 상기 이미지(204) 위에 놓여지는 오버레이(overlay) 또는 풀-다운(pull-down) 메뉴(214)가 변환의 조율 및 정도의 변화에 대한 안내를 제공한다. 예를 들어, 사용자는 상기 이동전화(204)의 화살표 키(210)를 이용하여 상기 관심영역(208)을 이동하도록 안내를 받을 수 있다. (만일 상기 관심영역(208)이 이동하면, 새로운 초점 부근에 중심을 두고, 상기 방법(100)과 같은 방법을 재수행함으로써, 상기 변환이 반복될 것이다.) 상기 사용자는 또한 숫자/문자 키(212)의 일부 조합을 이용하여 확대/핀칭 수준을 바꾸고, 확대와 핀칭 사이를 전환하거나, 또는 양자를 동일한 이미지(204)에 이용할 수 있다는 점을 안내받을 수도 있다. ( 그러한 경우, 방법(100)과 같은 방법이 새로운 파라미터들로 반복될 것이다.) 상기 구현에 따라서, 상기 사용자는 직접 상ㄱ 파라미터 a, k, 및 m의 값을 수정하거나 하지 못할 수 있다; 일부 실시예에서, 상기 사용자는 단순히 특정 파라미터 값들로 매핑(map) 되는 값인, "확대 인수(magnification factor)"와 같은 설정을 수정할 수 있다.
상기 구현에 따라, 상기 변환의 파라미터들은 상기 장치에 하드-코딩(hard-code) 되거나 또는 미리조절되어, 예컨대 상기 변환이 항상 동일한 변환 반경으로 미리 결정된 동일한 지점에 대해 확대를 하게 할 수 있다. 이는 다수의 유사한 이미지를 갖는 이미지 분석 애플리케이션에서 유용할 수 있다.
도 26에 제시된 구현의 이점은 상기 사용자에게 상기 이미지의 배경을 대체로 유지하면서 세부를 제공한다는 점이다. 종래의 선형 변환 확대 방식에서, 사용자는 일반적으로 화면 상의 이미지의 일부만을 보면서 스크롤(scroll)을 하여 볼 수 있는 부분을 변경하게 되어, 전체 이미지 시야를 잃는 반면에, 국부에 한정된 확대는 필요한 영역(208)이 확대되면서 전체 이미지(204)를 유지한다. 이는 사용자가 상기 이미지의 확대를 변경하고 전체 이미지를 보기 위해 스크롤하는 시간을 줄임으로써 사용자에게 효율을 높여 준다.
또한 변환들이 이미지에 적용되어 예술적인 효과를 만들 수 있다. 그 외에, 상기 제시된 변환들은 이러한 목적으로 이동전화(200)와 같은 휴대용 장치에서 구현될 수 있다. 예를 들어, 도 27-29는 안면(facial) 이미지에 대한 이러한 변환 방법들의 효과를 보여준다. 도 27은 본래의, 수정되지 않은 안면 이미지이다. 도 28은 파라미터 a=2, k=3, 및 m=0을 이용하여 입 주변에 국한된 반경 60 픽셀의 원형 영역을 확대한 이후의 도 27의 이미지를 예시한다. 도 29는 파라미터 a=2, k=1, 및 m=1을 이용하여 코 주변에 국한된 반경 70 픽셀의 원형 영역을 핀칭한 이후의 도 27의 이미지를 예시한다. 동일한 이미지 상에 수행된 변환의 조합은 추가적인 효과를 생성할 수 있다.
상술한 각각의 구성요소는 컴퓨터 메모리 실행 소프트웨어와 함께 하드웨어 프로세서로써, 또는 동일한 기능성을 수행하기 위한 특화된 하드웨어로써 구현될 수 있다. 그러한 프로세싱(processing)에서 다뤄지거나 그러한 프로세싱의 결과로 생성되는 여하한 데이터는 당업자로서 이용가능한 어떤 종류의 메모리에도 저장될 수 있다. 예를 들어, 그러한 데이터는 램(random access memory, RAM)과 같은 임시 메모리에 저장될 수 있다. 또한, 대안으로서, 그러한 데이터는 장시간 기억 장치, 예컨대 자기 디스크, 재기록가능(rewritable) 광디스크 등에 저장될 수 있다. 여기 개시한 목적을 위해, 컴퓨터로 읽을 수 있는 기록매체는 그러한 구조 및 데이터의 하드웨어 또는 회로 형태 뿐 아니라 다른 메모리 기술들을 포함하는, 여하한 형태의 데이터 저장 매커니즘을 포함할 수 있다.
특정한 실시예들이 제시되었지만, 여기 사용된 용어들은 제한하고자 하는 것이라기보다 기술하기 위한 용어들이다. 예를 들어, 첨부된 청구범위의 범위 내에서 변화가 이뤄질 수 있다.

Claims (44)

  1. 이미지 내부의 관심영역(region of interest)을 정의하는 관심영역 정의 매커니즘(region of interest defining mechanism); 및
    상기 관심영역 내부의 확대 또는 핀칭이 상기 관심영역의 초점에서 보다 크게 적용되고 상기 관심영역의 외부 경계에서 보다 적게 적용되는 방식으로 상기 관심영역 내부의 확대 또는 핀칭이 가변되도록 상기 관심영역에 확대(magnification) 또는 핀칭(pinching)을 제공하도록 비선형 변환을 적용하는 변환 매커니즘을 포함하는, 내장형 장치.
  2. 제 1 항에 있어서, 상기 변환 매커니즘은 확대 및 핀칭에 대해 동일한 비선형 변환을 적용하는 내장형 장치.
  3. 제 2 항에 있어서, 상기 관심영역 정의 매커니즘에 연결되는 사용자 인터페이스를 더 포함하는 내장형 장치.
  4. 제 2 항에 있어서, 그래픽 엔티티(graphics entity)를 더 포함하며, 여기서 상기 관심영역 정의 매커니즘과 상기 변환 매커니즘은 상기 그래픽 엔티티에 연결되는 내장형 장치.
  5. 제 4 항에 있어서,
    시스템 버스(bus);
    주 메모리(main memory); 및
    상기 그래픽 엔티티에 연결된 디스플레이 화면을 더 포함하고, 여기서 상기 주 메모리와 그래픽 엔티티는 상기 시스템 버스에 연결되는, 내장형 장치.
  6. 제 2 항에 있어서, 상기 내장형 장치는 이동전화인 내장형 장치.
  7. 제 6 항에 있어서, 상기 이동전화는 디지털 카메라를 포함하는 내장형 장치.
  8. 제 1 항에 있어서, 상기 비선형 변환은 정수 연산만을 이용하는 내장형 장치.
  9. 제 2 항에 있어서, 상기 비선형 확대 또는 핀칭 변환 파라미터에 대한 사용자 선택을 수신하는 사용자 인터페이스를 더 포함하며, 여기서 상기 파라미터는 상기 변환이 확대 또는 핀칭을 일으키는지 여부를 결정하는 파라미터 및 상기 확대 또는 핀칭의 양을 결정하는 파라미터를 포함하는, 내장형 장치.
  10. 제 2 항에 있어서, 상기 관심영역 정의 매커니즘에 의해 정의되는 상기 관심영역이 크기에 있어 상기 이미지 자체보다 작을 때, 상기 관심영역 내부 외의 픽셀 들은 상기 변환 매커니즘에 의해 변환되지 않는 내장형 장치.
  11. 제 2 항에 있어서, 상기 관심영역 정의 매커니즘은 타원형(elliptical) 관심영역을 정의하기 위한 타원형 옵션(option)을 포함하는 내장형 장치.
  12. 제 2 항에 있어서, 상기 관심영역 정의 매커니즘은 원형(circular) 관심영역을 정의하기 위한 원형 옵션을 포함하는 내장형 장치.
  13. 제 12 항에 있어서, 상기 변환 매커니즘에 의해 수행되는 상기 비선형 확대 또는 핀칭 변환은 하기 수식(1)과 (2)에 의해 표현되며:
    Figure 112007031953013-PCT00024
    (1)
    Figure 112007031953013-PCT00025
    (2)
    여기서 xin과 yin은 상기 관심영역 내부의 입력 픽셀에 대한 위치 좌표이고, xo와 yo는 상기 원형 관심영역의 중심에 대한 위치 좌표이고, R은 상기 관심영역의 반경이고, xout과 yout은 출력 픽셀에 대한 위치 좌표이고, a는 상기 더 큰 정도를 지시하는 파라미터이고, m은 상기 변환이 확대 또는 핀칭을 일으키는지 여부를 지시하는 이진 파라미터이며, k는 상기 더 큰 정도로 영향받는 상기 관심영역의 부분과 상기 더 적은 정도로 영향받는 상기 관심영역의 부분 사이의 이미지 전이(transition) 영역에서 매끄러움(smoothness)과 연속성(continuity)의 정도를 지시하는 파라미터인 내장형 장치.
  14. 제 8 항에 있어서, 상기 변환 매커니즘은 정수 오버플로(overflow)를 피하기 위해 미리 결정된 계산 순서로 계산을 수행하는 내장형 장치.
  15. 제 1 항에 있어서, 상기 변환 매커니즘은 실시간으로 상기 확대 또는 핀칭 변환을 수행하는 내장형 장치.
  16. 제 1 항에 있어서, 상기 변환 매커니즘은 상기 관심영역 내부에서 오직 일차원으로 상기 확대 또는 핀칭 변환을 수행하는 내장형 장치.
  17. 제 5 항에 있어서, 상기 그래픽 엔티티로부터 상기 이미지의 상기 확대 또는 핀칭 변환된 부분과 변환되지 않은 부분 모두를 포함하는 변환된 이미지를 표시하 기 위한 디스플레이 화면을 더 포함하는 내장형 장치.
  18. 제 17 항에 있어서, 상기 변환된 이미지는 하나 이상의 변환된 부분을 가진 안면(facial) 이미지인 내장형 장치.
  19. 제 10 항에 있어서, 상기 장치는 상기 이미지에 동일하거나 또는 다른 파라미터들을 갖는 둘 이상의 변환을 수행하도록 적응되는 내장형 장치.
  20. 이미지 내의 관심영역을 정의하고; 그리고
    상기 관심영역 안의 확대 또는 핀칭이 상기 관심영역의 초점에서 보다 크게 적용되고 상기 관심영역 외부 경계에서 보다 적게 적용되는 방식으로 상기 관심영역 내부의 확대 또는 핀칭이 가변되도록 비선형 확대 또는 핀칭 변환을 상기 관심영역에 적용하는 기계(machine)와 상호작용하는 기계-판독가능 매체.
  21. 제 1 항에 있어서, 상기 동일한 비선형 변환 함수가 확대 및 핀칭에 적용되는 기계-판독가능 매체.
  22. 제 21 항에 있어서, 상기 적용은 정수 연산으로 수행되는 기계-판독가능 매체.
  23. 제 21 항에 있어서, 상기 작업들은 사용자로 하여금 , 상기 비선형 확대 또는 핀칭 변환에 대해 상기 변환이 확대 또는 핀칭을 일으킬 것인지와 상기 확대 또는 핀칭의 크기(magnitude) 또는 세기(power)를 결정하는 파라미터들을 직접 또는 간접적으로 선택하도록 허용하는 것을 더 포함하는 기계-판독가능 매체.
  24. 제 21 항에 있어서, 상기 이미지 내의 관심영역은 크기에 있어서 상기 이미지 자체보다 작으며 상기 관심영역 내부에 있지 않은 픽셀들은 변환되지 않는 기계-판독가능 매체.
  25. 제 21 항에 있어서, 상기 관심영역은 타원형인 기계-판독가능 매체.
  26. 제 21 항에 있어서, 상기 관심영역은 원형인 기계-판독가능 매체.
  27. 제 26 항에 있어서, 상기 비선형 확대 또는 핀칭 변환은 하기 수식(1)과 (2)로써 표현되고:
    Figure 112007031953013-PCT00026
    (1)
    Figure 112007031953013-PCT00027
    (2)
    여기서 xin 및 yin은 상기 관심영역 내부의 입력 픽셀에 대한 위치 좌표이고, xo 및 yo는 상기 원형 관심영역의 중심에 대한 위치 좌표이고, R은 상기 관심영역의 반경이고, xout 및 yout은 출력 픽셀에 대한 위치 좌표이고, a는 상기 더 큰 정도를 지시하는 파라미터이고, m은 상기 변환이 확대 또는 핀칭을 일으키는지 여부를 지시하는 파라미터이며 k는 상기 더 큰 정도로 영향받는 상기 관심영역의 부분과 상기 더 적은 정도로 영향받는 상기 관심영역의 부분 사이의 이미지 전이 영역에서 매끄러움과 연속성의 정도를 지시하는 파라미터인 기계-판독가능 매체.
  28. 제 22 항에 있어서, 추가적으로 정수 오버플로를 피하기 위해 미리 결정된 계산의 순서로 상기 적용을 수행하는 기계(machine)와 호환가능한 기계-판독가능 매체.
  29. 제 21 항에 있어서, 상기 비선형 변환은 실시간으로 수행되는 기계-판독가능 매체.
  30. 제 21 항에 있어서, 상기 기계(machine)는 내장형 장치인 기계-판독가능 매체.
  31. 제 30 항에 있어서, 상기 내장형 장치는 이동전화인 기계-판독가능 매체.
  32. 제 31 항에 있어서, 상기 이동전화는 디지털 카메라를 포함하는 기계-판독가능 매체.
  33. 제 31 항에 있어서, 상기 이동전화는 정수 마이크로프로세서를 갖는 기계-판독가능 매체.
  34. 수신기/송신기 어셈블리(assembly);
    마이크로프로세서;
    이미지 내부의 관심영역을 정의하기 위해 상기 마이크로프로세서에 연결된 관심영역 정의 매커니즘; 및
    상기 관심영역 내부의 확대 또는 핀칭이 상기 관심영역의 초점에서 보다 크게 적용되고 상기 관심영역의 외부 경계에서 보다 적게 적용되는 방식으로 상기 관심영역 내부의 확대 또는 핀칭이 가변되도록 비선형 확대 또는 핀칭 변환 함수를 상기 관심영역에 적용하기 위해 상기 마이크로프로세서에 연결된 변환 매커니즘을 포함하는 이동전화.
  35. 제 34 항에 있어서, 상기 변환 매커니즘은 확대 및 핀칭에 대해 동일한 비선형 변환함수를 이용하는 이동전화.
  36. 제 35 항에 있어서, 상기 마이크로프로세서는 정수 마이크로프로세서인 이동전화.
  37. 제 35 항에 있어서, 상기 변환 매커니즘은 정수 계산만을 이용하여 상기 비선형 변환을 적용하는 이동전화.
  38. 이미지 내의 관심영역을 정의하기 위한 수단; 및
    상기 관심영역 내부의 확대 또는 핀칭이 상기 관심영역의 초점에서 보다 크게 적용되고 상기 관심영역의 외부 경계에서 보다 적게 적용되는 방식으로 상기 관심영역 내부의 확대 또는 핀칭이 가변되도록 비선형 확대 또는 핀칭 변환을 상기 관심영역에 적용하기 위한 수단을 포함하는 장치.
  39. 제 38 항에 있어서, 상기 정의 수단은 확대 및 핀칭에 대해 동일한 비선형 변환함수를 이용하는 장치.
  40. 제 39 항에 있어서, 상기 적용수단은 정수연산을 촉진하기 위한 수단을 포함하는 장치.
  41. 제 39 항에 있어서, 상기 관심영역을 정의하기 위한 상기 정의 수단에 연결되어 사용자와 인터페이스(interface)하기 위한 수단을 더 포함하는 장치.
  42. 제 39 항에 있어서, 상기 관심영역은 원형인 장치.
  43. 제 42 항에 있어서, 상기 비선형 확대 또는 핀칭 변환은 하기 수식(1) 과 (2)로 표현되고:
    Figure 112007031953013-PCT00028
    (1)
    Figure 112007031953013-PCT00029
    (2)
    여기서 xin 및 yin은 상기 관심영역 내의 입력 픽셀에 대한 위치좌표이고, xo 및 yo는 상기 원형 관심영역의 중심에 대한 위치좌표이고, R은 상기 관심영역의 반경이고, xout 및 yout은 출력 픽셀에 대한 위치좌표이고, a는 더 큰 정도를 지시하는 파라미터이고, m은 상기 변환이 확대 또는 핀칭을 일으키는지를 지시하는 이진 파라미터이며, k는 상기 더 큰 정도로 영향받는 상기 관심영역의 부분과 상기 더 적은 정도로 영향받는 상기 관심영역의 부분 사이의 이미지 전이 영역에서 매끄러움과 연속성의 정도를 지시하는 파라미터인 장치.
  44. 제 39 항에 있어서, 상기 관심영역은 타원형인 장치.
KR1020077009611A 2004-09-28 2005-09-27 2차원 이미지의 확대 및 핀칭 KR100935172B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US61421404P 2004-09-28 2004-09-28
US60/614,214 2004-09-28
US11/081,400 2005-03-15
US11/081,400 US7715656B2 (en) 2004-09-28 2005-03-15 Magnification and pinching of two-dimensional images

Publications (2)

Publication Number Publication Date
KR20070068433A true KR20070068433A (ko) 2007-06-29
KR100935172B1 KR100935172B1 (ko) 2010-01-06

Family

ID=35623711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077009611A KR100935172B1 (ko) 2004-09-28 2005-09-27 2차원 이미지의 확대 및 핀칭

Country Status (9)

Country Link
US (1) US7715656B2 (ko)
EP (1) EP1794714B1 (ko)
JP (1) JP4295340B2 (ko)
KR (1) KR100935172B1 (ko)
CN (1) CN101061502B (ko)
ES (1) ES2726014T3 (ko)
HU (1) HUE042873T2 (ko)
TW (1) TW200632782A (ko)
WO (1) WO2006037110A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075628A (ko) * 2018-12-18 2020-06-26 전자부품연구원 관심 객체 처리 장치 및 그 방법

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577166B1 (en) * 2006-03-31 2013-11-05 Google Inc. Optimizing web site images using a focal point
TW200739125A (en) * 2006-04-14 2007-10-16 Quarton Inc Target searching device and image displaying method thereof
US8218895B1 (en) * 2006-09-27 2012-07-10 Wisconsin Alumni Research Foundation Systems and methods for generating and displaying a warped image using fish eye warping
US7907791B2 (en) * 2006-11-27 2011-03-15 Tessera International, Inc. Processing of mosaic images
CN101676955B (zh) * 2008-09-19 2013-05-08 国际商业机器公司 动画展现动态图序列之间的转变的方法和装置
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9128790B2 (en) * 2009-01-30 2015-09-08 Intel Corporation Digital signal processor having instruction set with an exponential function using reduced look-up table
TWI420384B (zh) * 2009-05-15 2013-12-21 Chi Mei Comm Systems Inc 電子裝置及調整該電子裝置顯示畫面位置的方法
JP4901981B2 (ja) * 2010-06-16 2012-03-21 株式会社東芝 画像処理装置、画像処理方法及びプログラム
KR101290145B1 (ko) * 2011-05-31 2013-07-26 삼성전자주식회사 터치 스크린 제어 방법 및 장치, 컴퓨터에 의해 독출될 수 있는 기록 매체, 그리고 단말장치
CN103999039B (zh) 2011-10-27 2018-08-10 英特尔公司 具有带有复数指数非线性函数的指令集的数字处理器
CN102750666A (zh) * 2011-11-30 2012-10-24 新奥特（北京）视频技术有限公司 一种图像局部拉伸的方法和装置
US9207755B2 (en) * 2011-12-20 2015-12-08 Iconicast, LLC Method and system for emotion tracking, tagging, and rating and communication
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) * 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
JP6049358B2 (ja) * 2012-08-31 2016-12-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
JP2014144515A (ja) * 2013-01-30 2014-08-14 Seiko Epson Corp ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9645923B1 (en) 2013-09-10 2017-05-09 Google Inc. Generational garbage collector on multiple heaps
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
KR102267871B1 (ko) * 2014-09-03 2021-06-23 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
CN104574473B (zh) * 2014-12-31 2017-04-12 北京奇虎科技有限公司 一种基于静态图片生成动态效果的方法和装置
TWI554107B (zh) * 2015-01-12 2016-10-11 晶睿通訊股份有限公司 可改變縮放比例的影像調整方法及其攝影機與影像處理系統
CN104750389B (zh) * 2015-03-31 2016-08-17 努比亚技术有限公司 显示图片的方法及装置
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10643361B2 (en) 2018-02-28 2020-05-05 Kyocera Document Solutions Inc. Image handling to select a subject of an image to display and conceal a remainder of the image
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
TWI698116B (zh) * 2018-11-02 2020-07-01 瑞昱半導體股份有限公司 影像處理電路及相關的影像處理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4599656A (en) * 1984-02-21 1986-07-08 International Business Machines Corporation Processing of gray scale image pels to facilitate data compression
JPS61290865A (ja) * 1985-06-19 1986-12-20 Ricoh Co Ltd 中間調デジタル画像処理装置
US4790028A (en) * 1986-09-12 1988-12-06 Westinghouse Electric Corp. Method and apparatus for generating variably scaled displays
JPH05244419A (ja) * 1991-11-25 1993-09-21 Eastman Kodak Co ２階調適応閾値を決定するシステムおよび方法
US5359513A (en) 1992-11-25 1994-10-25 Arch Development Corporation Method and system for detection of interval change in temporally sequential chest images
US6731284B1 (en) 1992-12-14 2004-05-04 Ford Oxaal Method of and apparatus for performing perspective transformation of visible stimuli
JP3697276B2 (ja) * 1993-10-27 2005-09-21 ゼロックス コーポレイション 画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法
JP3334385B2 (ja) * 1994-12-20 2002-10-15 セイコーエプソン株式会社 画像読み取り装置および読み取り方法
US5920655A (en) * 1995-02-10 1999-07-06 Canon Kabushiki Kaisha Binarization image processing for multi-level image data
JP3939772B2 (ja) 1995-09-21 2007-07-04 富士フイルム株式会社 ディジタル画像処理装置
US5838838A (en) * 1996-07-19 1998-11-17 Hewlett-Packard Company Down-scaling technique for bi-level images
US5956418A (en) 1996-12-10 1999-09-21 Medsim Ltd. Method of mosaicing ultrasonic volumes for visual simulation
US5987192A (en) * 1997-09-18 1999-11-16 Intermec Ip Corporation Method and apparatus for processing or resizing digital images, such as images of bar code symbols
JP4345937B2 (ja) * 1998-11-10 2009-10-14 キヤノン株式会社 画像拡大処理回路
US6646626B1 (en) * 1999-11-01 2003-11-11 Motorola, Inc. Method and apparatus for automatic viewing angle adjustment for liquid crystal display
JP2001306058A (ja) 2000-04-25 2001-11-02 Hitachi Ltd 図形要素選択方法及びその実施装置並びにその処理プログラムを記録した記録媒体
US7805000B2 (en) * 2000-05-01 2010-09-28 Minolta Co., Ltd. Image processing for binarization of image data
JP3641747B2 (ja) * 2001-10-23 2005-04-27 ヴイストン株式会社 画像表示方法及び画像表示装置
JP3525256B2 (ja) 2001-12-28 2004-05-10 高橋 活生 携帯電話機のディスプレー拡大器具及びレンズ。
JP2003250039A (ja) 2002-02-22 2003-09-05 Tokyo Electric Power Co Inc:The 画像処理装置，画像処理方法および記録媒体
US7064830B2 (en) * 2003-06-12 2006-06-20 Eastman Kodak Company Dental color imaging system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075628A (ko) * 2018-12-18 2020-06-26 전자부품연구원 관심 객체 처리 장치 및 그 방법

Also Published As

Publication number Publication date
US20060078226A1 (en) 2006-04-13
ES2726014T3 (es) 2019-10-01
CN101061502B (zh) 2010-05-05
KR100935172B1 (ko) 2010-01-06
JP4295340B2 (ja) 2009-07-15
US7715656B2 (en) 2010-05-11
EP1794714B1 (en) 2019-02-27
WO2006037110A1 (en) 2006-04-06
CN101061502A (zh) 2007-10-24
HUE042873T2 (hu) 2019-07-29
EP1794714A1 (en) 2007-06-13
TW200632782A (en) 2006-09-16
JP2008515353A (ja) 2008-05-08

Similar Documents

Publication Publication Date Title
KR100935172B1 (ko) 2차원 이미지의 확대 및 핀칭
US20060077211A1 (en) Embedded device with image rotation
JP5080678B2 (ja) 二次元画像の透視変換
KR100796849B1 (ko) 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
US20130129250A1 (en) Method for dynamic range editing
US20080152258A1 (en) Digital mosaic image construction
US8189944B1 (en) Fast edge-preserving smoothing of images
CN101675454A (zh) 采用全色像素的边缘绘图
WO2019101005A1 (zh) 像素补偿方法、装置和终端设备
JP5653104B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2007067847A (ja) 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
US20020159652A1 (en) Image processing apparatus, image processing method, and program product
US20080118175A1 (en) Creating A Variable Motion Blur Effect
US20080266426A1 (en) Digital camera
US8873884B2 (en) Method and system for resizing an image
CN113935934A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP6155349B2 (ja) デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品
JP4212430B2 (ja) 多重画像作成装置、多重画像作成方法、多重画像作成プログラム及びプログラム記録媒体
CN101061703A (zh) 带图像旋转的嵌入式装置
WO2021053735A1 (ja) アップスケーリング装置、アップスケーリング方法、及び、アップスケーリングプログラム
CN116228525A (zh) 图像处理方法、装置、电子设备及可读存储介质
JP4708885B2 (ja) 符号化装置、携帯端末装置及びそれらに用いる画素色情報符号化方法
CN118134786A (zh) 红外图像的多路isp处理方法、装置、设备及介质
CN116471489A (zh) 图像预处理方法及其装置
Uyttendaele et al. HD View: A Software Camera for the Web

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141128

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161125

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 11