KR101725167B1 - 이미지 레지스트레이션을 위한 방법 및 시스템 - Google Patents

이미지 레지스트레이션을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101725167B1
KR101725167B1 KR1020100019919A KR20100019919A KR101725167B1 KR 101725167 B1 KR101725167 B1 KR 101725167B1 KR 1020100019919 A KR1020100019919 A KR 1020100019919A KR 20100019919 A KR20100019919 A KR 20100019919A KR 101725167 B1 KR101725167 B1 KR 101725167B1
Authority
KR
South Korea
Prior art keywords
test image
image
scaling factor
alignment measurement
alignment
Prior art date
Application number
KR1020100019919A
Other languages
English (en)
Other versions
KR20100100704A (ko
Inventor
케빈 엠. 퍼거슨
Original Assignee
텍트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텍트로닉스 인코포레이티드 filed Critical 텍트로닉스 인코포레이티드
Publication of KR20100100704A publication Critical patent/KR20100100704A/ko
Application granted granted Critical
Publication of KR101725167B1 publication Critical patent/KR101725167B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

본 발명의 측면들은 이미지를 처리하는 방법 및 시스템에 관한 것으로, 특히 계산상 효율적이고 강건한 이미지 정렬을 위한 방법 및 시스템에 관한 것이다. 처음에, 비교적 큰 이미지 특징을 사용하여 정렬 측정값을 근사치로 계산할 수 있다. 최초 측정의 결과를 사용하여 다음의 정렬 측정에서 비교적 높은 해상도의 이미지와 관련하여 사용되는 검색 범위를 좁힐 수 있다. 좁혀진 검색 범위는, 미세한 세부 이미지(fine-detail image)를 사용한 정렬 측정에 실패한 경우에, 측정된 결과가 이전의 축소된 이미지 기반 측정에 의해 표시된 것과 같은 정확도를 가지는 것을 보증할 수 있다.

Description

이미지 레지스트레이션을 위한 방법 및 시스템 {METHODS AND SYSTEMS FOR IMAGE REGISTRATION}
본 발명의 실시예들은, 일반적으로 이미지를 처리하는 방법 및 시스템에 관한 것이고, 더욱 구체적으로 이미지 정렬(image alignment)을 위한 방법 및 시스템에 관한 것이다.
비디오 포맷 및 디바이스가 급증함에 따라, 이미즈 크기의 변경, 레지스트레이션(registration) 및 크로핑(cropping)이 더욱 빈번하게 일어날 수 있다. 리퍼포징(repurposing)을 위한 비디오 리포맷팅(video reformatting)도 과거에 비해 더욱 흔하다. 예를 들면, 601개 라인당 720개 샘플의 SD(Standard Definition, 표준화질) 비디오 신호를 704 ATSC(Advanced Television Systems Committee) 디지털 방송 신호로서 전송하기 위해서는 리포맷팅이 필요할 것이다. 다른 예로서, SD와 HD 동시 방송(simulcast)에 의해 필요해질 수 있는, 720 SD 비디오 신호의 1920 HD(High Definition, 고화질) 비디오 신호로의 변환도 리포맷팅을 필요로 할 수 있다. 방송 옵션의 변경으로 인해 발생할 수 있는 리포맷팅 외에, 모바일 디바이스 및 다른 헨드헬드 디바이스에 사용하기 위한 비디오 포맷의 변환, 예를 들면 HDD의 QCIF(Quarter Common Image Format)으로의 변환도 리포매팅을 필요로 할 수 있다. 이 리포맷팅은 이미지 크기의 변경, 공간 레지스트레이션이라고도 하는 공간 시프트(spatial shift), 크로핑이라고도하는 이미지 경계 근방의 이미지 컨텐츠의 손실, 또는 다른 포맷팅 변경을 필요로 할 수 있다. 이러한 리포맷팅은, 새로운 종횡비(aspect ratio), 예를 들면 폭 대 높이의 비(width-to-height ratio)를 나타내는 16:9 대 4:3으로의 이미지 핏(image fit)을 필요로 할 수 있다. 리포맷팅은, 예를 들어 레터 박스(letterbox) 이미지의 경우에, 이미지의 측면들(sides)에서의 절단(truncation) 또는 크로핑, 사이드 패널(side panel)이라고도 하는, 이미지의 측면들에서의 공백 경계 세그먼트(blank border segment) 추가, 또는 마찬가지로 이미지의 상부 및 하부에 대해서도 동일한 작업을 필요로 할 수 있다. 리포맷팅은 장비 제조사, 방송사, 편집자 및 기타 비디오 전문가에게 문제를 일으킬 수 있다. 처리 장비가 맞지 않는 모드로 설정될 수 있거나 제대로 작동하지 않을 수 있거나, 또는 표준이, 예를 들면 위의 예에서처럼 720개 화소에서 704개 화소로 바뀔 수 있다.
비디오 출력의 공간 왜곡(spatial distortion), 스케일(scale), 오프셋(offset) 또는 시프트(shift)의 측정 및 크로핑 방법을 실행할 수 있는 계측기(measurement instrument)는 유용할 수 있다. 또, 화면 측정(picture measurement)은 전 기준 측정(full-reference measurement)을 위한 비디오 테스트 시퀀스 이미지와 비디오 기준 시퀀스 이미지 사이의 공간 정렬로 이익을 얻을 수 있다.
과거에는, 원본(orginal) 비디오 이미지 위에 사유의 스트라이프 플레이스(proprietary stripe place)를 사용하여 적어도 부분적으로 정렬을 달성하였다. 이것은 거슬리고(intrusive) 테스트 비디오와 기준 비디오 모두 스트라이프를 가질 것을 필요로 하며, 전송이나 저장을 위해 필요한 비디오 압축 또는 기타 처리를 하기 전에 스트라이프를 추가할 것을 필요로 한다. 일부 애플리케이션에서는, 측정의 필요가 생긴면 스트라이프를 추가하는 것은 실제적이거나 바람직하지 못하고, 이것은 자동화된 화질(picture quality) 측정 애플리케이션의 제약이었다.
소비자 가전 비디오 출력 검증(consumer electronics video output verification)과 같은 자동화된 비디오 측정(video measurement, VM) 애플리케이션을 위한 공간 왜곡을 측정하는 자동화된 방법이 유용할 수 있다. 자동 화질(PQ) 측정과 관련하여 사용하기 위한 자동화된 공간 정렬을 위한 방법도 마찬가지로 유용할 수 있다. 이 방법은, 비디오 신호의 품질을 떨어뜨릴 수 있는 디지털 압축 가공물(digital compression artifact), 불규칙 잡음(random noise), 양자화 에러(quantization error), 비선형 왜곡(non-linear distortion), 선형 왜곡( linear distortion), 간섭 및 기타 프로세스의 존재 시에 강건( robust)한 것이 바람직하다. 또한 이 방법은 비디오 신호에 부가된 임의의 스트라이프, 종횡비, DUT(Device Under Test, 피시험 디바이스) 화소 클록, 또는 적당한 수평 방향 또는 수직 방향의 스케일링(scaling), 오프셋 또는 크로핑에 대한 다른 표시를 포함하여, 비디오 컨텐츠에 대한 사전지식 없이 동작하는 것이 바람직할 수도 있다.
또한, 이 방법은 정확하고도 계산상 효율적인 것이 바람직할 수 있다. 코덱(codec, coder/decoder) 기술의 향상과 더불어, 주로 H.264 코덱의 개발과 개선에 있어, 가로 1920개 화소 세로 1080개 화소의 HD 비디오는 세부적으로 부족한 상관(correlation)을 유발하는 중요한 객관적으로 측정된 에러를 가지기가 더욱 쉽지만, 정상적인 보기 상태에서 뷰어에 나타나기는 원본 기준 비디오와 거의 동일하다. 특히, HD 비디오 코덱, 예를 들면, H.264 코덱, 및 다른 애플리케이션은 위한 공간 왜곡 측정에 대한 개선된 정확도는, 화소 레벨 테스트 비디오(pixel-level test video)가 손상될 수 있는 경우 유익할 수 있다. 화소 레벨 테스트 비디오는 낮은 국지화된 상관(localized correlation)을 가질 정도로 손상될 수 있지만, 정상적인 보기 상태에서, 평균적인 뷰어에는 품질이 양호한 것 같이 보인다. 전술한 유용한 특징을 추가적으로 유지하는, 계산상 효율적이고 정확한 방법은 유리할 수 있다.
따라서, 본 발명의 실시예들은 이미지 쌍의 계산상 효율적이고 정확한 레지스트레이션을 위한 방법 및 시스템을 포함한다.
본 발명의 일부 실시예에서, 제1 방향과 연관된 제1 축소 계수가 결정될 수있고, 제2 방향과 연관된 제2 축소 계수가 결정될 수 있다. 이 제1 축소 계수 및 제2 축소 계수에 따라 기준 이미지를 스케일링 할 수 있다. 일부 실시예에서는, 제1 축소 계수 및 제2 축소 계수에 따라 테스트 이미지를 스케일링 할 수 있다. 이들 실시예 중 일부에서, 상기 테스트 이미지는 연관된 테스트 이미지의 대강 정렬된 형태(crudely aligned version)일 수 있다. 다른 실시예에서는, 테스트 이미지를, 기준 이미지와 테스트 이미지 사이에 이루어진 대강의 정렬 측정(crude alignment measurement)에 따라 대강 정렬하는 외에, 제1 축소 계수 및 제2 축소 계수에 따라 스케일링 할 수 있다. 제1 정렬 측정값(first alignment measurement)은 스케일링된 테스트 이미지와 스케일링된 기준 이미지를 사용하여 결정될 수 있다. 제1 정렬 측정값에 따라 테스트 이미지가 조절된 후에, 기준 이미지 및 조절된 테스트 이미지를 사용하여 제2 정렬 측정값(second alignment measurement)을 측정할 수 있다. 제1 정렬 측정값은 제1 축소 계소 및 제2 축소 계수와 관련된 정확도일 수 있으며, 제2 정렬 측정값에 대한 검색 범위는 제1 축소 계수 및 제2 축소 계수와 관련될 수 있다.
본 발명의 대안 실시예들에서, 정렬 측정값의 연속적인 개선(successive refinement)은 비교적 고화질 이미지외 비교적 좁은 검색 범위를 계속 사용하여 얻을 수 있다. 예시적인 실시예에서는, 제1 방향과 연관된 제1 축소 계수를 결정할 수 있고, 제2 방향과 연관된 제2 축소 계수를 결정할 수 있다. 제1 축소 계수 및 제2 축소 계수에 따라 기준 이미지를 스케일링 할 수 있다. 일부 실시예에서는, 제1 축소 계수 및 제2 축소 계수에 따라 테스트 이미지를 스케일링할 수 있다. 이들 실시예 중 일부에서, 테스트 이미지는 연관된 테스트 이미지의 대강 정렬된 형태일 수 있다. 대안 실시예에서는, 테스트 이미지를, 기준 이미지와 테스트 이미지 사이에 이루어진 대강의 정렬 측정값(crude alignment measurement)에 따라 대강 정렬하는 외에, 제1 축소 계수 및 제2 축소 계수에 따라 스케일링 할 수 있다. 제1 정렬 측정값은 스케일링된 테스트 이미지와 스케일링된 기준 이미지를 사용하여 결정될 수 있다. 제1 정렬 측정값에 따라 테스트 이미지가 조절된 후에, 기준 이미지 및 조절된 테스트 이미지는 제1 방향과 연관된 제3 축소 계수 및 제2 방향과 연관된 제4 축소 계수에 따라 다시 스케일링될 수 있다. 제2 정렬 측정값은 축소된 기준 이미지와 축소 조절된 테스트 이미지를 사용하여 결정될 수 있다. 조절된 테스트 이미지는 제2 정렬 측정값에 따라 다시 조절될 수 있으며, 이 2회 조절된 테스트 이미지 및 기준 이미지를 사용하여 완성된 정렬 측정값을 결정할 수 있다.
본 발명의 다른 실시예는 수직 정렬과 수평 정렬에 대해 별개의 정렬 처리를 포함할 수 있다. 이 유형에 대한 예시적인 실시예에서는, 일차 통과(first pass)에서 수직 정렬 처리를 생략할 수 있으므로, 수평 정렬만을 처리하여 완료할 수 있다. 수평 정렬 처리를 수행하지 않는 이차 통과(second pass)는 수직 정렬만을 처리하여 완료할 수 있도록 이루어질 수 있다.
본 발명의 전술 목적 및 다른 목적, 특징 및 이점은 첨부도면과 함께 이하의 상세한 설명을 고려하면 더욱 쉽게 이해할 수 있을 것이다.
도 1은 축소된 해상도의 기준 이미지와 축소된 해상도의 테스트 이미지를 사용한 초기의 정렬 측정값 결정에 이어서 초기의 정렬 측정값의 연속적인 개선을 포함하며, 연속적인 개선에는 원본 기준 이미지와 초기의 정렬 측정값에 따라 조절된 테스트 이미지를 사용하는, 본 발명의 예시적인 실시예를 나타낸 도표이다.
도 2a 및 도 2b(도 2라고도 함)는 정렬 측정값을 개선하기 위한 다수의 개선 스테이지를 포함하는, 본 발명의 예시적인 실시예를 나타낸 도표이다.
도 3은 축소된 해상도의 기준 이미지와 감소된 해상도의 테스트 이미지를 사용한 한 방향에서의 초기의 정렬 측정값 결정에 이어서 초기의 정렬 측정값의 연속적인 개선을 포함하며, 연속적인 개선에는 원본 기준 이미지와 초기의 정렬 측정값에 따라 조절된 테스트 이미지를 사용하는, 본 발명의 예시적인 실시예를 나타낸 도표이다.
도면을 참조하면 본 발명을 가장 잘 이해할 수 있으며, 도면 전반에 걸쳐 유사한 부분은 유사한 도면부호로 표시되어 있다. 위에 열거된 도면들은 이 상세한 설명의 일부로서 명백히 포함된다.
여기서 도면에 개괄적으로 설명되고 도시된 바와 같이, 본 발명의 구성요소는 대단히 다양한 다른 구성으로 배치 및 설계될 수 있음을 쉽게 알 수 있을 것이다. 따라서, 본 발명의 방법 및 시스템의 실시예에 대한 이하의 더욱 상세한 설명은 본 발명의 범위를 한정하려는 것이 아니라 본 발명의 실시예를 나타낼 뿐이다.
본 발명의 실시예는 테스트 및 측정 장비 내에서 구현될 수 있다. 예를 들면, 본 발명의 실시예는 화질 분석기(picture quality analyzer)와 같은 비디오 테스트 장비에서 구현될 수 있다. TEKTRONIX®PQA5OO과 같은 화질 분석기는 본 발명의 실시예를 포함할 수 있다.
본 발명의 실시예의 요소들은 하드웨어, 펌웨어 및/또는 소프트웨어로 구현될 수 있다. 본 명세서에 나타낸 예시적인 실시예들은 이들 형태 중 하나를 설명할 뿐이지만, 해당 기술분야의 당업자는, 본 발명의 범위 내에서 이 요소들을 이 형태들 중 어느 것으로든 실시할 수 있다는 것을 이해할 수 있을 것이다.
본 발명의 실시예는 비디오 장비로부터 생성되는 신호를 처리하는 데 사용될 수 있다. 이들 비디오 신호는, DVD 플레이어, 셋톱 박스 또는 방송사나 기타 컨텐츠 제공자가 사용하는 제작 장비(production equipment)와 같은, 재생 장비(playback equipment)에 의해, 최종 사용자에게 컨테츠를 전송하기 이전에 생성될 것이다.
본 발명의 일부 실시예는 예시적인 시나리오와 관련하여 설명될 수 있는데, 취득된 비디오 테스트 시퀀스 이미지는 비디오 기준 시퀀스 이미지에 대해 공간적으로 정렬될 수 있다. 공간 정렬 측정법(spatial alignment measurement)은, 본 발명의 발명자인 Kevin M.이 개발하여 "Measurement Apparatus and Method of Measurement of Video Spatial Scale, Offset and Cropping"라는 명칭으로 2007년 11월 21일자 출원한 미국특허출원 제11/944,050호(이하 '050' 출원이라고 함)에 기재된 개발한 방법 및 시스템에 따라 수행될 수 있으며, 상기한 출원의 내용 전부는 원용에 의해 본 명세서에 포함된다. 이 '050' 출원은 2006년 11월 22일자로 출원된 미국 가출원 제60/867,087호에 대해 우선권을 주장하며, 그 내용 전부는 원용에 의해 본 명세서에 포함된다.
'050' 출원에 기재된 발명의 일부 실시예는, 선형 왜곡 및 비선형 왜곡을 받은 취득된 테스트 이미지로부터, 기준 이미지에 대한, 예를 들면 수평 스케일, 수직 스케일, 오프셋, 크로핑과 같은 공간 왜곡 파라미터, 및 기타 공간 왜곡 파라미터를 측정하기 위해, 계속적으로 로컬 테스트하는 이미지와 기준 교차상관(cross-correlation)에 선형 허프 변환(linear Hough transform)을 사용할 수 있다. 예시적인 선형 왜곡 및 비선형 왜곡은 디지털 압축 및 아날로그 압축 가공물과 다른 왜곡을 포함할 수 있다.
여기서는 공간 레지스트레이션 및 정렬 측정과 관련하여 본 발명의 실시예를 설명할 것이지만, 시간 레지스트레이션과, 시프트의 파라미터[예를 들면, 지연, 예상(anticipation), 번역(translation) 및 기타 시프트 파라미터] 및 스케일의 파라미터[예를 들면, 샘플 레이트, 이득(gain), 승수(multiplier) 및 기타 스케일 파라미터]에 대해 대조(matching), 매핑(mapping), 상관, 식별(identification), 검색 및 기타 유사성 발견 방법을 필요로 할 수 있는 기타 애플리케이션에 본 발명의 실시예의 실시예를 적용할 수도 있다. 또한, 기준과 테스트 신호나 데이터 사이에 회전, 변환 및 다른 조작이 발생할 수 있는 애플리케이션에 본 발명의 실시예를 사용할 수도 있다.
여기서는 비디오 테스트 시퀀스 이미지와 비디오 기준 시퀀스 이미지의 정렬과 관련하여 본 발명의 실시예의 실시예를 설명할 것이지만, 비디오 시퀀스와 연관되지 않은 이미지의 정렬에 본 발명의 실시예를 적용할 수도 있다는 것을 알아야 한다.
도 1 및 도 2와 관련하여 본 발명의 일부 실시예를 설명한다. 이들 실시예에서는, 테스트 프레임으로도 간주되는 비디오 테스트 시퀀스 이미지를 기준 프레임으로도 간주되는 비디오 기준 시퀀스 이미지에 대해 공간적으로 정렬할 수 있다. 처음에, 비교적 큰 이미지 특징을 사용하여 정렬 측정값을 근사치로 계산할 수 있다. 최초 측정의 결과를 사용하여 다음의 정렬 측정에서 비교적 높은 해상도의 이미지와 관련하여 사용된 검색 범위를 좁힐 수 있다. 좁혀진 검색 범위는, 미세한 세부 이미지(fine-detail image)를 사용한 정렬 측정에 실패한 경우, 측정된 결과가 이전의 축소된 이미지 기반 측정에 의해 표시된 바와 같은 정확도를 가질 수 있다는 것을 보증할 수 있다.
도 1과 관련하여 설명하는 본 발명의 일부 실시예는 정렬 측정 검색 범위(2)와 연관된 축소 계수(6)의 계산(5)을 포함할 수 있다. 일부 실시예에서, 축소 계수(6)는 제1 방향(예를 들면, 수평 방향)에서의 제1 방향 축소 계수와, 제2 방향(예를 들면, 수직 방향)에서의 제2 방향 축소 계수를 포함할 수 있다. 대안 실시예에서, 축소 계수(6)는 두 방향 각각에서, 예를 들면 수평 방향과 수직 방향 에서 동일할 수있다. 본 발명의 일부 실시예에서, 제1 방향에서의 축소 계수는 다음 식에 따라 결정될 수 있다:
Figure 112010014270830-pat00001
위 식에서 FirstDirectionReductionFactor는 제1 방향에서의 축소 계수를 나타낼 수 있고, FirstDirectionSearchRange는 제1 방향에서의 검색 범위를 나타낼 수 있으며,
Figure 112010014270830-pat00002
는 최대 정수, 또는 플로어(floor), 함수를 나타낼 수 있다. 제2 방향에서의 축소 계수는 다음의 식에 따라 결정될 수 있다:
Figure 112010014270830-pat00003
위 식에서 SecondDirectionReductionFactor는 제2 방향에서의 축소 계수를 나타낼 수 있고, SecondDirectionSearchRange는 제2 방향에서의 검색 범위를 나타낼 수 있다.
제1 방향이 수평의 이미지 방향과 연관될 수 있고 제2 방향이 수직의 이미지 방향과 연관될 수 있는 본 발명의 일부 실시예에서, Rh로 표시될 수 있는 수평 축소 계수와 Rv로 표시될 수 있는 수직 축소 계수는 다음의 식에 따라 결정될 수 있다:
Figure 112010014270830-pat00004
위 식에서 SRH와SRV는 각각 수평 검색 범위와 수직 검색 범위를 나타낸다.
본 발명의 일부 실시예에서, 축소 계수의 결정은 축소 계수에 대한 총 처리 시간의 최적화를 포함할 수 있다. 본 발명의 대안 실시예(도시되지 않음)에서, 축소 계수는 미리정해진 값으로 설정될 수 있다. 본 발명의 다른 대안 실시예(도시되지 않음)에서, 축소 계수는 다른 이미지 파라미터 또는 특성에 따라 계산될 수 있다.
도 1에 도시된 본 발명의 일부 실시예에서는, 축소 계수 계산(5)에서 결정된 수평 축소 계수(6)와 축소 계수 계산(5)에서 결정된 수직 축소 계수(6) 각각에 따라, 활성 기준 프레임(10)을 수평 방향으로 축소(12)할 수 있고 수직 방향으로 축소(14)할 수 있다. 또 결정된 수평 축소 계수 및 결정된 수직 축소 계수에 따라,활성 테스트 프레임을 수평 방향과 수직 방향으로 각각 축소할 수 있다. 도 1에 도시된 본 발명의 실시예에서는, 수평 축소 계수(6)와, '050' 출원 또는 해당 기술분야에 공지된 다른 정렬 방법에 따라 취득된 대강의 정렬에 따라 결정된 대강의 수평 스케일에 의해, 활성 테스트 프레임(20)을 수평 방향으로 축소(22)할 수 있다. 또 수직 축소 계수(6)와, 대강의 정렬에 따라 결정된 대강의 수직 스케일에 의해, 활성 테스트 프레임(20)을 수직 방향으로 축소(24)할 수 있다. 축소된 테스트 이미지를 대강의 정렬과 연관된 대강의 오프셋에 따라 시프트할 수 있다.
대안 실시예(도시되지 않음)에서, 테스트 이미지는 대강의 정렬에 따른 결과로서 형성된 이미지일 수 있으며, 수평 축소 계수 및 수직 축소 계수에 따라 이 테스트 이미지를 축소할 수 있다.
일부 실시예에서는, 다운 샘플링(down-sampling)으로도 간주되는, 이미지 축소를 '050' 출원의 방법에 따라 수행할 수 있다. 대안 실시예에서는, 다른 다운 샘플링 방법이 이미지 축소를 위해 사용될 수 있다.
축소된 기준 이미지(15) 및 축소된 테스트 이미지(25)를 사용하여 개선된 정렬 측정을 수행(16)할 수 있다. 본 발명의 일부 실시예에서는, '050' 출원에 따라서 개선된 정렬 측정을 수행할 수 있다. 본 발명의 대안 실시예에서는, 다른 정렬 방법에 따라 개선된 정렬 측정을 수행할 수 있다. 검색 범위는 개선된 정렬 측정과 연관될 수 있다. 본 발명의 일부 실시예에서, 이미지 치수에 있어 검색 범위는 연관된 치수에 있어 이미지 크기의 30 퍼센트일 수 있다. 테스트 이미지 및 기준 이미지의 사이즈가 축소되었기 때문에, 동일한 퍼센트 값의 검색 범위를 가지는 더 큰 이미지에 대해 이루어지는 측정에 비해 향상된 계산 속도로 개선된 정렬 측정을 수행할 수 있다.
비교적 낮은 해상도의 이미지에 대해 결과로서 얻은(resulting) 정렬 측정 결과(17)는 RHscale로 표시될 수 있는 수평 스케일 측정값, RVscale로 표시될 수 있는 수직 스케일 측정값, RHoffset로 표시될 수 있는 수평 오프셋 측정값, 및 RVoffset로 표시될 수 있는 수직 오프셋 측정값을 포함할 수 있다. 이 비교적 낮은 해상도의 이미지(lower-resolution-image)의 정렬 측정값은, 비교적 높은 해상도의 이미지에 관한 축소 계수에 근거한 것일 수 있는 비교적 낮은 정확도를 갖는 비교적 높은 해상도 이미지에서의 측정값에 대응할 수 있다. 특히, 수평 방향으로 ±Rh 화소 그리고 수직 방향으로 ±Rv 화소의 정확도 내에서, 정렬은 올바를 수 있다.
그후 활성 테스트 이미지(20)를 정렬 측정 결과(17)에 따라 축소(26, 28)할 수 있다. 정렬 조절된 테스트 이미지(29) 및 활성 기준 프레임(10)을 사용하여 개선된 정렬 측정을 수행(18)할 수 있다. 개선된 정렬 측정(18)에서는 좁혀진 검색 범위를 사용할 수 있다. 따라서, 비교적 큰 이미지에 대하여 개선된 정렬 측정(18)을 수행할 수 있지만, 검색 범위는 축소될 수 있으므로, 향상된 계산 속도를 제공할 수 있다. 그 결과로서 얻은 정렬 측정 결과(19)는 화소 정확도에 대해 정확할 수 있다.
도 2에 관련하여 본 발명의 대안 실시예를 이해할 수 있다. 이들 실시예에서는, 비교적 고해상도의 이미지와 비교적 좁은 검색 범위를 연속적으로 사용하여 정렬 측정에 대한 연속적인 개선을 얻을 수 있다. 도 2에 도시된 본 발명의 예시적인 실시예는 이미지 크기의 2회 연속 축소를 포함한다. 해당 기술분야의 당업자는 방법을 추가적인 네스팅(nesting) 레벨로 확장에 대해 알 것이다. 도 2에 도시된 예시적인 실시예는 본 발명의 방법 및 시스템을 설명하는 것으로 보아야 하고 본 발명을 한정하는 것으로 해석되어서는 안된다.
도 2와 관련하여 설명되는 본 발명의 일부 실시예는 정렬 측정 검색 범위(32)와 연관된 초기 축소 계수(36)의 계산(35)을 포함할 수 있다. 일부 실시예에서, 초기 축소 계수(36)는 제1 방향(예를 들면, 수평 방향)에서의 초기 제1 방향 축소 계수와, 제2 방향(예를 들면, 수직 방향)에서의 초기 제2 방향 축소 계수를 포함할 수 있다. 대안 실시예에서, 초기 축소 계수(36)는 두 방향 각각에서, 예를 들면 수평 방향과 수직 방향에서 동일할 수 있다. 본 발명의 일부 실시예에서, 제1 방향에서의 초기 축소 계수는 다음 식에 따라 결정될 수 있다:
Figure 112010014270830-pat00005
위 식에서, InitialFirstDirectionReductionFactor는 제1 방향에서의 초기 축소 계수를 나타낼 수 있고, FirstDirectionSearchRange는 제1 방향에서의 검색 범위를 나타낼 수 있으며,
Figure 112010014270830-pat00006
는 최대 정수, 또는 플로어(floor), 함수를 나타낼 수 있다. 제2 방향에서의 초기 축소 계수는 다음의 식에 따라 결정될 수 있다:
Figure 112010014270830-pat00007
위 식에서 InitialSecondDirectionReductionFactor는 제2 방향에서의 초기 축소 계수를 나타낼 수 있고, SecondDirectionSearchRange는 제2 방향에서의 검색 범위를 나타낼 수 있다.
제1 방향이 수평의 이미지 방향과 연관될 수 있고 제2 방향이 수직의 이미지 방향과 연관될 수 있는 본 발명의 일부 실시예에서, Rh0로 표시될 수 있는 초기 수평 축소 계수와 Rv0로 표시될 수 있는 초기 수직 축소 계수는 다음의 식에 따라 결정될 수 있다:
Figure 112010014270830-pat00008
위 식에서 SRH와SRV는 각각 수평 검색 범위와 수직 검색 범위를 나타낸다.
본 발명의 일부 실시예에서, 초기 축소 계수의 결정은 초기 축소 계수에 대한 총 처리 시간의 최적화를 포함할 수 있다. 본 발명의 대안 실시예(도시되지 않음)에서, 초기 축소 계수는 미리정해진 값으로 설정될 수 있다. 본 발명의 다른 대안 실시예(도시되지 않음)에서, 초기 축소 계수는 다른 이미지 파라미터 또는 특성에 따라 계산될 수 있다.
도 2에 도시된 본 발명의 일부 실시예에서는, 축소 계수 계산(35)에서 결정된 초기 수평 축소 계수(36)와 축소 계수 계산(35)에서 결정된 초기 수직 축소 계수(36) 각각에 따라, 활성 기준 프레임(40)을 수평 방향으로 축소(42)할 수 있고 수직 방향으로 축소(44)할 수 있다. 또 결정된 초기 수평 축소 계수 및 결정된 초기 수직 축소 계수에 따라, 활성 테스트 프레임을 수평 방향과 수직 방향으로 각각 축소할 수 있다. 도 2에 도시된 본 발명의 실시예에서는, 초기 수평 축소 계수(36)와, '050' 출원 또는 해당 기술분야에 공지된 다른 정렬 방법에 따라 취득된 대강의 정렬에 따라 결정된 대강의 수평 스케일에 의해, 활성 테스트 프레임(50)을 수평 방향으로 축소(52)할 수 있다. 또 수직 축소 계수(36)와, 대강의 정렬에 따라 결정된 대강의 수직 스케일에 의해, 활성 테스트 프레임(50)을 수직 방향으로 축소(54)할 수 있다. 축소된 테스트 이미지를 대강의 정렬과 연관된 대강의 오프셋에 따라 시프트할 수 있다. 대안 실시예(도시되지 않음)에서, 테스트 이미지는 대강의 정렬에 따른 결과로서 형성된 이미지일 수 있으며, 수평 축소 계수 및 수직 축소 계수에 따라 이 테스트 이미지를 축소할 수 있다.
다운 샘플링으로도 간주되는, 이미지 축소는 일부 실시예에서 '050' 출원의 방법에 따라 수행될 수 있다. 대안 실시예에서는, 다른 다운 샘플링 방법이 이미지 축소를 위해 사용될 수 있다.
축소된 기준 이미지(45) 및 축소된 테스트 이미지(55)를 사용하여 개선된 정렬 측정을 수행(46)할 수 있다. 본 발명의 일부 실시예에서는, '050' 출원에 따라서 개선된 정렬 측정을 수행(46)할 수 있다. 본 발명의 대안 실시예에서는, 다른 정렬 방법에 따라 개선된 정렬 측정을 수행(46)할 수 있다. 검색 범위는 개선된 정렬 측정과 연관될 수 있다. 본 발명의 일부 실시예에서, 이미지 치수에 있어 검색 범위는 연관된 치수에 있어 이미지 크기의 30 퍼센트일 수 있다. 테스트 이미지 및 기준 이미지의 사이즈가 축소되었기 때문에, 동일한 퍼센트 값의 검색 범위를 가지는 더 큰 이미지에 대해 이루어지는 측정에 비해 향상된 계산 속도로 개선된 정렬 측정을 수행할 수 있다.
비교적 낮은 해상도의 이미지에 대한 결과로서 얻은 정렬 측정 결과(47)는 RH0scale로 표시될 수 있는 제1 결과 수평 스케일 측정값, RV0scale로 표시될 수 있는 제1 결과 수직 스케일 측정값, RH0offset로 표시될 수 있는 제1 결과 수평 오프셋 측정값, 및 RV0offset로 표시될 수 있는 제1 수직 오프셋 측정값을 포함할 수 있다. 이 비교적 낮은 해상도의 이미지의 정렬 측정값은, 비교적 높은 해상도의 이미지에 관한 축소 계수에 근거한 것일 수 있는 비교적 낮은 정확도를 갖는 비교적 높은 해상도 이미지에서의 측정값에 대응할 수 있다. 특히, 수평 방향으로 ±Rh0 화소 그리고 수직 방향으로 ±Rv0 화소의 정확도 내에서, 정렬은 올바를 수 있다.
정렬 측정(46)의 결과(47)에 따라 활성 테스트 이미지(50)를 조절(56, 58)할 수 있다. 제2 수평 축소 계수 Rh1 및 제2 수직 축소 계수 Rv1에 따라, 활성 기준 프레임(40) 및 조절된 테스트 이미지(59)을 각각, 수평 방향으로 축소(62, 72)할 수 있고 수직 방향으로 축소(64, 74)할 수 있다. 제2 수평 축소 계수 및 제2 수직 축소 계수는, 초기에 결정된 수평 축소 계수 및 초기에 결정된 수직 축소 계수와 각각 관련될 수 있다. 본 발명의 일부 실시예에서, 제2 축소 계수는 초기 축소 계수의 대략 반값일 수 있다. 수평 방향으로 ±Rh0 화소의 수평 검색 범위와 수직 방향으로 ±Rv0 화소의 수직 검색 범위를 사용하여 개선된 정렬 측정값(67)을 얻기 위해(66), 결과로서 얻은 축소된 기준 이미지(65)와 축소된 테스트 이미지(75)를 사용할 수 있다.
비교적 낮은 해상도의 이미지에 대한 결과인 정렬 측정 결과(67)는 RH1scale로 표시될 수 있는 제2 결과의 수평 스케일 측정값, RV1scale로 표시될 수 있는 제2 결과의 수직 스케일 측정값, RH1offset로 표시될 수 있는 제2 결과의 수평 오프셋 측정값, 및 RV1offset로 표시될 수 있는 제2 결과의 수직 오프셋 측정값을 포함할 수 있다. 이 비교적 낮은 해상도의 이미지의 정렬 측정값은, 비교적 높은 해상도의 이미지에 관한 축소 계수에 근거한 것일 수 있는 비교적 낮은 정확도를 갖는 비교적 높은 해상도 이미지에서의 측정값에 대응할 수 있다. 특히, 수평 방향으로 ±Rh1 화소 그리고 수직 방향으로 ±Rv1 화소의 정확도 내에서, 정렬은 올바를 수 있다.
그후 이전에 보정된 테스트 이미지(59)를 정렬 측정 결과(67)에 따라 축소(76, 78)할 수 있다. 정렬 조절된 테스트 이미지(79) 및 활성 기준 프레임(40)을 사용하여 개선된 정렬 측정을 수행(68)할 수 있다. 이전의 축소 계수에 대응하는 좁혀진 검색 범위를 개선된 정렬 측정(68)에서 사용할 수 있다. 따라서, 비교적 큰 이미지에 대하여 개선된 정렬 측정(68)을 수행할 수 있지만, 검색 범위는 축소될 수 있으므로, 향상된 계산 속도를 제공할 수 있다. 결과인 정렬 측정 결과(69)는 화소 정확도에 대해 정확할 수 있다.
본 발명의 대안 실시예는 수직 정렬과 수평 정렬에 대해 별개의 정렬 처리를 포함할 수 있다. 이 유형에 대한 예시적인 실시예에서는, 일차 통과에서 수직 정렬 처리를 생략할 수 있으므로, 수평 정렬만을 처리하여 완료할 수 있다. 그후 수평 정렬 처리를 수행하지 않는 이차 통과는 수직 정렬만을 처리하여 완료할 수 있도록 이루어질 수 있다. 이 대안 실시예를 도 3과 관련하여 설명할 수 있다.
도 3과 관련하여 설명되는 본 발명의 일부 실시예는, D로 표시될 수 있는 제1 방향에서의, SR로 표시될 수 있는 정렬 측정의 검색 범위(82)와 연관된 Rd로 표시될 수 있는 축소 계수(86)의 계산(85)을 포함할 수 있다. 일부 실시예에서, 축소 계수(86)는 수평 방향 또는 수직 방향과 연관될 수 있다. 본 발명의 일부 실시예에서, 제1 방향에서의 축소 계수는 다음의 식에 따라 결정될 수 있다.
Figure 112010014270830-pat00009
위 식에서
Figure 112010014270830-pat00010
는 최대 정수, 또는 플로어( floor), 함수를 나타낼 수 있다.
본 발명의 일부 실시예에서, 제1 방향에서의 축소 계수의 결정은 제1 방향에서의 축소 계수에 대한 총 처리 시간의 최적화를 포함할 수 있다. 본 발명의 대안 실시예(도시되지 않음)에서, 제1 방향에서의 축소 계수는 미리정해진 값으로 설정될 수 있다. 본 발명의 다른 대안 실시예(도시되지 않음)에서, 제1 방향에서의 축소 계수는 다른 이미지 파라미터 또는 특성에 따라 계산될 수 있다.
도 3에 도시된 본 발명의 일부 실시예에서는, 축소 계수 계산(85)에서 결정된 방향 축소 계수(86)에 따라 활성 기준 프레임(90)을 제1 방향 D로 축소(92)할 수 있다. 또 결정된 방향 축소 계수에 따라, 활성 테스트 프레임을 제1 방향 D로 축소할 수 있다. 도 3에 도시된 본 발명의 실시예에서는, 방향 축소 계수(38)와, '050' 출원 또는 해당 기술분야에 공지된 다른 정렬 방법에 따라 취득된 대강의 정렬에 따라 결정된 대강의 방향 기반 스케일에 의해, 활성 테스트 프레임(100)을 제1 방향 D로 축소(102)할 수 있다. 또 대강의 정렬과 관련된 대강의 오프셋에 따라 축소된 테스트 이미지를 시프트할 수 있다. 대안 실시예(도시되지 않음)에서, 테스트 이미지는 대강의 정렬에 따른 결과로서 형성된 이미지일 수 있으며, 방향 축소 계수에 따라 이 테스트 이미지를 축소할 수 있다.
다운 샘플링으로도 간주되는, 이미지 축소는 '050' 출원의 방법에 따라 일부 실시예에서 수행될 수 있다. 대안 실시예에서는, 다른 다운 샘플링 방법이 이미지 축소를 위해 사용될 수 있다.
축소된 기준 이미지(95) 및 축소된 테스트 이미지(105)를 사용하여 개선된 정렬 측정을 수행(96)할 수 있다. 본 발명의 일부 실시예에서는, '050' 출원에 따라서 개선된 정렬 측정을 수행(96)할 수 있다. 본 발명의 대안 실시예에서는, 다른 정렬 방법에 따라 개선된 정렬 측정을 수행(96)할 수 있다. 검색 범위는 개선된 정렬 측정과 연관될 수 있다. 본 발명의 일부 실시예에서, 제1 방향에서의 검색 범위는 연관된 치수에 있어 이미지 크기의 30 퍼센트일 수 있다. 테스트 이미지 및 기준 이미지의 사이즈가 축소되었기 때문에, 동일한 퍼센트 값의 검색 범위를 가지는 더 큰 이미지에 대해 이루어지는 측정에 비해 향상된 계산 속도로 개선된 정렬 측정을 수행할 수 있다.
비교적 낮은 해상도의 이미지에 대한 결과인 정렬 측정 결과(97)는 RDscale로 표시될 수 있는 제1 방향의 스케일 측정값, RDoffset로 표시될 수 있는 제1 방향의 오프셋 측정값을 포함할 수 있다. 이 비교적 낮은 해상도의 이미지 측정값은, 비교적 높은 해상도의 이미지에 관한 축소 계수에 근거한 것일 수 있는 비교적 낮은 정확도를 갖는 비교적 높은 해상도 이미지에서의 측정값에 대응할 수 있다. 특히, 제1 방향으로 ±Rd 화소의 정확도 내에서, 정렬은 올바를 수 있다.
정렬 측정 결과(97)에 따라 활성 테스트 이미지(100)를 제1 방향으로 축소(106)할 수 있다. 정렬 조절된 테스트 이미지(109) 및 활성 기준 프레임(90)을 사용하여 개선된 정렬 측정(98)을 수행할 수 있다. 개선된 정렬 측정(98)에서는 이전의 축소 계수에 대응하는 좁혀진 검색 범위를 사용할 수 있다. 따라서, 비교적 큰 이미지에 대하여 개선된 정렬 측정(98)을 수행할 수 있지만, 검색 범위는 축소될 수 있으므로, 향상된 계산 속도를 제공할 수 있다. 결과인 정렬 측정 결과(99)는 화소 정확도에 대해 정확할 수 있다.
본 발명의 일부 실시예에서, 도 3과 관련하여 설명된 실시예에 따른 정렬 처리는 제1 방향으로 수행되어 완료될 수 있다. 그후 도 3과 관련하여 설명된 실시예에 따른 정렬 처리는 제2 방향으로 수행되어 완료될 수 있다. 일부 실시예에서, 이차 통과에 의한 활성 테스트 프레임은 일차 통과에 의한 활성 테스트 프레임과 동일할 수 있다. 대안 실시예에서, 이차 통과한 액티브 테스트 프레임은, 제1 방향으로 이루어진 완료된 정렬 측정에 따라 조절된 일차 통과 액티브 테스트 프레임일 수 있다.
개별적인 방향 통과를 포함하는 본 발명의 대안 실시예는, 한 방향으로만 처리하도록 수정된 도 2에 따른 다수의 네스팅된 개선 스테이지를 포함할 수 있다. 본 발명의 대안 실시예들은 적응적인(adaptive) 연속적인 개선을 포함할 수 있다. 이들 실시예에서, 속도, 정확도 및 강건도(robustness)는, 더 많은 처리가 필요한지를 결정을 위해 각각의 개선된 정렬 측정에서 추정된 상관 계수를 사용하여 적응적으로 균형을 이룰 수 있다. 일부 실시예에서, 축소된 이미지 레벨과 연관된 최대 상관을 검사할 수 있고, 그 최대 상관값이 충분히 크지 않으면, 검색 범위를 축소하지 않고 다음 레벨을 측정할 수 있다. 이것은 최대 상관값이 임계값을 초과하거나 해상도가 원본 이미지의 해상도에 도달할 때까지 반복적으로 일어날 수 있다.
이상의 명세서에서 사용된 용어와 표현은 설명을 위한 용어로서 사용된 것이고 한정하기 위해 사용된 것은 아니며, 그러한 용어 및 표현의 사용에 있어 도시하고 설명한 특징 또는 부분의 등가물을 제외하려는 의도는 없으므로, 본 발명의 범위로 뒤따르는 청구항에 의해서만 규정되고 한정되는 것임을 알아야 한다.

Claims (20)

  1. 테스트 이미지와 기준 이미지를 정렬하는 방법으로서,
    a) 제1 방향과 연관된 제1 축소 계수를 결정하는 단계;
    b) 제2 방향과 연관된 제2 축소 계수를 결정하는 단계;
    c) 상기 제1 축소 계수 및 상기 제2 축소 계수에 따라 기준 이미지를 스케일링하는 단계;
    d) 상기 제1 축소 계수 및 상기 제2 축소 계수에 따라 테스트 이미지를 스케일링하는 단계;
    e) 상기 스케일링된 테스트 이미지와 상기 스케일링된 기준 이미지를 사용하여 상기 테스트 이미지와 상기 기준 이미지 사이의 제1 정렬 측정값을 결정하는 단계;
    f) 상기 제1 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계; 및
    g) 상기 조절된 테스트 이미지 및 상기 기준 이미지를 사용하여 상기 테스트 이미지와 상기 기준 이미지 사이의 제2 정렬 측정값을 결정하는 단계
    를 포함하고,
    상기 제1 축소 계수는 상기 제1 방향에서의 제1 검색 범위에 기초하고;
    상기 제2 축소 계수는 상기 제2 방향에서의 제2 검색 범위에 기초하는, 방법.
  2. 제1항에 있어서,
    a) 상기 제1 방향은 수직 방향과 수평 방향으로 구성된 그룹에서 선택된 하나의 방향이고;
    b) 상기 제2 방향은 상기 수직 방향과 수평 방향으로 구성된 그룹에서 선택되지 않은 다른 방향인, 방법.
  3. 제1항에 있어서,
    상기 제2 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서,
    a) 상기 제1 축소 계수는
    Figure 112016113628192-pat00011
    에 따라 계산되고, FirstSearchRange는 상기 제1 검색 범위를 나타내며;
    b) 상기 제2 축소 계수는
    Figure 112016113628192-pat00012
    에 따라 계산되고, SecondSearchRange는 상기 제2 검색 범위를 나타내는, 방법.
  5. 제1항에 있어서,
    a) 상기 테스트 이미지 및 상기 기준 이미지에 대해, 대강의 정렬 측정값을 수신하는 단계를 더 포함하고;
    b)
    i) 상기 테스트 이미지를 스케일링하는 단계는, 상기 대강의 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계를 더 포함하고;
    ii) 상기 제1 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계는, 상기 대강의 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 테스트 이미지는 상기 테스트 이미지와 연관된 이미지의 대강 정렬된 형태를 포함하는, 방법.
  7. 테스트 이미지와 기준 이미지를 정렬하는 방법으로서,
    a) 제1 방향과 연관된 제1 축소 계수를 결정하는 단계;
    b) 상기 제1 축소 계수에 따라, 상기 제1 방향에서, 기준 이미지를 스케일링하는 단계;
    c) 상기 제1 축소 계수에 따라, 상기 제1 방향에서, 테스트 이미지를 스케일링하는 단계;
    d) 상기 제1 방향에서 스케일링된 테스트 이미지와 상기 제1 방향에서 스케일링된 기준 이미지를 사용하여, 상기 제1 방향에서, 상기 테스트 이미지와 상기 기준 이미지 사이의 제1 방향의 제1 정렬 측정값을 결정하는 단계;
    e) 상기 제1 방향의 제1 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계; 및
    f) 상기 제1 방향의 제1 정렬 측정값과 상기 기준 이미지에 따라, 상기 제1 방향에서, 상기 테스트 이미지와 상기 기준 이미지 사이의 제1 방향의 제2 정렬 측정값을 결정하는 단계
    를 포함하고,
    상기 제1 축소 계수는 상기 제1 방향에서의 제1 검색 범위에 기초하는, 방법.
  8. 제7항에 있어서,
    a) 제2 방향과 연관된 제2 축소 계수를 결정하는 단계;
    b) 상기 제2 축소 계수에 따라, 상기 제2 방향에서, 상기 기준 이미지를 스케일링하는 단계;
    c) 상기 제2 축소 계수에 따라, 상기 제2 방향에서, 상기 테스트 이미지를 스케일링하는 단계;
    d) 상기 제2 방향에서 스케일링된 테스트 이미지와 상기 제2 방향에서 스케일링된 기준 이미지를 사용하여, 상기 제2 방향에서, 상기 테스트 이미지와 상기 기준 이미지 사이의 제2 방향의 제1 정렬 측정값을 결정하는 단계;
    e) 상기 제2 방향의 제1 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계; 및
    f) 상기 제2 방향의 제1 정렬 측정값과 상기 기준 이미지에 따라 조절된 상기 테스트 이미지를 사용하여, 상기 제2 방향에서, 상기 테스트 이미지와 상기 기준 이미지 사이의 제2 방향의 제2 정렬 측정값을 결정하는 단계
    를 포함하고,
    상기 제2 축소 계수는 상기 제2 방향에서의 제2 검색 범위에 기초하는, 방법.
  9. 제8항에 있어서,
    a) 상기 제1 방향은 수직 방향과 수평 방향으로 구성된 그룹에서 선택된 하나의 방향이고;
    b) 상기 제2 방향은 상기 수직 방향과 수평 방향으로 구성된 그룹에서 선택되지 않은 다른 방향인, 방법.
  10. 제8항에 있어서,
    상기 제1 방향의 제2 정렬 측정값 및 상기 제2 방향의 제2 측정값에 따라, 상기 테스트 이미지를 조절하는 단계를 더 포함하는 방법.
  11. 제8항에 있어서,
    상기 제1 축소 계수는
    Figure 112016113628192-pat00013
    에 따라 계산되고, FirstSearchRange는 상기 제1 검색 범위를 나타내며;
    b) 상기 제2 축소 계수는
    Figure 112016113628192-pat00014
    에 따라 계산되고, SecondSearchRange는 상기 제2 검색 범위를 나타내는, 방법.
  12. 제8항에 있어서,
    a) 상기 테스트 이미지 및 상기 기준 이미지에 대해, 대강의 정렬 측정값을 수신하는 단계를 더 포함하고;
    b)
    i) 상기 제1 방향에서, 상기 테스트 이미지를 스케일링하는 단계는, 상기 대강의 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계를 더 포함하고;
    ii) 상기 제1 방향의 제1 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계는, 상기 대강의 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계를 더 포함하며;
    iii) 상기 제2 방향에서, 상기 테스트 이미지를 스케일링하는 단계는, 상기 대강의 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계를 더 포함하고;
    iv) 상기 제2 방향의 제1 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계는, 상기 대강의 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계를 더 포함하는, 방법.
  13. 제8항에 있어서,
    상기 테스트 이미지는 상기 테스트 이미지와 연관된 이미지의 대강 정렬된 형태를 포함하는, 방법.
  14. 제7항에 있어서,
    상기 제1 축소 계수는
    Figure 112016113628192-pat00015
    에 따라 계산되고, FirstSearchRange는 상기 제1 검색 범위를 나타내는, 방법.
  15. 제7항에 있어서,
    a) 상기 테스트 이미지 및 상기 기준 이미지에 대해, 대강의 정렬 측정값을 수신하는 단계를 더 포함하고;
    b)
    i) 상기 제1 방향에서, 상기 테스트 이미지를 스케일링하는 단계는, 상기 대강의 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계를 더 포함하고;
    ii) 상기 제1 방향의 제1 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계는, 상기 대강의 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계를 더 포함하는, 방법.
  16. 제7항에 있어서,
    상기 테스트 이미지는 상기 테스트 이미지와 연관된 이미지의 대강 정렬된 형태를 포함하는, 방법.
  17. 테스트 이미지와 기준 이미지를 정렬하는 방법으로서,
    a) 제1 방향과 연관된 제1 축소 계수를 결정하는 단계;
    b) 제2 방향과 연관된 제2 축소 계수를 결정하는 단계;
    c) 상기 제1 축소 계수 및 상기 제2 축소 계수에 따라 기준 이미지를 스케일링하여, 제1 스케일링된 기준 이미지를 생성하는 단계;
    d) 상기 제1 축소 계수 및 상기 제2 축소 계수에 따라 테스트 이미지를 스케일링하여, 제1 스케일링된 테스트 이미지를 생성하는 단계;
    e) 상기 제1 스케일링된 기준 이미지와 상기 제1 스케일링된 테스트 이미지를 사용하여, 상기 테스트 이미지와 상기 기준 이미지 사이의 제1 정렬 측정값을 결정하는 단계;
    f) 상기 제1 정렬 측정값에 따라 상기 테스트 이미지를 조절하는 단계;
    g) 상기 제1 방향과 연관된 제3 축소 계수를 결정하는 단계;
    h) 상기 제2 방향과 연관된 제4 축소 계수를 결정하는 단계;
    i) 상기 제3 축소 계수 및 상기 제4 축소 계수에 따라 상기 기준 이미지를 스케일링하여, 제2 스케일링된 기준 이미지를 생성하는 단계;
    j) 상기 제3 축소 계수 및 상기 제4 축소 계수에 따라, 상기 제1 정렬 측정값에 따라 조절된 테스트 이미지를 스케일링하여, 스케일링된, 제1 조절된 테스트 이미지를 생성하는 단계;
    k) 상기 스케일링된 기준 이미지와 상기 스케일링된, 제1 조절된 테스트 이미지를 사용하여, 상기 테스트 이미지와 상기 기준 이미지 사이의 제2 정렬 측정값을 결정하는 단계;
    l) 상기 제2 정렬 측정값에 따라, 상기 제1 정렬 측정값에 따라 조절된 테스트 이미지를 조절하는 단계; 및
    m) 상기 기준 이미지와, 상기 제2 정렬 측정값에 따라 조절된, 제1 정렬 측정값에 따라 조절된 테스트 이미지를 사용하여, 상기 테스트 이미지와 상기 기준 이미지 사이의 제3 정렬 측정값을 결정하는 단계
    를 포함하는 방법.
  18. 삭제
  19. 삭제
  20. 삭제
KR1020100019919A 2009-03-05 2010-03-05 이미지 레지스트레이션을 위한 방법 및 시스템 KR101725167B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/398,703 US8437577B2 (en) 2009-03-05 2009-03-05 Methods and systems for image registration
US12/398,703 2009-03-05

Publications (2)

Publication Number Publication Date
KR20100100704A KR20100100704A (ko) 2010-09-15
KR101725167B1 true KR101725167B1 (ko) 2017-04-10

Family

ID=42226652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100019919A KR101725167B1 (ko) 2009-03-05 2010-03-05 이미지 레지스트레이션을 위한 방법 및 시스템

Country Status (5)

Country Link
US (1) US8437577B2 (ko)
EP (1) EP2227030B1 (ko)
JP (1) JP5545565B2 (ko)
KR (1) KR101725167B1 (ko)
CN (1) CN101924872B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336596B2 (en) 2010-12-28 2016-05-10 Tektronix, Inc. System and methods to efficiently measure stereoscopic disparity and to generate related mismatch images
EP2490458B1 (en) 2011-02-15 2016-09-21 Nxp B.V. Control of a loudspeaker unit
US8963998B2 (en) 2011-04-15 2015-02-24 Tektronix, Inc. Full reference system for predicting subjective quality of three-dimensional video
US8942512B2 (en) 2011-12-24 2015-01-27 Ecole De Technologie Superieure Methods and systems for processing a first image with reference to a second image
TWI485632B (zh) * 2012-02-24 2015-05-21 Htc Corp 影像校準方法及影像校準系統
KR102190619B1 (ko) * 2013-04-22 2020-12-14 삼성전자주식회사 데이터 정합 방법 및 데이터 정합 모듈
CN106133787B (zh) * 2014-02-04 2020-09-01 皇家飞利浦有限公司 用于配准和可视化至少两个图像的方法
JP6478686B2 (ja) * 2015-02-12 2019-03-06 キヤノン株式会社 画像処理装置、印刷装置、画像処理装置の制御方法、印刷装置の制御方法、及びプログラム
CN107465940B (zh) * 2017-08-30 2019-10-25 苏州科达科技股份有限公司 视频对准方法、电子设备及存储介质
JP2023505590A (ja) 2019-12-12 2023-02-09 イルトゥー・ファルマ インターロイキン２キメラ構築物
US11210862B1 (en) * 2020-06-25 2021-12-28 Microsoft Technology Licensing, Llc Data selection for spatial reconstruction
WO2023057588A1 (en) 2021-10-06 2023-04-13 Iltoo Pharma Interleukin 2 chimeric constructs with targeting specificy to inflamed tissues
CA3146594A1 (en) * 2022-01-24 2023-07-24 Techinsights Inc. Image registration methods and systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292018A (ja) * 2004-04-02 2005-10-20 Dainippon Screen Mfg Co Ltd 欠陥検出装置、位置ずれ量取得装置および欠陥検出方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850466A (en) * 1995-02-22 1998-12-15 Cognex Corporation Golden template comparison for rotated and/or scaled images
US5784431A (en) * 1996-10-29 1998-07-21 University Of Pittsburgh Of The Commonwealth System Of Higher Education Apparatus for matching X-ray images with reference images
JPH1173510A (ja) * 1997-08-29 1999-03-16 Matsushita Electric Works Ltd 位置検出装置
JP3524819B2 (ja) * 1999-07-07 2004-05-10 株式会社日立製作所 画像比較によるパターン検査方法およびその装置
US6690840B1 (en) * 2000-02-08 2004-02-10 Tektronix, Inc. Image alignment with global translation and linear stretch
US6738532B1 (en) * 2000-08-30 2004-05-18 The Boeing Company Image registration using reduced resolution transform space
US8005301B2 (en) * 2006-08-25 2011-08-23 Q5 Innovations Inc. Method of difference sensing through optical coherent change detection
US7920758B2 (en) * 2006-11-22 2011-04-05 Tektronix, Inc. Measurement apparatus and method of measurement of video spatial scale, offset and cropping
US8184163B2 (en) * 2009-03-05 2012-05-22 Tektronix, Inc. Methods and systems for detecting and locating skipped frames in a video sequence

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292018A (ja) * 2004-04-02 2005-10-20 Dainippon Screen Mfg Co Ltd 欠陥検出装置、位置ずれ量取得装置および欠陥検出方法

Also Published As

Publication number Publication date
CN101924872A (zh) 2010-12-22
JP5545565B2 (ja) 2014-07-09
EP2227030B1 (en) 2017-02-08
EP2227030A3 (en) 2012-11-21
US20100226592A1 (en) 2010-09-09
KR20100100704A (ko) 2010-09-15
EP2227030A2 (en) 2010-09-08
JP2010206800A (ja) 2010-09-16
US8437577B2 (en) 2013-05-07
CN101924872B (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
KR101725167B1 (ko) 이미지 레지스트레이션을 위한 방법 및 시스템
US6483538B2 (en) High precision sub-pixel spatial alignment of digital images
JP4904502B2 (ja) ビデオ・フレーム測定装置及び方法
US8385422B2 (en) Image processing apparatus and image processing method
US8184163B2 (en) Methods and systems for detecting and locating skipped frames in a video sequence
KR20100138806A (ko) 자동 3차원 영상 포맷 변환 방법 및 그 장치
US8023765B2 (en) Block noise removal device
WO2004003846A2 (en) An objective method and system for estimating perceived image and video sharpness
CN102572502A (zh) 一种用于视频质量评价的关键帧的选取方法
JP2010525674A (ja) 強固なビデオ時間的レジストレーションのシステム及び方法
JP2010525674A5 (ko)
US8908093B2 (en) Determining aspect ratio for display of video
US8185334B2 (en) Methods and systems for filtering a digital signal
US8351705B2 (en) Defining image features and using features to monitor image transformations
CN111311584A (zh) 视频质量评估方法及装置、电子设备、可读介质
JP3526227B2 (ja) ビデオ・シーケンス位置合わせ方法
JP2007501561A (ja) ブロックアーティファクトの検出
WO2006033084A2 (en) Image interpolation.
US10037594B2 (en) Resolution estimating device
Hurst I Can See Clearly Now: A New Test Pattern for the Digital Age
KR20120027630A (ko) 비월주사 방식으로 얻어진 단일 정지영상의 영역별 이동량 및 속도측정 방법.
KR20100071648A (ko) 동영상 컨텐츠 오류 검출 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant