KR100972764B1 - 이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체 - Google Patents

이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체 Download PDF

Info

Publication number
KR100972764B1
KR100972764B1 KR1020087023740A KR20087023740A KR100972764B1 KR 100972764 B1 KR100972764 B1 KR 100972764B1 KR 1020087023740 A KR1020087023740 A KR 1020087023740A KR 20087023740 A KR20087023740 A KR 20087023740A KR 100972764 B1 KR100972764 B1 KR 100972764B1
Authority
KR
South Korea
Prior art keywords
image
high resolution
current frame
resolution image
frame
Prior art date
Application number
KR1020087023740A
Other languages
English (en)
Other versions
KR20080102256A (ko
Inventor
아키히코 이케타니
도모카즈 사토우
세이 이케다
마사유키 간바라
나오카즈 요코야
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20080102256A publication Critical patent/KR20080102256A/ko
Application granted granted Critical
Publication of KR100972764B1 publication Critical patent/KR100972764B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

[과제] 저해상 이미지를 고해상 이미지로 변환하는 시스템에서는, 시간적으로 연속의 프레임 이미지를 이용하여, 각 프레임에 대한 고해상 이미지를 실시간으로 생성하는 처리를 실시하기가 어렵다.
[해결수단] 이미지 처리 시스템은, 변환 파라미터 산출 유닛 (101), 초기 이미지 생성 유닛 (102), 고해상 이미지 생성 유닛 (103), 및 입력 이미지 및 변환 파라미터 저장 유닛 (110) 을 포함하며, 이전 프레임에 대한 현재 프레임의 변환 파라미터에 기초하여, 이전 프레임에서 생성된 고해상 이미지를 현재 프레임에 따라 변환시켜, 변환된 이미지를 초기값으로 하여 현재 프레임의 고해상 이미지 생성 처리를 수행한다.
입력 이미지 및 변환 파라미터 저장 수단, 변환 파라미터 산출 수단, 고해상 이미지 생성 수단, 초기 이미지 생성 수단

Description

이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체 {IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND RECORDING MEDIUM EMBODYING AN IMAGE PROCESSING PROGRAM}
기술 분야
본 발명은, 이미지 처리 장치, 이미지 처리 시스템, 이미지 처리 방법, 및 이미지 처리용 프로그램에 관한 것이다. 특히, 본 발명은, 동영상의 품질을 향상시킬 수 있는 이미지 처리 장치, 이미지 처리 시스템, 이미지 처리 방법, 및 이미지 처리용 프로그램에 관한 것이다.
배경 기술
이미지 품질을 향상시키는 종래의 방법의 일 예가 비-특허 문헌 1 에 기재되어 있다. 이미지 품질 향상 방법은, 피사체의 위치가 서브-화소 단위로 시프트되도록 동일한 피사체를 찍은 복수의 입력 이미지로부터, 피사체에 관한 보다 고해상 이미지를 복원한다.
N 개의 입력 이미지 (gn) (0≤n≤N-1) 가 존재하는 것을 가정한다. 비-특허 문헌 1 에 기재된 방법에서, 각 입력 이미지 (gn) 는, 다음의 식으로 나타내진 촬상 프로세스를 거쳐 촬상된 것으로 간주된다.
Figure 112008068078179-pct00001
여기서,
Figure 112008068078179-pct00002
는, 피사체의 고해상 이미지이고, Tn 은, n 번째 입력 이미지에 대한 기하학적 변환 (geometric conversion) 이며, h 는, 이미지 상의 임의의 좌표 (x, y) 에 대하여 불변 및 선형인 점 확산 함수이고,
Figure 112008068078179-pct00003
는, 이미지를 다운-샘플링하는 연산자이며,
Figure 112008068078179-pct00004
은, 평균 제로의 정규 분포로 나타내진 잡음이다. 상기 식은, 식 (2) 처럼 행렬 연산 형식으로 나타내질 수 있다.
Figure 112008068078179-pct00005
식 (2) 에서의
Figure 112008068078179-pct00006
은, 화소 값
Figure 112008068078179-pct00007
의 사전식 순서 (lexicographic ordering) 이다. 식 (2) 의
Figure 112008068078179-pct00008
및
Figure 112008068078179-pct00009
에 대해서도 동일하다. 또한, 식 (2) 에서의
Figure 112008068078179-pct00010
은, 각각이 선형 변형인 식 (1) 에서의 Tn, h 및
Figure 112008068078179-pct00011
이 결합되는 단일 행렬이다.
전체의 입력 이미지의 촬상 프로세스를 단일 식에 대입해, 식 (3) 을 획득할 수 있다.
Figure 112008068078179-pct00012
이 식에서, 고해상 이미지의 최대 사후 확률추정 (maximum a posterior estimate;
Figure 112008068078179-pct00013
) 이 식 (4) 로서 나타내질 수 있다.
Figure 112008068078179-pct00014
이와 관련하여,
Figure 112008068078179-pct00015
는, 각 입력 이미지에서의 위치가 정렬되도록 조정되는 평균 이미지이다.
이런 문제를 해결하기 위하여, 공액 구배법 (conjugate gradient method) 등과 같은 수치 계산법이 일반적으로 이용된다. 즉, 어떤 초기값으로부터 계산을 개시하여, 반복 계산의 수행으로 해를 수렴시킴으로써 최적의 해를 획득할 수 있다.
비-특허 문헌 1 : D. Capel "Image Mosaicing and Super-Resolution", Springer Verlag, 2004년 1월, pp. 86-147
발명의 개시
발명이 해결하고자 하는 과제
상기 방법은, 복수의 저해상 이미지를 입력하여 고해상 정지 영상을 출력으로서 생성하도록 의도되지만, 상기 방법은 저해상 동영상을 입력하여 고해상 동영상을 출력하는 시스템에도 적용가능하다. 이러한 시스템에 이 방법을 적용하는 경우, 저해상 동영상의 각 프레임에 대해, 그 프레임의 시간적 근방에 위치된 연속 프레임을 입력하여 상기 처리에 의해 동일 프레임의 고해상 정지 영상을 생성한다. 각 프레임에 대해 생성된 이미지를 연속적으로 재생함으로써, 고해상 동영상을 생성할 수 있다.
그러나, 상기 방법을 이용하여, 실시간으로 고해상 동영상을 생성하기는 어렵다. 그 이유는, 상기 방법에서는 고해상 동영상 생성이 반복 계산에 의해 수행되므로, 각 프레임에 대해 고해상 이미지를 획득하기 위해 요구된 처리량이 커지기 때문이다. 일반적으로, NTSC 비디오 신호의 실시간 처리를 위해서는 전용 하드웨어가 필요불가결하다.
따라서, 본 발명의 목적은, 실시간으로 고해상 동영상을 제공할 수 있는, 이미지 처리 장치, 이미지 처리 시스템, 이미지 처리 방법, 및 이미지 처리용 프로그램을 제공하는 것이다.
과제를 해결하기 위한 수단
본 발명에 따른 이미지 처리 장치 및 이미지 처리 시스템은, 변환 파라미터 산출 유닛, 초기 이미지 생성 유닛, 고해상 이미지 생성 유닛, 및 입력 이미지 및 변환 파라미터 저장 유닛을 포함한다. 이미지 처리 장치 및 이미지 처리 시스템은, 이전 프레임에 대한 현재 프레임의 변환 파라미터에 기초하여, 이전 프레임에서 생성된 고해상 이미지를 현재 프레임에 따라 변환시키고, 변환된 고해상 이미지를 초기값으로 이용하여 현재 프레임의 고해상 이미지 생성 처리를 수행함으로써, 본 발명의 목적을 달성할 수 있다.
발명의 효과
본 발명에 의하면, 고해상 이미지 생성 처리에서의 반복 계산의 횟수를 감소시킬 수 있다. 그 이유는, 이전 프레임의 고해상 이미지가 생성되길 원한 현재 프레임의 고해상 이미지와 유사한 것으로 간주될 수 있으므로, 이전 프레임이 현재 프레임에서의 고해상 이미지 생성 처리의 초기값으로 이용되기 때문이다. 이것을 이용하여, 최적의 해에 가까운 초기값으로부터 반복 계산을 개시할 수 있다. 따라서, 각 프레임에 대해 고해상을 획득하기 위해 요구된 처리량이 감소되고, 이로써, 전용 하드웨어 등을 구비하지 않고도, 실시간으로 보다 고해상의 동영상이 실현될 수 있다.
발명을 실시하기 위한 최선의 양태
다음으로, 본 발명을 실시하기 위한 최선의 양태가 도면을 참조로 설명될 것이다.
(예시적인 실시형태 1)
도 1 에 있어서, 본 발명에 따른 이미지 처리 장치의 제 1 예시적인 실시형태는, 프로그램 제어 하에 동작가능한 컴퓨터 (중앙 처리 장치; 프로세서; 데이터 처리 장치; 100), 및 입력 이미지 및 변환 파라미터 저장 유닛 (110) 에 의해 구성된다.
컴퓨터 (중앙 처리 장치; 프로세서; 데이터 처리 장치; 100) 는, 변환 파라미터 산출 유닛 (101), 초기 이미지 생성 유닛 (102), 및 고해상 이미지 생성 유닛 (103) 을 포함한다.
변환 파라미터 산출 유닛 (101) 은, 이전 프레임에 대한 현재 프레임의 기하학적 변형을 나타내는 변환 파라미터를 산출한다. 입력 이미지 및 변환 파라미터 저장 유닛 (110) 은, 현재 프레임 이미지, 및 변환 파라미터 산출 유닛 (101) 에 의해 산출된 변환 파라미터를 저장한다. 초기 이미지 생성 유닛 (102) 은, 변환 파라미터를 이용하여, 이전 프레임에서 생성된 고해상 이미지를 현재 프레임과 기하학적으로 일치하는 이미지로 변형시킨다.
고해상 이미지 생성 유닛 (103) 은, 초기 이미지 생성 유닛 (102) 에서 생성된 변형된 이미지를 초기값으로 하여, 입력 이미지 및 변환 파라미터 저장 유닛 (110) 에 저장된, 현재 프레임의 시간적 근방에 위치된 연속 프레임 및 그들의 변환 파라미터를 이용하여, 예를 들어, 비-특허 문헌 1 에 개시된 방법에 의해 현재 프레임의 고해상 이미지를 생성한다. 생성된 고해상 이미지는, 초기 이미지 생성 유닛 (102) 으로 전달되어, 다음 프레임의 고해상 이미지 생성을 위해 사용된다.
다음에, 제 1 예시적인 실시형태의 전체 동작이, 도 1, 및 도 2 의 흐름도를 참조로 상세히 설명될 것이다.
먼저, 컴퓨터 (100) 에 현재 프레임 이미지가 입력된다 (단계 A1). 그 후, 변환 파라미터 산출 유닛 (101) 에서, 이전 프레임 이미지에 대한 현재 프레임 이미지의 변형을 나타내는 변환 파라미터가 산출된다 (단계 A2). 그 후, 현재 프레임의 입력 이미지와, 변환 파라미터 산출 유닛 (101) 에 의해 산출된 변환 파라미터가 입력 이미지 및 변환 파라미터 저장 유닛 (110) 에 저장된다.
여기서, 입력 이미지 및 변환 파라미터 저장 유닛 (110) 의 저장 용량은 한정되기 때문에, 일정 수의 프레임에 앞서 저장된 입력 이미지 및 그들의 변환 파라미터는 저장 영역으로부터 삭제된다 (단계 A3).
다음에, 초기 이미지 생성 유닛 (102) 은, 이전 프레임에서 고해상 이미지 생성 유닛 (103) 에 의해 생성된 고해상 이미지를, 변환 파라미터 산출 유닛 (101) 에 의해 산출된 현재 프레임에 대한 변환 파라미터를 이용하여 변형시킴으로써 현재 프레임과 기하학적으로 일치하는 고해상 이미지를 생성한다 (단계 A4). 여기서, "기하학적으로 일치하는" 은, 피사체의 고해상 이미지에서의 위치, 사이즈, 및 자세가 현재 프레임에서의 것과 일치하는 상태를 칭한다.
고해상 이미지 생성 유닛 (103) 은, 입력 이미지 및 변환 파라미터 저장 유닛 (110) 에 저장된, 현재 프레임에 시간적으로 인접한 연속 프레임, 및 그들의 변환 파라미터를 판독한다 (단계 A5). 여기서, 판독될 프레임의 수는, 다음의 고품질 이미지 생성 처리에 필요한 이미지의 수 (예를 들어, 10) 이며, 미리 사용자에 의해 설정된다.
그 후, 고해상 이미지 생성 유닛 (103) 은, 단계 A5 에서 판독된 입력 이미 지 (연속 프레임) 및 변환 파라미터를 이용하여, 초기 이미지 생성 유닛 (102) 에서 생성된 이미지를 초기값으로 하여 고해상 이미지 생성 처리를 수행하여, 생성된 이미지를 출력한다 (단계 A6). 최후로, 단계 A6 에서 생성된 고해상 이미지가 초기 이미지 생성 유닛 (102) 으로 전달된다 (단계 A7).
제 1 예시적인 실시형태에 의하면, 이미지 처리 장치는, 생성되길 원한 현재 프레임의 고해상 이미지와 유사한 것으로 간주될 수 있는 이전 프레임의 고해상 이미지를 현재 프레임과 기하학적으로 일치하는 이미지로 변형시키고, 변형된 이미지를 현재 프레임에서의 고해상 이미지 생성 처리의 초기값으로 이용한다. 따라서, 최적의 해에 가까운 초기값에 기초하여 반복 계산을 개시하는 것이 가능해지고, 이로써, 각 프레임에 대한 반복 계산의 횟수가 감소될 수 있으며, 즉, 처리 속도가 빨라질 수 있다.
(예시적인 실시형태 2)
다음에, 본 발명을 실시하기 위한 다른 예시적인 실시형태가 도면을 참조로 설명될 것이다.
도 3 을 참조하면, 본 발명의 이미지 처리 장치의 제 2 예시적인 실시형태는, 이미지 처리 프로그램이 기록된 기록 매체 (310) 를 포함한다. 기록 매체 (310) 는, 예를 들어, 자기 디스크, 반도체 메모리, 자기 테이프, CD (콤팩트 디스크)-ROM, 또는 DVD (Digital Versatile Disk) 이며, 또는 다른 기록 매체일 수도 있다.
이미지 처리 프로그램은, 기록 매체 (310) 로부터 이미지 처리 유닛 (300) 으로 판독된다. 대안으로, 이미지 처리 프로그램은, 서버 (미도시) 등으로부터 통신 매체를 통하여 다운로드되어, 이미지 처리 유닛 (300) 으로 판독될 수도 있다. 이미지 처리 프로그램이 이미지 처리 유닛 (300) 의 메인 메모리로 로드되어 실행되는 것에 의해, 이미지 처리 유닛 (300) 의 동작이 제어되어, 본 발명의 이미지 처리 방법이 실시될 수 있다.
이미지 처리 프로그램은, 제 1 예시적인 실시형태의 변환 파라미터 산출 유닛 (101), 초기 이미지 생성 유닛 (102), 고해상 이미지 생성 유닛 (103), 및 입력 이미지 및 변환 파라미터 저장 유닛 (110) 의 기능을 이미지 처리 유닛 (300) 이 실행하도록 하는 프로그램이다. 이 예시적인 실시형태에서, 이미지 처리 유닛 (300) 에 포함된 메모리는, 제 1 예시적인 실시형태의 입력 이미지 및 변환 파라미터 저장 유닛 (110) 으로서 기능을 한다.
실시예
다음에, 본 발명에 따른 이미지 처리 시스템의 구체적인 실시예가 도 4 및 도 5 를 참조로 설명될 것이다. 이 실시예는, 본 발명의 제 1 예시적인 실시형태에 대응한다.
이 실시예의 이미지 처리 시스템은, 도 4 에 도시한 것처럼, 비디오 신호를 출력하는 비디오 재생 장치 (404), 이미지 처리 장치 (400), 및 디스플레이 (405) 를 포함한다. 비디오 재생 장치 (404) 는, 하드 디스크 레코더 등과 같이, 사전녹화된 비디오를 재생하는 기능을 가진 장치이며, 복합 단자 (composite terminal) 및/또는 스위치 단자를 통하여 이미지 처리 장치 (400) 에 접속된다. 디스플레이 (405) 의 일 예로서, 플라즈마 디스플레이 및 액정 텔레비전 수신기의 디스플레이 디바이스 등을 들 수 있다. 그 디스플레이 (405) 는, D-단자 및/또는 HMDI 단자를 통하여 이미지 처리 장치 (400) 에 접속된다.
이미지 처리 장치 (400) 는, 프로그램 제어 하에 동작가능한 컴퓨터 (중앙 처리 장치; 프로세서; 데이터 처리 장치) 이며, 변환 파라미터 산출 유닛 (401), 초기 이미지 생성 유닛 (402), 고해상 이미지 생성 유닛 (403), 및 입력 이미지 및 변환 파라미터 저장 유닛 (410) 을 포함한다.
변환 파라미터 산출 유닛 (401) 은, 도 5 에 도시된 이전 프레임 이미지 (500) 에 대한 현재 프레임 이미지 (501) 의 기하학적 변형을 나타내는 변환 파라미터를 산출한다. 상세하게는, 현재 프레임 이미지 (501) 상의 각 점에 대해, 휘도 값 분포에 있어서 현재 프레임 이미지 (501) 상의 점과 유사한 이전 프레임 이미지 (500) 내의 각 개소 (대응점) 를 얻고, 각 점과 각 개소가 각각 중첩되는 변형을 나타내는 변환 파라미터를 얻는다.
통상, 변환 파라미터로서, 그 간략화를 위해, 피사체를 평면인 것으로 간주한 식 (5) 로서 나타내진 모델이 빈번히 사용된다. 여기서, (u1, v1, 1) 및 (u2, v2, 1) 은, 각각 대응점의 동차 좌표 (homogeneous coordinates) 이고; a, b, c, d, e, f, g, h 는 이미지 변환 파라미터이며; t 는 임의의 정수이다.
Figure 112008068078179-pct00016
또는, 보다 간략화를 위해, g=h=0, a=e=cosθ, -b=d=sinθ 등과 같은 제약 조건을 부여한다.
입력 이미지 및 변환 파라미터 저장 유닛 (410) 은, 현재 프레임 이미지 (501), 및 변환 파라미터 산출 유닛에 의해 산출된 변환 파라미터를 저장한다. 초기 이미지 생성 유닛 (402) 은, 변환 파라미터를 이용하여, 이전 프레임에서 생성된 고해상 이미지 (502) 를, 현재 프레임과 기하학적으로 일치하는 이미지 (변형된 이미지; 503) 로 변형시킨다.
고해상 이미지 생성 유닛 (403) 은, 초기 이미지 생성 유닛 (402) 에 의해 생성된 변형된 이미지 (503) 를 초기값으로 하여, 입력 이미지 및 변환 파라미터 저장 유닛 (410) 에 저장된, 현재 프레임의 시간적 근방에 위치된 연속 프레임 및 그들의 변환 파라미터를 이용하여, 예를 들어, 비-특허 문헌 1 에 개시된 방법에 의해 현재 프레임의 고해상 이미지 (504) 를 생성한다.
생성된 고해상 이미지 (504) 는 디스플레이 (405) 로 출력된다. 또한, 초기 이미지 생성 유닛 (402) 으로 전달되어 다음 프레임의 고해상 이미지 생성을 위해 사용된다. 각 프레임에 대해 선행의 처리를 수행함으로써, 고해상 동영상이 출력될 수 있다.
부가적으로, 이 실시예에서, 디스플레이 (405) 가 이미지 처리 장치 (400) 에 의해 출력된 비디오 신호가 입력되는 장치의 일 예로서 제공되지만, 비디오 신호를 저장하는 저장 장치 등과 같은 다양한 종류의 장치가 비디오 신호가 입력되는 장치로서 사용될 수도 있다.
본 발명은 특히 본 발명의 예시적인 실시형태를 참조로 도시 및 설명되어 있지만, 본 발명은 이들 실시형태로 제한되지 않는다. 당업자라면, 형태 및 상세에 있어서의 다양한 변경이 특허청구범위에 의해 정의된 것처럼 본 발명의 사상 및 범위로부터 벗어남 없이 행해질 수도 있음을 이해할 것이다.
본 출원은, 2006년 3월 30일에 출원되고 개시물이 여기에 참조로 완전히 포함되는 일본특허출원 제2006-094536호에 기초하며, 이 일본특허출원 제2006-094536호로부터 우선권의 이익을 주장한다.
산업상 이용가능성
본 발명에 의하면, 예를 들어, NTSC 방법의 비디오 카메라에 의해 찍힌 동영상을 녹화할 때, 그 이미지를, 고화질 텔레비전의 것과 동일한 이미지 품질 및 동일한 해상도를 가진 이미지로 실시간 변환하면서 저장할 수 있는 그러한 애플리케이션에 적용될 수 있다. 또한, NTSC 방법에 의해 녹화된 비디오 신호를 재생 장치를 통해 재생할 때, 그 신호를, 고화질 텔레비전의 것과 동일한 이미지 품질 및 동일한 해상도를 가진 신호로 실시간 변환하면서 디스플레이 장치로 출력할 수 있는 그러한 애플리케이션에 적용될 수 있다. 또한, NTSC 방법의 비디오를 고화질 대응 텔레비전 수신기를 통해 수신 및 디스플레이할 때, 그 비디오를, 고화질 텔레비전의 것과 동일한 이미지 품질 및 동일한 해상도를 가진 비디오로 실시간 변환하면서 디스플레이할 수 있다.
도면의 간단한 설명
도 1 은, 본 발명에 따른 이미지 처리 장치의 제 1 예시적인 실시형태의 구성을 나타낸 블록도이다.
도 2 는, 제 1 예시적인 실시형태의 이미지 처리 장치의 동작을 나타낸 흐름도이다.
도 3 은, 본 발명에 따른 이미지 처리 장치의 제 2 예시적인 실시형태의 구성을 나타낸 블록도이다.
도 4 는, 본 발명에 따른 이미지 처리 시스템의 실시예의 구성을 나타낸 블록도이다.
도 5 는, 실시예의 동작을 나타낸 설명도이다.
부호의 설명
100 : 컴퓨터 (중앙 처리 장치; 프로세서; 데이터 처리 장치)
101 : 변환 파라미터 산출 유닛
102 : 초기 이미지 생성 유닛
103 : 고해상 이미지 생성 유닛
110 : 입력 이미지 및 변환 파라미터 저장 유닛
300 : 이미지 처리 유닛
310 : 기록 매체
400 : 이미지 처리 장치
401 : 변환 파라미터 산출 유닛
402 : 초기 이미지 생성 유닛
403 : 고해상 이미지 생성 유닛
404 ; 이미지 재생 장치
405 : 디스플레이
410 : 입력 이미지 및 변환 파라미터 저장 유닛
500 : 이전 프레임에서의 입력 이미지
501 : 현재 프레임에서의 입력 이미지
502 : 이전 프레임에 대한 고해상 이미지
503 : 이전 프레임에 대한 고해상 이미지의 변형된 이미지
504 : 현재 프레임에 대한 고해상 이미지

Claims (7)

  1. 입력 이미지 데이터의 이전 프레임에 대한 현재 프레임의 기하학적 변형 (geometric transformation) 을 나타내는 변환 파라미터를 산출하는 변환 파라미터 산출 수단;
    상기 산출된 변환 파라미터를 이용하여, 이전 프레임에서 생성된 고해상 이미지를 상기 현재 프레임과 기하학적으로 일치하는 이미지로 변형시키는 초기 이미지 생성 수단; 및
    상기 초기 이미지 생성 수단에서 생성된 변형 이미지를 초기값으로 하여, 입력 이미지 및 상기 변환 파라미터를 이용하여 상기 현재 프레임의 고해상 이미지를 생성하는 고해상 이미지 생성 수단을 포함하는, 이미지 처리 장치.
  2. 제 1 항에 있어서,
    상기 고해상 이미지 생성 수단은, 상기 현재 프레임에 시간적으로 인접한 연속 프레임의 이미지를 상기 입력 이미지로 사용하는, 이미지 처리 장치.
  3. 제 1 항에 있어서,
    상기 고해상 이미지 생성 수단은, 상기 생성된 고해상 이미지의 데이터를, 다음 프레임의 고해상 이미지 생성에 사용하기 위해 상기 초기 이미지 생성 수단으로 출력하는, 이미지 처리 장치.
  4. 제 3 항에 있어서,
    상기 초기 이미지 생성 수단은, 상기 이전 프레임에서 상기 고해상 이미지 생성 수단에 의해 생성된 상기 고해상 이미지를, 상기 변환 파라미터 산출 수단에 의해 산출된 상기 현재 프레임에 대한 상기 변환 파라미터를 이용하여 변형시킴으로써 상기 현재 프레임과 기하학적으로 일치하는 상기 고해상 이미지를 생성하는, 이미지 처리 장치.
  5. 제 4 항에 있어서,
    상기 초기 이미지 생성 수단은, 상기 현재 프레임과 기하학적으로 일치하는 고해상 이미지로서, 피사체의 상기 고해상 이미지 내에서의 위치, 사이즈, 및 자세가 상기 현재 프레임에서의 위치, 사이즈, 및 자세와 일치하는 상태의 이미지를 생성하는, 이미지 처리 장치.
  6. 이미지 처리 장치를 구성하는 컴퓨터로 하여금,
    입력된 비디오에 대하여, 이전 프레임에 대한 현재 프레임의 기하학적 변형 (geometric transformation) 을 나타내는 변환 파라미터를 산출하는 기능;
    상기 이전 프레임에서 생성된 고해상 이미지를 상기 현재 프레임과 기하학적으로 일치하는 이미지로 변형시키는 기능; 및
    생성된 변형 이미지를 초기값으로 하여, 저장된 입력 이미지 및 변환 파라미터를 이용하여 상기 현재 프레임의 고해상 이미지를 생성하는 기능
    을 실행하게 하는 이미지 처리 프로그램을 포함하는, 기록 매체.
  7. 입력된 이미지에 대하여, 이전 프레임에 대한 현재 프레임의 기하학적 변형 (geometric transformation) 을 나타내는 변환 파라미터를 산출하는 단계;
    상기 이전 프레임에서 생성된 고해상 이미지를 상기 현재 프레임과 기하학적으로 일치하는 이미지로 변형시키는 단계; 및
    생성된 변형 이미지를 초기값으로 하여, 저장된 입력 이미지 및 변환 파라미터를 이용하여 상기 현재 프레임의 고해상 이미지를 생성하는 단계를 포함하는, 이미지 처리 방법.
KR1020087023740A 2006-03-30 2007-03-14 이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체 KR100972764B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00094536 2006-03-30
JP2006094536 2006-03-30

Publications (2)

Publication Number Publication Date
KR20080102256A KR20080102256A (ko) 2008-11-24
KR100972764B1 true KR100972764B1 (ko) 2010-07-28

Family

ID=38624822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087023740A KR100972764B1 (ko) 2006-03-30 2007-03-14 이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체

Country Status (7)

Country Link
US (1) US8554018B2 (ko)
EP (1) EP2001227B1 (ko)
JP (1) JP5157898B2 (ko)
KR (1) KR100972764B1 (ko)
CN (1) CN101416501B (ko)
NO (1) NO20084115L (ko)
WO (1) WO2007122911A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300961B2 (en) * 2008-12-12 2012-10-30 Ecole De Technologie Superieure Method and system for low complexity transcoding of images with near optimal quality
JPWO2011018878A1 (ja) * 2009-08-13 2013-01-17 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラム
CN102792335A (zh) * 2010-03-12 2012-11-21 国立大学法人名古屋工业大学 图像处理装置、图像处理程序、及生成图像的方法
CN103856727B (zh) * 2014-03-24 2017-01-25 北京工业大学 一种多路实时视频拼接处理系统
CN104135637A (zh) * 2014-07-01 2014-11-05 宁波摩米创新工场电子科技有限公司 低分辨率转换成高分辨率的图像处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069537A (ja) 1996-08-28 1998-03-10 Nec Corp 画像合成方法及び画像合成装置
JP2007052672A (ja) * 2005-08-18 2007-03-01 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818703A (ja) * 1994-04-28 1996-01-19 Xerox Corp システム動作方法
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US6295377B1 (en) * 1998-07-13 2001-09-25 Compaq Computer Corporation Combined spline and block based motion estimation for coding a sequence of video images
JP3365333B2 (ja) * 1999-03-03 2003-01-08 日本電気株式会社 解像度変換装置
US20020063807A1 (en) * 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
CA2430591C (en) * 2000-12-01 2011-04-19 Imax Corporation Techniques and systems for developing high-resolution imagery
US7085323B2 (en) * 2002-04-03 2006-08-01 Stmicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7463783B1 (en) * 2002-09-20 2008-12-09 Lockheed Martin Corporation Constant magnification imaging method and system
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
TW583603B (en) * 2003-02-21 2004-04-11 Inventec Appliances Corp Method for producing enhanced-resolution image by use of a plurality of low-resolution images
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
WO2005024723A1 (ja) * 2003-09-08 2005-03-17 Nec Corporation 画像合成システム、画像合成方法及びプログラム
US7352919B2 (en) * 2004-04-28 2008-04-01 Seiko Epson Corporation Method and system of generating a high-resolution image from a set of low-resolution images
JP4311668B2 (ja) * 2004-11-15 2009-08-12 オリンパス株式会社 撮像装置と撮像システムおよび画像の撮影方法
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
US20070133794A1 (en) * 2005-12-09 2007-06-14 Cloutier Frank L Projection of overlapping sub-frames onto a surface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069537A (ja) 1996-08-28 1998-03-10 Nec Corp 画像合成方法及び画像合成装置
JP2007052672A (ja) * 2005-08-18 2007-03-01 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体

Also Published As

Publication number Publication date
EP2001227A9 (en) 2009-03-18
EP2001227B1 (en) 2016-07-20
WO2007122911A1 (ja) 2007-11-01
CN101416501B (zh) 2010-08-18
EP2001227A4 (en) 2012-12-12
NO20084115L (no) 2008-12-30
CN101416501A (zh) 2009-04-22
EP2001227A2 (en) 2008-12-10
JP5157898B2 (ja) 2013-03-06
JPWO2007122911A1 (ja) 2009-09-03
US20090169133A1 (en) 2009-07-02
KR20080102256A (ko) 2008-11-24
US8554018B2 (en) 2013-10-08

Similar Documents

Publication Publication Date Title
US10887519B2 (en) Method, system and apparatus for stabilising frames of a captured video sequence
JP3695119B2 (ja) 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US7535497B2 (en) Generation of static image data from multiple image data
US7750942B2 (en) Image processing apparatus and method, recording medium, and program for correcting camera shake
EP2560375B1 (en) Image processing device, image capture device, program, and image processing method
US10121262B2 (en) Method, system and apparatus for determining alignment data
JP2008259076A (ja) 画像防振装置、撮像装置及び画像防振方法
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
CN102833457A (zh) 图像处理设备、图像处理方法和程序
KR20030059399A (ko) 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
KR100972764B1 (ko) 이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체
EP2228983A1 (en) Image data generation device, image data generation method, and image data generation program
JP2004234624A (ja) 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
US7522189B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
JP2012003503A (ja) 画像処理装置およびその制御方法、並びにプログラム
US20130155272A1 (en) Image processing device, imaging device, and image processing method
JP5662088B2 (ja) 遠隔目視検査装置
JP4720626B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP2000224540A (ja) 画像ファイル装置
JP2007028208A (ja) 画像処理装置および撮像装置
JP5853372B2 (ja) 画像処理装置および画像処理方法
JP2001285614A (ja) 画像データ構成方法および装置、画像データ再構成方法および装置、並びに記憶媒体
JPH04348675A (ja) 高精細度静止画像取り込み装置
JP2010068093A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130705

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140707

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150619

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 9