KR20110120215A - 화상 처리 장치, 화상 처리 방법, 촬상 장치, 및 프로그램 - Google Patents

화상 처리 장치, 화상 처리 방법, 촬상 장치, 및 프로그램 Download PDF

Info

Publication number
KR20110120215A
KR20110120215A KR20110035526A KR20110035526A KR20110120215A KR 20110120215 A KR20110120215 A KR 20110120215A KR 20110035526 A KR20110035526 A KR 20110035526A KR 20110035526 A KR20110035526 A KR 20110035526A KR 20110120215 A KR20110120215 A KR 20110120215A
Authority
KR
South Korea
Prior art keywords
pixel value
change amount
value change
motion search
pixel
Prior art date
Application number
KR20110035526A
Other languages
English (en)
Inventor
마사루 마츠우라
나오키 쿠즈야
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110120215A publication Critical patent/KR20110120215A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 화상 처리 장치는, 현화상과 참조화상에 대해 글로벌 움직임 탐색(ME)을 행하여 움직임 벡터(MV)를 출력하는 글로벌 움직임 탐색 장치를 가지며, 상기 글로벌 움직임 탐색 장치는, 현화상과 참조화상 사이의 글로벌 움직임 탐색을 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 2회 이상 실행하는 기능을 갖는 움직임 탐색 처리부를 포함하고, 상기 움직임 탐색 처리부는, 1회째의 움직임 탐색에서는, 적어도, 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보에 의거하여 1조의 움직임 벡터를 구하고, 2회째의 움직임 탐색에서는, LK법으로 움직임 벡터를 구하기 위해 필요한, 적어도 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보를 구할 때에, 화소마다, 가산하는지 여부의 판단을 설정 조건에 따라 행하고, 조건을 만족하는 경우에, 2회째의 LK법의 결과로서 새롭게 1조의 움직임 벡터를 다시 구하여, 출력한다.

Description

화상 처리 장치, 화상 처리 방법, 촬상 장치, 및 프로그램{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, IMAGING APPARATUS, AND PROGRAM}
본 발명은, 화상 시퀀스 중 2장의 화상 사이의 글로벌한 움직임량을 추정하는 움직임 벡터 탐색(ME : Motion Estimation)을 행하는 화상 처리 장치, 화상 처리 방법, 촬상 장치, 및 프로그램에 관한 것이다.
움직임 추정을 행하는데 가장 자주 사용하는 수법으로서, 블록 매칭법이 있다.
블록 매칭법으로 화상 사이의 글로벌 움직임을 추정하는데는, 기본적으로는, 분할한 블록마다 생성되는 움직임 벡터(MV : 로컬 MV)의 화면 전체에 걸치는 무게부여 평균을 취한다.
그 때, 로컬 MV가 신뢰할 수 없는 블록의 무게를 작게 하여, 로버스트성(robustness)을 높일 수 있다(예를 들면, 특허문헌 1, 2 참조).
다른 움직임 추정 수법으로서 Lucas-Kanade법(LK법)이 알려져 있다(비특허문헌 1 참조).
특히, 전화면에 걸치는 LK법을 이용하면, 블록 매칭법과 비교하여, 대폭적으로 계산 실행 효율이 좋은 글로벌 ME를 행할 수가 있다.
특허문헌 1 : 일본국 특개평5-289159호 공보
특허문헌 2 : 일본국 특개2006-222933호 공보
비특허문헌 1 : An Iterative Image Registration Technique with an Application to Stereo Vision, B. D. Lucas, T. Kanade, Intl. Joint Conf. on AI, pp.674-679, 1981
그러나, 상기 특허문헌 1, 2에 개시된 기술에서는, 블록마다 MV를 구할 필요가 있는 블록 매칭은 계산 자원이 많이 필요하여, 일반적으로 실행 효율이 나쁜 처리이다.
LK법은, 블록 매칭과 비교하여, 대폭적으로 계산 실행 효율이 좋은 글로벌 ME를 행할 수 있지만, 전화면에 걸치는 LK법은 로컬 MV을 산출하지 않기 때문에, 상기 특허문헌 1, 2 같은 수법으로 로버스트성을 향상시킬 수는 없다.
따라서, 본 발명은, 높은 계산 실행 효율을 유지하면서, 국소적인 동피사체(moving object)나 조도 변화 등에 로버스트한 글로벌 움직임 탐색(ME)을 행할 수가 있는 화상 처리 장치, 화상 처리 방법, 촬상 장치, 및 프로그램을 제공하는 것에 있다.
본 발명의 제 1의 관점의 화상 처리 장치는, 현(現)화상과 참조화상에 대해 글로벌 움직임 탐색(ME)을 행하여 움직임 벡터(MV)를 출력하는 글로벌 움직임 탐색 장치를 가지며, 상기 글로벌 움직임 탐색 장치는, 현화상과 참조화상 사이의 글로벌 움직임 탐색을 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 2회 이상 실행하는 기능을 갖는 움직임 탐색 처리부를 포함하고, 상기 움직임 탐색 처리부는, 1회째의 움직임 탐색에서는, 적어도, 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보에 의거하여 1조(組)의 움직임 벡터를 구하고, 2회째의 움직임 탐색에서는, LK법으로 움직임 벡터를 구하기 위해 필요한, 적어도 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보를 구할 때에, 화소마다, 가산하는지 여부의 판단을 설정 조건에 따라 행하고, 조건을 만족하는 경우에, 2회째의 LK법의 결과로서 새롭게 1조의 움직임 벡터를 다시 구하여, 출력한다.
본 발명의 제 2의 관점의 화상 처리 방법은, 현화상과 참조화상에 대해 글로벌 움직임 탐색(ME)을 행하여 움직임 벡터(MV)를 출력하는 글로벌 움직임 탐색을 행할 때에, 현화상과 참조화상 사이의 글로벌 움직임 탐색을 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 2회 이상 실행하고, 1회째의 움직임 탐색에서는, 적어도, 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보에 의거하여 1조의 움직임 벡터를 구하고, 2회째의 움직임 탐색에서는, LK법으로 움직임 벡터를 구하기 위해 필요한, 적어도 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보를 구할 때에, 화소마다, 가산하는지 여부의 판단을 설정 조건에 따라 행하고, 조건을 만족하는 경우에, 2회째의 LK법의 결과로서 새롭게 1조의 움직임 벡터를 다시 구하여, 출력한다.
본 발명의 제 3의 관점의 촬상 장치는, 상기 고체 촬상 소자에 피사체상을 결상하는 광학계와, 상기 고체 촬상 소자에 의한 화상에 대한 화상 처리를 행하는 화상 처리 장치를 가지며, 현화상과 참조화상에 대해 글로벌 움직임 탐색(ME)을 행하여 움직임 벡터(MV)를 출력하는 글로벌 움직임 탐색 장치를 포함하고, 상기 글로벌 움직임 탐색 장치는, 현화상과 참조화상 사이의 글로벌 움직임 탐색을 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 2회 이상 실행하는 기능을 갖는 움직임 탐색 처리부를 포함하고, 상기 움직임 탐색 처리부는, 1회째의 움직임 탐색에서는, 적어도, 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보에 의거하여 1조의 움직임 벡터를 구하고, 2회째의 움직임 탐색에서는, LK법으로 움직임 벡터를 구하기 위해 필요한, 적어도 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보를 구할 때에, 화소마다, 가산하는지 여부의 판단을 설정 조건에 따라 행하고, 조건을 만족하는 경우에, 2회째의 LK법의 결과로서 새롭게 1조의 움직임 벡터를 다시 구하여, 출력한다.
본 발명의 제 4의 관점은, 현화상과 참조화상에 대해 글로벌 움직임 탐색(ME)을 행하여 움직임 벡터(MV)를 출력하는 글로벌 움직임 탐색을 행할 때에, 현화상과 참조화상 사이의 글로벌 움직임 탐색을 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 2회 이상 실행하고, 1회째의 움직임 탐색에서는, 적어도, 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보에 의거하여 1조의 움직임 벡터를 구하고, 2회째의 움직임 탐색에서는, LK법으로 움직임 벡터를 구하기 위해 필요한, 적어도 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보를 구할 때에, 화소마다, 가산하는지 여부의 판단을 설정 조건에 따라 행하고, 조건을 만족하는 경우에, 2회째의 LK법의 결과로서 새롭게 1조의 움직임 벡터를 다시 구하여, 출력하는 화상 처리를 컴퓨터에 실행시키는 프로그램이다.
본 발명에 의하면, 높은 계산 실행 효율을 유지하면서, 국소적인 동피사체나 조도 변화 등에 로버스트한 글로벌 움직임 탐색(ME)을 행할 수가 있다.
도 1은 본 발명의 실시 형태에 관한 화상 처리 장치에 포함되는 글로벌 움직임 탐색 장치를 도시하는 도면.
도 2는 도 1의 글로벌 움직임 탐색 장치의 기본적인 기능 블록도.
도 3은 본 실시 형태에 관한 글로벌 ME 처리 순서의 개요를 도시하는 플로우 차트.
도 4는 본 실시 형태에 관한 1회째의 ME의 순서를 도시하는 플로우 차트.
도 5는 도 4의 스텝 ST105의 편미분 계산례를 도시하는 도면.
도 6은 본 실시 형태에 관한 ME 유효 무효 판정의 순서를 도시하는 플로우 차트.
도 7은 본 실시 형태에 관한 2회째의 ME의 순서를 도시하는 플로우 차트.
도 8은 본 발명의 실시 형태에 관한 화상 처리 장치를 채용한 촬상 장치(카메라 시스템)의 구성례를 도시하는 도면.
도 9는 본 발명의 실시 형태에 관한 글로벌 ME 장치를 화상 흔들림 보정(Digital Image Stabilizer(DIS)) 기능을 포함하는 화상 처리 장치에 적용한 경우의 구성례를 도시하는 도면.
이하, 본 발명의 실시 형태를 도면을 참조하여 설명한다.
또한, 설명은 이하의 순서로 행한다.
1. 화상 처리 장치로서의 글로벌 움직임 탐색(ME) 장치
2. 글로벌 ME 장치의 구체적인 처리
3. 촬상 장치(카메라 시스템)의 구성례
<1. 화상 처리 장치로서의 글로벌 움직임 탐색(ME) 장치>
도 1은, 본 발명의 실시 형태에 관한 화상 처리 장치에 포함되는 글로벌 움직임 탐색 장치를 도시하는 도면이다.
도 2는, 도 1의 글로벌 움직임 탐색 장치의 기본적인 기능 블록도이다.
본 실시 형태에 관한 화상 처리 장치(1)는 글로벌 움직임 탐색(또는 움직임 추정 : ME) 장치(10)를 갖는다.
글로벌 ME 장치(10)는, 기본적으로, 도 1에 도시하는 바와 같이, 현(現)화상(CIM)과 참조화상(RIM)의 2장의 화상을 입력하여 1조의 움직임 벡터(MV)를 출력하는 글로벌 ME 처리를 행한다.
글로벌 ME 장치(10)는, 기본적으로 기능 블록으로서, 도 2에 도시하는 바와 같이, 제 1 ME 처리부(11), ME 판정부(12), 제 2 ME 처리부(13), 및 메모리(14)를 갖는다.
본 실시 형태에 있어서, 글로벌 ME 장치(10)는, 화상 시퀀스(I(x,y,t))중 2장의 화상 사이의 글로벌 ME를 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 이하와 같이 2회 이상 실행하는 기능을 갖고 있다.
[1회째의 ME]
1회째는 LK법으로 MV를 구하기 위해 필요한 Σ(Ix)2, Σ(Iy)2, ΣIxIy, ΣIxIt, ΣIyIt 외에도, Ix,Iy,It로 이루어지는 항의 가산치(ΣFn(Ix,Iy,It))를 특정한 수(n개)만큼 변수로서 메모리(14)에 보존하여 둔다.
그리고, 제 1 ME 처리부(11)에서 1회째의 LK법의 결과로서 1조의 MV(vx, vy)를 계산한다.
[ME 결과의 유효 무효 판정]
ME 판정부(12)에서 제 1 ME 처리부(11)에 의한 ME가 유효인지 무효인지를 판정한다.
ME 판정부(12)로 유효하다고 판정되면 제 2 ME 처리부(13)에 의한 2회째의 ME를 행한다. 무효인 경우, 후술하는 바와 같이 MV는 0으로서 출력한다.
[2회째의 ME]
2회째는 LK법으로 MV를 구하기 위해 필요한, Σ(I'x)2, Σ(I'y)2, ΣI'xI'y, ΣI'xI't, ΣI'yI't를 구할 때에, 화소마다, 가산하는지 여부의 판단을 행한다.
여기서, 조건 판단에는, 이하의 변수로 이루어지는 조건식을 이용하다 :
제 1은, 그 화소에서의 I'x, I'y, I't이다.
제 2는, 1회째에 구한 Σ(Ix)2, Σ(Iy)2, ΣIxIy, ΣIxIt, ΣIyIt와 MV(vx, vy)이다.
제 3은, 1회째에 구한 가산치(ΣFn(Ix,Iy,It))이다.
제 4로, 임계치 파라미터이다.
2회째의 LK법의 결과로서 새롭게 1조의 MV(v'x, v'y)를 다시 계산하여, 출력한다.
상기에서, Ix,Iy,It는 각각 당해 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 시간 방향의 화소치 변화량을 가리킨다. Σ는 "화면 전체에 걸쳐서 가산(可算)한 것을 가리킨다.
따라서, ΣFn(Ix,Iy,It)는 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 것"으로 나타낼 수 있다.
1회째의 계산과 2회째의 계산을 구별하기 위해, 2회째에 판독하는 화상에는 기호 I'를 붙이고 있지만, 같은 화상 페어에 대해 2회의 LK법을 실행할 뿐이기 때문에, 실제로는 I=I'이다. 단 (vx, vy)와 (v'x, v'y)는 다른 값이 된다.
[ME 결과의 유효 무효 판정의 구체예]
ME 판정부(12)는, 제 1 ME 처리부(11)에 의한 MV(vx, vy)를 받아, 글로벌 ME의 난이도가 높다고 판단되는 경우는, ME 무효(MV는 0)로 한다.
이 경우, 제 2 ME 처리부(13)에 의한 2회째의 LK법을 실행할 필요는 없다.
여기서, 조건 판단에는, 이하의 변수로 이루어지는 조건식을 이용한다.
제 1은, 1회째에 구한 Σ(Ix)2, Σ(Iy)2, ΣIxIy, ΣIxIt, ΣIyIt와 MV(vx, vy)이다.
제 2는, 1회째에 구한 가산치(ΣFn(Ix,Iy,It))이다.
제 3으로, 임계치 파라미터이다.
여기서, 가산치(ΣFn(Ix,Iy,It))로서, ΣIx, ΣIy, ΣIt, Σ(It)2 의 4개를 도입하여, LK법에서의 오차(誤差) 함수치의 화면 전체에 걸치는 분포의 표준편차를 계산한다.
그리고, 그 계산 결과가 어느 임계치를 상회하고 있는지의 여부를 상기한 조건식의 하나로 하고, 이것이 성립할 때 ME 무효로 한다.
또한, 가산치(ΣFn(Ix,Iy,It))로서, ΣIt를 도입하여, 1화소당의 시간 방향의 화소치 변화의 절대치를 계산하고, 그 계산 결과가 어느 임계치를 상회하고 있는지의 여부를 상기한 조건식의 하나로 하고, 이것이 성립할 때 ME 무효로 한다.
또한, 상기 제 2 ME 처리에서는, 다음의 처리를 행하는 것도 가능하다.
가산치(ΣFn(Ix,Iy,It))로서, ΣIx, ΣIy, ΣIt, Σ(It)2 의 4개를 도입하고, LK법에서의 오차 함수치의 화면 전체에 걸치는 분포의 평균과 표준편차를 계산한다.
그리고, 그 평균과 표준편차에 의거하여, 각 화소에서의 오차 함수치로부터 벗어나는 값 정도를 계산하고, 그것이 어느 임계치를 상회하고 있는지의 여부를 상기한 조건식의 하나로 하고, 이것이 성립할 때 당해 화소를 MV의 계산에 넣지 않는다.
또한, 상기 제 2 ME 처리에서는, 다음의 처리를 행하는 것도 가능하다.
가산치(ΣFn(Ix,Iy,It))로서, ΣIt, Σ(It)2 의 2개를 도입하여, 시간 방향의 화소치 변화의 화면 전체에 걸치는 분포의 평균과 표준편차를 계산한다.
그리고, 그 평균과 표준편차에 의거하여, 각 화소에서의 화소치 변화로부터 벗어나는 값 정도를 계산하고, 그것이 어느 임계치를 상회하고 있는지의 여부를 상기한 조건식의 하나로 하고, 이것이 성립할 때 당해 화소를 MV의 계산에 넣지 않는다.
<2. 글로벌 ME 장치의 구체적인 처리>
이하, 글로벌 ME 장치(10)의 구체적인 처리에 관해, 도 3부터 도 7을 참조하여 설명한다.
도 3은, 본 실시 형태에 관한 글로벌 ME 처리 순서의 전체의 개요를 도시하는 플로우 차트이다.
[스텝 ST1]
우선 스텝 ST1에서, 1회째의 ME를 행한다.
[스텝 ST2, ST3]
스텝 ST2 및 ST3에서, 1회째 ME의 결과로부터 글로벌 ME의 난이도나 신뢰성을 판정하고, ME가 유효인지 무효인지의 여부를 판정한다.
[스텝 ST4]
스텝 ST3에서, ME 무효인 경우는 분기되고, MV를 0으로서 출력하고, 종료한다. ME 유효인 경우는, 스텝 ST4에서 2회째의 ME를 행하고, 그 결과의 MV를 출력하고 종료한다.
ME 무효시에 2회째의 ME를 행하지 않도록 함으로써, 바람직하지 않은 MV를 사용하는 잘못을 막음과 함께, 처리량을 삭감할 수 있다.
도 4는, 본 실시 형태에 관한 1회째의 ME의 순서를 도시하는 플로우 차트이다.
도 4의 ME 처리는, LK(Lucas-Kanade)법을 증보(增補)한 것이고, 기본적으로는, 다음 식에 따라 MV를 구하고 있다.
[수식 1]
Figure pat00001
윗식에서 Σ는 화면 전체에 걸치는 총합을 나타내고 있다. 또한 Ix,Iy,It는 상술한 바와 같이 화상 시퀀스(I(x,y,t))의 수평, 수직, 시간 방향의 편미분 값이고, 다양한 계산 방법이 있지만, 한 예로서 도 5의 플로우 차트에 도시하는 바와 같이 계산한다.
도중(途中)의 계산 결과인 Σ(Ix)2, Σ(Iy)2, ΣIxIy, ΣIxIt, ΣIyIt는, 이후의 ME 무효 판정이나 2회째의 ME에서 사용하기 위해, 임의의 기억 영역에 보존하여 둔다(도 4의 Axx, Ayy, Axy, Axt, Ayt).
또한, 본래 LK법에서 필요로 하지 않는 ΣIx, ΣIy, ΣIt, Σ(It)2도 마찬가지로 계산하고, 보존하여 둔다(도 4의 Ax, Ay, At, Att).
[스텝 ST101]
스텝 ST101에서, 현화상 배열(I)과 참조화상 배열(J)을 입력하고, 화상의 폭(W) 및 화상의 높이(H)를 얻는다.
[스텝 ST102]
스텝 ST102에서, Σ(Ix)2, Σ(Iy)2, ΣIxIy, ΣIxIt, ΣIyIt에 상당하는 파라미터(Axx, Ayy, Axy, Axt, Ayt)를 초기치(0)로 설정한다.
[스텝 ST103]
스텝 ST103에서, ΣIx, ΣIy, ΣIt, Σ(It)2에 상당하는 파라미터(Ax, Ay, At, Att)를 초기치(0)로 설한다.
[스텝 ST104]
스텝 ST104에서, 좌표(x)를 0 내지 W-2, 좌표(y)를 0 내지 H-2로 하여 2차원 루프를 시작한다.
[스텝 ST105]
스텝 ST105에서, 좌표(x,y)에서의 현화상(I)과 참조화상(J)의 편미분(Ix,Iy,It)를 구한다.
도 5는, 도 4의 스텝 ST105의 편미분 계산례를 도시하는 도면이다.
좌표(x,y)에서 현화상(I)과 참조화상(J)을 얻고(ST1051), 그 편미분(Ix,Iy,It)을 구한다(ST1052).
이 경우, Ix=I[y][x+1]-I[y][x]가 된다.
Iy=I[y+1][x]-I[y][x]가 된다.
It=I[y][x]-I[y][x]가 된다.
[스텝 ST106]
스텝 ST106에서, Σ(Ix)2에 상당하는 파라미터(Axx)=Axx+Ix*Ix로서 구한다.
Σ(Iy)2에 상당하는 파라미터(Ayy)=Ayy+Iy*Iy로서 구한다.
ΣIxIy에 상당하는 파라미터(Axy)=Axy+Ix*Iy로서 구한다.
ΣIxIt에 상당하는 파라미터(Axt)=Axt+Ix*It로서 구한다.
IyIt에 상당하는 파라미터(Ayt)=Ayt+Iy*It로서 구한다.
[스텝 ST107]
스텝 ST107에서, ΣIx에 상당하는 파라미터(Ax)=Ax+Ix로서 구한다.
ΣIy에 상당하는 파라미터(Ay)=Ay+Iy로서 구한다.
ΣIt에 상당하는 파라미터(At)=At+It로서 구한다.
Σ(It)2에 상당하는 파라미터(Att)=Att+It*It로서 구한다.
[스텝 ST108]
스텝 ST108에서, xy 루프가 종료하였는지의 여부를 판정하고, 종료하지 않은 경우에는 스텝 ST104로 되돌아오고, 종료한 경우에는 스텝 ST109의 처리로 이행한다.
[스텝 ST109]
스텝 ST109에서, MV(vx, vy)를 구하고, ME 판정부(12)에 출력한다.
이 때, vx=(Axy+Ayt-Ayy*Axt)/div로 MV(vx)가 구하여진다.
vy =(Axy+Axt-Axx*Ayt)/div로 MV(vy)가 구하여진다.
단, div=Axx*Axt-Axx*Axy이다.
도 6은, 본 실시 형태에 관한 ME 유효 무효 판정의 순서를 도시하는 플로우 차트이다.
[스텝 ST201]
스텝 ST201에서, 화상의 폭(W) 및 화상의 높이(H)의 정보를 얻는다.
[스텝 ST202]
스텝 ST202에서, 1회째의 ME에 의한 MV(vx, vy), 1회째의 ME의 파라미터 값(Axt(ΣIxIt), Ayt(ΣIyIt), Ax(ΣIx), Ay(ΣIy), At(ΣIt), Att(Σ(It)2)의 누적값(accumulation value )을 취득한다.
[스텝 ST203]
스텝 ST203에서, 위세서 설명한 1회째의 ME 처리 결과를 이용하여, 표준편차(σe(Se)) 및 절대치(δ(D))를 구한다.
또한, σe는 LK법에서의 오차 함수치의 화면 전체에 걸치는 분포의 표준편차를 나타내고, 절대치(δ(D))는 1화소당의 시간 방향의 화소치 변화의 절대치를 나타내고 있다.
[스텝 ST204]
스텝 ST204에서, 표준편차(σe(Se))에 대한 미리 설정된 임계치 파라미터로 임계치 판정을 행한다.
[스텝 ST205]
스텝 ST205에서, 임계치 판정의 결과, 임계치보다 높다고 판정된 경우는 ME 무효로 하고 종료한다.
[스텝 ST206]
스텝 ST206에서, 임계치보다 낮은 경우는, 절대치(δ(D))에 대한 미리 설정된 임계치 파라미터로 임계치 판정을 행한다.
[스텝 ST207]
스텝 ST207에서, 임계치 판정의 결과, 임계치보다 높다고 판정된 경우는 ME 무효로 하고 종료한다.
임계치보다 낮은 경우는, 1회째의 ME는 유효하다고 판정한다.
표준편차(σe(Se))의 임계치 판정에 의해, 화면 내의 로컬 움직임(local motion)이 너무 클 때에 나오기 쉬운 바람직하지 않은 MV를 사용하는 잘못을 막을 수 있다.
마찬가지로, 절대치(δ(D))의 임계치 판정에 의해, 화면의 조도 변화가 너무 클 때에 나오기 쉬운 바람직하지 않은 MV를 사용하는 잘못을 막을 수 있다.
또한, 임계치 판정을 할 때에, 과거의 표준편차(σe(Se))(절대치(δ(D))에 대해서도 마찬가지)도 이용하여 평균화 필터링을 실행한 후에 임계치 비교를 하면 보다 바람직한 결과를 얻을 수 있다. 또한, 히스테리시스성(hysteresis)을 가진 임계치 비교를 하면 보다 바람직한 결과를 얻을 수 있다.
도 7은, 본 실시 형태에 관한 2회째의 ME의 순서를 도시하는 플로우 차트이다.
2회째의 ME는 1회째의 ME와 마찬가지로 LK(Lucas - Kanade)법을 증보한 처리이며 기본적으로는 MV(vx, vy)를 구하는 처리이지만, 특정한 화소에서 Σ, 즉, 화면 전체에 걸친 가산을 행하지 않는다는 점이 다르다.
그 계산에 넣지 않는 특정한 화소를 판단하기 위해, 우선 1회째의 ME의 결과((vx, vy), ΣIx, ΣIy, ΣIt, Σ(It)2)를 사용하여, 이하를 구하여 둔다(ST403).
LK법에서의 오차 함수치의 화면 전체에 걸치는 분포의 평균(μe(Me)), LK법에서의 오차 함수치의 화면 전체에 걸치는 분포의 표준편차(σe(Se))를 구한다. 또한, 시간 방향의 화소치 변화의 화면 전체에 걸치는 분포의 평균(μi(Mi)), 시간 방향의 화소치 변화의 화면 전체에 걸치는 분포의 표준편차(Si)를 구한다.
그리고, 새롭게 Σ(I'x)2, Σ(I'y)2, ΣI'xI'y, ΣI'xI't, ΣI'yI't를 다시 구하는 루프(ST405 내지 ST410)로, 이하의 조건식을 평가하는 조건 분기를 도입한다(ST407, ST408).
편미분 계산 후, 분포의 평균(μe(Me))과 표준편차(σe(Se))에 의거하여, 각 화소에서의 오차 함수치로부터 벗어나는 값 정도를 계산한다.
그리고, 그 계산 결과가 어느 임계치를 상회하고 있는지의 여부를 판단한다.
또한, 분포의 평균(μi(Mi))와 분포의 표준편차(Si)에 의거하여, 각 화소에서의 화소치 변화로부터 벗어나는 값 정도를 계산한다.
그리고, 그 계산 결과가 어느 임계치를 상회하고 있는지의 여부를 판단한다.
여기서 I'x, I'y, I't는 1회째의 ME의 것은 아니고, 2회째 ME의 루프 내의 스텝 ST406에서 구한 각 화소에서의 편미분 값이다.
단, 같은 화상 페어(image pair)에 대해 2회의 LK법을 실행만 하기 때문에, 실제로는 I=I'이다.
스텝 ST407, ST408에 나타내는 바와 같이, 어느 한쪽 또는 양쪽이 성립한 경우는 Σ를 취하지 않고서 다음의 화소로 진행된다.
이와 같이 함으로써, 어느 정도의 로컬 움직임이나 노이즈적인 휘도 변화를 제거하고, 글로벌(MV)으로서 바람직한 결과를 얻을 수 있다.
또한, 이하는 용이하게 상상 가능한 변형으로서, 본 발명에 포함된다.
ME의 반복 회수를 2회로 한정하고 있지만, 반복 횟수를 더욱 늘려도 적용 가능하다.
병진(竝進) 이동 성분만을 포함하는 MV 추정만이 아니고, 회전 확대를 포함하는 아핀 파라미터(affine parameter) 추정 또는 사영 변환 행렬(projective transform matrix) 추정에 적용한 버전도 적용 가능하다.
이상 설명한 바와 같이, 본 실시 형태에 의하면, LK(Lucas-Kanade)법의 높은 계산 실행 효율을 유지하면서, 국소적인 동피사체나 조도 변화 등에 로버스트한 글로벌 ME를 행할 수가 있다.
특히, DIS에 적용하는 경우, 입력 화상의 축소 화상만으로 글로벌 ME가 가능하기 때문에, 보다 적은 계산 자원으로 실현 가능하다.
블록 매칭 수법을 취하는 경우, 통상은 전용의 하드웨어를 갖는 것이 많지만, 본 수법이라면, 일반적인 화상 축소 회로와 범용 메모리와 프로세서가 있으면 충분하다.
이와 같은 효과를 갖는 고체 촬상 소자는, 디지털 카메라나 비디오 카메라의 촬상 디바이스로서 적용할 수 있다.
<3. 촬상 장치(카메라 시스템)의 구성례>
도 8은, 본 발명의 실시 형태에 관한 화상 처리 장치를 채용한 촬상 장치(카메라 시스템)의 구성례를 도시하는 도면이다.
본 촬상 장치(100)는, 본 실시 형태에 관한 글로벌 ME 장치(110)가 적용되어 있다. 또한, 촬상 장치(100)는, CMOS 이미지 센서 등의 촬상 디바이스(120)의 화소 영역에 입사광을 유도하는(피사체상을 결상하는 ) 광학계, 예를 들면 입사광(상광(image light))을 촬상면상에 결상시키는 렌즈(230)를 갖는다.
촬상 장치(100)는, 또한, 전단(前段) 신호 처리 장치(140) 및 후단 신호 처리 장치(150)를 갖는다.
촬상 장치(100)에 있어서, 렌즈계(130) 및 촬상 디바이스(120)에 의해 촬영된 화상 신호는, 전단 신호 처리 장치(140)에서 신호 처리되어, 2계통(two sequence)의 화소치 신호가 생성된다.
전단 신호 처리 장치(140)에서, 하나의 화소치 신호로부터는 순서대로 현화상과 참조화상이 글로벌 ME 장치(110)에 주어져서 움직임 벡터를 출력한다. 다른쪽의 화소치 신호는, 그 움직임 벡터를 사용하여 후단 신호 처리 장치(150)에서 신호 처리되어, 영상 신호로서 출력된다.
도 9는, 본 발명의 실시 형태에 관한 글로벌 ME 장치를 화상 흔들림 보정( Digital Image Stabilizer(DIS)) 기능을 포함하는 화상 처리 장치에 적용한 경우의 구성례를 도시하는 도면이다.
본 화상 처리 장치(1A)는, 글로벌 ME 장치(10)에 더하여 전단 신호 처리 장치(20) 및 후단 신호 처리 장치(30)를 갖는다.
전단 신호 처리 장치(20)는, 메모리(21,22), 축소/평활화 회로(23)를 갖는다.
후단 신호 처리 장치(30)는, 움직임 벡터(MV) 필터(31) 및 절출부(segmentation unit)(32)를 갖는다.
화상 처리 장치(1A)에서, 우선 입력 단자(T11)로부터 화상 시퀀스를 취득한다.
화상은 1장씩 입력하고, 한편의 경로에서는 그대로 메모리(21)에 격납한다.
이것은 주로 ME 경로의 시간 지연과 출력의 동기를 취하기 위해서다. 또 한쪽의 경로에서는 축소/평활화 회로(23)에서 축소/평활화 처리를 행하고 나서 메모리(22)에 격납한다.
축소 처리에 의해 글로벌 ME의 계산량이 감소하고, 축소 처리와 평활화 처리를 조합시킴으로써 노이즈에 강하고 정밀도가 좋은 MV를 얻을 수 있다.
그리고, 메모리(22)로부터 최신 입력 화상의 축소 평활화 화상(현화상)과 하나의 과거 화상의 축소 평활화 화상(참조화상)을 취출하고, 상술한 글로벌 ME 장치(10)에 입력한다. 글로벌 ME의 결과 얻어지는 MV는 움직임 벡터 필터(31)를 통하여 보정 벡터로 변환한다.
가장 단순한 케이스로서, 필터(31)는 적분 필터링(입력된 MV의 계열이 순차적으로 가산됨)을 실행한다.
최종적으로, 최신 입력 화상을 메모리(21)로부터 취출하고, 보정 벡터에 따라 절출부(32)에서 절출하여 확대(또는 단순히 절출)를 행함으로써, 화상 흔들림 보정이 시행된 안정화 화상 시퀀스를 생성하고, 단자(T12)로부터 출력한다.
또한, 본 발명은 도 9의 양식에서, DIS 이외에도 화면 전체의 움직임 추정/위치맞춤을 행하는 것 전부에 적용할 수 있다.
예를 들면, 스테레오 비전 매칭(stereo vision matching), 초해상(super resolution), 3차원 노이즈 리덕션, 파노라마 스티칭(panorama stitching), 패닝(panning)(움직이는 물체의 스틸화), 동화상 부호화 등에 적용 가능하다.
본 발명은 상술한 본 실시의 형태로 한정되지 않고, 본 발명의 요지를 일탈하지 않는 한, 적절히, 변경할 수 있음은 말할 것도 없다.
또한, 이상 상세히 설명한 방법은, 상기 순서에 응한 프로그램으로서 형성하고, CPU 등의 컴퓨터로 실행하도록 구성하는 것도 가능하다.
또한, 이와 같은 프로그램은, 반도체 메모리, 자기 디스크, 광디스크, 플로피(등록상표)디스크 등의 기록 매체, 이 기록 매체를 세트한 컴퓨터에 의해 액세스하고 상기 프로그램을 실행하도록 구성 가능하다.
1, 1A : 화상 처리 장치
10 : 글로벌 ME 장치
11 : 제 1 ME 처리부
12 : ME 판정부
13 : 제 2 ME 처리부
20 : 전단 신호 처리 장치
30 : 후단 신호 처리 장치
100 : 촬상 장치
110 : 글로벌 ME 장치
120 : 촬상 디바이스
130 : 광학계(렌즈계)
140 : 전단 신호 처리 장치
150 : 후단 신호 처리 장치.

Claims (20)

  1. 현(現)화상과 참조화상에 대해 글로벌 움직임 탐색(ME)을 행하여 움직임 벡터(MV)를 출력하는 글로벌 움직임 탐색 장치를 가지며,
    상기 글로벌 움직임 탐색 장치는,
    현화상과 참조화상 사이의 글로벌 움직임 탐색을 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 2회 이상 실행하는 기능을 갖는 움직임 탐색 처리부를 포함하고,
    상기 움직임 탐색 처리부는,
    1회째의 움직임 탐색에서는, 적어도, 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보에 의거하여 1조(組)의 움직임 벡터를 구하고,
    2회째의 움직임 탐색에서는, LK법으로 움직임 벡터를 구하기 위해 필요한, 적어도 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보를 구할 때에, 화소마다, 가산하는지 여부의 판단을 설정 조건에 따라 행하고, 조건을 만족하는 경우에, 2회째의 LK법의 결과로서 새롭게 1조의 움직임 벡터를 다시 구하여, 출력하는 것을 특징으로 하는 화상 처리 장치.
  2. 제 1항에 있어서,
    상기 2회째의 움직임 탐색에서의 화소마다, 가산하는지 여부의 판단을 설정 조건은, 적어도,
    당해 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보,
    1회째의 움직임 탐색에서 구한 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치, 및 움직임 벡터, 및,
    설정되는 임계치 파라미터의 어느 하나인 것을 특징으로 하는 화상 처리 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 글로벌 움직임 탐색 장치는,
    상기 1회째의 움직임 탐색 결과가 유효인지 무효인지를 판정하는 판정부를 포함하고,
    상기 판정부는,
    글로벌 움직임 탐색의 난이도가 높다고 판단되는 경우는, 1회째의 움직임 탐색은 무효로 하는 것을 특징으로 하는 화상 처리 장치.
  4. 제 3항에 있어서,
    상기 판정부가 상기 1회째의 움직임 탐색 결과가 유효인지 무효인지를 판정하는 조건은, 적어도,
    1회째의 움직임 탐색에서 구한 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치, 및 움직임 벡터, 및,
    설정되는 임계치 파라미터의 어느 하나인 것을 특징으로 하는 화상 처리 장치.
  5. 제 4항에 있어서,
    상기 판정부는,
    판정하는 조건으로서의 화면 전체에 걸치는 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보의 가산치를 채용하고,
    LK법에서의 오차 함수치의 화면 전체에 걸치는 분포의 표준편차를 구하고
    당해 표준편차가 설정되는 임계치를 상회하고 있는지의 여부를 상기한 조건의 하나로 하고, 당해 조건이 성립할 때 1회째의 움직임 탐색을 무효로 하는 것을 특징으로 하는 화상 처리 장치.
  6. 제 4항 또는 제 5항에 있어서,
    상기 판정부는,
    판정하는 조건으로서의 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치를 채용하고,
    1화소당의 시간 방향의 화소치 변화의 절대치를 구하고,
    당해 절대치가 설정되는 임계치를 상회하고 있는지의 여부를 상기한 조건의 하나로 하고, 당해 조건이 성립할 때 1회째의 움직인 탐색을 무효로 하는 것을 특징으로 하는 화상 처리 장치.
  7. 제 4항 내지 제 7항 중 어느 한 항에 있어서,
    상기 글로벌 움직임 탐색 장치는,
    1회째의 움직임 탐색이 무효인 경우, 2회째의 움직임 탐색을 행하지 않는 것을 특징으로 하는 화상 처리 장치.
  8. 제 1항 내지 제 7항 중 어느 한 항에 있어서,
    상기 움직임 탐색 처리부는,
    2회째의 움직임 탐색에서, 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치를 채용하고,
    LK법에서의 오차 함수치의 화면 전체에 걸치는 분포의 평균과 표준편차를 구하고,
    구한 평균과 표준편차에 의거하여, 각 화소에서의 오차 함수치로부터 벗어나는 값 정도를 구하고, 구한 어긋남 정도 값이 설정되는 임계치를 상회하고 있는지의 여부를 상기한 조건의 하나로 하고, 당해 조건이 성립할 때 당해 화소를 움직임 벡터의 계산에 넣지 않는 것을 특징으로 하는 화상 처리 장치.
  9. 제 1항 내지 제 8항 중 어느 한 항에 있어서,
    상기 움직임 탐색 처리부는,
    2회째의 움직임 탐색에서, 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치를 채용하고,
    LK법에서의 화소치 변화의 화면 전체에 걸치는 분포의 평균과 표준편차를 구하고,
    구한 평균과 표준편차에 의거하여, 각 화소에서의 오차 함수치로부터 벗어나는 값 정도를 구하고, 구한 어긋남 정도 값이 설정되는 임계치를 상회하고 있는지의 여부를 상기한 조건의 하나로 하고, 당해 조건이 성립할 때 당해 화소를 움직임 벡터의 계산에 넣지 않는 것을 특징으로 하는 화상 처리 장치.
  10. 제 1항 내지 제 9항 중 어느 한 항에 있어서,
    전단(前段) 신호 처리로 축소/평활화된 화소치 신호를 상기 글로벌 움직임 탐색 장치에 출력하는 전단(前段) 신호 처리부와,
    상기 글로벌 움직임 탐색 장치의 움직임 벡터 출력의 시계열에 디지탈 필터를 걸어서 보정 벡터로 하고, 보정 벡터로 나타난 위치에 따라, 원래의 입력 화상으로부터 일정한 비율의 크기의 부분을 절출하는 후단 신호 처리부를 갖는 것을 특징으로 하는 화상 처리 장치.
  11. 현(現)화상과 참조화상에 대해 글로벌 움직임 탐색(ME)을 행하여 움직임 벡터(MV)를 출력하는 글로벌 움직임 탐색을 행할 때에, 현화상과 참조화상 사이의 글로벌 움직임 탐색을 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 2회 이상 실행하고,
    1회째의 움직임 탐색에서는, 적어도, 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보에 의거하여 1조(組)의 움직임 벡터를 구하고,
    2회째의 움직임 탐색에서는, LK법으로 움직임 벡터를 구하기 위해 필요한, 적어도 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보를 구할 때에, 화소마다, 가산하는지 여부의 판단을 설정 조건에 따라 행하고, 조건을 만족하는 경우에, 2회째의 LK법의 결과로서 새롭게 1조의 움직임 벡터를 다시 구하여, 출력하는 것을 특징으로 하는 화상 처리 방법.
  12. 제 11항에 있어서,
    상기 2회째의 움직임 탐색에서의 화소마다, 가산하는지 여부의 판단을 설정 조건은, 적어도,
    당해 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보,
    1회째의 움직임 탐색에서 구한 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치, 및 움직임 벡터, 및 설정되는 임계치 파라미터의 어느 하나인 것을 특징으로 하는 화상 처리 방법.
  13. 제 11항 또는 제 12항에 있어서,
    상기 1회째의 움직임 탐색 결과가 유효인지 무효인지를 판정하고,
    글로벌 움직임 탐색의 난이도가 높다고 판단되는 경우는, 1회째의 움직임 탐색은 무효로 하는 것을 특징으로 하는 화상 처리 방법.
  14. 제 13항에 있어서,
    상기 1회째의 움직임 탐색 결과가 유효인지 무효인지를 판정하는 조건은, 적어도,
    1회째의 움직임 탐색에서 구한 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치, 및 움직임 벡터, 및, 설정되는 임계치 파라미터의 어느 하나인 것을 특징으로 하는 화상 처리 방법.
  15. 제 14항에 있어서,
    판정하는 조건으로서의 화면 전체에 걸치는 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보의 가산치를 채용하고,
    LK법에서의 오차 함수치의 화면 전체에 걸치는 분포의 표준편차를 구하고
    당해 표준편차가 설정되는 임계치를 상회하고 있는지의 여부를 상기한 조건의 하나로 하고, 당해 조건이 성립할 때 1회째의 움직임 탐색을 무효로 하는 것을 특징으로 하는 화상 처리 방법.
  16. 제 14항 또는 제 15항에 있어서,
    판정하는 조건으로서의 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치를 채용하고,
    1화소당의 시간 방향의 화소치 변화의 절대치를 구하고,
    당해 절대치가 설정되는 임계치를 상회하고 있는지의 여부를 상기한 조건의 하나로 하고, 당해 조건이 성립할 때 1회째의 움직인 탐색을 무효로 하는 것을 특징으로 하는 화상 처리 방법.
  17. 제 11항 내지 제 16항 중 어느 한 항에 있어서,
    2회째의 움직임 탐색에서, 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치를 채용하고,
    LK법에서의 오차 함수치의 화면 전체에 걸치는 분포의 평균과 표준편차를 구하고,
    구한 평균과 표준편차에 의거하여, 각 화소에서의 오차 함수치로부터 벗어나는 값 정도를 구하고, 구한 어긋남 정도 값이 설정되는 임계치를 상회하고 있는지의 여부를 상기한 조건의 하나로 하고, 당해 조건이 성립할 때 당해 화소를 움직임 벡터의 계산에 넣지 않는 것을 특징으로 하는 화상 처리 방법.
  18. 제 11항 내지 제 17항 중 어느 한 항에 있어서,
    2회째의 움직임 탐색에서, 시간 방향의 화소치 변화량에 관한 정보의 화면 전체에 걸치는 가산치를 채용하고,
    LK법에서의 화소치 변화의 화면 전체에 걸치는 분포의 평균과 표준편차를 구하고,
    구한 평균과 표준편차에 의거하여, 각 화소에서의 오차 함수치로부터 벗어나는 값 정도를 구하고, 구한 어긋남 정도 값이 설정되는 임계치를 상회하고 있는지의 여부를 상기한 조건의 하나로 하고, 당해 조건이 성립할 때 당해 화소를 움직임 벡터의 계산에 넣지 않는 것을 특징으로 하는 화상 처리 방법.
  19. 고체 촬상 소자와,
    상기 고체 촬상 소자에 피사체상을 결상하는 광학계와,
    상기 고체 촬상 소자에 의한 화상에 대한 화상 처리를 행하는 화상 처리 장치를 가지며,
    현(現)화상과 참조화상에 대해 글로벌 움직임 탐색(ME)을 행하여 움직임 벡터(MV)를 출력하는 글로벌 움직임 탐색 장치를 포함하고,
    상기 글로벌 움직임 탐색 장치는,
    현화상과 참조화상 사이의 글로벌 움직임 탐색을 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 2회 이상 실행하는 기능을 갖는 움직임 탐색 처리부를 포함하고,
    상기 움직임 탐색 처리부는,
    1회째의 움직임 탐색에서는, 적어도, 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보에 의거하여 1조(組)의 움직임 벡터를 구하고,
    2회째의 움직임 탐색에서는, LK법으로 움직임 벡터를 구하기 위해 필요한, 적어도 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보를 구할 때에, 화소마다, 가산하는지 여부의 판단을 설정 조건에 따라 행하고, 조건을 만족하는 경우에, 2회째의 LK법의 결과로서 새롭게 1조의 움직임 벡터를 다시 구하여, 출력하는 것을 특징으로 하는 촬상 장치.
  20. 현(現)화상과 참조화상에 대해 글로벌 움직임 탐색(ME)을 행하여 움직임 벡터(MV)를 출력하는 글로벌 움직임 탐색을 행할 때에, 현화상과 참조화상 사이의 글로벌 움직임 탐색을 행하기 위해, 화면 전체에 걸치는 Lucas-Kanade법(이하, LK법이라고 함)을, 2회 이상 실행하고,
    1회째의 움직임 탐색에서는, 적어도, 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보에 의거하여 1조(組)의 움직임 벡터를 구하고,
    2회째의 움직임 탐색에서는, LK법으로 움직임 벡터를 구하기 위해 필요한, 적어도 화소에서의 수평 방향의 화소치 변화량, 수직 방향의 화소치 변화량, 및 시간 방향의 화소치 변화량에 관한 정보, 및 수평 방향의 화소치 변화량과 수직 방향의 화소치 변화량과 시간 방향의 화소치 변화량으로 이루어지는 임의의 계산식의 계산 결과를, 화면 전체에 걸쳐서 가산한 정보를 구할 때에, 화소마다, 가산하는지 여부의 판단을 설정 조건에 따라 행하고, 조건을 만족하는 경우에, 2회째의 LK법의 결과로서 새롭게 1조의 움직임 벡터를 다시 구하여, 출력하는 화상 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
KR20110035526A 2010-04-28 2011-04-18 화상 처리 장치, 화상 처리 방법, 촬상 장치, 및 프로그램 KR20110120215A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2010-104353 2010-04-28
JP2010104353A JP2011233039A (ja) 2010-04-28 2010-04-28 画像処理装置、画像処理方法、撮像装置、およびプログラム

Publications (1)

Publication Number Publication Date
KR20110120215A true KR20110120215A (ko) 2011-11-03

Family

ID=44857968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20110035526A KR20110120215A (ko) 2010-04-28 2011-04-18 화상 처리 장치, 화상 처리 방법, 촬상 장치, 및 프로그램

Country Status (5)

Country Link
US (1) US8390697B2 (ko)
JP (1) JP2011233039A (ko)
KR (1) KR20110120215A (ko)
CN (1) CN102238332A (ko)
TW (1) TWI463866B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618904B (zh) * 2013-11-20 2017-02-22 华为技术有限公司 基于像素的运动估计方法及装置
WO2018084339A1 (ko) * 2016-11-04 2018-05-11 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012009876A1 (de) * 2011-11-10 2013-05-16 Audi Ag Verfahren zum Verarbeiten einer Bildsequenz und Testgerät für einen Kraftwagen
US8347391B1 (en) * 2012-05-23 2013-01-01 TrustPipe LLC System and method for detecting network activity of interest
US11083344B2 (en) 2012-10-11 2021-08-10 Roman Tsibulevskiy Partition technologies
US8856324B2 (en) 2013-01-28 2014-10-07 TrustPipe LLC System and method for detecting a compromised computing system
JP6155087B2 (ja) * 2013-05-01 2017-06-28 日本放送協会 動き推定装置及びプログラム
CN105550981A (zh) * 2015-11-27 2016-05-04 中山大学 一种基于Lucas-Kanade算法的图像配准和拼接方法
CN107274382B (zh) * 2017-05-03 2020-08-21 国网湖北省电力公司 一种硬压板的状态辨识方法、装置及电子设备
US20190188829A1 (en) * 2017-12-14 2019-06-20 Multitek Inc. Method, Apparatus, and Circuitry of Noise Reduction
MX2020012885A (es) 2018-05-29 2021-09-02 Curiouser Products Inc Aparato de pantalla de video reflectante para entrenamiento interactivo y demostración y métodos para utilizar el mismo.
CN115485753A (zh) 2020-04-30 2022-12-16 库里欧瑟产品公司 用于交互式训练和演示的反射视频显示设备及其使用方法
US11167172B1 (en) 2020-09-04 2021-11-09 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3199834B2 (ja) 1992-04-06 2001-08-20 キヤノン株式会社 防振装置及び振れ検出装置
EP1376471A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
JP4755490B2 (ja) 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
EP1734767A1 (en) * 2005-06-13 2006-12-20 SONY DEUTSCHLAND GmbH Method for processing digital image data
DE102006009774B4 (de) * 2006-03-01 2007-10-18 Siemens Ag Bewegungsanalyse in digitalen Bildfolgen
GB2438449C (en) * 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
WO2008063615A2 (en) * 2006-11-20 2008-05-29 Rexee, Inc. Apparatus for and method of performing a weight-based search
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP5045320B2 (ja) * 2007-09-05 2012-10-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4461165B2 (ja) * 2007-09-26 2010-05-12 株式会社東芝 画像処理装置、方法およびプログラム
CN101281650B (zh) * 2008-05-05 2010-05-12 北京航空航天大学 用于视频稳定的快速全局运动估计方法
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
CN101600106B (zh) * 2009-06-22 2012-10-03 北京大学 一种全局运动估计方法及装置
US8873798B2 (en) * 2010-02-05 2014-10-28 Rochester Institue Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618904B (zh) * 2013-11-20 2017-02-22 华为技术有限公司 基于像素的运动估计方法及装置
WO2018084339A1 (ko) * 2016-11-04 2018-05-11 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10986367B2 (en) 2016-11-04 2021-04-20 Lg Electronics Inc. Inter prediction mode-based image processing method and apparatus therefor

Also Published As

Publication number Publication date
US20110267488A1 (en) 2011-11-03
TW201206180A (en) 2012-02-01
TWI463866B (zh) 2014-12-01
JP2011233039A (ja) 2011-11-17
US8390697B2 (en) 2013-03-05
CN102238332A (zh) 2011-11-09

Similar Documents

Publication Publication Date Title
KR20110120215A (ko) 화상 처리 장치, 화상 처리 방법, 촬상 장치, 및 프로그램
Jinno et al. Multiple exposure fusion for high dynamic range image acquisition
KR100866963B1 (ko) 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법
WO2013024703A1 (ja) 画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラム
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
KR101524548B1 (ko) 영상 정합 장치 및 방법
TW200931343A (en) Block-based image stabilization
US8711938B2 (en) Methods and systems for motion estimation with nonlinear motion-field smoothing
CN111127347A (zh) 降噪方法、终端及存储介质
KR20210110679A (ko) 이미지 융합 프로세싱 모듈
US20100182511A1 (en) Image Processing
US7729543B2 (en) Imaging apparatus
JP5082856B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
Jinno et al. Motion blur free HDR image acquisition using multiple exposures
JP4947576B2 (ja) 撮像装置、ぶれ補正方法及び撮像方法
KR102003460B1 (ko) 왜곡제거장치 및 방법
JP2007166442A (ja) 撮像装置
CN112132879B (zh) 一种图像处理的方法、装置和存储介质
JP5334241B2 (ja) フレーム画像の動きベクトル推定装置及びプログラム
US20220383516A1 (en) Devices and methods for digital signal processing
Khatoonabadi et al. Compressed-domain global motion estimation based on the normalized direct linear transform algorithm
JP7278737B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP6873815B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
Vo et al. Automatic video deshearing for skew sequences capturedby rolling shutter cameras
JP2021044652A (ja) 動きベクトル検出装置及び動きベクトル検出方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid