KR101477009B1 - 고속 움직임 추정 방법 및 장치 - Google Patents

고속 움직임 추정 방법 및 장치 Download PDF

Info

Publication number
KR101477009B1
KR101477009B1 KR1020080016307A KR20080016307A KR101477009B1 KR 101477009 B1 KR101477009 B1 KR 101477009B1 KR 1020080016307 A KR1020080016307 A KR 1020080016307A KR 20080016307 A KR20080016307 A KR 20080016307A KR 101477009 B1 KR101477009 B1 KR 101477009B1
Authority
KR
South Korea
Prior art keywords
comparison value
projection
projection data
input image
value field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020080016307A
Other languages
English (en)
Other versions
KR20090090822A (ko
Inventor
강동구
위호천
Original Assignee
삼성전자 주식회사
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 삼성전기주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020080016307A priority Critical patent/KR101477009B1/ko
Publication of KR20090090822A publication Critical patent/KR20090090822A/ko
Application granted granted Critical
Publication of KR101477009B1 publication Critical patent/KR101477009B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

고속 움직임 추정 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 고속 움직임 추정 장치는 제1 입력 영상 및 제2 입력 영상 각각으로부터 특정한 투사 각도에서 투사한 제1 투사 데이터 및 제2 투사 데이터를 생성하는 투사 데이터 생성부와, 제1 투사 데이터 및 제2 투사 데이터로부터 투사 각도에서의 비교 값 프로파일을 생성하는 비교 값 프로파일 생성부와, 비교 값 프로파일을 이용하여 비교 값 필드를 업데이트 하는 비교 값 필드 업데이트부와, 투사 각도를 변화시키는 투사 각도 선택부 및 업데이트된 비교 값 필드를 이용하여 제1 입력 영상 및 제2 입력 영상에 대한 움직임을 추정하는 움직임 추정부를 포함한다.
움직임 추정, 영상 접합, 투사 데이터

Description

고속 움직임 추정 방법 및 장치 {Method and system for fast motion estimation}
본 발명은 고속 움직임 추정 방법 및 장치에 관한 것으로, 보다 상세하게는 복수의 투사 데이터를 이용한 고속 움직임 추정 방법 및 장치에 관한 것이다.
영상(Image)에 대한 움직임 정보는 비전 및 영상 처리 시스템에서 필요한 정보이다. 상기 영상에 대한 움직임 정보를 이용하여 서로 다른 두 장의 영상 또는 그 이상의 영상에서 물리적으로 유사한 영역들을 기하학적으로 일치시키는 영상 정합(Alignment, Registration)이 이루어 진다.
이러한 영상에 대한 움직임 정보는 단일의 이미지 센서로부터 획득한 다중 노출 기반의 하이 다이나믹 레인지 영상(High dynamic range(HDR) image)을 위한 정합, 손떨림에 의한 영상을 보정하는 디지털 모션 안정기(Digital motion stabilizer), 영상 정보 압축을 필요로 하는 비디오 인코더(Video encoder) 및 의료기기에 의해 촬영된 영상 정합 등에 필요하다. 예를 들어, 일반 카메라 영상과 적외선 영상 혹은 CT(Computer Tomography) 와 MRI(Magnetic Resonance Imaging) 영상을 합성하는 경우를 들 수 있다.
일반적으로 두 영상간의 움직임을 찾는 방법은 가능한 모든 움직임 후보들에 대해 유사 척도를 계산하고, 최대 유사척도 값을 가지는 변이를 구하는 것이다. 여기서, 움직임 후보란 두 영상에서 물리적으로 유사한 영역을 말한다. 하지만, 2차원 공간의 모든 움직임 후보 영역을 탐색 하려면 처리 속도가 매우 느려지고, 계산의 복잡도가 높아지므로 실제로 구현하기가 쉽지 않다.
이와 함께, 대부분의 영상을 이용하는 응용 디바이스에서는 움직임 추정(Motion Estimation, ME) 작업이 합성, 압축 등 다른 프로세스와 함께 전체 시스템의 일부로서 동작한다. 따라서, 움직임 추정에 대한 계산량이나 메모리 부담이 적어야 하며, 특히 모바일 하드웨어 플랫폼에서와 같이 메모리, 프로세서의 연산처리 능력, 허용 소비 전력 등이 제한되는 환경에서는 고속이면서 정확도가 높은 움직임 추정 방법 및 장치가 필요하게 되었다.
본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 다양한 투사 각도에서 생성한 복수의 투사 데이터를 이용하여 영상의 움직임 추정의 속도 및 정확성을 높일 수 있는 고속 움직임 추정 방법 및 장치를 제공하는 것이다.
본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 고속 움직임 추정 장치는 제1 입력 영상 및 제2 입력 영상 각각으로부터 특정한 투사 각도에서 투사한 제1 투사 데이터 및 제2 투사 데이터를 생성하는 투사 데이터 생성부와, 상기 제1 투사 데이터 및 상기 제2 투사 데이터로부터 상기 투사 각도에서의 비교 값 프로파일을 생성하는 비교 값 프로파일 생성부와, 상기 비교 값 프로파일을 이용하여 비교 값 필드를 업데이트 하는 비교 값 필드 업데이트부와, 상기 투사 각도를 변화시키는 투사 각도 선택부 및 상기 업데이트된 비교 값 필드를 이용하여 상기 제1 입력 영상 및 제2 입력 영상에 대한 움직임을 추정하는 움직임 추정부를 포함한다.
또한, 상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 고속 움직임 추정 방법은 제1 입력 영상 및 제2 입력 영상 각각으로부터 특정한 투사 각도에서 투사한 제1 투사 데이터 및 제2 투사 데이터를 생성하는 (a) 단계와, 상 기 제1 투사 데이터 및 상기 제2 투사 데이터로부터 상기 투사 각도에서의 비교 값 프로파일을 생성하는 (b) 단계와, 상기 비교 값 프로파일을 이용하여 비교 값 필드를 업데이트 하는 (c) 단계와, 상기 투사 각도를 변화시켜 상기 (a) 단계 내지 (c) 단계를 반복하는 (d) 단계 및 상기 업데이트된 비교 값 필드를 이용하여 상기 제1 입력 영상 및 제2 입력 영상에 대한 움직임을 추정하는 (e) 단계를 포함한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 고속 움직임 추정 방법 및 장치를 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스 트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그 렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
이하, 본 발명의 실시예들에 의하여 고속 움직임 추정 방법 및 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일실시예에 따른 고속 움직임 추정 장치의 구성을 나타내는 블록도이다.
본 발명의 일실시예에 따른 고속 움직임 추정 장치(100)는 투사 데이터 생성부(110), 비교 값 프로파일 생성부(120), 비교 값 필드 업데이트부(130), 투사 각도 선택부(150) 및 움직임 추정부(140)를 포함할 수 있다.
투사 데이터 생성부(110)는 제1 입력 영상(10) 및 제2 입력 영상(20) 각각으로부터 투사 각도에서 투사한 제1 투사 데이터(30) 및 제2 투사 데이터(40)를 생성하는 역할을 할 수 있다.
비교 값 프로파일 생성부(120)는 제1 투사 데이터(30) 및 제2 투사 데이 터(40)로부터 투사 각도에서의 비교 값 프로파일(50)을 생성하는 역할을 할 수 있다.
비교 값 필드 업데이트부(130)는 비교 값 프로파일(50)을 이용하여 비교 값 필드를 업데이트 하는 역할을 할 수 있다.
투사 각도 선택부(150)는 입력 영상에 대하여 투사 데이터를 생성할 투사 각도를 설정하고 순차적으로 투사 각도를 변화시키는 역할을 할 수 있다.
움직임 추정부(140)는 업데이트된 비교 값 필드를 이용하여 제1 입력 영상(10) 및 제2 입력 영상(20)에 대한 움직임을 추정하는 역할을 할 수 있다.
상기와 같이 구성되는 본 발명의 일실시예에 따른 고속 움직임 추정 장치의 각 모듈을 이용한 움직임 추정 방법을 구체적으로 설명하면 다음과 같다.
도 2는 본 발명의 일실시예에 따른 고속 움직임 추정 장치를 이용한 움직임 추정 방법을 나타내는 순서도이다.
먼저, 투사 각도 선택부(150)에서 입력 영상에 대해 투사 데이터를 생성할 복수의 투사 각도를 설정할 수 있다(S201). 투사 각도는 2차원인 입력 영상으로부터 1차원 투사 데이터를 생성하기 위한 각도로서, 여기서는 입력 영상의 X 축으로부터 반시계 방향의 각도를 의미한다. 예를 들어, N 개의 투사 각도 θ(1) ~ θ(N)을 설정할 수 있는데, N 개의 투사 각도는 등간격으로 설정될 수도 있고, 사용자가 지정한 임의의 각도를 가질 수도 있다. 투사 각도의 개수 및 간격은 입력 영상의 움직임을 추정하기 위한 속도(복잡도) 또는 정확도 등을 고려하여 결정될 수 있다. 예를 들어, 투사 각도의 개수가 많을수록 움직임 추정의 정확도는 증가하나, 움직 임 추정의 복잡도도 증가하여 속도도 감소하게 되므로, 입력 영상에 따라 투사 각도의 개수를 결정할 수 있다.
투사 각도 선택부(150)에서 투사 각도 θ(1) ~ θ(N)을 결정하고 나면, 투사 데이터 생성부(110)는 제1 입력 영상(10) 및 제2 입력 영상(20) 각각으로부터 첫 번째 투사 각도인 θ(1)에서 투사한 제1 투사 데이터(30) P1 ,θ(n)(t) 및 제2 투사 데이터(40) P2 ,θ(n)(t)를 생성할 수 있다(S202). 여기서, t는 투사 각도에서 투사한 1차원 직선 상에서의 위치를 의미한다.
투사 각도 선택부(150)는 움직임 추정을 위하여 먼저 두 영상을 입력 받을 수 있다. 투사 각도 선택부(150)는 외부로부터 제1 입력 영상(10) 및 제2 입력 영상(20)을 입력 받거나 또는 이미지 획득 센서(도시되지 않음)를 가지는 디바이스에 의하여 촬영된 제1 입력 영상(10) 및 제2 입력 영상(20)을 입력 받을 수 있다. 이미지 획득 센서는 피사체에서 반사된 광을 전기적인 이미지 신호로 변환하여 영상을 생성해 내는 영상 촬상 소자 부품을 일컫는 것으로, 그 제작 공정과 응용 방식에 따라 크게 전하 결합 소자(CCD; Charge Coupled Device) 이미지 센서와 금속 산화물 반도체(CMOS; Complementary　Metal Oxide Semiconductor) 이미지 센서로 분류 할 수 있다.
입력되는 영상에는 제한이 없으며, 예를 들어 일반 카메라로부터 획득한 영상과 적외선 카메라로부터 획득한 영상, CT(Computed Tomography) 영상과 MRI 영상에 대하여도 각각 제1 입력 영상(10) 및 제2 입력 영상(20)으로 하여 적용할 수 있 다.
또한, 투사 데이터는 2차원적인 입력 영상에 대하여 투사 방향에 대하여 대표하는 값으로 나타내는 1차원적인 분포 데이터를 의미한다.
본 발명의 일실시예에 따른 고속 움직임 추정 장치(100)의 투사 데이터 생성부(110)는 입력 영상으로부터 투사 각도에서 보이는 화소(Pixel)들의 밝기 값(Intensity)을 합하여 투사 데이터를 생성할 수 있다.
도 3a는 투사 데이터 생성부에서 입력 영상으로부터 소정의 투사 각도에서 투사 데이터를 생성하는 예를 나타내는 도면이고, 도 3b는 투사 데이터를 생성하는 방법을 나타내는 도면이다.
도 3a에 도시된 바와 같이, 투사 데이터 생성부(110)에서는 입력 영상(111)으로부터 투사 각도 θ(n)에서 투사한 투사 데이터(112) Pθ(n)(t)를 생성하는 데, 그 예는 도 3b에 도시된 바와 같다.
도 3b에 도시된 바와 같이, t 위치에서 투사 각도 θ(n)으로부터 일직선 상에 위치하는 입력 영상(111) 상의 복수의 화소(113)들의 밝기 값을 합하거나 이를 일직선 상의 화소들의 개수로 나누어 투사 데이터(112) Pθ(n)(t)을 구할 수 있다. 이와 같이, t 값을 전체 탐색 영역(Search Range, SR)에 대하여 변화시켜 가며 전체 투사 데이터(112)를 구할 수 있다. 여기서, 탐색 영역은 특정 투사 각도에서의 투사 데이터가 존재하는 범위(예를 들면, -SR ~ SR)를 의미한다.
생성된 투사 데이터는 1차원적인 값을 가짐으로, 2차원적인 밝기 정보를 가 지는 입력 영상에 대하여 1차원적인 투사 데이터를 생성하여 복잡도를 낮출 수 있으므로, 제1 입력 영상(10)과 제2 입력 영상(20) 간의 움직임 추정을 효과적으로 할 수 있다.
한편, 투사 데이터 생성부(110)는 제1 투사 데이터(30) 및 제2 투사 데이터(40)를 생성하기 위해서 필요에 따라 제1 입력 영상(10) 또는 제2 입력 영상(20)을 보상할 수 있다. 예를 들면, 두 입력 영상의 특성이 현저히 다른 경우, 정확한 움직임 추정을 위해 입력 영상을 보상할 필요가 있다. 이 경우, 제1 입력 영상(10) 및 제2 입력 영상(20)의 누적 분포 함수(Cumulative distribution function; CDF)에 의하여 제1 입력 영상(10) 및 제2 입력 영상(20) 간에 보상 관계를 나타내는 매핑 테이블(Mapping Table)을 이용할 수 있다.
다시 도 2를 참조하면, 투사 데이터 생성부(110)에서 제1 투사 데이터(30) 및 제2 투사 데이터(40)를 생성하고 난 후, 비교 값 프로파일 생성부(120)는 제1 투사 데이터(30) P1 θ(t) 및 제2 투사 데이터(40) P2 θ(t)로부터 투사 각도 θ(1)에서의 비교 값 프로파일(50) mθ(s)을 생성할 수 있다(S203). 여기서, s는 투사 각도에서 투사한 1차원 직선 상에서의 위치를 의미한다. 비교 값 프로파일(50)이란, 특정 투사 각도에서의 제1 입력 영상(10)의 제1 투사 데이터(30)와 제2 입력 영상(20)의 제2 투사 데이터(40)를 비교한 차이 또는 유사도 값을 나타내는 1차원 데이터를 의미한다.
본 발명의 일실시예에 따른 고속 움직임 추정 장치(100)에서는, 차이 값 기 반 측정 또는 확률 기반 통계적 유사도 방법을 이용하여 비교 값 프로파일(50)을 생성할 수 있다. 그러나, 비교 값 프로파일 생성부(120)에서 투사 데이터 간에 비교 값을 구하는 방법은 제한이 없으며, 당업자에 의해 변경 가능하다.
도 4a는 비교 값 프로파일 생성부에서 제1 및 제2 투사 데이터로부터 비교 값 프로파일을 생성하는 예를 나타내는 순서도이고, 도 4b는 생성된 비교 값 프로파일의 예를 나타내는 도면이다.
도 4a에 도시된 바와 같이, 제1 입력 영상(10) 및 제2 입력 영상(20)으로부터 각각 제1 투사 데이터(30) 및 제2 투사 데이터(40)를 구한 후, 비교 값 프로파일 생성부(120)는 움직임 벡터를 초기화할 수 있다(S301). 즉, 움직임 벡터를 탐색 영역의 최소값인 -SR의 값으로 초기화할 수 있다. 그리고, 움직임 벡터에 의해 제1 투사 데이터 또는 제2 투사 데이트를 보상하고 난 후, 제1 투사 데이터(30)와 제2 투사 데이터(40)를 비교하여(S302), 그 비교 값을 저장할 수 있다(S303). 그리고, 다음 위치에서의 움직임 벡터를 설정하여 그 위치에서의 제1 투사 데이터(30)와 제2 투사 데이터(40)를 비교할 수 있다(S305). 이와 같이, 전체 탐색 영역에 대하여 제1 투사 데이터(30) 및 제2 투사 데이터(40)의 비교 값을 저장하여 도 4b와 같은 비교 값 프로파일(50)을 생성할 수 있다.
다시 도 2를 참조하면, 비교 값 프로파일 생성부(120)에서 제1 투사 데이터(30) 및 제2 투사 데이터(40)로부터 비교 값 프로파일(50)을 생성하고 난 후, 비교 값 필드 업데이트부(130)는 투사 각도 θ(1)에서의 비교 값 프로파일(50) mθ(s) 을 이용하여 비교 값 필드 M(mvx, mvy)를 업데이트 할 수 있다(S204). 비교 값 필드란 입력 영상 상에서 제1 및 제2 투사 데이터(40)의 비교 값을 이용하여 생성되는 2차원적인 영역을 의미한다.
본 발명의 일실시예에 따른 고속 움직임 추정 장치(100)에서는, 비교 값 프로파일(50) mθ(s)을 비교 값 필드 M(mvx, mvy)에 역투사(Back Projection)함으로써 비교 값 필드를 업데이트 할 수 있다.
도 5는 비교 값 필드 업데이트부에서 비교 값 프로파일을 역투사하여 비교 값 필드를 업데이트 하는 예를 나타내는 도면이다.
도 5에 도시된 바와 같이, 역투사(Back Projection)는 투사 데이터를 생성하는 투사 과정과 반대 의미로, 1차원 투사 데이터로부터 구한 1차원 비교 값 프로파일(50)로부터 2차원 비교 값 필드를 구하는 것을 의미한다. 따라서, 다양한 투사 각도로부터 구한 비교 값 프로파일(50)을 순차적으로 역투사하여 비교 값 필드를 업데이트 할 수 있다.
일실시예로, 비교 값 프로파일(50)을 역투사하여 비교 값 필드를 업데이트 하기 위해 다음과 같은 [수학식 1]를 사용할 수 있다.
Mθ(n)(mvx, mvy) = Mθ(n-1)(mvx, mvy) + mθ(n)(s)
[수학식 1]에 나타난 바와 같이, 투사 각도 θ(n)에서의 비교 값 필드 Mθ(n)(mvx, mvy)는 투사 각도 θ(n-1)까지 업데이트 된 비교 값 필드 Mθ(n)(mvx, mvy)에 투사 각도 θ(n)에서의 비교 값 프로파일(50) mθ(s)을 합하여 구할 수 있다.
비교 값 필드를 업데이트 하는 방법으로 역투사 방법 이외에도, CT에서 사용하는 Fourier Slice Theorem 등의 1차원 투사 데이터를 이용하여 2차원 영상을 재구성하는 다양한 방법을 사용할 수 있다. 1차원 투사 데이터를 이용하여 2차원 영상을 재구성하는 방법에 대해서는 공지되어 있으므로, 이에 관한 자세한 설명은 생략한다.
다시 도 2를 참조하면, 비교 값 필드 업데이트부(130)에서 비교 값 필드를 업데이트 하고 난 후, 투사 각도 선택부(150)는 투사 각도를 θ(2)로 변화시켜(S206), 상술한 바와 같이 단계 S202부터 단계 S204를 반복할 수 있다. 이와 같이, 투사 각도 선택부(150)에서 설정한 모든 투사 각도 θ(1) ~ θ(N)에 대하여 단계 S202부터 단계 S204를 반복하여 비교 값 필드를 업데이트 할 수 있다.
투사 각도 선택부(150)에서 설정한 모든 투사 각도에 대하여 비교 값 필드를 업데이트 하고 난 후, 움직임 추정부(140)는 최종적으로 업데이트된 비교 값 필드를 이용하여 제1 입력 영상(10) 및 제2 입력 영상(20)에 대한 움직임을 추정할 수 있다.
본 발명의 일실시예에 따른 고속 움직임 추정 장치(100)에서는, 최종적으로 업데이트된 비교 값 필드로부터 최대 유사도 또는 최소 차이도를 갖는 위치를 변이 벡터로 하는 움직임 벡터(Motion Vector)를 구하여 움직임을 추정할 수 있다. 즉, 비교 값 필드로부터 유사 척도를 최대화할 수 있는 위치를 결정하여 움직임 벡터를 구할 수 있다. 유사 척도는 제1 입력 영상(10)과 제2 입력 영상(20) 간에 유사도를 나타내는 계측(Measure) 값을 의미한다. 따라서, 유사 척도가 최대가 되게 한다는 것은 제1 입력 영상(10)와 제2 입력 영상(20) 간에 유사한 정도를 최대가 되게 한다는 것이다. 따라서, 유사 척도를 최대로 하는 제2 입력 영상(20)를 이동량을 움직임 벡터로 정의할 수 있다.
유사 척도를 산출하는 방법은 다양한 방법에 의해 산출될 수 있다. 예를 들어, 일반적인 루미넌스(luminance) 기반 방법 또는 확률 기반 방법을 사용할 수 있다. 루미넌스 기반 방법으로 기존의 상관 관계(correlation), 정규화된 상관 관계(normalized correlation) 및 SAD(sum of the absolute difference) 등의 알고리즘을 사용할 수 있다. 그리고, 확률 기반 방법으로 상호 정보(mutual information), 정규 상호 정보(normalized mutual information) 등의 알고리즘을 사용할 수 있다. 상관 관계, 정규화된 상관 관계, SAD, 상호 정보, 정규 상호 정보는 이미 공지되어 있는 알고리즘 및 방법이므로 이에 관한 자세한 설명을 생략한다.
한편, 본 발명의 일실시예에 따른 고속 움직임 추정 장치(100)에서는, 2차원의 영상에 대해 다양한 투사 각도에서 생성한 1차원의 투사 데이터를 이용하여 움직임을 추정하는 예를 설명하였으나, 이에 국한되지 않는다. 즉, 본 발명의 일실시예에 따른 고속 움직임 추정 장치(100)는 CT 촬영에서와 같이 3차원의 영상에 대해 다양한 투사 각도에서 생성한 2차원의 투사 데이터를 이용하여 움직임을 추정하는 데에도 활용할 수 있다.
종래에는 두 개의 2차원 입력 영상에 대하여 수평 및 수직 방향으로 각각 1차원의 투사 데이터를 구하고, 같은 방향의 투사 데이터를 비교하여 수평(X 방향) 및 수직(Y 방향)의 움직임 벡터를 구한 뒤, 이를 이용하여 2차원 영상의 움직임을 추정했다. 이러한 방법은 2차원 영상의 움직임 추정을 수행함에 있어서, 1차원 데이터를 이용하여 움직임 추정의 복잡도가 획기적으로 감소하게 되는 장점이 있지만, 서로 수직인 두 개의 투사 데이터만을 이용함으로써 영상의 정보가 손실되어 추정의 정확도가 감소되는 단점이 있다.
그러나, 본 발명의 일실시예에 따른 고속 움직임 추정 장치 및 방법에 의하면, 다양한 투사 각도에서 구해진 복수의 투사 데이터를 이용하여 영상의 보다 많은 정보를 활용하여 영상의 움직임을 추정함으로써 움직임 추정의 정확도를 높일 수 있다. 또한, 2차원의 영상에 대해 1차원의 투사 데이터를 이용하여 영상의 움직임을 추정함으로써 움직임 추정의 속도를 높일 수 있어 소요되는 계산량 및 메모리 량을 줄일 수 있다. 또한, 투사 각도의 개수와 방향을 조절함으로써 어플리케이션에 따라 그 적용 범위를 확대할 수 있다.
본 발명은 두 영상 간의 움직임을 추정하는 기능을 요구하는 모든 영상 처리 소프트웨어 또는 하드웨어 시스템(고감도 카메라, 광대역 카메라, 비디오 인코더, 의료 영상)에 이용할 수 있으며, 특히 휴대폰, 디지털카메라 등 모바일 기기에서처럼 메모리나 프로세서의 연산 능력, 소비 가능 전력 등이 제한된 하드웨어 환경에서 더욱 효과적으로 이용될 수 있다. 또한 x-ray CT를 이용한 진단 및 수술 지원을 위한 고속 영상 정합(Registration) 시스템에도 사용될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일실시예에 따른 고속 움직임 추정 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 따른 고속 움직임 추정 장치를 이용한 움직임 추정 방법을 나타내는 순서도이다.
도 3a는 투사 데이터 생성부에서 입력 영상으로부터 소정의 투사 각도에서 투사 데이터를 생성하는 예를 나타내는 도면이다.
도 3b는 투사 데이터를 생성하는 방법을 나타내는 도면이다.
도 4a는 비교 값 프로파일 생성부에서 제1 및 제2 투사 데이터로부터 비교 값 프로파일을 생성하는 예를 나타내는 순서도이다.
도 4b는 생성된 비교 값 프로파일의 예를 나타내는 도면이다.
도 5는 비교 값 필드 업데이트부에서 비교 값 프로파일을 역투사하여 비교 값 필드를 업데이트 하는 예를 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 고속 움직임 추정 장치
110: 투사 데이터 생성부
120: 비교 값 프로파일 생성부
130: 비교 값 필드 업데이트부
140: 움직임 추정부
150: 투사 각도 선택부

Claims (10)

  1. 제1 입력 영상 및 제2 입력 영상 각각으로부터 특정한 투사 각도에서 투사한 제1 투사 데이터 및 제2 투사 데이터를 생성하는 투사 데이터 생성부;
    상기 제1 투사 데이터 및 상기 제2 투사 데이터로부터 상기 투사 각도에서의 비교 값 프로파일을 생성하는 비교 값 프로파일 생성부;
    상기 비교 값 프로파일을 이용하여 비교 값 필드를 업데이트 하는 비교 값 필드 업데이트부;
    상기 투사 각도를 변화시키는 투사 각도 선택부; 및
    상기 업데이트된 비교 값 필드를 이용하여 상기 제1 입력 영상 및 제2 입력 영상에 대한 움직임을 추정하는 움직임 추정부를 포함하되,
    상기 투사 데이터 생성부는 상기 투사 각도에서 보이는 화소(Pixel)들의 밝기 값을 합하여 상기 제1 투사 데이터 및 상기 제2 투사 데이터를 생성하는, 고속 움직임 추정 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 비교 값 프로파일 생성부는 차이 값 기반 측정 또는 확률 기반 통계적 유사도 방법을 이용하여 상기 비교 값 프로파일을 생성하는 고속 움직임 추정 장 치.
  4. 제 1 항에 있어서,
    상기 비교 값 필드 업데이트부는 상기 비교 값 프로파일을 상기 비교 값 필드에 역투사(Back Projection)함으로써 상기 비교 값 필드를 업데이트 하는 고속 움직임 추정 장치.
  5. 제 1 항에 있어서,
    상기 움직임 추정부는 상기 업데이트된 비교 값 필드로부터 최대 유사도 또는 최소 차이도를 갖는 위치를 변이 벡터로 하는 움직임 벡터(Motion Vector)를 구하여 상기 움직임을 추정하는 고속 움직임 추정 장치.
  6. 제1 입력 영상 및 제2 입력 영상 각각으로부터 특정한 투사 각도에서 투사한 제1 투사 데이터 및 제2 투사 데이터를 생성하는 (a) 단계;
    상기 제1 투사 데이터 및 상기 제2 투사 데이터로부터 상기 투사 각도에서의 비교 값 프로파일을 생성하는 (b) 단계;
    상기 비교 값 프로파일을 이용하여 비교 값 필드를 업데이트 하는 (c) 단계;
    상기 투사 각도를 변화시켜 상기 (a) 단계 내지 (c) 단계를 반복하는 (d) 단계; 및
    상기 업데이트된 비교 값 필드를 이용하여 상기 제1 입력 영상 및 제2 입력 영상에 대한 움직임을 추정하는 (e) 단계를 포함하되,
    상기 (a) 단계는 상기 투사 각도에서 보이는 화소(Pixel)들의 밝기 값을 합하여 상기 제1 투사 데이터 및 상기 제2 투사 데이터를 생성하는, 고속 움직임 추정 방법.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 (b) 단계는 차이 값 기반 측정 또는 확률 기반 통계적 유사도 방법을 이용하여 상기 비교 값 프로파일을 생성하는 고속 움직임 추정 방법.
  9. 제 6 항에 있어서,
    상기 (c) 단계는 상기 비교 값 프로파일을 상기 비교 값 필드에 역투사(Back Projection)함으로써 상기 비교 값 필드를 업데이트 하는 고속 움직임 추정 방법.
  10. 제 6 항에 있어서,
    상기 (e) 단계는 상기 업데이트된 비교 값 필드로부터 최대 유사도 또는 최소 차이도를 갖는 위치를 변이 벡터로 하는 움직임 벡터(Motion Vector)를 구하여 상기 움직임을 추정하는 고속 움직임 추정 방법.
KR1020080016307A 2008-02-22 2008-02-22 고속 움직임 추정 방법 및 장치 Active KR101477009B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080016307A KR101477009B1 (ko) 2008-02-22 2008-02-22 고속 움직임 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080016307A KR101477009B1 (ko) 2008-02-22 2008-02-22 고속 움직임 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090090822A KR20090090822A (ko) 2009-08-26
KR101477009B1 true KR101477009B1 (ko) 2014-12-29

Family

ID=41208557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080016307A Active KR101477009B1 (ko) 2008-02-22 2008-02-22 고속 움직임 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101477009B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101895822B1 (ko) * 2017-06-08 2018-09-07 에스케이플래닛 주식회사 프로파일 정보 기반 움직임 추정장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080016696A (ko) * 2005-05-31 2008-02-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 처리를 위한 변환 파라미터들의 계산

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080016696A (ko) * 2005-05-31 2008-02-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 처리를 위한 변환 파라미터들의 계산

Also Published As

Publication number Publication date
KR20090090822A (ko) 2009-08-26

Similar Documents

Publication Publication Date Title
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
US10334168B2 (en) Threshold determination in a RANSAC algorithm
CN111899282B (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
JP6534664B2 (ja) カメラ動き予測及び修正のための方法
KR101159082B1 (ko) 반복적 질량 중심을 이용하는 로버스트 카메라 팬 벡터 측정
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
US7333133B2 (en) Recursive least squares approach to calculate motion parameters for a moving camera
US10652521B2 (en) Stereo camera and image pickup system
IL182799A (en) Method for estimating the ptz camera&#39;s pose
WO2019045722A1 (en) METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR 3D CARTOGRAPHY ESTIMATION AND 3D IMAGE POSES
JP4941565B2 (ja) 対応点探索装置および対応点探索方法
JP2017092756A (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
TWI462056B (zh) 影像處理方法，裝置及電腦程式產品
CN116710955A (zh) 用于应变测量的基于融合的数字图像相关框架
US11176702B2 (en) 3D image reconstruction processing apparatus, 3D image reconstruction processing method and computer-readable storage medium storing 3D image reconstruction processing program
JP2017059998A (ja) 画像処理装置およびその方法、並びに、撮像装置
US10705217B2 (en) Controlling multiple imaging sensors
KR101477009B1 (ko) 고속 움직임 추정 방법 및 장치
RU2407058C2 (ru) Вычисление параметров преобразования для обработки изображений
JP4102386B2 (ja) ３次元情報復元装置
JP5478533B2 (ja) 全方位画像生成方法、画像生成装置およびプログラム
CN116309827A (zh) 位姿确定方法、机器人、计算机设备及介质
JP4985213B2 (ja) ３次元形状計測方法および装置ならびにプログラム
JP2015141615A (ja) 画像処理装置およびその方法
JP5359477B2 (ja) 道路領域推定装置及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080222

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20130213

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20080222

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140120

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20140709

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20140120

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20140806

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20140709

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Appeal identifier: 2014101004924

Request date: 20140806

PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20140806

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20140806

Patent event code: PB09011R01I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20140922

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20140911

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20141222

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20141223

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20171121

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20171121

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20181119

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20211115

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20221115

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20241118

Start annual number: 11

End annual number: 11