KR101313307B1 - 영상보정방법 및 장치 - Google Patents

영상보정방법 및 장치 Download PDF

Info

Publication number
KR101313307B1
KR101313307B1 KR1020110111827A KR20110111827A KR101313307B1 KR 101313307 B1 KR101313307 B1 KR 101313307B1 KR 1020110111827 A KR1020110111827 A KR 1020110111827A KR 20110111827 A KR20110111827 A KR 20110111827A KR 101313307 B1 KR101313307 B1 KR 101313307B1
Authority
KR
South Korea
Prior art keywords
image
previous
moving
rolling
feature point
Prior art date
Application number
KR1020110111827A
Other languages
English (en)
Other versions
KR20130047050A (ko
Inventor
임충혁
임윤택
이정민
이병호
김동환
김영진
Original Assignee
(주)컨벡스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)컨벡스 filed Critical (주)컨벡스
Priority to KR1020110111827A priority Critical patent/KR101313307B1/ko
Publication of KR20130047050A publication Critical patent/KR20130047050A/ko
Application granted granted Critical
Publication of KR101313307B1 publication Critical patent/KR101313307B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상의 흔들림을 보정하는 영상보정방법 및 장치에 관한 것이다. 영상보정방법은 이미징 장치로부터 입력받은 이미지에서 특징점을 검출하는 단계, 상기 이미징 장치가 상기 이미지를 획득하기 전에 획득한 이전 이미지에서 검출한 이전 특징점에 대한 상기 특징점의 이동방향 및 이동크기를 검출하는 단계, 상기 이동방향의 역방향으로 상기 이동크기만큼 상기 이미지를 이동시키는 이미지 이동단계, 상기 이전 이미지에 대한 상기 이미지의 롤링방향 및 롤링각도를 검출하는 단계, 그리고 상기 롤링방향의 역방향으로 상기 롤링각도만큼 상기 이미지를 회전시키는 이미지 회전단계를 포함하고, 상기 이미지 이동단계 및 상기 이미지 회전단계는 각 단계의 수행직후 각 단계가 수행된 상기 이미지에 나타나는 공백부분에 대하여 상기 이전 이미지의 부분을 차용하여 상기 공백부분을 채우고, 상기 이미지 이동단계는 상기 이미지 회전단계보다 먼저 수행된다.

Description

영상보정방법 및 장치{Method and device for compensating image}
본 발명은 영상의 흔들림을 보정하는 영상보정방법 및 장치에 관한 것이다.
근래 들어 하천 또는 해양 환경 보호의 중요성에 대한 인식이 자리 잡기 시작하면서, 하천 또는 해양의 환경 상태를 파악하기 위한 노력들이 다양하게 기울여지고 있다.
그런데 하천 또는 해양은 그 특성상 다양한 환경 상태를 지속적으로 파악하기에는 어려운 점이 많았다. 관측선이나 조사선을 이용하여 직접적으로 현장측정을 수행하게 되면 막대한 인력과 장비를 현장에 계속 상주시켜야 할 뿐만 아니라, 장기간에 걸친 지속적인 관측이 어려운 한계가 있었다.
이러한 한계를 극복하기 위해, 부표에 카메라나 센서를 장착하여 하천 또는 해양의 환경 상태를 파악하고자 하였다. 다만, 부표와 같이 물에 부유하고 있는 물체는 파랑(wave)과 같은 물의 움직임에 의하여 임의의 방향으로 이동되거나 회전될 수 있다. 이에 따라, 부표에 장착되어 있는 카메라는 하천 또는 해양의 실시간 상황에 따라 흔들리는 영상을 획득하게 되므로, 획득된 영상을 통해 하천 또는 해양 상의 주변 환경 상태를 쉽게 파악하기 어려운 문제가 있었다.
본 발명은 전술한 바와 같은 문제점들을 해결하기 위해 창출된 것으로서, 본 발명이 해결하고자 하는 과제는 사용자가 흔들림이 감소된 안정된 영상을 확인할 수 있도록 하는 영상보정방법 및 장치를 제공하는 것이다.
상기한 과제를 달성하기 위한 본 발명의 한 실시예에 따른 영상보정방법은 이미징 장치로부터 입력받은 이미지에서 특징점을 검출하는 단계, 상기 이미징 장치가 상기 이미지를 획득하기 전에 획득한 이전 이미지에서 검출한 이전 특징점에 대한 상기 특징점의 이동방향 및 이동크기를 검출하는 단계, 상기 이동방향의 역방향으로 상기 이동크기만큼 상기 이미지를 이동시키는 이미지 이동단계, 상기 이전 이미지에 대한 상기 이미지의 롤링방향 및 롤링각도를 검출하는 단계, 그리고 상기 롤링방향의 역방향으로 상기 롤링각도만큼 상기 이미지를 회전시키는 이미지 회전단계를 포함하고, 상기 이미지 이동단계 및 상기 이미지 회전단계는 각 단계의 수행직후 각 단계가 수행된 상기 이미지에 나타나는 공백부분에 대하여 상기 이전 이미지의 부분을 차용하여 상기 공백부분을 채우고, 상기 이미지 이동단계는 상기 이미지 회전단계보다 먼저 수행된다.
상기 특징점은 해리스 코너 검출법(Harris corner detector)에 의해 검출될 수 있다.
상기 이동방향 및 이동크기는 옵티컬 플로우(optical flow)에 의해 검출될 수 있다.
상기 이전 특징점 및 상기 특징점은 복수 개이고, 상기 이동방향 및 이동크기는 상기 복수의 이전 특징점에 대한 상기 복수의 이전 특징점에 각각 대응되는 상기 복수의 특징점의 평균 이동방향 및 평균 이동크기로 산정할 수 있다.
상기 롤링방향 및 롤링각도는 롤링감지센서에 의해 검출될 수 있다.
삭제
상기 이미지 이동단계와 상기 이미지 회전단계가 적용된 이미지를 원하는 장치에 출력하고 다시 상기 이미징 장치로부터 이미지를 입력받는 경우, 상기 원하는 장치에 출력한 이미지는 상기 이전 이미지가 되고, 상기 원하는 장치에 출력한 이미지의 특징점은 상기 이전 특징점이 될 수 있다.
본 발명의 한 실시예에 따른 영상보정방법은 상기 이미징 장치로부터 상기 이미지를 입력받는 단계, 그리고 상기 이미지 이동단계와 상기 이미지 회전단계가 적용된 이미지를 원하는 장치에 출력하는 단계를 더 포함할 수 있다.
상기 이미지는 상기 이미징 장치가 획득하는 영상의 프레임의 이미지이고, 상기 이전 이미지는 상기 프레임보다 이전의 프레임의 이미지일 수 있다.
한편, 상기한 과제를 달성하기 위한 본 발명의 한 실시예에 따른 영상보정장치는 이미징 장치로부터 입력받은 이미지에서 특징점을 검출하고, 상기 이미징 장치가 상기 이미지를 획득하기 전에 획득한 이전 이미지에서 검출한 이전 특징점에 대한 상기 특징점의 이동방향 및 이동크기를 검출하며, 상기 이동방향의 역방향으로 상기 이동크기만큼 상기 이미지를 이동시키고, 상기 이전 이미지에 대한 상기 이미지의 롤링방향 및 롤링각도를 검출하고, 상기 롤링방향의 역방향으로 상기 롤링각도만큼 상기 이미지를 회전시키되, 상기 이미지의 이동 및 상기 이미지의 회전 시 상기 이미지에 나타나는 공백부분은 상기 이전 이미지의 부분을 차용하여 채우고, 상기 이미지는 상기 이동방향의 역방향으로 상기 이동크기만큼 이동 후, 상기 롤링방향의 역방향으로 상기 롤링각도만큼 회전된다.
상기 특징점은 해리스 코너 검출법(Harris corner detector)에 의해 검출될 수 있다.
상기 이동방향 및 이동크기는 옵티컬 플로우(optical flow)에 의해 검출될 수 있다.
상기 이전 특징점 및 상기 특징점은 복수 개이고, 상기 이동방향 및 이동크기는 상기 복수의 이전 특징점에 대한 상기 복수의 이전 특징점에 각각 대응되는 상기 복수의 특징점의 평균 이동방향 및 평균 이동크기로 산정할 수 있다.
상기 롤링방향 및 롤링각도는 롤링감지센서에 의해 검출될 수 있다.
삭제
상기 이동방향의 역방향으로 상기 이동크기만큼 이동시키고 상기 롤링방향의 역방향으로 상기 롤링각도만큼 회전시킨 상기 이미지를 원하는 장치에 출력하고 다시 상기 이미징 장치로부터 이미지를 입력받는 경우, 상기 원하는 장치에 출력한 이미지는 상기 이전 이미지가 되고, 상기 원하는 장치에 출력한 이미지의 특징점은 상기 이전 특징점이 될 수 있다.
본 발명의 한 실시예에 따른 영상보정장치는 상기 이미징 장치로부터 상기 이미지를 입력받고, 상기 이동방향의 역방향으로 상기 이동크기만큼 이동시키고 상기 롤링방향의 역방향으로 상기 롤링각도만큼 회전시킨 상기 이미지를 원하는 장치에 출력할 수 있다.
상기 이미지는 상기 이미징 장치가 획득하는 영상의 프레임의 이미지이고, 상기 이전 이미지는 상기 프레임보다 이전의 프레임의 이미지일 수 있다.
한편, 본 발명의 한 실시예에 따른 컴퓨터로 읽을 수 있는 매체는 본 발명의 한 실시예에 따른 영상보정방법을 수행하기 위한 프로그램 명령을 포함할 수 있다.
본 발명에 의하면, 영상이 상하좌우로 흔들렸을 때의 보정과 롤링으로 인해 흔들렸을 때의 보정이 이루어짐으로써, 흔들림이 감소된 보다 안정적인 영상이 제공될 수 있다.
또한, 영상처리기술과 센서의 간단한 조합을 통해 수행됨으로써, 저전력으로 영상보정이 이루어질 수 있다.
또한, 특징점을 통해 이동량을 산정하고 센서를 통해 롤링각도를 검출함으로써, 영상보정이 보다 신속하게 이루어질 수 있다.
또한, 영상의 각 프레임들을 순차적으로 입력받아 이전 프레임에 대해 현재 프레임을 연속적으로 보정함으로써, 보정된 영상을 실시간으로 제공할 수 있다.
도 1은 본 발명의 한 실시예에 따른 영상보정방법의 흐름도이다.
도 2는 도 1의 영상보정방법을 설명하기 위한 개념도이다.
도 3은 도 1의 영상보정방법을 통해 보정된 결과를 예시적으로 나타낸 도면이다.
이하에서 본 발명의 실시예를 첨부된 도면을 참조로 상세히 설명한다.
본 발명의 한 실시예에 따른 영상보정방법(이하 '본 영상보정방법'이라 함)은 제공된 영상의 상하좌우 이동이나 롤링(회전)을 보정하여 흔들림을 감소시킨 안정적인 영상을 제공하는 영상보정방법에 관한 것이다. 이러한 본 영상보정방법은 영상이 상하좌우로 흔들렸을 때의 보정과 롤링으로 인해 흔들렸을 때의 보정을 통해 이루어질 수 있다.
도 1은 본 발명의 한 실시예에 따른 영상보정방법의 흐름도이고, 도 2는 도 1의 영상보정방법을 설명하기 위한 개념도이다.
도 1 및 도 2를 참조하면, 본 영상보정방법(S100)은 이전 이미지(1)에 대비하여 이미지(2)가 상하좌우 방향으로 이동된 정도를 검출하여 역으로 이동시키는 보정이 이루어지는 단계(S21, S22, S23)를 포함한다. 예시적으로, 본 영상보정방법(S100)은 영상 프레임(2)에서 특징점을 검출하여 이전 영상 프레임(1)의 특징점에 대비하여 특징점의 이동량을 계산하고, 영상 프레임(2)을 계산된 이동량만큼 반대방향으로 이동시켜 흔들림을 보정할 수 있다.
참고로, 이미지(2)는 이미징 장치가 획득하는 영상의 프레임의 이미지(2)이고, 이전 이미지(1)는 프레임보다 이전의 프레임의 이미지(1)일 수 있다. 예를 들면, 이미지(2)는 현재 프레임이고, 이전 이미지(1)는 현재 프레임의 바로 직전 프레임일 수도 있고, 현재 프레임의 10프레임 이전의 프레임일 수도 있다. 즉, 이전의 프레임이라 함은 필요에 따라 바로 직전의 프레임이 될 수도 있고, 일정 개수 이전의 프레임이 될 수도 있다.
보다 구체적으로 도 1 및 도 2를 참조하면, 본 영상보정방법(S100)은 이미징 장치로부터 입력받은 이미지(2)에서 특징점을 검출하는 단계(S21)를 포함할 수 있다. 이때, 특징점은 해리스 코너 검출법(Harris corner detector)에 의해 검출될 수 있다. 해리스 코너 검출법은 이미지(2) 내에 상하좌우로 움직이는 윈도우를 형성하여, 이러한 윈도우 내의 화소 값의 변화를 분석함으로써 코너점(특징점)을 찾는 방식으로 구현될 수 있다.
또한, 도 1 및 도 2를 참조하면, 본 영상보정방법(S100)은 이미징 장치가 이미지(2)를 획득하기 전에 획득한 이전 이미지(1)에서 검출한 이전 특징점에 대한 특징점의 이동방향 및 이동크기(31)를 검출하는 단계(S22)를 포함할 수 있다.
이때, 이동방향 및 이동크기(31)는 옵티컬 플로우(optical flow)에 의해 검출될 수 있다. 즉, 특징점을 검출하는 단계(S21)를 통해 검출된 특징점에 옵티컬 플로우를 사용하여 이동량(31)을 구할 수 있다.
옵티컬 플로우는 두 프레임 사이의 움직임을 추정하는 경우에 사용되는 방법으로, 밀집 옵티컬 플로우와 희소 옵티컬 플로우로 나눌 수 있다. 밀집 옵티컬 플로우는 영상 프레임에 포함되는 모든 픽셀의 속도를 구하는 것이고, 희소 옵티컬 플로우는 특징점들의 속도를 구하는 것이다.
본 영상보정방법(S100)에서는 특징점들의 속도를 구하는 희소 옵티컬 플로우를 사용할 수 있다. 예시적으로, 본 영상보정방법(S100)은 특징점의 이동방향 및 이동크기(31)를 검출하는데 있어서 루카스카나데(Lucas-Kanade) 옵티컬 플로우를 사용할 수 있다. 루카스카나데 방법은 작은 지역 원도우를 사용하기 때문에 비교적 빠른 움직임에 대해서도 추적이 가능하고, 모든 픽셀의 속도를 구하지 않고 특징점들의 속도만을 구하기 때문에 연산속도가 빠른 장점이 있다.
다만, 루카스카나데 방법은 작은 지역 윈도우를 사용하므로 해당 원도우보다 큰 움직임이 발생 하였을 경우 움직임을 계산하기 어려운 점은 있다. 그렇지만 실시간으로 빠른 영상보정이 이루어지도록 하기 위해서는, 빠른 움직임에 대한 추적이 가능한 점, 연산속도가 빠른 점이 더 중요하게 작용될 수 있음에 더 비중을 둘 수 있을 것이다.
또한, 특징점을 검출하는 단계(S21)를 통해 검출된 특징점과 이전 특징점은 복수 개로 검출될 수 있다. 이에 따라, 이전 특징점에 대한 특징점의 이동방향 및 이동크기(31)는 복수의 이전 특징점에 대한 복수의 이전 특징점에 각각 대응되는 복수의 특징점의 평균 이동방향 및 평균 이동크기(31)로 산정할 수 있다. 예시적으로, 이전 특징점들에 대응되게 검출된 특징점들의 X축, Y축의 이동량(31)을 구하고, 구한 이동량(31)의 평균을 내어 그 값만큼 역방향으로 이미지(2)를 이동시켜 영상을 보정할 수 있다. 즉, 영상의 상하좌우의 흔들림에 대해서는, 이를테면 옵티컬 플로우를 사용하여 특징점들의 이동량(31)의 평균을 내어 이미지(2)를 역으로 이동시켜서 영상보정이 이루어질 수 있다.
그리고 도 1 및 도 2를 참조하면, 본 영상보정방법(S100)은 이동방향의 역방향으로 이동크기만큼 이미지(2)를 이동시키는 이미지 이동단계(S23)를 포함할 수 있다. 즉, 특징점의 이동방향 및 이동크기(31)를 검출하는 단계(S22)를 통해 검출된 특징점의 이전 특징점에 대한 이동방향 및 이동크기(31)를 이용하여, 이미지(2)를 상하좌우 방향의 흔들림이 발생하기 이전의 방향으로 되돌리는 영상보정이 이루어질 수 있다.
예시적으로 도 2를 참조하여 이전 이미지(1)에 대비하여 이미지(2)가 상하좌우 방향으로 이동된 정도를 검출하여 역으로 이동시키는 보정이 이루어지는 단계(S21, S22, S23)를 살펴본다. 우선 도 2의 (a)를 참조하면, 이전 이미지(1)와 비교하여 이미지(2)가 상측으로 이동되어 있고 반시계방향으로 비스듬하게 회전되어 있음을 알 수 있다. 이러한 이미지(2)에 해리스 코너 검출법을 사용하여 특징점들(미도시)을 검출(S21)한 후, 옵티컬 플로우를 사용하여 이전 이미지(1)의 이전 특징점들(미도시)에 대한 이미지(2)의 특징점들의 평균 이동방향 및 평균 이동크기(31)를 검출(S22)한다. 다음으로, 이미지(2)를 검출된 평균 이동방향(31)의 역방향으로 검출된 평균 이동크기(31)만큼 도 2의 (b)에 나타난 바와 같이 이동(S23)시킨다. 도 2의 (b)를 참조하면, 이전 이미지(1)와 유사한 위치로 이미지(2)가 이동되는 영상보정이 이루어졌음을 알 수 있다.
한편 도 1 및 도 2를 참조하면, 본 영상보정방법(S100)은 이전 이미지(1)에 대비하여 이미지(2)가 롤링된 정도를 검출하여 역으로 롤링 시키는 보정이 이루어지는 단계(S31, S32)를 포함한다.
보다 구체적으로, 도 1 및 도 2를 참조하면, 본 영상보정방법(S100)은 이전 이미지(1)에 대한 이미지(2)의 롤링방향 및 롤링각도(32)를 검출하는 단계(S31)를 포함할 수 있다. 또한, 이러한 이미지(2)의 롤링방향 및 롤링각도(32)는 롤링감지센서에 의해 검출될 수 있다. 즉, 영상의 롤링방향의 흔들림에 대해서는, 이러한 센서를 통해 롤링방향의 회전각도 데이터를 받아 보정이 이루어질 수 있다.
또한 도 1 및 도 2를 참조하면, 본 영상보정방법(S100)은 롤링방향의 역방향으로 롤링각도만큼 이미지(2)를 회전시키는 이미지 회전단계(S32)를 포함할 수 있다. 즉, 이미지(2)의 롤링방향 및 롤링각도(32)를 검출하는 단계(S31)를 통해 검출된 이미지(2)의 이전 이미지(1)에 대한 롤링방향 및 롤링각도(32)를 이용하여, 이미지(2)를 롤링방향의 흔들림이 발생하기 이전의 방향으로 되돌리는 영상보정이 이루어질 수 있다. 예를 들어 롤링감지센서를 통해 검출된 값이 +45도라면, -45ㅀ 만큼 회전시킴으로써 롤링방향에 대한 영상보정이 이루어질 수 있다.
예시적으로 도 2를 참조하여 이전 이미지(1)에 대비하여 이미지(2)가 롤링된 정도를 검출하여 역으로 롤링 시키는 보정이 이루어지는 단계(S31, S32)를 살펴본다. 우선 도 2의 (b)를 참조하면, 이전 이미지(1)와 비교하여 이미지(2)가 반시계방향으로 비스듬하게 회전되어 있음을 알 수 있다. 우선, 롤링감지센서를 통해 이미지(2)의 롤링방향 및 롤링각도(32)를 검출(S31)한 후, 이미지(2)를 검출된 롤링방향(32)의 역방향으로 검출된 롤링각도(32)만큼 도 2의 (c)에 나타난 바와 같이 회전(S32)시킨다. 도 2의 (c)를 참조하면, 이전 이미지(1)와 유사하게 이미지(2)가 롤링 되는 영상보정이 이루어졌음을 알 수 있다.
참고로, 도 2의 (b)에 나타난 바와 같은 영상의 이동보정, 그리고 도 2의 (c)에 나타난 바와 같은 영상의 롤링보정이 수행되고 나면, 도 2의 (c)에 빗금으로 표시된 부분과 같이, 이전 이미지(1)에서는 표시되었던 부분이지만, 이미지(2)에서는 처음부터 획득되지 못하여 표시될 수 없는 부분이 생길 수 있다. 이러한 부분에 대하여는, 이전 이미지(1)의 부분을 차용하여 채우는 방식으로 비어있는 것보다 자연스러운 영상 상태를 유지할 수도 있을 것이다.
도 3은 도 1의 영상보정방법을 통해 보정된 결과를 예시적으로 나타낸 도면이다. 도 3의 (a)의 보정전의 이미지는 도 2의 (a)의 이미지(2)에 대응되고, 도 3의 (b)의 본 영상보정방법(S100)을 통해 보정된 이미지는 도 2의 (c)의 이미지(2)에 대응될 수 있다.
한편, 도 1 및 도 2를 참조하면, 이미지 이동단계(S23)가 먼저 수행되고 이미지 회전단계(S24)가 나중에 수행될 수 있다.
앞서 살핀 바와 같이, 특징점의 이동방향 및 이동크기(31)는 복수의 특징점의 평균 이동방향 및 평균 이동크기(31)로 산정할 수 있다. 그런데, 이미지 회전단계(S24)가 먼저 수행되면, 롤링방향에 대한 영상보정이 이루어지기 전의 이미지(2)에 대해 특징점의 평균 이동방향 및 평균 이동크기(31)를 산정해두었더라도, 롤링방향에 대한 영상보정에 의해 특징점들의 위치가 전부 회전되어 다시 변하게 되므로, 이렇게 위치가 변한 특징점들에 대해 평균 이동방향 및 평균 이동크기(31)를 다시 산정해야 하는 불편이 생길 수 있다. 이에 따라, 평균 이동방향 및 평균 이동크기(31)를 한번만 산정하기 위해서는, 이미지 회전단계(S24)의 수행이 종료된 후에 이러한 산정이 이루어져야 한다.
반대로, 이미지 이동단계(S23)가 먼저 수행되면, 평균 이동방향 및 평균 이동크기(31)가 다시 산정될 필요 없이 일단 상하좌우 방향에 대한 영상보정이 이루어질 수 있고, 이미지 회전단계(S24)에 적용하기 위해 검출되는 롤링방향 및 롤링각도(32)는 이러한 상하좌우 방향에 대한 이동보정에 따라 방향이나 각도가 변하지 않으므로 재검출할 필요가 없다. 즉, 이미지 이동단계(S23)가 먼저 수행되면, 평균 이동방향 및 평균 이동크기(31)를 입력받은 이미지(2)에 대해 바로 산정하고 이미지(2)에 적용할 수 있어, 영상보정 처리속도의 향상 측면에서 보다 바람직할 수 있다.
그리고 도 1 및 도 2를 참조하면, 본 영상보정방법(S100)은 이미징 장치로부터 이미지(2)를 입력받는 단계(S1)를 포함할 수 있다. 예시적으로, 이러한 이미지(2)는 본 영상보정방법(S100)을 수행하기 위한 모듈에 입력될 수 있다. 또한, 본 영상보정방법(S100)은 이미지 이동단계(S23)와 이미지 회전단계(S24)가 적용된 이미지(2)를 원하는 장치에 출력하는 단계(S4)를 포함할 수 있다. 이를테면 원하는 장치라 함은 원격지에 있는 디스플레이(200)일 수 있다.
한편, 이미지 이동단계(S23)와 이미지 회전단계(S24)가 적용된 이미지(2)를 원하는 장치에 출력하고 다시 이미징 장치로부터 이미지(2)를 입력받는 경우, 원하는 장치에 출력한 이미지(2)는 이전 이미지(1)가 되고, 원하는 장치에 출력한 이미지(2)의 특징점은 이전 특징점이 될 수 있다.
예시적으로, 이미징 장치로부터 입력받은 이미지(2)에 대해 이전 이미지(1)를 기준으로 상하좌우 방향의 보정과 롤링방향의 보정이 모두 이루어져 원하는 장치로 출력되면, 이미징 장치로부터 다음으로 보정이 이루어져야 할 이미지를 새로 입력받게 된다. 이때, 원하는 장치로 출력된 이미지는 새로 입력받은 이미지(2)를 보정하기 위한 기준이 되는 이전 이미지(1)가 될 수 있다. 이에 따라 원하는 장치로 출력된 이미지의 특징점도 새로 입력받은 이미지(2)를 보정하기 위한 기준이 되는 이전 특징점이 될 수 있다.
상술한 바를 참조하면, 본 영상보정방법(S100)은 영상의 각 프레임들을 순차적으로 입력받아 이전 프레임에 대해 현재 프레임을 보정함으로써, 보정된 영상을 실시간으로 제공할 수 있다.
특히, 부표에 장착되는 카메라는 하천 또는 해양의 실시간 상황에 따라 흔들리는 영상을 취득하는데, 사용자의 입장에서는 흔들리는 영상을 확인하는 것보다 흔들림이 감소된 안정된 영상을 확인하는 것이 주변 상태를 파악하고 관찰하는데 훨씬 용이하다. 본 영상보정방법(S100)에 의하면, 이러한 상황에 있어서 흔들림이 감소된 보다 안정적인 영상을 제공할 수 있다.
그리고 본 영상보정방법(S100)은 상술한 바와 같은 영상처리기술과 센서의 간단한 조합을 통해 수행되므로, 저전력으로 영상보정이 이루어질 수 있다.
또한, 본 영상보정방법(S100)은 특징점을 검출하여 이동량을 산정하는 방식 및 롤링감지센서를 이용하여 롤링각도를 검출하는 방식으로 이루어짐으로써, 보다 신속한 영상보정이 이루어질 수 있다.
한편, 이하에서는 본 발명의 한 실시예에 따른 영상보정장치(이하 '본 영상보정장치'라 함)에 대하여 살핀다. 본 영상보정장치는 본 영상보정방법(S100)에 의하여 구현될 수 있다. 이를테면 본 영상보정장치는 본 영상보정방법(S100)에 의하여 구현되는 모듈일 수 있다. 따라서 앞서 살핀 본 영상보정방법(S100)에 대한 설명에 의하여 본 영상보정장치 또한 용이하게 이해될 수 있으며, 이하에서 본 영상보정장치에 대한 상세한 설명은 생략하기로 한다. 또한, 본 영상보정방법(S100)에 대해 살피면서 설명한 구성과 동일하거나 유사한 구성에 대해서는 동일한 도면부호를 사용하기로 한다.
도면에는 도시되지 않았으나, 본 영상보정장치는 이미징 장치로부터 입력받은 이미지(2)에서 특징점을 검출하고, 이미징 장치가 이미지(2)를 획득하기 전에 획득한 이전 이미지(1)에서 검출한 이전 특징점에 대한 특징점의 이동방향 및 이동크기(31)를 검출하며, 이동방향의 역방향으로 이동크기만큼 이미지(2)를 이동시키고, 이전 이미지(1)에 대한 이미지(2)의 롤링방향 및 롤링각도(32)를 검출하고, 롤링방향의 역방향으로 롤링각도만큼 이미지(2)를 회전시킨다.
예시적으로, 이미지(2)는 이미징 장치가 획득하는 영상의 프레임의 이미지(2)이고, 이전 이미지(1)는 프레임보다 이전의 프레임의 이미지(1)일 수 있다.
또한, 본 영상보정장치는 이미징 장치로부터 이미지(2)를 입력받고, 이동방향의 역방향으로 이동크기만큼 이동시키고 롤링방향의 역방향으로 롤링각도만큼 회전시킨 이미지(2)를 원하는 장치에 출력할 수 있다.
여기서, 특징점은 해리스 코너 검출법(Harris corner detector)에 의해 검출될 수 있다. 또한, 이동방향 및 이동크기(31)는 옵티컬 플로우(optical flow)에 의해 검출될 수 있다. 예시적으로, 이전 특징점 및 특징점은 복수 개이고, 이동방향 및 이동크기(31)는 복수의 이전 특징점에 대한 복수의 이전 특징점에 각각 대응되는 복수의 특징점의 평균 이동방향 및 평균 이동크기(31)로 산정할 수 있다.
또한, 롤링방향 및 롤링각도(32)는 롤링감지센서에 의해 검출될 수 있다.
예시적으로, 본 영상보정장치는 이동방향의 역방향으로 이동크기만큼 이미지(2)를 먼저 이동시킨 후, 롤링방향의 역방향으로 롤링각도만큼 이미지(2)를 회전시킬 수 있다.
또한, 이동방향의 역방향으로 이동크기만큼 이동시키고 롤링방향의 역방향으로 롤링각도만큼 회전시킨 이미지(2)를 원하는 장치에 출력하고 다시 이미징 장치로부터 이미지(2)를 입력받는 경우, 원하는 장치에 출력한 이미지(2)는 이전 이미지(1)가 되고, 원하는 장치에 출력한 이미지(2)의 특징점은 이전 특징점이 될 수 있다.
한편, 본 발명의 한 실시예에 따른 컴퓨터로 읽을 수 있는 매체는 본 영상보정방법(S100)을 수행하기 위한 프로그램 명령을 포함할 수 있다.
즉, 본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함할 수 있다. 이 매체는 지금까지 설명한 것과 같이 본 영상보정방법(S100)을 실행하기 위한 프로그램 또는 프로세스를 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예로는 하드디스크, 플로피디스크 및 자기테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 실시예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명의 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.
1. 이전 이미지(이전 프레임 이미지)
2. 이미지(프레임 이미지)
31. 이동방향 및 이동크기
32. 롤링방향 및 롤링각도
200. 디스플레이
S100. 영상보정방법

Claims (19)

  1. 이미징 장치로부터 입력받은 이미지에서 특징점을 검출하는 단계,
    상기 이미징 장치가 상기 이미지를 획득하기 전에 획득한 이전 이미지에서 검출한 이전 특징점에 대한 상기 특징점의 이동방향 및 이동크기를 검출하는 단계,
    상기 이동방향의 역방향으로 상기 이동크기만큼 상기 이미지를 이동시키는 이미지 이동단계,
    상기 이전 이미지에 대한 상기 이미지의 롤링방향 및 롤링각도를 검출하는 단계, 그리고
    상기 롤링방향의 역방향으로 상기 롤링각도만큼 상기 이미지를 회전시키는 이미지 회전단계를 포함하고,
    상기 이미지 이동단계 및 상기 이미지 회전단계는 각 단계의 수행직후 각 단계가 수행된 상기 이미지에 나타나는 공백부분에 대하여 상기 이전 이미지의 부분을 차용하여 상기 공백부분을 채우고,
    상기 이미지 이동단계는 상기 이미지 회전단계보다 먼저 수행되는 영상보정방법.
  2. 제1항에서,
    상기 특징점은 해리스 코너 검출법(Harris corner detector)에 의해 검출되는 영상보정방법.
  3. 제1항에서,
    상기 이동방향 및 이동크기는 옵티컬 플로우(optical flow)에 의해 검출되는 영상보정방법.
  4. 제1항에서,
    상기 이전 특징점 및 상기 특징점은 복수 개이고,
    상기 이동방향 및 이동크기는 상기 복수의 이전 특징점에 대한 상기 복수의 이전 특징점에 각각 대응되는 상기 복수의 특징점의 평균 이동방향 및 평균 이동크기로 산정하는 영상보정방법.
  5. 제1항에서,
    상기 롤링방향 및 롤링각도는 롤링감지센서에 의해 검출되는 영상보정방법.
  6. 삭제
  7. 제1항에서,
    상기 이미지 이동단계와 상기 이미지 회전단계가 적용된 이미지를 원하는 장치에 출력하고 다시 상기 이미징 장치로부터 이미지를 입력받는 경우,
    상기 원하는 장치에 출력한 이미지는 상기 이전 이미지가 되고,
    상기 원하는 장치에 출력한 이미지의 특징점은 상기 이전 특징점이 되는 영상보정방법.
  8. 제1항에서,
    상기 이미징 장치로부터 상기 이미지를 입력받는 단계, 그리고
    상기 이미지 이동단계와 상기 이미지 회전단계가 적용된 이미지를 원하는 장치에 출력하는 단계를 더 포함하는 영상보정방법.
  9. 제1항에서,
    상기 이미지는 상기 이미징 장치가 획득하는 영상의 프레임의 이미지이고,
    상기 이전 이미지는 상기 프레임보다 이전의 프레임의 이미지인 영상보정방법.
  10. 이미징 장치로부터 입력받은 이미지에서 특징점을 검출하고,
    상기 이미징 장치가 상기 이미지를 획득하기 전에 획득한 이전 이미지에서 검출한 이전 특징점에 대한 상기 특징점의 이동방향 및 이동크기를 검출하며,
    상기 이동방향의 역방향으로 상기 이동크기만큼 상기 이미지를 이동시키고,
    상기 이전 이미지에 대한 상기 이미지의 롤링방향 및 롤링각도를 검출하고,
    상기 롤링방향의 역방향으로 상기 롤링각도만큼 상기 이미지를 회전시키되,
    상기 이미지의 이동 및 상기 이미지의 회전 시 상기 이미지에 나타나는 공백부분은 상기 이전 이미지의 부분을 차용하여 채우고,
    상기 이미지는 상기 이동방향의 역방향으로 상기 이동크기만큼 이동 후, 상기 롤링방향의 역방향으로 상기 롤링각도만큼 회전되는 영상보정장치.
  11. 제10항에서,
    상기 특징점은 해리스 코너 검출법(Harris corner detector)에 의해 검출되는 영상보정장치.
  12. 제10항에서,
    상기 이동방향 및 이동크기는 옵티컬 플로우(optical flow)에 의해 검출되는 영상보정장치.
  13. 제10항에서,
    상기 이전 특징점 및 상기 특징점은 복수 개이고, 상기 이동방향 및 이동크기는 상기 복수의 이전 특징점에 대한 상기 복수의 이전 특징점에 각각 대응되는 상기 복수의 특징점의 평균 이동방향 및 평균 이동크기로 산정하는 영상보정장치.
  14. 제10항에서,
    상기 롤링방향 및 롤링각도는 롤링감지센서에 의해 검출되는 영상보정장치.
  15. 삭제
  16. 제10항에서,
    상기 이동방향의 역방향으로 상기 이동크기만큼 이동시키고 상기 롤링방향의 역방향으로 상기 롤링각도만큼 회전시킨 상기 이미지를 원하는 장치에 출력하고 다시 상기 이미징 장치로부터 이미지를 입력받는 경우,
    상기 원하는 장치에 출력한 이미지는 상기 이전 이미지가 되고,
    상기 원하는 장치에 출력한 이미지의 특징점은 상기 이전 특징점이 되는 영상보정장치.
  17. 제10항에서,
    상기 이미징 장치로부터 상기 이미지를 입력받고,
    상기 이동방향의 역방향으로 상기 이동크기만큼 이동시키고 상기 롤링방향의 역방향으로 상기 롤링각도만큼 회전시킨 상기 이미지를 원하는 장치에 출력하는 영상보정장치.
  18. 제10항에서,
    상기 이미지는 상기 이미징 장치가 획득하는 영상의 프레임의 이미지이고,
    상기 이전 이미지는 상기 프레임보다 이전의 프레임의 이미지인 영상보정장치.
  19. 제1항 내지 제5항 및 제7항 내지 제9항 중 어느 한 항의 영상보정방법을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체.
KR1020110111827A 2011-10-31 2011-10-31 영상보정방법 및 장치 KR101313307B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110111827A KR101313307B1 (ko) 2011-10-31 2011-10-31 영상보정방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110111827A KR101313307B1 (ko) 2011-10-31 2011-10-31 영상보정방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130047050A KR20130047050A (ko) 2013-05-08
KR101313307B1 true KR101313307B1 (ko) 2013-09-30

Family

ID=48658613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110111827A KR101313307B1 (ko) 2011-10-31 2011-10-31 영상보정방법 및 장치

Country Status (1)

Country Link
KR (1) KR101313307B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102281184B1 (ko) 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
KR101698314B1 (ko) * 2015-12-09 2017-01-20 경북대학교 산학협력단 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137049A (ja) * 1991-11-14 1993-06-01 Chubu Electric Power Co Inc 動画像に基づくカメラの３次元運動検出方法およびその装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137049A (ja) * 1991-11-14 1993-06-01 Chubu Electric Power Co Inc 動画像に基づくカメラの３次元運動検出方法およびその装置

Also Published As

Publication number Publication date
KR20130047050A (ko) 2013-05-08

Similar Documents

Publication Publication Date Title
CN111133747B (zh) 一种视频稳定的方法及装置
US11057567B2 (en) Anti-shake method and apparatus for panoramic video, and portable terminal
US9854168B2 (en) One-pass video stabilization
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
Perks KLT-IV v1. 0: Image velocimetry software for use with fixed and mobile platforms
JP2019515379A (ja) レンダリングデバイスのポーズを推定する方法及び装置
US20120092559A1 (en) Rolling Shutter Distortion Correction
US20110267514A1 (en) Method to compensate the effect of the rolling shutter effect
US20140085462A1 (en) Video-assisted target location
US20140132784A1 (en) Estimation of Picture Motion Blurriness
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
US8170373B2 (en) Image reconstruction method
US20110249095A1 (en) Image composition apparatus and method thereof
US8994838B2 (en) Motion adaptive cropping for video stabilization
CN105635588A (zh) 一种稳像方法及装置
EP3417606A1 (en) A method of stabilizing a sequence of images
CN109959335A (zh) 测量塔顶位移的方法、装置和系统
KR101313307B1 (ko) 영상보정방법 및 장치
CN116596963A (zh) 一种基于神经辐射场的定位建图方法、装置及存储介质
US11531211B2 (en) Method for stabilizing a camera frame of a video sequence
US11756215B2 (en) Image processing device, image processing method, and image processing program
KR101350460B1 (ko) 영상의 모션 블러를 제거하는 방법 및 장치
US20240320786A1 (en) Methods and apparatus for frame interpolation with occluded motion
US12159467B1 (en) Camera and sensor system for measurement of road surface deflection
Algodon et al. Estimating coral reef slope or camera pitch from video

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111031

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20121106

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130621

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130924

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130925

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20161124

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20161124

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20180705