KR20120136813A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20120136813A
KR20120136813A KR1020110055985A KR20110055985A KR20120136813A KR 20120136813 A KR20120136813 A KR 20120136813A KR 1020110055985 A KR1020110055985 A KR 1020110055985A KR 20110055985 A KR20110055985 A KR 20110055985A KR 20120136813 A KR20120136813 A KR 20120136813A
Authority
KR
South Korea
Prior art keywords
image
tone correction
map
ghost
tone
Prior art date
Application number
KR1020110055985A
Other languages
English (en)
Other versions
KR101742120B1 (ko
Inventor
차준혁
문영수
전영선
이시화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110055985A priority Critical patent/KR101742120B1/ko
Priority to US13/398,444 priority patent/US9105107B2/en
Priority to CN201210064144.4A priority patent/CN102819824B/zh
Priority to EP12160024.1A priority patent/EP2533193B1/en
Priority to JP2012131000A priority patent/JP5960513B2/ja
Publication of KR20120136813A publication Critical patent/KR20120136813A/ko
Application granted granted Critical
Publication of KR101742120B1 publication Critical patent/KR101742120B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

파노라마 영상의 톤을 보정하는 장치 및 방법에 관한 것으로, 영상 처리 장치는 입력된 좌 영상과 우 영상이 중복되는 영역에서, 상기 좌 영상과 상기 우 영상 간의 유사도가 반영된 코스트 맵(cost map)과 최적 임계 값(optimal threshold value)에 기초하여 고스트 정보를 획득하고, 상기 중복되는 영역에서 상기 고스트 정보를 고려하여 생성된 글로벌 톤 보정 함수 및 최적 이음새(optimal seam)의 로컬 정보를 반영하여 생성된 로컬 톤 보정 레벨에 기초하여 톤 보정 맵을 생성하며, 상기 톤 보정 맵에 상기 좌 영상을 고려한 가중치 및 상기 우 영상을 고려한 가중치를 적용하여 생성된, 최종 톤 보정 맵에 기초하여 상기 좌 영상 및 상기 우 영상을 보정한다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR IMAGE PROCESSING}
기술분야는 파노라마 영상의 톤을 보정하는 장치 및 방법에 관한 것이다.
피사체를 여러 위치 또는 여러 각도에서 촬영한 복수의 영상을 블랜딩하여 파노라마 영상은 생성될 수 있다. 복수의 영상 간에 톤(tone) 보정이 선행되지 않은 상태에서 블랜딩이 되면 복수의 영상이 이어지는 이음새에서 아티팩트(artifact)가 발생하여, 사용자가 이질감을 느낄 수 있다. 복수의 영상 각각은 서로 다른 노출 값, 서로 다른 그라데이션(gradation) 및 서로 다른 렌즈 쉐이딩(lens shading)의 조건에서 촬영될 수 있기 때문이다. 따라서, 복수의 영상을 블랜딩하기 전에 복수의 영상 간에 톤 보정을 수행할 필요가 있다.
일 측면에 있어서, 영상 처리 장치는 입력된 좌 영상과 우 영상이 중복되는 영역에서, 상기 좌 영상과 상기 우 영상 간의 유사도가 반영된 코스트 맵(cost map)과 최적 임계 값(optimal threshold value)에 기초하여 고스트 정보를 획득하는 고스트 정보 획득부, 상기 중복되는 영역에서 상기 고스트 정보를 고려하여 생성된 글로벌 톤 보정 함수 및 최적 이음새(optimal seam)의 로컬 정보를 반영하여 생성된 로컬 톤 보정 레벨에 기초하여 톤 보정 맵을 생성하는 톤 보정 맵 생성부 및 상기 톤 보정 맵에 상기 좌 영상을 고려한 가중치 및 상기 우 영상을 고려한 가중치를 적용하여 생성된, 최종 톤 보정 맵에 기초하여 상기 좌 영상 및 상기 우 영상을 보정하는 양방향 보정부를 포함한다.
상기 좌 영상 및 상기 우 영상은 고정된 피사체 또는 움직이는 피사체가 복수의 촬영 위치에서 파노라마 영상을 생성하기 위해 촬영된 영상들일 수 있다.
상기 좌 영상과 상기 우 영상 간의 유사도는 상기 좌 영상과 상기 우 영상이 중복되는 영역에서, 각각의 대응하는 픽셀 간의 칼라, 그래디언트(gradient)의 유사한 정도가 고려된 것일 수 있다.
상기 고스트 정보 획득부는 상기 코스트 맵에서 상기 유사도가 가장 큰 경로를 상기 좌 영상과 상기 우 영상의 최적 이음새로 추정하는 최적 이음새 추정부 및 상기 코스트 맵을, 최적 임계 값 추정 방식에 기초하여 추정된 상기 최적 임계 값을 기준으로 이진화(binarization)하여 고스트 맵(ghost map)을 생성하는 이진화부를 포함할 수 있다.
상기 톤 보정 맵 생성부는 상기 고스트 정보를 고려하여, 상기 중복되는 영역에서 고스트 픽셀이 아닌 픽셀들에 대응하는 상기 좌 영상의 픽셀과 상기 우 영상의 픽셀의 톤 차이가 반영된 글로벌 톤 보정 함수를 계산하는 글로벌 계산부를 포함할 수 있다.
상기 톤 보정 맵 생성부는 평탄화 필터를 통하여, 상기 계산된 글로벌 톤 보정 함수의 값을 평탄화(smoothing)하는 평탄화부를 포함할 수 있다.
상기 톤 보정 맵 생성부는 상기 최적 이음새의 픽셀을 중심으로 한 소정 크기의 윈도우 내에서, 고스트 픽셀이 아닌 픽셀들의 톤 차이의 평균을 계산하여 상기 최적 이음새의 로컬 정보를 생성하는 로컬 계산부를 포함할 수 있다.
상기 톤 보정 맵 생성부는 상기 최적 이음새에 포함된 픽셀의, 로컬 정보와 글로벌 톤 보정 함수의 값을 비교하여 로컬 톤 보정 레벨을 계산하는 보정 레벨 계산부를 포함할 수 있다.
상기 양방향 보정부는 상기 좌 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치 및 상기 우 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치를 상기 톤 보정 맵에 적용하는 가중치 적용부를 포함할 수 있다.
일 측면에 있어서, 영상 처리 방법은 입력된 좌 영상과 우 영상이 중복되는 영역에서, 상기 좌 영상과 상기 우 영상 간의 유사도가 반영된 코스트 맵(cost map)과 최적 임계 값(optimal threshold value)에 기초하여 고스트 정보를 획득하는 단계, 상기 중복되는 영역에서 상기 고스트 정보를 고려하여 생성된 글로벌 톤 보정 함수 및 최적 이음새(optimal seam)의 로컬 정보를 반영하여 생성된 로컬 톤 보정 레벨에 기초하여 톤 보정 맵을 생성하는 단계 및 상기 톤 보정 맵에 상기 좌 영상을 고려한 가중치 및 상기 우 영상을 고려한 가중치를 적용하여 생성된, 최종 톤 보정 맵에 기초하여 상기 좌 영상 및 상기 우 영상을 보정하는 단계를 포함한다.
상기 고스트 정보를 획득하는 단계는 상기 코스트 맵에서 상기 유사도가 가장 큰 경로를 상기 좌 영상과 상기 우 영상의 최적 이음새로 추정하는 단계 및 상기 코스트 맵을, 최적 임계 값 추정 방식에 기초하여 추정된 상기 최적 임계 값을 기준으로 이진화(binarization)하여 고스트 맵(ghost map)을 생성하는 단계를 포함할 수 있다.
상기 톤 보정 맵을 생성하는 단계는 상기 고스트 정보를 고려하여, 상기 중복되는 영역에서 고스트 픽셀이 아닌 픽셀들에 대응하는 상기 좌 영상의 픽셀과 상기 우 영상의 픽셀의 톤 차이가 반영된 글로벌 톤 보정 함수를 계산하는 단계를 포함할 수 있다.
상기 톤 보정 맵을 생성하는 단계는 상기 최적 이음새의 픽셀을 중심으로 한 소정 크기의 윈도우 내에서, 고스트 픽셀이 아닌 픽셀들의 톤 차이의 평균을 계산하여 상기 최적 이음새의 로컬 정보를 생성하는 단계를 포함할 수 있다.
상기 톤 보정 맵을 생성하는 단계는 상기 최적 이음새에 포함된 픽셀의, 로컬 정보와 글로벌 톤 보정 함수의 값을 비교하여 로컬 톤 보정 레벨을 계산하는 단계를 포함할 수 있다.
상기 보정하는 단계는 상기 좌 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치 및 상기 우 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치를 상기 톤 보정 맵에 적용하는 단계를 포함할 수 있다.
고스트 현상을 고려함으로써, 복수의 영상 간에 대응하는 픽셀들의 부정합 정보를 반영할 수 있고, 보다 정확한 톤 보정 값을 계산 할 수 있다.
또한, 입력되는 좌 영상과 우 영상 모두의 톤을 보정함으로써, 좌 영상과 우 영상의 중간 수준의 톤이 균일하게 유지될 수 있다.
또한, 톤 보정을 위해 블랜딩 범위를 확장할 필요가 없기 때문에 블랜딩으로 인하여 발생하는 잔상 현상을 줄일 수 있다.
또한, 글로벌 톤 보정 및 로컬 톤 보정 모두를 고려하되, 코스트 맵에서 고스트 맵을 획득함으로써, 보다 정확한 톤 보정 값을 계산하면서도 보다 빠른 속도로 계산 값을 획득할 수 있다.
도 1은 파노라마 영상의 일 예를 나타낸 도면이다.
도 2는 이동하는 피사체가 있는 경우에 발생하는 문제를 나타낸 도면이다.
도 3은 입력 영상들이 중복되는 영역에서 동일한 위치 상의 픽셀들을 나타낸 도면이다.
도 4는 일실시예에 따른 영상 처리 장치의 블록도이다.
도 5는 일실시예에 따른 고스트 맵을 생성하는 과정을 나타낸 도면이다.
도 6은 일실시예에 따른 글로벌 톤 보정 함수를 생성하는 과정을 나타낸 도면이다.
도 7은 일실시예에 따른 최적 이음새의 로컬 정보를 생성하는 과정을 나타낸 도면이다.
도 8은 일실시예에 따른 톤 보정 맵을 나타낸 도면이다.
도 9는 일실시예에 따른 입력 좌우 영상의 양방향 보정을 나타낸 도면이다.
도 10은 일실시예에 따른 영상 처리 방법의 흐름도이다.
도 11은 일실시예에 따라 톤 보정된 파노라마 영상을 나타낸 도면이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 파노라마 영상의 일 예를 나타낸 도면이다.
(a)는 두 개의 영상을 톤 보정 없이 정합한 파노라마 영상을 나타내고, (b)는 두 개의 영상을 톤 보정 없이 optimal seam을 추정하여, 정합한 파노라마 영상을 나타낸다.
두 개의 영상 중, 동일한 피사체를 촬영하여 중복되는 부분은 동일한 피사체를 나타냄에도 불구하고, 각각의 영상마다 노출 값이나 그라데이션(gradation) 정도가 다르다. 따라서, 각각의 영상을 톤 보정 없이 블랜딩 한 경우, (a)(b)와 같이 영상의 중간에 자연스럽지 않은 선이 발생하게 된다.
도 2는 이동하는 피사체가 있는 경우에 발생하는 문제를 나타낸 도면이다.
목표 영상과 대상 영상을 블랜딩하여 파노라마 영상을 생성할 수 있다. 이때, 목표 영상의 박스 부분과 대상 영상의 박스 부분은 중복되는 부분이다. 대상 영상의 박스 부분의 톤(tone)을 목표 영상의 박스 부분을 참고하여 보정하는 것이 일반적인 톤 보정 방식이다.
그런데 도 2를 참조하면, 대상 영상의 박스 부분에는 목표 영상의 박스 부분에서는 보이지 않았던 움직이는 피사체가 존재한다. 따라서, 대상 영상의 박스 부분과 목표 영상의 박스 부분에는 동일한 위치를 촬영한 영상임에도 서로 다른 내용물을 포함하고 있다. 그러므로 대상 영상의 박스 부분에 포함된 움직이는 피사체는 목표 영상에서 존재하지 않으므로 톤 보정을 수행할 수 없다. 또한, 움직이는 피사체가 촬영된 부분을 제외하고 목표 영상을 참조하여 톤 보정을 수행할 필요가 있다.
일반적인 톤 보정 방식에는 첫째, 히스토그램 매칭을 통하여 대상 영상의 목표 영상에 대한 룩업 테이블(Look-up table)을 생성하고, 상기 룩업 테이블에 기초하여 대상 영상의 톤을 보정하는 방식이 있다. 둘째, 대상 영상과 목표 영상 간에 겹쳐지는 영역에서 히스토그램 매칭을 통하여 대상 영상의 겹쳐지는 영역을 보정하고, 대상 영상에서 보정된 대상 영상으로 색 변환 행렬을 추정하며, 추정된 색 변환 행렬을 이용하여 대상 영상의 톤을 보정하는 방식이 있다. 셋째, 대상 영상과 목표 영상의 이음새 부분의 톤 차이 및 보정할 픽셀과의 거리를 이용한 가중치를 계산하여 대상 영상의 톤을 보정하는 방식이 있다.
도 3은 입력 영상들이 중복되는 영역에서 동일한 위치 상의 픽셀들을 나타낸 도면이다.
움직이는 물체가 발생하여 동일한 위치에 다른 내용물이 존재하는 경우와 마찬가지로, 도 3의 입력 영상(310)과 입력 영상(320)의 겹치는 영역에서 영상 정합이 잘 된 경우라도 물체의 경계부분에서 1~2 픽셀의 정합 오차가 발생할 수 있기 때문에 이로 인해 부정확한 톤 보정이 이루어질 수 있다.
또한, 일반적인 톤 보정 방식은 하나의 목표 영상에 대해 대상 영상의 톤을 보정함으로써, 파노라마를 이어 붙일수록 점점 어두워지거나 밝아지는 문제가 발생할 수 있다.
도 4는 일실시예에 따른 영상 처리 장치의 블록도이다.
도 4를 참조하면, 영상 처리 장치는 고스트 정보 획득부(410), 톤 보정 맵 생성부(420) 및 양방향 보정부(430)를 포함한다.
고스트 정보 획득부(410)는 입력된 좌 영상과 우 영상이 중복되는 영역에서, 코스트 맵(cost map)을 생성할 수 있다. 코스트 맵에는 좌 영상과 우 영상 간의 유사도가 반영될 수 있다. 파노라마 영상을 생성하기 위해 좌 영상과 우 영상을 자연스럽게 이어 붙이는 방법 중, 최적 이음새(optimal seam) 추정 방법을 이용할 수 있다. 최적 이음새 추정 방법은 좌 영상과 우 영상이 중복되는 영역에서, 좌 영상과 우 영상의 대응하는 픽셀들 간의 칼라, 그래디언트(gradient), 노출 등이 유사한 정도를 고려하여, 가장 유사한 픽셀들을 연결하여 최적 이음새를 추정하는 방법이다. 고스트 정보 획득부(410)는 최적 임계 값(optimal threshold value)에 기초하여 고스트 정보를 획득할 수 있다. 고스트 정보는 좌 영상과 우 영상 간의 유사도가 작은 값을 가지는 영역에 대한 정보를 의미할 수 있다. 유사도는 각각의 영상의 칼라, 채도, 명도, 톤 등 영상의 특징을 나타내는 다양한 요소들을 고려하여 결정될 수 있다.
좌 영상 및 우 영상은 고정된 피사체 또는 움직이는 피사체가 복수의 촬영 위치에서 촬영된 영상들이다. 좌 영상 및 우 영상을 이어 붙임으로써 파노라마 영상을 생성할 수 있다.
고스트 정보 획득부(410)는 최적 이음새 추정부(411) 및 이진화부(413)를 포함할 수 있다. 최적 이음새 추정부(411)는 코스트 맵에서 유사도가 가장 큰 경로를 좌 영상과 우 영상의 최적 이음새로 추정할 수 있다. 이진화부(413)는 코스트 맵을, 최적 임계 값 추정 방식에 기초하여 추정된 최적 임계 값을 기준으로 이진화(binarization)할 수 있다. 코스트 맵을 이진화 한다는 것은 코스트 맵을 그레이스케일(grayscale)로 변환하는 것을 의미할 수 있다. 이진화부(413)는 코스트 맵의 각 픽셀의 유사도를 최적 임계 값과 비교하여 이진화함으로써, 고스트 맵(ghost map)을 생성할 수 있다. 예를 들면, 이진화부(413)는 코스트 맵의 각 픽셀의 유사도가 최적 임계 값보다 큰 경우는 1로, 작은 경우는 0으로 이진화할 수 있다. 이때 고스트 맵에서 1로 이진화 된 부분은 밝은 색으로, 0으로 이진화 된 부분은 어두운 색으로 표시될 수 있다.
이진화부(413)는 이진화를 통해 고스트 맵을 생성함으로써, 복잡한 연산과정을 거치지 않고 빠르게 고스트 맵을 생성할 수 있다.
고스트 맵에는 톤 보정에 고려할 필요가 있는 픽셀에 대한 정보 및 톤 보정에 고려할 필요가 없는 고스트 정보가 포함되어 있다. 예를 들면, 1로 이진화 된 부분은 톤 보정에 고려할 필요가 있는 픽셀들을 나타내고, 0으로 이진화 된 부분은 톤 보정에 고려할 필요가 없는 고스트 부분을 나타낼 수 있다.
톤 보정 맵 생성부(420)는 좌 영상과 우 영상 간에 중복되는 영역에서 고스트 정보를 고려하여 글로벌 톤 보정 함수를 생성할 수 있다. 글로벌 톤 보정 함수는 중복되는 영역에서 고스트 픽셀이 아닌 모든 픽셀의 정보를 반영할 수 있다. 예를 들면, 가로로 촬영한 복수의 영상들을 이용하여 가로 방향으로 파노라마 영상을 생성하는 경우, 가로 방향의 톤 차이는 문제가 될 수 있지만, 세로 방향의 톤 차이는 큰 문제가 되지 않을 수 있다. 즉, 세로 방향의 톤 차이는 별로 크지 않다. 따라서, 가로 방향으로 파노라마 영상을 생성할 경우, 톤 보정 맵 생성부(420)는 좌 영상과 우 영상 간에 중복되는 영역에서 수직 방향으로, 고스트 픽셀이 아닌 부분들의 톤 차이를 누적 평균하여 글로벌 톤 보정 함수를 생성할 수 있다.
글로벌 톤 보정 함수는 중복되는 영역 전체에서 좌 영상과 우 영상 간의 톤 차이를 반영하고 있다.
또한, 톤 보정 맵 생성부(420)는 최적 이음새(optimal seam)의 로컬 정보를 생성할 수 있다. 최적 이음새를 구성하는 픽셀을 중심으로 하는 소정 크기의 윈도우 내에서 고스트 픽셀이 아닌 픽셀들의 톤 차이의 평균을 계산하여 로컬 정보를 생성할 수 있다. 로컬 정보는 최적 이음새를 구성하는 픽셀들의 톤 차이에 대한 정보를 의미할 수 있다. 여기서 톤 차이는 최적 이음새를 구성하는 픽셀과 대응하는 좌 영상의 픽셀과 우 영상의 픽셀 간의 톤 차이를 의미한다.
톤 보정 맵 생성부(420)는 글로벌 톤 보정 함수 및 로컬 톤 보정 레벨에 기초하여 톤 보정 맵을 생성한다. 로컬 톤 보정 레벨은 소정 픽셀의 글로벌 톤 보정 함수의 톤 차이와 로컬 정보를 비교하여 결정될 수 있다.
톤 보정 맵 생성부(420)는 글로벌 계산부(421), 평탄화부(423), 로컬 계산부(425) 및 보정 레벨 계산부(427)를 포함할 수 있다.
글로벌 계산부(421)는 고스트 정보를 고려하여, 좌 영상과 우 영상 간에 중복되는 영역에서 고스트 픽셀이 아닌 픽셀들에 대응하는 좌 영상의 픽셀과 우 영상의 픽셀의 톤 차이가 반영된 글로벌 톤 보정 함수를 계산할 수 있다. 글로벌 톤 보정 함수의 계산을 통해 중복되는 영역의 코스트 픽셀이 아닌 각 픽셀에서 톤 차이에 대한 정보를 획득할 수 있다.
평탄화부(423)는 평탄화 필터를 통하여, 글로벌 계산부(421)에서 계산된 글로벌 톤 보정 함수의 값을 평탄화(smoothing)할 수 있다. 계산된 글로벌 톤 보정 함수의 값에는 연산과정에서 노이즈가 포함될 수 있다. 평탄화부(423)는 평탄화 필터를 통하여 상기 노이즈를 제거할 수 있다.
로컬 계산부(425)는 최적 이음새의 픽셀을 중심으로 한 소정 크기의 윈도우 내에서, 고스트 픽셀이 아닌 픽셀들의 톤 차이의 평균을 계산하여 최적 이음새의 로컬 정보를 생성할 수 있다. 예를 들면, 로컬 계산부(425)는 최적 이음새를 구성하는 각 픽셀에 NxN 크기의 윈도우를 사용하고, NxN 크기의 윈도우 내에서, 고스트 픽셀이 아닌 픽셀들의 톤 차이의 평균을 계산함으로써, 상기 각 픽셀의 로컬 정보를 획득할 수 있다.
보정 레벨 계산부(427)는 최적 이음새에 포함된 픽셀의, 로컬 정보와 글로벌 톤 보정 함수의 값을 비교하여 로컬 톤 보정 레벨을 계산할 수 있다. 글로벌 톤 보정 함수는 좌 영상과 우 영상 간에 중복되는 영역 전체에 대하여 톤 차이에 대한 정보를 반영한 것이다. 로컬 정보는 최적 이음새에 포함된 픽셀이 주변 픽셀과 유사한 톤 차이를 가지도록, 상기 최적 이음새에 포함된 픽셀의 톤 차이에 대한 정보를 반영한 것이다. 예를 들면, 보정 레벨 계산부(427)는 로컬 정보에서 글로벌 톤 보정 함수의 값을 차감하여 로컬 톤 보정 레벨을 계산할 수 있다.
톤 보정 맵 생성부(420)는 글로벌 톤 보정 함수를 로컬 톤 보정 레벨만큼 조정하여 톤 보정 맵을 생성할 수 있다.
양방향 보정부(430)는 톤 보정 맵에 좌 영상을 고려한 가중치 및 우 영상을 고려한 가중치를 적용하여 생성된, 최종 톤 보정 맵에 기초하여 좌 영상 및 우 영상을 보정한다. 톤 보정 맵은 좌 영상 및 우 영상에 반영될 수 있다. 톤 보정 맵은 좌 영상과 우 영상 간에 중복되는 영역에 대한 톤 차이의 정보를 나타낸다. 이때, 좌 영상에 반영되는 톤 보정 맵은 좌 영상으로부터 자연스럽게 톤이 형성될 수 있도록 좌 영상과 중복되는 영역 간의 거리에 따라 가중치가 적용될 수 있다. 또한, 우 영상에 반영되는 톤 보정 맵은 우 영상으로부터 자연스럽게 톤이 형성될 수 있도록 우 영상과 중복되는 영역 간의 거리에 따라 가중치가 적용될 수 있다.
양방향 보정부(430)는 가중치 적용부(431)를 포함할 수 있다. 가중치 적용부(431)는 좌 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치를 톤 보정 맵에 적용할 수 있다. 또한, 가중치 적용부(431)는 우 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치를 톤 보정 맵에 적용할 수 있다.
또한, 양방향 보정부(430)는 최종 톤 보정맵에 기초하여 좌 영상 및 우 영상의 톤을 보정할 수 있다. 영상 처리 장치는 보정된 좌 영상 및 우 영상을 블랜딩하여 파노라마 영상을 생성할 수 있다.
양방향 보정부(430)는 좌 영상 및 우 영상의 톤을 각각 보정함으로써, 일반 적으로 대상 영상의 톤을 목적 영상의 톤에 따라 보정하는 방식보다, 파노라마 영상 전체적으로 균일한 톤을 유지할 수 있게 해준다.
도 5는 일실시예에 따른 고스트 맵을 생성하는 과정을 나타낸 도면이다.
영상 처리 장치는 좌 영상(I1)과 우 영상(I2)을 입력 받아 중복 영역에 대해 코스트 맵(cost map, CM12)을 생성할 수 있다. 코스트 맵(CM12)은 중복 영역에서 좌 영상과 우 영상간의 유사도를 반영하여 생성될 수 있다. 예를 들면, 코스트 맵(CM12)에서 밝은 색으로 표현된 부분은 좌 영상과 우 영상 간에 유사도가 낮은 부분을 의미하고, 어두운 색으로 표현된 부분은 좌 영상과 우 영상 간에 유사도가 높은 부분을 의미할 수 있다.
영상 처리 장치는 코스트 맵(CM12)을 최적 임계값(Optimal threshold value)을 기준으로 이진화(binarization)하여 고스트 맵(GM12)을 생성할 수 있다. 최적 임계값은 최적 임계값 추정 방식에 의해 결정될 수 있고, 최적 임계값 추정 방식은 영상처리 분야에서 널리 쓰이는 기술이므로 구체적인 설명은 생략한다.
고스트 맵(GM12)에는 고스트 정보가 포함되어 있다. 고스트 정보는 영상의 톤을 보정할 때 고려할 필요가 없는 정보를 의미한다. 영상 처리 장치는 코스트 맵(CM12)으로부터 이진화를 통해 쉽게 고스트 맵(GM12)을 생성할 수 있다. 고스트 맵(GM12)에서 밝은 영역(510)은 좌 영상과 우 영상의 중복 영역에서 톤을 보정할 때 고려할 필요가 있는 영역이고, 어두운 영역(520)은 좌 영상과 우 영상의 중복 영역에서 톤을 보정할 때 고려할 필요가 없는 고스트 영역이다.
도 6은 일실시예에 따른 글로벌 톤 보정 함수를 생성하는 과정을 나타낸 도면이다.
도 6의 경우, 좌 영상과 우 영상을 사용하여 가로방향으로 파노라마 영상을 생성하는 경우에, 좌 영상과 우 영상의 중복되는 영역에서 생성된 고스트 맵을 나타낸다. 가로방향으로 파노라마 영상을 생성하는 경우, 중복되는 영역에서 세로방향의 톤 차이는 상대적으로 변화가 적다. 따라서, 가로방향의 톤 차이에 대해 글로벌 톤 보정 함수를 생성하는 것만으로도 중복 영역의 톤 차이 변화를 표현하는데 충분하다.
영상 처리 장치는 고스트 맵에서 화살표의 방향과 같이 수직 방향으로 고스트 픽셀을 제외한 픽셀들의 톤 차이의 누적 평균을 계산하여 수평 방향으로 글로벌 톤 보정 함수를 생성할 수 있다. 이때, 톤 차이는 좌 영상과 우 영상에서 대응하는 픽셀들 간의 톤 차이를 의미한다.
영상 처리 장치는 누적 평균한 값들을 이용하여 수평 방향으로 글로벌 톤 보정 함수 f'g(x)를 생성할 수 있다. 또한, 영상 처리 장치는 f'g(x)에 평탄화(smoothing) 필터링을 수행하여, f'g(x)에 포함된 노이즈를 제거할 수 있다. f'g(x)에 평탄화 필터링이 수행된 결과 fg(x)가 생성될 수 있다. f'g(x) 및 fg(x)는 다음과 같이 수식으로 표현될 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
여기서, I1(x,y)는 좌 영상의 픽셀의 톤을 의미하고, I2(x,y)는 우 영상의 픽셀의 톤을 의미하며, GM12(x,y)는 고스트 맵의 픽셀이 고스트 픽셀인지를 의미한다. 고스트 픽셀인 경우 GM12(x,y)는 0일 수 있다. H는 고스트 맵에서 수직 방향으로 누적 평균시 고스트 픽셀을 제외한 픽셀들의 합을 의미한다. h는 고스트 맵의 세로방향 픽셀 수를 의미한다. n은 평탄화 필터의 크기이다.
도 6에서 그래프(610)는 고스트 맵의 정보를 기반으로 수평 방향으로의 글로벌 톤 보정 함수를 계산한 결과를 나타내고, 그래프(620)는 평탄화된 글로벌 톤 보정함수의 계산한 결과를 나타낸다.
도 7은 일실시예에 따른 최적 이음새의 로컬 정보를 생성하는 과정을 나타낸 도면이다.
도 7의 코스트 맵에서 빨간 선은 좌 영상과 우 영상 간을 이어 붙일 때 발생하는 최적 이음새(optimal seam)를 나타낸다. 영상 처리 장치는 최적 이음새를 구성하는 픽셀을 중심으로 한 소정 크기의 윈도우 내에서, 고스트 픽셀이 아닌 픽셀들의 톤 차이의 평균을 계산하여, 로컬 정보를 획득할 수 있다. 로컬 정보는 최적 이음새를 구성하는 픽셀의 톤을 주변의 픽셀들과 유사하게 보정하기 위해 필요한 정보를 의미한다. 영상 처리 장치는 고스트 픽셀에 대한 정보를 고스트 맵에서 획득할 수 있다. 로컬 정보(TD(x,y))는 다음의 식으로 표현될 수 있다.
Figure pat00004

여기서, W는 소정 크기의 윈도우 내에서 고스트 픽셀이 아닌 픽셀들의 수를 의미하고, I1(x+j,y+i)는 윈도우 내에서 좌 영상의 픽셀의 톤을 의미하고, I2(x+j,y+i)는 윈도우 내에서 우 영상의 픽셀의 톤을 의미하며, GM12(x+j,y+i)는 윈도우 내에서 고스트 맵의 픽셀이 고스트 픽셀인지를 의미한다.
도 8은 일실시예에 따른 톤 보정 맵을 나타낸 도면이다.
도 8을 참조하면, 영상 처리 장치는 글로벌 톤 보정 함수(fg(x))를 로컬 톤 보정 레벨만큼 보상하여 톤 보정 맵(TM(x,y))을 생성할 수 있다. 이때, 로컬 톤 보정 레벨(TC(y))은 로컬 정보(TD(x,y))로부터 글로벌 톤 보정 함수(fg(x))를 감산하여 계산될 수 있다. 로컬 톤 보정 레벨(TC(y))은 다음과 같이 표현될 수 있다.
Figure pat00005
또한, 톤 보정 맵(TM(x,y))은 글로벌 톤 보정 함수(fg(x))에 로컬 톤 보정 레벨(TC(y))을 합산하여 계산될 수 있다. 톤 보정 맵(TM(x,y))은 다음과 같이 표현될 수 있다.
Figure pat00006
그래프(810)는 글로벌 톤 보정 함수(fg(x))가 계산된 결과를 나타내고, 그래프(820)는 톤 보정 맵(TM(x,y))의 계산된 결과를 나타낸다.
도 9는 일실시예에 따른 입력 좌우 영상의 양방향 보정을 나타낸 도면이다.
도 9를 참조하면, 좌 영상(910)과 우 영상(920) 간에 중복되는 영역(930)에서 톤 보정 맵(TM(x,y))이 결정되면, 좌 영상(910)으로부터 중복되는 영역(930)으로 톤 보정이 자연스럽게 이어질 수 있도록 가중치가 적용될 수 있다. 또한, 우 영상(920)으로부터 중복되는 영역(930)으로 톤 보정이 자연스럽게 이어질 수 있도록 가중치가 적용될 수 있다. 중복되는 영역(930)에는 최적 이음새(940) 또한 존재한다.
가중치(w1(x))는 좌 영상(910)과 중복되는 영역(930)이 이어지는 부분(931)을 기준으로 결정될 수 있다. 가중치(w1(x))는 방향(950)으로, 중복되는 영역(930)의 폭(width)에 비례하여 결정될 수 있다. 가중치(w1(x))는 다음과 같이 표현될 수 있다.
Figure pat00007
가중치(w2(x))는 우 영상(920)과 중복되는 영역(930)이 이어지는 부분(933)을 기준으로 결정될 수 있다. 가중치(w2(x))는 방향(960)으로, 중복되는 영역(930)의 폭(width)에 비례하여 결정될 수 있다. 가중치(w1(x))는 다음과 같이 표현될 수 있다.
Figure pat00008
영상 처리 장치는 좌 영상(910)의 톤 보정을 위해 사용할 최종 톤 보정 맵(TM1(x,y))을 톤 보정 맵(TM(x,y))에 가중치(w1(x))를 적용하여 생성할 수 있다. 또한, 영상 처리 장치는 우 영상(920)의 톤 보정을 위해 사용할 최종 톤 보정 맵(TM2(x,y))을 톤 보정 맵(TM(x,y))에 가중치(w2(x))를 적용하여 생성할 수 있다. 최종 톤 보정 맵(TM1(x,y)) 및 최종 톤 보정 맵(TM2(x,y))은 다음과 같이 표현될 수 있다.
Figure pat00009
Figure pat00010
영상 처리 장치는 좌 영상(910)에서 최종 톤 보정 맵(TM1(x,y))을 감산 또는 합산함으로써, 최종적으로 톤이 보정된 좌 영상을 획득할 수 있다. 또한, 영상 처리 장치는 우 영상(920)에서 최종 톤 보정 맵(TM2(x,y))을 감산 또는 합산함으로써, 최종적으로 톤이 보정된 우 영상을 획득할 수 있다. 예를 들면, 최종적으로 톤이 보정된 좌 영상(I'1(x,y)) 및 최종적으로 톤이 보정된 우 영상(I'2(x,y))은 다음과 같이 표현될 수 있다.
Figure pat00011
Figure pat00012
영상 처리 장치는 최종적으로 톤이 보정된 좌 영상 및 최종적으로 톤이 보정된 우 영상을 블랜딩하여 파노라마 영상을 생성할 수 있다.
도 10은 일실시예에 따른 영상 처리 방법의 흐름도이다.
1010단계에서, 영상 처리 장치는 최적 이음새(optimal seam) 추정 방법을 이용하여 입력된 좌 영상과 우 영상의 최적 이음새를 추정할 수 있다. 최적 이음새 추정 방법은 좌 영상과 우 영상이 중복되는 영역에서, 좌 영상과 우 영상의 대응하는 픽셀들 간의 칼라, 그래디언트(gradient), 노출 등이 유사한 정도를 고려하여, 가장 유사한 픽셀들을 연결하여 최적 이음새를 추정하는 방법이다.
1020단계에서, 영상 처리 장치는 코스트 맵(cost map)을 이진화(binarization)하여 고스트 맵(ghost map)을 생성할 수 있다. 코스트 맵에는 좌 영상과 우 영상 간의 유사도가 반영될 수 있다. 영상 처리 장치는 코스트 맵을, 최적 임계 값을 기준으로 이진화할 수 있다. 영상 처리 장치는 코스트 맵의 각 픽셀의 유사도를 최적 임계 값과 비교하여 이진화함으로써, 고스트 맵을 생성할 수 있다.
1030단계에서, 영상 처리 장치는 최적 이음새의 로컬 정보를 생성할 수 있다. 보다 구체적으로 영상 처리 장치는 최적 이음새를 구성하는 픽셀들의 로컬 정보를 생성할 수 있다. 이때, 영상 처리 장치는 최적 이음새를 구성하는 픽셀을 중심으로 하는 소정 크기의 윈도우 내에서 고스트 픽셀을 제외한 픽셀들의 톤 차이의 평균을 계산하여, 로컬 정보를 생성할 수 있다. 고스트 픽셀에 대한 정보는 고스트 맵에서 획득할 수 있다.
1040단계에서, 영상 처리 장치는 글로벌 톤 보정 함수를 계산할 수 있다. 영상 처리 장치는 고스트 맵의 정보를 기반으로, 수평 방향으로의 글로벌 톤 보정 함수를 계산할 수 있다. 글로벌 톤 보정 함수에는 좌 영상과 우 영상 간에 중복되는 영역에서 고스트 픽셀이 아닌 픽셀들을 고려하여 톤 차이가 반영될 수 있다.
1050단계에서, 영상 처리 장치는 로컬 정보와 글로벌 톤 보정 함수에 기초하여 로컬 톤 보정 레벨을 계산할 수 있다. 로컬 톤 보정 레벨은 중복되는 영역에서 최적 이음새를 구성하는 픽셀의 톤 보정의 정확도를 높이는데 사용될 수 있다.
1060단계에서, 영상 처리 장치는 글로벌 톤 보정 함수를 로컬 톤 보정 레벨만큼 보상하여 톤 보정 맵을 생성할 수 있다.
1070단계에서, 영상 처리 장치는 톤 보정 맵에 좌 영상을 고려한 가중치 및 우 영상을 고려한 가중치를 적용할 수 있다.
1080단계에서, 영상 처리 장치는 톤 보정 맵에 적용된 가중치를 반영하여 좌 영상에 사용될 수 있는 최종 톤 보정 맵 및 우 영상에 사용될 수 있는 최종 톤 보정 맵을 생성할 수 있다.
1090단계에서, 영상 처리 장치는 최종 톤 보정 맵을 이용하여 좌 영상 및 우 영상의 톤을 보정할 수 있다.
도 11은 일실시예에 따라 톤 보정된 파노라마 영상을 나타낸 도면이다.
영상(1110)은 좌 영상과 우 영상에 최적 이음새를 추정하여, 블랜딩하여 생성된 파노라마 영상이고, 영상(1120)은 일 실시예에 따라 최종 톤 보정 맵에 기초하여 좌 영상 및 우 영상의 톤을 보정한 후, 블랜딩하여 생성된 파노라마 영상을 나타낸다. 영상(1120)은 영상(1110)에 비하여, 자연스러운 톤을 가짐을 확인할 수 있다.
상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 입력된 좌 영상과 우 영상이 중복되는 영역에서, 상기 좌 영상과 상기 우 영상 간의 유사도가 반영된 코스트 맵(cost map)과 최적 임계 값(optimal threshold value)에 기초하여 고스트 정보를 획득하는 고스트 정보 획득부;
    상기 중복되는 영역에서 상기 고스트 정보를 고려하여 생성된 글로벌 톤 보정 함수 및 최적 이음새(optimal seam)의 로컬 정보를 반영하여 생성된 로컬 톤 보정 레벨에 기초하여 톤 보정 맵을 생성하는 톤 보정 맵 생성부; 및
    상기 톤 보정 맵에 상기 좌 영상을 고려한 가중치 및 상기 우 영상을 고려한 가중치를 적용하여 생성된, 최종 톤 보정 맵에 기초하여 상기 좌 영상 및 상기 우 영상을 보정하는 양방향 보정부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 좌 영상 및 상기 우 영상은
    고정된 피사체 또는 움직이는 피사체가 복수의 촬영 위치에서 파노라마 영상을 생성하기 위해 촬영된 영상들인 것
    을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 좌 영상과 상기 우 영상 간의 유사도는
    상기 좌 영상과 상기 우 영상이 중복되는 영역에서, 각각의 대응하는 픽셀 간의 칼라, 그래디언트(gradient)의 유사한 정도가 고려된 것
    을 특징으로 하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 고스트 정보 획득부는
    상기 코스트 맵에서 상기 유사도가 가장 큰 경로를 상기 좌 영상과 상기 우 영상의 최적 이음새로 추정하는 최적 이음새 추정부; 및
    상기 코스트 맵을, 최적 임계 값 추정 방식에 기초하여 추정된 상기 최적 임계 값을 기준으로 이진화(binarization)하여 고스트 맵(ghost map)을 생성하는 이진화부
    를 포함하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 톤 보정 맵 생성부는
    상기 고스트 정보를 고려하여, 상기 중복되는 영역에서 고스트 픽셀이 아닌 픽셀들에 대응하는 상기 좌 영상의 픽셀과 상기 우 영상의 픽셀의 톤 차이가 반영된 글로벌 톤 보정 함수를 계산하는 글로벌 계산부
    를 포함하는 영상 처리 장치.
  6. 제5항에 있어서,
    상기 톤 보정 맵 생성부는
    평탄화 필터를 통하여, 상기 계산된 글로벌 톤 보정 함수의 값을 평탄화(smoothing)하는 평탄화부
    를 포함하는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 톤 보정 맵 생성부는
    상기 최적 이음새의 픽셀을 중심으로 한 소정 크기의 윈도우 내에서, 고스트 픽셀이 아닌 픽셀들의 톤 차이의 평균을 계산하여 상기 최적 이음새의 로컬 정보를 생성하는 로컬 계산부
    를 포함하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 톤 보정 맵 생성부는
    상기 최적 이음새에 포함된 픽셀의, 로컬 정보와 글로벌 톤 보정 함수의 값을 비교하여 로컬 톤 보정 레벨을 계산하는 보정 레벨 계산부
    를 포함하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 양방향 보정부는
    상기 좌 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치 및 상기 우 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치를 상기 톤 보정 맵에 적용하는 가중치 적용부
    를 포함하는 영상 처리 장치.
  10. 입력된 좌 영상과 우 영상이 중복되는 영역에서, 상기 좌 영상과 상기 우 영상 간의 유사도가 반영된 코스트 맵(cost map)과 최적 임계 값(optimal threshold value)에 기초하여 고스트 정보를 획득하는 단계;
    상기 중복되는 영역에서 상기 고스트 정보를 고려하여 생성된 글로벌 톤 보정 함수 및 최적 이음새(optimal seam)의 로컬 정보를 반영하여 생성된 로컬 톤 보정 레벨에 기초하여 톤 보정 맵을 생성하는 단계; 및
    상기 톤 보정 맵에 상기 좌 영상을 고려한 가중치 및 상기 우 영상을 고려한 가중치를 적용하여 생성된, 최종 톤 보정 맵에 기초하여 상기 좌 영상 및 상기 우 영상을 보정하는 단계
    를 포함하는 영상 처리 방법.
  11. 제10항에 있어서,
    상기 고스트 정보를 획득하는 단계는
    상기 코스트 맵에서 상기 유사도가 가장 큰 경로를 상기 좌 영상과 상기 우 영상의 최적 이음새로 추정하는 단계; 및
    상기 코스트 맵을, 최적 임계 값 추정 방식에 기초하여 추정된 상기 최적 임계 값을 기준으로 이진화(binarization)하여 고스트 맵(ghost map)을 생성하는 단계
    를 포함하는 영상 처리 방법.
  12. 제10항에 있어서,
    상기 톤 보정 맵을 생성하는 단계는
    상기 고스트 정보를 고려하여, 상기 중복되는 영역에서 고스트 픽셀이 아닌 픽셀들에 대응하는 상기 좌 영상의 픽셀과 상기 우 영상의 픽셀의 톤 차이가 반영된 글로벌 톤 보정 함수를 계산하는 단계
    를 포함하는 영상 처리 방법.
  13. 제10항에 있어서,
    상기 톤 보정 맵을 생성하는 단계는
    상기 최적 이음새의 픽셀을 중심으로 한 소정 크기의 윈도우 내에서, 고스트 픽셀이 아닌 픽셀들의 톤 차이의 평균을 계산하여 상기 최적 이음새의 로컬 정보를 생성하는 단계
    를 포함하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 톤 보정 맵을 생성하는 단계는
    상기 최적 이음새에 포함된 픽셀의, 로컬 정보와 글로벌 톤 보정 함수의 값을 비교하여 로컬 톤 보정 레벨을 계산하는 단계
    를 포함하는 영상 처리 방법.
  15. 제10항에 있어서,
    상기 보정하는 단계는
    상기 좌 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치 및 상기 우 영상과 상기 중복되는 영역 간의 거리에 따라 변화하는 가중치를 상기 톤 보정 맵에 적용하는 단계
    를 포함하는 영상 처리 방법.
KR1020110055985A 2011-06-10 2011-06-10 영상 처리 장치 및 방법 KR101742120B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110055985A KR101742120B1 (ko) 2011-06-10 2011-06-10 영상 처리 장치 및 방법
US13/398,444 US9105107B2 (en) 2011-06-10 2012-02-16 Apparatus and method for image processing
CN201210064144.4A CN102819824B (zh) 2011-06-10 2012-03-12 用于图像处理的设备和方法
EP12160024.1A EP2533193B1 (en) 2011-06-10 2012-03-19 Apparatus and method for image processing
JP2012131000A JP5960513B2 (ja) 2011-06-10 2012-06-08 映像処理装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110055985A KR101742120B1 (ko) 2011-06-10 2011-06-10 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120136813A true KR20120136813A (ko) 2012-12-20
KR101742120B1 KR101742120B1 (ko) 2017-05-31

Family

ID=45977178

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110055985A KR101742120B1 (ko) 2011-06-10 2011-06-10 영상 처리 장치 및 방법

Country Status (5)

Country Link
US (1) US9105107B2 (ko)
EP (1) EP2533193B1 (ko)
JP (1) JP5960513B2 (ko)
KR (1) KR101742120B1 (ko)
CN (1) CN102819824B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160148635A (ko) * 2014-05-27 2016-12-26 가부시키가이샤 리코 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체
KR20210055438A (ko) * 2019-11-07 2021-05-17 부산대학교 산학협력단 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9088714B2 (en) 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US8957944B2 (en) 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
JP6167525B2 (ja) * 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
US8902335B2 (en) 2012-06-06 2014-12-02 Apple Inc. Image blending operations
US9098922B2 (en) * 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
CN103945087B (zh) * 2013-01-22 2017-10-27 深圳市腾讯计算机系统有限公司 图像色调的调节方法和调节装置
US9589350B1 (en) * 2013-05-30 2017-03-07 360 Lab Llc. Utilizing three overlapping images for exposure correction during panoramic image stitching
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
US9480403B2 (en) * 2013-12-16 2016-11-01 General Electric Company Medical imaging system and method for generating a blended cine loop
TWI533675B (zh) * 2013-12-16 2016-05-11 國立交通大學 影像接合之最佳動態接縫找尋調整系統與方法
US20180176650A1 (en) * 2015-06-12 2018-06-21 Sony Corporation Information processing apparatus and information processing method
CN106940877B (zh) * 2016-01-05 2021-04-20 富士通株式会社 图像处理装置及方法
US20170243384A1 (en) * 2016-02-19 2017-08-24 Mediatek Inc. Image data processing system and associated methods for processing panorama images and image blending using the same
CN105976325A (zh) * 2016-06-29 2016-09-28 上海小蚁科技有限公司 用于调整多个图像的明亮度的方法
CN106254844B (zh) * 2016-08-25 2018-05-22 成都易瞳科技有限公司 一种全景拼接颜色校正方法
CN107920252B (zh) * 2016-10-11 2021-11-12 阿里巴巴集团控股有限公司 一种全景视频数据处理方法、装置及系统
CN107016647B (zh) * 2017-04-26 2019-11-22 武汉大学 全景图像色调一致性纠正方法及系统
CN107290700B (zh) * 2017-08-08 2020-12-04 上海联影医疗科技股份有限公司 一种相位校正方法、装置及磁共振系统
KR102523672B1 (ko) 2017-11-14 2023-04-20 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6618511B1 (en) 1999-12-31 2003-09-09 Stmicroelectronics, Inc. Perspective correction for panoramic digital camera with remote processing
US7409105B2 (en) 2003-10-22 2008-08-05 Arcsoft, Inc. Panoramic maker engine for a low profile system
JP2005175620A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像処理方法及び装置
KR100724134B1 (ko) 2006-01-09 2007-06-04 삼성전자주식회사 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치
JP4676385B2 (ja) 2006-05-31 2011-04-27 株式会社日立国際電気 画像合成方法及び画像合成装置並びに画像合成プログラム
JP2008003683A (ja) 2006-06-20 2008-01-10 Matsushita Electric Ind Co Ltd 画像生成装置及びその方法並びに記録媒体
US7697839B2 (en) 2006-06-30 2010-04-13 Microsoft Corporation Parametric calibration for panoramic camera systems
KR100790887B1 (ko) 2006-09-22 2008-01-02 삼성전자주식회사 영상 처리장치 및 방법
US7839422B2 (en) * 2006-12-13 2010-11-23 Adobe Systems Incorporated Gradient-domain compositing
JP2010108238A (ja) 2008-10-30 2010-05-13 Seiko Epson Corp 画像処理装置および画像処理方法並びにプログラム
JP2010147634A (ja) 2008-12-17 2010-07-01 Sanyo Electric Co Ltd 画像合成装置
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
US8698875B2 (en) 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
JP2010220002A (ja) 2009-03-18 2010-09-30 Sony Corp 撮像装置と撮像方法
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP2010283502A (ja) 2009-06-03 2010-12-16 Topseed Technology Corp 知的監視システムおよび知的監視方法
JP5418127B2 (ja) 2009-10-09 2014-02-19 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5359783B2 (ja) * 2009-10-28 2013-12-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR20110052124A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
KR101633377B1 (ko) * 2010-06-18 2016-07-08 삼성전자주식회사 다중 노출에 의한 프레임 처리 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160148635A (ko) * 2014-05-27 2016-12-26 가부시키가이샤 리코 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체
KR101869637B1 (ko) * 2014-05-27 2018-06-20 가부시키가이샤 리코 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체
US10554880B2 (en) 2014-05-27 2020-02-04 Ricoh Company, Ltd. Image processing system, imaging apparatus, image processing method, and computer-readable storage medium
KR20210055438A (ko) * 2019-11-07 2021-05-17 부산대학교 산학협력단 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법

Also Published As

Publication number Publication date
EP2533193B1 (en) 2019-01-02
EP2533193A1 (en) 2012-12-12
JP5960513B2 (ja) 2016-08-02
US9105107B2 (en) 2015-08-11
US20120314945A1 (en) 2012-12-13
KR101742120B1 (ko) 2017-05-31
CN102819824A (zh) 2012-12-12
JP2013005439A (ja) 2013-01-07
CN102819824B (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
KR101742120B1 (ko) 영상 처리 장치 및 방법
US8989484B2 (en) Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion
KR101944208B1 (ko) 색 보정을 위한 장치 및 방법
US8396324B2 (en) Image processing method and apparatus for correcting distortion caused by air particles as in fog
JP4517872B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US8165419B2 (en) Histogram stretching apparatus and histogram stretching method for enhancing contrast of image
EP3580924B1 (en) Method and apparatus for processing an image property map
JP7369175B2 (ja) 画像処理装置およびその制御方法及びプログラム
CN103606132A (zh) 基于空域和时域联合滤波的多帧数字图像去噪方法
JP5343726B2 (ja) 画像処理装置、及び画像処理プログラム
JP6623832B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
JP2004214756A (ja) 画像ノイズの低減
JP5901667B2 (ja) 画像処理装置及び方法、画像処理プログラム、撮像装置
JP5669599B2 (ja) 画像処理装置及びその制御方法
US8908994B2 (en) 2D to 3d image conversion
JP2012014658A (ja) 画像処理装置及び方法、並びにプログラム
JP4872508B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
Cha et al. Seamless and fast panoramic image stitching
JP2019205073A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
KR102136716B1 (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
KR102122523B1 (ko) 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
KR20160069452A (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
JP3937022B2 (ja) 画像処理装置及び撮像機

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant