KR20170136828A - 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체 - Google Patents

영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR20170136828A
KR20170136828A KR1020160068848A KR20160068848A KR20170136828A KR 20170136828 A KR20170136828 A KR 20170136828A KR 1020160068848 A KR1020160068848 A KR 1020160068848A KR 20160068848 A KR20160068848 A KR 20160068848A KR 20170136828 A KR20170136828 A KR 20170136828A
Authority
KR
South Korea
Prior art keywords
image
overlap region
parameter
derived
processor
Prior art date
Application number
KR1020160068848A
Other languages
English (en)
Inventor
김세훈
이민우
곽한탁
최원희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160068848A priority Critical patent/KR20170136828A/ko
Priority to PCT/KR2017/005684 priority patent/WO2017209509A1/ko
Publication of KR20170136828A publication Critical patent/KR20170136828A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H04N5/2353—
    • H04N5/35563—
    • H04N5/35581—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체가 개시된다. 본 개시의 일 실시 예에 따른 영상 처리 장치는 제1 영상 및 제2 영상을 수신하는 영상 입력부 및 상기 제1 영상과 상기 제2 영상 각각의 오버랩 영역을 검출하고, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역을 이용하여 관계 파라미터를 도출하고, 상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상을 보정하는 프로세서를 포함할 수 있다.

Description

영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD OF THEREOF AND NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM}
본 개시는 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체에 관한 것으로, 더욱 구체적으로는, 복수의 영상의 비오버랩 영역의 화질을 개선할 수 있는 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체에 관한 것이다.
최근 스마트폰과 같은 작은 폼 팩터(form factor)를 갖는 영상 촬영 장치가 증가하고 있다. 이러한 영상 촬영 장치는 센서나 렌즈의 크기와 같은 물리적인 한계를 갖는다. 이에 따라, 촬영된 영상의 화질을 개선하기 위한 방법들이 제안되고 있다.
기존과 같이 단일 영상을 처리하여 화질을 개선하고자 하는 경우, 정보가 부족하여 화질이 충분히 개선될 수 없거나, 과하게 영상 처리하여 아티팩트(artifact)가 발생되는 문제점이 존재하였다.
이에 따라 최근에는 멀티카메라를 이용하여 화질을 개선하고자 하는 시도들이 제안되고 있다. 하지만, 비대칭(asymmetric) 멀티카메라를 이용하여 복수의 영상의 겹쳐지는 부분에 대한 화질이 개선되는 방법들은 제시되었으나, 겹쳐지지 않는 부분의 화질을 개선하는 방법은 제시되지 못하였다. 또한, 화질이 개선되는 겹쳐지는 부분만을 사용할 경우에는 화각(FoV)의 손실이 발생하는 문제점이 존재한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 오버랩 영역 사이의 관계를 도출하고, 도출된 관계를 이용하여 오버랩 영역뿐만 아니라 비오버랩 영역을 보정 또는 수정할 수 있는 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체를 제공함을 목적으로 한다.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 영상 처리 장치는, 제1 영상 및 제2 영상을 수신하는 영상 입력부 및 상기 제1 영상과 상기 제2 영상 각각의 오버랩 영역을 검출하고, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역을 이용하여 관계 파라미터를 도출하고, 상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상을 보정하는 프로세서를 포함할 수 있다.
그리고, 상기 프로세서는 상기 제1 영상 및 상기 제2 영상의 차이점을 이용하여 도출할 관계 파라미터를 결정하고, 상기 관계 파라미터는 상기 제1 영상 및 상기 제2 영상 중 하나의 오버랩 영역을 나머지 영상의 오버랩 영역으로 변환하기 위한 파라미터일 수 있다.
또한, 상기 프로세서는, 상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상의 비오버랩 영역을 보정하고, 상기 보정된 비오버랩 영역과 상기 제1 영상 및 상기 제2 영상 중 하나의 오버랩 영역을 합성하여 출력할 수 있다.
그리고, 상기 관계 파라미터는, 블러 파라미터, 노이즈 파라미터, 모션 블러 파라미터, 채도 파라미터, 대조비 파라미터, 다이내믹 레인지 파라미터 중 적어도 하나일 수 있다.
또한, 상기 프로세서는, 상기 제1 영상의 화각(FoV)이 상기 제2 영상의 화각보다 크면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 블러 파라미터를 도출하고, 상기 도출된 블러 파라미터를 이용하여 상기 제1 영상의 비오버랩 영역을 보정할 수 있다.
그리고, 상기 프로세서는, 상기 제1 영상의 화각(FoV)이 상기 제2 영상의 화각보다 크면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고, 상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정할 수 있다.
또한, 상기 프로세서는, 상기 제1 영상의 감도가 상기 제2 영상의 감도보다 높으면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고, 상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정할 수 있다.
그리고, 상기 프로세서는, 상기 제1 영상의 노출 시간이 상기 제2 영상의 노출 시간보다 길면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 모션 블러 파라미터를 도출하고, 상기 도출된 모션 블러 파라미터를 이용하여 상기 제1 영상의 비오버랩 영역을 보정할 수 있다.
또한, 상기 프로세서는, 상기 제1 영상의 노출 시간이 상기 제2 영상의 노출 시간보다 길면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고, 상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정할 수 있다.
그리고, 상기 프로세서는, 보정할 영상과 상기 도출된 관계 파라미터에 보정 결과 영상을 합성곱한 것의 차이에 관련된 값 및 상기 보정 결과 영상의 기울기에 관련된 값으로 구성된 코스트를 최소화하는 상기 보정 결과 영상을 결정하여, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상을 보정할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 영상 처리 장치의 영상 처리 방법은, 제1 영상 및 제2 영상을 수신하는 단계, 상기 제1 영상 및 상기 제2 영상 각각의 오버랩 영역을 검출하는 단계, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역을 이용하여 관계 파라미터를 도출하는 단계 및 상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상을 보정하는 단계를 포함할 수 있다.
그리고, 상기 제1 영상 및 상기 제2 영상의 차이점을 이용하여 도출할 관계 파라미터를 결정하는 단계를 더 포함하고, 상기 관계 파라미터는 상기 제1 영상 및 상기 제2 영상 중 하나의 오버랩 영역을 나머지 영상의 오버랩 영역으로 변환하기 위한 파라미터일 수 있다.
또한, 상기 보정하는 단계는, 상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상의 비오버랩 영역을 보정하는 단계 및 상기 보정된 비오버랩 영역과 상기 제1 영상 및 상기 제2 영상 중 하나의 오버랩 영역을 합성하여 출력하는 단계를 포함할 수 있다.
그리고, 상기 관계 파라미터는, 블러 파라미터, 노이즈 파라미터, 모션 블러 파라미터, 채도 파라미터, 대조비 파라미터, 다이내믹 레인지 파라미터 중 적어도 하나일 수 있다.
또한, 상기 도출하는 단계는, 상기 제1 영상의 화각(FoV)이 상기 제2 영상의 화각보다 크면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 블러 파라미터를 도출하고, 상기 보정하는 단계는, 상기 도출된 블러 파라미터를 이용하여 상기 제1 영상의 비오버랩 영역을 보정할 수 있다.
그리고, 상기 도출하는 단계는, 상기 제1 영상의 화각(FoV)이 상기 제2 영상의 화각보다 크면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고, 상기 보정하는 단계는, 상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정할 수 있다.
또한, 상기 도출하는 단계는, 상기 제1 영상의 감도가 상기 제2 영상의 감도보다 높으면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고, 상기 보정하는 단계는, 상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정할 수 있다.
그리고, 상기 도출하는 단계는, 상기 제1 영상의 노출 시간이 상기 제2 영상의 노출 시간보다 길면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 모션 블러 파라미터를 도출하고, 상기 보정하는 단계는, 상기 도출된 모션 블러 파라미터를 이용하여 상기 제1 영상의 비오버랩 영역을 보정할 수 있다.
또한, 상기 도출하는 단계는, 상기 제1 영상의 노출 시간이 상기 제2 영상의 노출 시간보다 길면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고, 상기 보정하는 단계는, 상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 영상 처리 장치의 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체는, 제1 영상 및 제2 영상을 수신하는 단계, 상기 제1 영상 및 상기 제2 영상 각각의 오버랩 영역을 검출하는 단계, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역을 이용하여 관계 파라미터를 도출하는 단계 및 상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상을 보정하는 단계를 포함하는 영상 처리 방법을 포함할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 영상 처리 장치는 화각(FoV) 손실 없이 서로 다른 광학 특성의 장점만을 취하여 영상의 오버랩 영역뿐만 아니라 비오버랩 영역의 화질을 개선할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 영상 처리 장치가 스마트폰으로 구현된 경우를 도시한 도면,
도 2는 본 개시의 일 실시 예에 따른 영상 처리 장치의 구성을 설명하기 위한 개략적인 블럭도,
도 3은 본 개시의 일 실시 예에 따른 영상 처리 장치의 구성을 상세히 설명하기 위한 블럭도,
도 4a 내지 도 4c는 본 개시의 일 실시 예에 따른 영상 처리 장치의 동작을 설명하기 위한 개념도,
도 5a 및 도 5b는 본 개시의 일 실시 예에 따른 영상 처리 방법이 적용된 영상을 도시한 도면,
도 6a 및 도 6b는 본 개시의 일 실시 예에 따른 관계 파라미터 도출을 설명하기 위한 도면,
도 7a 내지 도 11은 본 개시의 다양한 실시 예에 따른 영상 처리 과정을 도시한 도면, 그리고,
도 12 및 도 13은 본 개시의 다양한 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
이하에서는 본 개시의 바람직한 실시 예가 첨부된 도면을 참조하여 상세히 설명한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 영상을 보정한다고 기재한 것은 영상의 화질 등을 개선 또는 향상시키는 의미뿐만 아니라 영상을 수정한다는 의미로도 해석될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 영상 처리 장치(100)가 스마트폰으로 구현된 경우를 도시한 도면이다. 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 스마트폰뿐 아니라 타블렛, 디지털 카메라, PDA, 스마트 글라스 등으로 구현될 수도 있다. 도 1의 실시 예에서 영상 처리 장치(100)는 복수의 카메라를 통하여 직접 복수의 입력 영상을 생성하는 스마트폰으로 도시되었다. 하지만, 영상 처리 장치(100)는 반드시 복수의 입력 영상을 직접 생성할 필요는 없다. 예를 들어, 영상 처리 장치(100)는 외부로부터 복수의 입력 영상을 수신할 수도 있다. 그리고, 영상 처리 장치(100)는 반드시 복수의 카메라를 통해 복수의 입력 영상을 생성할 필요도 없다. 예를 들어, 영상 처리 장치(100)는 단일 카메라를 이용하여 오버랩 영역과 비오버랩 영역을 갖는 복수의 영상을 생성할 수도 있다. 다만, 단일 카메라를 이용하는 경우에는 복수의 영상이 서로 다른 광학 조건에서 촬영될 것을 요한다.
도 2는 본 개시의 일 실시 예에 따른 영상 처리 장치(100)의 구성을 설명하기 위한 개략적인 블럭도이다. 도 2를 참조할 때, 영상 처리 장치(100)는 영상 입력부(110) 및 프로세서(120)를 포함할 수 있다.
영상 입력부(110)는 제1 영상 및 제2 영상을 수신할 수 있다. 제1 영상 및 제2 영상은 서로 오버랩되는 영역을 갖도록 촬영된 영상일 수 있다. 또한, 제1 영상 및 제2 영상은 상이한 광학 특성 조건에서 촬영된 영상일 수 있다. 예를 들어, 제1 영상 및 제2 영상은 동일한 객체에 대하여 서로 다른 초점 거리로 촬영된 영상일 수 있다.
프로세서(120)는 수신된 제1 영상 및 제2 영상을 정합하여 오버랩 영역을 검출할 수 있다. 그리고, 프로세서(120)는 제1 영상의 오버랩 영역과 제2 영상의 오버랩 영역을 이용하여 관계 파라미터를 도출할 수 있다. 또한, 프로세서(120)는 도출된 관계 파라미터를 이용하여 제1 영상 및 제2 영상 중 적어도 하나의 영상을 보정할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 제1 영상 및 제2 영상의 차이점을 이용하여 도출할 관계 파라미터를 결정할 수 있다. 관계 파라미터는 제1 영상 및 제2 영상 중 하나의 오버랩 영역을 나머지 영상의 오버랩 영역으로 변환하기 위한 파라미터일 수 있다. 예를 들어, 관계 파라미터는 블러 파라미터, 노이즈 파라미터, 모션 블러 파라미터, 채도 파라미터, 대조비 파라미터, 다이내믹 레인지 파라미터 중 적어도 하나일 수 있다.
그리고, 프로세서(120)는 도출된 관계 파라미터를 이용하여 제1 영상 및 제2 영상 중 적어도 하나의 영상의 비오버랩 영역을 보정할 수 있다. 그리고, 프로세서(120)는 보정된 비오버랩 영역과 제1 영상 및 제2 영상 중 하나의 오버랩 영역을 합성하여 출력할 수 있다.
이와 같이 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 복수의 영상의 오버랩 영역간의 관계를 도출하고, 도출된 오버랩 영역간의 관계를 이용하여 오버랩 영역 뿐만 아니라 비오버랩 영역을 보정할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 영상 처리 장치(100)의 구성을 상세히 설명하기 위한 블럭도이다. 도 3을 참조할 때, 영상 처리 장치(100)는 영상 입력부(110), 프로세서(120), 복수의 촬영부(131, 133), 저장부(140), 디스플레이부(150), 통신부(160) 및 조작 입력부(170)를 포함할 수 있다.
다만, 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 상술한 구성을 모두 포함하는 것으로 한정되지 않는다. 예를 들어, 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 복수의 촬영부(131, 133) 또는 통신부(170)를 포함하지 않는 형태로 구현될 수도 있다. 또한, 영상 처리 장치(100)는 도 3의 실시 예에 미도시된 구성을 추가로 포함할 수 있음은 물론이다. 예를 들어, 영상 처리 장치(100)는 USB 인터페이스(미도시), 뎁스 센서(미도시)와 같은 구성을 더 포함할 수 있다.
영상 입력부(110)에 대한 설명은 도 2에서의 설명과 중복되는바 생략하기로 한다. 다만, 도 3의 실시 예에서는 복수의 촬영부(131, 133)에서 직접 영상 입력부(110)로 복수의 영상이 입력되는 것으로 도시되었으나, 복수의 촬영부(131, 133)에서 촬영된 영상이 저장부(140)에 저장된 후 영상 입력부(110)에 입력될 수도 있다. 다른 예로, 통신부(160)를 통하여 복수의 영상 중 적어도 하나가 수신되어 영상 입력부(110)로 입력될 수도 있다.
복수의 촬영부(131, 133)은 각각 피사체를 촬영하여 복수의 영상을 생성할 수 있다. 도 3을 참조하면, 영상 처리 장치(100)는 2개의 촬영부(131, 133)을 포함하고 있으나 더 많은 수의 촬영부를 포함할 수도 있다. 그리고, 단일 촬영부가 서로 다른 광학 조건으로 복수의 영상을 생성하는 영상 처리 장치(100)로 구현될 수도 있다.
복수의 촬영부(131, 133)는 서로 다른 광학 특성을 갖는 촬영 소자로 구현될 수 있다. 예를 들어, 복수의 촬영부(131, 133)는 서로 다른 초점 거리를 갖는 렌즈로 구현될 수 있다. 제1 촬영부(131)는 광각 렌즈를 이용하여 피사체를 촬영할 수 있고, 제2 촬영부(133)는 망원 렌즈를 이용하여 피사체를 촬영할 수 있다.
광각 렌즈를 이용하여 피사체를 촬영하면 초점거리가 짧아 화각이 넓고 밝기가 밝은 wide 영상이 촬영된다. 반대로, 망원 렌즈를 이용하여 피사체를 촬영하면 초점거리가 길어 화각이 좁고 밝기가 어두운 tele 영상이 촬영된다.
다른 예로, 복수의 촬영부(131, 133)는 서로 다른 감도, 서로 다른 셔터 속도(노출 시간)을 갖는 촬영 소자로 구현될 수 있다. 또 다른 예로, 복수의 촬영부(131, 133) 중 하나는 화질 개선용으로 사용되는 매우 작은 크기의 저해상도 카메라일 수 있다.
저장부(140)는 운영체제(Operating System, OS)나 각종 프로그램, 사용자 설정 데이터 등과 같은 다양한 데이터를 저장할 수 있다. 특히, 저장부(140)는 복수의 촬영부(131, 133)에서 촬영된 복수의 영상을 저장할 수 있다. 그리고, 저장부(140)는 저장된 복수의 이미지를 프로세서(120)로 제공할 수 있다.
저장부(140)는 영상 처리 장치(100) 내부의 저장매체로 구현될 수 있을 뿐만 아니라 외부 저장매체로도 구현될 수 있다. 외부 저장매체의 예로는 USB 메모리를 포함하는 Removable Disk, 네트워크를 통해 연결된 웹서버(web server)를 들 수 있다.
디스플레이부(150)는 영상 처리 장치(100)에서 촬영/처리한 영상을 표시할 수 있다. 그리고, 디스플레이부(150)는 영상 처리 장치(100)에서 제공하는 각종 기능을 선택받기 위한 사용자 인터페이스 창을 표시할 수도 있다. 이러한 디스플레이부(150)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태로 구현될 수 있다.
디스플레이부(150)는 터치패드와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있으며, 터치 스크린은 터치 입력 위치, 면적, 터치 입력의 압력까지도 검출되도록 구성될 수 있다. 이러한 경우에, 디스플레이부(150)는 후술할 조작 입력부(170)의 기능을 아울러 수행할 수 있다.
통신부(160)는 유무선 네트워크를 통하여 외부 장치와 통신할 수 있다. 예를 들어, 통신부(160)는 복수의 영상을 외부 장치로부터 수신할 수 있으며, 합성된 영상을 외부 장치로 전송할 수 있다.
통신부(160)는 무선 통신 방식으로 NFC(Near Field Communication), 무선 LAN(Wireless LAN), 적외선(InfraRed, IR) 통신, Zigbee 통신, WiFi, 블루투스 등 다양한 방식을 이용할 수 있다. 또한, 통신부(160)는 이동통신방식(예를 들어, GSM, UMTS, LTE, LTE-A, WiBRO 등)을 이용할 수도 있다. 그리고, 통신부(160)는 유선 통신 방식으로 HDMI(High Definition Multimedia Interface), LVDS(Low Voltage Differential Signaling), LAN(Local Area Network), USB(Universal Serial Bus)등 다양한 방식을 이용할 수 있다.
조작 입력부(170)는 사용자로부터 기능 선택 및 해당 기능에 대한 제어 명령을 입력받을 수 있다. 여기서 기능은 촬영 기능, 보정 기능, 합성 기능 등을 포함할 수 있다. 이와 같은 조작 입력부(170)는 디스플레이부(150)에 표시되는 사용자 인터페이스 창을 통하여 제어 명령을 입력받을 수 있다.
프로세서(120)는 영상 처리 장치(100)의 나머지 구성들을 제어할 수 있다. 예를 들어, 프로세서(120)는 보정된 비오버랩 영역과 제1 영상 및 제2 영상 중 하나의 오버랩 영역을 합성하고, 합성된 영상을 표시하도록 디스플레이부(150)를 제어할 수 있다. 프로세서(120)는 단일 CPU로 구현되어 이미지 프로세싱, 다른 구성 요소에 대한 제어 동작을 모두 수행할 수도 있고, CPU, GPU, ISP(Image Signal Processor) 등 복수의 프로세서 및 특정 기능을 수행하는 IP를 포함하는 것으로 구현될 수도 있다.
이하에서는 도면을 참조하여 프로세서(120)의 동작을 보다 구체적으로 설명하기로 한다.
도 4a 내지 도 4c는 본 개시의 일 실시 예에 따른 영상 처리 장치(100)의 동작을 설명하기 위한 개념도이다. 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 오버랩 영역간의 상호 관계 모델을 통하여 비오버랩 영역의 화질을 개선할 수 있다.
도 4a를 참조하면, 제1 영상(410)은 광각 렌즈로 촬영된 wide 영상일 수 있다. 그리고, 제2 영상(420)은 망원 렌즈로 촬영된 tele 영상일 수 있다. 제1 영상(410)은 제2 영상(420)과 겹치는 오버랩 영역(411)과 겹치지 않는 비오버랩 영역(413)으로 구분될 수 있다. 도 4a의 실시 예에서, 제2 영상(420)은 전 영역이 제1 영상(410)과 겹치는 오버랩 영역으로 도시되었다.
도 4b를 참조하면, 프로세서(120)는 제1 영상의 오버랩 영역(411)과 제2 영상의 오버랩 영역(420)을 이용하여 관계 파라미터 또는 관계 함수를 도출할 수 있다. 구체적으로, 프로세서(120)는 영상의 선명도가 높은 제2 영상의 오버랩 영역(420)을 영상의 선명도가 낮은 제1 영상의 오버랩 영역(411)으로 변환하기 위한 관계 파라미터 또는 관계 함수를 도출할 수 있다.
도 4c와 같이, 도출된 관계 함수의 역(inverse)함수를 이용하여, 프로세서(120)는 선명도가 낮은 제1 영상(410)의 오버랩 영역(411) 및 비오버랩 영역(413)을 보정할 수 있다. 즉, 프로세서(120)는 보정된 제1 영상(430)의 선명도가 제2 영상(420)의 선명도에 근접하도록 보정할 수 있다.
이하에서는 프로세서(120)가 도출된 관계 파라미터(또는 모델)을 이용하여 영상을 보정하는 방법을 수식을 이용하여 설명하기로 한다.
도출된 관계 파라미터를 K, 보정하고자 하는 영상(전체 또는 일부분)을 g, 보정된 영상을 f라고 할 때, 이들의 관계를 수학식 1과 같은 기술할 수 있다. 수학식 1에서 η는 노이즈이고, Kf는 K와 f의 합성곱(convolution)이다.
Figure pat00001
도 4의 예를 참고하여 설명하면, 프로세서(120)는 선명도가 높은 제2 영상을 선명도가 낮은 제1 영상(g)로 변환하기 위한 관계 파라미터(K)를 도출할 수 있다. 따라서, 선명도가 낮은 제1 영상(g)와 이를 보정한 영상(f)는 수학식 1과 같은 관계를 가질 수 있다.
수학식 2는 프로세서(120)가 수학식 1에서의 f를 찾기 위한 식을 개념적으로 표현한 것이다.
Figure pat00002
프로세서(120)는 보정하고자 하는 영상(g)와 보정한 영상에 관계 파라미터를 적용한 값(Kf)가 최대한 동일하게 되는 f를 찾는 방식으로 영상을 보정할 수 있다. 보정하고자 하는 영상(g)와 보정된 영상에 관계 파라미터를 적용한 값(Kf)의 차이에 관계된 값을 데이터 코스트(Cdata)라고 할 수 있다.
데이터 코스트를 최소화하는 f를 계산하는 것만으로는 적절히 보정된 영상을 찾기 어렵다는 점에서, 프로세서(120)는 제한(constraint)에 해당하는 조정 코스트(Cregularization)를 고려할 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서(120)는 수학식 3을 이용하여 데이터 코스트와 조정 코스트를 최소화하는 보정된 영상(f)을 생성할 수 있다.
Figure pat00003
수학식 3의 첫째 항이 데이터 코스트에 해당하며, 둘째 항이 조정 코스트에 해당한다. λ는 조정 코스트의 가중치(weight) 또는 계수(coefficient)에 해당하는 값으로, 프로세서(120)는 최적의 λ를 계산할 수 있다. 프로세서(120)는 조정 코스트를 통해 기울기(gradient)가 적은 f를 찾을 수 있다.
본 개시의 다른 실시 예에 따르면, 프로세서(120)는 수학식 4를 이용하여 데이터 코스트와 조정 코스트를 최소화하는 보정된 영상(f)를 생성할 수 있다.
Figure pat00004
수학식 3과 수학식 4을 각각 이용하는 실시 예들 사이의 차이점은 조정 코스트이다. 수학식 3에서는 조정 코스트로 각각의 요소를 제곱한 값을 합하여 루트를 취한 L2 norm의 제곱을 이용하는데 반하여, 수학식 4에서는 조정 코스트로 각각의 요소의 절대 값을 합한 L1 norm의 제곱을 이용한다.
본 개시의 또 다른 실시 예에 따르면, 프로세서(120)는 수학식 5를 이용하여 데이터 코스트와 조정 코스트를 최소화하는 보정된 영상(f)를 생성할 수 있다.
Figure pat00005
수학식 5에 따르면, 프로세서(120)는 상술한 바와 같은 두 가지의 조정 코스트 항을 모두 고려할 수 있다. 두 가지 조정 코스트 항들은 서로 트레이드 오프(trade-off) 관계에 있는바, 프로세서(120)는 이들 두 가지 조정 코스트 항을 모두 고려함으로써 최적의 f를 계산할 수 있다. 예를 들어, L2 norm은 해석해(analytical solution)을 계산할 수 있어 계산 효율에서 장점이 있다. L1 norm은 계산 효율은 떨어지나 에러 값에 민감하지 않아 보다 robust하다는 장점이 있다. 따라서, 프로세서(120)는 λ와 γ를 조정함으로써 각각의 영상에 적합한 보정을 수행할 수 있다.
도 5a 및 도 5b는 본 개시의 일 실시 예에 따른 영상 처리 방법이 적용된 실제 영상을 도시한 도면이다. 도 5a를 참조하면, wide 영상인 제1 영상(510) 및 tele 영상인 제2 영상(520)이 도시되어 있다. 그리고, 제1 영상의 오버랩 영역(511)과 제2 영상(520)의 촬영 대상이 동일하다.
제1 영상(510)은 wide 영상이기 때문에 tele 영상인 제2 영상(520)에 비하여 흐릿하게(blur) 촬영되어 있다. 프로세서(120)는 제2 영상(520)의 오버랩 영역과 제1 영상의 오버랩 영역(511)을 이용하여 블러(blur)에 관계된 함수인 PSF(point spread function)의 파라미터를 도출할 수 있다. 구체적으로, 프로세서(120)는 제2 영상(520)에 PSF를 적용하여 제1 영상의 오버랩 영역(511)을 생성할 수 있는 PSF의 파라미터를 도출할 수 있다. 그리고, 프로세서(120)는 도출된 파라미터를 갖는 PSF의 역함수를 제1 영상(510)에 적용하여 보정된 이미지(530)를 생성할 수 있다. 도 5b에서는 보정 효과를 명확히 도시하기 위하여 오버랩 영역(511)에 대해서만 도시하였으나, 프로세서(120)는 오버랩 영역간의 관계를 통해 도출된 PSF의 역함수를 이용하여 제1 영상(510)의 비오버랩 영역을 보정할 수 있음은 물론이다.
도 6a 및 도 6b는 본 개시의 일 실시 예에 따른 관계 파라미터 도출을 설명하기 위한 도면이다. 도 6a 및 도 6b에서는 블러(blur) 처리를 위한 PSF 함수의 파라미터를 도출하는 실시 예를 도시하였다. 예를 들어, PSF 함수의 파라미터는 가우시안 블러 함수의 분산(variance) 값일 수 있다.
종래의 영상 처리 장치는 어떠한 영상인지에 관계없이 기설정된 파라미터를 갖는 PSF를 적용하여 보정을 진행하였다. 하지만, 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 복수의 영상들의 오버랩 영역간의 관계를 도출하여 해당 영상에 적합한 PSF 파라미터를 도출할 수 있다.
도 6a를 참조하면, 종래의 영상 처리 장치는 어떠한 영상을 처리하는지에 관계 없이 0.7 또는 2.0과 같은 기설정된 파라미터를 갖는 PSF를 이용하여 보정을 진행하였다. 하지만, 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 복수의 영상의 오버랩 영역 간의 관계를 통해 최적의 파라미터가 1.619임을 도출할 수 있다.
종래의 영상 처리 장치는 도 6a에 적합한 파라미터인 1.6를 갖도록 조정하더라도, 도 6b와 같이 영상이 변경되면 적합한 보정을 수행할 수 없게 된다. 이에 반해, 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 도 6b 영상들의 오버랩 영역간의 관계를 이용하여 최적의 파라미터인 1.18을 도출할 수 있다. 따라서, 본 개시의 일 실시 예에 따른 영상 처리 장치(100)와 같이 복수의 영상의 오버랩 영역 간의 관계를 도출하여야만 보다 정밀하고 각 영상에 적합한 보정이 수행될 수 있다. 그리고, 본 개시의 일 실시 예에 따른 영상 처리 장치(100)는 이렇게 영상에 적합하게 도출한 관계 파라미터를 이용하여 오버랩 영역 뿐만 아니라 비오버랩 영역에 대한 보정을 수행할 수 있다.
이하에서는 제1 영상과 제2 영상이 촬영된 조건의 차이에 따라 제1 영상 및 제2 영상 중 적어도 하나를 보정하는 다양한 실시 예를 설명하기로 한다.
도 7a은 영상 처리 장치(100)가 tele 영상을 이용하여 wide 영상의 선명도를 향상시키는 실시 예를 도시한 도면이다. 설명의 편의를 위하여 tele 영상과 wide 영상으로 도시하였으나, 영상 입력부(110)에 입력된 2개의 영상의 화각(FoV) 차이가 존재하면 되기 때문에, 프로세서(120)는 tele 영상을 이용하여 normal 영상의 선명도를 향상시킬 수도 있다.
예를 들어, tele 영상과 wide 영상은 각각 망원 렌즈와 광각 렌즈를 구비한 촬영 소자로부터 촬영될 수 있다. 이러한 경우, 영상 처리 장치(100)는 듀얼 카메라를 구비한 스마트폰으로 구현될 수 있다. 다른 예로, wide 영상은 고해상도의 카메라로 촬영될 수 있고, tele 영상은 작은 크기의 화질 개선용 저해상도 카메라로 촬영될 수 있다. 이러한 경우, 영상 처리 장치(100)는 듀얼 카메라가 아닌 화질 개선용 보조 렌즈를 포함하는 단일 카메라를 구비한 스마트폰으로 구현될 수도 있다.
프로세서(120)는 입력된 tele 영상(710)과 wide 영상(720)을 정합하여 각각의 영상의 오버랩 영역을 검출할 수 있다. 도 7a를 참조하면, tele 영상(710)의 전 영역은 wide 영상(720)과 겹치는 오버랩 영역이다. 그리고, wide 영상(720)은 tele 영상(710)과 겹치는 오버랩 영역(721) 및 겹치지 않는 비오버랩 영역(723)을 포함한다.
프로세서(120)는 오버랩 영역들(710, 721) 사이의 관계 파라미터를 도출할 수 있다. 예를 들어, 프로세서(120)는 tele 영상의 오버랩 영역(710)에 블러 함수를 적용하여 wide 영상의 오버랩 영역(721)을 생성할 수 있는 블러 파라미터를 도출할 수 있다.
그리고, 프로세서(120)는 도출된 블러 파라미터를 이용하여 디블러(deblur) 함수 모델을 결정할 수 있다. 프로세서(120)는 디블러 함수를 wide 영상(720)에 적용하여 wide 영상(720)의 선명도를 보정할 수 있다.
도 7b의 실시 예를 참조하면, 프로세서(120)는 wide 영상(720)의 비오버랩 영역(723)에 대해서만 보정을 수행할 수 있다. 그리고, 프로세서(120)는 오버랩 영역의 영상으로 tele 영상(710)을 이용할 수 있다. 왜냐하면, 도출된 관계 파라미터로 프로세서(120)가 wide 영상(720)의 오버랩 영역(721)을 보정한 최상의 결과가 tele 영상(710)이기 때문이다. 즉, 프로세서(120)는 wide 영상의 비오버랩 영역(723)을 보정하고, 보정된 wide 영상의 비오버랩 영역(723)과 tele 영상의 오버랩 영역(710)을 합성하여 출력할 수 있다.
구체적으로, 도 7a에서 도출된 블러 파라미터를 이용하여, 프로세서(120)는 wide 영상의 비오버랩 영역(723)을 보정할 수 있다. 그리고, 프로세서(120)는 tele 영상의 오버랩 영역(710)에 시차 보상, 밝기 보상 등을 수행할 수 있다. 프로세서(120)는 보상된 tele 영상의 오버랩 영역(711)과 보정된 wide 영상의 비오버랩 영역(723)을 합성할 수 있다. 프로세서(120)는 경계 처리와 같은 추가적인 영상 처리를 수행하여 최종 합성된 영상(740)을 출력할 수 있다.
도 8은 영상 처리 장치(100)가 감도 차이에 의한 노이즈 특성을 모델링하여 노이즈가 개선된 wide 영상을 생성하는 실시 예를 도시한 도면이다. 도 8의 실시 예에서 제1 영상(810)은 고감도 tele 카메라가 촬영한 영상이며, 제2 영상(820)은 wide 또는 normal 영상이다.
프로세서(120)는 제1 영상(810) 및 제2 영상(820)을 정합하여 각 영상의 오버랩 영역을 도출할 수 있다. 제1 영상(810)의 전 영역은 제2 영상(820)과 겹치는 오버랩 영역이다. 그리고, 제2 영상(820)은 제1 영상(810)과 겹치는 오버랩 영역(821) 및 겹치지 않는 비오버랩 영역(823)을 포함할 수 있다.
프로세서(120)는 오버랩 영역들(810, 821) 사이의 관계 파라미터를 도출할 수 있다. 예를 들어, 프로세서(120)는 tele 영상의 오버랩 영역(810)에 노이즈 함수를 적용하여 wide 영상의 오버랩 영역(821)을 생성할 수 있는 노이즈 파라미터를 도출할 수 있다.
그리고, 프로세서(120)는 도출된 노이즈 파라미터를 이용하여 디노이즈(denoise) 함수 모델을 결정할 수 있다. 프로세서(120)는 디노이즈 함수를 wide 영상(820)에 적용하여 wide 영상(820)의 노이즈를 저감할 수 있다.
도 9는 영상 처리 장치(100)가 감도 차이에 의한 노이즈 특성을 모델링하여 노이즈가 개선된 영상을 생성하는 실시 예를 도시한 도면이다. 도 8의 실시 예와의 차이점은 도 9에 도시된 실시 예가 화각(FoV)이 동일한 영상 간에 적용될 수 있다는 점이다. 도 9의 실시 예에서 제1 영상(910)은 고감도 영상이며, 제2 영상(920)은 저감도 영상이다.
프로세서(120)는 제1 영상(910) 및 제2 영상(920)을 정합하여 각 영상의 오버랩 영역(911, 921)을 도출할 수 있다. 그리고, 프로세서(120)는 오버랩 영역들(911, 921) 사이의 관계 파라미터인 노이즈 파라미터를 도출할 수 있다. 구체적으로, 프로세서(120)는 제1 영상의 오버랩 영역(911)에 노이즈 함수를 적용하여 제2 영상의 오버랩 영역(921)을 생성할 수 있는 노이즈 파라미터를 도출할 수 있다.
그리고, 프로세서(120)는 도출된 노이즈 파라미터를 이용하여 디노이즈(denoise) 함수 모델을 결정할 수 있다. 프로세서(120)는 디노이즈 함수를 저감도 영상인 제2 영상(920)에 적용하여 노이즈가 개선된 제2 영상(930)을 생성할 수 있다. 프로세서(120)는 노이즈가 개선된 제2 영상(930)과 제1 영상(910)을 합성할 수 있다. 그리고, 프로세서(120)는 경계 처리와 같은 추가적인 영상 처리를 수행하여 최종 합성된 영상(940)을 출력할 수 있다.
도 9의 실시 예에서는 보정된 제2 영상 전체(930)와 제1 영상의 비오버랩 영역을 합성하는 것으로 도시되었으나, 제1 영상 전체(910)와 보정된 제2 영상(930)의 비오버랩 영역을 합성하는 것도 가능하다.
도 10은 영상 처리 장치(100)가 wide 영상을 이용하여 tele 영상의 노이즈를 저감하는 실시 예를 도시한 도면이다. 설명의 편의를 위하여 tele 영상과 wide 영상으로 도시하였으나, 영상 입력부(110)에 입력된 2개의 영상의 화각(FoV) 차이가 존재하면 되기 때문에, 프로세서(120)는 normal 영상을 이용하여 tele 영상의 노이즈를 줄일 수 있다.
도 10의 실시 예에서 제1 영상(1010)은 wide 영상이며, 제2 영상(1020)은 tele 영상이다. wide 영상은 밝고 노이즈가 적은 특성을 갖고, tele 영상은 고해상도이지만 어둡고 노이즈가 많은 특성을 갖는다.
프로세서(120)는 제1 영상(1010) 및 제2 영상(1020)을 정합하여 각 영상의 오버랩 영역(1011, 1021)을 도출할 수 있다. 그리고, 프로세서(120)는 오버랩 영역들(1011, 1021) 사이의 관계 파라미터인 노이즈 파라미터를 도출할 수 있다. 구체적으로, 프로세서(120)는 제1 영상의 오버랩 영역(1011)에 노이즈 함수를 적용하여 제2 영상의 오버랩 영역(1021)을 생성할 수 있는 노이즈 파라미터를 도출할 수 있다. 그리고, 프로세서(120)는 도출된 노이즈 파라미터를 이용하여 디노이즈(denoise) 함수 모델을 결정할 수 있다. 프로세서(120)는 디노이즈 함수를 tele 영상인 제2 영상(1020)에 적용하여 노이즈가 개선된 제2 영상(1030)을 생성할 수 있다.
도 11은 영상 처리 장치(100)가 노출 시간이 다른 영상을 이용하여 모션 블러를 제거하는 실시 예들 도시한 도면이다. 도 11의 실시 예에서, 제1 영상(1110)은 셔터 속도가 짧은 촬영 소자를 통해 촬영되어 노출 시간이 짧은 영상이고, 제2 영상(1120)은 노출 시간이 제1 영상(1110)에 비해 긴 영상이다.
노출 시간이 짧은 제1 영상(1110)은 모션 블러가 적은데 반하여 노이즈가 많고, 노출 시간이 긴 제2 영상(1120)은 노이즈가 적은데 반하여 모션 블러가 많다.
프로세서(120)는 제1 영상(1110) 및 제2 영상(1120)을 정합하여 각 영상의 오버랩 영역을 도출할 수 있다. 제1 영상(1110)의 전 영역은 제2 영상(1120)과 겹치는 오버랩 영역이다. 그리고, 제2 영상(1120)은 제1 영상(1110)과 겹치는 오버랩 영역(1121) 및 겹치지 않는 비오버랩 영역을 포함할 수 있다.
프로세서(120)는 오버랩 영역들(1110, 1121) 사이의 관계 파라미터를 도출할 수 있다. 구체적으로, 프로세서(120)는 제1 영상(1110)에 모션 블러 함수를 적용하여 제2 영상의 오버랩 영역(1121)을 생성할 수 있는 모션 블러 파라미터를 도출할 수 있다. 그리고, 프로세서(120)는 도출된 모션 블러 파라미터를 이용하여 디블러 함수 모델을 결정할 수 있다. 프로세서(120)는 디블러 함수를 제2 영상(1120)에 적용하여 모션 블러가 개선된 제1 영상(1230)을 생성할 수 있다.
도 11에서는 영상 처리 장치(100)가 노출 시간이 긴 제2 영상(120)의 모션 블러만을 제거하는 실시 예를 도시하였으나, 노출 시간이 짧은 제1 영상(1110)의 노이즈를 제거할 수도 있다. 또한, 영상 처리 장치(100)는 제1 영상(1110)과 제2 영상(1120)에서 각각 노이즈와 모션 블러를 동시에 제거할 수도 있다.
상술한 바와 같은 다양한 실시 예에 따르면, 영상 처리 장치(100)는 복수의 영상의 오버랩 영역 사이의 관계 모델을 이용하여 비오버랩 영역의 화질을 개선할 수 있다. 예를 들어, 화각(FoV)이 상이한 복수의 영상을 이용할 경우, 영상 처리 장치(100)는 넓은 화각을 가지면서도 해상도가 높은 영상을 생성할 수 있다.
도 12는 본 개시의 일 실시 예에 따른 영상 처리 장치(100)의 영상 처리 방법을 설명하기 위한 흐름도이다. 도 12를 참조하면, 영상 처리 장치(100)는 제1 영상 및 제2 영상을 수신할 수 있다(S1210). 제1 영상 및 제2 영상은 서로 오버랩되는 영역을 갖도록 촬영된 영상일 수 있다. 또한, 제1 영상 및 제2 영상은 상이한 광학 특성 조건에서 촬영된 영상일 수 있다. 예를 들어, 제1 영상 및 제2 영상은 동일한 객체에 대하여 서로 다른 초점 거리로 촬영된 영상일 수 있다. 영상 처리 장치(100)는 제1 영상 및 제2 영상을 자체적으로 촬영할 수 있으며, 외부 장치에서 촬영된 영상을 수신할 수도 있다.
그리고, 영상 처리 장치(100)는 제1 영상 및 제2 영상을 정합하여 각각의 영상의 오버랩 영역을 검출할 수 있다(S1220). 그리고, 영상 처리 장치(100)는 제1 영상의 오버랩 영역과 제2 영상의 오버랩 영역을 이용하여 관계 파라미터를 도출할 수 있다(S1230). 도출된 오버랩 영역 간의 관계 파라미터를 이용하여, 영상 처리 장치(100)는 제1 영상 및 제2 영상 중 적어도 하나의 영상을 보정할 수 있다(S1240).
영상 처리 장치(100)는 제1 영상 및 제2 영상의 차이점을 이용하여 도출할 관계 파라미터를 결정할 수 있다. 관계 파라미터는 제1 영상 및 제2 영상 중 하나의 오버랩 영역 영상을 나머지 영상의 오버랩 영역 영상으로 변환하기 위한 파라미터이다. 예를 들어, 관계 파라미터는 블러 파라미터, 노이즈 파라미터, 모션 블러 파라미터, 채도 파라미터, 대조비 파라미터, 다이내믹 레인지 파라미터 중 적어도 하나일 수 있다. 그리고, 영상 처리 장치(100)는 도출된 관계 파라미터가 무엇인지에 따라 제1 영상 및 제2 영상 중 어느 영상을 보정할 것인지 결정할 수 있다.
도 13은 본 개시의 일 실시 예에 따른 영상 처리 장치(100)의 영상 처리 방법을 설명하기 위한 흐름도이다. S1310 내지 S1330 단계는 S1210 내지 S1230 단계와 각각 대응되는바 중복 설명을 생략하기로 한다.
영상 처리 장치(100)는 도출된 관계 파라미터를 이용하여 제1 영상 및 제2 영상 중 적어도 하나의 영상의 비오버랩 영역을 보정할 수 있다(S1340). 그리고, 영상 처리 장치(100)는 보정된 비오버랩 영역과 제1 영상 및 제2 영상 중 하나의 오버랩 영역을 합성하여 출력할 수 있다(S1350). 이에 따라 영상 처리 장치(100)는 넓은 화각을 가지면서도 화질이 개선된 영상을 생성할 수 있다.
다른 실시 예에서, 영상 처리 장치(100)는 합성 과정 없이 제1 영상 및 제2 영상 중 하나의 영상에 대해서만 보정하여 출력할 수도 있다.
그 밖에, 구체적인 관계 파라미터를 이용하는 영상 처리 장치(100)의 영상 처리 방법에 대해서는 상술한 영상 처리 장치(100)의 설명과 중복되는바 생략하기로 한다.
상기에서 설명된 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 개시는 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 개시는 상기의 실시 예에 한정되는 것은 아니며, 본 개시가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치 110: 영상 입력부
120: 프로세서 130: 촬영부
140: 저장부 150: 디스플레이부
160: 통신부 170: 조작 입력부

Claims (20)

  1. 영상 처리 장치에 있어서,
    제1 영상 및 제2 영상을 수신하는 영상 입력부; 및
    상기 제1 영상과 상기 제2 영상 각각의 오버랩 영역을 검출하고, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역을 이용하여 관계 파라미터를 도출하고, 상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상을 보정하는 프로세서;를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상 및 상기 제2 영상의 차이점을 이용하여 도출할 관계 파라미터를 결정하고,
    상기 관계 파라미터는, 상기 제1 영상 및 상기 제2 영상 중 하나의 오버랩 영역을 나머지 영상의 오버랩 영역으로 변환하기 위한 파라미터인 영상 처리 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상의 비오버랩 영역을 보정하고, 상기 보정된 비오버랩 영역과 상기 제1 영상 및 상기 제2 영상 중 하나의 오버랩 영역을 합성하여 출력하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 관계 파라미터는,
    블러 파라미터, 노이즈 파라미터, 모션 블러 파라미터, 채도 파라미터, 대조비 파라미터, 다이내믹 레인지 파라미터 중 적어도 하나인 영상 처리 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상의 화각(FoV)이 상기 제2 영상의 화각보다 크면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 블러 파라미터를 도출하고, 상기 도출된 블러 파라미터를 이용하여 상기 제1 영상의 비오버랩 영역을 보정하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상의 화각(FoV)이 상기 제2 영상의 화각보다 크면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고, 상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정하는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상의 감도가 상기 제2 영상의 감도보다 높으면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고, 상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정하는 영상 처리 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상의 노출 시간이 상기 제2 영상의 노출 시간보다 길면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 모션 블러 파라미터를 도출하고, 상기 도출된 모션 블러 파라미터를 이용하여 상기 제1 영상의 비오버랩 영역을 보정하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상의 노출 시간이 상기 제2 영상의 노출 시간보다 길면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고, 상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정하는 영상 처리 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 도출된 관계 파라미터에 보정 결과 영상을 적용한 영상과 보정할 영상의 차이에 관련된 값 및 상기 보정 결과 영상의 기울기에 관련된 값으로 구성된 코스트를 최소화하는 상기 보정 결과 영상을 결정하여, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상을 보정하는 영상 처리 장치.
  11. 영상 처리 장치의 영상 처리 방법에 있어서,
    제1 영상 및 제2 영상을 수신하는 단계;
    상기 제1 영상 및 상기 제2 영상 각각의 오버랩 영역을 검출하는 단계;
    상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역을 이용하여 관계 파라미터를 도출하는 단계; 및
    상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상을 보정하는 단계;를 포함하는 영상 처리 방법.
  12. 제11항에 있어서,
    상기 제1 영상 및 상기 제2 영상의 차이점을 이용하여 도출할 관계 파라미터를 결정하는 단계;를 더 포함하고,
    상기 관계 파라미터는, 상기 제1 영상 및 상기 제2 영상 중 하나의 오버랩 영역을 나머지 영상의 오버랩 영역으로 변환하기 위한 파라미터인 영상 처리 방법.
  13. 제11항에 있어서,
    상기 보정하는 단계는,
    상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상의 비오버랩 영역을 보정하는 단계; 및
    상기 보정된 비오버랩 영역과 상기 제1 영상 및 상기 제2 영상 중 하나의 오버랩 영역을 합성하여 출력하는 단계;를 포함하는 영상 처리 방법.
  14. 제11항에 있어서,
    상기 관계 파라미터는,
    블러 파라미터, 노이즈 파라미터, 모션 블러 파라미터, 채도 파라미터, 대조비 파라미터, 다이내믹 레인지 파라미터 중 적어도 하나인 영상 처리 방법.
  15. 제11항에 있어서,
    상기 도출하는 단계는,
    상기 제1 영상의 화각(FoV)이 상기 제2 영상의 화각보다 크면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 블러 파라미터를 도출하고,
    상기 보정하는 단계는,
    상기 도출된 블러 파라미터를 이용하여 상기 제1 영상의 비오버랩 영역을 보정하는 영상 처리 방법.
  16. 제11항에 있어서,
    상기 도출하는 단계는,
    상기 제1 영상의 화각(FoV)이 상기 제2 영상의 화각보다 크면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고,
    상기 보정하는 단계는,
    상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정하는 영상 처리 방법.
  17. 제11항에 있어서,
    상기 도출하는 단계는,
    상기 제1 영상의 감도가 상기 제2 영상의 감도보다 높으면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고,
    상기 보정하는 단계는,
    상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정하는 영상 처리 방법.
  18. 제11항에 있어서,
    상기 도출하는 단계는,
    상기 제1 영상의 노출 시간이 상기 제2 영상의 노출 시간보다 길면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 모션 블러 파라미터를 도출하고,
    상기 보정하는 단계는,
    상기 도출된 모션 블러 파라미터를 이용하여 상기 제1 영상의 비오버랩 영역을 보정하는 영상 처리 방법.
  19. 제11항에 있어서,
    상기 도출하는 단계는,
    상기 제1 영상의 노출 시간이 상기 제2 영상의 노출 시간보다 길면, 상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역 사이의 노이즈 파라미터를 도출하고,
    상기 보정하는 단계는,
    상기 도출된 노이즈 파라미터를 이용하여 상기 제2 영상의 비오버랩 영역을 보정하는 영상 처리 방법.
  20. 영상 처리 장치의 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체에 있어서,
    영상 처리 방법은,
    제1 영상 및 제2 영상을 수신하는 단계;
    상기 제1 영상 및 상기 제2 영상 각각의 오버랩 영역을 검출하는 단계;
    상기 제1 영상의 오버랩 영역과 상기 제2 영상의 오버랩 영역을 이용하여 관계 파라미터를 도출하는 단계; 및
    상기 도출된 관계 파라미터를 이용하여 상기 제1 영상 및 상기 제2 영상 중 적어도 하나의 영상을 보정하는 단계;를 포함하는 비일시적 컴퓨터 판독가능 기록매체.
KR1020160068848A 2016-06-02 2016-06-02 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체 KR20170136828A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160068848A KR20170136828A (ko) 2016-06-02 2016-06-02 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체
PCT/KR2017/005684 WO2017209509A1 (ko) 2016-06-02 2017-05-31 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160068848A KR20170136828A (ko) 2016-06-02 2016-06-02 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
KR20170136828A true KR20170136828A (ko) 2017-12-12

Family

ID=60478682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160068848A KR20170136828A (ko) 2016-06-02 2016-06-02 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체

Country Status (2)

Country Link
KR (1) KR20170136828A (ko)
WO (1) WO2017209509A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004725A1 (ko) 2017-06-27 2019-01-03 주식회사 엘지화학 장식 부재 및 이의 제조방법
WO2022255612A1 (en) * 2021-06-03 2022-12-08 Samsung Electronics Co., Ltd. Method and electronic device for rectifying an image
KR20230123267A (ko) * 2022-02-16 2023-08-23 주식회사 비지트 파노라믹 영상 블렌딩 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1518333A2 (en) * 2002-03-25 2005-03-30 The Trustees of Columbia University in the city of New York Method and system for enhancing data quality
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
WO2011029203A1 (en) * 2009-09-14 2011-03-17 Viion Systems Inc. Saccadic dual-resolution video analytics camera
EP2860699A1 (en) * 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US9197885B2 (en) * 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004725A1 (ko) 2017-06-27 2019-01-03 주식회사 엘지화학 장식 부재 및 이의 제조방법
WO2022255612A1 (en) * 2021-06-03 2022-12-08 Samsung Electronics Co., Ltd. Method and electronic device for rectifying an image
US11750928B2 (en) 2021-06-03 2023-09-05 Samsung Electronics Co., Ltd. Method and electronic device for rectifying an image
KR20230123267A (ko) * 2022-02-16 2023-08-23 주식회사 비지트 파노라믹 영상 블렌딩 방법 및 장치
WO2023158138A1 (ko) * 2022-02-16 2023-08-24 주식회사 비지트 파노라믹 영상 블렌딩 방법 및 장치

Also Published As

Publication number Publication date
WO2017209509A1 (ko) 2017-12-07

Similar Documents

Publication Publication Date Title
Maurer How to pan-sharpen images using the gram-schmidt pan-sharpen method–A recipe
US9591237B2 (en) Automated generation of panning shots
JP5139516B2 (ja) カメラ運動の検出及び推定
US8009197B2 (en) Systems and method for de-blurring motion blurred images
CN109565551B (zh) 对齐于参考帧合成图像
JP5906028B2 (ja) 画像処理装置、画像処理方法
US9307148B1 (en) Video enhancement techniques
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2010141653A (ja) 画像処理装置及び撮像装置
JP2021072615A (ja) 映像復元装置及び方法
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
US11222409B2 (en) Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
KR20130013288A (ko) 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
US10122912B2 (en) Device and method for detecting regions in an image
US20230334636A1 (en) Temporal filtering weight computation
US20180091799A1 (en) Robust disparity estimation in the presence of significant intensity variations for camera arrays
KR102650217B1 (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
KR20170136828A (ko) 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체
US10547785B2 (en) Photographing method including image registration based on reference image, shake information, and a motion vector table
JP2016110312A (ja) 画像処理方法、画像処理装置及びプログラム
US10721419B2 (en) Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
US20230274401A1 (en) Advanced temporal low light filtering with global and local motion compensation
KR20240031246A (ko) 다수의 관심 영역들을 갖는 장면들에서 선택적으로 증가하는 피사계 심도
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
US20240107177A1 (en) Techniques for Correcting Images in Flash Photography