KR20110032402A - 다중 영상 합성 방법 및 그 장치 - Google Patents
다중 영상 합성 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20110032402A KR20110032402A KR1020090089875A KR20090089875A KR20110032402A KR 20110032402 A KR20110032402 A KR 20110032402A KR 1020090089875 A KR1020090089875 A KR 1020090089875A KR 20090089875 A KR20090089875 A KR 20090089875A KR 20110032402 A KR20110032402 A KR 20110032402A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- region
- interest
- roi
- synthesizing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
HDR 영상(high dynamic range imaging) , 파노라마 영상(panoramic imaging), 사진몽타쥬(photoontage) 등에 적용되는 다중 영상 합성 방법 및 장치가 개시된다.
일 실시예에 따르면, 다중 영상 합성 방법은 정렬된 기준 영상과 입력 영상을 합성하되, 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 두 영상을 합성한다. 가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하도록 설정될 수 있다. 또다른 예로, 가중치는 관심 영역의 경계에서 발생하는 두 영상간의 휘도 차이의 크기에 따라 그 감쇄도가 달라질 수 있다.
또다른 실시예에 따르면, 다중 영상 합성 방법은 이전 정렬 단계 (previous stage)에서 검출된 n 번째 관심 영역에 기반한 영상 정렬을 통해 정렬하고, 정렬된 결과에서 정렬이 불완전한 영역과 관련된 또다른 관심 영역을 검출하여, 이 정렬된 기준 영상과, 이전 합성 단계(previous stage)에서 입력되는 (n+1) 번째 합성 영상을 합성하여 이후 합성 단계(previous stage)로 출력하는 단계를 포함한다.
이에 의해 복잡한 움직임이 있을 경우에도 적은 계산량으로 자연스러운 합성 영상의 획득이 가능하다. 또한 다중 정렬(multiple alignment) 방식에 의한 합성으로 활성 움직임(active motion)의 장면(scene)에서도 정합율을 향상하는 것이 가능하다.
다중 영상 합성, high dynamic range, alignment, 정렬, 고스트 검출, adaptive weight, 가중치, 케스케이드
Description
다중 영상 합성 방법 및 장치가 개시된다. 다중 영상 합성 기술은 종종 노출 브라켓팅(exposure bracketing)을 이용하여 촬영된 다수의 표준적인 사진들을 하나의 영상으로 정렬하여 합성하는 HDR(High Dynamic Range) 이미징(Imaging)에 적용될 수 있다(capturing multiple standard photographs, often using exposure bracketing, and then merging them into an HDR image). 또 다른 예로, 다중 영상 합성 기술은 촬영 영역의 일부가 중첩(overlap)되도록 촬영된 복수의 영상들을 정렬하면서 합성하여 넓은 영역의 영상을 출력하는 파노라마 이미징(panorama imaging)에 적용될 수 있다. 또다른 예로, 다중 영상 합성 기술은 여러 영상들에서 필요한 부분들만을 떼어 내어 하나의 영상으로 합성하는 포토몽타쥬(Photomontage) 에 적용될 수 있다. 포토몽타쥬는, 예를 들어 반복 촬영된 여러 장의 단체 사진에서, 각자가 가장 예쁘게 나온 사진에서 자신의 사진 영역을 추출하고 이들을 취합하여 합성함으로써 전체적으로 모두가 더 예쁘게 나온 사진을 합성하는데 적용될 수 있다.
이러한 기술은 아날로그 카메라, 디지털 카메라 혹은 캠코더 등의 제품에 적용될 수 있으며, 나아가 컴퓨터를 이용하는 영상 처리에 적용될 수 있다.
이 같은 다중 영상 합성 기술에서는 다수의 영상들이 정렬(alignment)되어야 하며, 스티치된 경계 부분에서 두 영상 간의 밝기 단차가 적절해야 한다. 또 경계 영역에서 서로 다른 영역 간에 부정합(artifact)을 유발하지 않고 자연스럽게 보여야 한다.
그러나, 노이즈가 있는 영상들을 합성할 때, 또는 활성 움직임(active motion)이 있을 때 영상의 다이내믹 레인지(dynamic range)를 떨어뜨리지 않고 또 움직임 부정합(motion artifact)을 유발하지 않고 합성한다는 것은 매우 어려운 일이다. 움직임 부정합을 해결하기 위해 옵티컬 플로우(optical flow) 기법을 사용할 경우 대규모 움직임(large motion)에서 정합력이 떨어질 뿐 아니라 계산의 복잡도가 올라간다.
활성 움직임이 있는 장면(scene)에서 간단한 정렬(alignment) 기법을 사용하면서 복잡한 움직임에 대한 정렬 성능을 향상시키는 다중 영상 합성 방법 및 그 장치가 제공된다.
또한 움직임 부정합(motion artifact)이 제거되고 다이내믹 레인지(dynamic range)가 개선된 다중 영상 합성 방법 및 그 장치가 제공된다.
일 양상에 따르면, 정렬된 기준 영상과 입력 영상을 합성하되, 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 두 영상을 합성하는 다중 영상 합성 방법이 제공된다.
가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하도록 설정될 수 있다. 또다른 예로, 가중치는 관심 영역의 경계에서 발생하는 두 영상간의 휘도 차이의 크기에 따라 그 감쇄도가 달라질 수 있다.
또다른 양상에 따르면, 다중 영상 합성 방법은 기준 영상과 입력 영상을 정렬하되, 이전 정렬 단계 (previous stage)에서 검출된 n 번째 관심 영역에 기반한 영상 정렬을 통해 정렬하는 단계와, 정렬된 결과에서 정렬이 불완전한 영역과 관련된 또다른 관심 영역을 검출하는 단계와, 이 정렬된 기준 영상과, 이전 합성 단계(previous stage)에서 입력되는 (n+1) 번째 합성 영상을 합성하여 이후 합성 단계(previous stage)로 출력하는 단계를 포함한다.
여기서 n 번째 관심 영역과 검출된 또다른 관심 영역의 교집합을 (n+1)번째 관심 영역으로 다음 정렬 단계(next alignment stage)로 출력할 수 있다. 또한 두 영상을 합성할때 검출된 또다른 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 합성할 수 있다.
이러한 다중 영상 방법은 반복적으로(iteratively) 적용되어 고속이면서도 간단한 구조로 성능을 높일 수 있다.
일 양상에 따라 이러한 영상 처리는 동일한 구조를 가진 하드웨어 혹은 소프트웨어 모듈들의 케스케이드(cascade) 접속에 의해 도출되는 장치에 의해 수행될 수 있다.
제시된 다중 영상 합성 방법에 의해 복잡한 움직임이 있을 경우에도 적은 계산량으로 자연스러운 합성 영상의 획득이 가능하다.
또한 다중 정렬(multiple alignment) 방식에 의한 합성으로 활성 움직임(active motion)의 장면(scene)에서도 정합율을 향상하는 것이 가능하다. 이를 통해 HDR(High Dynamic Range) 이미징에서는 움직임 부정합(motion artifact)과 다이내믹 레인지의 감소를 막고, 파노라마 영상의 경우에는 움직임 부정합(motion artifact)을 줄일 수 있다.
전술한, 그리고 추가적인 본 발명의 양상들은 후술하는 실시예들을 통해 더욱 명확해질 것이다. 이하에서는 이러한 본 발명의 양상들을 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통해 상세히 설명한다.
도 1은 일 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다. 도시된 바와 같이 일 실시예에 따른 다중 영상 합성 장치는 기준 영상과 입력 영상을 정렬하되, 관심 영역 기반의 영상 정렬을 통해 정렬하는 영상정렬부(110)와, 이 영상 정렬부(110)에서 출력된 정렬된 영상에서의 움직임 검출을 통해 정렬이 불완전한 영역과 관련된 관심 영역을 검출하는 관심영역 검출부(130)와, 이 관심 영역 검출부(130)에서 검출된 관심 영역의 경계 부분에서 공간 거리에 따라 감쇄하는 가중치를 산출하는 가중치 산출부(150)와, 영상 정렬부(110)에서 출력된 정렬된 영상과 기준 영상을 합성하되, 가중치 산출부(150)에서 산출된 가중치에 따라 두 영상을 합성하는 영상 합성부(170)를 포함한다.
도시된 구성요소들은 각각이 독립된 하드웨어 혹은 전체적으로 하나의 하드웨어로 구현될 수 있다. 예를 들어 각각의 신호 처리부들 혹은 도시된 다중 영상 합성 장치는 FPGA(Field Programmable Gate Array) 혹은 GA(Gate Array)로 구현될 수 있다. 또다른 실시예에 있어서, 도시된 구성요소들은 컴퓨터와 프로그램된 코드로 구현될 수 있다. 또다른 실시예에 있어서, 도시된 구성요소들은 아날로그 카메라, 디지털 카메라 혹은 캠코더 내부에서 디지털 신호처리 프로세서 및 그에 의해 실행되는 명령어 집합들로 구현될 수 있다.
도 8a 내지 도 8c는 도 1에 도시된 실시예의 동작을 설명하기 위한 도면이다. 먼저 도 8a는 예시적인 영상에서 초기 관심영역의 일 예를 도시한다. 이 실시예에 있어서 관심 영역의 초기치는 휘도가 일정치 이하인 저휘도 영역으로 잡았다. 그러나 본 발명은 여기에 한정되지 않으며, 고휘도 영역으로 잡을 수도 있고 임의의 영역으로 잡아도 된다.
영상 정렬부(110)는 기준 영상(IREF)과 입력 영상(IIN)을 정렬하되, 관심 영역(R0)에 기반한 영상 정렬을 통해 정렬한다. 관심 영역(ROI : Region of Interest)에 기반한 영상 정렬 방식은 본 발명자가 제안한 계층적 피라미드 구조의 정렬 방식을 비롯한 몇가지 방식이 알려져 있다. 도 8b는 예시적인 영상에서 도 8a에 도시된 바와 같은 관심 영역에 기초하여 관심영역 기반 정렬을 수행한 출력 화면을 도시한다. 이 영상은 초기 설정된 저휘도 영역인 관심 영역에서는 잘 정렬되고 나머지 영역에서는 정렬이 완전하지 않은 상태로 출력된다.
관심영역 검출부(130)는 정렬된 결과에서 정렬이 불완전한 영역과 관련된 관심 영역을 검출한다. 일례로 관심 영역(ROI region)은 움직임 검출(motion detection)에 의한 고스트 영역(ghost region)이 될 수 있다. 본 실시예에 있어서, 관심영역 검출부(130)는 고스트 검출부(ghost detection)로 구현된다. 고스트(ghost)는 다중 영상에서 영상 간에 드러나는 피사체의 움직임이 있어서 그 영상들을 병합(merge) 혹은 스티치(stitch)할 때 피사체의 움직임에 따라 영상이 겹쳐서 나타나는 현상을 말한다. 도 8c는 도 8b의 영상에서 고스트 검출된 결과를 도시한다. 도시된 바와 같이 관심 영역은 저휘도 영역이 아닌 영역에서 고스트가 검출되고 있음을 알 수 있다.
가중치 산출부(150)는 관심 영역 검출부(130)에서 검출된 관심 영역의 경계 부분에서 공간 거리에 따라 감쇄하는 가중치를 산출한다. 도 6은 가중치의 적용을 설명하는 도면이다. 도면에서 두 사각형의 가운데 공간이 관심 영역이다. 관심 영역의 경계 부분에서 공간 거리(spatial distance)에 따라 상이한 가중치를 곱함에 의해 경계 부분의 휘도 단차가 극복되고 부정합(artifact)이 개선된다.
도시된 실시예에 있어서, ROI(region of interest) 영역이 검출되면 그 영역을 기준으로 가중치를 1로 설정하고 경계 (boundary) 밖으로 갈수록 가중치를 점차 감소시킨다. 즉, 관심 영역의 경계로부터의 공간 거리(spatial distance)에 따라 단순히 가중치를 감쇄(attenuation)시켰다.
또다른 예로, 관심 영역을 R이라 하고, a는 거리 범위 파라메터(distance range parameter)라고 할 때, 커널(Kernel) K를 다음과 같이 정의한다. 여기서 파라미터 a를 조정하여 픽셀 마다 영역을 다르게 설정할 수 있다.
이 예시적인 커널을 이용하여 중심에서의 공간 거리(spatial distance)에 따라 가중치를 감쇄시킬 수 있다. 즉,
으로 설정할 수 있다.
영상 합성부(170)는 가중치 산출부(150)에서 산출된 가중치에 따라 두 영상을 합성한다. 즉, 아래와 같이 전술한 가중치 함수 W(x)를 이용하여 관심 영역의 기준 영상 Ia(x)과 다른쪽의 영역의 정렬된 영상 Ib(x)을 자연스럽게 합성(blending)할 수 있다.
본 실시예에 있어서, 두 영상을 합성할 때 관심 영역에서는 실질적으로 기준 영상을 취하고, 관심 영역의 바깥 영역에서는 실질적으로 입력 영상을 취하여 합성한다. 도시된 실시예에 있어서, 고스트가 발생되지 않는 관심 영역에서는 정렬이 완료된 영상을 취하고, 그렇지 아니한 영역에서는 원 입력 영상인 기준 영상을 취함으로써 움직임 부정합(motion artifact)이 저감된다.
그러나 본 발명에 있어서 가중치는 전술한 것에 한정되지 않고 완만한 곡선의 형태로 감쇄할 수도 있다. 또한 반드시 경계를 기준으로 대칭형으로 되지 아니하여도 무방하다. 예를 들어 일 실시예에 있어서 가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하도록 설정될 수 있다. 이는 HDR 의 경우 경계 주변에서 가중치가 변하는 부분의 영역을 최소화하여 정렬된 영상의 영역을 증가시켜 화질을 향상시켜 준다.
도 2는 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다. 도 2는 두 개의 다중 영상 합성 장치가 케스케이드 접속된 장치의 개략적인 구성을 도시하는 블럭도이다. 도시된 바와 같이, 다중 영상 합성 장치는 제 1 다중 영상 합성부(100)와, 제 2 다중 영상 합성부(300)가 케스케이드(cascade) 방식으로 접속된 형태이다. 제 1 다중 영상 합성부(100)의 관심영역 검출부(130)에서 검출된 관심 영역과, 제 1 다중 영상 합성부(100)의 영상 정렬부(110)의 관심 영역과의 교집합인 영역이 제 2 다중 영상 합성부(300)의 영상 정렬부(310)에서 관심 영역으로 설정된다. 또한 제 2 다중 영상 합성부(300)의 영상 합성부(370)에서 합성된 출력 영상이 제 1 다중 영상 합성부(100)의 영상 합성부(170)의 입력이 된다.
즉, 제 1 다중 영상 합성부(100)는 영상 정렬부(110)에서 최초 관심 영역을 정렬시키고 정렬되지 않은 영역을 관심 영역 검출부(130)에서 검출한다. 그러면, 제 2 다중 영상 합성부(300)의 영상 정렬부(310)는 최초 관심 영역에서 정렬되지 않은 영역에 해당되는 더 좁아진 관심 영역을 중심으로 영상을 정렬하고 관심 영역 검출부(330)에서는 정렬되지 않은 고스트 영역을 검출하며, 영상 합성부(370)에서 출력되는 영상은 일부 관심 영역(G2)에서는 최초 기준 영상을, 그 외의 영역에서는 잘 정렬된 영상인 I2 영상이 합성되어 출력된다. 제 1 다중 영상 합성부(300)의 영상 합성부(170)는 관심 영역 검출부(130)에서 검출된 관심 영역(G1)에서는 제 2 다중 영상 합성부(300)의 출력 영상을, 그 외의 영역에서는 잘 정렬된 영상인 I1 영상을 취하여 합성한 영상을 최종 출력으로 출력한다.
도 9a는 최초 관심 영역과 첫번째 검출된 고스트로부터 다음 단계의 관심 영역이 도출되는 과정을 설명하는 도면이다. 좌측 상단의 그림은 제 1 다중 영상 합성부(100)의 영상정렬부(110)에 입력된 최초 관심 영역을 도시한다. 우측 상단의 그림은 제 1 다중 영상 합성부(1000의 관심영역 검출부(130)에서 검출된 관심 영 역(G1)을 도시한다. 하단의 그림은 이 둘의 교집합으로 도출되어 제 2 다중 영상 합성부(300)의 영상 정렬부(310)의 입력이 되는 관심 영역을 도시한다.
도 9b는 도 9a에서 도출된 관심 영역에 기초하여 제 2 다중 영상 합성부(300)의 영상 정렬부(310)에서 수행된 영상 정렬의 출력 화면을 도시한다. 도 9c는 도 9b에서 출력된 영상으로부터 검출된 고스트 영상을 도시한다.
제 1 다중 영상 합성부(100)의 영상 정렬부(110)는 먼저 관심 영역(ROI region)을 저휘도 영역으로 잡아서 저휘도 영역이 잘 정렬되도록 처리한다. alignment 방식은 계층적 피라미드 구조의 정렬 방식을 채택하였다. 그 다음 정렬된 영상 I1과 기준(Reference) 영상 간에 고스트 검출을 하여 G1을 계산하였다.
I1 영상은 저휘도 영역에서 활성 움직임(active motion)을 제외한 배경(background) 영역이 잘 정렬된 것을 알 수 있다. 다음으로 제 1 다중 영상 합성부의 고스트 검출 영상 G1과 저휘도 관심 영역의 중첩 영역을 R1로 잡아서 본 영역을 기준으로 다시 정렬하여 I2를 계산하였다. 그리고 다시 고스트 검출을 하여 G2를 계산하였다. 본 영상에서 저휘도의 사람이 움직인 활성 움직임(active motion) 영역이 잘 정렬된 것을 알 수 있다. 이후에 I2영상과 기준 영상 IREF을 입력으로 G2의 관심영역을 기준으로 관심 기반 합성을 하고 I1영상과 앞서 합성된 영상을 입력으로 G1의 관심영역을 기준으로 관심 영역 기반 합성을 하여 최종 영상을 출력한다.
이러한 방식을 관심 영역 기반 디고스팅(deghosting) 및 관심영역 기반 영상 정렬을 하나의 모듈로 생각하면 두 단계로 표한할 수 있다. 즉 이전 단계로부터 관심 영역 Rk -1을 입력받고 이를 중심으로 정렬하여 Ik를 계산하고 영상 Ik과와 IREF를 이용하여 고스트 검출을 수행하여 Gk를 계산한다.
이러한 방법으로 하위 레벨에서 상위 레벨까지 실행해서 각 레벨 k의 Ik와 Gk를 계산할 수 있다. 그 이후에 상위 레벨에서 하위 레벨로 내려 오면서 각 레벨 별로 아래와 같이 연산한다.
즉 Gk를 이용하여 합성 가중치Wk를 계산하고 Ik와 상위 레벨의 Ik +1 F영상을 입력받아 합성(blending)을 하고 결과 영상 Ik F을 다음 하위 레벨로 전달한다. 그리고 최종적으로 레벨 1에서 I1 F는 최종영상이 되어 출력된다. 여기서 레벨 1에서의 입력 R0은 초기 관심 영역이 되고, 출력은 최종 합성된 출력 영상이 된다. 최상위 레벨을 K라고 할때 그 레벨에서 입력 영상 Ik +1 F은 IREF가 된다.
이를 세 단계로 표현하면 그림 5(b)와 같다. 그리고 그림 5(a)처럼 정렬을 한 번으로도 가능하다. 이처럼 동일한 기능들을 여러 번 반복하여 정합 region을 점차 늘일 수 있다.
도 3은 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시 하는 블럭도이다. 도 3의 실시예에 따른 다중 영상 합성 장치는 하나의 서브 루틴으로 작성된 프로그램으로 구현될 수 있다. 또는 도 3의 실시예에 따른 다중 영상 합성 장치는 하나의 하드웨어적인 칩 혹은 IP로 구현될 수 있다. 이 모듈들을 복수개 케스케이드 방식으로 접속시킴에 의해 보다 성능이 우수한 다중 영상 합성 장치를 구현할 수 있다.
도 7a 및 도 7b 는 다중 영상 합성 방법의 기본적인 개념을 도식적으로 설명하는 도면이다. 도 3에 도시된 다중 영상 합성 장치를 복수개 케스케이드 접속함에 의해, 도 7a는 이러한 케스케이드 접속된 다중 영상 합성 장치에 의한 반복적 영상 정렬 과정을 통해 정렬되지 않은 영역(mis-aligned region)이 점차 줄어드는 과정을 도식적으로 표현한 것이다. 이러한 관심 영역 검출 내지 고스트 검출 과정(ghost detection process)은 초기 관심 영역을 설정하고, 그 영역을 위주로 정렬시킨다음, 그 영역에서 고스트를 검출하고 다시 관심 영역을 설정한다. 이러한 정렬과 고스트 검출 과정을 반복하여 반복 횟수 만큼의 관심 영역 위주로 정렬된 영상 Ik와 고스트 영역 Gk를 획득한다. 이를 수식으로 표현하면 다음과 같다.
Init : given R0
for k=1 to K
Ik = T (IIN, IREF, Rk -1)
Gk = GD(Ik, IREF),
Rk=Rk-1∩Gk
도 7b는 이러한 케스케이드 접속된 다중 영상 합성 장치에 의한 반복적 영상 정렬 과정을 통해 반복적으로 합쳐지는 정렬된 영역(aligned region)이 점차 늘어나는 과정을 도식적으로 표현한 것이다. 이러한 디고스팅 과정(deghosting process)은 고스트 영역에서 정렬 영역을 합쳐서 계속 덧붙여가는 방식이다. 여기서 F는 관심영역 기반 디고스팅 과정을 의미한다. 이를 수식으로 표현하면 다음과 같다.
Init : Ik +1 F=IREF
for k=K to 1
Ik F = F (Ik, IF k +1, Gk),
이와 같은 반복 계산에 의해 비교적 여러 단계의 복잡한 움직임(complex motion)의 경우도 적은 계산량으로 해결할 수 있다.
도 4는 도 2에 도시된 다중 영상 합성 장치가 복수 개 케스케이드 접속된 장치의 개략적인 구성을 도시하는 블럭도이다. 도시된 바와 같이, 다중 영상 합성 장치는 제 1 다중 영상 합성부(100)와, 제 2 다중 영상 합성부(300) 및 제 3 다중 영상 합성부(500)가 케스케이드(cascade) 방식으로 접속된 형태이다. 제 1 다중 영상 합성부(100)의 관심영역 검출부(130)에서 검출된 관심 영역과, 제 1 다중 영상 합성부(100)의 영상 정렬부(110)의 관심 영역과의 교집합인 영역이 제 2 다중 영상 합성부(300)의 영상 정렬부(310)에서 관심 영역으로 설정된다. 제 2 다중 영상 합성부(300)의 관심영역 검출부(330)에서 검출된 관심 영역과, 제 2 다중 영상 합성부(300)의 영상 정렬부(310)의 관심 영역과의 교집합인 영역이 제 3 다중 영상 합성부(500)의 영상 정렬부(510)에서 관심 영역으로 설정된다.
또한 제 3 다중 영상 합성부(500)의 영상 합성부(570)에서 합성된 출력 영상이 제 2 다중 영상 합성부(300)의 영상 합성부(370)의 입력이 된다. 또 제 2 다중 영상 합성부(300)의 영상 합성부(370)에서 합성된 출력 영상이 제 1 다중 영상 합성부(100)의 영상 합성부(170)의 입력이 된다.
도 5는 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다. 도시된 실시예에 있어서, 가중치 산출부(950)는 가중치를 계산할 때 관심 영역으로 검출된 고스트 영역(ghost region) 이외에 영상정보를 추가로 사용하여 자연스러운 영상합성을 하면서도 고스트 영역 가중치(ghost region weight)의 범위를 좁힐 수 있다. 이러한 효과는 HDR 영상 합성일 경우 고스트 영역의 영상이 노이즈가 많을 때 가중치의 범위를 좁혀서 노이즈의 영향을 감소시킬 수 있다.
즉, 관심 영역 기반 합성에 있어서,
i=1일 경우, 초기에 관심 영역을 다음과 같이 설정한다.
x=(x0,x1), α< 1
각 라인(line) x0 별로 수평 방향의 전방(forward) 방향과 후방(backward) 방향으로 각각 알파만큼 감소시킨 가중치와 현재 가중치 중 최대값을 선택하는 방식에 의해 계산한다. 즉,
for x1 = 1 to n
W(x0,x1) = max(W(x0,x1), W(x0,x1-1)-α)
for x1 = 1 to n
W(x0,x1) = max(W(x0,x1), W(x0,x1+1)-α)
이후에 x0 와 x1 을 바꾸어서 즉 영상의 수직 방향으로 각 칼럼별 전방 방향과 후방 방향의 과정을 처리한다. 이후에 이러한 과정에 의해 계산된 가중치를 이용하여 가중 합성(weighted blending)한다.
또한 관심 영역인 고스트 영역 이외의 영역의 영상 정보를 추가로 활용하여 자연스러운 영상 합성을 하면서도 가중치가 적용되는 범위를 좁힐 수 있다. 예를 들어, 가중치는 관심 영역의 경계에서 발생하는 휘도 차이의 크기에 따라 감쇄도가 달라지도록 설정될 수 있다. 즉, α를 로 생각할 수 있다. 즉 가중치는 관심 영역의 경계면에서 합성되는 두 영상의 휘도 값의 차이가 작을 수록 α를 크게하여 합성되는 폭을 줄여야 한다.
또다른 예로, 가중치는 또다른 관심 영역의 경계에서 발생하는 휘도 차이의 크기에 따라 감쇄도가 달라질 수 있다. , α를 로도 생각할 경우, 에지 값이 클수록 크게 하고 작을 수록 작게 한다. 영상의 에지가 있는 영역에서는 가중치 값이 급격히 감쇄하여 경계에서 가중치가 변화되는 영역을 최소화하도록 처리한다.
이상에서 본 발명은 도면을 참조하여 기술되는 실시예들을 중심으로 설명되었으나 이에 한정되는 것은 아니며, 당업자에게 자명한 다양한 변형예들을 포괄하도록 의도된 청구항들에 의해 해석되어진다.
도 1은 일 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다.
도 2는 두 개의 다중 영상 합성 장치가 케스케이드 접속된 장치의 개략적인 구성을 도시하는 블럭도이다.
도 3은 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다.
도 4는 도 2에 도시된 다중 영상 합성 장치가 복수 개 케스케이드 접속된 장치의 개략적인 구성을 도시하는 블럭도이다.
도 5는 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다.
도 6은 가중치의 적용을 설명하는 도면이다.
도 7a 및 도 7b 는 다중 영상 합성 방법의 기본적인 개념을 도식적으로 설명하는 도면이다.
도 8a는 예시적인 영상에서 초기 관심영역의 일 예를 도시한다.
도 8b는 예시적인 영상에서 관심영역 기반 정렬을 수행한 출력 화면을 도시한다.
도 8c는 도 8b의 영상에서 고스트 검출된 결과를 도시한다.
도 9a는 최초 관심 영역과 첫번째 검출된 고스트로부터 다음 단계의 관심 영역이 도출되는 과정을 설명하는 도면이다.
도 9b는 도 9a에서 도출된 관심 영역에 기초하여 수행된 영상 정렬의 출력 화면을 도시한다.
도 9c는 도 9b에서 출력된 영상으로부터 검출된 고스트 영상을 도시한다.
Claims (19)
- 기준 영상과 입력 영상을 정렬하되, 관심 영역 기반의 영상 정렬을 통해 정렬하는 단계와;정렬된 결과에서 정렬이 불완전한 영역과 관련된 관심 영역을 검출하는 단계와;정렬된 기준 영상과 입력 영상을 합성하되, 검출된 상기 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 두 영상을 합성하는 단계;를 포함하는 다중 영상 합성 방법.
- 제 1 항에 있어서, 상기 두 영상을 합성하는 단계는 :관심 영역에서는 기준 영상을 취하고, 관심 영역의 바깥 영역에서는 입력 영상을 취하여 합성하는 다중 영상 합성 방법.
- 제 1 항에 있어서, 상기 관심 영역을 검출하는 단계는 고스트 검출(ghost detection) 단계를 포함하는 다중 영상 합성 방법.
- 제 1 항에 있어서, 상기 가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하는 다중 영상 합성 방법.
- 제 1 항에 있어서, 상기 가중치는 관심 영역의 경계에서 발생하는 합성되는 영상들간의 데이터값 차이의 크기에 따라 감쇄도가 달라지는 다중 영상 합성 방법.
- 기준 영상과 입력 영상을 정렬하되, 이전 정렬 단계(previous alignment stage)에서 검출된 n 번째 관심 영역에 기반한 입력 영상을 영상 정렬을 통해 정렬하는 단계와;정렬된 결과에서 정렬이 불완전한 영역과 관련된 또다른 관심 영역을 검출하는 단계와;정렬된 기준 영상과, 이전 합성 단계(previous blending stage)에서 입력되는 (n+1) 번째 합성 영상을 합성하되, 상기 또다른 관심 영역에서는 (n+1) 번째 합성 영상을 취하고, 상기 또다른 관심 영역의 바깥 영역에서는 상기 정렬된 영상을 취하여 합성하여 이후 합성 단계(next blending stage)로 출력하는 단계;를 포함하는 다중 영상 합성 방법.
- 제 6 항에 있어서, 상기 또다른 관심 영역을 검출하는 단계는 고스트 검 출(ghost detection) 단계를 포함하는 다중 영상 합성 방법.
- 제 6 항에 있어서, 상기 방법이 :n 번째 관심 영역과 상기 또다른 관심 영역의 교집합을 (n+1)번째 관심 영역으로 다음 단계(next stage)로 출력하는 단계;를 포함하는 다중 영상 합성 방법.
- 제 6 항에 있어서, 상기 합성하는 단계는 상기 또다른 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 두 영상을 합성하는 다중 영상 합성 방법.
- 제 9 항에 있어서, 상기 가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하는 다중 영상 합성 방법.
- 제 9 항에 있어서, 상기 가중치는 또다른 관심 영역의 경계에서 발생하는 en 영상 사이의 데이터 값 차이의 크기에 따라 감쇄도가 달라지는 다중 영상 합성 방법.
- 기준 영상과 입력 영상을 정렬하되, 관심 영역 기반의 영상 정렬을 통해 정렬하는 영상정렬부와;상기 영상 정렬부에서 출력된 정렬된 영상에서의 움직임 검출을 통해 정렬이 불완전한 영역과 관련된 관심 영역을 검출하는 관심영역 검출부와;상기 관심 영역 검출부에서 검출된 관심 영역의 경계 부분에서 공간 거리에 따라 감쇄하는 가중치를 산출하는 가중치 산출부와;상기 영상 정렬부에서 출력된 정렬된 영상과, 기준 영상을 합성하되, 상기 가중치 산출부에서 산출된 가중치에 따라 두 영상을 합성하는 영상 합성부;를 포함하는 다중 영상 합성 장치.
- 제 12 항에 있어서, 상기 관심영역 검출부는 고스트 검출부(ghost detection)를 포함하는 다중 영상 합성 장치.
- 기준 영상과 입력 영상을 정렬하되, 이전 정렬 단계(previous alignment stage)에서 검출된 n 번째 관심 영역에 기반한 영상 정렬을 통해 정렬하는 영상 정렬부와;상기 영상 정렬부에서 출력되는 정렬된 영상에서 움직임 검출에 기초하여 정렬이 불완전한 영역과 관련된 또다른 관심 영역을 검출하는 관심영역 검출부와;상기 영상 정렬부에서 정렬된 기준 영상과, 이전 합성 단계(previous stage)에서 입력되는 (n+1) 번째 합성 영상을 합성하되, 상기 또다른 관심 영역에서는 (n+1) 번째 합성 영상을 취하고, 상기 또다른 관심 영역의 바깥 영역에서는 실질적으로 상기 정렬된 영상을 취함으로써 합성하여 이후 합성 단계(previous stage)로 출력하는 영상 합성부;를 포함하는 다중 영상 합성 장치.
- 제 14 항에 있어서, 상기 관심영역 검출부는 상기 영상 정렬부에서 출력되는 정렬된 영상에서 움직임 검출에 기초하여 고스트를 검출하는 고스트 검출부를 포함하는 다중 영상 합성 장치.
- 제 14 항에 있어서, 상기 관심 영역 검출부는상기 n 번째 관심 영역과, 상기 또다른 관심 영역의 교집합을 (n+1)번째 관심 영역으로 다음 단계(next stage)로 출력하는 다중 영상 합성 장치.
- 제 14 항에 있어서, 상기 다중 영상 합성 장치는 상기 영상 합성부가 두 영 상을 합성할 때 적용하며, 상기 또다른 관심 영역의 경계 영역에서 공간 거리에 따라 감쇄하는 값을 갖는 가중치를 출력하는 가중치 산출부;를 더 포함하는 다중 영상 합성 장치.
- 제 14 항에 있어서, 상기 다중 영상 합성 장치가 복수 개 케스케이드(cascade) 접속된 다중 영상 합성 장치.
- 제 18 항에 있어서, 상기 다중 영상 합성 장치의 초기 관심 영역은 저휘도 영역, 고휘도, 색상, 사람, 물체, 배경 영역 또는 임의의 영역 중의 하나로 설정되는 다중 영상 합성 장치.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090089875A KR101616874B1 (ko) | 2009-09-23 | 2009-09-23 | 다중 영상 합성 방법 및 그 장치 |
US12/886,114 US8699822B2 (en) | 2009-09-23 | 2010-09-20 | Method and apparatus for blending images |
US14/202,798 US20140193097A1 (en) | 2009-09-23 | 2014-03-10 | Method and apparatus for blending images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090089875A KR101616874B1 (ko) | 2009-09-23 | 2009-09-23 | 다중 영상 합성 방법 및 그 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110032402A true KR20110032402A (ko) | 2011-03-30 |
KR101616874B1 KR101616874B1 (ko) | 2016-05-02 |
Family
ID=43756669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090089875A KR101616874B1 (ko) | 2009-09-23 | 2009-09-23 | 다중 영상 합성 방법 및 그 장치 |
Country Status (2)
Country | Link |
---|---|
US (2) | US8699822B2 (ko) |
KR (1) | KR101616874B1 (ko) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130127840A (ko) | 2012-05-15 | 2013-11-25 | 삼성테크윈 주식회사 | 감시 시스템의 제어 방법, 및 이 방법을 채용한 감시 시스템 |
WO2014142630A1 (en) * | 2013-03-15 | 2014-09-18 | Samsung Electronics Co., Ltd. | Creating details in an image with frequency lifting |
KR20150051087A (ko) * | 2013-11-01 | 2015-05-11 | 삼성전자주식회사 | 영상 처리 장치 및 영상 처리 방법 |
US9066025B2 (en) | 2013-03-15 | 2015-06-23 | Samsung Electronics Co., Ltd. | Control of frequency lifting super-resolution with image features |
US9124811B2 (en) | 2013-01-17 | 2015-09-01 | Samsung Techwin Co., Ltd. | Apparatus and method for processing image by wide dynamic range process |
US9185288B2 (en) | 2012-03-23 | 2015-11-10 | Electronics And Telecommunications Research Institute | Apparatus and method for generating and consuming three-dimensional (3D) data format to generate realistic panoramic image |
US9349188B2 (en) | 2013-03-15 | 2016-05-24 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency strength controlled transform |
US9378544B2 (en) | 2012-03-15 | 2016-06-28 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for panoramic image using a single camera |
US9536288B2 (en) | 2013-03-15 | 2017-01-03 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency lifting |
US9652829B2 (en) | 2015-01-22 | 2017-05-16 | Samsung Electronics Co., Ltd. | Video super-resolution by fast video segmentation for boundary accuracy control |
US9746547B2 (en) | 2014-05-19 | 2017-08-29 | Samsung Electronics Co., Ltd. | Method and apparatus for generating depth image |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8571289B2 (en) | 2002-11-27 | 2013-10-29 | Hologic, Inc. | System and method for generating a 2D image from a tomosynthesis data set |
US10008184B2 (en) * | 2005-11-10 | 2018-06-26 | Hologic, Inc. | System and method for generating a 2D image using mammography and/or tomosynthesis image data |
US8532745B2 (en) | 2006-02-15 | 2013-09-10 | Hologic, Inc. | Breast biopsy and needle localization using tomosynthesis systems |
KR101520068B1 (ko) * | 2008-12-16 | 2015-05-13 | 삼성전자 주식회사 | 다중영상 합성장치 및 그 방법 |
WO2011043838A1 (en) | 2009-10-08 | 2011-04-14 | Hologic, Inc . | Needle breast biopsy system and method of use |
US9075903B2 (en) | 2010-11-26 | 2015-07-07 | Hologic, Inc. | User interface for medical image review workstation |
US8873882B2 (en) * | 2011-02-28 | 2014-10-28 | Aptina Imaging Corporation | Blooming filter for multiple exposure high dynamic range image sensors |
AU2012225398B2 (en) | 2011-03-08 | 2017-02-02 | Hologic, Inc. | System and method for dual energy and/or contrast enhanced breast imaging for screening, diagnosis and biopsy |
JP5905957B2 (ja) * | 2011-06-08 | 2016-04-20 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | 空間的にセグメント化されたコンテンツの配信 |
TWI459810B (zh) * | 2011-11-22 | 2014-11-01 | Altek Corp | 影像處理裝置及其處理方法 |
EP2782505B1 (en) | 2011-11-27 | 2020-04-22 | Hologic, Inc. | System and method for generating a 2d image using mammography and/or tomosynthesis image data |
US9805507B2 (en) | 2012-02-13 | 2017-10-31 | Hologic, Inc | System and method for navigating a tomosynthesis stack using synthesized image data |
TWI485632B (zh) * | 2012-02-24 | 2015-05-21 | Htc Corp | 影像校準方法及影像校準系統 |
US9384555B2 (en) * | 2012-07-02 | 2016-07-05 | Kabushiki Kaisha Toshiba | Motion correction apparatus and method |
US9058655B2 (en) * | 2012-11-06 | 2015-06-16 | Apple Inc. | Region of interest based image registration |
US9349166B2 (en) * | 2012-12-31 | 2016-05-24 | Nokia Technologies Oy | Method, apparatus and computer program product for generating images of scenes having high dynamic range |
US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
KR102039688B1 (ko) * | 2013-03-14 | 2019-11-01 | 삼성전자주식회사 | 사용자 기기 및 그 동작 방법 |
WO2014151646A1 (en) | 2013-03-15 | 2014-09-25 | Hologic Inc. | Tomosynthesis-guided biopsy in prone |
US10382674B2 (en) | 2013-04-15 | 2019-08-13 | Qualcomm Incorporated | Reference image selection for motion ghost filtering |
US9350916B2 (en) * | 2013-05-28 | 2016-05-24 | Apple Inc. | Interleaving image processing and image capture operations |
US9262684B2 (en) | 2013-06-06 | 2016-02-16 | Apple Inc. | Methods of image fusion for image stabilization |
US9491360B2 (en) | 2013-06-06 | 2016-11-08 | Apple Inc. | Reference frame selection for still image stabilization |
US9384552B2 (en) | 2013-06-06 | 2016-07-05 | Apple Inc. | Image registration methods for still image stabilization |
US20150071547A1 (en) | 2013-09-09 | 2015-03-12 | Apple Inc. | Automated Selection Of Keeper Images From A Burst Photo Captured Set |
JP5974250B2 (ja) * | 2014-02-07 | 2016-08-23 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
ES2878599T3 (es) | 2014-02-28 | 2021-11-19 | Hologic Inc | Sistema y método para generar y visualizar bloques de imagen de tomosíntesis |
CN106464815B (zh) * | 2014-11-21 | 2020-01-14 | 深圳市大疆创新科技有限公司 | 高动态范围成像的快速自适应混合的系统以及方法 |
US9843761B2 (en) * | 2015-02-05 | 2017-12-12 | Polycom, Inc. | System and method for brightening video image regions to compensate for backlighting |
US10091391B2 (en) * | 2015-11-10 | 2018-10-02 | Bidirectional Display, Inc. | System and method for constructing document image from snapshots taken by image sensor panel |
US9832007B2 (en) * | 2016-04-14 | 2017-11-28 | Ibiquity Digital Corporation | Time-alignment measurement for hybrid HD radio™ technology |
US10666416B2 (en) | 2016-04-14 | 2020-05-26 | Ibiquity Digital Corporation | Time-alignment measurement for hybrid HD radio technology |
JP7174710B2 (ja) | 2017-03-30 | 2022-11-17 | ホロジック, インコーポレイテッド | 合成乳房組織画像を生成するための標的オブジェクト増強のためのシステムおよび方法 |
US11455754B2 (en) | 2017-03-30 | 2022-09-27 | Hologic, Inc. | System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement |
US11399790B2 (en) | 2017-03-30 | 2022-08-02 | Hologic, Inc. | System and method for hierarchical multi-level feature image synthesis and representation |
WO2018190649A1 (en) | 2017-04-12 | 2018-10-18 | Samsung Electronics Co., Ltd. | Method and apparatus for generating hdr images |
JP2018185381A (ja) * | 2017-04-25 | 2018-11-22 | コニカミノルタ株式会社 | 電子写真感光体及び電子写真画像形成装置 |
US11403483B2 (en) | 2017-06-20 | 2022-08-02 | Hologic, Inc. | Dynamic self-learning medical image method and system |
US10630903B2 (en) | 2018-01-12 | 2020-04-21 | Qualcomm Incorporated | Systems and methods for image exposure |
KR102115098B1 (ko) | 2018-11-30 | 2020-05-25 | 서울과학기술대학교 산학협력단 | 실내 공간용 파노라마 영상 생성 시스템 및 방법 |
US11341607B2 (en) * | 2019-06-07 | 2022-05-24 | Texas Instruments Incorporated | Enhanced rendering of surround view images |
KR20190103085A (ko) * | 2019-08-15 | 2019-09-04 | 엘지전자 주식회사 | 지능형 진단 디바이스 |
KR20220128800A (ko) | 2021-03-15 | 2022-09-22 | 에스케이하이닉스 주식회사 | 파노라마 이미지 생성 장치 및 방법 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6271847B1 (en) * | 1998-09-25 | 2001-08-07 | Microsoft Corporation | Inverse texture mapping using weighted pyramid blending and view-dependent weight maps |
US6744933B2 (en) * | 2001-01-18 | 2004-06-01 | Siemens Corporate Research, Inc. | Method for image alignment under non-uniform illumination variations |
JP4195980B2 (ja) | 2003-02-25 | 2008-12-17 | パナソニック電工株式会社 | カラー画像を用いた外観検査方法及び外観検査装置 |
KR100551825B1 (ko) | 2004-04-23 | 2006-02-13 | 삼성탈레스 주식회사 | 통계적 상관 관계를 이용한 영상의 정렬 방법 |
KR100836740B1 (ko) | 2006-08-28 | 2008-06-10 | 계명대학교 산학협력단 | 영상 데이터 처리 방법 및 그에 따른 시스템 |
KR100843087B1 (ko) | 2006-09-06 | 2008-07-02 | 삼성전자주식회사 | 영상 생성 장치 및 방법 |
US8237830B2 (en) * | 2007-04-11 | 2012-08-07 | Red.Com, Inc. | Video camera |
JP2009104228A (ja) | 2007-10-19 | 2009-05-14 | Tokyo Institute Of Technology | 画像位置合わせ方法及び画像位置合わせプログラム |
US8249395B2 (en) * | 2010-03-05 | 2012-08-21 | Intel Corporation | System, method, and computer program product for picture resizing |
-
2009
- 2009-09-23 KR KR1020090089875A patent/KR101616874B1/ko active IP Right Grant
-
2010
- 2010-09-20 US US12/886,114 patent/US8699822B2/en active Active
-
2014
- 2014-03-10 US US14/202,798 patent/US20140193097A1/en not_active Abandoned
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9378544B2 (en) | 2012-03-15 | 2016-06-28 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for panoramic image using a single camera |
US9185288B2 (en) | 2012-03-23 | 2015-11-10 | Electronics And Telecommunications Research Institute | Apparatus and method for generating and consuming three-dimensional (3D) data format to generate realistic panoramic image |
KR20130127840A (ko) | 2012-05-15 | 2013-11-25 | 삼성테크윈 주식회사 | 감시 시스템의 제어 방법, 및 이 방법을 채용한 감시 시스템 |
US9124811B2 (en) | 2013-01-17 | 2015-09-01 | Samsung Techwin Co., Ltd. | Apparatus and method for processing image by wide dynamic range process |
WO2014142630A1 (en) * | 2013-03-15 | 2014-09-18 | Samsung Electronics Co., Ltd. | Creating details in an image with frequency lifting |
US9066025B2 (en) | 2013-03-15 | 2015-06-23 | Samsung Electronics Co., Ltd. | Control of frequency lifting super-resolution with image features |
US9305332B2 (en) | 2013-03-15 | 2016-04-05 | Samsung Electronics Company, Ltd. | Creating details in an image with frequency lifting |
US9349188B2 (en) | 2013-03-15 | 2016-05-24 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency strength controlled transform |
US9536288B2 (en) | 2013-03-15 | 2017-01-03 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency lifting |
KR20150051087A (ko) * | 2013-11-01 | 2015-05-11 | 삼성전자주식회사 | 영상 처리 장치 및 영상 처리 방법 |
US9746547B2 (en) | 2014-05-19 | 2017-08-29 | Samsung Electronics Co., Ltd. | Method and apparatus for generating depth image |
US9652829B2 (en) | 2015-01-22 | 2017-05-16 | Samsung Electronics Co., Ltd. | Video super-resolution by fast video segmentation for boundary accuracy control |
Also Published As
Publication number | Publication date |
---|---|
US20140193097A1 (en) | 2014-07-10 |
US20110069906A1 (en) | 2011-03-24 |
KR101616874B1 (ko) | 2016-05-02 |
US8699822B2 (en) | 2014-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101616874B1 (ko) | 다중 영상 합성 방법 및 그 장치 | |
CN106797437B (zh) | 使用多个图像的高动态范围图像合成 | |
US10580120B2 (en) | Image filtering based on image gradients | |
Yan et al. | Multi-scale dense networks for deep high dynamic range imaging | |
US9202263B2 (en) | System and method for spatio video image enhancement | |
JP5408053B2 (ja) | 画像処理装置、画像処理方法 | |
JP2010141653A (ja) | 画像処理装置及び撮像装置 | |
JP2001250119A (ja) | 信号処理装置および方法、並びに記録媒体 | |
Chen et al. | Deep exposure fusion with deghosting via homography estimation and attention learning | |
CN113632134B (zh) | 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机 | |
CN111986106A (zh) | 一种基于神经网络的高动态图像重建方法 | |
EP3886044A1 (en) | Robust surface registration based on parameterized perspective of image templates | |
US20040061795A1 (en) | Image processing apparatus and method, and image pickup apparatus | |
US20040022448A1 (en) | Image processor | |
CN113793272B (zh) | 图像降噪方法及装置、存储介质、终端 | |
JP2019028912A (ja) | 画像処理装置、画像処理方法 | |
JP7133979B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 | |
US20030164882A1 (en) | Image processing device and method, and imaging device | |
WO2023211742A1 (en) | Image processing method, electronic system and a non-transitory computer-readable medium | |
US9208546B2 (en) | Image processing apparatus, method and imaging apparatus | |
Xiong et al. | Hierarchical fusion for practical ghost-free high dynamic range imaging | |
Park et al. | Motion artifact-free HDR imaging under dynamic environments | |
US9779470B2 (en) | Multi-line image processing with parallel processing units | |
JP2008072428A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
US20240155248A1 (en) | Method and apparatus for generating high-dynamic-range image, and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190319 Year of fee payment: 4 |