KR20240047294A

KR20240047294A - 이동하는 카메라로 다중 촬영한 사진들의 해상도 향상 방법, 장치, 및 시스템

Info

Publication number: KR20240047294A
Application number: KR1020230095672A
Authority: KR
Inventors: 오영식
Original assignee: 오영식
Priority date: 2022-10-04
Filing date: 2023-07-22
Publication date: 2024-04-12

Abstract

이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대 방법 및 장치, 시스템이 개시된다. 이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법은, 동일한 피사체에 대해서 카메라 렌즈가 설치된 장치를 이동시키면서 연속적으로 사진을 여러 장 촬영하는 단계; 상기의 사진들에서 각각 특징점들 또는 표현자들을 추출하고, 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾는 단계; 상기의 사진들에서 서로 일치되는 특징점들의 이미지상의 좌표들을 기준으로, 각각의 사진 상의 픽셀의 좌표들을 산출하는 단계; 상기의 사진 상의 픽셀들을 보간법으로 처리하여, 해상도가 높은 사진의 프레임의 픽셀들을 생성하는 단계; 및 상기 생성된 해상도가 높은 사진을 상기의 장치에 저장하는 단계를 포함할 수 있다.

Description

이동하는 카메라로 다중 촬영한 사진들의 해상도 향상 방법, 장치, 및 시스템{Method, apparatus, and system for improving the resolution of pictures taken multiple times by a moving camera}

아래 실시 예들은 렌즈가 작은 카메라를 동일 피사체를 향하여 수직면 상에서 이동시키며 여러 장의 사진을 촬영하고, 이 사진들의 일치하는 특징점들을 기준으로 각각의 이미지 픽셀들을 보간법으로 합성하여 해상도가 높은 사진을 생성하는 것에 활용될 수 있다.

최근에 스마트폰을 거의 모든 사용자들이 휴대하며, 카메라로 사진을 수시로 촬영하여 저장하던지 공유하고 있다. 따라서 스마트폰 제조업체에서는 카메라의 성능 향상 연구에 노력하고 있다. 그러나 발전된 이미지 센서의 성능이나, 강력한 스마트폰의 연산 능력을 활용한 영상 처리 기술에도 불구하고, 스마트폰의 한정된 두께 때문에 카메라 렌즈의 크기에 한계가 있으며, 물리적으로 렌즈의 직경이 작으면 사진의 해상도에 한계가 있다. 이런 문제는 음파나 전자파 영상 장치에서도 동일하게 발생하며, Synthetic Aperture Raidar(SAR)와 같이 안테나를 이동시키면서 전파를 송수신하여, 마치 안테나의 크기를 확대시키는 효과를 얻을 수 있어, 마이크로파로 재구성된 이미지의 해상도를 높이는 방법이 사용되어 왔다. 따라서 스마트폰 카메라를 동일 피사체를 향해서 이동시키면서 연속적으로 사진을 촬영하여 여러 장의 사진들을 합성한다면 해상도가 높은 사진을 생성할 수 있다.

1. 출원번호 10-2020-0057772 멀티 카메라를 이용하여 화질 개선하는 전자 장치 및 방법 2. 등록번호 10-0781552 고해상도 이미지 복원 장치 및 방법 3. 등록번호 10-1334129 다각도 촬영단말을 이용한 3차원 이미지 획득 시스템 및 이미지 획득 방법 4. 등록번호 10-1948692 촬영 장치 및 이미지 합성 방법 5. 등록번호 10-2354960 복수 개의 이미지 합성을 통한 고해상도 이미지를 획득하는 장치 및 이 장치의 제어 방법 6. 등록번호 10-2304784 더블 카메라 기반 이미징 방법 및 장치 7. 등록번호 10-2306283 이미지 처리 방법 및 장치 8. 등록번호 10-2131369 천체를 촬영한 복수의 이미지를 합성하는 방법 및 장치

상기 특허문헌 1에서는, 제1 카메라 모듈로 동영상을 촬영하다가 이미지 촬영 요청이 있으면 화질을 판단하고 제2 카메라 모듈로 이미지를 추가 촬영하며 이 이미지들을 합성하여 개선된 화질의 사진을 생성하는 방법에 관한 것이다. 이 경우 카메라들이 설치된 장치의 크기가 커서 카메라 렌즈 사이의 간격이 크지 않으면, 사진 해상도를 높일 수 없다.

상기 특허문헌 2에서는, 카메라의 렌즈별로 컬러 필터의 색깔을 다르게 하여 최종 이미지를 합성하는 방법에 관한 것이다. 이 경우는 사진 해상도를 높이는 방법이 아니다.

상기 특허문헌 3에서는, 다각도 촬영 카메라 모듈을 내장한 촬영 단말이 특정 피사체에 대한 다각도 이미지를 촬영하고 이미지 복원 서버에서 3차원 이미지를 생성하여 촬영 단말로 전송하는 방법에 관한 것이다. 이 경우에는 여러 개의 카메라를 다른 각도로 촬영하여 3차원 이미지를 생성하는 것에 관한 것이므로 해상도를 높이는 것이 아니다.

상기 특허문헌 4에서는, 피사체를 연속적으로 촬영하여 복수의 이미지를 획득하고 이중 기준 이미지 값을 고정시켜 놓고, 다른 이미지 데이터 중의 일부를 순차적으로 적용하여 이미지를 합성하는 방법에 관한 것이다. 이 경우에는 여러 장의 사진을 합성하여 일부분을 변경하기 위한 목적이며, 해상도를 높이는 목적이 아니다.

상기 특허문헌 5에서는, 일 실시의 예를 들면, 촬영 대상체의 서로 다른 부분에 대해서 4장의 이미지를 촬영하고, 서로 중복되는 부분을 이용하여 하나의 사진으로 이어 붙이는 방법에 관한 것이다. 이 경우에도 사진의 해상도를 높이기 위한 것이 아니다.

상기 특허문헌 6에서는, 두 개의 렌즈를 사용하여 피사체들에 대한 거리 정보를 계산하고 배경 부분은 날림 처리하는 방법에 관한 것이다. 이 경우에도 사진의 해상도를 높이기 위한 것이 아니다.

상기 특허문헌 7에서는, 메인 카메라에서 여러 장의 이미지들을 촬영하고 이들을 합성하여 잡음을 감소시키며, 보조 카메라에서도 이미지를 촬영하여 두 장의 이미지들을 사용하여 피사체들에 대한 거리 정보를 계산하고 배경 부분은 날림 처리하는 방법에 관한 것이다. 이 경우에도 사진의 해상도를 높이기 위한 것이 아니다.

상기 특허문헌 8에서는, 카메라를 고정시켜 놓고 움직이는 천체를 대상으로 여러 장의 천체 이미지들을 시간차이를 두고 촬영하여 이 이미지들을 하나로 합성하는 방법에 관한 것이다. 이 경우에는 카메라를 이동시키는 것이 아니며, 사진의 해상도를 높이기 위한 것이 아니다.

본 발명에서는 상기의 선행기술들과 다르게, 제한된 카메라 렌즈의 크기에 따른 이미지의 저해상도 문제를 해결하기 위하여, 일 실시의 예를 들면, 스마트폰 카메라를 피사체를 향하여 수직 방향으로 크게 원을 그리며 연속적으로 이미지들을 촬영하고 이들을 합성하여 고해상도의 이미지를 생성하는 방법에 관한 것이다.

일 실시예에 따른, 이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법은, 동일한 피사체에 대해서 카메라 렌즈가 설치된 장치를 이동시키면서 연속적으로 사진을 여러 장 촬영하는 단계; 상기의 사진들에서 각각 특징점들 또는 표현자들을 추출하고, 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾는 단계; 상기의 사진들에서 서로 일치되는 특징점들의 이미지상의 좌표들을 기준으로, 각각의 사진 상의 픽셀의 좌표들을 산출하는 단계; 상기의 사진 상의 픽셀들을 보간법으로 처리하여, 해상도가 높은 사진의 프레임의 픽셀들을 생성하는 단계; 및 상기 생성된 해상도가 높은 사진을 상기의 장치에 저장하는 단계를 포함할 수 있다.

사진 상의 픽셀의 좌표들을 산출하는 단계는, 상기 장치에 내장되거나 외장된 가속도 센서 및 자이로 센서로 상기 장치의 움직임에 따라 센서값을 수집하는 단계; 상기의 수집된 데이터를 처리하여 상기 장치의 위치와 지향각을 추정하는 단계; 및 상기의 추정된 값을 이용하여 연속적으로 촬영된 사진 상의 픽셀들의 위치를 추정하는 단계를 더 포함할 수 있다.

사진 상의 픽셀의 좌표들을 산출하는 단계는, 상기 장치에서 연속적으로 촬영된 사진들의 일치되는 특징점들 또는 표현자들을 찾는 단계; 상기의 일치되는 특징점들의 이미지 평면에서의 좌표와 피사체의 3차원 좌표를 처리하여 상기 장치의 위치와 지향각을 추정하는 단계; 및 상기의 추정된 값을 이용하여 연속적으로 촬영된 사진 상의 픽셀들의 위치를 추정하는 단계를 더 포함할 수 있다.

동일 피사체에 대하여 이동시키면서 연속적으로 사진을 여러 장 촬영하는 단계는, 상기 장치에서 동일 피사체에 대해서 여러 장의 사진을 촬영할 때에, 사진들을 시간 간격을 두고 촬영하거나 카메라의 움직임 거리에 따라 촬영하는 단계를 더 포함할 수 있다.

상기의 새로운 사진을 생성하는 단계는, 상기 장치에서 동일 피사체에 대해서 여러 장의 사진을 촬영하여, 사진의 밝기를 높이거나 잡음을 제거하는 단계를 더 포함할 수 있다.

상기 장치에서 카메라를 움직이며 동일 피사체를 대해서 여러 장의 사진을 촬영할 때에, 카메라의 초점거리, 셔터 속도, 노출값, 카메라 ISO 감도, 이미지 프레임 촬영 속도, 이미지 데이터 수집 방법, 카메라 렌즈, 카메라 필터의 종류 중에 적어도 하나 이상의 설정 값들을 변경하며 여러 장의 사진을 촬영하는 단계; 및 상기의 촬영된 사진들을 합성하여 하나 또는 테마에 따라 여러 장의 사진으로 합성하는 단계를 더 포함할 수 있다.

상기 장치에서 동일 피사체에 대해서 여러 장의 사진을 촬영하여 한 장 이상의 사진으로 합성할 때에, 이 작업을 카메라 렌즈가 내장되거나 외장된 장치에서 수행하거나, 유선 또는 무선 통신을 통해 서비스 서버로 전송하여 서버에서 작업하는 단계를 더 포함할 수 있다.

상기 카메라가 내장되거나 외장된 장치가 여러 대일 때, 촬영 위치가 다른 여러 대의 장치들의 카메라에서 동일 피사체에 대해서 사진들을 촬영하고, 이 사진들을 서비스 서버로 전송하여 서버에서 사진들을 합성하는 단계를 더 포함할 수 있다.

두 장의 고해상도 템플릿의 픽셀들을 합성하여 최종 고해상도 템플릿을 생성하는 과정에서, 최종 템플릿의 동일한 이미지 좌표에 두 장의 픽셀들이 중복하여 매핑 하는 경우에는 평균값을 픽셀 값으로 매핑하고, 두 장의 픽셀 중에 하나의 픽셀만 매핑 되는 경우에는 해당 픽셀 값을 매핑하며, 최종 고해상도 템플릿에 매핑 되는 픽셀이 없는 경우에는 주변 4개의 픽셀 값들을 평균하여 픽셀 값으로 매핑하는 단계를 더 포함할 수 있다.

상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾는 과정에서, 두 장의 이미지 사이의 호모그래피 행렬을 구하고, 두 번째 이미지에 상기의 호모그래피 행렬의 역행렬을 적용하는 단계를 더 포함할 수 있다.

이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 시스템은, 피사체에 대하여 이동시키면서 연속적으로 사진을 여러 장 촬영하고, 상기의 사진들에서 각각 특징점들 또는 표현자들을 추출하며, 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾아서, 상기의 사진들에서 서로 일치되는 특징점들의 이미지상의 좌표들을 기준으로 각각의 사진 상의 픽셀의 좌표들을 산출하고, 상기의 사진 상의 픽셀들을 보간법으로 처리하여, 해상도가 높은 사진 프레임의 픽셀들을 생성하여 해상도가 높은 사진을 생성하는 카메라 렌즈가 설치된 장치; 및 상기의 여러 장의 사진들을 통신망을 통해서 전송 받아 합성하여 해상도를 높이는 작업을 수행하는 서비스 서버를 포함할 수 있다.

이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 장치는, 제어부의 제어 하에, 상기 장치가 이동되는 동안에 동일 피사체에 대하여 연속적으로 사진을 촬영하는 카메라부; 상기 촬영된 이미지 데이터를 저장하는 저장부; 및 상기의 사진들에서 각각 특징점들 또는 표현자들을 추출하고, 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾으며, 상기의 사진들에서 서로 일치되는 특징점들의 이미지상의 좌표들을 기준으로, 각각의 사진 상의 픽셀의 좌표들을 산출하고, 상기의 사진 상의 픽셀들을 보간법으로 처리하여, 해상도가 높은 사진 프레임의 픽셀들을 생성하여 해상도가 높은 사진을 생성하는 이미지합성부를 포함할 수 있다.

상기 장치는, 제어부의 제어 하에, 상기 장치의 움직임에 따라 관성 센서값을 측정하는 가속도 센서 및 자이로 센서를 포함한 관성센서부; 및 상기의 센서값을 전달받아, 상기 장치의 위치와 지향각을 연속적으로 계산하여 그 결과값을 상기의 이미지합성부로 전달하고, 이미지합성부에서 카메라의 위치와 지향각 정보를 기반으로 해당 위치에서 촬영된 사진의 픽셀 위치를 계산하여 다른 사진과의 합성 시에 활용하도록 하는 위치추정부를 더 포함할 수 있다.

상기 장치는, 제어부의 제어 하에, 상기 저장부에 저장되고 동일한 피사체에 대하여 연속 촬영된 사진들의 일치되는 특징점들을 PnP 방법이나 에센셜 행렬을 적용하여 카메라의 촬영 위치와 지향각을 추정하며, 그 결과 값을 상기의 이미지합성부로 전달하여, 이미지합성부에서 카메라의 위치와 지향각 정보를 기반으로 해당 위치에서 촬영된 사진의 픽셀 위치를 계산하여 다른 사진과의 합성 시에 활용하도록 하는 위치추정부의 다른 기능을 더 포함할 수 있다.

상기 장치는, 제어부의 제어 하에, 상기의 저장부에 저장된, 동일한 피사체에 대하여 연속 촬영된 사진 데이터들을 사진 합성을 위한 서비스 서버나 SNS 서버, 또는 다른 장치로 전송하는 통신부를 더 포함할 수 있다.

상기 장치의 이미지합성부는 두 장의 고해상도 템플릿의 픽셀들을 합성하여 최종 고해상도 템플릿을 생성하는 과정에서, 최종 템플릿의 동일한 이미지 좌표에 두 장의 픽셀들이 중복하여 매핑 하는 경우에는 평균값을 픽셀 값으로 매핑하고, 두 장의 픽셀 중에 하나의 픽셀만 매핑 되는 경우에는 해당 픽셀 값을 매핑하며, 최종 고해상도 템플릿에 매핑 되는 픽셀이 없는 경우에는 주변 4개의 픽셀 값들을 평균하여 픽셀 값으로 매핑하는 기능을 더 포함할 수 있다.

상기의 이미지합성부는 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾는 과정에서, 두 장의 이미지 사이의 호모그래피 행렬을 구하고, 두 번째 이미지에 상기의 호모그래피 행렬의 역행렬을 적용하는 기능를 더 포함할 수 있다.

이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 서비스 서버는, 상기의 장치로부터 피사체에 대하여 이동시키면서 연속적으로 촬영된 여러 장의 사진들을 통신망을 통해서 전송 받아, 상기의 사진들에서 각각 특징점들 또는 표현자들을 추출하며, 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾아서, 상기의 사진들에서 서로 일치되는 특징점들의 이미지상의 좌표들을 기준으로 각각의 사진 상의 픽셀의 좌표들을 산출하고, 상기의 사진 상의 픽셀들을 보간법으로 처리하여, 해상도가 높은 사진 프레임의 픽셀들을 생성하여 해상도가 높은 사진을 생성하는 기능을 포함할 수 있다.

일 실시예에 따르면, 스마트폰 카메라를 피사체에 대하여 수직 방향으로 크게 원을 그리며 연속적으로 이미지들을 촬영하고 이들을 합성하여 고해상도의 이미지를 생성할 수 있다. 따라서 작은 카메라의 렌즈를 사용할 경우 해상도가 떨어지는 이미지를 촬영할 수밖에 없는 물리적인 한계를 극복할 수 있으며, 여러 개의 카메라 렌즈를 사용하여 카메라 장치가 커지거나 비용이 증가하는 문제도 없다. 또한 스마트폰 카메라의 경우에는 일반적으로 가속도 센서와 자이로 센서를 내장하고 있어 카메라의 움직임을 추적할 수 있어 이 정보를 이용하여 이미지들을 합성할 때에 정확도를 높일 수 있으며, 또한 스마트폰에는 연산 능력이 빠른 마이크로프로세서가 내장되어 있으므로 컴퓨터 비젼 기술을 적용하여 카메라의 위치를 정확히 계산하고 이미지들을 정확히 합성할 수 있다.

도 1은 본 발명에 의한 이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하는 시스템 개념도의 일예이다.
도 2는 본 발명에 의한 이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하는 장치의 일예이다.

실시 예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

카메라 렌즈의 직경 크기에 따라서 촬영되는 이미지의 해상도가 다음 수식 (1)에 의해서 물리적으로 결정된다.

(1)

여기서

는 구분이 가능한 크기이고(즉, 해상도),

는 빛의 파장, z는 이미지 평면과 피사체와의 거리,

는 렌즈의 반경이다. (참고문헌: Introduction to Fourier Optics, 3E, p.76, J.W.Goodman)

즉, 렌즈의 크기가 크면 빛을 모으는 광량이 증가하여 이미지 평면에서의 밝기가 증가할 뿐만 아니라 더욱 선명한 해상도가 높은 이미지를 얻을 수 있다. 따라서 카메라 렌즈의 크기가 작으면 해상도가 떨어질 수밖에 없다. 또한 하나의 렌즈 대신에 여러 개의 렌즈를 적절하게 배열하여 하나의 큰 렌즈의 효과를 얻을 수도 있다. 최근 발사된 제임스 웹 천체 망원경이 그 한 예이며, 그림 1과 같이 한 개의 큰 반사판 대신에 여러 개의 작은 반사판을 적용하여 선명한 천체 사진을 촬영할 수 있다.

<그림 1> Building the biggest eye in space (참고문헌: https://www.science.org/content/article/building-james-webb-biggest-boldest-riskiest-space-telescope)

최근에 스마트폰은 거의 모든 사용자들이 보편적으로 휴대하는 장치로 카메라를 내장하고 있다. 그런데 스마트폰의 두께나 크기가 작아야 하므로 직경이 큰 카메라 렌즈를 내장하기 어렵다. 따라서 최근 들어 매우 다양하고 강력한 기능의 카메라 기능들이 스마트폰에 내장되고, 심지어 여러 개의 규격이 다른 렌즈들을 스마트폰에 탑재한 제품이 출시되고 있음에도 불구하고, 촬영한 사진의 해상도는 물리적으로 한계가 있다.

한편, 하나의 큰 렌즈 대신에 위와 같이 연속적인 작은 렌즈들의 결합으로 동일한 성능을 얻을 수 있지만, 그림 2와 같이 작은 렌즈들이 연속적이지 않게 큰 렌즈의 면적의 일부분을 채우는 경우를 분석해 본다. 이 경우에 작은 렌즈들이 균일하게 배열되거나 불균일하게 배열됨에 따라서 약간의 성능 차이가 있지만 사진의 해상도를 높일 수 있다. 이것은 전자파나 음파의 경우뿐만 아니라 광에서도 동일하게 적용될 수 있다. (참고문헌: Array Signal Processing, ch. 3, D.H.Johnson and D.E.Dudgeon)

<그림 2> 왼쪽: 균일한 렌즈 배열, 오른쪽: 불균일 렌즈 배열.

따라서 본 발명에서는 작은 렌즈를 내장하고 있는 스마트폰 카메라와 같은 장치에서 사진을 촬영할 때, 의도적으로 동일한 피사체에 대해서 가능한 수직 평면상에서 카메라를 큰 원을 그리며 연속적으로 사진을 촬영하고 이 사진들을 적절한 방법으로 합성하여 사진의 해상도를 높이는 방법과 장치, 시스템이 창안되었다. 카메라의 움직임 궤적이 가능한 큰 원을 채우도록 카메라를 움직이면서 연속적인 사진을 촬영하는 것이 바람직하다. 카메라를 이동시키면서 연속적으로 사진을 촬영할 때에, 그림 2의 오른쪽 일예처럼 사진 찍는 위치가 정확하게 균일하지 않아도 되고, 이동 궤적이 원형이 아니라도 된다. 수직 평면상에서 사진 촬영하는 위치가 가능한 크게 분산되는 것이 유리하다.

도 1은 본 발명에 의한 이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 시스템 개념도의 일예이다. 하나 이상의 카메라 렌즈가 내장된 스마트폰을 피사체에 대하여 수직 방향으로 원형으로 회전시키면서 연속적으로 사진을 촬영한다. 촬영된 사진들은 인터넷을 통해 서비스 서버로 전송되어 한 장 이상의 최종 사진으로 합성된다. 또는 스마트폰에서 자체적으로 최종 사진으로 합성될 수도 있다.

여러 장의 피사체 사진들을 해상도가 더 좋은 한 장의 사진으로 합성하기 위해서는 동일한 물체에 대한 사진 픽셀들을 그림 3과 같이 보간법(interpolation: 기존의 픽셀 간격보다 더 작은 간격으로 픽셀들을 채워 넣어야 함.)으로 일치되도록 더해줘야 해상도가 증가되는데, 이를 위해서는 카메라 위치 및 지향각 정보를 이용하여 각 사진들의 픽셀의 위치를 정확하게 추정할 수 있다. 그림 3의 경우는 사진 픽셀의 수가 4배 증가되어 해상도가 2배 증가된 사진의 예이다. 사진의 크기나 비균일한 해상도의 경우에는 추가되는 픽셀의 위치가 일정하지 않을 수 있다.

<그림 3> 왼쪽: 해상도가 낮은 사진에서의 픽셀의 위치, 오른쪽: 해상도가 높은 사진 프레임에, 보간법에 의해 기존에 없던 위치에 픽셀이 추가된 해상도가 높은 사진.

카메라 렌즈를 다양한 위치로 이동시키면서 연속적으로 동일한 피사체를 촬영한 경우, 각각의 사진에서 다른 픽셀 위치에 밝기가 다른 픽셀들이 생성되므로, 이 픽셀들을 보간법에 의해서 기존에 없던 위치에 픽셀을 추가하여 해상도를 높인다. 이를 위해서는 여러 장의 사진에서 동일한 피사체의 위치를 정확히 찾는 것이 중요하다. 컴퓨터 비젼에서는 사진의 주요 부분에서 특징점(feature) 또는 표현자(descriptor)를 추출하고 여러 장의 사진에서 동일한 특징점을 찾는 기술이 오래전부터 사용되고 있다. 두 장 이상의 사진에서 동일한 피사체에 대해 일치하는 지점을 찾을 때는, 주변 픽셀들의 명암 변화를 고려한 특징점을 이용하는 방법이 있고, 특징점과 주변의 픽셀값들의 특징 정보를 포함한 표현자를 이용하는 방법이 있다.

여러 장의 사진에서 동일한 특징점을 찾고 그 특징점에 해당하는 픽셀의 좌표를 이용하여 나머지 픽셀들의 좌표들과 값들을 그림 4와 같이 보간법으로 계산할 수 있다.

<그림 4> 왼쪽 및 중앙: 연속으로 촬영된 사진 두 장 및 일치되는 특징점들(숫자 표시)과 이미지 픽셀들(각각 점 및 삼각형). 오른쪽: 해상도가 높은 사진 프레임에 표시된 사진 두 장의 특징점들 및 보간법으로 표시된 픽셀들.

두 장의 이미지 픽셀들을 합칠 때 다음과 같은 방법들을 적용할 수 있다. 첫 번째 방법은, 두 장의 고해상도 템플릿의 픽셀 값들을 단순히 평균하여 최종 고해상도 템플릿에 매핑하는 선형적인 방법이다. 두 번째 방법은 비선형적인 방법으로, 간단하지만 우수한 고해상도 이미지를 생성할 수 있었다. 두 장의 고해상도 템플릿의 픽셀들을 합성하여 최종 고해상도 템플릿을 생성하는 과정에서, 최종 템플릿의 동일한 이미지 좌표에 두 장의 픽셀들이 중복하여 매핑 하는 경우에는 평균값을 픽셀 값으로 매핑 한다. 또한 두 장의 픽셀 중에 하나의 픽셀만 매핑 되는 경우에는 해당 픽셀 값을 매핑 한다. 최종 고해상도 템플릿에 매핑 되는 픽셀이 없는 경우에는, 주변 4개의 픽셀 값들을 평균하여 픽셀 값으로 매핑 한다.

<그림 5> 상기의 두 번째 방법에 의해 해상도가 향상된 결과(왼쪽은 원래의 이미지, 오른쪽은 합성된 이미지)

이 때, 이동하는 카메라 렌즈의 위치를 정확히 알면 촬영한 사진들에서 각각의 픽셀들의 위치를 추정할 수 있다. 이 기술을 병행하면 여러 장의 사진들에서 동일한 특징점을 잘 찾을 수 있다. 보통 사진에서 잡음과 양자화 오류가 있어 데이터 처리에서 오류가 많이 발생하기 때문에 다양한 방법을 동시에 적용하는 것이 정확한 처리에 유리하다.

스마트폰에 가속도 센서 및 자이로 센서의 관성 센서가 내장된 경우에는 스마트폰의 움직임에 따라 센서 값을 측정하고 확장 칼만 필터를 사용하여, 스마트폰 또는 이 값들을 제공 받은 서비스 서버에서 스마트폰 카메라의 위치와 지향각을 확장 칼만 필터를 사용하여 추정하고, 이 데이터를 여러 장의 사진들을 한 장의 사진으로 합성할 때에 사용할 수 있다. 다음 수식 (2)는 카메라 렌즈의 회전 각도를 계산할 때에 사용되는 수식이다.

(2)

이 때의 fx, fy, fz는 가속도 센서값이고, p, q, r은 자이로 센서값이며,

는 카메라 렌즈의 pitch 각도,

는 roll 각도,

는 yaw 각도이다.

또는 그림 5와 같이 epipolar geometry의 기술을 이용하여 연속된 여러 장의 사진들 사이에서 일치되는 특징점들을 추정하여 한 장의 사진으로 합성할 수 있다. 또는 식 (3)과 같이 컴퓨터 비젼 기술을 이용하여 카메라의 위치와 지향각을 추정할 수 있으므로, 이 정보를 이용하여 각 사진들의 픽셀 위치를 계산할 수도 있다. 또는 관성 센서에 의한 카메라 위치와 추정각과, 컴퓨터 비젼 기술에 의한 카메라 위치와 추정각을 칼만 필터로 합성하여 최종적인 카메라 위치와 추정각을 산출할 수도 있다. 또는 관성 센서값과 여러 사진들 사이의 일치되는 특징점 정보를 직접 최적화에 적용하여 카메라의 위치와 지향각을 추정할 수도 있다.

(3)

여기서 xi, yi는 이미지 평면에서의 픽셀의 좌표이고, Xi, Yi, Zi는 3차원 공간에서의 해당되는 피사체의 좌표이며, pij는 이 방정식을 만족하는 계수들이다.

<그림 6> Epipolar geometry, (참고문헌: Computer Vision, 2E, ch. 11, R.Szeliski)

또한 두 장의 이미지를 겹쳐서 해상도를 높이기 위해 호모그래피 행렬을 이용할 수 있다. 즉 식 (4)와 같이 두 장의 이미지에서 일치되는 두 픽셀 표를 각각 (x1, y1) 및 (x2, y2)라 할 때, 호모그래피 행렬 H를 구할 수 있으며, 두 번째 이미지 픽셀의 좌표에 H의 역행렬을 곱하여 두 번째 이미지 상의 픽셀들을 첫 번째 이미지의 해당되는 픽셀의 좌표로 변환할 수 있다.

(4)

만약 카메라를 내장 또는 외장한 장치의 길이가 큰 경우에는, 가능한 카메라 렌즈들의 설치 거리를 멀리하여 복수 개의 카메라 렌즈를 사용하여 동시에 피사체를 촬영하고 여러 장의 사진들을 하나의 해상도가 높은 사진으로 합성할 수 도 있다.

카메라를 이동시키면서 동일 피사체에 대해서 여러 장의 사진을 촬영할 때에, 이 사진들은 여러 장의 정지 영상일 수도 있고, 동영상을 촬영하며 카메라를 이동시킬 수도 있다. 여러 장의 사진을 촬영할 때에, 시간 간격을 두고 촬영할 수도 있고, 관성 센서값으로 움직임을 감지하거나 사진의 특징점의 이동을 이용하여, 카메라 렌즈의 움직임 거리에 따라서 촬영할 수도 있다.

또한 본 발명의 방법이나 장치는 사진의 해상도를 높이는 것 뿐만 아니라, 피사체의 사진의 밝기를 높이거나 잡음을 제거하는 목적으로도 사용될 수 있다. 즉, 여러 장의 사진들을 합성하여 새로운 사진을 생성할 때, 설정된 합성 방법이나 테마에 따라서 다양한 화질의 여러 장의 사진들이 생성될 수 있다.

또한 카메라 렌즈를 움직이며 여러 장의 사진을 촬영하는 것이 아니라, 카메라는 고정된 상태에서 피사체가 움직이는 경우에도, 사진에서 피사체의 특징점들과 표현자들을 추출하고 여러 장의 사진에서 일치되는 특징점들과 표현자들을 찾아내어 보간법으로 해상도가 높은 사진을 생성할 수 있다.

또한 카메라 렌즈를 움직이며 여러 장의 사진을 찍을 때에, 카메라의 초점거리, 셔터 속도, 노출값, 카메라 ISO 감도, 이미지 프레임 촬영 속도, 이미지 데이터 수집 방법, 카메라 렌즈, 카메라 필터의 종류 중에 적어도 하나 이상의 설정 값들을 카메라 렌즈를 이동시키면서 변경하며 여러 장의 사진을 촬영하고 이를 하나 또는 여러 장의 사진으로 합성할 수 있다.일예를 들면 동일 피사체에 대해서 카메라를 이동하며 연속적으로 사진을 촬영할 때에, ISO 감도를 바꿔가며 촬영을 하면 피사체에 대한 사진의 밝기가 변하게 되므로, 이를 합성할 때에 밝은 사진을 원하면 밝은 사진 위주로 합성할 수도 있다.

또는 동일한 피사체에 대해, 촬영 위치가 다른 여러 대의 카메라에서 동시에 사진을 촬영하고, 이 사진들을 서비스 서버로 전송하여 서버에서 사진들을 합성하여 해상도가 높은 사진을 생성할 수 도 있다. 관광지나 행사장에서 여러 사람들이 동일 피사체에 대해서 각자 사진을 촬영하고, 이를 Social Network Service(SNS) 플랫폼에 업로드하면 서버에서 이를 합성하여 화질이 좋은 사진을 생성하는 것이 그 일예이다. 또한 서비스 서버나 SNS 서버에서는 생성된 해상도가 높은 사진을 상기의 장치나 또는 지정된 회원들에게 전송할 수 있다.

카메라 렌즈로 촬영된 여러 장의 사진들을 하나 또는 여러 장의 사진으로 합성할 때에, 이 작업을 카메라 렌즈가 내장되거나 외장된 장치에서 수행할 수도 있고, 유선 또는 무선 통신을 통해 서비스 서버로 전송하여 서버에서 작업을 수행할 수도 있고, 생성된 사진을 상기의 장치로 전송할 수 있다.

도 2는 본 발명에 의한 이동시키는 카메라(12)를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 장치(10)의 일예이다.

일 예로 상기 장치(10)는 스마트폰(10)을 대상으로 하며, 제어부(11)의 제어 하에 상기 장치(10)에 내장된 카메라부(12)에서 상기 장치(10)가 이동되는 동안에 동일한 피사체에 대해서 연속적으로 사진을 촬영하여 이미지 데이터를 저장부(16)에 저장한다. 제어부(11)의 제어 하에, 이미지합성부(15)에서는 저장부(16)에 저장된 동일 피사체를 촬영한 사진들을 합성하여 해상도가 좋은 사진을 생성한다.

제어부(11)의 제어 하에 가속도 센서 및 자이로 센서를 포함한 관성센서부(13)에서는 상기 장치(10)의 움직임에 따라 관성 센서값을 측정하고, 이 값을 위치추정부(14)로 전달하여 위치추정부(14)에서는 상기 장치(11)의 위치와 지향각을 연속적으로 계산하여, 그 결과값을 이미지합성부(15)로 전달한다. 이미지합성부(15)에서는 카메라의 위치와 지향각 정보를 기반으로 해당 위치에서 촬영된 사진의 픽셀 위치를 계산하여 다른 사진과의 합성 시에 활용한다. 또한 위치추정부에서(14)는 이와는 별도로 저장부(16)에 저장된 연속 촬영된 사진들을 이용하여 컴퓨터 비젼 기술을 적용하여 카메라의 촬영 위치와 지향각을 추정하며, 그 결과 값을 이미지합성부(15)로 전달하여, 상기와 같은 방법으로 여러 장의 사진들을 합성할 때에 활용한다. 이미지합성부(15)에서 합성된 사진은 저장부(16)에 저장된다. 컴퓨터 비젼 기술이란, 두 장의 사진에서 일치되는 특징점들의 좌표와 그에 해당하는 3차원 피사체의 좌표점들을 재구성하고, 이들 좌표값들을 이용하여 카메라의 위치와 지향각을 계산하는 Projective-n-Point(PnP) 방법과, 두 장의 사진에서 epipolar geometry에서 일치하는 특징점들로 생성된 fundamental matrix나 essential matrix를 분해하여 회전 행렬과 이동 행렬을 구하는 방법이 있다. 또는 두 장의 사진에서 일치되는 특징점들을 추출하고 이를 기준으로 보간법을 사용하여 두 장의 사진을 해상도가 높은 사진으로 합성할 수도 있다. 또는 거리 측정 기능이 있는 카메라의 경우에는, 한 장의 사진에서 추출된 특징점들과 해당되는 재구성된 3차원 피사체의 좌표점들에 PnP를 적용하여 카메라의 위치와 지향각을 계산할 수도 있다.

제어부(11)의 제어 하에 통신부(17)는 저장부(16)에 저장된 사진 데이터들 또는 관성 센서 값들을 사진 합성을 위한 서비스 서버나 SNS 서버, 또는 다른 장치(10)로 전송할 때 사용된다. 또는 통신부(17)를 이용하여 합성된 사진을 상기 서버로부터 전송 받을 수도 있다. 전원부(18)는 제어부(11)의 제어 하에 상기의 장치(10)가 운영되고 상기의 작업이 진행될 수 있도록 전력을 장치(10)에 공급한다.

10: 장치 11: 제어부
12: 카메라부 13: 관성센서부
14: 위치추정부 15: 이미지합성부
16: 저장부 17: 통신부
18: 전원부

Claims

이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법에 있어서,
동일한 피사체에 대해서 카메라 렌즈가 설치된 장치를 이동시키면서 연속적으로 사진을 여러 장 촬영하는 단계;
상기의 사진들에서 각각 특징점들 또는 표현자들을 추출하고, 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾는 단계;
상기의 사진들에서 서로 일치되는 특징점들의 이미지상의 좌표들을 기준으로, 각각의 사진 상의 픽셀의 좌표들을 산출하는 단계;
상기의 사진 상의 픽셀들을 보간법으로 처리하여, 해상도가 높은 사진의 프레임의 픽셀들을 생성하는 단계; 및
상기 생성된 해상도가 높은 사진을 상기의 장치에 저장하는 단계
를 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
제1항에 있어서,
상기 장치에 내장되거나 외장된 가속도 센서 및 자이로 센서로 상기 장치의 움직임에 따라 센서값을 수집하는 단계;
상기의 수집된 데이터를 처리하여 상기 장치의 위치와 지향각을 추정하는 단계; 및
상기의 추정된 값을 이용하여 연속적으로 촬영된 사진 상의 픽셀들의 위치를 추정하는 단계
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
제1항에 있어서,
상기 장치에서 연속적으로 촬영된 사진들의 일치되는 특징점들 또는 표현자들을 찾는 단계;
상기의 일치되는 특징점들의 이미지 평면에서의 좌표와 피사체의 3차원 좌표를 처리하여 상기 장치의 위치와 지향각을 추정하는 단계; 및
상기의 추정된 값을 이용하여 연속적으로 촬영된 사진 상의 픽셀들의 위치를 추정하는 단계
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
제1항에 있어서,
상기 장치에서 동일 피사체에 대해서 여러 장의 사진을 촬영할 때에, 사진들을 시간 간격을 두고 촬영하거나 카메라의 움직임 거리에 따라 촬영하는 단계
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
제1항에 있어서,
상기 장치에서 동일 피사체에 대해서 여러 장의 사진을 촬영하여, 사진의 밝기를 높이거나 잡음을 제거하는 단계
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
제1항에 있어서,
상기 장치에서 카메라를 움직이며 동일 피사체를 대해서 여러 장의 사진을 촬영할 때에, 카메라의 초점거리, 셔터 속도, 노출값, 카메라 ISO 감도, 이미지 프레임 촬영 속도, 이미지 데이터 수집 방법, 카메라 렌즈, 카메라 필터의 종류 중에 적어도 하나 이상의 설정 값들을 변경하며 여러 장의 사진을 촬영하는 단계; 및
상기의 촬영된 사진들을 합성하여 하나 또는 테마에 따라 여러 장의 사진으로 합성하는 단계
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
제1항에 있어서,
상기 장치에서 동일 피사체에 대해서 여러 장의 사진을 촬영하여 한 장 이상의 사진으로 합성할 때에, 이 작업을 카메라 렌즈가 내장되거나 외장된 장치에서 수행하거나, 유선 또는 무선 통신을 통해 서비스 서버로 전송하여 서버에서 작업하는 단계
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
제1항에 있어서,
상기 카메라가 내장되거나 외장된 장치가 여러 대일 때, 촬영 위치가 다른 여러 대의 장치들의 카메라에서 동일 피사체에 대해서 사진들을 촬영하고, 이 사진들을 서비스 서버로 전송하여 서버에서 사진들을 합성하는 단계
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
제1항에 있어서,
두 장의 고해상도 템플릿의 픽셀들을 합성하여 최종 고해상도 템플릿을 생성하는 과정에서,
최종 템플릿의 동일한 이미지 좌표에 두 장의 픽셀들이 중복하여 매핑 하는 경우에는 평균값을 픽셀 값으로 매핑하고, 두 장의 픽셀 중에 하나의 픽셀만 매핑 되는 경우에는 해당 픽셀 값을 매핑하며, 최종 고해상도 템플릿에 매핑 되는 픽셀이 없는 경우에는 주변 4개의 픽셀 값들을 평균하여 픽셀 값으로 매핑하는 단계
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
제1항에 있어서,
상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾는 과정에서,
두 장의 이미지 사이의 호모그래피 행렬을 구하고, 두 번째 이미지에 상기의 호모그래피 행렬의 역행렬을 적용하는 단계
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 방법.
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 시스템에 있어서,
피사체에 대하여 이동시키면서 연속적으로 사진을 여러 장 촬영하고, 상기의 사진들에서 각각 특징점들 또는 표현자들을 추출하며, 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾아서, 상기의 사진들에서 서로 일치되는 특징점들의 이미지상의 좌표들을 기준으로 각각의 사진 상의 픽셀의 좌표들을 산출하고, 상기의 사진 상의 픽셀들을 보간법으로 처리하여, 해상도가 높은 사진 프레임의 픽셀들을 생성하여 해상도가 높은 사진을 생성하는 카메라 렌즈가 설치된 장치; 및
상기의 여러 장의 사진들을 통신망을 통해서 전송 받아 합성하여 해상도를 높이는 작업을 수행하는 서비스 서버
를 포함하는
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 시스템.
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 장치에 있어서,
제어부의 제어 하에, 상기 장치가 이동되는 동안에 동일 피사체에 대하여 연속적으로 사진을 촬영하는 카메라부;
상기 촬영된 이미지 데이터를 저장하는 저장부; 및
상기의 사진들에서 각각 특징점들 또는 표현자들을 추출하고, 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾으며, 상기의 사진들에서 서로 일치되는 특징점들의 이미지상의 좌표들을 기준으로, 각각의 사진 상의 픽셀의 좌표들을 산출하고, 상기의 사진 상의 픽셀들을 보간법으로 처리하여, 해상도가 높은 사진 프레임의 픽셀들을 생성하여 해상도가 높은 사진을 생성하는 이미지합성부
를 포함하는
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 장치.
제12항에 있어서,
제어부의 제어 하에, 상기 장치의 움직임에 따라 관성 센서값을 측정하는 가속도 센서 및 자이로 센서를 포함한 관성센서부; 및
상기의 센서값을 전달받아, 상기 장치의 위치와 지향각을 연속적으로 계산하여 그 결과값을 상기의 이미지합성부로 전달하고, 이미지합성부에서 카메라의 위치와 지향각 정보를 기반으로 해당 위치에서 촬영된 사진의 픽셀 위치를 계산하여 다른 사진과의 합성 시에 활용하도록 하는 위치추정부
를 더 포함하는
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 장치.
제12항에 있어서,
제어부의 제어 하에, 상기 저장부에 저장되고 동일한 피사체에 대하여 연속 촬영된 사진들의 일치되는 특징점들을 PnP 방법이나 에센셜 행렬을 적용하여 카메라의 촬영 위치와 지향각을 추정하며, 그 결과 값을 상기의 이미지합성부로 전달하여, 이미지합성부에서 카메라의 위치와 지향각 정보를 기반으로 해당 위치에서 촬영된 사진의 픽셀 위치를 계산하여 다른 사진과의 합성 시에 활용하도록 하는 위치추정부
의 다른 기능을 더 포함하는
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 장치.
제12항에 있어서,
제어부의 제어 하에, 상기의 저장부에 저장된, 동일한 피사체에 대하여 연속 촬영된 사진 데이터들을 사진 합성을 위한 서비스 서버나 SNS 서버, 또는 다른 장치로 전송하는 통신부
를 더 포함하는
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 장치.
제12항에 있어서,
상기의 이미지합성부는 두 장의 고해상도 템플릿의 픽셀들을 합성하여 최종 고해상도 템플릿을 생성하는 과정에서,
최종 템플릿의 동일한 이미지 좌표에 두 장의 픽셀들이 중복하여 매핑 하는 경우에는 평균값을 픽셀 값으로 매핑하고, 두 장의 픽셀 중에 하나의 픽셀만 매핑 되는 경우에는 해당 픽셀 값을 매핑하며, 최종 고해상도 템플릿에 매핑 되는 픽셀이 없는 경우에는 주변 4개의 픽셀 값들을 평균하여 픽셀 값으로 매핑하는 기능
을 더 포함하는
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 장치.
제12항에 있어서,
상기의 이미지합성부는 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾는 과정에서,
두 장의 이미지 사이의 호모그래피 행렬을 구하고, 두 번째 이미지에 상기의 호모그래피 행렬의 역행렬을 적용하는 기능
를 더 포함하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 장치.
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 서비스 서버에 있어서,
상기의 장치로부터 피사체에 대하여 이동시키면서 연속적으로 촬영된 여러 장의 사진들을 통신망을 통해서 전송 받아, 상기의 사진들에서 각각 특징점들과 표현자들을 추출하며, 상기의 사진들에서 서로 일치되는 특징점들 또는 표현자들을 찾아서, 상기의 사진들에서 서로 일치되는 특징점들의 이미지상의 좌표들을 기준으로 각각의 사진 상의 픽셀의 좌표들을 산출하고, 상기의 사진 상의 픽셀들을 보간법으로 처리하여, 해상도가 높은 사진 프레임의 픽셀들을 생성하여 해상도가 높은 사진을 생성하는,
이동시키는 카메라를 이용한 다중 촬영으로 사진 해상도를 확대하기 위한 서비스 서버.