KR20200117507A

KR20200117507A - 카메라 장치 및 이의 동작 방법

Info

Publication number: KR20200117507A
Application number: KR1020190039694A
Authority: KR
Inventors: 이규태
Original assignee: 엘지이노텍 주식회사
Priority date: 2019-04-04
Filing date: 2019-04-04
Publication date: 2020-10-14
Also published as: KR102601288B1

Abstract

실시 예에 따른 카메라 장치는 복수의 카메라 모듈; 상기 복수의 카메라 모듈을 통해 획득된 복수의 제1 이미지를 수신하고, 상기 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 이미지 처리부; 상기 복수의 카메라 모듈의 초점 거리 및 주점 정보를 포함한 내부 파라미터를 산출하고, 상기 산출된 내부 파라미터를 기반하여 상기 제2 이미지가 생성되도록 하는 제어부;를 포함하며, 상기 복수의 카메라 모듈은, 외부로부터 입사되는 적외선 신호를 통과시키는 복수의 단위 렌즈부를 포함하는 어레이 렌즈부; 및 상기 복수의 단위 렌즈부와 광축상에서 정렬되는 복수의 단위 센서부를 포함하는 어레이 센서부를 포함하고, 상기 제어부는, 상기 복수의 카메라 모듈에 대해 각각 캘리브레이션을 진행하여 상기 내부 파라미터를 산출하고, 상기 복수의 카메라 모듈의 내부 파라미터를 이용하여 상기 복수의 카메라 모듈 사이의 상대 위치 정보를 획득하며, 상기 획득된 내부 파라미터 및 상기 상대 위치 정보를 이용하여 상기 제2 이미지가 생성되도록 한다.

Description

카메라 장치 및 이의 동작 방법{CAMERA MODULE AND IMAGE OPERATING METHOD PERFORMED THEREIN}

실시 예는 카메라 장치에 관한 것으로, 특히 초해상도(Super Resolution) 이미지를 제공할 수 있는 생성할 수 있는 카메라 장치 및 이의 동작 방법에 관한 것이다.

휴대용 장치의 사용자는 초해상도를 가지며 크기가 작고 다양한 촬영 기능[광학 줌 기능(zoom-in/zoom-out), 오토포커싱(Auto-Focusing, AF) 기능, 손떨림 보정 내지 영상 흔들림 방지(Optical Image Stabilizer, OIS) 기능 등]을 가지는 광학 기기를 원하고 있다. 이러한 촬영 기능은 여러 개의 렌즈를 조합해서 직접 렌즈를 움직이는 방법을 통해 구현될 수 있으나, 렌즈의 수를 증가시킬 경우 광학 기기의 크기가 커질 수 있다.

오토 포커스와 손떨림 보정 기능은, 렌즈 홀더에 고정되어 광축이 정렬된 여러 개의 렌즈 모듈이, 광축 또는 광축의 수직 방향으로 이동하거나 틸팅(Tilting)하여 수행되고, 렌즈 모듈을 구동시키기 위해 별도의 렌즈 구동 장치가 사용된다. 그러나 렌즈 구동 장치는 전력 소모가 높으며, 이를 보호하기 위해서 카메라 모듈과 별도로 커버 글라스를 추가해야 함에 따른 두께 증가 문제를 가진다.

또한, 고품질 이미지에 대한 수요자의 요구가 증대됨에 따라, 초해상도 이미지를 촬영할 수 있는 이미지 센서가 요구되고 있다. 그러나, 이를 위해 이미지 센서에 포함되는 픽셀의 수가 증가될 수 밖에 없는데, 이는 이미지 센서의 크기를 증가시키게 되고 소모 전력이 낭비되는 결과를 초래할 수 있다.

즉, 기존의 카메라 모듈은 복수의 어레이의 데이터를 그대로 사용하므로, 이미지 센서의 물리적 분해능만큼의 해상도를 갖는 한계가 있다. 또한, 초해상도의 이미지를 생성하기 위해서는 다수의 카메라를 사용해야 하는 제약이 따른다.

실시 예에서는 이미지 센서의 픽셀 수를 증가시키지 않고 초해상도 이미지를 생성할 수 있는 카메라 장치 및 이의 동작 방법을 제공할 수 있도록 한다.

또한, 실시 예에서는 어레이 구조를 가진 어레이 렌즈부 및 어레이 센서부를 통해 획득된 복수의 이미지를 이용하여 초해상도의 이미지를 제공할 수 있는 카메라 장치 및 이의 동작 방법을 제공할 수 있도록 한다.

실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

또한, 상기 복수의 카메라 모듈을 통해 획득되는 제1 이미지는 제1 해상도를 가지고, 상기 제2 이미지는, 상기 제1 해상도보다 높은 제2 해상도를 가진다.

또한, 상기 복수의 카메라 모듈은, 상기 상대 위치 정보에 대응하는 서로 다른 시차를 가지며, 상기 복수의 제1 이미지는, 상기 복수의 카메라 모듈을 통해 동일 시점에 획득된다.

또한, 상기 제어부는, 상기 복수의 제1 이미지 내에서 피사체의 특징점들을 각각 검출하고, 상기 검출된 특징점들의 무게 중심을 산출하며, 상기 상대 위치 정보에 기반하여, 상기 복수의 제1 이미지 사이의 상기 무게 중심의 델타 값을 이용하여 상기 피사체와의 거리를 산출한다.

또한, 상기 제어부는, 상기 산출한 피사체와의 거리를 이용하여 상기 피사체의 방사율을 보정한다.

또한, 상기 복수의 카메라 모듈의 내부 파라미터, 상기 상대 위치 정보 및 피사체와의 거리에 따른 방사율 보정 정보를 저장하는 저장부를 포함한다.

또한, 상기 제어부는, 상기 상대 위치 정보에 기반하여, 상기 제2 이미지 내에서의 상기 복수의 제1 이미지의 위치를 각각 결정한다.

또한, 상기 이미지 처리부는, 상기 복수의 제1 이미지를 가우시안 필터링하는 전처리 필터부; 상기 상대 위치 정보 및 상기 보정된 방사율에 기반하여, 상기 전처리 필터부를 통해 필터링된 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 이미지 생성부; 및 상기 이미지 생성부를 통해 생성된 제2 이미지를 라플라시안 필터링하는 후처리 필터부를 포함한다.

또한, 상기 전처리 필터부는, 0.1보다 크고, 1보다 작은 범위 내에서의 시그마 값을 적용하여 상기 복수 개의 이미지 프레임을 가우시안 필터링한다.

한편, 실시 예에 따른 카메라 장치의 동작 방법은 어레이 렌즈부 및 어레이 센서부로 구성된 복수의 카메라 모듈의 초점 거리 및 주점 정보를 포함한 내부 파라미터를 산출하는 단계; 상기 복수의 카메라를 통해 피사체에 대한 복수의 제1 이미지를 획득하는 단계; 및 상기 산출한 내부 파라미터에 기반하여, 상기 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 단계를 포함하고, 상기 산출하는 단계는, 상기 복수의 카메라 모듈에 대해 각각 캘리브레이션을 진행하여 상기 복수의 카메라 모듈에 대한 내부 파라미터를 각각 산출하는 단계; 및 상기 복수의 카메라 모듈의 내부 파라미터를 이용하여 상기 복수의 카메라 모듈 사이의 상대 위치 정보를 획득하는 단계;를 포함하고, 상기 제2 이미지는, 상기 획득된 내부 파라미터 및 상기 상대 위치 정보에 기반하여 생성되며, 상기 제1 이미지는 제1 해상도를 가지고, 상기 제2 이미지는, 상기 제1 해상도보다 높은 제2 해상도를 가진다.

또한, 상기 복수의 제1 이미지는, 동일 시점에 획득된 서로 다른 시차를 가지는 이미지이다.

또한, 상기 피사체와의 거리를 산출하는 단계; 및 상기 산출된 피사체와의 거리에 기반하여 상기 피사체의 방사율을 보정하는 단계를 포함한다.

또한, 상기 거리를 산출하는 단계는, 상기 복수의 제1 이미지 내에서 피사체의 특징점들을 각각 검출하는 단계; 상기 검출된 특징점들의 무게 중심을 산출하는 단계; 및, 상기 상대 위치 정보에 기반하여, 상기 복수의 제1 이미지 사이의 상기 무게 중심의 델타 값을 이용하여 상기 피사체와의 거리를 산출하는 단계를 포함한다.

또한, 상기 제2 이미지를 생성하는 단계는, 상기 상대 위치 정보에 기반하여, 상기 제2 이미지 내에서의 상기 복수의 제1 이미지의 위치를 각각 결정하는 단계를 포함한다.

또한, 상기 제2 이미지를 생성하는 단계는, 상기 복수의 제1 이미지를 가우시안 필터링하는 단계; 상기 상대 위치 정보 및 상기 보정된 방사율에 기반하여, 상기 가우시안 필터링된 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 단계; 및 상기 제2 이미지를 라플라시안 필터링하는 단계를 포함한다.

실시 예에서는 어레이 렌즈부 및 어레이 센서부를 포함하는 카메라 모듈에서, 각 카메라부별로 캘리브레이션을 진행하여 각 카메라부가 가지는 초점 거리 및 주점 정보를 포함한 위치 좌표 정보를 추출한다. 그리고, 실시 예에서는 상기 위치 좌표 정보를 이용하여 각 카메라부 사이의 시차(parallax) 정보를 획득한다. 상기와 같은 실시 예에 따르면 각각의 카메라부별로 캘리브레이션을 진행하기 때문에, 상기 카메라부에서 획득된 이미지를 이용하여 정확한 거리 정보를 추출할 수 있다.

또한, 실시 예에서는 상기 위치 좌표 정보에 기반하여 각각의 카메라부의 틀어짐 정도를 정확히 알 수 있으며, 이를 토대로 하나의 초해상도의 이미지 내에서 각각의 저해상도 이미지의 위치를 정확히 설정할 수 있어 초해상도 이미지 생성에 대한 정확도 및 신뢰성을 향상시킬 수 있다.

또한, 실시 예에서는 어레이 센서부를 통해 획득된 이미지를 이용하여, 하나의 센서부가 가지는 물리적 분해능보다 높은 초해상도를 갖는 이미지를 얻을 수 있다.

또한, 실시 예에 의하면, 시간적으로 다른 시점에 획득된 프레임이 아닌, 동일 시점에 획득된 프레임을 이용하여 초해상도의 합성 프레임을 생성함으로써, 프레임 레이트의 저하를 방지할 수 있다.

실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 실시 예에 따른 카메라 장치의 구성을 나타낸 블록도이다.
도 2는 도1의 카메라부의 일 구성 예이다.
도 3은 도1의 이미지 처리부의 상세 구성을 나타낸 블록도이다.
도 4는 실시 예에 따른 카메라 장치의 구조를 나타낸 도면이다.
도 5는 실시 예에 따른 카메라 장치의 동작 방법을 단계별로 설명하기 위한 흐름도이다.
도 6은 내부 파라미터 추출을 위해 제공되는 이미지를 나타낸 도면이다.
도 7 및 8은 서로 다른 거리에 위치한 피사체로부터 획득된 영상으로부터의 델타 값 변화를 나타낸다.
도 9는 일반적인 카메라 장치에서의 초해상도 이미지를 생성하기 위한 동작 방법을 나타낸 도면이다.
도 10은 실시 예에 따른 센서부를 통해 생성된 이미지 프레임을 나타낸 도면이다.
도 11은 실시 예에 따른 전처리 필터부에서 필터링된 이미지 프레임을 나타낸 도면이다.
도 12는 실시 예에 따른 이미지 생성부에서 생성된 초해상도 이미지 프레임을 나타낸 도면이다.
도 13은 실시 예에 따른 후처리 필터부에서 필터링된 이미지 프레임을 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.

또한, 본 발명의 실시 예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다. 또한, 본 발명의 실시예에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함 할 수 있다. 또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다. 그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속되는 경우 뿐만아니라, 그 구성 요소와 그 다른 구성요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속＇되는 경우도 포함할 수 있다.

또한, 각 구성 요소의 " 상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.

도 1은 실시 예에 따른 카메라 장치의 구성을 나타낸 블록도이고, 도 2는 도1의 카메라부의 일 구성 예이며, 도 3은 도1의 이미지 처리부의 상세 구성을 나타낸 블록도이다.

도 1 및 도 2를 참조하면, 카메라 장치는 카메라부(110), 이미지 처리부(120), 저장부(120) 및 제어부(140)를 포함한다.

카메라부(110)는 어레이 렌즈(111) 및 어레이 센서(112)를 포함한다.

그리고, 어레이 렌즈(111)는 어레이로 구성된 복수의 단위 렌즈부를 포함한다. 예를 들어, 어레이 렌즈(111)는 제1 내지 제N 단위 렌즈를 포함할 수 있다.

또한, 어레이 센서(112)는 어레이로 구성된 복수의 단위 센서를 포함할 수 있다. 예를 들어, 어레이 센서(112)는 어레이 렌즈(111)에 대응하게 배치되는 제1 내지 제N 단위 센서부를 포함할 수 있다.

이때, 어레이 렌즈(111)를 구성하는 각각의 단위 렌즈부는, 어레이 센서(112)는 구성하는 각각의 단위 센서부와 광축상에서 정렬되어 배치될 수 있다. 예를 들어, 제1 단위 센서부는 제1 단위 렌즈부와 광축상에서 정렬되어 배치될 수 있다. 그리고, 제2 단위 센서부는 제2 단위 렌즈부와 광축상에서 정렬되어 배치될 수 있다. 이와 마찬가지로, 제N 단위 렌즈부는 제N 단위 센서부와 광축 상에서 정렬되어 배치될 수 있다. 즉, 상기 어레이 렌즈(111)는 광축과는 다른 방향으로 배열되는 복수의 단위 렌즈부를 포함한다. 그리고, 어레이 센서(112)는 상기 복수의 단위 렌즈부와 광축상에서 각각 정렬되는 복수의 단위 센서부를 포함할 수 있다.

어레이 렌즈(111)는 외부로부터 입사되는 광을 통과시켜 어레이 센서부(112)에 광 신호를 전달할 수 있다. 바람직하게, 어레이 렌즈(111)를 구성하는 각각의 단위 렌즈부는, 광축 상에서 정렬된 각각의 단위 센서부로 상기 광 신호를 전달할 수 있다.

한편, 상기 어레이 렌즈(111)는 제1 어레이 렌즈부 및 제2 어레이 렌즈부를 포함할 수 있다. 즉, 어레이 렌즈(111)는 복수의 층으로 구성된 렌즈 영역을 포함할 수 있다. 이에 따라, 상기 복수의 단위 렌즈부 각각은, 상기 제1 및 제2 어레이 렌즈부에 대응하여, 광축 상에서 정렬된 복수의 렌즈를 포함할 수 있다. 이때, 각각의 단위 렌즈부에 포함되는 복수의 렌즈들은 하나의 광학계를 형성하고, 각각의 단위 센서부의 광축을 중심으로 정렬되어 배치될 수 있다.

이때, 상기 각각의 단위 렌즈부는 피사체에서 발생하는 적외선 파장 대역을 검출하기 위한 적외선 대역의 렌즈들을 포함할 수 있다.

즉, 실시 예에 따른 카메라 장치는 열화상 카메라 장치이다. 이에 따라, 단위 렌즈부를 구성하는 렌즈들은 피사체에서 발생하는 적외선 복사를 감지하기 위해, 일반적인 카메라 모듈에서 사용되는 가시광 대역의 렌즈가 아닌 적외선 복사 에너지 파장 대역을 통과하면서 가시광 대역은 통과되지 않는 게르마늄(Ge) 또는 실리콘(Si)으로 구성된 렌즈를 사용할 수 있다. 또한, 단위 렌즈부는 반사 코팅층이 형성될 수 있고, 이에 따라 적외선 복사 에너지의 반사를 방지하면서 상기 적외선 복사 에너지가 모두 통과되도록 할 수 있다.

즉, 단위 렌즈부는 피사체로부터 방출되는 적외선을 투과시키기 위해, 칼코게나이드 글라스(Chalcogenide glass) 소재의 PGM (Precision Glass Molding) 가공된 렌즈를 포함할 수 있다.

또한, 어레이 렌즈(111)는 전방에 렌즈를 보호하기 위한 적외선 투과 윈도우(도시하지 않음)를 더 포함할 수 있다. 적외선 투과 윈도우는 CaF2, BaF2 또는 폴리에틸렌(Polyethylene) 등의 재질로 제작될 수 있다.

어레이 센서(112)는 적외선 복사 에너지에 대하여 감응하는 소자를 포함할 수 있다. 즉, 어레이 센서(112)는 상기 소자를 이용하여 상기 적외선 복사 에너지에 대응하는 에너지를 검출할 수 있다. 바람직하게, 어레이 센서(112)는 단위 렌즈부를 통해 각각 입사되는 적외선 복사 에너지의 결과를 전기적 신호로 만들어주는 역할을 하는 복수의 단위 센서부를 포함할 수 있다.

바람직하게, 단위 센서부는 단위 렌즈부를 통해 투과된 적외선으로부터 피사체의 온도를 감지하여 대응하는 물리적 특성 변화(아날로그 신호)를 출력한다. 이와 같은 단위 센서부는 마이크로볼로미터 어레이(MBA: MicroBolometer Array)가 사용될 수 있다.

이때, 상기 어레이 렌즈(111) 및 어레이 센서(112)는 각각 m*n 어레이일 수 있다. 예를 들어, 상기 어레이 센서(112) 및 어레이 센서(112)는 2*2 어레이를 구성할 수 있다. 이와 같은 경우, 단위 렌즈부도 2*2로 배치되어 시차를 가지는 4개의 광을 각각의 단위 센서부로 통과시킬 수 있다. 또한, 단위 센서부도 단위 렌즈부에 대응하여 2*2로 배치되고, 그에 따라 단위 렌즈부를 통과한 광에 기반하여 이미지를 생성할 수 있다.

한편, 본 발명에서는 저해상도 이미지를 합성하여 하나의 초해상도 이미지를 생성하며, 이를 위해 상기 m과 n은 2 이상의 자연수로 구성되는 것이 바람직하다. 예를 들어, 상기 어레이 렌즈(111) 및 어레이 센서(112)가 2*2로 구성되는 경우, 상기 초해상도 이미지는 4장의 저해상도 이미지의 합성에 의해 형성될 수 있다. 또한, 더욱 높은 해상도를 가지는 이미지를 생성하기 위해, 상기 어레이 렌즈(111) 및 어레이 센서(112)의 어레이 수는 더 증가할 수 있다.

도 2에 도시된 바와 같이, 어레이 렌즈(111) 및 어레이 센서(112)는 4*4 어레이로 구성될 수 있다. 이에 따라, 어레이 렌즈(111)는 제1 내지 제16 단위 렌즈부(111a)를 포함할 수 있다. 또한, 이와 대응되게 어레이 센서(112)는 제1 내지 제16 단위 센서부(112b)를 포함할 수 있다.

이미지 처리부(120)는 어레이 센서(112)의 출력 신호를 수신하고, 이를 이미지 처리(예를 들어, 보간, 프레임 합성 등)를 수행하는 이미지 프로세서일 수 있다. 특히, 이미지 처리부(120)는 시차(관측 위치에 따른 피사체의 위치나 방향의 차이, parallax)를 가지는 복수의 프레임의 이미지 신호를 합성하여, 하나의 초해상도의 이미지 신호를 생성할 수 있다. 이때, 복수의 프레임의 이미지 신호는 각각의 단위 센서부의 출력신호일 수 있다. 그리고, 어레이 센서(112)가 2*2 어레이인 경우, 상기 복수의 이미지 프레임은 제1 내지 제4 이미지 프레임을 포함할 수 있다.

카메라부((110)는 상기 어레이 렌즈(111) 및 어레이 센서(112)를 통해 각각의 단위 렌즈부 및 단위 센서부 사이의 간격(보다 명확하게는, 각각의 단위 렌즈부 및 단위 센서부 사이의 위치 좌표 정보)에 대응하는 시차를 가지는 복수의 이미지를 획득할 수 있다.

저장부(130)는 제어부(140)의 처리 또는 제어를 위한 프로그램 등 카메라 장치의 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.

예를 들어, 저장부(130)는 카메라부를 구성하는 각 카메라 모듈의 위치 좌표 정보를 저장할 수 있다. 즉, 저장부(130)는 각 카메라 모듈의 초점 거리 및 주점 정보를 저장할 수 있다.

또한, 저장부(130)는 거리에 따라 변화하는 피사체의 방사율에 대한 보정 정보를 저장할 수 있다. 저장부(130)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다.

제어부(140)는 카메라 장치의 전반적인 동작을 제어할 수 있다.

우선적으로, 제어부(140)는 카메라부의 캘리브레이션 동작을 제어할 수 있다. 이때, 제어부(140)는 카메라 모듈별로 각각 캘리브레이션 동작이 진행되도록 할 수 있다. 즉, 카메라부는 복수의 단위 렌즈부 및 복수의 단위 센서부를 포함한다. 그리고, 복수의 단위 렌즈부 중 제1 단위 렌즈부는 복수의 단위 센서부 중 제1 단위 센서부와 광축 상에서 정렬될 수 있다. 이때, 상기 제1 렌즈부와 상기 제1 단위 센서부는 제1 이미지를 생성하는 제1 카메라 모듈일 수 있다. 그리고, 상기 어레이 수에 따라 상기 카메라 모듈은 N개로 구성될 수 있다. 예를 들어, 도 2와 같이 어레이가 구성된 경우, 상기 카메라부는 제1 내지 제16 카메라 모듈을 포함할 수 있다.

제어부(140)는 상기 각각의 카메라 모듈별로 캘리브레이션을 진행하여, 각 카메라 모듈이 가지는 초점 거리 및 주점 정보를 추출한다. 그리고, 상기 추출된 각 카메라 모듈의 초점 거리 및 주점 정보는 저장부(120)에 저장될 수 있다.

이를 토대로, 제어부(140)는 카메라 모듈의 캘리브레이션을 통한 각 카메라 모듈 간의 시차 정보를 획득할 수 있다. 상기 시차 정보는 카메라 모듈에서 각각 획득한 이미지에서의 피사체의 특징점을 이용하여 상기 피사체의 거리를 추출하는 과정에서, 보다 정확한 거리 추출이 가능하도록 할 수 있다.

또한, 상기 시차 정보는 상기 카메라 모듈에서 각각 획득한 이미지를 합성하여 하나의 초해상도 이미지를 생성할 때, 상기 초해상도 이미지 내에서 상기 카메라 모듈에서 획득한 각각의 이미지가 배치될 정확한 위치 지정이 가능하게 된다.

이때, 상기 카메라 모듈에서 각각 획득한 이미지를 단위 이미지라고 하고, 상기 복수의 단위 이미지를 합성하여 생성된 초해상도 이미지를 합성 이미지라고 한다.

또한, 제어부(140)는 상기 각각의 단위 이미지에서의 피사체의 특징점을 추출하고, 상기 특징점의 무게 중심을 추출한다. 그리고, 제어부(140)는 상기 각각의 단위 이미지에서 추출한 무게 중심의 위치 값을 비교하여, 상기 피사체와의 거리를 추출할 수 있다.

또한, 제어부(140)는 상기 추출한 거리 정보를 반영하여, 상기 이미지 처리부(120)에서 합성 이미지가 생성되도록 할 수 있다. 즉, 피사체는 거리에 따라 방사율이 변화하게 된다. 이때, 상기 거리를 반영하여 상기 방사율을 보정하지 않는 경우, 상기 피사체의 정확한 온도 정보를 검출할 수 없다. 따라서, 실시 예에서는상기 카메라부를 통해 상기 피사체와의 거리정보까지 추출하고, 이를 토대로 상기 피사체의 방사율을 보정하며, 상기 보정된 방사율이 반영된 합성 이미지가 생성되도록 한다.

도 3을 참조하면, 이미지 처리부(120)는 전처리 필터부(121), 이미지 생성부(122) 및 후처리 필터부(123)를 포함할 수 있다.

전처리 필터부(121)는 단위 센서부를 통해 각각 획득되는 이미지 프레임을 수신할 수 있다. 즉, 전처리 필터부(121)는 제1 단위 센서부로부터 제1 이미지 프레임(F1)을 수신할 수 있다. 또한, 전처리 필터부(121)는 제2 단위 센서부로부터 제2 이미지 프레임(F2)을 수신할 수 있다. 또한, 전처리 필터부(121)는 제3 단위 센서부로부터 제3 이미지 프레임(F3)을 수신할 수 있다. 또한, 전처리 필터부(121)는 제4 단위 센서부로부터 제4 이미지 프레임(F4)을 수신할 수 있다.

이때, 상기 제1 이미지 프레임(F1)은 제1 위치에 존재하는 제1 단위 센서부를 통해 획득된 이미지일 수 있다.

또한, 상기 제2 이미지 프레임(F2)은 상기 제1 단위 센서부로부터 X축 방향으로 제1 픽셀 거리만큼 떨어진 제2 단위 센서부에서 획득된 이미지일 수 있다.

또한, 제3 이미지 프레임(F3)은 상기 제2 단위 센서부로부터 Y축 방향으로 제1 픽셀 거리만큼 떨어진 제3 단위 센서부에서 획득된 이미지일 수 있다.

도한, 제4 이미지 프레임(F3)은 상기 제3 단위 센서부로부터 X축 방향으로 제1 픽셀 거리만큼 떨어진 제4 단위 센서부에서 획득된 이미지일 수 있다.

그리고, 전처리 필터부(121)는 상기 단위 센서부를 통해 획득된 제1 내지 제4 이미지 프레임에 대해 가우시안 필터링을 진행할 수 있다. 여기에서, 가우시안 필터링(Gaussian Filtering)이란, 원본 영상을 흐리게 해주는 필터링 기법을 말하는 것으로서, 포토샵 같은 영상 애플리케이션 툴 등에서 사용되는 영상 흐림 기법(Blur Filtering)을 말한다. 가우시안 필터링을 거치게 되면, 영상의 주파수 중에서 저주파와 고주파를 통과되지 않게 되어 영상이 뿌옇게 보이게 된다. 즉, 전처리 필터부(121)는 상기 단위 센서부를 통해 각각 획득된 제1 내지 제4 이미지 프레임의 고주파 영역을 무너뜨려 블러링 효과를 적용함으로써, 상기 제1 내지 제4 이미지 프레임에 포함된 노이즈를 제거하도록 한다.

이때, 실시 예에서와 같은, 열화상 카메라를 통해 획득된 이미지 프레임에 대해 가우시안 필터링을 적용하는 경우, 이의 제어 팩터 설정이 중요한 요소로 작용하게 된다. 여기에서, 제어 팩터는 가우시안 필터에서 가우시안 블러를 이루는 가우시안 분포의 넓이 변수를 의미하는 σ(시그마) 값을 포함할 수 있다. 이때, 상기 시그마 값에 기반하여 이미지 처리부(120)에서 최종 출력되는 이미지의 화질이 크게 변화할 수 있다.

이에 따라, 실시 예에서는 상기 전처리 필터부(121)를 구성하는 가우시안 필터의 제어 팩터를 구성하는 시그마 값을 다음의 식1과 같이 설정하도록 한다.

0.1 < σ < 1 ----- 식1

이때, 상기 시그마 값에 따라 상기 제1 내지 제4 이미지 프레임의 블러링 정도가 변화한다. 여기에서, 상기 시그마 값이 1보다 크게 되면, 상기 블러링의 정도가 심하게 되어, 이에 따른 열화상 이미지에 해당하는 제1 내지 제4 이미지 프레임 내에서의 경계가 무너지게 된다. 또한, 상기 시그마 값이 0.1보다 작으면 상기 제1 내지 제4 이미지 프레임에서의 블러링 정도가 너무 작아짐에 따라 노이즈가 정상적으로 제거되지 않을 수 있다. 따라서, 열화상 이미지에 대응하는 제1 내지 제4 이미지 프레임의 전처리를 위한 가우시안 필터링에서는, 제어 팩터에 해당하는 시그마 값을 0.1보다는 크고, 1보다는 작게 설정하도록 한다.

이미지 생성부(122)는 상기 전처리 필터부(121)를 통해 가우시안 필터링된 제1 내지 제4 이미지 프레임을 합성하여 합성 프레임을 생성한다.

이미지 생성부(122)는 상기 가우시안 필터링된 제1 내지 제4 프레임을 합성함으로써 NxM의 픽셀 어레이가 아닌 2Nx2M의 픽셀 어레이가 획득한 이미지를 생성할 수 있다. 이미지 생성부(122)가 제1 내지 제4 프레임을 합성하는 방법은, 제1 내지 제4 프레임을 각 픽셀의 위치에 따라 단순 병합(예를 들어, 첫 번째 행의 경우 A1의 픽셀 신호, B1의 픽셀 신호, A2의 픽셀 신호, B2의 픽셀 신호로 배열하여 하나의 프레임으로 생성)하는 방법, 또는 인접하는 픽셀의 경우 픽셀 장면이 오버랩됨을 이용하여 어느 하나의 픽셀(예컨대, C1)의 픽셀 신호를 인접하는 픽셀(예컨대, A1, B1, A2, D1, D2, A3, B3, A4)의 픽셀 신호를 이용해 보정하는 방법 등이 이용될 수 있으나, 실시 예의 범위는 이에 한정되지 않고 다양한 초해상도 이미지 생성 방법이 이용될 수 있다.

이때, 이미지 생성부(122)는 제어부(140)의 제어신호에 따라 상기 저장부(130)에 저장된 위치 좌표 정보에 기반하여, 상기 합성 이미지 내에서 상기 제1 내지 제4 프레임이 배열될 위치를 정확히 지정할 수 있다.

후처리 필터부(123)는 이미지 생성부(122)를 통해 생성된 초해상도 이미지 프레임에 대해 후처리를 진행한다.

바람직하게, 후처리 필터부(123)는 상기 이미지 생성부(122)를 통해 생성된 초해상도 이미지 프레임에 대해 라플라시안 필터링을 진행한다.

즉, 이미지 생성부(122)를 통해 초해상도 이미지 프레임이 생성되면, 후처리 필터부(123)를 라플라시안 필터링을 진행하여, 상기 초해상도 이미지 프레임에 대해 에지를 선명화하는 이미지 후처리를 진행할 수 있다.

바람직하게, 상기 후처리 필터부(123)는 라플라시안 필터를 포함할 수 있다. 이때, 라플라시안 필터는 일정 마스크 사이즈 내에서 필터링을 진행할 수 있다. 여기에서, 라플라시안 필터의 마스크 사이즈는 3*3 또는 5*5일 수 있다.

한편, 실시 예에서는 상기 획득된 제1 내지 제4 프레임에 대해, 점확산 함수(PSF, Point Spread Function)을 적용하여 이미지 처리를 진행할 수 있다.

즉, 일반적으로, 카메라 모듈은 적어도 하나의 렌즈로 이루어진 광학계를 구비한다. 카메라 모듈에 의해 얻어진 이미지는 실제 이미지와는 차이가 있게 되는데, 이는 카메라 모듈의 해상력이 수차(Aberration, 收差)에 의한 영향을 받기 때문이다. 수차(Aberration, 收差)란 빛이 광학계를 통과한 다음, 한 점에 모이지 않아 이미지가 흐려 보이거나 빛깔이 있어 보이거나 일그러지는 현상이 나타나는 것을 말한다. 수차에는 일정한 파장의 단색광을 사용했을 때 나타나는 단색 수차와 광학계의 굴절률이 빛의 파장에 따라 다르기 때문에 나타나는 색수차가 있다.

여기서, 단색 수차는 구면 수차, 코마 수차, 비점 수차, 만곡 수차 및 왜곡 수차뿐만 아니라, 틸트(Tilt) 수차, 초점 흐림(Defocus) 수차를 더 포함하는 의미로 이해될 수 있다. 본 명세서에서 수차는 단색 수차 및 색 수차 중 적어도 하나를 포함하는 의미로 이해될 수 있다. 한편, 일반적으로 휴대용 전자기기에 사용되는 카메라 모듈의 경우 슬림화의 요구로 인하여 수차가 증가하는 경향이 있으며, 이러한 수차의 증가로 인하여 블러(Blur) 현상이 발생함에 따라 카메라 모듈의 해상력이 감소되는 문제점이 발생할 수 있다.

블러(Blur)는 수차로 인하여 원 이미지의 한 픽셀의 밝기가 주변 픽셀의 밝기를 왜곡시키는 현상으로, 블러(Blur)는 블러의 정도를 나타내는 PSF(Point Spread Function, 점확산 함수)로 표현될 수 있다. PSF가 상대적으로 좁은 분포를 가지면 해상력이 높게 표현되고, 반대로 PSF가 상대적으로 넓은 분포를 가지면 해상력은 낮게 표현될 수 있다. 카메라 모듈로 피사체를 촬영시, 획득되는 블러 이미지(Blur_Image)는 원본 이미지(Clear_Image)와 PSF(Point Spread Function)의 컨벌루션에 의해 하기의 식2와 같이 모델링 될 수 있다.

Blur_Image = PSF * Clear_Image (*: Convolution) ---- 식2

이 때, PSF가 산출되는 경우, 디컨벌루션(Deconvolution)을 통해 블러 이미지으로부터 원본 이미지를 복원할 수 있다. 또한, 블러 이미지에서 PSF를 정확하게 산출할 수 있도록 정밀한 PSF를 추정하고, 추정된 PSF를 저장부(130)에 저장할 수 있다.

도 4는 실시 예에 따른 카메라 장치의 구조를 나타낸 도면이다.

도 4를 참조하면, 카메라 모듈(200)은 홀더(210), 렌즈 배럴(220), 렌즈부(230), 필터부(240), 기판(250), 센서부(260) 및 데이터 처리 소자(270)를 포함할 수 있으며, 이들 중 적어도 어느 하나의 구성은 생략되거나 서로 상하 배치 관계가 변경될 수도 있다.

홀더(210)는 렌즈 배럴(220)과 결합되어 렌즈 배럴(220)을 지지하고, 센서부(260)가 부착된 기판(250)에 결합될 수 있다. 또한, 홀더(210)는 렌즈 배럴(220) 하부에 유동 플레이트부(240)가 부착될 수 있는 공간을 구비할 수 있다. 홀더(210)는 나선형 구조를 포함할 수 있다. 또한, 렌즈 배럴(220)도 상기 홀더(210)에 대응되는 나선형 구조를 포함할 수 있으며, 이에 따라 렌즈 배럴(220)과 홀더(210)는 상호 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 홀더(210)와 렌즈 배럴(220)은 접착제(예를 들어, 에폭시 등의 접착용 수지)를 통해 결합되거나, 홀더(210)와 렌즈 배럴(220)이 일체형으로 형성될 수도 있다.

이때, 렌즈부(230)는 도1에 도시된 어레이 형태의 복수의 단위 렌즈부를 포한하는 어레이 렌즈(111)일 수 있다.

렌즈 배럴(220)은 홀더(210)와 결합되며, 내부에 렌즈부(230)를 수용할 수 있는 공간을 구비할 수 있다. 렌즈 배럴(220)은 렌즈부(230)와 회전 결합될 수 있으나, 이는 예시적인 것이며 접착제를 이용한 방식 등의 다른 방식으로도 결합될 수 있을 것이다.

렌즈부(230)는 피사체로부터 방사되는 적외선을 통과시키는 적외선 렌즈일 수 있다. 즉, 렌즈부(230)는 피사체로부터 방출되는 적외선을 투과시키기 위해, 칼코게나이드 글라스(Chalcogenide glass) 소재의 PGM (Precision Glass Molding) 가공된 렌즈를 포함할 수 있다.

또한, 렌즈부(230)는 전방에 렌즈를 보호하기 위한 적외선 투과 윈도우(도시하지 않음)를 더 포함할 수 있다. 적외선 투과 윈도우는 CaF2, BaF2 또는 폴리에틸렌(Polyethylene) 등의 재질로 제작될 수 있다.

센서부(260)는 기판(250) 상에 장착될 수 있고, 렌즈부(230) 및 유동 플레이트부(240)를 통과한 적외선 신호(적외선 복사 에너지)를 이미지 신호로 변환하는 기능을 수행할 수 있다. 즉, 센서부(260)는 적외선 복사 에너지에 대하여 감응하는 소자를 포함할 수 있다. 즉, 센서부(260)는 상기 소자를 이용하여 상기 적외선 복사 에너지에 대응하는 에너지를 검출할 수 있다. 바람직하게, 센서부(260)는 렌즈부(230)를 통해 입사된 적외선 복사 에너지의 결과를 전기적 신호로 만들어주는 역할을 할 수 있다. 여기에서, 센서부(260)는 도1에 도시된 어레이 형태의 복수의 단위 센서부를 포한하는 어레이 센서(112)일 수 있다.

바람직하게, 센서부(260)는 렌즈부(230)를 통해 투과된 적외선으로부터 피사체의 온도를 감지하여 대응하는 물리적 특성 변화(아날로그 신호)를 출력한다. 이와 같은 센서부(230)는 마이크로볼로미터 어레이(MBA: MicroBolometer Array)가 사용될 수 있다.

기판(250)은 홀더(210)의 하부에 배치될 수 있고, 이미지 합성부(120) 및 제어부(150)와 함께 각 구성간의 전기 신호의 전달을 위한 배선을 포함할 수 있다. 또한, 기판(250)에는 카메라 모듈(100)의 외부의 전원 또는 기타 다른 장치(예를 들어, 애플리케이션 프로세서)와 전기적으로 연결하기 위한 커넥터(미도시)가 연결될 수 있다.

기판(250)은 RFPCB(Rigid Flexible Printed Circuit Board)로 구성되고 카메라 모듈(200)이 장착되는 공간이 요구하는 바에 따라 벤딩(bending)될 수 있으나, 실시 예는 이에 한정되지 않는다.

센서부(260)와 렌즈부(230) 사이에는 필터(240)가 배치될 수 있다. 필터(240)는 상기 렌즈부(230)를 통과한 적외선 신호를 상기 센서부(260)로 제공할 수 있다.

도 5는 실시 예에 따른 카메라 장치의 동작 방법을 단계별로 설명하기 위한 흐름도이고, 도 6은 내부 파라미터 추출을 위해 제공되는 이미지를 나타낸 도면이며, 도 7 및 8은 서로 다른 거리에 위치한 피사체로부터 획득된 영상으로부터의 델타 값 변화를 나타낸다.

도 5를 참조하면, 제어부(140)는 내부 파라미터를 추출한다(S110). 이때, 상기 내부 파라미터는 위치 좌표 정보일 수 있다.

실시 예에서는 각각의 카메라 모듈별로 캘리브레이션을 진행하고, 상기 캘리브레이션의 진행 결과에 기반하여 각각의 카메라 모듈의 초점 거리 및 주점 정보와 같은 내부 파라미터를 산출한다.

그리고, 제어부(140)는 상기 각 카메라 모듈에 대한 내부 파라미터가 산출되면, 상기 각각의 카메라 모듈의 내부 파라미터를 이용하여 각 카메라 모듈 사이의 시차를 획득할 수 있다.

이때, 내부 파라미터 추출 단계는, 각각의 카메라 모듈 사이의 기하하적 관계를 계산하는 단계라고도 할 수 있다.

이를 위해, 도 6에 도시된 바와 같이, 실시 예에서는 각각의 카메라 모듈에 대해서, 다양한 시점에서 촬영한 체스판 영상을 획득하고, 이를 이용하여, 각각의 카메라 모듈에 대한 호로그래피를 구할 수 있다.

이때, 실시 예에서는 소실점 좌표를 이용하여 내부 파라미터를 산출할 수 있다.

여기에서, 카메라 캘리브레이션은 크게 카메라 자체의 기구적 특성을 파악하는 내부 파라미터 캘리브레이션 과정과 카메라 의 설치 위치 및 자세정보(방향각) 등의 기구 외적인 특성을 파악하는 외부 파라미터 캘리브레이션 과정으로 구분된다. 카메라의 내부 파라미터에는 초점거리(focal length), 카메라 주점(principal point), 렌즈 왜곡계수 등이 있으며 카메라의 외부 파라미터에는 기준 좌표계(월드 좌표계)를 기준으로 한 카메라의 3차원 위치정보(x, y, z 등 카메라의 설치위치)와 자세정보(pan, tilt, roll 등의 방향각)가 있다.

여기에서, 실시 예에 따른 내부 파라미터에는 크게 각 카메라 모듈의 초점거리 f와 주점 정보에 대한 영상좌표 (cx, cy)를 포함할 수 있다.

초점거리는 각 단위 렌즈부의 중심에서 각 단위 센서부까지의 거리를 픽셀단위로 표현한 것이며, 주점 정보는 각 단위 렌즈부의 광학축(optical axis)과 각 단위 센서부와의 교점에 대한 픽셀좌표를 의미할 수 있다.

이와 같은 내부 파라미터를 추정하기 위한 사전 단계로서 물리좌표를 영상좌

표로 변환하기 위한 호모그래피 행렬을 계산할 수 있다. 이 때, 호모그래피란, 한 평면을 다른 평면에 투영(projection)시켰을 때 원래 평면의 점과 투영된 대응점들 사이에 성립하는 변환관계를 지칭할 수 있다. 호모그래피는 3 x 3 행렬로 표현될 수 있으며, 대응점들의 동차좌표(homogeneous coordinate) 표현에 대해 성립하는 변환관계일 수 있다.

한편, 실시 예에서는 소실점 좌표를 이용하여 내부 파라미터의 값을 산출할 수 있다.

또한, 카메라 좌표계에서 픽셀 이미지 좌표계로 변환하는 행력식은 다음의 식 3과 같이 정의되며, 내부 파라미터 모델을 형성할 수 있다.

------식 3

여기서, f는 카메라의 초점거리, dx, dy는 각각의 단위 센서부가 가지는 폭과 높이, cx, cy는 이미지 좌표계에서 주점의 영상 좌표를 의미한다.

이때, 상기 카메라 장치의 캘리브레이션을 진행하는 과정은 이미 공지된 기술이므로 이에 대한 상세한 설명은 생략한다.

한편, 실시 예에서는 상기와 같이 각 카메라 모듈에 대한 내부 파라미터 값이 산출되면, 이를 이용하여 각 카메라 모듈 사이의 시차를 구할 수 있다.

예를 들어, 어레이가 3*3으로 구성된 경우, 실시 예에서는 9개의 카메라 모듈 중 하나의 카메라 모듈을 기준 카메라 모듈로 결정할 수 있다. 그리고, 제어부(140)는 9개의 카메라 모듈에 대해 각각 초점 거리 및 주점 정보를 포함한 내부 파라미터를 추출할 수 있다. 그리고, 제어부(140)는 상기 9개의 카메라 모듈 중 기준 카메라 모듈로부터 나머지 다른 카메라 모듈 사이의 내부 파리미터 값의 차이에 기반하여, 상기 기준 카메라 모듈을 기준으로 나머지 다른 카메라 모듈의 상대 위치를 파악할 수 있다.

그리고, 상기 상대 위치는, 추후 피사체와의 거리를 산출하는 과정이나, 합성 이미지를 생성하는 과정에서 활용할 수 있다.

상기와 같이, 내부 파라미터가 추출되면, 상기 제어부(140)는 상기 각각의 카메라 모듈에서 획득된 이미지 내에서 특징점을 추출하고, 상기 추출한 특징점에 대한 무게 중심을 추출할 수 있다(S120).

이를 위해 제어부(140)는 각각의 카메라 모듈로부터 이미지가 획득되면, 상기 이미지 내에서의 특징점들을 검출할 수 있다.

이때, 상기 특징점은 영상의 코너 검출을 통해 이루어질 수 있으며, 이와 같은 경우, 몇개 지점의 픽셀 정보만으로 효율적인 영상 처리 수행이 가능하다.

또한, 상기 특징점은 헤리스 코너 검출기를 통해 이루어질 수 있다. 헤리스 코너 검출기는 1988년 헤리스에 의해 개발되었으며, 간단한 구조와 빠른 속도로 많이 사용되는 방법 중 하나이다.

구체적으로, 상기 특징점은 코너 응답 함수에 기반하여 검출될 수 있으며, 이는 각 픽셀이 얼마나 꼭지점(코너)의 특징을 가지고 있는지 나타내는 함수이며, 미분값 행렬의 고유 백터의 수직 정도에 의해 판단할 수 있다.

즉, 실시 예에서는 카메라 모듈에 의해 각각 획득된 이미지 내에서, 해리스 코너 검출기(Harris corner detector) 등과 같은 코너 검출 방법(corner detection), SIFT(Scale Invariant Feature Transform), SURF(Speed-up Robust Feature) 등과 같은 기존의 알고리즘을 이용하여 특징점을 찾게 된다.

그리고, 상기 특징점이 검출되면, 상기 특징점들의 무게 중심을 검출한다.

이를 위해, 제어부(140)는 복수개의 특징점들을 복수개의 클러스터(cluster)들로 분류할 수 있다. 즉, 제어부(140)는 복수 개의 특징점들을 메이저 클러스터(major cluster) 및 마이너 클러스터(minor cluster)로 분류할 수 있다. 메이저 클러스터(major cluster)는 50%보다 많은 특징점들을 포함하고, 마이너 클러스터(minor cluster)는 50%보다 적은 특징점들을 포함한다. 이와 같이, 메이저 클러스터는 마이너 클러스터보다 많은 특징점들을 포함하기 때문에 마이너 클러스터보다 넓게 설정될 수 있다. 특징점들을 복수 개의 클러스터들로 분류하기 위하여 케이민 클러스터링(k-mean clustering) 방식과 SVM(Support Vector Machine) 방식을 이용할 수 있다.

이후, 제어부(140)는 상기 특징점들의 무게중심을 검출한다. 이를 위해 제어부(140)는 상기 분류된 메이저 클러스터의 무게중심과 마이너 클러스터의 무게중심을 검출한다. 그리고, 제어부(140)는 메이저 클러스터의 무게중심과 마이너 클러스터의 무게중심의 평균값을 산출하여 각 카메라 모듈에서 획득한 이미지에 대한 무게중심을 검출한다.

이와 같이 상기 무게 중심이 검출되면, 상기 제어부(140)는 각각의 카메라 모듈에서 촬영된 이미지의 무게 중심 사이의 위치 값을 기준으로 피사체와의 거리를 검출한다(S130).

이때, 제어부(140)는 각 카메라 모듈에서 촬영된 이미지의 무게 중심 사이의 거리 차이를 가지고 상기 피사체와의 거리를 검출할 수 있다. 즉, 실시 예에서는 카메라 장치가 어레이 카메라로 구성되며, 이는 복수의 렌즈 및 복수의 센서가 패키지 형태로 정렬되어 있다.

이를 토대로, 실시 예에서는 각각의 카메라 모듈은 일정 거리(h)만큼 이격된 피사체에 대한 이미지를 각각 획득할 수 있다.

이때, 상기 획득된 이미지는, 상기 피사체와의 거리에 따라 서로 다른 영상이 촬영된다. 또한, 이는 각각의 단위 렌즈부 및 단위 센서부에서 촬영된 영상에 대해 무게 중심점을 중심으로 정렬시키고, 이에 따라 좌측 및 우측에 대한 영상의 시작 지점과, 종료 지점에 대한 거리를 나타내는 델타(Δ)로 정의될 수 있다.

도 7 및 8은 이에 대한 서로 다른 거리에 위치한 피사체로부터 획득된 영상으로부터의 델타 값 변화를 나타낸다.

도 7은 제 1 위치에 위치한 피사체에 대응하는 델타 값을 정의하고 있고, 도 5는 제 2 위치에 위치한 피사체에 대응하는 델타 값을 정의하고 있다.

도 7 및 8을 참조하면, 피사체와의 거리(h)가 증가할수록 상기 델타 값이 감사하는 것을 알 수 있다. 이에 따라, 상기 각각의 카메라 모듈을 통해 획득되는 복수의 이미지를 이용하여, 상기 피사체와의 거리 정보를 획득할 수 있다. 이때, 실시 예에서는 상기와 같이 카메라 모듈에 대해 개별적으로 캘리브레이션을 진행하고, 이를 토대로 각각의 단위모듈 사이의 상대 위치 정보를 획득하여 저장부에 저장해놓는다.

그리고, 상기 거리 정보를 획득할 때, 상기 델타 값 뿐 아니라, 상기 상대 위치 정보도 반영하며, 이를 토대로 보다 정확한 거리 정보가 획득될 수 있도록 한다.

이후, 제어부(140)는 상기 이미지 처리부를 통해 상기 상대 위치 정보 및 거리 정보에 기반한 합성 이미지가 생성될 수 있도록 한다(S140). 이를 위해, 제어부(140)는 상기 각각의 카메라 모듈에서 획득된 이미지에 대해 이미지 처리가 진행되도록 한다.

이하에서는 상기 합성 이미지의 생성 동작에 대해 구체적으로 설명하기로 한다.

도 9는 일반적인 카메라 장치에서의 초해상도 이미지를 생성하기 위한 동작 방법을 나타낸 도면이다.

종래에는 별도의 틸팅 모듈을 구비하고, 이를 이용하여 적외선 신호를 틸팅시킴으로써 서로 다른 시차를 가지는 복수의 이미지를 생성하였다. 이때, 상기 시차를 가지는 복수의 이미지는 동일 시점이 아닌 일정 시간차를 가지고 순차적으로 생성될 수 있다.

이때, 센서부의 픽셀 어레이는 NxM의 매트릭스 형태로 배치된 복수의 픽셀들을 포함할 수 있다. 이하의 설명에서는 설명의 편의상 도 9에서와 같이 픽셀 어레이가 2*2의 매트릭스 형태로 배치된 복수의 픽셀들(A1 내지 A4)을 포함한다고 가정하기로 한다.

각 픽셀(A1 내지 A4)은 렌즈부를 통해 전달되는 적외선 신호를 통해 각 픽셀 장면(PS1 내지 PS4)에 대한 이미지 정보(즉, 적외선 신호에 대응하는 아날로그 픽셀 신호)를 생성할 수 있다.

x축 방향(또는 y축 방향)으로 인접하는 픽셀 간의 거리(예를 들어 픽셀 중심 간의 거리)를 1 PD(픽셀 거리)라 할 때, 그 절반은 0.5 PD에 해당한다. 여기서, 제1 내지 제4 픽셀이동(A 내지 D)을 정의하기로 한다.

제1 픽셀이동(A)은 각 픽셀(A1 내지 A4)을 +x축 방향을 따라 우측으로 0.5 PD 만큼 이동시키는 것을 의미하며, 제1 픽셀이동(A)이 완료된 후의 픽셀은 B1 내지 B4이다.

제2 픽셀이동(B)은 각 픽셀(B1 내지 B4)을 +y축 방향을 따라 아래로 0.5 PD 만큼 이동시키는 것을 의미하며, 제2 픽셀이동(B)이 완료된 후의 픽셀은 C1 내지 C4이다.

제3 픽셀이동(C)은 각 픽셀(C1 내지 C4)을 -x축 방향을 따라 좌측으로 0.5 PD 만큼 이동시키는 것을 의미하며, 제3 픽셀이동(C)이 완료된 후의 픽셀은 D1 내지 D4이다.

제4 픽셀이동(D)은 각 픽셀(D1 내지 D4)을 -y축 방향을 따라 위로 0.5 PD 만큼 이동시키는 것을 의미하며, 제4 픽셀이동(D)이 완료된 후의 픽셀은 A1 내지 A4이다.

여기서, 픽셀 이동은 픽셀 어레이의 픽셀의 물리적 위치를 이동시키는 것이 아니라, 두 픽셀(예를 들어, A1과 A2) 사이의 가상의 픽셀(예를 들어, B1)이 픽셀 장면을 획득할 수 있도록 유동 플레이트부(140)를 이용하여 적외선 신호의 입사 경로를 조정하는 동작을 의미한다.

결론적으로, 제4 픽셀 이동(D)에 대응하는 픽셀 A1 내지 A4은 상기 유동 플레이트부(140)가 픽셀 중심에 대응하는 제1 위치에 위치한 상태에서의 픽셀을 의미할 수 있다.

상기와 같이, 종래에는 복수의 이미지를 획득하기 위해 별도의 틸팅 모듈을 구비하고 있으며, 이에 따라 서로 다른 시차를 가진 복수의 이미지를 획득하였다. 그러나, 상기 복수의 이미지는 모두 동일한 시점에서 촬영된 이미지가 아니라, 상기 틸팅 모듈의 틸팅 주기에 대응하는 시간차를 가지고 생성된 이미지이다. 따라서, 종래에는 초해상도 이미지에 대한 신뢰성이 낮았다.

이에 반하여, 실시 예에서는 상기와 같은 픽셀 이동이 아니라, 각각의 카메라 모듈 자체에서 상호 다른 시차를 가진 이미지를 동일 시점에 획득한다. 이에 따라, 실시 예에서는 종래 대비 초해상도 이미지에 대한 신뢰성을 향상시킬 수 있다.

이하에서는 실시 예에 따라 생성되는 각각의 이미지 프레임에 대해 설명하기로 한다.

도 10은 실시 예에 따른 센서부를 통해 생성된 이미지 프레임을 나타낸 도면이다. 도 11은 실시 예에 따른 전처리 필터부에서 필터링된 이미지 프레임을 나타낸 도면이다. 도 12는 실시 예에 따른 이미지 생성부에서 생성된 초해상도 이미지 프레임을 나타낸 도면이다. 도 13은 실시 예에 따른 후처리 필터부에서 필터링된 이미지 프레임을 나타낸 도면이다.

도 10을 참조하면, 각각의 단위 센서부는 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 이미지 프레임을 생성할 수 있다.

예를 들어, 제1 단위 센서부는 제1 위치에서, 제1 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 제1 이미지 프레임(F1)을 생성할 수 있다. 제2 단위 센서부는 제2 위치에서, 제2 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 제2 이미지 프레임(F2)을 생성할 수 있다. 제3 단위 센서부는 제3 위치에서, 제3 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 제3 이미지 프레임(F3)을 생성할 수 있다. 제4 단위 센서부는 제4 위치에서, 제4 단위 렌즈부를 통해 입사되는 적외선 신호에 대한 제4 이미지 프레임(F4)을 생성할 수 있다. 이때, 상기 제1 내지 제4 이미지 프레임(F1~F4)은 시간차를 가지고 생성되는 이미지 프레임이 아닌, 동일 시점에 획득되는 이미지 프레임이다.

도 11을 참조하면, 전처리 필터부(121)는 각각의 카메라 모듈을 통해 획득된 제1 내지 제4 이미지 프레임에 대해 각각 전처리를 진행할 수 있다. 즉, 전처리 필터부(121)는 제1 내지 제4 이미지 프레임에 대해 가우시안 필터링을 진행할 수 있다. 이를 위해, 전처리 필터부(121)는 가우시안 필터를 포함할 수 있다.

여기에서, 가우시안 필터링(Gaussian Filtering)이란, 원본 영상을 흐리게 해주는 필터링 기법을 말하는 것으로서, 포토샵 같은 영상 애플리케이션 툴 등에서 사용되는 영상 흐림 기법(Blur Filtering)을 말한다. 가우시안 필터링을 거치게 되면, 영상의 주파수 중에서 저주파와 고주파를 통과되지 않게 되어 영상이 뿌옇게 보이게 된다. 즉, 전처리 필터부(121)는 상기 카메라 모듈을 통해 획득된 제1 내지 제4 이미지 프레임의 고주파 영역을 무너뜨려 블러링 효과를 적용함으로써, 상기 제1 내지 제4 이미지 프레임에 포함된 노이즈를 제거하도록 한다.

이에 따라, 실시 예에서는 상기 전처리 필터부(121)를 구성하는 가우시안 필터의 제어 팩터를 구성하는 시그마 값이 0.1보다는 크면서 1보다는 작도록 한다.

이후, 도 12를 참조하면, 이미지 생성부(122)는 상기 전처리 필터부(121)를 통해 가우시안 필터링된 제1 내지 제4 이미지 프레임을 합성하여 합성 프레임을 생성한다.

이미지 생성부(122)는 상기 가우시안 필터링된 제1 내지 제4 프레임을 합성함으로써 NxM의 픽셀 어레이가 아닌 2Nx2M의 픽셀 어레이가 획득한 이미지를 생성할 수 있다. 이미지 생성부(122)가 제1 내지 제4 프레임을 합성하는 방법은, 제1 내지 제4 프레임을 각 픽셀의 위치에 따라 단순 병합하는 방법, 또는 인접하는 픽셀의 경우 픽셀 장면이 오버랩됨을 이용하여 어느 하나의 픽셀의 픽셀 신호를 인접하는 픽셀의 픽셀 신호를 이용해 보정하는 방법 등이 이용될 수 있으나, 실시 예의 범위는 이에 한정되지 않고 다양한 초해상도 이미지 생성 방법이 이용될 수 있다.

이때, 실시 예에서는 상기 각각의 카메라 모듈 사이의 상대 위치 정보를 저장하고 있기 때문에, 상기 합성 이미지 내에서 상기 제1 내지 제4 프레임의 배열 위치를 정확하게 지정할 수 있으며, 이를 토대로 합성 이미지의 신뢰성을 향상시킬 수 있다.

이후, 도 13을 참조하면, 후처리 필터부(123)는 이미지 생성부(122)를 통해 생성된 초해상도 이미지 프레임에 대해 후처리를 진행한다.

실시 예와 관련하여 전술한 바와 같이 몇 가지만을 기술하였지만, 이외에도 다양한 형태의 실시가 가능하다. 앞서 설명한 실시 예들의 기술적 내용들은 서로 양립할 수 없는 기술이 아닌 이상은 다양한 형태로 조합될 수 있으며, 이를 통해 새로운 실시형태로 구현될 수도 있다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

복수의 카메라 모듈;
상기 복수의 카메라 모듈을 통해 획득된 복수의 제1 이미지를 수신하고, 상기 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 이미지 처리부;
상기 복수의 카메라 모듈의 초점 거리 및 주점 정보를 포함한 내부 파라미터를 산출하고, 상기 산출된 내부 파라미터를 기반하여 상기 제2 이미지가 생성되도록 하는 제어부;를 포함하며,
상기 복수의 카메라 모듈은,
외부로부터 입사되는 적외선 신호를 통과시키는 복수의 단위 렌즈부를 포함하는 어레이 렌즈부; 및
상기 복수의 단위 렌즈부와 광축상에서 정렬되는 복수의 단위 센서부를 포함하는 어레이 센서부를 포함하고,
상기 제어부는,
상기 복수의 카메라 모듈에 대해 각각 캘리브레이션을 진행하여 상기 내부 파라미터를 산출하고,
상기 복수의 카메라 모듈의 내부 파라미터를 이용하여 상기 복수의 카메라 모듈 사이의 상대 위치 정보를 획득하며,
상기 획득된 내부 파라미터 및 상기 상대 위치 정보를 이용하여 상기 제2 이미지가 생성되도록 하는
카메라 장치.
제1항에 있어서,
상기 복수의 카메라 모듈을 통해 획득되는 제1 이미지는
제1 해상도를 가지고,
상기 제2 이미지는,
상기 제1 해상도보다 높은 제2 해상도를 가지는
카메라 장치.
제2항에 있어서,
상기 복수의 카메라 모듈은,
상기 상대 위치 정보에 대응하는 서로 다른 시차를 가지며,
상기 복수의 제1 이미지는,
상기 복수의 카메라 모듈을 통해 동일 시점에 획득되는
카메라 장치.
제1항에 있어서,
상기 제어부는,
상기 복수의 제1 이미지 내에서 피사체의 특징점들을 각각 검출하고,
상기 검출된 특징점들의 무게 중심을 산출하며,
상기 상대 위치 정보에 기반하여, 상기 복수의 제1 이미지 사이의 상기 무게 중심의 델타 값을 이용하여 상기 피사체와의 거리를 산출하는
카메라 장치.
제4항에 있어서,
상기 제어부는,
상기 산출한 피사체와의 거리를 이용하여 상기 피사체의 방사율을 보정하는
카메라 장치.
제5항에 있어서,
상기 복수의 카메라 모듈의 내부 파라미터, 상기 상대 위치 정보 및 피사체와의 거리에 따른 방사율 보정 정보를 저장하는 저장부를 포함하는
카메라 장치.
제1항에 있어서,
상기 제어부는,
상기 상대 위치 정보에 기반하여, 상기 제2 이미지 내에서의 상기 복수의 제1 이미지의 위치를 각각 결정하는
카메라 장치.
제5항에 있어서,
상기 이미지 처리부는,
상기 복수의 제1 이미지를 가우시안 필터링하는 전처리 필터부;
상기 상대 위치 정보 및 상기 보정된 방사율에 기반하여, 상기 전처리 필터부를 통해 필터링된 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 이미지 생성부; 및
상기 이미지 생성부를 통해 생성된 제2 이미지를 라플라시안 필터링하는 후처리 필터부를 포함하는
카메라 장치.
제8항에 있어서,
상기 전처리 필터부는,
0.1보다 크고, 1보다 작은 범위 내에서의 시그마 값을 적용하여 상기 복수 개의 이미지 프레임을 가우시안 필터링하는
카메라 장치.
제1항에 있어서,
상기 복수의 단위 렌즈부 각각은,
ZnS로 구성된 렌즈를 포함하고,
상기 복수의 단위 센서부 각각은,
마이크로볼로미터를 포함하는
카메라 장치.
어레이 렌즈부 및 어레이 센서부로 구성된 복수의 카메라 모듈의 초점 거리 및 주점 정보를 포함한 내부 파라미터를 산출하는 단계;
상기 복수의 카메라 모듈을 통해 피사체에 대한 복수의 제1 이미지를 획득하는 단계; 및
상기 산출한 내부 파라미터에 기반하여, 상기 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 단계를 포함하고,
상기 산출하는 단계는,
상기 복수의 카메라 모듈에 대해 각각 캘리브레이션을 진행하여 상기 복수의 카메라 모듈에 대한 내부 파라미터를 각각 산출하는 단계; 및
상기 복수의 카메라 모듈의 내부 파라미터를 이용하여 상기 복수의 카메라 모듈 사이의 상대 위치 정보를 획득하는 단계;를 포함하고,
상기 제2 이미지는,
상기 획득된 내부 파라미터 및 상기 상대 위치 정보에 기반하여 생성되고,
상기 제1 이미지는
제1 해상도를 가지고,
상기 제2 이미지는,
상기 제1 해상도보다 높은 제2 해상도를 가지는
카메라 장치의 동작 방법.
제11항에 있어서,
상기 복수의 제1 이미지는,
동일 시점에 획득된 서로 다른 시차를 가지는 이미지인
카메라 장치의 동작 방법.
제11항에 있어서,
상기 피사체와의 거리를 산출하는 단계; 및
상기 산출된 피사체와의 거리에 기반하여 상기 피사체의 방사율을 보정하는 단계를 포함하는
카메라 장치의 동작 방법.
제13항에 있어서,
상기 거리를 산출하는 단계는,
상기 복수의 제1 이미지 내에서 피사체의 특징점들을 각각 검출하는 단계;
상기 검출된 특징점들의 무게 중심을 산출하는 단계; 및,
상기 상대 위치 정보에 기반하여, 상기 복수의 제1 이미지 사이의 상기 무게 중심의 델타 값을 이용하여 상기 피사체와의 거리를 산출하는 단계를 포함하는,
카메라 장치의 동작 방법.
제11항에 있어서,
상기 제2 이미지를 생성하는 단계는,
상기 상대 위치 정보에 기반하여, 상기 제2 이미지 내에서의 상기 복수의 제1 이미지의 위치를 각각 결정하는 단계를 포함하는
카메라 장치의 동작 방법.
제14항에 있어서,
상기 제2 이미지를 생성하는 단계는,
상기 복수의 제1 이미지를 가우시안 필터링하는 단계;
상기 상대 위치 정보 및 상기 보정된 방사율에 기반하여, 상기 가우시안 필터링된 복수의 제1 이미지를 합성하여 제2 이미지를 생성하는 단계; 및
상기 제2 이미지를 라플라시안 필터링하는 단계를 포함하는
카메라 장치의 동작 방법.