KR101465112B1 - 카메라 시스템 - Google Patents

Abstract

어안 렌즈와 같이 광각의 영상을 받아들여 적절한 왜곡 보상을 거치게 하는 카메라 시스템이 개시되었다. 본 발명은 외부 영상을 획득하기 위한 렌즈와 센서를 포함하는 렌즈 및 센서 결합부, 렌즈 및 센서 결합부로부터 전달된 영상을 처리하여 일차 영상을 출력하는 이미지 신호 프로세서, 다수의 디워핑 룩업 테이블(dewarping lookup table)을 저장하고 있는 디워핑 룩업 테이블부, 하나 이상의 부영상(sub-image)으로 구성되는 영상화면포맷을 저장하는 영상영상화면포맷부, 영상화면포맷이 정해지면, 각 부영상에 대응되는 디워핑 룩업테이블을 선택하는 룩업테이블 선택부, 디워핑 룩업 테이블부의 정보를 참조로 하여 부영상들을 생성하고 영상화면포맷에 따라 전송영상으로 변환하는 영상 생성부, 전송영상 또는 전송영상에 관련된 메타 데이터를 부가하여 출력하는 출력부를 포함한다.

Description

카메라 시스템{camera system}

본 발명은 기계적 팬, 틸트없이 어안렌즈 등과 같은 광각렌즈 및 센서 결합을 이용하고, 내부에 미리 정해진 바라보이는 위치에 대응하는 룩업테이블을 이용해 원격의 디바이스가 제어하는 바에 따라 넓은 시야 중 일부에 해당하는 장면, 또는 장면들에 해당하는 영상들의 조합을 전송하는 카메라 시스템에 관한 것이다.

어안렌즈(fish-eye lens)와 같이 광각의 영상을 받아들이는 장치는 영상의 왜곡을 피할 수 없고, 받아들이는 화면의 가장자리로 갈수록 왜곡의 정도가 심하게 된다. 사용자는 이러한 왜곡된 영상을 그냥 보기도 하지만, 왜곡이 없이 시각적으로 자연스러운 영상을 원하기도 한다. 왜곡을 줄이거나 때로는 없애고자 할 때는 일정 시야각을 가진 특정 장면에 대해 영상을 펴는 작업, 이른바 디워핑(dewarping) 이라는 공간변환(spatial transformation)이 필요하다. 이 작업을 여러 장면에 대해 적용하면, 초광각의 카메라 한대를 이용하여 여러 대의 협각 카메라 설치 효과를 낼 수 있으며, 기록장치의 저장을 통해 사각이 없는 영상을 획득하는 장점이 있다. 여기서 장면이라 함은 일차영상의 일정 부분을 장면변수에 따라 원근투영(perspective projection)이나 파노라마투영(panoramic projection) 방식을 사용하여 재구성한 영상을 지칭하며, 장면변수는 원근뷰의 경우에는 바라보이는 점(viewing point), 바라보이는 각도(바라보는 점과 바라보이는 점으로 만들어지는 벡터의 방위각과 앙각, viewing angle), 수평시야각(horizontal field of view), 화면비(aspect ratio)로 정해진다. 파노라마뷰의 경우에는 중심점의 위치, 수직시야각에 의해 정해진다.

전송영상을 만들어 내는 작업은 공간변환함수 또는 테이블의 계산과, 이 테이블을 참조로 여러 장면을 나타내는 부영상들의 조합으로 이루어지는 영상화면을 구성하는 작업으로 구성된다. 공간 변환함수를 생성하는 계산 기술은 렌즈 및 센서 결합부의 왜곡특성정보로부터 원하는 장면에 대한 영상을 만들어 내기 위해 필요하며, 그 방법에 대해서는 여러 논문과 특허에서 다루어진 바 있으며, 이때에 필요한 왜곡 특성 정보의 추정에 관해서도 많은 연구가 이루어진 바 있다.

본 발명은 이 디워핑 룩업테이블 그 자체를 만드는 기술이라기 보다는, 그 기술을 사용하여 왜곡이 있는 어안렌즈와 같은 광각의 렌즈 및 센서 결합부를 통해 영상을 획득하고 원격장치에서 요구하는 장면을 디워핑하고 전달하여, 원격장치의 화면 상에 표시할 수 있도록 하는 카메라시스템에 관한 것이다.

이러한 시스템은 카메라, NVR과 같은 영상기록재생장치, 그리고 PC, 스마트폰, 스마트패드와 같은 원격 장치로 구성되며, 영상기록장치나 PC에서는 모니터링을 위해 여러 장면의 원근뷰와 파노라마뷰 등이 조합된 화면 구성이 이루어지는 것이 일반적이다. 또, 디워핑이 이루어지는 위치는 보통 연산능력이 충분한 NVR 등에서 이루어지는 것이 보통이나, 그 연산의 부담을 덜기 위해 카메라에 별도의 FPGA 등으로 만들어진 고속 하드웨어를 구비하여 여러 장면에 대해 고속의 디워핑 작업을 수행하고, 그 결과를 외부로 전달하도록 만들어지기도 한다.

본 발명의 카메라 시스템은 왜곡된 초광각의 일차영상은 물론 사용자의 요구에 따라 광각 화면의 지정하는 부분을 마치 협각의 카메라로 획득된 영상처럼 디워핑 룩업테이블을 사용한 공간변환에 의해 생성한 후 전송함으로써 디지털 팬, 틸트, 줌 기능을 제공한다.

본 발명은, 다른 한편으로는 여러 부영상을 하나의 영상화면으로 생성하여 원격 사용자에게 제공함으로써 장면에 대한 상황파악의 용이성 및 편의성을 제공하는 기술에 관한 것이기도 하다. 이때 부영상은 파노라마뷰나 원근뷰, 또는 원래의 광각뷰가 될 수 있다.

본 발명에서 제시하는 실시예에서는 카메라에서 제1채널로는 일차영상을, 제2채널 또는 그 이상의 부채널을 통해서는 사용자가 선택하는 장면에 대해 디워핑한 영상, 또는 그 조합으로 구성되는 영상을 화면포맷에 따라 전송하도록 한 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일면에 따른 카메라 시스템은, 렌즈 및 센서 결합부, 이미지 신호 프로세서, 디워핑 룩업 테이블부, 영상화면 포맷부, 룩업 테이블 선택부, 영상 생성부 및 출력부를 포함한다. 렌즈 및 센서 결합부는 외부에서 들어오는 영상을 획득하기 위해 어안 렌즈와 같은 광각의 영상을 획득하는 렌즈와 센서를 포함한다. 이미지 신호 프로세서는 상기 렌즈 및 센서 결합부로부터 전달된 영상을 처리하여 일차 영상을 출력한다. 디워핑 룩업 테이블부는 다수의 디워핑 룩업 테이블(dewarping lookup table)을 저장하고 있다. 영상화면 포맷부는 하나 이상의 부영상(sub-image)으로 구성되는 영상화면포맷을 저장한다. 룩업테이블 선택부는 상기 화면 포맷이 정해지면, 상기 각 부영상에 대응되는 상기 디워핑 룩업테이블을 선택한다. 영상 생성부는 상기 디워핑 룩업 테이블부의 정보를 참조로 하여 상기 부영상들을 생성하고 이들을 상기 화면 포맷에 따라 조합하여 전송영상으로 변환한다.

본 발명은 원격에서의 제어를 통해 광각의 렌즈 및 센서에 의해 결상된 일차영상 내에서 장면의 주요변수인 바라보이는 점을 선택하고, 거기에 바라보는 각도, 시야각, 수직/수평 화소수 등의 부수적인 변수 등을 변경시켜 가면서 원하는 위치에 협각의 영상들을 제공하는 기능을 제공한다. 시스템의 왜곡을 보정하기 위한 변환을 수행하기 위해서 장면변수 선택이 이루어질 때마다 복잡한 계산을 거쳐야 하는 것을 피해, 적절한 수단으로 미리 정해지거나, 또는, 변경 가능한 다수의 룩업테이블을 이용하여 원격 제어에 따라 선택적으로 사용함으로써 디워핑 FPGA와 같은 하드웨어가 없는 경우에도 소프트웨어만으로 디지털 팬, 틸트가 가능하도록 하는 효과가 있다. 이때 저장된 룩업테이블의 선택에 의해 장면이 변하게 되는데, 원격에 의해 설정되는 장면변수와 가장 가까운 장면변수를 가진 장면을 선택하게 된다.

본 발명은 사용자가 카메라를 이용함에 있어 카메라의 저장공간 크기, 사용하는 원격 장치의 연산능력, 그리고 통신선로의 대역폭을 고려하여 부영상의 장면변수(시야각, 바라보이는 점, 바라보는 각도) 값에 대응하는 적절한 크기의 화소수를 가지는 룩업테이블을 준비함으로써 원하는 장면의 영상을 적정 화질로 획득할 수 있도록 한다. 필요에 따라서는 원격장치의 장면변수 제어에 따라 미리 저장된 디워핑 룩업테이블을 선택하지 않고 그때그때 장면변수에 대응하는 디워핑 룩업테이블을 계산에 의해 생성하여 사용할 수도 있다.

또한, 전송영상의 프레임율, 부호화변수 등 일반 네트워크 카메라에서와 같이 선로상태에 따라 자동으로 또는 원격제어에 따라 변경설정이 가능하도록 한다.

본 발명은 사용자에게 설정된 장면변수에 따라 디워핑된 영상을 전달하는 것은 물론, 다양한 부영상으로 조합된 화면포맷으로 전송영상을 구성하여 전달할 수 있도록 함으로써, 스마트폰과 같은 연산능력이 제한된 원격장치에서도 별도의 노력없이 상황파악이 쉽게 되도록 다양한 장면을 조합하여 전달하는 편의를 제공한다.

본 발명은 화면을 구성하는 요소인 부영상의 장면 변수(바라보이는 점, 바라보는 각도, 시야각(field of view))를 PC 소프트웨어를 통해 사용자가 변경할 수 있어 사용자의 선호하는 바를 만족하게 한다.

도 1은 본 발명에 따른 카메라 시스템에서 카메라가 피사체의 위에서 내려다보는 하방뷰(top view)이다.
도 2는 본 발명에 따른 카메라 시스템에서 카메라가 피사체의 전방뷰(front view)이다.
도 3은 본 발명에 따른 카메라 시스템의 블록도이다.
도 4는 본 발명에 따른 카메라 시스템의 렌즈 및 센서 결합부를 도시한 것이다.
도 5는 본 발명에 따른 카메라 시스템의 렌즈 및 센서 결합부에서 일어나는 영상의 기하학적 왜곡과정을 보여주는 그림이다.
도 6은 본 발명에 따른 카메라 시스템의 대표적인 기하학적 왜곡함수를 도식화한 것이다.
도 7은 본 발명에 따른 카메라 시스템에서 하방뷰의 실제 예를 보인 것이다.
도 8은 본 발명에 따른 카메라 시스템의 영상화면 포맷부에서 출력하는 영상화면 포맷의 한 예이다.
도 9는 본 발명에 따른 카메라 시스템의 영상화면 포맷부에서 출력하는 영상화면 포맷의 다른 예이다.
도 10은 본 발명에 따른 카메라 시스템의 영상화면 포맷부에서 출력하는 영상화면 포맷의 또 다른 예이다.
도 11은 본 발명에 따른 카메라 시스템에서 원통형 파노라마 생성을 나타내는 그림이다.
도 12는 본 발명에 따른 카메라 시스템에서 원통형 파노라마 생성을 나타내는 다른 그림이다.
도 13은 본 발명에 따른 카메라 시스템에서 장면변수에 따른 원근뷰의 투영과정을 나타낸 그림이다.
도 14는 본 발명에 따른 카메라 시스템에서 바라보는 점이 이동하였을 때 투영평면의 변화를 나타내는 그림이다.
도 15는 도 7의 일차영상을 디워핑하여 얻게 되는 부영상에 대하여 바라보이는 점을 달리한 세 개의 영상을 나타낸 것이다.
도 16은 도 7의 일차영상을 디워핑하여 얻게 되는 부영상에 대하여 바라보이는 점은 같으면서 바라보는 각도를 달리한 두 개의 영상을 나타낸 것이다.
도 17은 도 15의 가운데 영상에 대하여 시야각 조정을 하여 축소한 영상과 확대한 영상이다.
도 18은 도 15의 가운데 그림을 회전시킨 회전뷰이다.
도 19는 본 발명에 따른 카메라 시스템의 각도 180도짜리인 원통형 파노라마뷰 두 개를 각각 나타낸 것이다.
도 20은 본 발명에 따른 카메라 시스템의 위치 룩업테이블 및 계수 룩업테이블에 의한 이중선형(bilinear) 보간된 화소값을 생성해 내는 과정을 도시한 것이다.
도 21은 본 발명에 따른 카메라 시스템의 디워핑 룩업테이블부의 구성을 나타낸 것이다.
도 22는 본 발명에 따른 카메라 시스템의 사용자에 의한 영상 화면 포맷 설정 및 디워핑 룩업테이블의 추가과정을 나타낸 흐름도이다.
도 23은 본 발명에 따른 카메라 시스템의 영상생성부 블록도이다.
도 24, 25는 본 발명에 따른 카메라 시스템에서 방사대칭형 왜곡에 대해 왜곡특성정보의 표현방법을 표로 정리한 것이다.
도 26은 본 발명에 따른 카메라 시스템에서 전방뷰에 의해 얻은 일차영상의 실제 예이다.

이하, 첨부한 도면들을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다.

본 발명의 내용에 구체적으로 들어가기에 앞서 초광각의 카메라의 설치에는 도 1과 같이 카메라가 피사체의 상부에서 아래로 내려다보면서 촬영을 하여 하방뷰(top view)를 획득하게 할 수 있고, 도2와 같이 카메라가 피사체의 전방에서 정면으로 촬영하는 전방뷰(front view)를 획득하게 할 수도 있다. 이들 뷰(view)에서, 광각의 카메라가 획득하는 영상뷰는 왜곡이 있고, 이러한 왜곡은 본 발명의 카메라 시스템에 의해 적절히 보정되거나 조절된다.

도 3은 본 발명에 따른 카메라 시스템(100)의 블록도이다. 피사체 영상은 렌즈 및 센서 결합부(110)에 입력된다. 렌즈 및 센서 결합부(110)란 광학 렌즈 및 렌즈를 통과한 영상을 감지하는 센서를 포함한다. 렌즈는 어안렌즈(fish eye lens) 등과 같이 광각의 영상을 획득할 수 있는 것이 바람직하다. 렌즈를 통과하는 빛은 기하학적으로 왜곡되도록 렌즈가 설계되어 있으며, 왜곡된 영상은 CCD 또는 CMOS 이미지 센서 등과 같은 센서에 의해 평면상에 결상되어 전기적 신호로 바뀐다.

이미지 신호 프로세서(Image Signal Processor, 120)는 센서의 전기적 신호를 영상신호로 변환한다. 이미지 신호 프로세서(120)는 손떨림 방지기능, 저조도 보상기능, 자동 초점(Auto Focus) 기능 등과 같이 특별한 기능이 추가될 수 있다. 또한, 센서의 각 화소간의 상관관계에 따라 색(color) 데이터를 적절한 방법으로 추출하거나, 센서에서 추출된 신호에 대한 분석하거나, 색 조정(correction)을 하거나, 각종 잡음을 제거하고, 이미지의 시각적 향상 등 다양한 기능을 수행한다. 이미지 신호 프로세서(120)에서 이러한 작업을 거친 뒤 출력되는 영상은 일차영상이 될 수 있다.

영상생성부(130)는 이미지 신호 프로세서(120)의 또 다른 출력인 출력영상을 가지고서 여러 다양한 종류의 영상을 생성하여 전송영상을 만드는 기능을 한다. 또 다른 출력 영상이란 도면에 표시하지는 않았지만 경우에 따라서는 일차영상이 될 수도 있다. 전송영상은 출력부(170)에 의해 원격장치(200)와 같은 기기에 전달된다. 출력부(170)는 카메라의 자세나 왜곡특성정보를 포함하는 메타데이타 정보를 별도로 부가하여 출력할 수 있으며, PC(300)나 원격장치(200)를 이용하여 영상화면 포맷 내 부영상의 디워핑 룩업테이블 인덱스를 바꾸거나, 새로운 디워핑 룩업테이블을 만들어 저장할 수 있다. 여기서 카메라의 자세란 카메라의 좌표계가 외부 실제 삼차원 좌표계와의 관계를 말하는 것으로서 각 좌표계의 좌표축 간의 회전관계를 나타내는 오일러 각과 두 좌표계 원점 간의 차이에 해당하는 벡터로 표시된다. 왜곡특성정보란 렌즈 및 센서 결합부에서 일어나는 영상의 왜곡함수를 나타내는 파라메타나 테이블 데이터 등을 말하며, 이 왜곡특성정보를 알면, 이를 이용해 왜곡이 제거된 장면을 생성해 낼 수 있게 된다.

영상화면 포맷부(140)는 영상생성부(130)에서 전송영상을 생성할 때의 화면 구성 정보인 영상화면포맷과 각 부영상에 해당하는 룩업테이블 정보(인덱스)를 가졌는지의 여부를 결정하고, 디워핑 룩업 테이블부(150)는 영상생성부(130)에서 필요한 영상을 생성하기 위한 디워핑(dewarping) 작업 시에 사용할 룩업테이블을 저장하고 있다. 인덱스에는 각 부영상의 크기나 위치에 관한 정보가 담길 수 있다. 룩업 테이블 선택부(160)는 화면포맷 정보에 맞추어 각 부영상 생성을 위한 룩업 테이블을 선택하도록 한다. 부영상이란 전송영상을 구성하는 단위이며, 전송영상은 배경화면과 여러 개의 부영상으로 이루어지며, 필요에 따라서는 부영상 하나로 이루어질 수도 있다.

한편, 영상화면 포맷부(140)의 인덱스는 고정되어 있을 경우도 있고, 비어있을 수도 있다. 인덱스가 비어있을 때에는 원격의 사용자가 외부에서 조정하여 바뀔 수도 있다.

원격장치(200)는 예컨대 모바일 기기일 수 있다. 그러므로 원격장치(200)는 카메라 시스템(100)에서 출력된 영상을 전송받을 수 있도록 유선 또는 무선으로 카메라 시스템(100)과 연결되어야 한다. 이러한 인터페이싱은 통상적인 유무선 인터넷 연결망이나, 유무선 통신망을 포함한다. 다른 한편으론 원격장치(200) 역시 카메라 시스템(100)에게 적절한 장면을 선택하도록 하거나, 기타 지시를 내릴 수 있어야 하므로 원격장치(200)에서 카메라 시스템(100)으로 연결되는 유무선 연결도 존재하여야 한다. 원격장치(200)의 지시는 주로 영상화면 포맷부(140)이나 룩업 테이블 선택부(160)로 입력되지만, 이들 연결로만 국한될 필요는 없고 통상의 지식을 가진 엔지니어의 지식 수준에서 적절한 변형이 이루어 질 수 있다. 예를 들어 색 변화를 위해서 이미지 신호 프로세서(120)로 지시를 내린다든지, 출력부(170)로 하여금 인터페이싱 포맷을 바꾼다든지 하는 것으로 연결 상태의 변형이 있을 수 있다.

출력부(170)는 복수 개의 스트림을 전송할 수 있다. 각 스트림의 프레임율, 부호화 품질 등과 같이, 부호화에 따른 여러 변수는 약속된 룰에 따라 미리 결정되어 있을 수도 있고, 본 발명의 카메라 시스템을 사용하는 원격의 사용자가 임의로 조정할 수도 있고, 자동으로 조정이 가능할 수도 있다.

또한, 출력부(170)는 원격의 사용자가 편의에 따라 전송영상의 화면 포맷을 각 스트림별로 선택하거나 조정 가능할 수 있다.

또한, 당연하지만 출력부(170)는 때에 따라 영상 생성부(130)로부터 출력된 각종 부영상 및 그들의 적절한 조합인 전송영상을 그대로 출력할 수도 있고 전송영상에 왜곡 특성 정보를 반영하여 출력할 수도 있다.

퍼스널 컴퓨터(PC , 300)는 카메라 시스템(100)의 전반적인 제어를 위해 필요한 구성이다. 퍼스널 컴퓨터(300)는 필요에 따라서는 전송영상의 특정화면 포맷 내의 특정 부영상의 룩업테이블을 새롭게 만들거나, 때에 따라서는 전송영상의 새로운 화면 포맷을 만들어 영상화면 포맷부에 저장할 수도 있다. 즉, 카메라 시스템(100)의 출력영상을 감시, 감독하는 사용자가 퍼스널 컴퓨터(300)를 이용하여 카메라 시스템(100)을 설정, 제어하도록 하는 것이다. 이러한 작업을 위해서는 퍼스널 컴퓨터에 렌즈 및 센서결합부의 왜곡특성정보가 필요한데, 필요에 따라서는 퍼스널 컴퓨터에서 특별하게 고안된 패턴의 패널을 사용하여 렌즈 및 센서결합부의 왜곡특성정보를 추출하는 소프트웨어가 탑재될 수도 있다. 이렇게 추출된 왜곡특성정보는 카메라시스템 내부에 저장되어, 디워핑 능력을 갖춘 원격장치에게 전달될 수 있도록 한다.

도 4는 본 발명의 렌즈 및 센서 결합부(110)를 설명하는 그림이다. 렌즈 및 센서 결합부(110)는 렌즈부(111), 센서부(113) 및 영상 샘플링부(115)를 포함한다. 피사체의 영상이 광각으로 들어오는 빛이 렌즈부(111)를 거칠 때 기하학적으로 왜곡이 발생한다. 왜곡된 영상은 CCD나 CMOS 이미지 센서 등의 디바이스로 구성된 센서부(113)의 센서 평면상에 결상된다. 영상 샘플링부(115)는 이를 다시 샘플링함으로써 출력 영상신호로 바뀌는데, 이 신호가 이미지신호프로세서(120)를 거친 것을 일차영상이라 한다.

렌즈 및 센서 결합부(110)에서는 각 단계의 설명을 위해 삼차원의 외부장면을 표시하거나, 센서평면에 결상영상이나, 샘플링을 통해 얻어지는 일차영상을 표시할 때 쓰이는 좌표계를 함께 나타내어 추후 본 발명의 구체적인 설명의 편의를 도모하였다.

도 5는 렌즈부(111)에서 일어나는 영상의 기하학적 왜곡과정을 보여주는 그림이다. 넓은 시야각의 외부장면이 작은 센서로 투영(projection)되는 과정에서 기하학적 왜곡은 피할 수 없는 현상이다. 어안렌즈의 경우 카메라축을

축으로 놓고 입사하는 레이(ray)가

평면과 이루는 앙각을

라고 할 때, 센서평면에 투영되는 점의 카메라의 중심으로부터의 거리가 앙각의 함수로 정해지도록 설계되는데, 그 투영방식에 따라 등거리(equidistant) 투영, 등입체각(equi-solid angle)투영, 스테레오그래픽(stereographic) 투영 등으로 구분된다.

삼차원 공간 상의 점

은 렌즈를 통해 센서평면상의 점

로 투영되고 이는 다시 영상샘플링과정을 거쳐 영상평면상의 위치

로 사상된다. 이를 일반식으로 표현하면

이 된다. 여기서

은 센서평면에서 점

의 원점으로부터의 거리이며,

는 센서 좌표계 상에서의 중심으로부터의 거리와 앙각 사이의 관계를 나타내는 왜곡함수이다. 이를 몇 가지 대표적인 투영방식에 대해 그래프로 표현하면 도 6과 같이 된다.

방사대칭형 왜곡의 경우 센서평면이 카메라 축과 수직으로 정렬되어 있다고 가정하면 방위각의 변화가 없게 되어

가 된다. 상기 두 식을 영상 좌표계에서 표시하면

으로 정리된다. 여기서

은 영상평면에서 점

의 원점으로부터의 거리이며,

는 영상좌표계 상에서의 중심으로부터의 거리와 앙각 사이의 관계를 나타내는 왜곡함수이다.

여기에서 삼차원 공간 상의 한 점

가 주어질 때 그에 대응하는 영상좌표계에서의 위치를 구하기 위해서는 영상평면상의 중심위치

와 방사대칭형 왜곡함수

가 필요하다.

방사대칭형 왜곡의 예를 투영방식과 함께 도 6에 표시하였다. 실제 왜곡함수는 기준 투영방식과도 차이가 나는데, 한 예로 equidistant 투영의 경우 왜곡함수는

과 같이 다항식으로 근사화하고, 그 계수를 추정하여 왜곡모델로 삼는다.

도 7은 렌즈 및 센서결합부(110)로부터 획득한 일차영상의 실제 예를 보여준다, 카메라 중심축(

)과 가까운 곳에서는 왜곡이 적고, 중심축과 먼 영상의 가장자리 쪽(

가 작은 곳)은 왜곡이 매우 크고, 상대적으로 해상도에도 많은 손실이 오게 된다.

영상 화면 포맷의 구성 예를 도8 내지 도 10에 표시하였다. 파노라마 영상, 일차영상 등 투영방법에 따른 구분, 일차영상의 특정 위치 즉 바라보이는 위치, 바라보는 각도, 시야각의 장면변수에 따라 정해지는 원근영상들을 부영상으로 하는 화면 조합의 예이다.

도 8은 파노라마 영상 2개로써 각각 180도씩 합해서 360도 뷰를 나타내는 화면 포맷이고, 도 9는 일차영상과 세 장면에 해당하는 원근뷰를 담은 화면포맷, 도 10은 원근뷰 하나로 구성된 화면포맷이다. 이 화면포맷들은 영상화면 포맷부(140)에 저장된다. 이외에도 다양한 화면 포맷 구성이 가능한데 이는 카메라시스템(100) 블록 전체를 설명에서와 같이 외부 PC(300)나 원격장치(200)의 소프트웨어에 의해 쉽게 변경 및 추가하는 것이 가능하다.

화면포맷 내의 부영상은 2가지 종류로 나눌 수 있는데 하나는 원격장치에서의 사용자 장면변수 제어에 따라 부영상의 장면변수가 변하는 종류이고, 또 다른 하나는 화면 포맷 내의 부영상의 디워핑 룩업테이블이 미리 고정되어 있어 장면변수 변화를 허용하지 않는 경우이다. 이는 영상화면 포맷 내에서 각 부영상에 부여되는 인덱스를 통해 구분할 수 있다. 예를 들어 인덱스를 16비트로 표시한다고 할 때, 인덱스의 값이 "FFFF"인 경우는 장면변수의 변화가 가능한 부영상, 그렇지 않은 경우는 그 값이 디워핑 룩업테이블부(150) 내의 특정 테이블을 가리키는 인덱스가 된다.

도 11, 12, 13, 14는 장면변수 및 그에 따라 생성되는 부영상을 설명하는 그림이다. 장면변수는 투영방법이 정해졌을 때 바라보이는 점, 바라보는 각도, 시야각을 말한다. 도 11 및 도 12는 파노라마뷰를 얻기 위해 원통형 투영법을 이용하는 한 예이다. 방위각

를 0도에서 360도까지 변화시키면서 그 방위각에 해당하는 일차영상의 화소들을 원통표면에 사상한 후(이때 사상되는 점의 수직위치는 앙각

의 함수로

가 됨) 원통표면에 맺힌 상을 수평, 수직위치

를 중심으로 정해진 시야각에 해당하는 만큼 잘라내어 폄으로써 파노라마뷰를 얻게 된다.

중앙점의 상하좌우로의 변경에 따라, 그리고 수직, 수평 시야각에 따라 뷰가 변하게 되는데, 투영면 자체가 변화하지 않으므로 원하는 디워핑테이블은 투영면 상에서 수직시야각의 크기를 크게 잡은 디워핑테이블의 부분이 된다.

도 13, 도 14는 원근뷰를 얻기 위해 바라보이는 점, 바라보는 각도, 그리고 상이 투영되는 평면을 나타낸 것이다. 도 13은 바라보는 점(view point)이 카메라 중심에 위치하는 경우이고, 도 14는 일치하지 않는 예를 보인 것이다. 여기서 원근뷰가 얻어지는 투영 평면

와 투영평면

는 바라보는 점과 바라보이는 점을 잇는 벡터에 수직인 평면이 된다. 이렇게 도 7에 예시한 일차영상을 바라보이는 점을 달리하여 디워핑(dewarping)하여 얻은 세 개의 영상을 도 15에 나타내었다.

도 16은 도 7의 일차영상을 디워핑할 때 바라보이는 점은 같으면서, 바라보는 각도를 달리한 두 개의 부영상을 나타낸 것이다. 바라보이는 점은 같아도 바라보는 각도에 따라 서로 다른 영상을 얻을 수 있다.

도 17은 도 15에 도시된 가운데 부영상에 대하여 시야각 조정을 한 다음에 재차 축소(줌-아웃)하여 얻은 부영상 및 확대(줌-인)한 부영상을 나타낸 것이다.

도 18은 도 15의 가운데 그림을 회전시킨 회전뷰이다.

도 19는 각도 180도의 원통형 파노라마뷰 두 개를 각각 나타낸 것이다.

도 20은 위치 룩업테이블 및 계수 룩업테이블에 의한 이중선형(bilinear) 보간된 화소값을 생성해 내는 과정을 도시한 것이다. 디워핑(dewarping)은 생성하고자 하는 영상의 화소위치에 대응하는 일차영상 화소의 위치를 표시하는 디워핑 룩업테이블을 이용해 공간변환을 함으로써 이루어진다. 이때 일차영상화소의 위치는 실수로 표시되는데, 우리가 센서로부터 얻는 영상 화소의 위치는 정수 단위로 존재하게 된다. 이때 실수로 주어지는 위치에서의 화소값을 구하기 위해서는 일차영상 평면상에서 보간 작업이 필요하다. 이 보간 작업이 없이 실수로 표시되는 값의 정수부를 취하여 영상을 생성하게 되면 화질의 저하가 있게 된다. 또, 보간 방법에 따라서도 화질의 차이가 생기게 되는데 흔히 사용하는 것이 이중선형보간(bilinear interpolation)이며, 큐빅 스플라인 보간(cubic spline interpolation)을 사용하여 좀 더 개선된 화질을 얻기도 한다. 하지만 이들은 모두 계산량의 증가를 가져오는 것이므로 응용에 따라 적절한 방법을 선택하여 사용하게 된다. 디워핑 룩업테이블은 보간화소의 위치를 표시하는 정수부의 테이블(Address LUT) 2개

,

와 보간시 주변 4화소에 대한 가중치를 나타내는 계수테이블(Coefficient LUT) 4개

합해서 6개의 실계수 테이블로 이루어지며, 부영상 내에서의 화소위치

가 주어지면 그에 해당하는 화소값

는

로 계산된다. 보간에 참여하는 화소가 다른 경우에도 보간계수 테이블을 만들고 같은 방법으로 사용하면 된다. 이때 통상적인 일차영상의 해상도가 D1급(720화소x480화소) 이상인 것으로 생각하면, 위치 테이블은 각각 16비트, 계수테이블은 각각 8 비트로 구성하면 보간의 효과를 충분히 거두면서 효율적으로 저장할 수 있다.

도 21의 디워핑 룩업테이블부에는 파노라마뷰나 원근뷰의 부영상 생성을 위한 디워핑 룩업테이블이 저장되어 있다. 원근뷰의 경우는 장면변수 제어에 대응하기 위한 테이블 저장부 A(영상화면 포맷 상에서 인덱스 "FFFF"의 부영상에 대응)와 장면변수가 고정된 부영상(영상 화면포맷 상에서 "FFFF"가 아닌 인덱스의 부영상에 대응)에 대한 테이블 저장부 B로 나뉜다. 파노라마뷰의 부영상은 도7의 파노라마뷰 테이블 상에 360도 원통형 파노라마뷰에서 적당한 범위의 수직 시야각에 해당하는 큰 룩업테이블을 미리 다 저장해 놓고, 중앙점과 수직 시야각에 따라 룩업테이블을 뜯어다 사용하도록 한다.

이제 룩업테이블 선택부에서는 화면 포맷에서 부영상의 인덱스가 "FFFF"로 넘어오는 경우 원격장치로부터 입력되는 장면변수에 따라 부영상의 생성에 필요한 룩업테이블을 선택하는데 입력된 장면변수와 가장 근접되는 부영상을 생성하는 룩업테이블이 선택되도록 로직을 만들어 사용하게 된다. 본 실시예에서는 장면변수로서 원근뷰의 경우는 바라보이는 점의 일차영상에서의 좌표를 사용하는 경우와 파노라마뷰는 중앙점의 좌표를 사용하는 경우에 대해 예로 든다.

먼저 원근뷰의 경우에 대해 설명한다. 테이블은 각각 서로 다른 바라보이는 점의 좌표

에 대응하도록 만들어 저장함으로써 팬, 틸트 동작에 준하는 장면제어가 가능하도록 한다. 여기서

은 원근뷰 테이블의 개수다, 아래 수학식에서 표시된 입력 좌표

와 거리

가 가장 작은 바라보이는 점의 좌표

에 해당하는 테이블을 선택하도록 함으로써,

또는

장면변수의 제어에 대응하도록 한다. 파노라마뷰의 경우는 전술한 바와 같이 중앙점 좌표에 따라, 크게 만들어진 룩업테이블의 일부를 가져다 사용함으로써 장면변수 제어에 대응하도록 한다.

본 실시예에서는 바라보이는 점의 위치만을 고려하여 설명하였으나, 통상 원격장치에서 변경하는 장면변수 제어는 바라보이는 점의 위치를 변화시키는 팬, 틸트외에 시야각 변경을 통한 줌인, 줌아웃 동작이 될 것이다. 또, 바라보는 각도의 변화로 다양한 각도에서 바라보는 장면을 생성하도록 제어할 수도 있을 것이고, 화면의 종횡비 변화도 있을 수 있다. 이러한 경우도 본 실시예에서 설명한 방법으로 디워핑 룩업테이블부의 크기를 늘리고, 선택로직을 만들면 가능할 것이다.

도 22는 외부 PC(300)을 이용하여 사용자가 특별히 차후 원격장치를 통해 전달받기를 원하는 영상포맷과 그 부영상의 장면변수를 설정하고, 그 부영상의 생성에 사용될 디워핑 룩업테이블을 생성하는 과정을 도시한 것이다. 본 발명의 설명을 위해 삽입하였으며, 이 과정은 PC(300)에 소프트웨어로 설치된다. 이 결과 생성된 디워핑 룩업 테이블은 카메라의 디워핑 룩업테이블부에 저장되고, 부여받은 인덱스는 영상 화면포맷부에 부영상의 인덱스로서 각각 저장된다. 이 과정은 그래픽 인터페이스를 통해 장면변수 변경에 따라 룩업테이블을 생성하고, 부영상을 표시하여 보여주는 소프트웨어 모듈이 있음을 전제로 한다. 이 소프트웨어모듈의 구현 방법은 본 발명의 범위 밖의 것이므로 따로 설명하지 않는다.

먼저 PC를 사용해 네트워크를 통해 카메라에 접속하여 일차영상을 전송받는다. 다음, 미리 정해진 영상화면 포맷 중 하나를 선택한다. 영상화면 포맷을 구성하는 각 부영상은 그래픽 인터페이스를 통해 장면변수를 변화시켜가며 사용자가 원하는 뷰를 만든다. 만족하는 뷰가 나오게 되면, 부영상의 룩업테이블 인덱스가 적힌 영상화면 포맷과 룩업테이블을 카메라에 전송하여 카메라의 플래시메모리 등에 저장함으로써 그 과정이 이루어진다. 이때 부영상을 장면제어가 가능하도록 하려면 부영상 인텍스를 "FFFF"로 설정하면 될 것이다. 카메라에서는 전송된 영상화면 포맷을 등록하고, 사용자가 사용 가능하도록 활성화하며, 해당 부영상들에 대해 전달받은 룩업테이블을 디워핑 룩업테이블부의 영상화면포맷에 적힌 인덱스에 해당하는 곳에 저장하게 됨으로써 사용할 수 있게 된다.

도 23은 영상생성부의 블록도를 나타낸 것이다. 영상생성부에서는 정해진 영상 화면포맷과 사용자의 장면제어에 따라 각 부영상의 룩업테이블을 참조하여 실 전송화면을 구성하는 복합 룩업테이블을 생성한다. 이 복합룩업테이블에는 부영상이 존재하지 않는 배경부분에 대해서는 별도로 "배경화면을 그대로 사용"이라는 의미의 정보를 표시하도록 한다. 이를 바탕으로 영상화면포맷 상의 배경화면에 부영상 존재영역에 한하여 일차영상을 복합 룩업테이블에 의해 디워핑한 전송화면을 더하여 전송영상을 생성한 후 이를 출력부로 보낸다.

일차영상이 왜곡된 채로 전송되는 경우, 그 영상은 원격장치에서 디워핑되어야 할 필요가 있는데, 이를 위해서는 렌즈 및 센서 결합부의 왜곡 특성 정보를 담아 보낼 필요가 있다. 도 10은 그 포맷의 예이다. 왜곡특성 정보는 일차영상화면에서의 카메라 중심 위치 좌표와 렌즈의 방사대칭 왜곡함수(radially symmetric distortion)로 대표되며, 이 왜곡함수는 왜곡다항식의 계수 몇 개, 또는 왜곡함수 테이블로 표현될 수 있다.

도 24, 도 25는 왜곡특성 정보의 표현을 표로 정리한 예이다 도 24는 방사대칭형왜곡 특성을 이산테이타로 표시하는 것이고, 도 25는 왜곡특성 정보를 이차원의 다항식으로 모델화하고 그 파라메타 정보를 표시하는 예이다. 왜곡특성 정보는 일차영상을 받아 디워핑하는 기능을 가진 원격장치나 NVR에서 필요로 하는 정보로서, NVR이나 원격장치가 접속되어 그 정보를 요청하면, 카메라에서는 이를 스트림의 메타데이타로 만들어 원격장치로 전달한다. 원격장치는 메타데이타에 담긴 왜곡특성정보를 이용하여, 스스로 디워핑 룩업테이블을 생성하고, 이를 이용해 전송받은 일차영상으로부터 필요한 장면을 만들어 낸다.

메타 데이터란 촬영정보를 의미하는 것으로 카메라의 종류, 감도, 노출정보, 촬영일시 등 각종 촬영 순간의 정보를 이미지와 함께 이미지 파일 내부의 일정부분에 저장된 데이터이다. 메타 데이터는 이미지의 촬영정보를 서로 비교해볼 수도 있고, 카메라의 특성에 따른 정확한 촬영 데이터를 산출해 내는 데에도 도움이 된다.

이러한 메타 데이터로 카메라가 지상 평면에 대해서 취하고 있는 자세에 대한 정보를 담아 출력부(170)에서 출력될 수도 있다. 예를 들어, 카메라가 외부환경에 대해 정확하게 자세를 취하도록 설치하기 어려운 경우에는. 이 이러한 메타 데이터를 추정하여 데이터로 전달하면 디워핑 장치에서 장면 구성 시에 유용하게 쓰일 수 있는 것이다.

또한, 메타 데이터로 영상 생성부(130)의 전송영상이 인코딩되어 출력될 때, 렌즈 및 센서 결합부의 영상 왜곡 특성에 대한 정보를 담아 출력부(170)에서 출력될 수 있다.

이러한 영상 왜곡 특성은 카메라의 중심 위치를 나타내는 좌표, 방사대칭형 왜곡 특성, 탄젠셜 왜곡 특성 등의 정보를 모델화하여 이차원 공간에서의 다항식 계수치로 구성하여 메타 데이터화 할 수 있다.

도 24, 25의 왜곡특성 정보 표현방법은 동영상 뿐 아니라, 임의의 왜곡특성을 가진 초광각렌즈 시스템/센서 결합에 의해 획득되는 정지영상들을 임의의 장치에서 디워핑하기 위하여 필요한 정보를 표현하는 방법이 될 수 있다. 즉, 어안렌즈와 같은 초광각의 렌즈를 이용하여 획득되는 영상의 교환포맷(exchange format) 헤더 내에 상기 정보를 표현함으로써, 임의의 초광각렌즈로 획득된 영상을 임의의 장치에서 디워핑이 가능하도록 할 수 있다.

정지영상의 경우 예를 들면, 포맷이 JPEG 경우 JPEG 교환포맷(exchange format)EXIF 내의 응용 세그멘트(application segment)의 응용마커(application marker)영역에 상기 왜곡특성정보 표현 방법을 적용한다. 디워핑하고자 하는 장치에서는 Application Marker Segment 내에 담겨 있는 렌즈 및 센서 결합부의 왜곡특성 정보를 이용하여 디워핑 룩업테이블을 생성하고, 이를 이용한 공간변환을 통해 원하는 장면을 표시하게 된다.

<실시예 2> 초광각의 전방뷰 (Front view)

실시예 2는 카메라가 벽이나 기둥에 부착되어 초광각의 전방에 대한 영상을 획득, 전송하는 경우의 예이다. 기술적인 사항은 전술한 하방뷰의 예와 크게 다른 것이 없으나, 디워핑을 통해 원근뷰 를 획득할 때에 투영하는 평면에서의 수평, 수직 좌표축, 또는 원통형 파노라마뷰를 획득할 때에 원통 축의 방향과 이를 평면으로 사상할 때의 수평, 수직 좌표 축에 차이가 나게 된다.

하방뷰의 원통형 파노라마의 경우 360도 방위각 전부를 보이는 360도 파노라마까지 가능한데 비해 전방뷰의 파노라마는 렌즈시스템의 수평시야각 (예를 들어 180도) 미만이 된다.

전방뷰의 경우에도 본 발명의 실시는 하방뷰의 경우와 다를 바가 없다. 다만 일차영상에 있어서 외형은 비슷하지만, 일반적인 장면의 경우 물체의 서 있는 방향에 있어 차이가 보이는데, 하방뷰의 경우에 수직물체는 영상의 중심으로부터 방사형으로 나타나는 반면, 도 26의 전방뷰에서는 수직물체가 일반 렌즈의 카메라 촬영과 같이 대략

축에 평행하게 나타나는 차이가 있을 뿐이다.

이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

10 : 카메라 시스템, PC 및 원격장치 100 : 카메라 시스템
200 : 원격장치 300 : 퍼스널 컴퓨터(PC)
110 : 렌즈 및 센서 결합부 120 : 이미지 신호 프로세서
130 : 영상생성부 140 : 영상화면 포맷부
150 : 디워핑 룩업테이블부 160 : 룩업테이블 선택부
170 : 출력부 111 : 렌즈부
113 : 센서부 115 : 영상 샘플링부

Claims (11)

1. 외부 영상을 획득하기 위한 렌즈와 센서를 포함하는 렌즈 및 센서 결합부;
   상기 렌즈 및 센서 결합부로부터 전달된 영상을 처리하여 일차 영상을 출력하는 이미지 신호 프로세서;
   다수의 디워핑 룩업 테이블(dewarping lookup table)을 저장하고 있는 디워핑 룩업 테이블부;
   하나 이상의 부영상(sub-image)으로 구성되는 영상화면포맷을 저장하는 영상영상화면포맷부;
   상기 영상화면포맷이 정해지면, 상기 각 부영상에 대응되는 상기 디워핑 룩업테이블을 선택하는 룩업테이블 선택부;
   상기 디워핑 룩업 테이블부의 정보를 참조로 하여 상기 부영상들을 생성하고 상기 영상화면포맷에 따라 전송영상으로 변환하는 영상 생성부; 및
   상기 전송영상 또는 상기 전송영상에 관련된 메타 데이터를 부가하여 출력하는 출력부;를 포함하되,
   상기 렌즈는,
   어안 렌즈 또는 외부 영상을 왜곡하여 상을 받아들이는 렌즈인 것을 특징으로 하는 카메라 시스템.
   
2. 삭제
3. 제1항에 있어서 상기 출력부는 복수개의 스트림을 전송하는 것이 가능하며, 상기 복수개의 스트림 각각의 전송 데이터율은 약속된 룰 의해 자동으로, 또는 사용자가 임의로 조정 가능한 것을 특징으로 하는 카메라 시스템.
   
4. 제3항에 있어서 상기 출력부는,
   원격의 사용자의 선택에 따라 상기 복수개의 스트림별로 각각 상기 전송영상의 영상화면 포맷을 선택하여 출력할 수 있도록 하는 것을 특징으로 하는 카메라 시스템.
   
5. 제1항에 있어서 상기 디워핑 룩업 테이블부는,
   상기 일차영상을 바라보는 시각(viewing angle), 상기 일차영상의 화소 중 바라보이는 점의 위치 및 시야각 변화에 따라 미리 계산된 디워핑 룩업테이블과 디워핑 결과의 보간에 필요한 정보가 저장된 것을 특징으로 하는 카메라 시스템.
   
6. 제1항에 있어서 상기 영상화면 포맷부는,
   상기 각 부영상에 대응되는 디워핑 룩업 테이블의 인덱스들을 추가로 저장하는 것을 특징으로 하는 카메라 시스템.
   
7. 제1항에 있어서 상기 부영상은,
   원근 뷰(perspective view), 파노라마 뷰(panorama view) 또는 상기 외부 영상이 왜곡된 상기 일차영상인 것을 특징으로 하는 카메라 시스템.
   
8. 제1항에 있어서 상기 출력부는
   상기 전송영상 외에 카메라가 지상평면에 대해 취하고 있는 자세에 대한 정보를 메타 데이터화하여 추가로 출력하는 것을 특징으로 하는 카메라 시스템.
   
9. 제1항에 있어서 상기 출력부는,
   상기 전송영상을 인코딩하여 출력하는데, 상기 전송영상이 상기 일차영상인 경우에는 상기 렌즈 및 센서 결합부의 영상 왜곡 특성에 대한 정보를 메타 데이터(meta data)화하여 추가로 출력하는 것을 특징으로 하는 카메라 시스템.
   
10. 제9항에 있어서 상기 영상 왜곡 특성은, 상기 일차영상에 있어서의 카메라의 중심 위치를 나타내는 좌표와 방사대칭형 왜곡 또는 탄젠셜 왜곡(tangential distortion) 특성을 모델화한 이차원 공간에서의 다항식계수치로 구성된 메타 데이터인 것을 특징으로 하는 카메라 시스템.
    
11. 제1항에 있어서 상기 디워핑 룩업 테이블부는 디워핑을 위한 정수부 테이블과, 화질 개선을 위한 보간계수 테이블로 구성되되, 사용자의 필요에 따라 이들 테이블이 외부의 제어에 의해 추가 또는 변경됨을 특징으로 하는 카메라 시스템.

Images