KR20140129144A - 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체 - Google Patents

Abstract

화상 캡처링 장치는 수직 방향에서의 경사를 검출하는 경사 검출 유닛, 평면 좌표를 구면 좌표로 변환하기 위해 사용된 변환 데이터, 경사에 따라 변환 데이터를 보정하도록 구성된 보정 유닛, 복수의 화상 캡처링 유닛, 화상 캡처링 유닛에 의해 캡처된 화상 내에 포함된 복수의 화소의 평면 좌표를 보정 유닛에 의해 보정된 변환 데이터에 따라 구면 좌표로 변환하도록 구성된 좌표 변환 유닛; 및 좌표 변환 유닛에 의해 구면 좌표로 변환된 화소를 포함하는 화상들을 조합하도록 구성된 조합 유닛을 포함한다.

Description

화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체 {IMAGE CAPTURING APPARATUS, IMAGE CAPTURE SYSTEM, IMAGE PROCESSING METHOD, INFORMATION PROCESSING APPARATUS, AND COMPUTER-READABLE STORAGE MEDIUM}

본 발명은 화상 캡처링 장치, 화상 캡처 시스템, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체에 관한 것이다.

전방향에서 또는 구형으로 화상을 캡처하는 종래의 화상 캡처링 장치는 예를 들어 쌍곡면 미러 또는 어안 렌즈(fisheye lens)를 이용한다. 이들 화상 캡처링 장치는 장치에 의해 캡처된 화상이 사용자에 가시화될 수 있도록 왜곡 보정 또는 투영 변환과 같은 비선형 화상 처리를 필요로 하는 특정 광학계이다.

공지의 기술들 중 하나는 반구형 화상이 어안 렌즈를 이용하여 광각 캡처에 의해 얻어지고 왜곡된 원형 화상으로서 기록되는 것이다. 왜곡된 원형 화상의 부분은 절단되고 화상 처리가 컴퓨터에 의해 화상에 수행되고, 이에 의해 왜곡된 화상이 평면 규칙적 화상으로 변환된다.

다른 공지의 기술은, 상기 화상 처리를 수행하는 동안, 왜곡된 원형 화상의 중심 위치가 천정 방향(vertical point direction)에 정확하게 대응하지 않을 때, 사용자가 경사각의 파라미터를 지정하는 것이다. 따라서, 화상에 왜곡 보정을 수행하는 동안의 부하가 경감된다.

전술된 바와 같이, 화상 캡처링 장치가 경사지는 상태에서 화상이 캡처될 때, 잘못된 수직 방향에서 전방향 구형 화상이 발생될 수도 있다. 이 문제점을 해결하기 위한 몇몇 발명이 이미 공지되어 있다.

일본 특허 출원 공개 제2003-223633호 및 일본 특허 출원 공개 제2006-059202호는 정확한 수직 방향을 갖는 전방향 구형 화상을 발생하는 기술을 개시하고 있다. 이는 카메라의 경사에 따른 회전 변환을 비선형 화상 처리의 프로세스에 추가함으로써 성취된다.

일본 특허 출원 공개 제H11-309137호 및 일본 특허 제4175832호는 정확한 수직 방향을 갖는 전방향 구형 화상을 발생하기 위해 요구된 시간을 감소시키거나 또는 산술 연산의 비용을 감소시키기 위해, 고속으로 정확한 수직 방향을 갖는 전방향 구형 화상을 발생하는 기술을 개시하고 있다. 이 기술은 왜곡 보정 또는 투영 변환에 추가하여, 카메라의 경사에 따라 회전 변환을 추가하고, 비선형 변환을 위해 사용된 변환 테이블을 미리 준비하고, 화상을 캡처할 때 변환 테이블을 통해 일괄 변환(batch transformation)을 수행함으로써 성취된다.

그러나, 종래의 구형 화상 캡처링 장치의 구조에 의해, 사용자는 복수의 화상 캡처링 방향으로부터 동시에 캡처된 복수의 화상을 조합할 때, 조합된 화상을 평면 규칙적 화상으로 변환할 때, 그리고 최종 화상을 표시할 때 캡처 중에 장치의 경사각을 지정하도록 요구된다. 즉, 보정을 위한 필수 파라미터가 화상을 자동으로 보정하기 위해 캡처 중에 얻어질 수 없다는 문제점이 있었다.

부가적으로, 경사에 따라 변환 테이블을 통해 전방향에서 또는 구형으로 화상을 캡처하기 위한 종래에 수행된 방법에서는, 경사량 또는 배향이 변화되면, 변환 테이블은 처음부터 재구성될 필요가 있다. 이 경우에, 처리는 화상 캡처링 장치의 임의의 경사에 따라 정확한 수직 방향을 갖는 전방향 구형 화상을 발생하기 위해 비교적 장시간을 요구한다.

일본 특허 출원 공개 제H11-309137호 및 일본 특허 제4175832호는 특히 카메라의 경사에 따른 회전 변환을 포함하는 변환 테이블을 사용하여 화상을 발생하는 기술을 개시하고 있다. 변환 테이블은 미리 결정된 경사량에 대응하도록 구성된다. 이에 따라, 경사량 또는 배향이 변화되어 사전 결정된 양 또는 배향과 상이하게 되면, 변환 테이블은 처음부터 재구성될 필요가 있다. 이 경우에도, 처리는 화상 캡처링 장치의 임의의 경사에 따라 정확한 수직 방향을 갖는 전방향 구형 화상을 발생하기 위해 비교적 장시간을 여전히 요구하고, 따라서 문제점은 아직 해결되지 않았다.

따라서, 화상 캡처링 장치의 임의의 경사에 따라, 정확한 수직 방향을 갖는 전방향 구형 화상을 발생하는 것이 가능한 화상 캡처링 장치를 제공할 필요가 있다.

본 발명의 목적은 종래 기술의 문제점들을 적어도 부분적으로 해결하는 것이다.

실시예에 따르면, 수직 방향에서의 경사를 검출하도록 구성된 경사 검출 유닛; 평면 좌표를 구면 좌표로 변환하기 위해 사용된 변환 데이터; 경사에 따라 변환 데이터를 보정하도록 구성된 보정 유닛; 복수의 화상 캡처링 유닛; 화상 캡처링 유닛에 의해 캡처된 화상 내에 포함된 복수의 화소의 평면 좌표를 보정 유닛에 의해 보정된 변환 데이터에 따라 구면 좌표로 변환하도록 구성된 좌표 변환 유닛; 및 좌표 변환 유닛에 의해, 구면 좌표로 변환된 화소를 포함하는 화상들을 조합하도록 구성된 조합 유닛을 포함하는 화상 캡처링 장치가 제공된다.

본 발명의 상기 및 다른 목적, 특징, 장점 및 기술적 및 산업적 중요성이 첨부 도면과 관련하여 고려될 때, 본 발명의 현재 바람직한 실시예의 이하의 상세한 설명을 숙독함으로써 더 양호하게 이해될 것이다.

도 1은 본 발명의 실시예에 따른 화상 캡처링 장치의 전체 구조를 설명하기 위한 개략 블록도이다.
도 2는 실시예에 따른 전방향 구형 화상 캡처링 장치의 외측면도이다.
도 3은 실시예에 따른 화상 캡처링 장치의 동작을 설명하기 위한 흐름도이다.
도 4는 실시예에 따른 화상 캡처링 장치에 이용된 어안 렌즈의 투영 관계를 도시하고 있다.
도 5는 실시예에 따른 화상 캡처링 장치에 의해 캡처된 전방향 구형 화상을 위한 포맷을 도시하고 있다.
도 6은 실시예에 따른 화상 캡처링 장치에 의해 캡처된 전방향 구형 화상의 발생 처리의 개요를 도시하고 있다.
도 7은 실시예에 따른 화상 캡처링 장치에 의해 캡처된 전방향 구형 화상을 위한 변환 테이블을 도시하고 있다.
도 8은 실시예에 따른 화상 캡처링 장치에 의해 캡처된 전방향 구형 화상을 위한 변환 테이블을 통한 보정 처리의 동작을 설명하기 위한 흐름도이다.
도 9는 실시예에 따른 화상 캡처링 장치의 경사를 설명하기 위한 개략도이다.
도 10은 실시예에 따른 화상 캡처링 장치에 의해 캡처된 전방향 구형 화상에 대한 수직 보정의 계산의 예를 도시하고 있다.
도 11은 실시예에 따른 화상 캡처링 장치에 의해 캡처된 전방향 구형 화상에 대한 수직 보정의 계산의 다른 예를 도시하고 있다.
도 12는 실시예에 따른 화상 캡처링 장치에 의해 캡처된 전방향 구형 화상을 위한 변환 테이블을 통한 보정 처리의 동작을 설명하기 위한 다른 흐름도이다.
도 13은 본 발명의 다른 실시예에 따른 화상 캡처 시스템의 전체 구조를 설명하기 위한 개략도이다.
도 14는 다른 실시예에 따른 화상 캡처 시스템의 목적지 디바이스(destination device)로서 기능하는 전자 회로의 전체 구조를 설명하기 위한 개략 블록도이다.
도 15는 다른 실시예에 따른 화상 캡처 시스템의 동작을 설명하기 위한 흐름도이다.
도 16은 동시에 전방향에서 구형으로 화상을 캡처하는 다안(multi-eye) 화상 캡처링 장치의 구조를 설명하기 위한 도면이다.
도 17은 도 16에 도시되어 있는 다안 화상 캡처링 장치에서 렌즈를 통해 얻어진 화상을 설명하기 위한 도면이다.
도 18은 도 17에 도시되어 있는 화상에 왜곡 보정을 수행하고 이어서 화상들을 서로 조합함으로써 얻어진 화상을 설명하기 위한 도면이다.
도 19는 화상 캡처링 장치가 경사진 상태에 있는, 도 16에 도시되어 있는 다안 화상 캡처링 장치에 의해 캡처된 화상을 설명하기 위한 도면이다.
도 20은 경사의 고려 없이 도 19에 도시되어 있는 화상에 왜곡 보정 및 화상 조합에 의해 얻어진 화상을 설명하기 위한 도면이다.
도 21은 경사각을 측정하는 가속도 센서를 설명하기 위한 개략도이다.

본 발명에 따른 예시적인 실시예가 첨부 도면을 참조하여 이하에 설명된다. 이하의 도면 및 상세한 설명에서, 동일한 또는 등가의 구성 요소는 동일한 도면 부호에 의해 지시되고, 그 중복 설명은 적절한 바에 따라 간단화되거나 생략될 것이다. 실시예에서, 전방향 구형 화상을 발생할 때, 전방향 구형 화상 캡처링 장치는 수직 방향을 검출하고, 수직 방향에 따른 화상 처리를 위해 사용된 변환 테이블을 보정한다. 실시예에서, 전방향 구형 화상은 보정된 변환 테이블을 통해 발생된다. 이에 따라, 변환 테이블은 처음부터 재구성될 필요가 없고, 이에 의해 처리 시간을 감소시킨다. 화상 캡처링 장치는 디지털 카메라와 같은 자립형 장치를 나타내고, 화상 캡처 시스템은 디지털 카메라 및 정보 처리 장치와 같은 복수의 장치가 개별적으로 이용되는 시스템을 나타낸다. 실시예에서, 달리 지시되지 않으면, 화상 캡처링 장치는 화상 캡처 시스템을 개념적으로 포함한다.

동시에 전방향에서 구형으로 화상을 캡처하는 다안 화상 캡처링 장치가 이제 설명될 것이다. 도 16은 동시에 전방향에서 구형으로 화상을 캡처하는 다안 화상 캡처링 장치의 구조를 설명하기 위한 도면이다. 동시에 전방향에서 구형으로 화상을 캡처하기 위해 도 16에 도시되어 있는 바와 같이 복수의 광각 렌즈를 이용하는 화상 캡처 시스템이 준비된다.

예를 들어, 도 16의 좌측에 도시되어 있는 다안 화상 캡처링 장치는 180도 이상의 시야각을 갖는 어안 렌즈(초광각 렌즈)를 이용한다. 다안 화상 캡처링 장치는 동시에 전방향에서 구형으로 화상을 캡처하기 위해 적어도 2안(two-eye) 구조(2개의 상이한 화상 캡처링 방향을 갖는 화상 캡처 렌즈)를 요구한다. 화상 왜곡이 가능한 한 많이 감소될 필요가 있으면, 화상 캡처 렌즈의 수는 예를 들어 도 16의 우측에 도시되어 있는 바와 같이 다안 화상 캡처링 장치를 위해 4안(four-eye) 구조를 이용함으로써 증가될 수도 있다. 이 구조에 의해, 단지 높은 화상 품질을 갖는 중심부만이 화상 왜곡을 감소시키도록 선택적으로 사용된다. 4안 구조를 갖는 이 화상 캡처링 장치에서, 각각의 렌즈는 90도 이상, 바람직하게는 약 100도의 시야각을 갖는 것이 추천된다.

2안 구조를 갖는 화상 캡처링 장치가 설명의 편의를 위해 이하에 설명될 것이다. 그러나, 본 발명의 기본 사상은 도 16의 우측에 도시되어 있는 4안 구조를 갖는 화상 캡처링 장치에 적용될 수도 있다.

화상 캡처링 장치에서, 수직 방향에서 화상 캡처링 장치의 중심축은 구의 수직축에 대응한다. 구체적으로, 2개의 어안 렌즈의 각각을 통해 얻어진 화상은 도 17에 도시되어 있는 바와 같이 제시된다. 도 17은 도 16의 좌측에 도시되어 있는 2안 화상 캡처링 장치 내의 렌즈를 통해 얻어진 화상을 설명하기 위한 도면이다. 전술된 바와 같이, 화상은 화상 캡처링 장치의 사용자에 의해 인식된 천정 및 수평선이 화상 캡처링 장치의 천정 및 수평선에 대응하도록 캡처된다.

도 17에 도시되어 있는 180도의 경계선이 설명될 것이다. 2개의 렌즈(2개의 화상 캡처링 방향)를 포함하는 화상 캡처 시스템에서, 2개의 화상은 화상이 서로 중첩된 필드를 갖도록 캡처된다. 화상들은 중첩된 필드를 이용하여 조합된다. 180도의 경계선의 외측부는 중첩된 필드이다. 따라서, 2개의 렌즈가 화상 캡처링 장치를 위해 이용될 때, 렌즈는 중첩된 필드를 제공하기 위해 180도 이상, 바람직하게는 약 190도의 시야각을 갖는다. 4개의 렌즈가 화상 캡처링 장치를 위해 이용될 때, 렌즈는 적절한 중첩된 필드를 제공하기 위해 약 100도의 시야각을 갖는다.

도 16의 우측에 도시되어 있는 4개의 렌즈를 이용하는 구조에 의해 그리고 화상 캡처링 장치가 정학하게 직립하고 있는 상태에서 화상이 캡처될 때, 수평선은 전술된 동일한 방식으로 단지 수평으로만 캡처된다. 장치를 사용하는 화상 캡처링 사람에 의해 인식되는 천정의 위치는 화상 캡처링 장치의 수직점의 위치에 대응한다. 전술된 기술은 조합된 화상에 왜곡 보정을 수행하기 위해 캡처된 화상을 조합하기 위해 널리 알려져 있다.

예를 들어, 왜곡 보정이 복수의 화상에 수행되고 화상이 메르카토르 도법(Mercator projection)에서와 동일한 방식으로 서로 조합될 때, 도 18에 도시되어 있는 화상이 얻어진다. 도 18은 도 17에 도시되어 있는 화상에 왜곡 보정을 수행하고 이어서 화상들을 서로 조합함으로써 얻어진 화상을 설명하기 위한 도면이다.

화상 캡처링 장치가 정확하게 직립하도록 배치되고 화상이 장치를 경사시키지 않고 캡처될 때, 왜곡 보정 및 조합이 캡처된 화상에 간단히 수행된 후에 도 18에 도시되어 있는 바와 같은 직선 수평선을 갖는 정확한 화상이 얻어질 수 있다. 구체적으로, 화상은 예를 들어 화상 캡처링 장치를 특정 리테이너에 고정하고 수준기(level)를 사용하여 장치의 수평선 및 수직 라인을 조정할 때 정확한 수직 방향으로 캡처될 수 있다.

도 19는 화상 캡처링 장치가 경사진 상태에 있는, 도 16의 우측에 도시되어 있는 다안(2안) 화상 캡처링 장치에 의해 캡처된 화상을 설명하기 위한 도면이다. 사람이 손(들)으로 화상 캡처링 장치를 유지할 때, 화상을 수평으로 그리고 수직으로 캡처하는 것은 일반적으로 어렵다. 도 19는 이러한 상태에서 캡처된 화상을 예시하고 있다. 도 19에 도시되어 있는 바와 같이, 화상의 천정은 서로 대응하지 않고, 화상의 수평선은 왜곡된다. 전술된 바와 같이, 왜곡 보정 및 조합이 경사의 고려 없이, 화상 캡처링 장치가 경사진 상태에서 캡처된 화상에 수행되면, 도 20에 도시되어 있는 바와 같이, 도 19에 예시되어 있는 왜곡이 직접적으로 반영되는 화상이 얻어진다.

왜곡 보정 및 조합이 경사의 고려 없이, 화상 캡처링 장치가 경사진 상태에서 캡처된 화상에 수행되면, 수평선은 도 20에 도시되어 있는 바와 같이 삼각함수의 그래프와 같이 굴곡된다. 게다가, 화상의 직교성이 파괴된다. 이들 문제점을 회피하기 위해, 수직 방향에서의 경사각을 고려하여 보정이 수행되어야 한다.

경사각의 측정의 원리가 이제 도 21을 참조하여 설명될 것이다. 도 21은 경사각을 측정하는 가속도 센서를 설명하기 위한 개략도이다.

도 21에 도시되어 있는 바와 같은 가속도 센서는 중력 가속도 센서를 사용하여 화상 캡처링 장치가 수직 방향으로 얼마나 경사져 있는지를 측정하기 위해 화상 캡처링 장치 내에 매립된다.

도 21은 단축 가속도 센서를 사용하여 각도를 얻는 개요를 도시하고 있다. 이는 설명을 간단화하기 위해 이용된다. 도 21에서, 센서는 2안 구조의 렌즈 표면의 중심축을 포함하는 평면 내의 화상 캡처링 장치의 경사만을 얻는다. 그러나, 사용자가 실제로 화상을 캡처할 때, 화상은 전술된 바와 같이 평면으로부터 이탈각으로부터 캡처될 수도 있다. 이 문제점을 해결하기 위해, 3축 가속도 센서가 렌즈 표면의 중심 평면을 포함하는 평면으로부터 이탈각을 측정하기 위해 이용된다.

실시예에 따른 화상 캡처링 장치가 이제 상세히 설명될 것이다. 도 1은 본 발명의 실시예에 따른 화상 캡처링 장치의 전기 회로의 전체 구조를 설명하기 위한 개략 블록도이다. 도 1에 도시되어 있는 바와 같이, 이 화상 캡처링 장치(이하, 또한 디지털 카메라 칭함)(100)에서, 화상 캡처링 소자 1(도면 부호: 109), 화상 캡처링 소자 2(도면 부호: 110), 동기식 동적 랜덤 액세스 메모리(SDRAM)(111), 외부 저장 디바이스(112), 및 가속도 센서(113)가 제어기(10)에 결합된다.

실시예에서, 2개의 캡처링 소자(즉, 2안 구조)가 전방향성 화상을 얻기 위해 이용되지만, 3개 이상의 캡처링 소자가 이용될 수도 있다. 3개의 캡처링 소자가 이용될 때, 도 2를 참조하여 설명될 화상 캡처링 소자에 대응하는 렌즈는 180도 이상의 시야각을 요구하지 않는다. 렌즈의 다른 시야각이 적절한 바에 따라 이용될 수도 있다. 어안 렌즈를 포함하는 광각 렌즈는 통상적으로 렌즈에 대해 이용된다. 화상 캡처링 장치는 전방향성 화상 캡처링 장치에 한정되는 것은 아니다. 수평 방향에서 360도를 커버하는 화상을 캡처하는 것이 가능한 다른 화상 캡처링 장치가 사용될 수도 있다.

제어기(10)는 중앙 처리 유닛(CPU)(101), 정적 RAM(SRAM)(102), 판독 전용 메모리(ROM)(103), 화상 처리 블록(104), SDRAM 인터페이스(I/F)(105), 외부 저장 디바이스 I/F(106), 및 외부 센서 I/F(107)를 포함한다.

실시예의 설명에서, 화상 처리 블록(104)은 왜곡 보정 및 화소 결함 보정과 같은 통상의 화상 처리를 수행하고, CPU는 사전 결정된 테이블 또는 컴퓨터 프로그램을 판독하여, 이에 의해 디지털 카메라(100)의 경사에 따라 수직 방향에서 보정 처리를 수행한다. 그러나, 화상 처리 블록(104)은 수직 방향에서 보정 처리를 수행할 수도 있다는 것이 이해되어야 한다.

캡처 중에, 디지털화된 화상 데이터의 조각이 화상 캡처링 소자 1(도면 부호: 109) 및 화상 캡처링 소자 2(도면 부호: 110)를 통해 제어기(10)의 화상 처리 블록(104)에 입력된다. 화상 데이터 입력의 조각은 예를 들어 화상 처리 블록(104), CPU(101), SRAM(102), 및 SDRAM(111)을 사용하여 화상 처리되고, 마지막으로 외부 저장 디바이스(112)에 저장된다. 외부 저장 디바이스의 예는 CompactFlash(등록 상표명) 또는 Secure Digital(SD) 메모리를 포함한다.

제어기(10)에서, 외부 디바이스에 접속을 위한 범용 직렬 버스(USB) 접속 인터페이스 또는 네트워크에 접속을 위한 유선 또는 무선 네트워크 I/F가 제공될 수도 있다. 이하에 설명될 변환 테이블, 변환 테이블용 보정 처리 프로그램, 및 수직 보정의 계산을 위한 처리 프로그램이 SRAM(102) 또는 SDRAM(111)에 저장된다.

가속도 센서(113)는 캡처 중에 디지털 카메라(100)의 경사를 검출하기 위해 사용된다. 이는 디지털 카메라의 경사 방향의 순간적으로 그리고 즉시 검출을 가능하게 한다.

가속도 센서(113)는 서로 수직인 3개의 방향, 즉 상하 방향, 좌우 방향, 및 전후 방향에서 디지털 카메라(100)의 가속도를 검출하는 3축 가속도 센서이다. 사용자가 디지털 카메라(100)가 정지 상태가 되도록 그 손(들)으로 디지털 카메라(100)를 유지할 때, 가속도 센서(113)는 단지 중력 가속도만을 검출한다.

가속도가 상하 방향에서 단지 하향 방향에서만 검출될 때, 디지털 카메라(100)의 상하 방향은 지면에 대해 상하 방향에 대응하는 것으로 판명된다. 달리 말하면, 디지털 카메라는 디지털 카메라를 일반적으로 작동하는 동일한 방식으로 수평으로 유지되는 것이 알려져 있다.

화상 캡처링 장치가 상하 방향으로 경사질 때, 가속도 센서(113)는 실제 경사 방향에 따라 좌우 방향 및 전후 방향에서 가속도를 검출한다. 디지털 카메라(100)의 경사각은 상하 방향, 좌우 방향, 및 전후 방향에서 가속도의 크기에 따라 얻어질 수 있다.

전방향 구형 화상 캡처링 장치가 이제 설명될 것이다. 도 2는 실시예에 따른 전방향 구형 화상 캡처링 장치의 외측면도이다.

본 실시예는 캡처점으로부터 전방향에서 화상을 캡처하는 것이 가능한 전방향 구형 화상 캡처링 장치를 사용하여 전방향 구형 화상을 발생하는 것을 목적으로 한다. 즉, 전방향 구형 화상 캡처링 장치(디지털 카메라)는 캡처점으로부터 볼 때 전방향에서 화상을 캡처할 수 있다.

전방향 구형 화상 캡처링 장치로서 기능하는 디지털 카메라(100)(도 1에 도시되어 있음)는 2개의 캡처링 소자 1(도면 부호: 109) 및 화상 캡처링 소자 2(도면 부호: 110)를 통해 화상을 캡처한다. 각각의 캡처링 소자는 180도를 초과하는 시야각을 갖는 광각 렌즈의 예로서 어안 렌즈를 갖는다. 이들 2개의 어안 렌즈를 통해 캡처된 화상은 서로 중첩된 필드를 갖는다. 왜곡 보정과 같은 사전 결정된 화상 처리가 화상에 수행되고, 최종 화상은 변환되고, 이어서 서로 조합되어, 이에 의해 전방향 구형 화상을 발생한다.

실시예에 따른 전방향 구형 화상 캡처링 장치의 동작이 이제 설명될 것이다. 도 3은 실시예에 따른 화상 캡처링 장치의 동작을 설명하기 위한 흐름도이다. 캡처된 화상이 입력될 때의 시간으로부터 화상이 외부 저장 디바이스(112)(도 1)에 저장될 때의 시간까지 전방향 구형 화상 캡처링 장치의 동작에 대한 설명이 도 3을 참조하여 제공될 것이다.

가속도 센서(113)는 단계(이하, "S"라 나타냄) 301에서 디지털 카메라(100)의 경사각을 검출한다. S302에서, 제어기(10)는 예를 들어 S301에서 검출된 디지털 카메라(100)의 경사각에 따라 SDRAM(111)에 저장된 변환 테이블을 판독한다. 제어기(10)는 이어서 사전 결정된 보정 방법에서 변환 테이블을 보정한다. 변환 테이블을 위한 보정 방법이 이하에 설명될 것이다.

S303에서, 화상 캡처링 소자 1(도면 부호: 109) 및 화상 캡처링 소자 2(도면 부호: 110)를 통해 캡처된 2개의 디지털화된 어안 화상이 화상 처리 블록(104)에 입력된다. 화상 처리 블록(104)은 왜곡 보정과 같은 통상의 화상 처리를 수행한다. S304에서, 제어기(10)는 S302에서 보정된 변환 테이블을 사용하여 2개의 캡처된 어안 화상(도 17에 도시되어 있는 화상과 같은)을 변환한다. 변환 방법은 이하에 설명될 것이다.

S305에서, 제어기(10)는 S304에서 변환된 2개의 화상 사이의 중첩된 필드를 이용하여 합성된 전방향 구형 화상을 발생한다. S306에서, 제어기(10)는 S305에서 발생된 전방향 구형 화상을 외부 저장 디바이스 I/F(106)를 통해 외부 저장 디바이스(112) 내에 저장한다.

어안 렌즈의 투영 관계가 이제 실시예에 따라 디지털 카메라에 이용된 광각 렌즈의 예로서 설명될 것이다. 도 4는 실시예에 다른 디지털 카메라에 이용된 어안 렌즈의 투영 관계를 도시하고 있다. 도 4(a)는 어안 렌즈의 외측면도이고, 도 4(b)는 캡처된 화상의 평면도에서 투영 함수(f)를 도시하고 있다.

도 17은 캡처 위치로부터 볼 때 거의 반구형 장면의 캡처된 화상인 180도 초과의 시야각을 갖는 어안 렌즈를 통해 캡처된 화상을 도시하고 있다. 도 4의 (a) 및 (b)에 도시되어 있는 바와 같이, 화상은 입사각(θ)에 따른 화상 높이(h)를 갖고 발생된다. 입사각(θ)과 화상 높이(h)의 관계는 투영 함수(f)[h=f(θ)]에 의해 정의된다. 투영 함수는 어안 렌즈의 특성에 따라 변한다.

투영 변환의 기술(함수)의 예는 중심 투영, 입체 투영, 등거리 투영, 등위체각 투영, 및 정사 투영을 포함한다. 중심 투영은 통상의 시야각을 포함하는 디지털 카메라를 사용하여 화상을 캡처할 때 이용된다. 상기 다른 4개의 방법이 어안 렌즈와 같은 초광각 시야각을 갖는 광각 렌즈를 포함하는 디지털 카메라에 이용된다.

이제 실시예에 따른 디지털 카메라에 의해 캡처된 전방향 구형 화상의 포맷(식의 형태)이 설명될 것이다. 도 5는 실시예에 따른 디지털 카메라에 의해 캡처된 전방향 구형 화상의 포맷을 도시하고 있다. 도 5(a)는 평면 포맷을 도시하고 있고, 도 5(b)는 구형 포맷을 도시하고 있다.

도 5(a)는 전방향 구형 화상을 평면 좌표로 전개하기 위한 포맷을 도시하고 있다. 도 5(b)에 도시되어 있는 바와 같이, 평면 포맷은 0 내지 360도의 수평각 및 0 내지 180도의 수직각을 갖는 각도 좌표에 대응하는 화소값을 포함하는 화상이다. 각도 좌표는 지구 상의 위도 및 경도와 유사한, 도 5(b)에 도시되어 있는 바와 같은 구면 좌표에서의 점들에 관련된다.

어안 렌즈를 통해 캡처된 화상의 평면 좌표 및 전방향 구형 화상의 구면 좌표는 도 4에 도시되어 있는 투영 함수(f)[h=f(θ)]를 사용하여 서로 관련될 수 있다. 이는 어안 렌즈를 통해 캡처된 2개의 화상의 변환 및 최종 화상의 조합(합성)을 가능하게 하여, 이에 의해 도 5(a) 및 (b)에 도시되어 있는 바와 같이 전방향 구형 화상을 발생한다.

전방향 구형 화상을 발생하는 프로세스가 이제 어안 렌즈를 통해 캡처된 실제 화상을 참조하여 설명될 것이다. 도 6은 실시예에 다른 디지털 카메라에 의해 캡처된 전방향 구형 화상의 발생 처리의 개요를 도시하고 있다. 도 6(a1) 및 (a2)는 2개의 어안 렌즈를 통해 캡처링 소자로 캡처된 화상이고, 도 6(b1) 및 (b2)는 변환 테이블을 통해 변환된 화상[도 5(a)에 대응함]이고, 도 6(c)는 2개의 변환된 화상을 조합(합성)함으로써 발생된 화상[도 5(b)에 대응함]이다.

도 17에 또한 개략적으로 도시되어 있는 2개의 어안 렌즈를 통해 캡처링 소자에 의해 캡처된 도 6(a1) 및 (a2)에 도시되어 있는 각각의 화상은 도 6(b1) 및 (b2)에 도시되어 있는 화상으로 변환된다. 이 변환은 도 3에 도시되어 있는 S304에서의 처리, 즉 보정된 변환 테이블이 사용되는 화상 변환 처리를 통해 수행된다. 이 시점에, 도 6(b1) 및 (b2)에 도시되어 있는 화상은 도 5(a)에 도시되어 있는 화상에 대응하는 전방향 구형 화상 포맷에 대응 방식으로 제시된다.

그 후에, 도 3에 도시되어 있는 S305에서의 처리가 수행된다. 구체적으로, 2개의 변환된 화상이 조합되어, 이에 의해 전방향 구형 화상을 발생한다. 더 구체적으로, 2개의 변환된 화상은 주요부로서 도 6(b1) 및 (b2)에 도시되어 있는 화상의 중첩된 필드를 사용하여 중첩되고 합성되고, 이에 의해 도 6(c)에 도시되어 있는 화상, 즉 전방향 구형 화상이 발생된다.

도 3에 도시되어 있는 S304에서 변환 테이블을 위한 보정 방법이 이제 설명될 것이다. 도 7은 실시예에 따른 디지털 카메라에 의해 캡처된 전방향 구형 화상을 위한 변환 테이블을 도시하고 있다.

도 7(a)는 변환전 화상 및 변환후 화상의 좌표의 행렬을 표현하는 변환 테이블을 설명하기 위한 도면이다. 도 7(b) 및 (c)는 변환전 화상의 좌표[도 7(b)] 및 변환후 화상의 좌표[도 7(c)]의 대응 관계를 설명하기 위한 도면이다.

도 7(a)는 도 3에 도시되어 있는 S304에서 화상 처리를 위해 사용된 변환 테이블을 도시하고 있다. 변환 테이블은 변환후 화상의 모든 좌표에 대해, 변환후 화상의 화소값의 좌표(θ, φ)와 변환전 화상의 화소값의 대응 좌표(x, y)의 데이터 세트를 포함한다. 여기서 변환 테이블은 관형 데이터 구조를 표현하지만, 변환 데이터이기만 하면 다른 구조가 사용될 수도 있다.

변환후 화상은 도 7(a)에 도시되어 있는 변환 테이블에 따라 캡처된 화상(변환후 화상)으로부터 발생된다. 구체적으로, 도 7(b) 및 (c)에 도시되어 있는 바와 같이, 변환후 화상 내의 화소는 변환 테이블[도 7(a)] 내의 변환전 화상과 변환후 화상 사이의 대응 관계에 기초하여 변환전 화상 내의 좌표에서의 대응 화소값을 참조함으로써 발생된다.

이제, 디지털 카메라의 경사에 따라, 실시예에 따른 디지털 카메라에 의해 캡처된 전방향 구형 화상을 위한 변환 테이블을 보정하는 처리에 대한 설명이 제공될 것이다. 도 8은 실시예에 따른 화상 캡처링 장치에 의해 캡처된 전방향 구형 화상을 위한 변환 테이블에 대한 보정 처리의 동작을 설명하기 위한 흐름도이다.

S801에서, 제어기(10)는 가속도 센서(113)(도 1)에 의해 검출된 디지털 카메라(100)의 경사값에 따른 카메라 경사 파라미터(α, β)를 얻는다. 카메라 경사 파라미터(α, β)의 α 및 β는 이하에 설명될 회전각을 표현한다.

S802에서, 변환 테이블의 입력값(θ1, φ1)이 설정된다. 도 8에서, (θ, φ)로부터 차별화되도록, 카메라 좌표계의 값들은 (θ0, φ0)으로서 제시되고, 지구 좌표계의 값들은 (θ1, φ1)로서 제시되는 데, 이들은 좌표계에 의존하는 파라미터값들이다.

S803에서, 지구 좌표계의 입력값(θ1, φ1)은 제어기(10)에 의한 수직 보정의 계산을 통해 카메라 좌표계의 값(θ0, φ0)으로 변환된다. 이 수직 보정의 계산이 이하에 설명될 것이다.

S804에서, 카메라 좌표계의 변환된 값(θ0, φ0)은 아직 보정되지 않은 변환 테이블[도 7(a)]을 통해 변환전 화상의 좌표(x, y)로 변환된다. 정확한 전방향 구형 화상을 발생하기 위한 변환 테이블이 미리 제공될 필요가 있다는 것이 주목되어야 한다. 정확한 전방향 구형 화상은 캡처 중에 경사지지 않는 카메라의 조건 하에서 발생한다. 정확한 전방향 구형 화상을 발생하기 위한 변환 테이블은 SRAM 또는 SDRAM과 같은 사전 결정된 저장 유닛 내에 저장될 필요가 있다.

S805에서, 제어기(10)는 지구 좌표계의 입력값(θ1, φ1) 및 상기에서 최종적으로 계산된, 아직 보정되지 않은 좌표(x, y)를 미리 보정된 변환 테이블 내에 서로 대응하는 좌표의 세트로서 저장한다.

S806에서, 제어기(10)는 임의의 미처리 입력값(θ1, φ1)이 남아 있는지 여부를 판정한다. 달리 말하면, 제어기(10)는 아직 보정되지 않은 대응 좌표(x, y)가 계산되지 않은 지구 좌표계의 임의의 미처리 입력값(θ1, φ1)이 남아 있는지 여부를 판정한다. 제어기(10)가 미처리 입력값(θ1, φ1)이 남아 있다고 판정하면(S806에서, 예), 처리는 지구 좌표계의 입력값(θ1, φ1)이 다음의 값으로서 설정되도록 S802로 복귀된다.

제어기(10)가 어떠한 미처리 입력값(θ1, φ1)도 남아 있지 않다고 판정하면(S806에서 아니오), 처리는 종료한다. 이 경우에, 제어기(10)는 좌표로서 지구 좌표계의 입력값(θ1, φ1)을 갖는 전방향 구형 화상의 포맷으로 화소에 대응하는 아직 보정되지 않은 좌표(x, y)의 계산을 완료한다.

실시예에 따른 디지털 카메라(100)의 경사가 이제 설명될 것이다. 도 9는 실시예에 따른 화상 캡처링 장치의 경사를 설명하기 위한 개략도이다.

도 9에서, 수직 방향은 지구 좌표계의 3차원(x, y, z) 데카르트 좌표에서의 z-축에 대응한다. 이 방향이 도 9에 도시되어 있는 디지털 카메라의 수직 방향에 대응할 때, 카메라는 경사지지 않은 상태에 있다. 방향이 디지털 카메라의 수직 방향에 대응하지 않을 때, 디지털 카메라는 경사진 상태에 있다.

중력 벡터의 경사각(α) 및 xy 평면의 구배각(β)은 가속도 센서의 출력을 사용하여 이하의 식으로부터 얻어진다. 식에서, Ax는 가속도 센서의 카메라 좌표계의 x0-축 방향에서 성분값을 나타내고, Ay는 가속도 센서의 카메라 좌표계의 y0-축 방향에서 성분값을 나타내고, Az는 가속도 센서의 카메라 좌표계의 z0-축 방향에서 성분값을 나타낸다.

수직 보정의 계산이 이제 설명될 것이다. 도 10(a) 및 도 10(b)는 실시예에 따른 디지털 카메라에 의해 캡처된 전방향 구형 화상에 대한 수직 보정의 계산의 예를 설명하기 위한 도면이다. 도 10(a)는 카메라 좌표계를 도시하고 있고, 도 10(b)는 지구 좌표계를 도시하고 있다.

도 10에서, 지구 좌표계의 3차원 데카르트 좌표는 (x1, y1, z1)으로서 제시되고, 지구 좌표계의 구면 좌표는 (θ1, φ1)으로서 제시된다. 게다가, 카메라 좌표계의 3차원 데카르트 좌표는 (x0, y0, z0)로서 제시되고, 카메라 좌표계의 구면 좌표는 (θ0, φ0)로서 제시된다.

구면 좌표(θ1, φ1)는 도 10에 도시되어 있는 식을 통해 구면 좌표(θ0, φ0)로 변환된다. 경사를 보정하기 위해, 3차원 데카르트 좌표는 먼저 회전 변환을 수행하는 데 사용되어, 따라서 구면 좌표(θ1, φ1)가 도 0에 도시되어 있는 식 (1) 내지 (3)을 통해 3차원 데카르트 좌표(x1, y1, z1)로 변환된다.

그 후에, 카메라 경사 파라미터(α, β)가 도 10에 도시되어 있는 회전 좌표 변환[식 (4)]을 통해 지구 좌표계의 좌표(x1, y1, z1)를 카메라 좌표계의 좌표(x0, y0, z0)로 변환하는 데 사용된다. 달리 말하면, 이 식[도 10에 도시되어 있는 식 (4)]은 카메라 경사 파라미터(α, β)의 정의이다.

이는 카메라 좌표계가 z-축 주위로 α만큼 지구 좌표계를 회전시키고, 이어서 x-축 주위로 β만큼 지구 좌표계를 회전시킴으로써 얻어진다는 것을 의미한다. 마지막으로, 카메라 좌표계의 3차원 데카르트 좌표(x0, y0, z0)는 도 10에 도시되어 있는 식 (5) 및 (6)을 통해 카메라 좌표계의 구면 좌표(θ0, φ0)로 재차 변환된다.

수직 보정의 계산의 다른 예가 이제 설명될 것이다. 도 11은 실시예에 따른 디지털 카메라에 의해 캡처된 전방향 구형 화상에 대한 수직 보정의 계산의 다른 예를 도시하고 있다. 도 11(a)는 카메라 좌표계를 도시하고 있고, 도 11(b)는 지구 좌표계를 도시하고 있다.

본 실시예에서, 수직 보정의 계산이 가속화된다. 실시예에 따른 전술되고 도 10에 도시되어 있는 식 (1) 내지 (6)은 도 11에 도시되어 있는 식 (7) 내지 (14)로서 제시될 수도 있다.

구체적으로, z-축 주위의 회전(α) 및 회전(γ)은 구면 좌표((θ, φ)의 자체 회전(θ)이다. 회전 변환을 위한 계산은 데카르트 좌표계로 변환하지 않고, 간단한 가산 또는 감산 연산으로 수행될 수 있고, 이에 의해 계산을 가속화한다. 이에 따라, 데카르트 좌표계로의 변환은 x-축 주위의 회전(β)의 회전 변환을 위해서만 요구된다. 이는 계산을 가속화한다.

디지털 카메라의 경사에 따라, 실시예에 따른 디지털 카메라에 의해 캡처된 전방향 구형 화상을 위한 변환 테이블을 보정하는 다른 처리에 대한 설명이 이제 제공될 것이다. 도 12는 실시예에 다른 화상 캡처링 장치에 의해 캡처된 전방향 구형 화상을 위한 변환 테이블을 통한 보정 처리의 동작을 설명하기 위한 다른 흐름도이다.

본 실시예에서, 변환 테이블에 대한 보정 처리가 가속화될 수 있다. 도 11에 도시되어 있는 실시예에서, 변환 테이블에 대한 보정 처리가 수직 보정의 계산을 가속화하면서 수행된다. 대조적으로, 수직 보정의 계산은 본 실시예에서 계산을 가속화하기 위해 생략된다.

도 12를 참조하여, 변환 테이블에 대한 보정 처리가 설명될 것이다. S1201에서, 카메라 경사 파라미터(α, β)가 얻어진다. 이 처리는 도 8에 도시되어 있는 S801에서의 처리와 동일하다.

S1202에서, 카메라 경사 파라미터(α, β)의 값에 대응하는 변환 테이블이 얻어지고, 이어서 처리가 종료한다. 구체적으로, 수직 보정의 계산은 변환 테이블이 카메라 경사 파라미터(α, β)에 따라 상이한 값을 제공하도록 복수의 변환 테이블을 저장함으로서 생략된다.

카메라 경사 파라미터(α, β)는 원리적으로 3차원 실벡터(real vector)이다. 변환 테이블이 특정 카메라 경사 파라미터(α, β)에 대해서만 제공되고 검출된 카메라 경사 파라미터(α, β)에 가장 근접한 변환 테이블이 사용되면, 모든 파라미터는 제공된 테이블로 커버된다. 대안적으로, 검출된 카메라 경사 파라미터(α, β)에 근접한 복수의 테이블이 추출되고 가중 또는 차이 획득과 같은 보간 연산이 또한 유효하다. 이는 비교적 간단한 보간 연산에 의해서만 변환 테이블의 보정을 가능하게 하여, 이에 의해 연산에 대한 처리를 억제한다.

다른 실시예에 따른 화상 캡처 시스템의 전체 구조가 이제 설명될 것이다. 도 13은 본 발명의 실시예에 따른 화상 캡처 시스템의 전체 구조를 설명하기 위한 개략 블록도이다. 전술된 실시예에서, 경사 보정이 구형 화상 캡처링 장치(디지털 카메라)에 수행되지만, 경사 보정은 구형 화상 캡처링 장치에 수행되는 것에 한정되지 않는다.

도 13에 도시되어 있는 바와 같이, 유선 또는 무선 통신 기능이 컴퓨터 또는 휴대용 정보 단말(예를 들어, 스마트폰, 태블릿, 퍼스널 컴퓨터)과 같은 화상 처리를 수행하는 것이 가능한 정보 처리 장치를 얻기 위해 구형 화상 캡처링 장치에 추가된다. 보정 전의 화상은 화상 처리 장치에 전송되고, 경사를 보정하기 위한 처리가 목적지 정보 처리 장치(목적지 디바이스)에서 수행될 수 있다.

그러나, 경사 보정 처리는 구형 화상 캡처링 장치에 대한 경사 정보를 요구한다. 구형 화상 캡처링 장치에 대한 경사 정보는 단지 화상 캡처링 장치 자체에서만 검출될 수 있고, 따라서 경사 정보가 보정 전에 화상과 함께 전송될 필요가 있다. 변환 테이블은 구형 화상 캡처링 장치 내에 저장되고 화상과 함께 전송될 수도 있다. 대안적으로, 변환 테이블은 캡처링을 위한 준비로서 미리 목적지 디바이스에 전송될 수도 있다(예를 들어, 목적지 디바이스가 화상 캡처링 장치를 인식할 때 또는 화상 캡처링 장치가 목적지 디바이스를 인식할 때).

변환 테이블은 매회 화상과 함께 전송될 필요는 없다. 변환 테이블은 목적지 디바이스가 변환 테이블을 요청할 때 전송될 수도 있고 또는 변환 테이블이 최후의 변환 테이블인지 여부를 검사한다. 게다가, 변환 테이블은 화상 캡처링 장치로부터 반드시 전송되지 않을 수도 있다. 예를 들어, 변환 테이블은 목적지 디바이스 내에 다운로드되고 저장되도록 화상 캡처링 장치를 판매하는 제조업자의 웹사이트로 업로드될 수도 있다. 화상 캡처링 장치로부터 전송된 변환 테이블은 화상 캡처링 장치에 적합하도록 맞춤화될 수도 있다.

다른 실시예에 따른 화상 캡처 시스템에서 목적지 디바이스(200)에 대한 설명이 이제 제공될 것이다. 도 14는 다른 실시예에 따른 화상 캡처 시스템의 목적지 디바이스(200)의 전자 회로의 전체 구조를 설명하기 위한 개략 블록도이다. 도 14에서, SDRAM(1411) 및 외부 저장 디바이스(1412)는 제어기(140)에 결합된다.

제어기(140)는 CPU(1401), SRAM(1402), ROM(1403), 화상 처리 블록(1404), SDRAM I/F(1405), 및 외부 저장 디바이스 I/F(1406)를 포함한다. 제어기(140)는 외부 디바이스에 접속을 위한 USB 접속 인터페이스(1407) 및 네트워크에 접속을 위한 유선 또는 무선 네트워크 I/F(1408)를 또한 포함한다.

상기 실시예의 설명에서, 화상 처리 블록(1404)은 왜곡 보정 및 화소 결함 보정과 같은 통상의 화상 처리를 수행하고, CPU(1401)는 사전 결정된 테이블 또는 컴퓨터 프로그램을 판독하고, 이에 의해 디지털 카메라(100)의 경사에 다른 수직 방향에서의 보정 처리를 수행한다. 그러나, 화상 처리 블록(1404)은 수직 방향에서 보정 처리를 수행할 수도 있다는 것이 이해되어야 한다.

다른 실시예에 다른 화상 캡처 시스템의 동작이 이제 설명될 것이다. 도 15는 다른 실시예에 따른 화상 캡처 시스템의 동작을 설명하기 위한 흐름도이다. 도 15는 캡처된 화상이 입력된 후에, 화상이 목적지 디바이스의 저장 유닛에 저장되는 것을 도시하고 있다.

처리는 먼저 디지털 카메라(100)에서 수행된다. S1501에서, 디지털 카메라(100)의 경사각은 가속도 센서(113)(도 1)에 의해 검출된다. S1502에서, 2개의 어안 화상(도 17에 도시되어 있는 바와 같은)이 제어기(10)에 의해 휴대용 정보 단말 또는 컴퓨터와 같은 목적지 디바이스(200)에 전송된다. 어안 화상은 화상 캡처링 소자 1(도면 부호: 109) 및 화상 캡처링 소자 2(도면 부호: 110)로 캡처되어 있고 디지털화된다. 상기 전송은 도 13에 도시되어 있는 바와 같이 USB 접속 인터페이스(1407) 또는 네트워크 I/F(1408)를 통해 수행된다. 부가적으로, 디지털 카메라에 대한 경사 정보 및 변환 테이블은 USB 접속 인터페이스(1407) 또는 네트워크 I/F(1408)를 통해 목적지 디바이스(200)에 전송된다.

전술된 바와 같이, 변환 테이블은 디지털 카메라(100) 및 목적지 디바이스(200)가 서로 인식할 때 미리 전송될 수도 있다. 변환 테이블은 단지 1회만 목적지 디바이스(200)에 전송될 수도 있는 데, 즉 변환 테이블은 매회 전송될 필요는 없다.

변환 테이블은 예를 들어 디지털 카메라(100)에 결합된 SDRAM(1411)에 저장되고, 그로부터 판독되고, 이어서 전송된다. 이는 디지털 카메라(100) 내에서 수행된 처리의 종료이다. 다음의 단계들이 목적지 디바이스(200)에서 수행된다.

S1503에서, 변환 테이블은 디지털 카메라의 전송된 각도 정보인 경사 정보에 따라 사전 결정된 보정 방법을 통해 제어기(140)에서 보정된다. 변환 테이블을 위한 보정 방법은 전술된 실시예에서와 동일하다. S1504에서, 2개의 캡처링 요소를 통해 캡처된 전송된 어안 화상은 목적지 디바이스(200)의 화상 처리 블록(1404)에 입력된다.

화상 처리 블록(1404)에서, 왜곡 보정과 같은 통상의 화상 처리가 수행된다. S1505에서, 2개의 어안 화상이 S1503에서 보정된 변환 테이블을 통해 제어기(140)에 의해 변환된다. 변환 방법은 전술된 실시예에서와 동일하다.

S1506에서, 합성된 전방향 구형 화상은 S1505에서 변환된 2개의 화상의 중첩된 필드를 이용하여 제어기(140)에 의해 발생된다. S1507에서, S1506에서 발생된 전방향 구형 화상은 외부 저장 디바이스 I/F(1406)를 통해 제어기(140)에 의해 외부 저장 디바이스(1412)에 저장된다.

도 3, 도 8, 도 12 및 도 15에 도시되어 있는 실시예에 따른 흐름도에 관한 동작은 컴퓨터 프로그램에 의해 실행될 수 있다. 구체적으로, 화상 캡처 장치의 동작을 제어하는 CPU(제어 회로)(101)(도 1) 또는 목적지 디바이스(200)의 동작을 제어하는 CPU(제어 회로)(1401)(도 14)는 ROM(103, 1403), SRAM(102, 1402)과 같은 기록 매체 내에 저장된 다양한 컴퓨터 프로그램을 로딩하고, 프로그램을 순차적으로 실행한다.

전술된 바와 같이, 전방향 구형 화상 캡처링 장치에서 또는 화상 캡처 시스템에서, 수직 방향이 검출되고, 보정이 화상 처리를 위해 사용된 변환 테이블 상에 수행되고, 전방향 구형 화상이 보정된 변환 테이블을 통해 발생된다. 이는 처음부터 변환 테이블을 재구성하는 필요성을 제거하고, 이에 의해 처리 시간을 감소시킨다.

본 발명이 완전한 명백한 개시를 위해 특정 실시예와 관련하여 설명되었지만, 첨부된 청구범위는 이와 같이 한정되어서는 안되고, 본 명세서에 설명된 기본 교시 내에 적절하게 있는 당 기술 분야의 숙련자들에게 발생할 수도 있는 모든 수정 및 대안 구성을 구체화하는 것으로서 해석되어야 한다.

Claims (10)

1. 화상 캡처링 장치에 있어서,
   수직 방향에서의 경사를 검출하도록 구성된 경사 검출 유닛;
   평면 좌표를 구면 좌표로 변환하기 위해 사용된 변환 데이터;
   경사에 따라 상기 변환 데이터를 보정하도록 구성된 보정 유닛;
   복수의 화상 캡처링 유닛;
   상기 화상 캡처링 유닛에 의해 캡처된 화상 내에 포함된 복수의 화소의 평면 좌표를 상기 보정 유닛에 의해 보정된 변환 데이터에 따라 구면 좌표로 변환하도록 구성된 좌표 변환 유닛; 및
   상기 좌표 변환 유닛에 의해, 상기 구면 좌표로 변환된 화소를 포함하는 화상들을 조합하도록 구성된 조합 유닛
   을 포함하는 화상 캡처링 장치.
2. 제1항에 있어서,
   상기 경사는 수직 방향에 대한 3차원의 구배 벡터이고,
   상기 구배 벡터에 대응하는 변환 데이터가 미리 제공되고,
   상기 검출된 경사에 가장 근접한 구배 벡터에 대응하는 변환 데이터가 상기 미리 제공된 변환 데이터로부터 추출되는 것인 화상 캡처링 장치.
3. 제1항에 있어서,
   상기 경사는 상기 수직 방향에 대한 3차원의 구배 벡터이고,
   상기 구배 벡터에 대응하는 변환 데이터가 미리 제공되고,
   상기 검출된 경사에 가장 근접한 구배 벡터에 대응하는 변환 데이터가 미리 제공된 변환 데이터로부터 추출되고,
   상기 추출된 변환 데이터와 상기 검출된 경사에 대응하는 변환 데이터 사이의 차이가 보간되는 것인 화상 캡처링 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 경사는 가속도 센서에 의해 검출되는 것인 화상 캡처링 장치.
5. 화상 캡처 시스템에 있어서,
   화상 캡처링 장치; 및
   네트워크를 통해 상기 화상 캡처링 장치에 결합된 정보 처리 장치를 포함하고,
   상기 화상 캡처 시스템은,
   수직 방향에서의 경사를 검출하도록 구성된 경사 검출 유닛;
   평면 좌표를 구면 좌표로 변환하기 위해 사용된 변환 데이터;
   상기 경사에 따라 상기 변환 데이터를 보정하도록 구성된 보정 유닛;
   복수의 화상 캡처링 유닛;
   상기 화상 캡처링 유닛에 의해 캡처된 화상 내에 포함된 복수의 화소의 평면 좌표를 상기 보정 유닛에 의해 보정된 변환 데이터에 따라 구면 좌표로 변환하도록 구성된 좌표 변환 유닛; 및
   상기 좌표 변환 유닛에 의해 구면 좌표로 변환된 화소를 포함하는 화상들을 조합하도록 구성된 조합 유닛을 포함하는 것인 화상 캡처 시스템.
6. 제5항에 있어서,
   상기 화상 캡처 장치는 상기 경사, 상기 변환 데이터, 및 상기 화상 캡처링 유닛에 의해 캡처된 복수의 화상을 상기 정보 처리 장치에 전송하고,
   상기 정보 처리 장치는 상기 전송된 경사에 따라 상기 변환 데이터를 보정하고, 상기 보정된 변환 데이터에 따라 상기 전송된 화상에 좌표 변환을 수행하고, 상기 좌표 변환을 통해 얻어진 화상들을 조합하는 것인 화상 캡처 시스템.
7. 화상 처리 방법에 있어서,
   경사 검출 유닛에 의해 수직 방향의 경사를 검출하는 단계;
   변환 데이터를 사용하여 평면 좌표를 구면 좌표로 변환하는 단계;
   보정 유닛에 의해, 상기 경사에 따라 상기 변환 데이터를 보정하는 단계;
   좌표 변환 유닛에 의해, 복수의 화상 캡처링 유닛에 의해 캡처된 화상 내에 포함된 복수의 화소의 평면 좌표를 상기 보정 단계에서 보정된 변환 데이터에 따라 구면 좌표로 변환하는 단계; 및
   조합 유닛에 의해, 상기 변환 단계에서 구면 좌표로 변환된 화소를 포함하는 화상들을 조합하는 단계
   를 포함하는 화상 처리 방법.
8. 실행 가능 프로그램이 저장되어 있는 컴퓨터-판독 가능 매체에 있어서,
   상기 프로그램은 화상 캡처링 장치로서의 컴퓨터에게,
   경사 검출 유닛에 의해 수직 방향의 경사를 검출하는 처리;
   변환 데이터를 사용하여 평면 좌표를 구면 좌표로 변환하는 처리;
   상기 경사에 따라 상기 변환 데이터를 보정하는 처리;
   복수의 화상 캡처링 유닛에 의해 캡처된 화상 내에 포함된 복수의 화소의 평면 좌표를 상기 보정 처리에서 보정된 변환 데이터에 따라 구면 좌표로 변환하는 처리; 및
   상기 변환 처리에서 구면 좌표로 변환된 화소를 포함하는 화상들을 조합하는 처리
   를 수행하도록 명령하는 것인 컴퓨터-판독 가능 매체.
9. 네트워크를 통해 화상 캡처링 장치에 결합된 정보 처리 장치에 있어서,
   평면 좌표를 구면 좌표로 변환하기 위해 사용된 변환 데이터를 저장하도록 구성된 저장 유닛;
   상기 화상 캡처링 장치로부터 수직 방향에서의 경사 및 캡처된 복수의 화상을 수신하도록 구성된 수신 유닛;
   상기 경사에 따라 상기 변환 데이터를 보정하도록 구성된 보정 유닛;
   상기 보정 유닛에 의해 보정된 변환 데이터에 따라 상기 캡처된 화상 내에 포함된 복수의 화소의 평면 좌표를 구면 좌표로 변환하도록 구성된 좌표 변환 유닛; 및
   상기 좌표 변환 유닛에 의해, 상기 구면 좌표로 변환된 화소를 포함하는 화상들을 조합하도록 구성된 조합 유닛
   을 포함하는 정보 처리 장치.
10. 실행 가능 프로그램이 저장되어 있는 컴퓨터-판독 가능 저장 매체에 있어서,
    상기 프로그램은 네트워크를 통해 화상 캡처링 장치에 결합된 정보 처리 장치로서의 컴퓨터에게,
    평면 좌표를 구면 좌표로 변환하기 위해 사용된 변환 데이터를 저장하는 처리;
    상기 화상 캡처링 장치로부터 수직 방향에서의 경사 및 캡처된 복수의 화상을 수신하는 처리;
    변환 데이터를 사용하여 평면 좌표를 구면 좌표로 변환하는 처리;
    상기 경사에 따라 상기 변환 데이터를 보정하는 처리;
    상기 보정 처리에서 보정된 변환 데이터에 따라 복수의 화상 캡처링 유닛에 의해 캡처된 화상 내에 포함된 복수의 화소의 평면 좌표를 구면 좌표로 변환하는 처리; 및
    상기 변환 처리에서 구면 좌표로 변환된 화소를 포함하는 화상들을 조합하는 처리
    를 수행하도록 명령하는 것인 컴퓨터-판독 가능 저장 매체.

Images