KR20130128124A

KR20130128124A - 파노라마 영상 데이터 제공 방법 및 장치

Info

Publication number: KR20130128124A
Application number: KR1020120051936A
Authority: KR
Inventors: 최성일
Original assignee: 주식회사바텍
Priority date: 2012-05-16
Filing date: 2012-05-16
Publication date: 2013-11-26
Also published as: WO2013172676A1; US20170061651A1; US20180122106A1; KR101389841B1; EP2852153A1; US20150139524A1; EP2852153B1; US9514516B2; US9852525B2; US10181206B2; EP2852153A4

Abstract

본 발명은 파노라마 영상 촬영장치에 의해 촬영된 프레임 영상들을 재구성하여 파노라마 영상을 제공하는 방법 및 장치를 개시한다. 본 발명의 파노라마 영상 제공 방법은 복수의 이미지 레이어에 따라 영상들을 재구성하는데 있어서, 상기 재구성된 영상들이 동일한 크기를 가지도록 영상들을 스케일링을 통하여 재구성하고, 재구성된 영상들의 선명도를 분석하여 선명한 영상들을 선별한 다음, 선별된 영상들을 서로 연결하여 결합된 결합 영상을 생성하는 단계를 포함한다. 본 발명에 따르면 기본 파노라마 영상에서 초점면이 흐릿한 부분은 모두 제거되고 초점이 맞는 영역만을 포함한 영상이 제공 가능하다

Description

파노라마 영상 데이터 제공 방법 및 장치 {Panorama image data providing method and apparatus}

본 발명은 파노라마 촬영 장비에 의해 촬영한 영상을 처리하는 기술에 관한 것으로, 보다 구체적으로는 파노라마 촬영 장비에 의해 촬영한 영상을 초점면에 따라 재구성하고, 재구성된 영상에서 선명한 영상들을 추출하여 조합하는 방법 및 장치에 관한 것이다.

기존의 파노라마 자동초점 알고리즘은 주파수 분석을 통하여 궤적 스캔길이에 대하여 특정 관심영역의 초점면을 선택하고 궤적을 이어주는 형태로 영상을 제공하였다. 이러한 경우 위/아래(예, 상/하악, 치아/치근)의 초점면의 깊이가 다른 경우 각 부위별 하나의 궤적을 선택하여 재구성함으로 영상의 초점이 완벽하게 재구성되지 못하는 단점이 있었으며 주파수 분석을 통한 영상재구성에서 노이즈 특성에 따른 오차의 확률이 높아 정확한 초점 깊이를 찾아내는데 오차가 발생하는 단점이 있었다.

본 발명은 상기 종래 기술의 문제를 해결하기 위하여 안출된 것으로서, 이미지 레이어의 실제 위치에 따라 영상의 스캔길이가 다른 프로젝션(projection) 영상들의 스캔길이를 동일하도록 변환하여 재구성함으로써 연속된 결합 영상을 생성하는 것을 목적으로 한다.

또한 본 발명은 재구성된 각각의 영상들을 일정블록들로 분할하여 최적의 선명도를 갖는 영상들을 선별하기 위하여 노이즈 제거 및 경계(edge)검출을 수행하며, 선별된 영상들을 보간법(interpolation)을 이용하여 결합함으로써 연속된 결합 영상을 생성하는 것을 목적으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상 제공 장치는, 임의의 이미지 레이어에 따라 재구성된 또는 재구성을 위해 사용되는 영상들의 크기를 기준 이미지 레이어에 따른 기준 영상의 크기를 고려하여 스케일링하는 단계; 상기 스케일링된 영상들 중에서 미리 결정된 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 단계; 및 상기 선별된 영상들을 이용하여 파노라마 영상을 제공하는 단계를 포함한다.

상기 스케일링하는 단계는 상기 재구성을 위해 사용되는 영상들의 크기를 상기 복수의 이미지 레이어의 심도(focus depth)정보를 이용하여 상기 기준 영상의 크기와 동일하도록 변경하는 단계를 포함한다.

상기 기준 영상의 크기와 동일하도록 변경된 영상들을 상기 이미지 레이어에 따라 미리 결정된 간격에 따라 중첩시키는 단계를 더 포함한다.

상기 영상들의 크기를 변경하는 것은 상기 재구성을 위해 사용되는 영상들의 스캔 길이를 계산하고, 상기 계산된 스캔 길이가 미리 결정된 기준 픽셀값에 대응되도록 상기 영상들의 크기를 변경하는 것이 바람직하다.

상기 영상의 전체 또는 일부를 선별하는 단계는, 상기 스케일링된 영상들의 노이즈(Noise)를 미리 결정된 알고리즘을 이용하여 제거하는 단계; 상기 노이즈가 제거된 영상들로부터 선명도를 결정하기 위한 경계(edge) 정보를 검출하는 단계; 및 상기 검출된 경계 정보를 이용하여 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 단계를 포함한다.

상기 영상을 선별하는 것은, 상기 검출된 경계면 정보들의 합을 구하고, 상기 합들 중에서 최대값을 갖는 영상을 선별하는 것이 바람직하다.

상기 영상의 전체 또는 일부를 선별하는 단계에서 선명한 영상을 선별하는 것은 상기 스케일링된 영상들을 복수의 블록들로 분할하여 분할된 블록영상에 대하여 선명한 영상을 선택하는 것이 바람직하다.

상기 분할된 복수의 블록들은 블록내의 일정영역이 다른 블록들과 중첩되는 블록들인 것을 특징으로 하고, 상기 중첩되는 블록들에 대하여 선명한 영상을 선택하는 것이 바람직하다.

상기 파노라마 영상을 제공하는 단계는 상기 중첩되는 블록들에 있어서 중첩부분에 대하여 선별된 영상들을 보간(interpolation)하여 생성된 파노라마 영상을 제공하는 것이 바람직하다.

상기 영상의 전체 또는 일부를 선별하는 단계는 선별된 어느 하나의 영상을 초기값(Seed)으로 설정하여 상기 분석되는 영상의 이미지 레이어 범위를 제한하는 것이 바람직하다.

상기 초기값으로 설정되는 영상은 재구성된 영상의 미리 결정된 특정부분에 대하여 선명한 영상으로 선별된 영상인 것이 바람직하다.

상기 영상의 전체 또는 일부를 선별하는 단계는 상기 특정부분을 시작지점으로 하여 특정부분에 인접한 부분들에 대한 선명한 영상을 선별해 나가는 것이 바람직하다.

상기 스케일링하는 단계는 파노라마영상 촬영기에 의해 촬영된 복수의 프로젝션(projection) 영상들을 미리 설정된 이미지 레이어에 따라 재구성하는 것이 바람직하다.

상기 미리 결정된 알고리즘은 가우시안(Gaussian) 노이즈 필터 또는 평균값(mean)필터 또는 포아송(Poisson) 노이즈 필터를 포함하는 노이즈 제거 필터인 것이 바람직하다.

상기 경계면 정보를 검출하는 단계는 소벨 마스크(Sobel Mask)를 이용하여 검출되는 것이 바람직하다.

상기 재구성되는 영상은 치과용 파노라마 영상촬영기에 의해 촬영된 복수의 프로젝션(projection)영상들인 것을 특징으로 하고, 상기 미리 결정된 특정부분은 구치부분인 것이 바람직하다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상 제공 장치는, 임의의 이미지 레이어에 따라 재구성된 영상 또는 재구성을 위해 사용되는 영상들의 크기를 기준 이미지 레이어에 따라 재구성된 또는 재구성을 위해 사용되는 기준 영상의 크기와 동일하도록 스케일링하는 영상 스케일링부; 상기 스케일링된 영상들 중에서 미리 결정된 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 영상 선별부; 및 상기 선별된 영상들을 이용하여 파노라마 영상을 제공하는 영상 제공부를 포함하는 것이 바람직하다.

상기 스케일링부는 상기 재구성을 위해 사용되는 영상들의 크기를 상기 복수의 이미지 레이어의 심도(focus depth)정보를 이용하여 상기 기준 영상의 크기와 동일하도록 변경하는 크기 변경부를 포함하는 것이 바람직하다.

상기 기준 영상의 크기와 동일하도록 변경된 영상들을 상기 이미지 레이어에 따라 미리 결정된 간격에 따라 중첩시키는 영상 중첩부를 더 포함하는 것이 바람직하다.

상기 영상 선별부는 상기 동일한 크기로 스케일링된 영상들의 노이즈(Noise)를 미리 결정된 알고리즘을 이용하여 제거하는 노이즈 제거부; 상기 노이즈가 제거된 영상들로부터 선명도를 결정하기 위한 경계면(edge) 정보를 검출하는 경계면 검출부; 및 상기 검출된 경계면 정보를 이용하여 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 영상 선별부를 포함한다.

상기 영상 선별부에서 영상을 선별하는 것은 상기 스케일링된 영상들을 복수의 블록들로 분할하여 분할된 블록영상에 대하여 선명한 영상을 선택하는 것이 바람직하다.

상기 분할된 복수의 블록들은 블록내의 일정영역이 다른 블록들과 중첩되는 블록들인 것이 바람직하고, 상기 중첩되는 블록들에 대하여 선명한 영상을 선택하는 것이 바람직하다.

상기 영상 선별부는 선별된 어느 하나의 영상을 초기값(Seed)으로 설정하여 상기 분석되는 영상의 이미지 레이어 범위를 제한하는 것이 바람직하다.

상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 파노라마 영상 제공 방법은 임의의 이미지 레이어에 따라 재구성된 또는 재구성을 위해 사용되는 영상들의 크기를 기준 이미지 레이어에 따른 기준 영상의 크기를 고려하여 스케일링하는 단계; 상기 동일한 크기로 스케일링된 영상들의 노이즈(Noise)를 미리 결정된 알고리즘을 이용하여 제거하는 단계; 상기 노이즈가 제거된 영상들로부터 선명도를 결정하기 위한 경계(edge) 정보를 검출하는 단계; 상기 검출된 경계면 정보를 이용하여 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 단계; 및 상기 선별된 영상들을 결합하여 생성된 파노라마 영상을 제공하는 단계를 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 파노라마 영상 제공 방법이 컴퓨터상에서 수행될 수 있는 컴퓨터에서 판독 가능한 기록매체는, 미리 설정된 복수의 이미지 레이어에 따라 영상들을 재구성하는데 있어서, 상기 재구성된 영상들이 동일한 크기를 가지도록 영상들을 재구성하는 단계; 상기 동일한 크기로 재구성된 영상들의 노이즈(Noise)를 미리 결정된 알고리즘을 이용하여 제거하는 단계; 상기 노이즈가 제거된 영상들로부터 선명도를 결정하는 경계면(edge) 정보를 검출하는 단계; 상기 검출된 경계면 정보를 이용하여 최적의 선명도를 갖는 최적 영상 들을 선별하는 최적 영상 선별 단계; 및 상기 선별된 영상들을 보간법(interpolation)을 이용하여 서로 연결하여 결합된 결합 영상을 생성하는 단계를 포함한다.

본 발명은 파노라마 촬영 장비에 의해 획득된 영상을 다중초점 재구성 방식으로 재구성하고 다수의 초점영상을 여러 부분으로 나눈 각 영역을 필터링을 통하여 노이즈를 제거하고 경계검출을 통하여 최적 초점면을 선정한 후에 최적의 초점면의 조합을 이용하여 하나의 완전한 파노라마 영상을 재구성한다. 이에 의하여 기본 파노라마의 초점면이 흐릿한 부분은 모두 제거되고 초점이 맞는 영역만을 포함한 영상이 제공 가능하다

도 1은 본 발명의 일실시예에 따른 파노라마 영상 제공 방법의 흐름도이다.
도 2는 이미지 레이어의 심도(focus depth)에 따른 스캔면 길이의 차이를 나타내는 도이다.
도 3은 본 발명의 일실시예에 따라 도 2에서 나타난 영상의 스캔면 길이를 동일한 크기로 변환하는 예를 나타내는 예시도이다.
도 4는 도 1에 따른 파노라마 영상 제공 방법의 최적 영상 선별단계를 세부적으로 나타내는 흐름도이다.
도 5는 본 발명의 일실시예에 따른 경계면 정보의 합을 이용하여 최적 영상을 선별하는 것을 나타내는 예시도이다.
도 6a는 본 발명의 일실시예에 따라 최적 영상 선별을 위하여 블록으로 분할된 영상을 나타내는 예시도이다.
도 6b는 본 발명의 일실시예에 따라 최적 영상 선별을 위하여 중첩된 블록으로 분할된 영상을 나타내는 예시도이다.
도 7은 본 발명의 일실시예에 따라 선별된 영상의 결합시 이미지 레이어의 차이로 인하여 발생하는 블록현상을 나타내는 예시도이다.
도 8은 도 7에서 나타난 블록현상을 제거하기 위한 본 발명의 일실시예에 따른 보간법을 나타내는 예시도이다.
도 9는 본 발명의 일실시예에 따라 선별된 어느 하나의 최적 영상을 초기값(seed)으로 하여 최적 영상의 선별 범위를 제한하는 것을 나타내는 예시도이다.
도 10은 본 발명의 일실시예에 따른 영상 제공 장치의 블록도이다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

도 1은 본 발명의 일실시예에 따른 파노라마 영상 제공 방법의 흐름도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 영상 제공방법은 재구성된 영상들이 동일한 크기를 가지도록 영상을 스케일링하는 단계(S100), 선명한 영상을 선별하는 단계(S200), 파노라마 영상을 제공하는 단계(S300)를 포함한다.

영상을 스케일링하는 단계(S100)는 미리 설정된 하나 이상의 다중 이미지 레이어(Image Layer)에 따라 영상 촬영기에서 촬영한 영상을 재구성하는 단계이다. 이미지 레이어란 촬영하고자 하는 객체(치과영상의 경우 치아를 포함하는 악궁면)의 위치를 정의 또는 특정하기 위한 초점들이 이루는 3차원상의 가상의 선분 또는 선분들이 이루는 평면을 의미한다. 치과용 파노라마 영상에서 실제 촬영하고자 하는 치아와 초점면이 일치한다면 결과로서 얻어지는 파노라마 영상도 선명하게 얻을 수 있다. 하지만 일반적으로 치아 배열은 사람에 따라 다르기 때문에, 실제 환자의 실 치아 레이어와 파노라마 영상 획득 시스템이 정의하고 있는 이미지 레이어는 상이하다. 실제의 치아 레이어와 이미지 레이어간의 불일치는 결과물인 파노라마 영상의 선명도를 저해하게 된다. 따라서 본 실시예에서는 객체의 다양한 공간상의 분포를 고려하여, 다양한 이미지 레이어가 미리 정의되어 사용된다.

본 발명의 실시예에 따른 영상은 파노라마 영상획득 장치에서 획득된 프레임 단위의 프레임 영상이거나, 재구성하여 생성된 영상으로 예를 들어, 최종 결과물인 파노라마 영상일 수 있다.

일반적으로 파노라마 영상 촬영 장치는 X선 광원, 이미지 센서, 영상처리장치를 포함하여 이루어진다. X선 광원은 일정한 궤적을 따라 피사체 주위를 회전하며 X선을 조사한다. 이때, 상기 X선 광원은 피사체의 관심영역이 위치하는 복수개의 이미지 레이어궤적으로 X선을 조사한다. 이미지센서는 일정한 면적을 가지고 파사체를 사이에 두고 상기 X선 광원과 연동하여 움직이며, X선을 수광하여 복수개의 이미지 레이어 궤적의 영상을 획득한다. 영상처리장치는 이미지센서에서 획득된 영상들을 입력받아 이미지 레이어 궤적에 대한 영상을 재구성하고, 최종 궤적에 대한 파노라마 영상으로 재구성한다. 본 실시예에서의 이미지 레이어 궤적은 촬영기에 의해 악궁면을 포함한다.

영상을 스케일링하는 단계(S100)는 파노라마 영상 촬영 장치에 의해 촬영된 프레임 영상을 재구성한 영상 또는 재구성을 위해 사용되는 프레임영상들의 크기를 변경한다. 영상을 스케일링하는 단계(S100)에서 스케일링 되는 영상이 재구성된 영상인 경우 상기 재구성된 영상은 미리 결정된 기준 영상의 크기를 고려하여 크기를 변경하는 것이 바람직하다. 본 실시예에서 미리 결정된 기준 영상은 환자의 신체정보를 고려하여 일반적인 악궁면에 대응되는 이미지 레이어에 따라 재구성된 영상인 것이 바람직하다. 신체정보는 환자의 나이, 성별, 키, 몸무게를 포함하는 정보인 것이 바람직하다. 본 실시예에서 영상을 스케일링 하는 단계(S100)는 상기 신체정보를 고려한 이미지 레이어에 따른 기준영상과 동일한 크기로 영상의 크기를 확대 또는 축소하는 것이 바람직하다. 영상을 스케일링하는 단계(S100)는 재구성된 영상들의 크기를 미리 결정된 영상의 크기와 동일하도록 변경하는 것이 바람직하다.

영상을 스케일링하는 단계(S100)에서 스케일링 되는 영상이 프레임영상인 경우는 도 2를 통해 구체적으로 설명한다. 도 2는 본 발명의 일실시예에 따른 영상 재구성 방법을 구체적으로 나타내는 세부 흐름도이다. 도 2를 참조하면, 영상을 스케일링하는 단계(S100)는 영상의 크기를 변경하는 단계(S110), 변경된 영상을 중첩시키는 단계(S120)를 포함한다.

영상의 크기를 변경하는 단계(S110)는 파노라마 영상 촬영 장치에 의해 촬영된 프레임 영상을 입력받고(S112), 프레임 영상에 대한 이미지 레이어의 심도(focus depth)에 따른 스캔(scan)길이를 입력받고(S1114), 스캔 길이를 이용하여 중첩되는 영상들의 크기를 동일하게 변경한다(S116). 본 실시예에 따르면 심도란 파노라마 영상 촬영기와 이미지 레이어의 떨어진 정도를 의미하며, 치과용 파노라마 영상 촬영기에 의해 촬영되는 악궁면에 대한 이미지 레이어의 상대적인 돌출 정도를 의미하는 것이 바람직하다. 스캔길이란 본 실시예에 따르면 파노라마 촬영 장치에서 조사되는 X선이 조사의 대상인 관심영역을 투과할 때, 투과되는 관심영역에서의 상대적인 길이를 의미한다. 이미지 레이어의 심도가 깊을수록 X선의 스캔길이가 증가하게 된다. 도 3을 참조하면 제1 이미지 레이어(10)에 따른 제1 스캔면(15)의 스캔길이가 제2 이미지 레이어(20)에 따른 제2 스캔면(25)의 스캔길이보다 상대적으로 짧다. 따라서 파노라마 촬영 장치에서 조사되는 X선(5)이 조사의 대상인 관심영역의 동일한 부분을 투과하는 경우에도 이미지 레이어에 따라 이미지 센서(30)에서 입력 받는 영상에서 관심영역의 상대적인 크기가 달라지기 때문에 이미지 레이어의 심도에 따른 스캔면의 길이를 이용하여 영상들의 크기를 동일한 크기로 변경하는 것이 바람직하다. 본 실시예에 따르면 파노라마 영상 촬영 장치에 의해 조사된 X선의 폭을 기준으로 이미지 레이어에서의 스캔길이를 계산하고, 스캔되는 관심영역에 대한 프레임 영상의 스캔길이가 미리 결정된 기준 픽셀값에 대응되도록 영상의 크기를 변경하는 것이 바람직하다. 본 실시예에서 미리 결정된 기준 픽셀 값은 각각의 프레임 영상에서 관심영역의 스캔길이가 한 픽셀을 이루도록 하는 픽셀 값인 것이 바람직하다.

변경된 영상을 중첩시키는 단계(S120)는 영상의 크기를 변경하는 단계(S110)에서 변경된 영상들 중에서 중첩시킬 프레임 영상들을 선택하고, 상기 선택된 프레임 영상들을 미리 결정된 간격으로 중첩시키고(S122) 최종 적으로 중첩된 스케일링 영상을 생성한다(S124). 미리 결정된 간격이란 파노라마영상을 생성하기 위하여 프레임영상들을 픽셀을 포함하는 그래픽 단위에 따라 중첩 시킬때 이미지 레이어의 심도에 따른 프레임영상의 겹치는 정도를 의미한다. 본 실시예에 따르면 이미지 레이어의 심도가 상대적으로 길어지는 경우 상기 겹치는 정도가 줄어 드는 것이 바람직하며, 프레임 영상들을 동일한 크기로 스케일링 한 경우에 그 중첩 정도는 프레임 영상의 원 스캔길이에 따라 변경될 수 있다.

최적의 선명도를 갖는 최적 영상들을 선별하는 단계(S200)는 영상을 스케일링하는 단계(S100)에서 동일한 크기로 재구성된 영상들의 선명도를 분석하여 최적의 선명도를 갖는 영상을 선별한다. 영상들을 선별하는 단계(S200)는 도 4를 통해 더욱 상세히 설명한다. 도 4는 도 1에 따른 파노라마 영상 제공 방법의 최적 영상 선별단계를 세부적으로 나타내는 흐름도이다.

영상들을 선별하는 단계(S200)는 영상에 존재하는 노이즈(Noise)를 제거하는 단계(S210), 노이즈가 제거된 영상으로부터 경계면을 검출하는 단계(S220), 검출된 경계면 정보를 이용하여 최적 영상을 선별하는 단계(S230)를 포함한다.

노이즈를 제거하는 단계(S210)에 앞서 영상을 스케일링하는 단계(S100)에서 스케일링된 영상을 입력 받고(S202), 입력 받은 영상을 블록단위로 분할(S204)하여 노이즈 제거(S210) 및 경계면 검출(S220)을 수행하는 것이 바람직하다.

영상에 존재하는 노이즈를 제거하는 단계(S210)는 영상정보에 포함되는 신호 이외의 모든 성분을 제거한다. 노이즈는 원화상에 포함되는 신호외의 성분으로 외부의 빛이나 반사에 의해 발생가능하며, 자연계에 존재하는 일정 레벨의 무의미한 신호를 포함한다. 모든 영상에는 장비의 시스템 노이즈 및, X선 분포에 의한 노이즈 성분이 항상 존재하여 영상의 신호크기보다 노이즈 성분이 강할 경우 노이즈가 증폭된 영상이 선택되는 경우가 발생한다. 이것을 방지하기 위하여 각각의 부분영상에 미리 결정된 알고리즘을 적용한다. 미리 결정된 알고리즘이란 일반적인 가우시안(Gaussian) 형태의 필터 및 평균(mean) 필터를 포함하여 X선 분포를 감안하여 포아송(Poission) 분포 변환필터 등 다수의 필터를 포함하는 노이즈 제거 필터인 것이 바람직하다.

노이즈가 제거된 영상으로부터 경계면 정보를 검출하는 단계(S220)는 노이즈를 제거하는 단계(S210)에서 노이즈가 제거된 영상들에 대하여 경계면을 검출한다. 본 실시예에 따르면 경계면은 파노라마 영상 촬영장치에서 촬영하고자 하는 관심영역(악궁면)과 관심영역 외의 배경영역을 구분하는 면인 것이 바람직하다. 본 실시예에서 경계면의 검출은 소벨 마스크(Sobel Mask)를 이용하여 수행하는 것이 바람직하다. 경계면은 영상의 밝기가 낮은 값에서 높은값으로, 또는 반대로 변하는 지점에 존재하고 이를 통해 물체의 모양, 크기 및 텍스처를 나타낸다. 경계면의 검출을 이러한 특성을 이용하여 영상의 경계면 정보를 획득하는 것으로 보다 상세하게는 경계면에 해당하는 화소를 찾는 것이 바람직하다. 경계면의 검출은 명암도를 기준으로 명암, 밝기 변화율을 검출한다. 본 실시예에 따르면 상기 변화율을 검출하기 위한 마스크는 소벨 마스크(Sobel Mask)인 것이 바람직하다. 소벨 마스크는 모든 방향의 경계면을 검출하며 노이즈에 강하며 수직, 수평 경계보다 대각선 방향의 경계면에 민감하다. 본 실시예에서 마스크의 크기는 3x3, 5x5, 7x7 중 어느 하나인 것이 바람직하고, 마스크의 크기가 커질수록 경계면의 두께가 두꺼워져 선명해 진다. 이외에도 마스크는 수직, 수평마스크 또는 2차 미분에 따른 라플라시안 마스크를 포함할 수 있다.

검출된 경계면 정보를 이용하여 최적 영상을 선별하는 단계(S230)는 경계면 정보를 이용하여 영상들의 선명도를 분석하고, 최적의 선명도를 갖는 영상을 선별한다. 본 실시예에 따르면 최적 영상을 선별하는 단계(S230)는 경계면을 검출하는 단계(S220)에서 검출된 경계면들의 합을 계산하고(S232), 경계면 합을 이용하여 선명한 영상을 선별한다(S234). 경계면의 합을 비교하여 경계면 화소들의 개수가 가장 많은 영상을 최적 영상으로 선별하는 것이 바람직하다. 경계면의 합은 영상에서 경계면으로 검출된 화소들의 상대적인 개수를 의미한다. 검출된 경계면 정보를 이용하여 최적 영상을 선별하는 단계(S230)는 도 5를 통해 구체적으로 설명한다. 도 5는 본 발명의 일실시예에 따른 경계면 정보의 합을 이용하여 최적 영상을 선별하는 것을 나타내는 예시도이다. 1 내지 4번 영상은 관심영역(50)을 포함하는 영상인 것이 바람직하다. 본 실시예에 따르면 4번 영상에서 검출된 경계면의 합은 160이나 3번 영상에서 검출된 경계면의 합은 200이므로 1, 2번 영상의 경계면의 합이 200을 초과하지 않는다면 3번 영상을 선택하는 것이 바람직하다. 선명도는 영상의 이미지 레이어가 피사체의 기하학적 형상과 일치하는 경우 영상이 가장 선명하게 표현될 때, 이미지 레이어와 피사체의 형상간의 일치정도인 것이 바람직하다. 본 실시예에 따르면 경계면의 합이 최대가 되는 경우 선명도가 최대인 것이 바람직하다.

본 실시예에 따른 영상들을 선별하는 단계(S200)에서 선명도의 분석은 영상들을 복수의 블록으로 분할하고, 분할된 영상들에 대하여 선명도를 분석하는 것이 바람직하다. 영상을 블록으로 분할하는 것은 도 6a를 통해 설명한다. 도 6a는 본 발명의 일실시예에 따라 최적 영상 선별을 위하여 블록(60)으로 분할된 영상을 나타내는 예시도이다. 본 실시예에 따르면 악궁면에 대한 영상을 블록(60)들로 분할하고 분할된 각각의 영상들에 대하여 최적의 선명도를 갖는 영상을 선별하는 것이 바람직하다.

또 다른 실시예에서 영상들을 선별하는 단계(S200)는 도 6b와 같이 영상들의 일부를 공유하는 중첩되는 블록(60a, 60b, 60c)으로 분할하고, 분할된 영상들에 대하여 선명도를 분석하는 것이 바람직하다. 도 6b는 본 발명의 일실시예에 따라 최적 영상 선별을 위하여 중첩된 블록으로 분할된 영상을 나타내는 예시도이다. 점선으로 분할된 3개의 블록(60a, 60b, 60c)들 각각은 일정부분을 공유하며, 중첩하는 블록들에 대하여 선명도를 분석한다.

파노라마 영상 제공 단계(S300)는 영상들을 선별하는 단계(S200)에서 선별된 최적 영상들을 결합하여 하나의 결합된 영상을 생성한다. 본 실시예에 따른 결합 영상을 생성하는 것은, 영상을 복수의 블록들로 분할하고, 분할된 블록에 대하여 최적 영상으로 선별된 영상들을 상기 블록에 대응되도록 결합하는 것이 바람직하다. 영상을 분할함에 있어서 도 6a와 같이 중첩이 없는 블록(60a)들로 분할한 경우, 각각의 블록에 대응되는 영상들의 이미지 레이어가 각각 다르기 때문에 결합된 영상에서 블록현상이 발생 가능하다. 블록현상은 영상의 일정 부분에서 실제 피사체에서는 존재하지 않는 경계면이 발생하는 것으로, 이는 도 7을 통해 상세히 설명한다.

도 7은 본 발명의 일실시예에 따라 선별된 영상의 결합시 이미지 레이어의 차이로 인하여 발생하는 블록현상을 나타내는 예시도이다. 도 7에 따르면 실선으로 표시된 블록(60) 중 치근단 부분에 대한 영상(70)에서 블록현상이 발생하였다. 블록현상을 제거하기 위하여 결합 영상을 생성하는 단계(S300)는 영상들을 선별하는 단계(S200)에서 선별된 최적 영상들을 보간(Interpolation)하여 결합하는 것이 바람직하다. 보간(Interpolation)하여 결합하는 영상들은, 선별하는 단계(S200)에서 영상들의 일부를 공유하는 중첩되는 블록으로 분할하고, 분할된 영상들에 대하여 선명도를 분석하여 선별한 영상인 것이 바람직하다. 보간하는 것은 선별된 영상들에 있어서 영상들이 공유하는 특정영역에 대하여, 특정영역을 공유하는 하나 이상의 영상들의 이미지 레이어들을 이용하여 특정영역에 대한 이미지 레이어를 추정하는 것이 바람직하다.

도 8에 따르면 도 8은 도 7에서 나타난 블록현상을 제거하기 위한 본 발명의 일실시예에 따른 보간법을 나타내는 예시도이다. 본 실시예에 따르면 도 8에서 표시된 두개의 블록(80a, 80b)들이 공유하는 특정영역(80c)에 대한 이미지 레이어를 보간법을 이용하여 추정하는 것이 바람직하다.

또한, 노이즈를 제거하는 단계(S210)에서 완벽한 노이즈의 제거가 불가능하거나 영상들을 선별하는 단계(S200)에서 선별된 영상들에 있어서, 이웃하는 영상들간 이미지 레이어의 심도가 급격하게 변경되는 경우 결합 영상을 생성하는 단계(S300)에서 생성된 영상이 연결부위가 연속하지 못한 영역을 포함할 수 있다. 또 다른 실시예에서 결합 영상을 생성하는 단계(S300)는 영상들을 선별하는 단계(S200)에서 선별된 어느 하나의 영상을 초기값(Seed)으로 하여, 영상들을 선별하는 단계(S200)에서 분석되는 영상들의 범위를 제한하는 것이 바람직하다. 도 9에 따르면 본 실시예에서 초기값으로 설정되는 영상은 노이즈가 가장 작은 블록에 대하여 최적 영상으로 선별된 영상인 것이 바람직하며, 치과용 파노라마 영상 촬영 장치에서 촬영된 영상의 경우 구치부분을 포함하는 블록(92)에 대한 최적 영상(94))를 초기값으로 설정하는 것이 바람직하다. 영상들의 범위를 제한하는 것은 초기값으로 설정된 영상의 이미지 레이어에 대한 심도를 이용하는 것이 바람직하다. 심도를 이용하는 것은 초기값으로 설정된 영상의 심도를 기준으로 일정 범위내의 심도를 갖는 이미지 레이어에 대한 영상들(96)의 선명도를 분석하는 것이 바람직하다. 제한되는 영상들은 초기값으로 설정된 영상의 블록에 이웃하는 블록(98)에 대한 영상들인 것이 바람직하다. 본 실시예에 따른 영상들을 선별하는 단계(S200)은 초기값으로 설정된 영상의 블록을 기준으로 이웃하는 블록들로 반복적으로 확장하면서 선명도를 분석하는 것이 바람직하다.

파노라마 영상 제공 단계(S300)는 영상들을 선별하는 단계(S200)에서 선별된 최적 영상들을 결합하여 생성된 영상을 디스플레이 부(400)를 통해 사용자에게 제공한다.

본 실시예에 따르면 영상을 스케일링하는 단계(S100)는 파노라마 영상 촬영장치에 의해 촬영된 복수의 프로젝션(projection)영상들을 미리 설정된 이미지 레이어에 따라 재구성하는 것이 바람직하다. 프로젝션 영상은 파노라마 영상촬영 장치가 일정한 궤적을 따라 피사체 주위를 회전하며 X선을 조사하고, 조사된 X선이 피사체를 통과하여 상기 X선 광원과 연동하여 움직이는 이미지 센서에 수광되며, 수광된 X선이 형성하는 이미지인 것이 바람직하다.

도 11은 본 발명의 일실시예에 따른 영상 제공장치(1)의 블록도이다.

본 발명에 따른 영상 제공장치(1)는 재구성된 영상들이 동일한 크기를 가지도록 영상을 스케일링하는 영상 스케일링부(100), 선명한 영상을 선별하는 영상 선별부(200), 선별된 영상들을 이용하여 파노라마 영상을 생성하는 파노라마 영상 생성부(300), 파노라마 영상을 사용자에게 제공하는 디스플레이부(400)를 포함한다.

영상 스케일링부(100)는 상술한 바와 같이 파노라마 영상 촬영 장치에 의해 촬영된 프레임 영상을 재구성한 영상 또는 재구성을 위해 사용되는 프레임영상등을 스케일링한다(S100). 상술한 바와 같이 스케일링 되는 영상이 재구성된 영상인 경우 상기 재구성된 영상은 미리 결정된 기준 영상의 크기를 고려하여 크기를 변경하는 것이 바람직하다. 스케일링 되는 영상이 프레임영상인 경우는 본 실시예에 따르면 파노라마 영상 촬영 장치에서 촬영된 프레임 영상들을 전달받아 미리 설정된 하나 이상의 다중 이미지 레이어(Image Layer)에 따라 재구성한다. 영상 스케일링부(100)는 중첩되는 영상의 크기를 변경하는 크기변경부(110), 변경된 영상을 중첩시키는 중첩부(120)를 포함한다.

영상 크기 변경부(110)는 파노라마 영상 촬영 장치에 의해 촬영된 프레임 영상을 입력받고(S112), 프레임 영상에 대한 이미지 레이어의 심도(focus depth)에 따른 스캔(scan)길이를 입력받고(S1114), 스캔 길이를 이용하여 중첩되는 영상들의 크기를 동일하게 변경한다(S116). 상술한 바와 같이 영상의 이미지 레이어의 심도(focus depth)에 따른 스캔(scan)길이를 이용하여 중첩되는 영상들의 크기를 동일하게 변경한다. 영상 중첩부(120)는 상술한 바와 같이 영상의 크기를 변경하는 단계(S110)에서 변경된 영상들 중에서 중첩시킬 프레임 영상들을 선택하고, 상기 선택된 프레임 영상들을 미리 결정된 간격으로 중첩시키고(S122) 최종 적으로 중첩된 스케일링 영상을 생성한다(S124).

영상 선별부(200)는 영상의 노이즈를 제거하는 노이즈 제거부(210), 노이즈가 제거된 영상의 경계면을 검출하는 경계면 검출부(220), 경계면 정보를 이용하여 최적 영상을 선별하는 영상 선별부(230)을 포함한다. 영상 선별부(200)는 상술한 바와 같이 영상 스케일링부(100)에서 스케일링된 영상들의 선명도를 분석하여 최적의 선명도를 갖는 영상을 선별한다(S200).

상술한 바와 같이 노이즈 제거부(210)는 노이즈를 제거(S210)에 앞서 영상 스케일링부(100)에서 스케일링된 영상을 입력 받고(S202), 입력 받은 영상을 블록단위로 분할(S204)하여 노이즈 제거(S210) 및 경계면 검출(S220)을 수행하는 것이 바람직하다.

노이즈 제거부(210)는 영상정보에 포함되는 신호 이외의 모든 성분을 제거한다(S210).

경계면 검출부(220)는 노이즈 제거부(210)에서 노이즈가 제거된 영상들에 대하여 경계면을 검출한다(S220). 선별부(230)는 경계면 검출부(220)에서 검출된 경계면 정보를 이용하여 영상들의 선명도를 분석하고, 최적의 선명도를 갖는 영상을 선별한다(S230).

파노라마 영상 생성부(300)는 상술한 바와 같이 영상 선별부(200)에서 선별된 선명한 영상들을 결합하여 하나의 결합된 영상을 생성한다(S300).

디스플레이부(400)는 결합 영상 생성부(300)에서 생성된 영상을 전달 받아 사용자에게 결합 영상을 표시한다.

한편 본 발명의 파노라마 영상 제공 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

Claims

임의의 이미지 레이어에 따라 재구성된 또는 재구성을 위해 사용되는 영상들의 크기를 기준 이미지 레이어에 따른 기준 영상의 크기를 고려하여 스케일링하는 단계;
상기 스케일링된 영상들 중에서 미리 결정된 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 단계; 및
상기 선별된 영상들을 이용하여 파노라마 영상을 제공하는 단계를 포함하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 1 항에 있어서,
상기 스케일링하는 단계는 상기 재구성을 위해 사용되는 영상들의 크기를 상기 복수의 이미지 레이어의 심도(focus depth)정보를 이용하여 상기 기준 영상의 크기와 동일하도록 변경하는 단계를 포함하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 2 항에 있어서,
상기 기준 영상의 크기와 동일하도록 변경된 영상들을 상기 이미지 레이어에 따라 미리 결정된 간격에 따라 중첩시키는 단계를 더 포함하는 파노라마 영상 제공 방법.
제 2 항에 있어서,
상기 영상들의 크기를 변경하는 것은 상기 재구성을 위해 사용되는 영상들의 스캔 길이를 계산하고, 상기 계산된 스캔 길이가 미리 결정된 기준 픽셀값에 대응되도록 상기 영상들의 크기를 변경하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 1 항에 있어서, 상기 영상의 전체 또는 일부를 선별하는 단계는
상기 스케일링된 영상들의 노이즈(Noise)를 미리 결정된 알고리즘을 이용하여 제거하는 단계;
상기 노이즈가 제거된 영상들로부터 선명도를 결정하기 위한 경계(edge) 정보를 검출하는 단계; 및
상기 검출된 경계 정보를 이용하여 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 단계를 포함하는 파노라마 영상 제공 방법.
제 5 항에 있어서,
상기 영상을 선별하는 것은, 상기 검출된 경계면 정보들의 합을 구하고, 상기 합들 중에서 최대값을 갖는 영상을 선별하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 1 항에 있어서,
상기 영상의 전체 또는 일부를 선별하는 단계에서 선명한 영상을 선별하는 것은 상기 스케일링된 영상들을 복수의 블록들로 분할하여 분할된 블록영상에 대하여 선명한 영상을 선택하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 7 항에 있어서,
상기 분할된 복수의 블록들은 블록내의 일정영역이 다른 블록들과 중첩되는 블록들인 것을 특징으로 하고, 상기 중첩되는 블록들에 대하여 선명한 영상을 선택하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 8 항에 있어서,
상기 파노라마 영상을 제공하는 단계는 상기 중첩되는 블록들에 있어서 중첩부분에 대하여 선별된 영상들을 보간(interpolation)하여 생성된 파노라마 영상을 제공하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 1 항에 있어서,
상기 영상의 전체 또는 일부를 선별하는 단계는 선별된 어느 하나의 영상을 초기값(Seed)으로 설정하여 상기 분석되는 영상의 이미지 레이어 범위를 제한하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 10 항에 있어서,
상기 초기값으로 설정되는 영상은 재구성된 영상의 미리 결정된 특정부분에 대하여 선명한 영상으로 선별된 영상인 것을 특징으로 하는 파노라마 영상 제공 방법.
제 11 항에 있어서,
상기 영상의 전체 또는 일부를 선별하는 단계는 상기 특정부분을 시작지점으로 하여 특정부분에 인접한 부분들에 대한 선명한 영상을 선별해 나가는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 1 항에 있어서,
상기 스케일링하는 단계는 파노라마영상 촬영기에 의해 촬영된 복수의 프로젝션(projection) 영상들을 미리 설정된 이미지 레이어에 따라 재구성하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 5 항에 있어서,
상기 미리 결정된 알고리즘은 가우시안(Gaussian) 노이즈 필터 또는 평균값(mean)필터 또는 포아송(Poisson) 노이즈 필터를 포함하는 노이즈 제거 필터인 것을 특징으로 하는 파노라마 영상 제공 방법.
제 5 항에 있어서,
상기 경계면 정보를 검출하는 단계는 소벨 마스크(Sobel Mask)를 이용하여 검출되는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 11 항에 있어서,
상기 재구성되는 영상은 치과용 파노라마 영상촬영기에 의해 촬영된 복수의 프로젝션(projection)영상들인 것을 특징으로 하고, 상기 미리 결정된 특정부분은 구치부분인 것을 특징으로 하는 파노라마 영상 제공 방법.
임의의 이미지 레이어에 따라 재구성된 영상 또는 재구성을 위해 사용되는 영상들의 크기를 기준 이미지 레이어에 따라 재구성된 또는 재구성을 위해 사용되는 기준 영상의 크기와 동일하도록 스케일링하는 영상 스케일링부;
상기 스케일링된 영상들 중에서 미리 결정된 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 영상 선별부; 및
상기 선별된 영상들을 이용하여 파노라마 영상을 제공하는 영상 제공부를 포함하는 것을 특징으로 하는 파노라마 영상 제공 장치.
제 17 항에 있어서,
상기 스케일링부는 상기 재구성을 위해 사용되는 영상들의 크기를 상기 복수의 이미지 레이어의 심도(focus depth)정보를 이용하여 상기 기준 영상의 크기와 동일하도록 변경하는 크기 변경부를 포함하는 것을 특징으로 하는 파노라마 영상 제공 방법.
제 18 항에 있어서,
상기 기준 영상의 크기와 동일하도록 변경된 영상들을 상기 이미지 레이어에 따라 미리 결정된 간격에 따라 중첩시키는 영상 중첩부를 더 포함하는 것을 특징으로 하는 파노라마 영상 제공 장치.
제 18 항에 있어서,
상기 영상들의 크기를 변경하는 것은 상기 재구성을 위해 사용되는 영상들의 스캔 길이를 계산하고, 상기 계산된 스캔 길이가 미리 결정된 기준 픽셀값에 대응되도록 상기 영상들의 크기를 변경하는 것을 특징으로 하는 파노라마 영상 제공 장치.
제 17 항에 있어서 상기 영상 선별부는,
상기 동일한 크기로 스케일링된 영상들의 노이즈(Noise)를 미리 결정된 알고리즘을 이용하여 제거하는 노이즈 제거부;
상기 노이즈가 제거된 영상들로부터 선명도를 결정하기 위한 경계면(edge) 정보를 검출하는 경계면 검출부; 및
상기 검출된 경계면 정보를 이용하여 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 영상 선별부를 포함하는 파노라마 영상 제공 장치.
제 17 항에 있어서,
상기 영상 선별부에서 영상을 선별하는 것은 상기 스케일링된 영상들을 복수의 블록들로 분할하여 분할된 블록영상에 대하여 선명한 영상을 선택하는 것을 특징으로 하는 파노라마 영상 제공 장치.
제 22 항에 있어서,
상기 분할된 복수의 블록들은 블록내의 일정영역이 다른 블록들과 중첩되는 블록들인 것을 특징으로 하고, 상기 중첩되는 블록들에 대하여 선명한 영상을 선택하는 것을 특징으로 하는 파노라마 영상 제공 장치.
제 23 항에 있어서,
상기 파노라마 영상을 제공하는 단계는 상기 중첩되는 블록들에 있어서 중첩부분에 대하여 선별된 영상들을 보간(interpolation)하여 생성된 파노라마 영상을 제공하는 것을 특징으로 하는 파노라마 영상 제공 장치.
제 17 항에 있어서,
상기 영상 선별부는 선별된 어느 하나의 영상을 초기값(Seed)으로 설정하여 상기 분석되는 영상의 이미지 레이어 범위를 제한하는 것을 특징으로 하는 파노라마 영상 제공 장치.
제 25 항에 있어서,
상기 초기값으로 설정되는 영상은 재구성된 영상의 미리 결정된 특정부분에 대하여 선명한 영상으로 선별된 영상인 것을 특징으로 하는 파노라마 영상 제공 장치.
제 26 항에 있어서,
상기 영상의 전체 또는 일부를 선별하는 단계는 상기 특정부분을 시작지점으로 하여 특정부분에 인접한 부분들에 대한 선명한 영상을 선별해 나가는 것을 특징으로 하는 파노라마 영상 제공 장치.
임의의 이미지 레이어에 따라 재구성된 또는 재구성을 위해 사용되는 영상들의 크기를 기준 이미지 레이어에 따른 기준 영상의 크기를 고려하여 스케일링하는 단계;
상기 동일한 크기로 스케일링된 영상들의 노이즈(Noise)를 미리 결정된 알고리즘을 이용하여 제거하는 단계;
상기 노이즈가 제거된 영상들로부터 선명도를 결정하기 위한 경계(edge) 정보를 검출하는 단계;
상기 검출된 경계면 정보를 이용하여 관심 영역을 선명하게 나타내는 영상의 전체 또는 일부를 선별하는 단계; 및
상기 선별된 영상들을 결합하여 생성된 파노라마 영상을 제공하는 단계를 포함하는 것을 특징으로 하는 파노라마 영상 제공 방법.
재구성을 위해 사용되는 영상들의 크기를 기준 픽셀값에 대응되도록 축소 또는 확대한 영상들을 미리 설정된 복수의 이미지 레이어에 따라 재구성하는 단계;
상기 재구성된 영상들의 노이즈(Noise)를 미리 결정된 알고리즘을 이용하여 제거하는 단계;
상기 노이즈가 제거된 영상들로부터 선명도를 결정하는 경계면(edge) 정보를 검출하는 단계;
상기 검출된 경계면 정보를 이용하여 선명한 영상들을 선별하는 영상 선별 단계; 및
상기 선별된 영상들을 보간(interpolation)하여 파노라마영상을 생성하는 단계를 컴퓨터상에서 수행하는 프로그램이 저장된 컴퓨터가 판독 가능한 기록 매체.