KR20160125715A - 3차원 스캐너 및 스캐닝 방법 - Google Patents

Abstract

본 발명은 촬영 간단하고, 작업속도를 향상시킬 수 있는 3차원 스캐닝방법 및 3차원 스캐닝 장치를 개시한다.
본 발명은 피사체의 촬영을 시작하는 시작위치(11)를 기준으로 3차원 가상 촬영좌표계(10)를 생성하는 가상 촬영좌표 생성단계(T2)와, 상기 가상 촬영좌표계(10)와 단말기의 위치(13)를 디스플레이부(3)에 디스플레이하며 상기 가상 촬영좌표계(10)의 각 지점을 따라 촬영중인 단말기의 촬영 위치를 안내하는 안내단계(T3)와, 상기 안내에 따라 단말기의 위치를 이동시키면서, 각 가상촬영 좌표 위치에서 피사체의 촬영하는 촬영단계(T4)를 진행하면 촬영된 사진과 함께 촬영지점의 위치정보를 사진과 함께 저장하는 저장단계(T5)를 진행하여 3차원 스캐닝을 실시하는 것이다.

Description

3차원 스캐너 및 스캐닝 방법{3D SCANNER AND 3D SCANNING METHOD}

본 발명은 3차원 스캐너 및 스캐닝 방법에 관한 것으로서, 보다 상세하게는 단말기를 이용하여 3차원 이미지를 생성할 수 있는 촬영위치를 안내받으면서 스캐닝을 진행하는 3차원 스캐너 및 스캐닝 방법에 관한 것이다.

사회가 발달함에 따라 기존 2차원 데이터만으로는 산업, 의학, 영화, 온라인 쇼핑, 게임 등 사회 전 영역에서 한계가 발생하고 있다.

이를 해소하기 위한 3차원 데이터는 응용분야가 매우 다양하여 주요 선진국인 미국, 일본, 유럽 등지에서는 이미 국책과제로 선정하고 국가 주도로 기술개발에 경쟁적으로 참여하는 것은 물론, 사업화도 적극 추진 중에 있는 것으로 알려져 있다.

최근에는 기존 전통산업인 방송/통신, 토목/건축, 기계금형, 교육, 영화, 게임/애니메이션 등의 분야에 3D기술을 접촉하여 3D 방송/통신, 3D 토목/건축, 3D 기계금형, 3D 교육, 3D 영화, 3D 게임/애니메이션으로 발전시키는 3D 융합산업이 차세대 신 성장 동력산업으로 급부상하고 있다.

3차원 스캐너는 피사체의 형상에 대한 수치 데이터를 수집하는 장치이다. 수집된 데이터는 디지털 입체 모델을 구축하는데 사용할 수 있다. 3차원 스캐너를 구현하는데는 여러 가지 기술 방식이 있으며, 각각의 방식에는 기술적, 비용적 장단점이 존재한다.

종래에는 3차원 스캐너는 사전에 미리 촬영위치가 결정되어 있는 여러대의 카메라를 이용하여 피사체를 촬영하여 이를 3차원 영상으로 변환시키는 방법을 사용하여, 그 구조가 복잡하고, 고가의 장비를 사용해야하는 문제점이 있다.

대한민국 공개특허공보 10-2014-0115578(3차원 스캐너 플랫폼 및 이를 구비한 3차원 스캔장치. 2014.10.01.)

상기와 같은 점을 감안하여 안출한 본 발명의 목적은 휴대가 용이한 단말기에 부착된 카메라를 이용하여 3차원 데이터 얻는데 필요한 표준위치를 안내하여 사용자가 단말기를 이동시키면서 쉽게 3차원 데이터를 얻을 수 있도록 하는 3차원 스캐너 및 스캐닝 방법을 제공함에 있다.

상기와 같은 본 발명의 목적을 달성하기 위한 3차원 스캐닝 방법은 피사체의 촬영을 시작하는 시작위치를 기준으로 3차원 가상 촬영좌표계를 생성하는 가상 촬영좌표 생성단계; 상기 가상 촬영좌표계와 단말기의 위치를 디스플레이부에 디스플레이하며 상기 가상 촬영좌표계의 각 지점을 따라 촬영중인 단말기의 촬영 위치를 안내하는 안내단계; 상기 안내에 따라 단말기의 위치를 이동시키면서, 각 가상촬영 좌표 위치에서 피사체의 촬영하는 촬영단계를 진행하면 촬영된 사진과 함께 촬영지점의 위치정보를 사진과 함께 저장하는 저장단계;를 포함한다.

또한, 보다 바람직하게는, 상기 촬영단계는 사용자가 단말기의 위치를 가상 촬영좌표 위치에 위치시킨 경우, 단말기가 이를 감지하여 카메라가 자동으로 촬영을 진행하도록 제어한다.

또한, 보다 바람직하게는, 상기 저장단계는 촬영된 사진의 원본 이미지에서 실루엣을 추출하여 실루엣을 저장하는 실루엣저장단계를 더 포함한다.

또한, 보다 바람직하게는, 상기 저장단계에서 최초 실루엣을 추출한 이후, 다음 촬영위치에서 촬영시 상기 실루엣의 특징점과 현재위치에서 촬영된 실루엣의 특징점을 상호비교하여 촬영위치의 공간이동에 대응하여 매칭되는 특징점을 추출하고, 상기 매칭되는 특징점을 포함하는 피사체 이미지와 실루엣만을 저장한다.

또한, 보다 바람직하게는, 상기 가상 촬영좌표 생성단계 이후에는 상기 가상 촬영좌표계에서 각 촬영이 완료된 좌표에 대응하여 3차원 모델링이 가능한 영역을 판단하고 이를 3차원 모델링이 가능한 영역범위를 화면에 표시하고, 사용자가 3차원 모델링이 가능한 영역범위를 확인하고, 사용자에 의해 3차원 모델링 실행명령이 입력되면, 3차원 모델링을 실시하는 모델링단계를 진행한다.

또한, 보다 바람직하게는, 상기 저장단계 이후에는, 사용자가 설정한 모델링 비율범위에 대응되는 상기 가상 촬영좌표계의 모든 좌표에서 사진을 촬영하고 상기 저장단계가 완료되었는지를 판단하는 판단단계; 및 상기 판단단계에서 완료된 것으로 판단되면 3차원 모델링을 실시하는 모델링단계를 진행한다.

또한, 보다 바람직하게는, 상기 시작위치는 상기 가상 촬영좌표계의 어느 한 지점을 시작위치로 하여 촬영을 시작하고, 임의의 위치에서 촬영을 시작하고자 하는 경우에는 상기 가상 촬영좌표 생성단계 이전에 임의의 위치인 시작위치에서 피사체를 촬영하고, 사용자에 의해 상기 3차원 모델링이 실시될 모델링 비율범위를 설정하는 촬영시작단계를 진행한다.

또한, 보다 바람직하게는, 상기 안내단계는 단말기에 설치된 지자기센서를 이용하여 수평방향 촬영좌표를 안내하는 수평방향 안내단계; 및 단말기에 설치된 자이로센서를 이용하여 수직방향 촬영좌표를 안내하는 수직방향 안내단계를 포함한다.

또한, 보다 바람직하게는, 상기 저장단계 이전에는 다음 촬영지점으로 단말기를 이동시키는 경우, 가속도센서를 이용하여 단말기의 이동거리를 산출하는 이동거리 산출단계; 상기 이동거리 산출단계에서 산출된 이동거리와, 이동위치와 이동전 위치로 삼각측량법을 실시하여 피사체와 다음 촬영지점의 거리를 산출하는 피사체 거리 산출단계; 및 산출된 피사체와 촬영지점의 거리를 통해 촬영된 이미지의 크기를 재설정하는 크기 재설정단계;를 진행한다.

또한, 보다 바람직하게는, 상기 저장단계 이전에는 촬영시 단말기가 기울어진 경우 단말기의 기울기 정보를 통해 기울어진 사진의 수평상태를 조절하는 수평 보정단계;를 진행한다.

또한, 보다 바람직하게는, 상기 저장단계는 촬영된 사진이 디스플레이되는 디스플레이부에서 사용자가 피사체의 촬영영역을 지정하면, 지정된 영역안의 피사체 이미지만을 저장한다.

또한, 보다 바람직하게는, 상기 저장단계는 상기 촬영영역보다 지정된 비율만큼 확장된 영역을 저장한다.

또한, 보다 바람직하게는, 상기 저장단계는 촬영 위치 이동시 카메라의 초점이 재설정되는 과정에서 촬영되는 이미지 픽셀과 배경 이미지 픽셀의 콘트라스 변화값을 비교하고, 콘트라스 변화값이 일정범위 이상인 픽셀영역을 피사체의 이미지 영역으로 판단하고, 그 피사체 이미지영역을 촬영영역으로 지정하여 지정된 영역안의 피사체 이미지만을 저장한다.

또한, 보다 바람직하게는, 상기 촬영단계는 깊이센서(Depth Sensor)를 이용하여 깊이정보를 추출하는 과정을 더 포함하고, 상기 저장단계는 상기 깊이센서를 이용하여 추출한 깊이정보를 저장하는 단계를 더 포함한다.

상기와 같은 본 발명의 목적을 달성하기 위한 3차원 스캐너는 카메라가 적어도 하나 이상 구비된 단말기; 상기 카메라를 통해 촬영되는 사진을 디스플레이하는 디스플레이부; 및 상기 디스플레이부에 피사체를 촬영해야하는 위치인 3차원 가상 촬영좌표계와, 상기 3차원 가상 촬영좌표계 상에서 상기 카메라의 위치를 추가적으로 표시하는 제어부;를 포함한다.

또한, 보다 바람직하게는, 상기 단말기는 상기 3차원 가상 촬영좌표계에서 수평 이동각도를 측정하여 상기 제어부에 측정신호를 전달하는 지자기센서; 및 상기 3차원 가상 촬영좌표계에서 수직 이동각도를 측정하여 상기 제어부에 측정신호를 전달하는 자이로센서;를 더 포함한다.

또한, 보다 바람직하게는, 상기 단말기는 상기 카메라로 촬영하는 피사체와의 깊이 정보를 측정하는 깊이센서;를 더 포함한다.

이와 같이 본 발명에 의한 3차원 스캐너는 3차원 가상 촬영좌표계를 디스플레이하여 사용자가 촬영지점을 쉽게 찾을 수 있도록 안내하므로 사용의 편의성이 증가되는 효과가 있다.

또한 본 발명에 의한 3차원 스캐너는 간단히 모바일 단말기(스마트폰)를 통해 구현이 가능하므로 모바일 단말기에 구비된 센서를 활용하여 단말기 위치 측정 및 디스플레이가 가능하므로 사용의 편의성이 증가되는 효과가 있다.

또한 본 발명에 의한 3차원 스캐너는 촬영중에 필요한 영역을 지정한 상태로 이미지를 저장할 수 있기 때문에 불필요한 배경을 제거하여 3차원 모델링효율이 향상되는 효과가 있다.

도 1은 본 발명의 바람직한 3차원 스캐너를 도시한 상태도,
도 2는 단말기의 디스플레이부를 도시한 상태도,
도 3은 3차원 가상 촬영좌표계를 도시한 상태도,
도 4는 단말기의 위치측정 과정을 설명하기 위한 개략도,
도 5는 단말기와 피사체와의 거리를 측정하고 이미지를 배율을 조정하는 단계를 도시한 상태도,
도 6은 피사체의 실루엣을 추출하는 과정을 도시한 상태도,
도 7은 모델링 과정을 도시한 상태도,
도 8은 이미지의 수평상태를 보정하는 과정을 도시한 상태도,
도 9는 본 발명의 바람직한 일 실시예인 3차원 스캐닝 방법을 도시한 플로우차트,
도 10은 본 발명의 바람직한 또 다른 실시예인 3차원 스캐닝 방법을 도시한 플로우차트.

이하, 본 발명의 바람직한 일 실시예인 3차원 스캐닝 장치 및 스캐닝 방법을 첨부된 도면을 참조하여 보다 상세히 설명하면 다음과 같다.

여기서 1) 첨부된 도면들에 도시된 형상, 크기, 비율, 각도, 개수 등은 개략적인 것으로 다소 변경될 수 있다. 2) 도면은 관찰자의 시선으로 도시되기 때문에 도면을 설명하는 방향이나 위치는 관찰자의 위치에 따라 다양하게 변경될 수 있다. 3) 도면 번호가 다르더라도 동일한 부분에 대해서는 동일한 도면 부호가 사용될 수 있다. 4) '포함한다, 갖는다, 이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 5) 단수로 설명되는 경우 다수로도 해석될 수 있다. 6) 형상, 크기의 비교, 위치 관계 등이 '약, 실질적' 등으로 설명되지 않아도 통상의 오차 범위가 포함되도록 해석된다. 7) '~후, ~전, 이어서, 후속하여, 이때' 등의 용어가 사용되더라도 시간적 위치를 한정하는 의미로 사용되지는 않는다. 8) '제1, 제2, 제3' 등의 용어는 단순히 구분의 편의를 위해 선택적, 교환적 또는 반복적으로 사용되며 한정적 의미로 해석되지 않는다. 9) '~상에, ~상부에, ~하부에, ~옆에, ~측면에' 등으로 두 부분의 위치 관계가 설명되는 경우 '바로'가 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다. 10) 부분들이 '~또는'으로 전기적으로 접속되는 경우 부분들 단독뿐만 아니라 조합도 포함되게 해석되나, '~또는, ~중 하나'로 전기적으로 접속되는 경우 부분들 단독으로만 해석된다.

도 1은 본 발명의 바람직한 3차원 스캐너를 도시한 상태도이고, 도 2는 단말기의 디스플레이부를 도시한 상태도이고, 도 3은 3차원 가상 촬영좌표계를 도시한 상태도이고, 도 4는 단말기의 위치측정 과정을 설명하기 위한 개략도이고, 도 5는 단말기와 피사체와의 거리를 측정하고 이미지를 배율을 조정하는 단계를 도시한 상태도이고, 도 6은 피사체의 실루엣을 추출하는 과정을 도시한 상태도이고, 도 7은 모델링 과정을 도시한 상태도이고, 도 8은 이미지의 수평상태를 보정하는 과정을 도시한 상태도이고, 도 9는 본 발명의 바람직한 일 실시예인 3차원 스캐닝 방법을 도시한 플로우차트이고, 도 10은 본 발명의 바람직한 또 다른 실시예인 3차원 스캐닝 방법을 도시한 플로우차트이다.

도 1내지 도 9에 도시된 바와 같이 본 발명의 바람직한 일 실시예인 3차원 스캐닝 장치는 일측면에 디스플레이부(3)가 구비된 단말기(1)로 이루어진다. 단말기(1)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player)등 사진의 촬영과 디스플레이가 가능한 모든 단말기를 의미한다. 본 발명에서는 스마트폰을 사용하는 것을 일예로 들어 설명한다.

단말기(1)에는 영상을 촬영할 수 있는 카메라(2)가 설치된다. 일반적으로 스마트폰의 경우에는 디스플레이부(1)가 형성된 전면에 하나, 후면에 하나, 총 2개의 카메라가 설치된다. 후면에 설치된 카메라(2)를 사용하는 것이 바람직하다.

또한 전면 또는 후면에 설치된 카메라(2)는 동일 촬영방향에 2개 이상의 카메라를 가진 스테레오 카메라(Stereo Camera)가 적용될 수도 있으며, 카메라(2)의 주변에는 깊이센서(Depth Sensor)(8)가 장착된다. 여기서 카메라안 CMOS 센서, CCD 센서 등의 이미지센서를 사용하여 피사체의 2차원 화상을 촬영하는 장치이고, 깊이센서(8)은 IR 센서, Laser 센서, 초음파센서 등을 사용해 단말기와 피사체간의 3차원 거리정보 또는 깊이정보(Depth information)를 측정하는 장치이다.

또한 단말기(1)에는 지자기센서(5), 자이로센서(6), 가속도센서(7)가 설치된다. 지자기센서(5)는 카메라의 3차원 가상 촬영좌표계에 표시된 위치 상에서 수평 이동각도를 측정하는 것이 가능하고, 자이로센서는 카메라의 3차원 가상 촬영좌표계에 표시된 위치 상에서 수직 이동각도를 측정하는 것이 가능하다. 이러한 센서는 현재 스마트폰에 설치되어 사용되고 있는 동일한 종류의 센서를 그대로 활용하는 것도 가능하다.

단말기(1)에는 디스플레이부(3)에 디스플레이되는 촬영영상 뿐만 아니라, 피사체를 촬영해야하는 위치를 표시하는 3차원 가상 촬영좌표계(10)를 추가적으로 디스플레이 한다. 또한, 촬영된 이미지의 이미지정보(센싱정보, 화이트밸런스 등)를 추가적으로 표시하는 것도 가능하다.

상기와 같이 구성된 3차원 스캐닝장치가 작동되는 과정은 다음과 같다.

도 9에 도시된 바와 같이 3차원 스캐닝 방법은 우선 피사체를 촬영하기 위해 카메라를 작동시키고, 도 2에 도시된 작동버튼(1a)를 클릭하면 3차원 가상 촬영좌표계(10)를 생성하는 가상 촬영좌표 생성단계(T2)를 실시한다.

이때, 가상 촬영좌표 생성단계(T2) 이전에 도 10에 도시된 바와 같이 시작위치(11)는 임의의 위치에서 촬영을 시작하는 경우에는 가상 촬영좌표계(10)의 생성이전에 임의의 위치인 시작위치에서 피사체를 촬영하는 촬영시작단계(T1)을 먼저 진행할 수도 있다. 촬영시작단계(T1)에서는 또한 사용자에 의해 3차원 모델링을 실시할 비율범위를 설정할 수도 있다. 3차원 가상 촬영 좌표계(10)에서 사용자가 원하는 위치에 모든 좌표에서 30% or 50% or 100% 등 미리 모델링할 비율범위(이하, 모델링 비율범위이라 함)를 설정하고, 가상 촬영좌표계(10)에서 각 촬영이 완료된 좌표에 대응하여 3차원 모델링이 가능한 영역을 판단하고 이를 3차원 모델링이 가능한 영역범위로 디스플레이부 화면에 표시하고, 사용자가 3차원 모델링이 가능한 영역범위로 화면에 표시하고, 사용자가 3차원 모델링이 가능한 영역범위를 확인하고, 사용자에 의해 3차원 모델링 실행명령이 입력되면 후술할 3차원 모델링을 실시하는 모델링단계(T7)를 진행한다. 설정된 설정범위에 맞게 가상 촬영좌표계(10)를 생성한 후 설정범위에 따른 촬영이 완료되면 모델링을 진행하는 방법을 적용할 수 있다.

도 3에 도시된 바와 같이 생성된 가상 촬영좌표계(10)는 디스플레이부(3)에 디스플레이 된다. 디스플레이되는 가상 촬영좌표계(10) 상에 촬영중인 단말기의 촬영위치(13)를 디스플레이한다. 사용자는 단말기의 촬영위치(13) 변동을 보면서 좌측방향이나 우측방향으로 위치를 이동할 수 있게 되는 것이다.

안내단계(T3)는 도 3 및 도 4에 도시된 바와 같이 단말기(1)에 설치된 지자기센서를 이용하여 수평방향 촬영좌표(10a)를 안내하는 수평방향 안내단계(T31)와, 단말기(1)에 설치된 자이로센서를 이용하여 수직방향 촬영좌표(10b)를 안내하는 수직방향 안내단계(T32)가 상호 보완적으로 작동되어 3차원 가상 촬영좌표계(10)에 표시된 각지점으로 단말기(1)가 이동되는 위치를 표시할 수 있다. 즉, 지자기센서에 의해 피사체를 중심으로 단말기(1)가 이동되어야 하는 수평 위치의 각도를 측정할 수 있고, 자이로센서에 의해 피사체를 중심으로 단말기(1)가 이동되어야 하는 수직 위치의 각도를 측정할 수 있다. 이렇게 측정된 수평위치 각도와 수직위치 각도가 상호 크로스 되는 지점이 3차원 가상 촬영 좌표계(10)에 표시되는 지점이다. 자이로센서에서 계측되는 자세정보와 지자기센서의 방위정보를 상호 보완하여 X,Y, Z 축 방향 촬영지점의 자세정보를 측정한다.

디스플레이되는 3차원 촬영좌표계(10)의 안내를 따라 단말기의 위치를 이동시키면서, 각 가상촬영 좌표 위치에서 피사체를 촬영하는 촬영단계(T4)를 진행한다.

상기 촬영단계(T4)에서 촬영이란 단말기에 설치된 카메라(2)를 이용하여 피사체의 이미지정보(Image information)를 추출하는 것으로, 이러한 이미지정보는 동일한 촬영방향에서 적어도 하나 이상의 사진정보(Photo information, 이하 사진이미지라 함)를 포함하고, 여기에 깊이센서(8)로 측정된 깊이정보가 더 추가될 수 있다.

또한 촬영단계(T4)에서는 사용자가 디스플레이되는 3차원 가상 촬영좌표계(10)에 표시되는 카메라의 위치(13)를 인식하여 수동으로 카메라를 작동시키는 방법을 적용할 수 있다. 또는 카메라의 위치(13)가 시작위치(11)에서 다음 촬영위치(12)로의 이동이 완료가 되면, 제어부에서 이를 인식하여 자동으로 카메라가 사진을 촬영하는 방법을 적용할 수도 있다.

촬영단계(T4)가 완료되면, 다음으로 이동거리 산출단계(T81), 피사체 거리 산출단계(T82), 재설정단계(T83)이나 수평 보정단계(T84)를 진행한다. 이 단계들을 기재된 순차적으로 실시하는 것도 가능하고, 순서가 뒤바뀔 수도 있다. 또는 선택적으로 실시하는 것도 가능하다.

이동거리 산출단계(T81)은 도 5에 도시된 바와 같이 단말기를 다음 촬영지점으로 이동(P1에서 P2 지점으로 이동)시키면 내부에 설치된 가속도센서가 이를 감지하여 이동한 거리(L)을 측정한다.

다음으로 산출된 이동거리(L)와 이동위치(P2)와 이동전 위치(P1) 정보를 바탕으로 삼각측량법을 적용하여 피사체(S)와 촬영지점의 거리(r1, r2)를 산출하는 피사체 거리 산출단계(T82)를 실시한다.

단말기에 깊이센서(8)가 장착된 경우에는 이동거리 산출단계(T81)와 피사체 거리 산출단계(T82)를 통해 단말기와 피사체와의 거리를 측정하는 대신에, 깊이센서(8)에 의해 측정되는 단말기와 피사체간의 깊이정보를 통해 단말기와 피사체간의 간격을 추출할 수 있다.

산출된 피사체(S)와 각 촬영지점의 거리(r1, r2)를 표준거리(rs)위치로 환산하여 촬영된 이미지의 크기를 재설정하는 재설정단계(T83)을 실시한다. 즉 도 5에 도시된 바와 같이 촬영지점의 거리(r1, r2)가 표준거리(rs) 보다 길게 되면 촬영되는 사진 이미의 피사체는 작게 촬영이 되므로, 이를 표준거리(rs)로 환산하여 이미지의 크기를 확대시키는 것이다. 촬영된 이미지의 확대 및 축소를 통해 저장될 이미지의 크기를 표준화시킨다.

또한, 도 8에 도시된 바와 같이 촬영 중 단말기(1)가 기울어진채로 작동되어 촬영된 이미지의 왜곡이 발생되면, 각각의 촬영지점에서 촬영시 단말기의 기울기 정보를 습득하고, 습득한 기울기 정보를 통해 역방향으로 이미지를 회전시켜 사진의 수평상태를 조절하는 수평 보정단계(T84)를 실시한다.

촬영이 완료되면 촬영된 사진 이미지와 함께 촬영지점의 위치정보를 사진과 함께 저장하는 저장단계(T5)를 실시한다. 추가적으로 저장단계(T5)에서는 촬영된 사진의 원본 이미지에서 실루엣을 추출하여 저장할 수 있다. 저장단계(T5)에서 실루엣을 추출 및 저장함으로써 사용자가 현재 촬영이 완료된 지점에서 다음 촬영지점으로 단말기를 이동시키는 과정에서 지체되는 시간동안 현재 촬영된 사진에서 실루엣을 추출 및 저장함으로써 모델링단계에서 이미지프로세싱이 줄어들게 되어 고속으로 3차원 모델을 생성할 수 있게 되는 것이다.

실루엣을 저장하는 방법으로는 촬영과 동시에 컬러필터를 통한 이미지 양자화로 색상경계선을 추출하고, 이를 원본사진에 대해 식별 가능하도록 메타테그를 생성하여 저장함으로서 실루엣을 저장할 수 있다. 이와 같이 촬영과 동시에 컬러필터를 이용하여 색상경계선(실루엣)을 추출함으로써, 후술할 3d 모델링 단계에서 프로세싱을 최소화시킬 수 있게 되는 것이다. 또는 최초 실루엣을 추출한 이후, 다음 촬영위치에서 촬영 시 실루엣의 특징점과 현재위치에서 촬영된 실루엣의 특징점을 상호 비교하여 촬영위치의 공간이동에 대응하여 매칭되는 특징점을 추출하고, 매칭되는 특징점을 포함하는 피사체 이미지와 실루엣만을 저장할 수도 있다. 특징점을 추출하는 방법으로는 실루엣을 추출하고 실루엣의 변곡점(엣지점)을 계산하여 엣지포인트를 추출, local invariant feature descriptor 방법으로는 SIFT, SURF, BRIEF, ORB, FREAK 등의 방법이 있다. 특징점 추출은 이외에도 현재 다양한 방법이 사용되고 있고, 이런 본발명에는 다양한 방법을 적용하는 것이 가능하다. 특징점 매칭방법은 가상 촬영좌표계(10)에 투영하여 각 이전촬영위치의 특징점과 현재 촬영위치의 특징점이 일정한 임계범위 내에 근접하는 매칭 유사도를 가지는 특징점을 추출하는 방법을 사용하는 것이 바람직하다.

저장단계(T5)는 촬영된 사진이 디스플레이되는 디스플레이부에서 사용자가 피사체의 촬영영역을 지정하고, 지정된 영역안의 피사체 이미지만을 저장할 수 있다. 촬영영역 지정은 터치스크린에서 일반적으로 사용하는 터치에 의한 드래그나, 투핑거 줌 방식을 이용할 수 있다. 또한 지정된 촬영영역을 곧바로 저장하는 것도 가능하나, 사용자가 실수로 피사체의 일부가 자신이 설정한 촬영영역 지정을 다소 벗어나게 지정하는 경우가 발생되는 것을 방지할 수 있도록 사용자가 지정한 영역보다 지정된 비율만큼 확장된 영역을 저장할 수도 있다.

또는 저장단계(T5)에서 피사체의 이미지만을 추출하여 피사체 이미지만을 저장할 수도 있다. 촬영 위치 이동시에 카메라의 초점이 재설정된다. 이때, 카메라의 초점이 재설정되는 과정에서 피사체와 배경의 이미지 픽셀 콘트라스 변화값을 비교하여 피사체의 이미지만을 추출할 수 있는 것이다. 영상필터를 사용하면 콘크라스 변화비율이 급격한 픽셀영역을 추출할 수 있다. 일반적으로 초점을 검출하기 위해서 콘트라스 AF, 위상차 AF 등이 있고, 촬영하고자 하는 이미지를 화면의 가운데에 높고 초점을 변경하면서 촬영하면 피사체의 콘트라스가 변하게 되는데, 이때 콘트라스 변화가 최대일때를 초점으로 맞춘다. 이때 초점을 설정하는 과정에서 배경과 피사체의 콘트라스 변화는 반비례(위상차)하게 되는데, 이때 콘트라스 변화의 위상차가 반비례하는 영상픽셀의 경계선을 추출함으로써 피사체의 이미지 영역을 자동으로 설정할 수 있게 되는 것이다.

또한, 저장단계(T5)는 깊이센서(8)에서 추출된 깊이정보가 존재하면 이를 포함하여 저장할 수도 있으며, 촬영 당시의 원본 사진을 더 포함하여 저장할 수도 있다.

추가적으로, 저장단계(T5)는 촬영위치에 대응되는 단말기정보를 메타정보로 변환하여 저장할 수 있다.

구체적으로, 상기 메타정보는 대응되는 원본 사진 및 실루엣 정보와 연동되는 것으로, 상기 단말기정보는 해당 촬영점의 "촬영좌표계(10)내에서 해당 촬영점의 좌표정보, 피사체와의 촬영점간의 거리, 해당 촬영점의 단말기의 기울기 및 촬영영역(범위)"등의 상기정보를 포함하는 것이다.

저장단계(T5)가 완료되면, 가상 촬영좌표계(10)의 모든 좌표 지점에서 사진을 촬영하고 저장이 완료되었는지를 판단하는 판단단계(T6)를 진행한다. 판단단계(T6)에서 촬영이 완료된 것으로 판단되면, 3차원 모델링을 실시하는 모델링단계(T7)를 진행한다. 판단단계(T6)에서 모든 좌표 지점에서의 촬영이 완료되지 않은 것으로 판단되면 안내단계(T3)에서 다시 진행된다.

모델링단계(T7)는 실루엣 및 원본 사진과 대응되는 메타정보에 따라 정규화(Normalization)하여 모델링을 실시하는 과정이 포함된다. 이를 통해 촬영완료된 다수의 이미지로부터 모델링을 생성하는 과정에서 프로세싱의 부하를 줄일 수 있고, 모델링 시 정밀도가 향상되는 것이다.

예를 들어 상기 모델링단계(T7)는 도 7에 도시된 바와 같이, 3차원 가상 촬영좌표계(10)에 대응되는 공간좌표에 메타정보에 따라 실루엣을 투영하고, 해당되는 실루엣을교차시킨 후, 폴리곤 근사화를 거쳐, 메쉬를 생성하고, 컬러를 맵핑하는 단계로 진행된다. 즉, 추출된 실루엣 정보와 메타정보에 저장된 단말기정보를 사용하여 설정된 표준위치에 실루엣을 교차(silhouette Intersection)시켜 비쥬얼 헐(visual hull)을 복원하고, 비쥬얼 헐에 대응되는 복셀 명암강도를 이용한 폴리곤 근사화과정을 통해 표면의 디테일 및 굴곡을 생성하고, 근사화된 폴리곤을 메쉬구조로 연결하여 3D 모델정보를 추출한다. 그리고 각 메쉬 구조에 대응되는 컬러를 맵핑하여 3D모델링을 완료하는 과정일 수 있다.

3D 모델링이 완료되면 상기 디스플레이부에서 3d뷰어를 통해 3차원 이미지를 디스플레이 하는 경우, 자유회전하는 감상위치와 가장 가까운 위치에서 촬영된 원본사진을 디스플레이되는 3차원이미지와 오버랩시켜 디스플레이할 수 있다.

본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위내에 있게 된다.

1 : 단말기 2 : 카메라
3 : 디스플레이부 4 : 제어부
5 : 지자기 센서 6 : 자이로 센서
7 : 가속도 센서 8 : 깊이센서

Claims (17)

1. 피사체의 촬영을 시작하는 시작위치(11)를 기준으로 3차원 가상 촬영좌표계(10)를 생성하는 가상 촬영좌표 생성단계(T2);
   상기 가상 촬영좌표계(10)와 단말기의 위치(13)를 디스플레이부(3)에 디스플레이하며 상기 가상 촬영좌표계(10)의 각 지점을 따라 촬영중인 단말기의 촬영 위치를 안내하는 안내단계(T3);
   상기 안내에 따라 단말기의 위치를 이동시키면서, 각 가상촬영 좌표 위치에서 피사체의 촬영하는 촬영단계(T4)를 진행하면 촬영된 사진과 함께 촬영지점의 위치정보를 사진과 함께 저장하는 저장단계(T5);를 포함하는 3차원 스캐닝 방법.
2. 제 1항에 있어서, 상기 촬영단계(T4)는
   사용자가 단말기의 위치를 가상 촬영좌표 위치에 위치시킨 경우, 단말기가 이를 감지하여 카메라가 자동으로 촬영을 진행하도록 제어하는 3차원 스캐닝 방법.
3. 제 1항에 있어서, 상기 저장단계(T5)는
   촬영된 사진의 원본 이미지에서 실루엣을 추출하여 실루엣을 저장하는 실루엣저장단계를 더 포함하는 3차원 스캐닝 방법.
4. 제 3항에 있어서,
   상기 저장단계(T5)에서 최초 실루엣을 추출한 이후, 다음 촬영위치에서 촬영시 상기 실루엣의 특징점과 현재위치에서 촬영된 실루엣의 특징점을 상호비교하여 촬영위치의 공간이동에 대응하여 매칭되는 특징점을 추출하고, 상기 매칭되는 특징점을 포함하는 피사체 이미지와 실루엣만을 저장하는 3차원 스캐닝 방법.
5. 제 1항에 있어서, 상기 가상 촬영좌표 생성단계(T2) 이후에는
   상기 가상 촬영좌표계(10)에서 각 촬영이 완료된 좌표에 대응하여 3차원 모델링이 가능한 영역을 판단하고 이를 3차원 모델링이 가능한 영역범위를 화면에 표시하고,
   사용자가 3차원 모델링이 가능한 영역범위를 확인하고, 사용자에 의해 3차원 모델링 실행명령이 입력되면, 3차원 모델링을 실시하는 모델링단계(T7)를 진행하는 3차원 스캐닝 방법.
6. 제 1항에 있어서, 상기 저장단계(T5) 이후에는,
   사용자가 설정한 모델링 비율범위에 대응되는 상기 가상 촬영좌표계(10)의 모든 좌표에서 사진을 촬영하고 상기 저장단계가 완료되었는지를 판단하는 판단단계(T6); 및
   상기 판단단계(T6)에서 완료된 것으로 판단되면 3차원 모델링을 실시하는 모델링단계(T7)를 진행하는 3차원 스캐닝 방법.
7. 제 1항에 있어서, 상기 시작위치(11)는 상기 가상 촬영좌표계(10)의 어느 한 지점을 시작위치로 하여 촬영을 시작하고,
   임의의 위치에서 촬영을 시작하고자 하는 경우에는 상기 가상 촬영좌표 생성단계(T1) 이전에 임의의 위치인 시작위치에서 피사체를 촬영하고, 사용자에 의해 상기 3차원 모델링이 실시될 모델링 비율범위를 설정하는 촬영시작단계(T1)를 진행하는 3차원 스캐닝 방법.
8. 제 1항에 있어서, 상기 안내단계는
   단말기에 설치된 지자기센서를 이용하여 수평방향 촬영좌표(10a)를 안내하는 수평방향 안내단계(T31); 및
   단말기에 설치된 자이로센서를 이용하여 수직방향 촬영좌표(10b)를 안내하는 수직방향 안내단계(T32)를 포함하는 3차원 스캐닝 방법.
9. 제 1항에 있어서, 상기 저장단계(T5) 이전에는
   다음 촬영지점으로 단말기를 이동시키는 경우, 가속도센서를 이용하여 단말기의 이동거리를 산출하는 이동거리 산출단계(T81);
   상기 이동거리 산출단계에서 산출된 이동거리와, 이동위치와 이동전 위치로 삼각측량법을 실시하여 피사체와 다음 촬영지점의 거리를 산출하는 피사체 거리 산출단계(T82); 및
   산출된 피사체와 촬영지점의 거리를 통해 촬영된 이미지의 크기를 재설정하는 크기 재설정단계(T83);를 진행하는 3차원 스캐닝 방법.
10. 제 1항에 있어서, 상기 저장단계 이전에는
    촬영시 단말기가 기울어진 경우 단말기의 기울기 정보를 통해 기울어진 사진의 수평상태를 조절하는 수평 보정단계(T84);를 진행하는 3차원 스캐닝 방법.
11. 제 1항에 있어서, 상기 저장단계는
    촬영된 사진이 디스플레이되는 디스플레이부에서 사용자가 피사체의 촬영영역을 지정하면, 지정된 영역안의 피사체 이미지만을 저장하는 3차원 스캐닝 방법.
12. 제 11항에 있어서, 상기 저장단계는 상기 촬영영역보다 지정된 비율만큼 확장된 영역을 저장하는 3차원 스캐닝 방법.
13. 제 1항에 있어서, 상기 저장단계는
    촬영 위치 이동시 카메라의 초점이 재설정되는 과정에서 촬영되는 이미지 픽셀과 배경 이미지 픽셀의 콘트라스 변화값을 비교하고,
    콘트라스 변화값이 일정범위 이상인 픽셀영역을 피사체의 이미지 영역으로 판단하고, 그 피사체 이미지영역을 촬영영역으로 지정하여 지정된 영역안의 피사체 이미지만을 저장하는 3차원 스캐닝 방법.
14. 제 1항에 있어서, 상기 촬영단계(T4)는 깊이센서(Depth Sensor)를 이용하여 깊이정보를 추출하는 과정을 더 포함하고,
    상기 저장단계(T5)는 상기 깊이센서를 이용하여 추출한 깊이정보를 저장하는 단계를 더 포함하는 3차원 스캐닝 방법.
15. 카메라(2)가 적어도 하나 이상 구비된 단말기(1);
    상기 카메라(2)를 통해 촬영되는 사진을 디스플레이하는 디스플레이부(3); 및
    상기 디스플레이부(3)에 피사체를 촬영해야하는 위치인 3차원 가상 촬영좌표계(10)와, 상기 3차원 가상 촬영좌표계 상에서 상기 카메라의 위치(13)를 추가적으로 표시하는 제어부(4);를 포함하는 3차원 스캐너.
16. 제 14항에 있어서, 상기 단말기(1)는
    상기 3차원 가상 촬영좌표계(10)에서 수평 이동각도를 측정하여 상기 제어부에 측정신호를 전달하는 지자기센서(5); 및
    상기 3차원 가상 촬영좌표계(10)에서 수직 이동각도를 측정하여 상기 제어부에 측정신호를 전달하는 자이로센서(6);를 더 포함하는 3차원 스캐너.
17. 제 16항에 있어서, 상기 단말기(1)는
    상기 카메라(2)로 촬영하는 피사체와의 깊이 정보를 측정하는 깊이센서(8);를 더 포함하는 3차원 스캐너.
    

Images