KR101738433B1 - 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법 - Google Patents

손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법 Download PDF

Info

Publication number
KR101738433B1
KR101738433B1 KR1020150053000A KR20150053000A KR101738433B1 KR 101738433 B1 KR101738433 B1 KR 101738433B1 KR 1020150053000 A KR1020150053000 A KR 1020150053000A KR 20150053000 A KR20150053000 A KR 20150053000A KR 101738433 B1 KR101738433 B1 KR 101738433B1
Authority
KR
South Korea
Prior art keywords
point cloud
cloud data
correcting
value
image
Prior art date
Application number
KR1020150053000A
Other languages
English (en)
Other versions
KR20160123021A (ko
Inventor
김영진
Original Assignee
(주)컨트릭스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)컨트릭스랩 filed Critical (주)컨트릭스랩
Priority to KR1020150053000A priority Critical patent/KR101738433B1/ko
Publication of KR20160123021A publication Critical patent/KR20160123021A/ko
Application granted granted Critical
Publication of KR101738433B1 publication Critical patent/KR101738433B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일면에 따른 삼차원 스캔 시스템은 렌즈를 포함하는 촬영부; 상기 촬영부에 의해 획득된 이미지를 점군 데이터로 변환해주는 이미지 센서부; 삼차원 스캔 장치의 피치 값, 요 값 및 롤값을 측정하는 움직임 센서부; 및 상기 측정된 피치 값, 요 값 및 롤값 중 적어도 하나 이상의 값이 기설정된 임계값보다 큰 경우에, 상기 점군 데이터를 전, 후의 점군 데이터를 이용하여 벡터 공간 평균화 방법에 의해 보정하는 연산부를 포함하는 것을 특징으로 한다.

Description

손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3D 스캔 장치 및 그 보정 방법 {Mobile 3D scanner having a handshake correction and method thereof}
본 발명은 삼차원(3-Dimensional, 3D) 스캐너에 관한 것으로서, 더 구체적으로는 손떨림 방지 기능이 구비된 휴대용 삼차원 스캐너 와 그 보정 방법 및 보정처리 성능 개선 방법에 관한 것이다.
최근, 3D 프린터의 보급 확산으로 3차원 형태의 물체를 스캔(Scan)하기 위한 3D 스캐너 산업 역시 성장 추세에 있다. 그 중에서도 특히 소형, 경량화로 휴대가 간편한 핸드헬드/모바일용의 휴대용 3D 스캐너의 활용이 많아질 것으로 기대되고 있다.
휴대용 3D 스캐너는 이동이 편하고, 일반 고정형의 데스크탑 3D 스캐너가 스캐너의 크기에 따라 스캔 할 수 있는 물체의 크기에 한계를 가지는 데 반해 스캔 대상 물체의 크기에 거의 구애 받지 않고 입체형상에 관한 데이터를 수집할 수 있는 등의 장점이 있다.
하지만, 고정식 3D 스캐너와 달리 휴대용 3D 스캐너는 사람이 직접 손으로 들고 스캔 할 물체의 주위를 이동하는 방식으로 입체 형상에 대한 데이터를 수집하기 때문에 손떨림이 발생하는 경우 데이터의 왜곡이 발생하는 문제점이 있다.
기존의 2D 카메라의 경우 이러한 손떨림을 보정하기 위한 많은 기술들이 있고, 광학적 영상 흔들림 방지장치(Optical Image Stabilizer, OIS), 전자식 영상 흔들림 방지장치(Electronic Image Stabilizer, EIS), 이미지 센서를 이용한 흔들림 방지 장치 등이 그 예이며 비교적 우수한 성능으로 손떨림을 보정해주는 것이 가능하다.
그런데 3D 스캐너의 경우 2D 카메라와 달리 물체의 공간 위치 값, 즉 가로, 세로, 깊이 축(X, Y, Z axis)에 대한 좌표 값(x, y, z)과 색상값(rgb)을 동시에 획득하여 연속적으로 그 값들을 저장하며, 3D 스캐너의 연산장치 혹은 스캐너와 연결된 컴퓨터 장치 등에서는 획득한 기본 점군 데이터(Point Cloud Data)의 x, y, z, rgb 값을 연산하여 디지털적인 점군 데이터들을 기록한다.
이 때 손떨림 보정을 위해 2D 카메라와 같이 단순히 OIS, EIS 등으로 영상을 보정하는 경우 실제 물체의 입체적 형상정보가 왜곡될 수 있으며 이로 인해 정상적인 점군 데이터와 이를 기반으로 한 물체의 3D 모델링에도 왜곡이 발생할 수 있다.
또한, 2D 카메라에 비해서 3D 스캐너의 경우 그 처리해야 할 데이터의 양이 많아지는데, 중복된 데이터들을 보정하지 않으면 연산 부하가 발생하고 더 많은 시간이 소요될 수 있다. 그런 경우에 고성능의 고정형 3D 스캐너와 달리 휴대용 3D 스캐너는 상대적으로 연산능력이 떨어지므로 데이터 처리가 더욱 지연되게 되고 이로 인해 스캔이 원활히 이루어지지 못하는 문제가 발생하게 된다.
이는 정밀한 3D 스캐닝을 통한 제품분석이나 리버스 엔지니어링 수행에 치명적 오류를 발생시킬 수 있으며, 휴대용 3D 스캐너의 경우에는 손떨림 자체를 방지할 수는 없으므로 효율적으로 손떨림을 보정하기 위한 방안이 필수적이다.
본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 휴대용 3D 스캐닝 기기에서 손떨림에 의한 데이터의 왜곡을 효과적으로 보정하고 그 보정 성능 또한 개선하며, 보정에 따라 중복된 데이터 처리에 낭비되는 연산 부하를 절감하여 정확도 높은 3D 스캔 데이터를 획득하고 저성능의 스캔 장비에서도 효과적으로 3D 스캔 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 삼차원 스캔 시스템은 렌즈를 포함하는 촬영부; 상기 촬영부에 의해 획득된 이미지를 점군 데이터로 변환해주는 이미지 센서부; 삼차원 스캔 장치의 피치값, 요값 및 롤값을 측정하는 움직임 센서부; 및 상기 측정된 피치 값, 요 값 및 롤값 중 적어도 하나 이상의 값이 기설정된 임계값보다 큰 경우에, 상기 점군 데이터를 보정하는 연산부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 휴대용 3D 스캐너에서 보다 정밀한 스캔데이터를 얻을 수 있고, 손떨림 처리 성능을 개선할 수 있으며, 손떨림에 의한 오류데이터를 보정할 수 있다. 또한, 보정 처리 성능 개선으로 인해 중복된 데이터들을 걸러낼 수 있고, 이는 연산장치의 부하를 크게 줄여줌으로써 스마트폰이나 태블릿 등 상대적으로 연산능력이 떨어지는 모바일 기기에서도 적은 연산량으로도 고품질의 3D 스캔 데이터를 얻을 수 있다. 더불어 부가적으로 데이터 처리량 감소로 인해 전력소모도 감소하게 되므로 이동형 장치에서 사용시간을 늘릴 수 있는 효과도 있다.
도 1은 본 발명에 따른 움직임 센서를 포함하는 휴대용 3D 스캐너의 구조도.
도 2는 손떨림의 공학적 모델인 피치, 요, 롤을 나타내는 도면.
도 3은 본 발명에 따른 움직임 센서를 포함하지 않는 휴대용 3D 스캐너의 구조도.
도 4는 본 발명의 일실시예에 따른 떨림 보정 방법에 대한 흐름도.
도 5는 본 발명의 일실시예에 따른 자이로센서가 없는 경우의 손떨림 판단방법을 나타낸 도면.
도 6은 기존 일반 3D 스캐너의 궤적을 나타내는 도면.
도 7은 움직임 센서가 장착된 경우의 보정방법을 나타내는 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이제 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 휴대용 삼차원(3D) 스캐너(100)의 구조도를 나타낸다. 휴대용 3D 스캐너는 촬영부(110), 이미지 보정부(120), 이미지 센서부(130), 움직임 센서부(140), 연산부(150)를 포함한다.
촬영부(110)는 카메라 렌즈를 포함하고, 이차원(2D) 이미지와는 달리 추가로 깊이(Depth) 정보가 필요하므로 2D 카메라와는 다른 여러 가지 방법으로 구현된다.
예컨대, 두 개 이상의 스테레오 렌즈로 구성될 수 있고, 또는 한개의 렌즈에 추가로 레이저나 적외선 등을 발생시키는 보조 장치를 장착하여 깊이 정보를 얻어낼 수도 있으며, 백색광 방식은 특정 패턴을 물체에 투영하여 패턴의 변화로 3D 이미지를 얻어내기도 하고, 변조광 방식은 주파수가 다른 빛을 쏘아 수광부 에서의 주파수 차이로 거리 값을 구하는 방법을 사용하고 있다.
이러한 예시 외에도 현재 3D 스캐너에는 여러 가지 방식이 사용되고 있으며, 위의 예에 국한되지 않고 다양한 3D 스캔방식으로 촬영부가 구성될 수 있음은 물론이다. 그런 다양한 3D 스캔 방식 차이에도 불구하고 아래에 설명 될 손떨림 보정 기술은 공통적으로 적용될 수 있다.
이미지 보정부(120)는 광학식, 기계식 또는 전자식 등 기존의 손떨림 보정 방법으로 손떨림에 의한 이미지 데이터의 흔들림을 보정한다. 이미지 보정을 연산부(150)에서 처리하는 경우에는 스캐너 자체에 이미지 보정부(120)가 포함되지 않을 수도 있다.
도 6은 3D 스캐너에 있어 실제 사용자의 스캐너 움직임 궤적과(실선 표시 부분), 스캐너 이동의 평균 궤적(점선 표시 부분) 즉, 스캔 대상 물체를 스캔 하기 위해 움직여야 할 궤적을 각각 나타낸다. 실선과 같은 움직임을 점선과 같이 만들어 주기 위해 본 발명의 손떨림 보정이 필요하게 된다.
종래에 아래와 같은 이미지 보정 방법이 제시되어 있다.
광학식 이미지 보정장치는 렌즈를 시프트(Shift)시키거나 틸트(Tilt)하는 방식으로 빛의 경로를 변화시켜줌으로써 흔들림을 보정하는 장치이다.
기계식 이미지 보정장치는 기기의 흔들림의 반대방향으로 이미지 센서를 움직여 주는 방식으로 흔들림을 보정해준다.
전자식 이미지 보정장치는 렌즈나 이미지 센서의 움직임 없이, 이미지 센서에서 획득한 이미지의 중앙부 약 80~90% 되는 구간에서 중복되는 이미지를 이용하고 나머지 가장자리 부분을 흔들림 보정을 위한 공백으로 이용함으로써 이미지 처리를 통해 흔들림을 보정한다.
기존의 보정 방식은 제작비의 상승이나 이미지 센서의 전부를 사용하지 못하는 각각의 단점이 있는 외에, 기존의 방식은 2D 카메라에 채택되던 것으로서 3D 스캐너에 적용할 경우 보정에 의한 왜곡이 발생하고, 정상적인 스캐닝 동작에서도 불필요한 보정을 하여 전력의 소모나 연산 능력을 저해하는 공통의 단점을 내포한다.
본 발명의 이미지 보정부(120)는 이하에서 설명하는 연산부(150)의 지시에 따라 보정이 필요한 경우에만 보정 동작을 수행하는 특징을 가지며, 이미지 보정부(120)의 구체적인 보정 동작에 대해서는 후술한다. 이미지 센서부(130)는 촬영부(110)에 의해 획득된 이미지를 전기신호로 바꿔주며 점군 데이터를 생성하는 것으로서, CCD, CMOS 등의 센서가 사용된다.
움직임 센서부(140)는 휴대용 3D 스캐너의 흔들림을 감지하기 위한 장치로서 자이로 센서, 가속도 센서 등이 이용된다. 움직임 감지 센서는 OIS/EIS등의 이미지 보정부(120)에 포함 되거나, 별도로 움직임 센서만이 스캐너에 장착될 수도 있다.
휴대용 3D 스캐너의 손떨림에 의한 움직임은 카메라의 후면에서 정면의 방향으로 봤을 때 X(좌우), Y(상하), Z(깊이) 축을 기준으로 피치(Pitch), 요(Yaw), 롤(Roll)으로 정의할 수 있다. 도 2는 휴대용 3D 스캐너에서의 피치, 요, 롤을 나타낸다. 피치는 X축을 중심으로 회전하는 움직임(예컨대, 고개 끄덕임과 같은 움직임)이고, 요는 Y축을 중심으로 좌우로 회전하는 움직임(예컨대, 어깨 좌우 회전 움직임)이고, 롤은 Z축을 중심으로 회전하는 움직임(예컨대, 카메라 앞과 뒤를 관통하는 축을 기준으로 한 회전)이다.
움직임 센서부(140)는 이러한 피치, 요 및 롤을 측정한다.
도 7은 스캐너에 자이로 센서가 장착된 경우에 피치, 요, 롤 데이터를 추가로 저장 또는 전송하는 방법과, 롤을 기준으로 손떨림을 판단하고 해당구간의 데이터를 보정하는 방법을 나타낸다. 이 경우, 데이터들이 PC나 태블릿 등의 외부기기로 전송되는 경우에는 손떨림의 판단과 데이터의 보정 등은 외부기기에서 이루어질 수 있다.
연산부(150)는 이미지 센서부(130)에서 획득된 점군 데이터를 보정할지 여부를 판단한다.
즉, 움직임 센서부(140)의 자이로 센서에 의해 얻어진 피치, 요 및 롤값들이 모두 미리 설정된 임계값 이하인 경우에는 정상적인 스캐너의 이동이라고 판단하고 획득된 점군 데이터에 대한 보정을 하지 않으나, 자이로 센서에서 얻어진 피치, 요 및 롤값 중 하나 이상의 값이 미리 설정된 임계값을 초과하는 경우에 이는 비정상적인 손떨림이라고 판단을 하고 이를 처리하기 위하여 이미지 보정부(120)에 보정 명령을 전달한다. 임계값들은 휴대용 3D 스캐너 기기에 따라 다르게 설정될 수 있고, 또한 반복적인 스캔을 통해 임계값의 갱신도 가능하다.
한편, 피치, 요, 롤 중 Z축 중심 회전인 롤은 손에서의 떨림이 가장 많이 발생하는 움직임인데, 그 떨림의 정도가 미리 설정해 놓은 임계 값 이상인 경우, 고정대상을 측정하는 중복된 측정 데이터를 생성할 확률이 셋 중 가장 높으며 이로 인한 측정 및 후속 연산의 부하를 증가 시키고, 또한 OIS/EIS에 데이터 보정에 의한 왜곡이 발생될 수 있는 확률을 높이는 요인이 된다. 따라서 롤에 대한 보정을 최우선으로 하고, 발생빈도는 높으나 왜곡 율이 두 번째인 요에 대해서는 병렬처리 하도록 구성할 수 있다.
비정상적인 떨림이 감지된 경우, 즉 자이로 센서에서 얻어진 값들 중 임계값을 초과하는 값이 존재하는 경우, 연산부(150)는 보정 명령을 이미지 보정부(120)에 전달하고, 이미지 보정부(120)는 그 구간에서 이미지 센서로부터 획득한 점군 데이터 대신에 해당 구간 직전의 점군 데이터 값(x1,y1,z1,rgb1)과 직후의 점군 데이터 값(x2,y2,z2,rgb2)을 이용하여 점군 데이터를 보정한다.
비정상적인 떨림이 감지된 구간이 시간동안 지속된 경우 해당 구간의 점군 데이터 값의 보정을 위해 수학식 1과 같은 벡터 공간 평균화 값을 이용할 수 있다.
Figure 112015036618486-pat00001
수학식 1에서 구한 값을 계수로 하여 해당 구간의 점군 데이터 값을 선형적인 값들로 보정한다. 본 실시예에서는 선형적인 방법으로 떨림 구간 값들을 재구성 하였으나 실험을 통해 다양한 보간법(Interpolation)들 즉, 2차 보간(Quadratic Interpolation), 라그랑쥬 보간(Lagrange Interpolation), 지수 보간(Exponential Interpolation) 등의 방법 중 최적의 방법을 선택하여 보정된 값들을 구할 수 있음은 물론이다.
이상의 실시예에서는 이미지 보정부(120)와 연산부(150)를 별도의 독립된 모듈로 설명하였으나, 이는 이해의 증진과 설명의 편의를 위한 예시일 뿐으로서, 이미지 보정부(120) 및 연산부(150)의 기능을 하나의 모듈에서 수행하도록 구성될 수 있음은 물론이다.
또한, 보정부(120)와 연산부(150)는 스캐너와 별도의 장치, 예컨대 PC, 태블릿 또는 스마트폰 등의 기기에 포함되어 해당 기능을 수행하도록 구성하는 것도 가능할 것이다.
한편, 휴대용 3D 스캐너의 경우에 제작비의 감소, 무게 및 부피의 감소를 통한 이동의 용이성과 휴대의 간편함 등을 위하여 OIS/EIS등의 손떨림 방지 장치나 자이로 센서 등의 움직임 감지장치가 장착되지 않는 경우도 있다. 그런 경우에 대비하여 본 발명은 다른 실시예를 제시하며, 도 3을 참조하여 이하 설명하도록 한다.
도 3은 본 발명의 다른 실시예에 따른 휴대용 3D 스캐너(300)의 구조도를 나타내는 것으로써, 내부에 움직임 센서가 없는 경우의 구성을 나타낸다. 이 때 휴대용 3D 스캐너는 촬영부(310), 이미지 센서부(320), 연산부(330)를 포함한다.
움직임 센서가 내장되어 있지 않은 경우라도 별도의 탈착식 자이로 센서등을 스캐너 내의 별도의 위치에 장착한 후 연동하여 사용하는 방법도 가능하다. 그럴 경우 시간 동기화를 위해 스캐너의 연산부(330)와 연동하여 동기화 하는 방법을 사용한다. 장착 후의 구성은 도 1의 구성과 같아지므로 전술한 바와 같이 피치, 요, 롤값을 이용하여 비정상적 떨림을 판단하고 점군 데이터들을 보정한다.
반면에 자이로 센서를 별도로 탈착하지 않는 구성에서는 손떨림을 판단할 수 있는 움직임 센서가 없기 때문에 이미지 센서부(320)에서 얻어진 결과를 가지고 연산을 통해 손떨림 여부를 판단하고, 도 5는 이에 대한 도면을 나타낸다.
연산부(330)는 보정할지에 대한 판단 및 보정동작을 수행하는데, 이미지 센서부(320)를 통해 얻은 점군 데이터들의 변화 량을 분석하여 휴대용 3D 스캐너가 스캔을 위해 정상적으로 이동한 것인지, 손떨림에 의한 미세한 움직임인지를 판단한다.
즉, 일정 시간 간격(ΔT)동안 획득한 점군 데이터들에 대해서, 점군 데이터들 사이의 거리 변화를 구하여 판단하는데, ΔT 시간동안의 X, Y, Z축의 거리 변화값이 모두 미리 설정된 임계값 이하이면(도5의
Figure 112015036618486-pat00002
) 이는 손떨림으로 판단한다. 손떨림으로 판단되는 경우에 해당 구간의 점군 데이터들은 중복된 데이터로 보고 무시하거나, 도 1에서 살펴본 방법에 의해 보정을 할 수 있다.
반면에, 이들 중 적어도 하나 이상의 값이 임계값(Threshold)보다 큰 경우(도 5의
Figure 112015036618486-pat00003
)에는 연산부(330)는 이를 정상적인 스캐너의 이동으로 판단하여 보정 없이 이미지 센서에서 획득한 점군 데이터를 그대로 사용한다.
다른 실시예로서, 도 7에 도시된 바와 같이 3D 스캐너가 스캔한 데이터를 PC나 태블릿 등의 별도 기기에서 보정을 수행하도록 구성이 가능한데, 이 경우에는 기존의 3D 스캐너에 대해서도 본 발명의 보정 방법을 적용할 수 있다.
이상의 구성에 적용되는 본 발명에 따른 보정 방법을 이하에서 자세히 설명하기로 한다.
도 4는 본 발명에 따른 손떨림 보정 방법을 나타낸다.
스캔대상물체를 촬영하는 단계(S410)에서는 렌즈를 이용하여 이미지 센서에 상을 맺히게 하도록 렌즈를 조정한다. 이때 손떨림 방지를 위해서 렌즈에 OIS가 장착된 경우에는 떨림이 보정된 이미지가 이미지 센서에 도달한다.
촬영단계에서 이미지 센서로 보내진 스캔대상 물체의 이미지는 이미지 센서에 의해 전자적인 데이터로 변환되는 이미지 변환단계(S420)를 거친다. 3D 스캐너에서는 점군 데이터라고 하는 3차원 상의 좌표 값과 색상정보로 변환된다.
손떨림 판단단계(S430)에서는 변환된 점군 데이터를 그대로 사용할 것인지 여부를 판단한다.
움직임 센서가 있는 경우에는, 움직임 센서에 의해 획득된 피치, 요, 롤에 의해 판단하는데, 세 값 중 하나 이상이 미리 설정된 임계값을 넘는 경우 손떨림이 있다고 판단하거나, 또는 전술한 바와 같이 이미지 중복처리에 가장 큰 영향이 있는 롤값만을 임계값과 비교하는 등으로 손떨림을 판단한다.
움직임 센서가 없는 경우에는 미리 설정된 시간동안의 점군 데이터들의 변화량을 구하여 임계값과 비교함으로써 손떨림을 판단한다.
구체적으로, 미리 설정한 시간 동안에 점군 데이터의 변화량이 임계값보다 크면 정상적인 스캔 동작으로 인식하고, 미리 설정한 시간 동안에 점군 데이터의 변화량이 임계값 이하이면 손떨림이 있다고 판단한다.
손떨림이 없다고 판단된 경우에는 획득된 데이터를 그대로 사용하지만 손떨림이 있는 경우에는 획득한 데이터가 아닌 보정된 데이터를 사용하거나, 획득한 데이터를 중복된 데이터로 보고 무시하는 등의 방법을 사용한다.
데이터를 보정하는 단계(S440)에서는 전술한 바와 같이 손떨림이 있는 구간의 전, 후의 점군 데이터 값을 이용하여 보정계수를 산출하고 이를 토대로 각 스캐너에 부합되는 보정을 수행하는데, 선형 보간이나 지수 보간 등의 다양한 보간법이 사용될 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
100 : 휴대용 삼차원 스캐너
110 : 촬영부 120 : 이미지 보정부
130 : 이미지 센서부 140 : 움직임 센서부
150 : 연산부
300 : 휴대용 삼차원 스캐너
310 : 촬영부 320 : 이미지 센서부
330 : 연산부

Claims (10)

  1. 렌즈를 포함하는 촬영부;
    상기 촬영부에 의해 획득된 이미지를 점군 데이터로 변환해주는 이미지 센서부;
    삼차원 스캔 장치의 피치 값, 요 값 및 롤값을 측정하는 움직임 센서부; 및
    상기 측정된 피치 값, 요 값 및 롤값 중 적어도 하나 이상의 값이 기설정된 임계값보다 큰 경우에, 상기 점군 데이터를 보정하는 연산부;를 포함하되
    상기 연산부는
    상기 점군 데이터를 상기 점군 데이터의 전, 후의 점군 데이터를 이용하여 벡터공간 평균화 방법에 의해 보정하는 것
    인 삼차원 스캔 시스템.
  2. 제1항에 있어서, 상기 연산부는
    상기 측정된 롤값이 기설정된 임계값보다 큰 경우에 상기 점군 데이터를 보정하는 것
    인 삼차원 스캔 시스템.
  3. 삭제
  4. 렌즈를 포함하는 촬영부;
    상기 촬영부에 의해 획득된 이미지를 점군 데이터로 변환해주는 이미지 센서부; 및
    손떨림이 감지되면 상기 점군 데이터를 전, 후의 점군 데이터를 이용하여 벡터 공간 평균화 방법에 의해 보정하는 연산부를 포함하되,
    상기 연산부는 기설정된 시간동안의 상기 점군 데이터의 거리 변화 값이 기설정된 임계값보다 작거나 같은 경우 손떨림이 있었다고 판단하는 것
    인 삼차원 스캔 시스템.
  5. 삭제
  6. 제1항 또는 제4항에 있어서, 상기 촬영부는
    레이저 또는 적외선 거리측정장치를 더 포함하는 것
    인 삼차원 스캔 시스템.
  7. 제1항 또는 제4항에 있어서, 상기 연산부는
    상기 촬영부 및 상기 이미지 센서부와 별도의 장치에 포함되는 것
    인 삼차원 스캔 시스템.
  8. 렌즈를 통하여 이미지를 감지하는 단계;
    상기 이미지를 점군 데이터로 변환하는 단계;
    움직임 센서의 피치 값, 요 값 및 롤값을 기설정된 임계값과 비교하여 손떨림을 판단하는 단계; 및
    상기 판단하는 단계에서 손떨림이 감지된 경우 손떨림이 감지된 구간에서의 점군 데이터들을 보정하는 단계;를 포함하되
    상기 점군 데이터들을 보정하는 단계는, 상기 점군 데이터를 상기 점군 데이터의 전, 후의 점군 데이터를 이용하여 벡터공간 평균화 방법에 의해 보정하는 것
    인 삼차원 스캔 시스템의 손떨림 보정 방법.
  9. 렌즈를 통하여 이미지를 감지하는 단계;
    상기 이미지를 점군 데이터로 변환하는 단계;
    기설정된 시간 동안 상기 점군 데이터의 거리 변화 값이 기설정된 임계값 이하인 경우 손떨림으로 판단하는 단계; 및
    상기 판단하는 단계에서 손떨림이 감지된 경우 손떨림이 감지된 구간에서의 점군 데이터들을 보정하는 단계
    를 포함하는 삼차원 스캔 시스템의 손떨림 보정 방법.
  10. 제9항에 있어서, 상기 보정하는 단계는
    상기 점군 데이터들을 벡터 공간 평균화 방법, 2차 보간 방법, 라그랑쥬 보간방법 또는 지수 보간 방법으로 보정하는 단계를 포함하는 것
    인 삼차원 스캔 시스템의 손떨림 보정 방법.
KR1020150053000A 2015-04-15 2015-04-15 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법 KR101738433B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150053000A KR101738433B1 (ko) 2015-04-15 2015-04-15 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150053000A KR101738433B1 (ko) 2015-04-15 2015-04-15 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법

Publications (2)

Publication Number Publication Date
KR20160123021A KR20160123021A (ko) 2016-10-25
KR101738433B1 true KR101738433B1 (ko) 2017-05-24

Family

ID=57446425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150053000A KR101738433B1 (ko) 2015-04-15 2015-04-15 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법

Country Status (1)

Country Link
KR (1) KR101738433B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193337A1 (en) * 2018-04-04 2019-10-10 Cambridge Mechatronics Limited Apparatus and methods for 3d sensing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107643526A (zh) * 2017-11-08 2018-01-30 北京敏视达雷达有限公司 一种光学三维扫描装置
KR102161452B1 (ko) * 2019-07-24 2020-10-05 (주)칼리온 스캐너 움직임에 따른 모션 유효성 검출 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060799A (ja) * 2006-08-30 2008-03-13 Fujifilm Corp 手振れ補正方法、手振れ補正装置、撮像装置、及び手振れ補正プログラム
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060799A (ja) * 2006-08-30 2008-03-13 Fujifilm Corp 手振れ補正方法、手振れ補正装置、撮像装置、及び手振れ補正プログラム
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193337A1 (en) * 2018-04-04 2019-10-10 Cambridge Mechatronics Limited Apparatus and methods for 3d sensing

Also Published As

Publication number Publication date
KR20160123021A (ko) 2016-10-25

Similar Documents

Publication Publication Date Title
EP3457680B1 (en) Electronic device for correcting image and method for operating the same
US8411911B2 (en) Image processing apparatus, image processing method, and storage medium for storing program
JP5997645B2 (ja) 画像処理装置及び方法、及び撮像装置
JP6395506B2 (ja) 画像処理装置および方法、プログラム、並びに撮像装置
US9639913B2 (en) Image processing device, image processing method, image processing program, and storage medium
JP6209002B2 (ja) 撮像装置およびその制御方法
US20090201384A1 (en) Method and apparatus for matching color image and depth image
US9013559B2 (en) System, method and program for capturing images from a virtual viewpoint
US20110187829A1 (en) Image capture apparatus, image capture method and computer readable medium
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9258484B2 (en) Image pickup apparatus and control method for same
JP2010041419A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
US11159722B2 (en) Method for processing image signal, image signal processor, and image sensor chip
KR101738433B1 (ko) 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법
JP2009284188A (ja) カラー撮像装置
US11729505B2 (en) Image signal processor, electronic device, and image stabilization method
US11968448B2 (en) Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program
WO2022227893A1 (zh) 图像拍摄方法、装置、终端及存储介质
CN108260360B (zh) 场景深度计算方法、装置及终端
US10972665B2 (en) Imaging apparatus and image blurring amount calculation method therefor
CN115701125A (zh) 图像防抖方法与电子设备
US20230274444A1 (en) Measuring device, moving device, measuring method, and storage medium
JP7053434B2 (ja) 画像処理装置および画像処理方法
JP7191711B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant