KR20170082077A - 아이템 스캐닝 장치 및 방법 - Google Patents

아이템 스캐닝 장치 및 방법 Download PDF

Info

Publication number
KR20170082077A
KR20170082077A KR1020160001248A KR20160001248A KR20170082077A KR 20170082077 A KR20170082077 A KR 20170082077A KR 1020160001248 A KR1020160001248 A KR 1020160001248A KR 20160001248 A KR20160001248 A KR 20160001248A KR 20170082077 A KR20170082077 A KR 20170082077A
Authority
KR
South Korea
Prior art keywords
item
information
position information
scanning
image
Prior art date
Application number
KR1020160001248A
Other languages
English (en)
Other versions
KR102016413B1 (ko
Inventor
손성열
김호원
김태준
김기남
김재헌
박창준
박혜선
조규성
최진성
추창우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160001248A priority Critical patent/KR102016413B1/ko
Publication of KR20170082077A publication Critical patent/KR20170082077A/ko
Application granted granted Critical
Publication of KR102016413B1 publication Critical patent/KR102016413B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

아이템 스캐닝 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 아이템 스캐닝 장치는 표준 거치대 모델에 부착된 특징점들과 기 스캐닝된 아이템에 대한 3차원 부분 모델을 이용하여, 상기 아이템에서 스캔이 필요한 부분을 추출하고, 상기 스캔이 필요한 부분에 상응하는 위치 정보를 계산하는 위치 정보 계산부; 카메라를 이용하여 상기 아이템을 촬영한 영상을 이용하여, 상기 위치 정보에 상응하는 깊이 정보 및 텍스쳐 정보를 획득하는 촬영부; 및 상기 깊이 정보 및 상기 텍스쳐 정보에 기반하여 상기 아이템에 대한 3차원 모델을 복원하는 복원부를 포함한다.

Description

아이템 스캐닝 장치 및 방법{APPARATUS AND METHOD FOR SCANNING ITEM}
본 발명은 3차원 스캐닝 기술에 관한 것으로, 특히 임의의 형태의 아이템을 스캐닝한 모델을 이용하여, 누락된 부분이 있는지 여부를 판단하고, 누락된 부분에 대한 위치 정보를 이용하여 스캐닝을 수행하는 기술에 관한 것이다.
최근 깊이를 계측할 수 있는 센서의 발달 및 보급화와 함께 3D 프린터의 발달로 3차원 스캐닝 및 복원 기술의 중요성이 높아지고 있다. 특히, 최근에는 마이크로소프트사에서 개발한 키넥트 등과 같은 저비용으로 깊이 정보를 얻을 수 있는 센서들이 개발되면서, 사물 복원의 활용성이 더욱 커질 전망이다.
한편, 마이크로소프트사의 KinectFusion으로 대표될 수 있는 3차원 복원기술은 여전히 여러 문제점을 가지고 있다. 먼저, 임의의 형태를 가지고 있는 물체를 스캐닝 하기 위해서는 수작업으로 센서의 위치를 이동시키거나 물체를 이동 또는 회전 시키면서 스캐닝을 해야 한다. 물체를 정확하게 복원하기 위해서는 전문가가 오랜 시간을 들여서 스캐닝을 진행해야 하므로 적합한 방식이 되기는 어렵다. 또한, 여러 위치에서 촬영한 데이터를 정확하게 정합시키는데도 많은 어려움이 있다. 기존의 기술들은 연속된 데이터 사이의 공통된 부분을 찾아서 이를 정합하는 방식을 사용하고 있다. 이러한 방식은 사용자의 경험에 따라 복원 품질이 나빠질 수 있으며, 정확도가 높지 않아서 정밀한 복원을 요하는 작업에는 적합하지 못하다.
특히, 사용자가 직접 객체를 회전 및 이동시키면서 스캐닝을 진행하는 경우, 특정 부분의 경우, 스캐닝을 수행하지 못한 경우가 많고, 이러한 방법은 결국, 정밀한 스캐닝을 수행할 수 없다는 단점이 있다.
또한, 종래의 기술들은 누락된 부분에 대한 재 스캐닝 작업을 수행하는 것에 대해서는 침묵하고 있다.
한국 공개 특허 제 2015-0060020호에는 3차원 스캐닝에 대한 기술이 개시되어 있다. 특히, 한국 공개 특허 제 2015-0060020호에는 스캐닝 결과에 대한 정밀도 향상을 위한 기술이 개시되어 있는데, 3차원 스캐닝 작업 전체를 다시 수행하는 기술만이 개시되어 있을 뿐, 누락된 부분의 스캐닝에 대해서는 침묵하고 있다.
따라서, 3차원 스캐닝 기술에 대한 필요성이 증가하고 있는 최근의 추세를 볼 때, 누락된 부분에 대한 스캐닝 기술의 필요성이 대두되고 있다.
본 발명의 목적은 누락된 부분 없이 정확한 스캐닝을 수행하는 것이다.
또한, 본 발명의 목적은 여러 위치에서 촬영한 영상을 이용하여 정밀한 스캐닝을 수행하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 아이템 스캐닝 장치는 아이템에서 스캔이 필요한 부분에 대한 판단 결과에 기반하여, 상기 스캔이 필요한 부분에 상응하는 위치 정보를 계산하는 위치 정보 계산부; 카메라를 이용하여 상기 아이템을 촬영한 영상을 이용하여, 상기 위치 정보에 상응하는 깊이 정보 및 텍스쳐 정보를 획득하는 촬영부; 및 상기 깊이 정보 및 상기 텍스쳐 정보에 기반하여 상기 아이템에 대한 3차원 모델을 복원하는 복원부를 포함한다.
이 때, 위치 정보 계산부는 스캐닝이 누락된 부분을 판단하고, 상기 누락된 부분을 스캔이 필요한 부분이라고 판단할 수 있다.
이 때, 위치 정보 계산부는 표준 거치대 모델에서 추출한 거치대 모델과 상기 아이템에 대한 3차원 모델을 합성한 결과에 기반하여, 스캐닝이 누락된 부분을 판단할 수 있다.
이 때, 상기 위치 정보 계산부는 상기 아이템에 상응하는 위치 정보 지표 및 상기 아이템의 이동 정보에 기반하여 상기 아이템 및 상기 카메라의 위치 정보를 계산할 수 있다.
이 때, 상기 촬영부는 기 설정된 방향으로 상기 아이템을 이동시킨 후 촬영한 영상과 상기 아이템이 이동하기 전 촬영된 영상의 비교 결과에 기반하여 오차를 보정할 수 있다.
또한, 본 발명에 따른 아이템 스캐닝 방법은 아이템에서 스캔이 필요한 부분에 대한 판단 결과에 기반하여, 상기 스캔이 필요한 부분에 상응하는 위치 정보를 계산하는 단계; 카메라를 이용하여 상기 아이템을 촬영한 영상을 이용하여, 상기 위치 정보에 상응하는 깊이 정보 및 텍스쳐 정보를 획득하는 단계; 및 상기 깊이 정보 및 상기 텍스쳐 정보에 기반하여 상기 아이템에 대한 3차원 모델을 복원하는 단계를 포함한다.
본 발명은 아이템 이동 전의 영상과 아이템 이동 후의 영상을 비교하는 방식으로 오차를 제거하여, 정밀한 복원이 가능하다.
또한, 본 발명은 누락된 부분에 대한 스캐닝을 다시 수행하므로, 정밀한 스캐닝이 가능하다.
또한, 본 발명은 위치 정보 지표 및 아이템의 이동 정보를 이용하여 스캐닝을 수행하므로, 정밀한 스캐닝이 가능하다.
또한, 본 발명은 위치 정보 지표를 이용하여 추출한 정보와 아이템의 이동 정보를 비교하여, 카메라들의 상대적인 위치 관계의 오차 보정이 가능하다.
도 1은 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 아이템을 촬영하는 것을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 촬영부를 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 오차의 원인이 되는 BACKLASH를 제거하는 방법을 도시한 동작 흐름도이다.
도 5는 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 위치 정보 계산부를 도시한 블록도이다.
도 6은 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 복원부를 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 방법을 도시한 동작 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치를 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치는 위치 정보 계산부(110), 촬영부(120) 및 복원부(130)를 포함한다.
본 발명을 이용하기에 앞서, 먼저 깊이 센서, 카메라, 턴테이블의 상대적인 위치를 파악하고 있어야 한다. 이는, 카메라 교정(Camera Calibration) 방식을 이용하여 파악될 수 있다.
위치 정보 계산부(110)는 아이템에서 스캔이 필요한 부분에 대한 판단 결과에 기반하여, 상기 스캔이 필요한 부분에 상응하는 위치 정보를 계산한다.
이 때, 아이템은 스캐닝의 대상이 되는 객체를 의미할 수 있다.
이 때, 스캔이 필요한 부분은 아이템이 한 번 스캐닝이 되었으나, 일부분에 대해 스캔 정밀도가 특정 값 이하에 해당되거나 일부분이 누락되는 등의 경우로 인하여, 다시 스캐닝이 필요한 부분을 의미할 수 있다.
이 때, 위치 정보 계산부(110)는 스캐닝이 필요한 부분에 대한 위치 정보를 계산하고, 촬영부(120)는 위치 정보를 이용하여 스캐닝이 필요한 부분에 대한 촬영을 수행하게 된다.
이 때, 위치 정보 계산부(110)는 기존에 스캐닝된 아이템의 복원 영상과 아이템이 장착된 표준 거치대 모델을 이용하여, 스캔이 필요한 부분을 판단하게 된다.
이 때, 표준 거치대 모델은 미리 정의된 아이템의 표준 형태를 의미한다. 예를 들어, 아이템이 신발인 경우, 표준 거치대 모델은 신발을 착용하는 발의 표준 형태를 의미할 수 있다. 이에 대한 설명은 도 5에서 서술한다.
촬영부(120)는 카메라를 이용하여 아이템을 촬영한 영상을 이용하여, 상기 위치 정보에 상응하는 깊이 정보 및 텍스쳐 정보를 획득한다.
이 때, 촬영부(120)는 아이템 상부에 부착된 위지 정보 지표 및 아이템을 촬영하고, 촬영한 영상을 기반으로 카메라들의 위치 정보 및 아이템의 위치 정보, 아이템의 자세 정보를 추출할 수 있다.
이 때, 위치 정보 지표는 표면에 특징점 패턴이 그려져 있으므로, 카메라들이 촬영한 영상에 존재하는 특징점 패턴을 이용하여 카메라의 위치 정보 및 아이템의 위치 정보, 아이템의 자세 정보를 추출할 수 있다.
복원부(130)는 깊이 정보 및 텍스쳐 정보에 기반하여 아이템에 대한 3차원 모델을 복원한다.
이 때, 3차원 모델은 3차원 메쉬(MESH) 형태로 복원될 수 있다. 하지만, 반드시 메쉬 형태로 복원되는 것은 아니며, 이에 대한 제한은 없다.
도 2는 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 아이템을 촬영하는 것을 도시한 도면이다.
도 2를 참조하면, 티셔츠 종류의 아이템이 아이템 거치대(211)에 놓여져 있는 아이템 이송 장치(204), 아이템 회전 장치(205)가 도시되어 있다.
아이템은 아이템 이송 장치(204)에 놓여져 있고, 아이템 이송 장치(204)에 의해 위치가 변경될 수 있다.
또한, 아이템은 아이템 회전 장치(205)에 의해 회전이 될 수 있다.
이 때, 아이템 상부에는 위치 정보 지표(212)가 설치되어 있는데, 위치 정보 지표(212)에는 특징점 패턴이 그려져 있어, 특징점 패턴을 이용하여 아이템의 위치 및 회전 정보를 추출하고, 아이템의 위치 및 회전 정보를 이용하여 깊이 정보 및 텍스쳐 정보를 추출할 수 있다.
이 때, 위치 정보 지표(212)는 측정 결과의 오차를 보정하기 위해 거치대나 아이템과 연결되어 있지 않고, 아이템 이송 장치(204) 및 아이템 회전 장치(205)에 연결되어 있다.
이 때, 도 2에 도시된 것과 같이, 아이템을 촬영하는 카메라는 크게 두 종류로 구성될 수 있다.
한가지 종류는 아이템의 깊이 정보를 획득하는데 이용되는 깊이 정보 획득용 카메라(201)이고, 다른 한가지 종류는 아이템의 텍스쳐 정보를 획득하는데 이용되는 텍스쳐 정보 획득용 카메라(202)이다.
도 2에는 편의를 위해 카메라를 두 개만 설치하였으나, 카메라의 설치 개수개수에 대해서는 제한이 없다. 정밀한 측정을 위해 다수개의 카메라를 설치할 수도 있을 것이다.
도 3은 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 촬영부를 도시한 블록도이다.
도 3을 참조하면, 위치 정보 계산부(110)와 촬영부(120)가 서로 데이터를 교환하면서, 아이템을 촬영하고, 촬영한 것에 기반하여 위치 정보를 계산하는 구성이 도시되어 있다.
먼저, 스캐닝이 시작되면, 위치 정보 계산부(110)에서 깊이 정보 획득용 카메라(121) 및 텍스쳐 정보 회득용 카메라(122) 및 HW 제어 모듈(123)에 신호를 전송하게 된다.
이 때, HW 제어 모듈(123)은 위치 정보 계산부(110)에서 전송 받은 신호에 기반하여, 아이템 이송 장치(124) 및 아이템 회전 장치(125)에 신호를 전송하여, 아이템의 위치를 변경하거나, 아이템을 회전시키는 작업을 수행하게 된다.
이 때, 아이템의 위치 변경의 정도 및 회전의 정도에 상응하는 데이터를 위치 정보 계산부(110)에 다시 전송하여, 이를 이용하여, 위치 정보를 계산하게 된다.
이 때, 깊이 정보 획득용 카메라(121)와 텍스쳐 정보 획득용 카메라(122)가 촬영한 영상을 이용하여, 깊이/색상 정보에 대한 영상(126)을 생성하게 된다.
이 때, 깊이/색상 정보에 대한 영상(126)은 다시 위치 정보 계산부(110)에 전송될 수 있다.
도 4는 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 HW 제어 모듈이 동작하는 방법을 도시한 동작 흐름도이다.
도 4를 참조하면, 먼저, HW 제어 모듈은 HW 제어 신호를 수신한다(S410).
또한, BACKLASH 제거 작업을 수행한다(S420).
스캐닝을 수행하면서, 아이템을 이동시키거나 회전하는데 모터를 이용하게 된다. 하지만, 모터의 경우, 정지 상태임에도 불구하고, 중력, 관성 또는 아이템의 진동 등의 외부적 요인에 의해서 움직임이 발생할 수 있다. 이러한 움직임은 오차를 발생시키게 되는데, 이를 BACKLASH라고 통칭한다.
BACKLASH는 3차원 복원을 수행하면서 오차를 발생시키는 원인이 되는데, HW 제어 모듈(123)은 BACKLASH를 제거하는 작업을 수행하게 된다.
이 때, HW 제어 모듈(123)은 미리 정의된 방향으로, 일정 거리만큼 이동하거나, 일정 각도만큼 회전을 하는 신호를 전송하고, 다시 원위치로 복귀하는 신호를 전송할 수 있다.
이 때, 아이템이 일정 거리만큼 이동하거나, 일정 각도만큼 회전한 뒤 다시 복귀하면서 발생하는 관성에 의해서, BACKLASH가 일정하게 발생하게 된다.
이 때, HW 제어 모듈(123)는 발생한 BACKLASH를 추출하기 위해서, 이동 전 영상과 이동 후 영상을 추출 및 비교 과정을 수행하여, BACKLASH를 제거할 수 있게 된다.
또한, 아이템을 이송 및 회전하는 작업을 수행한다(S430).
도 5는 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 위치 정보 계산부를 도시한 블록도이다.
도 5를 참조하면, 위치 정보 계산부(110)는 캡쳐 플래너 모듈(111), 표준 거치대 모델(112), 부분 복원 모듈(113), 카메라 및 아이템 위치 계산 모듈(114)로 구성되어 있다.
종전에 설명한 바와 같이, 위치 정보 계산부(110)는 아이템에서 스캔이 필요한 부분을 판단하고, 스캔이 필요한 부분에 상응하는 카메라 위치를 계산한 후, 촬영부(12)에 촬영 신호를 전송하고 있다.
캡쳐 플래너 모듈(111)는 표준 거치대 모델(112)에서 추출한 아이템의 표준 모델 또는 부분 복원 모듈(113)에서 추출한 부분 복원된 3차원 모델을 비교하여, 아이템에서 데이터를 아직 얻지 못한 부분을 찾아내, 스캔이 필요한 부분을 추출하고, 스캔이 필요한 부분에 상응하는 영상을 얻기 위한 카메라의 위치를 계산하고, 계산된 결과에 기반하여 HW 제어 신호를 발생시켜서 촬영부(120)에 전송할 수 있다.
표준 거치대 모델(112)는 기 설정된 아이템의 표준 형태들의 집합을 의미할 수 있다. 예를 들어, 아이템이 신발인 경우, 사람의 표준 발 형태를 표준 거치대로 설정할 수 있다. 또 예를 들어, 아이템이 상의인 경우, 거치대는 표준 상체 형태로 설정될 수 있을 것이다.
이 때, 부분 복원 모듈(113)은 카메라 및 아이템 위치 계산 모듈(114)로부터 얻은 카메라 위치 정보, 아이템 위치 정보, 깊이/색상 영상으로부터 아이템의 부분 복원된 3차원 모델을 생성할 수 있다.
이 때, 카메라 및 아이템 위치 계산 모듈(114)은 촬영부(120)에서 추출한 위치 정보 지표를 스캔한 영상, HW 파라미터를 이용하여 아이템 및 카메라들의 상대적인 위치를 측정할 수 있다.
이 때, 카메라 및 아이템 위치 계산 모듈(114)은 위치 정보 지표를 스캔한 영상에서 미리 정의된 특징점 패턴을 추출하고, 각 특징점들의 픽셀 좌표 기반 위치 관계를 이용하여 아이템의 위치, 자세를 계산할 수 있다.
이 때, 카메라 및 아이템 위치 계산 모듈(114)은 위치 정보 지표를 스캔한 영상에서 미리 정의된 특징점 패턴을 추출하고, 각 ㅌ늑징점들의 픽셀 좌표 기반 위치 관계와 카메라 교정 기법을 이용하여 카메라들의 상대적인 위치 관계를 추출하고, 상대적인 위치 관계와 카메라 교정 기법으로 추출한 위치 관계를 비교하여 상호간의 오차를 추출할 수 있다.
이 때, 추출된 오차가 특정 값 이상인 경우, 카메라 교정이 필요함을 알릴 수도 있을 것이다.
도 6은 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 장치에서 복원부를 도시한 블록도이다.
도 6을 참조하면, 복원부는 3차원 외형 복원부(131), 텍스쳐 생성부(132), 거치대 제거부(133), 조명 효과 제거부(134)를 포함한다.
먼저, 깊이/색상 정보 영상(126) 및 위치 정보 계산부(110)로부터 추출한 위치 정보에 기반하여, 3차원 외형과 텍스쳐를 복원한다.
이 때, 3차원 외형은 3차원 외형 복원부(131)에서 수행될 수 있고, 텍스쳐 생성 작업은 텍스쳐 생성부(132)에서 수행될 수 있다.
이 때, 거치대 제거부(133)는 3차원 외형에서 거치대를 제거할 수 있다.
이 때, 조명효과 제거부(134)는 텍스쳐에서 조명 효과를 제거할 수 있다.
이 때, 3차원 모델 구성부(135)는 최종적인 3차원 모델을 생성할 수 있다.
도 7은 본 발명의 일실시예에 따른 영상 정보를 이용한 아이템 스캐닝 방법을 도시한 동작 흐름도이다.
먼저, 도 7을 참조하면, 스캔이 필요한 부분을 추출한다(S710).
이 때, 아이템은 스캐닝의 대상이 되는 객체를 의미할 수 있다.
이 때, 스캔이 필요한 부분은 아이템이 한 번 스캐닝이 되었으나, 일부분에 대해 스캔 정밀도가 특정 값 이하에 해당되거나 일부분이 누락되는 등의 경우로 인하여, 다시 스캐닝이 필요한 부분을 의미할 수 있다.
또한, 스캔이 필요한 부분에 상응하는 위치 정보를 계산한다(S720).
이 때, 아이템 상부에 부착된 위지 정보 지표 및 아이템을 촬영하고, 촬영한 영상을 기반으로 카메라들의 위치 정보 및 아이템의 위치 정보, 아이템의 자세 정보를 추출할 수 있다.
이 때, 위치 정보 지표는 표면에 특징점 패턴이 그려져 있으므로, 카메라들이 촬영한 영상에 존재하는 특징점 패턴을 이용하여 카메라의 위치 정보 및 아이템의 위치 정보, 아이템의 자세 정보를 추출할 수 있다.
이 때, 아이템의 위치 정보는 아이템 회전 장치가 회전한 정도, 아이템 이동 장치에 의해 이동한 정도 및 촬영된 영상에서 추출한 위치 정보를 종합하여 추출할 수도 이ㅆ다.
또한, 카메라를 이용하여 아이템을 촬영한 영상을 이용하여, 위치 정보에 상응하는 깊이 정보 및 텍스쳐 정보를 획득한다(S730).
이 때, S730단계에서 이용되는 카메라의 종류에는 깊이 정보 획득용 카메라와 텍스쳐 정보 획득용 카메라가 존재한다.
또한, 깊이 정보 및 텍스쳐 정보에 기반하여 아이템에 대한 3차원 모델을 복원한다(S740).
이 때, 3차원 모델은 3차원 메쉬(MESH) 형태로 복원될 수 있다. 하지만, 반드시 메쉬 형태로 복원되는 것은 아니며, 이에 대한 제한은 없다.
이상에서와 같이 본 발명에 따른 아이템 스캐닝 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
201: 깊이 정보 획득용 카메라
202: 텍스쳐 정보 획득용 카메라
204: 아이템 이송 장치
205: 아이템 회전 장치
211: 아이템 거치대
212: 위치 정보 지표

Claims (10)

  1. 거치대에 부착된 특징점들 및 기 스캐닝된 아이템에 대한 3차원 모델을 이용하여, 상기 3차원 모델에서 스캔이 누락된 부분을 추출하고, 상기 스캔이 누락된 부분에 상응하는 위치 정보를 계산하는 위치 정보 계산부;
    카메라를 이용하여 상기 아이템을 촬영한 영상에 기반하여 상기 위치 정보에 상응하는 깊이 정보 및 텍스쳐 정보를 획득하는 촬영부; 및
    상기 깊이 정보 및 상기 텍스쳐 정보에 기반하여 상기 아이템에 대한 3차원 모델을 복원하는 복원부
    를 포함하는 것을 특징으로 하는 영상 정보를 이용한 아이템 스캐닝 장치.
  2. 청구항 1에 있어서,
    상기 위치 정보 계산부는
    스캐닝이 누락된 부분을 판단하고, 상기 누락된 부분을 스캔이 필요한 부분이라고 판단하는 것을 특징으로 하는 영상 정보를 이용한 아이템 스캐닝 장치.
  3. 청구항 2에 있어서,
    상기 위치 정보 계산부는
    표준 거치대 모델에서 추출한 거치대 모델과 상기 아이템에 대한 3차원 모델을 합성한 결과에 기반하여, 스캐닝이 누락된 부분을 판단하는 것을 특징으로 하는 영상 정보를 이용한 아이템 스캐닝 장치.
  4. 청구항 3에 있어서,
    상기 위치 정보 계산부는
    상기 아이템에 상응하는 위치 정보 지표 및 상기 아이템의 이동 정보에 기반하여 상기 아이템 및 상기 카메라의 위치 정보를 계산하는 것을 특징으로 하는 영상 정보를 이용한 아이템 스캐닝 장치.
  5. 청구항 4에 있어서,
    상기 촬영부는
    기 설정된 방향으로 상기 아이템을 이동시킨 후 촬영한 영상과 상기 아이템이 이동하기 전 촬영된 영상의 비교 결과에 기반하여 오차를 보정하는 것을 특징으로 하는 영상 정보를 이용한 아이템 스캐닝 장치.
  6. 아이템 스캐닝 장치를 이용하는 아이템 스캐닝 방법에 있어서,
    아이템에서 스캔이 필요한 부분에 대한 판단 결과에 기반하여, 상기 스캔이 필요한 부분에 상응하는 위치 정보를 계산하는 단계;
    카메라를 이용하여 상기 아이템을 촬영한 영상을 이용하여, 상기 위치 정보에 상응하는 깊이 정보 및 텍스쳐 정보를 획득하는 단계; 및
    상기 깊이 정보 및 상기 텍스쳐 정보에 기반하여 상기 아이템에 대한 3차원 모델을 복원하는 단계
    를 포함하는 것을 특징으로 하는 아이템 스캐닝 방법.
  7. 청구항 6에 있어서,
    상기 계산하는 단계는
    스캐닝이 누락된 부분을 판단하고, 상기 누락된 부분을 스캔이 필요한 부분이라고 판단하는 것을 특징으로 하는 영상 정보를 이용한 아이템 스캐닝 방법.
  8. 청구항 7에 있어서,
    상기 계산하는 단계는
    표준 거치대 모델에서 추출한 거치대 모델과 상기 아이템에 대한 3차원 모델을 합성한 결과에 기반하여, 스캐닝이 누락된 부분을 판단하는 것을 특징으로 하는 영상 정보를 이용한 아이템 스캐닝 방법.
  9. 청구항 8에 있어서,
    상기 계산하는 단계는
    상기 아이템에 상응하는 위치 정보 지표 및 상기 아이템의 이동 정보에 기반하여 상기 아이템 및 상기 카메라의 위치 정보를 계산하는 것을 특징으로 하는 영상 정보를 이용한 아이템 스캐닝 방법.
  10. 청구항 9에 있어서,
    상기 획득하는 단계는
    기 설정된 방향으로 상기 아이템을 이동시킨 후 촬영한 영상과 상기 아이템이 이동하기 전 촬영된 영상의 비교 결과에 기반하여 오차를 보정하는 것을 특징으로 하는 영상 정보를 이용한 아이템 스캐닝 방법.
KR1020160001248A 2016-01-05 2016-01-05 아이템 스캐닝 장치 및 방법 KR102016413B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160001248A KR102016413B1 (ko) 2016-01-05 2016-01-05 아이템 스캐닝 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160001248A KR102016413B1 (ko) 2016-01-05 2016-01-05 아이템 스캐닝 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170082077A true KR20170082077A (ko) 2017-07-13
KR102016413B1 KR102016413B1 (ko) 2019-09-02

Family

ID=59352439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160001248A KR102016413B1 (ko) 2016-01-05 2016-01-05 아이템 스캐닝 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102016413B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990003333A (ko) * 1997-06-25 1999-01-15 배순훈 3차원 형상 복원시스템에 있어서 거리정보 획득장치
JP2003302211A (ja) * 2002-04-11 2003-10-24 Canon Inc ３次元画像処理装置及び方法
KR100609004B1 (ko) * 2006-02-03 2006-08-03 (자)한진개발공사 수치사진측량기술을 이용한 지형복원방법
KR20090065101A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 영상을 이용한 3차원 그래픽 모델의 정확도 측정 방법 및장치
JP2011198349A (ja) * 2010-02-25 2011-10-06 Canon Inc 情報処理方法及びその装置
KR20150044730A (ko) * 2013-10-17 2015-04-27 삼성전자주식회사 3차원 모델 복원 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990003333A (ko) * 1997-06-25 1999-01-15 배순훈 3차원 형상 복원시스템에 있어서 거리정보 획득장치
JP2003302211A (ja) * 2002-04-11 2003-10-24 Canon Inc ３次元画像処理装置及び方法
KR100609004B1 (ko) * 2006-02-03 2006-08-03 (자)한진개발공사 수치사진측량기술을 이용한 지형복원방법
KR20090065101A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 영상을 이용한 3차원 그래픽 모델의 정확도 측정 방법 및장치
JP2011198349A (ja) * 2010-02-25 2011-10-06 Canon Inc 情報処理方法及びその装置
KR20150044730A (ko) * 2013-10-17 2015-04-27 삼성전자주식회사 3차원 모델 복원 시스템 및 방법

Also Published As

Publication number Publication date
KR102016413B1 (ko) 2019-09-02

Similar Documents

Publication Publication Date Title
US9672630B2 (en) Contour line measurement apparatus and robot system
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US9279661B2 (en) Information processing apparatus and information processing method
JP3859574B2 (ja) ３次元視覚センサ
JP6429772B2 (ja) ３ｄ走査および位置決めシステム
JP6363863B2 (ja) 情報処理装置および情報処理方法
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP7269874B2 (ja) 複数の対象とする領域を独立的に処理する方法
JP6282098B2 (ja) キャリブレーション装置及び方法
WO2007137388A1 (en) Photogrammetric system and techniques for 3d acquisition
TWI672937B (zh) 三維影像處理之裝置及方法
Ellmauthaler et al. A novel iterative calibration approach for thermal infrared cameras
CN111445529B (zh) 一种基于多激光测距的标定设备及方法
JP2020047049A (ja) 画像処理装置及び画像処理方法
CN105844701A (zh) 序列图像三维建模方法
JP4419570B2 (ja) ３次元画像撮影装置および方法
JP5383853B2 (ja) 工具形状測定装置、及び工具形状測定方法
JP7353757B2 (ja) アーチファクトを測定するための方法
WO2019125427A1 (en) System and method for hybrid depth estimation
JP2021106025A5 (ko)
JP2006284531A (ja) 工具形状測定装置、及び工具形状測定方法
JP5563930B2 (ja) 非接触三次元計測装置及び非接触三次元計測方法
CN111868734A (zh) 无接触滚动指纹
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant