KR20200135131A - 3d camera system - Google Patents
3d camera system Download PDFInfo
- Publication number
- KR20200135131A KR20200135131A KR1020190175434A KR20190175434A KR20200135131A KR 20200135131 A KR20200135131 A KR 20200135131A KR 1020190175434 A KR1020190175434 A KR 1020190175434A KR 20190175434 A KR20190175434 A KR 20190175434A KR 20200135131 A KR20200135131 A KR 20200135131A
- Authority
- KR
- South Korea
- Prior art keywords
- sensor module
- depth sensor
- depth
- center
- camera system
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 3차원 카메라 시스템에 관한 것으로, 보다 구체적으로 구의 일부 형상을 갖는 심도 센서 모듈을 이용하여 촬영 대상체를 3차원으로 생성할 수 있는 3차원 카메라 시스템에 관한 것이다.The present invention relates to a 3D camera system, and more particularly, to a 3D camera system capable of generating a photographed object in 3D by using a depth sensor module having a partial shape of a sphere.
현재의 3차원 카메라 시스템은 촬영 대상체의 심도 정보(Depth information)를 획득하는 카메라 시스템으로서 촬영 대상체(예, 얼굴이나 물체)의 심도를 계산한 후 3차원으로 재구성한다. 그런데 현재의 3차원 카메라 시스템의 심도 센서 모듈은 평면 형상으로 구현되어 2차원 이미지를 생성하는 이미지 카메라와 호환이 어렵다. A current 3D camera system is a camera system that acquires depth information of an object to be photographed. After calculating the depth of the object (eg, a face or object), it is reconstructed into three dimensions. However, since the depth sensor module of the current 3D camera system is implemented in a flat shape, it is difficult to be compatible with an image camera that generates a 2D image.
또한 현재의 3차원 카메라 시스템은 색 정보와 분리된 심도 정보만으로 공간 및 객체를 3차원으로 구성함으로써 색 개념이 없어 범용성과 확장성이 부족하다. 별도의 3차원 어플리케이션을 사용하여 3차원 센싱 카메라로 촬영하여 구성한 3차원 공간 또는 객체에 색을 가미할 수 있지만, 이때의 색은 실제 공간 또는 객체의 색이 아닌 가상의 색으로서 현실감이 떨어진다. 즉, 범용적이지 못하고 확장성이 부족하다. 특히, 현재의 3차원 카메라 시스템의 심도 센서 모듈은 평면 형상이고 2차원 이미지 카메라는 볼록 렌즈를 사용하여 상호 정보 획득 방식이 달라 2차원 이미지의 색 정보를 3차원 카메라 시스템으로 획득한 3차원 공간 또는 객체에 적용하거나, 또는 3차원 카메라 시스템으로 획득한 심도 정보를 2차원 이미지에 적용하기가 어렵다. In addition, the current 3D camera system consists of three-dimensional spaces and objects with only color information and depth information separated from color information, and thus lacks versatility and scalability due to no color concept. A separate 3D application can be used to add color to a 3D space or object formed by photographing with a 3D sensing camera, but the color at this time is not a color of an actual space or an object, but a virtual color, which is less realistic. In other words, it is not universal and lacks scalability. In particular, the depth sensor module of the current 3D camera system has a flat shape, and the 2D image camera uses a convex lens to obtain mutual information, so the color information of the 2D image is acquired by the 3D camera system. It is difficult to apply to an object or to apply depth information acquired by a 3D camera system to a 2D image.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 범용성 및 확장성을 갖도록 구의 일부 형상을 갖는 심도 센서 모듈을 이용하여 촬영 대상체를 3차원으로 생성할 수 있는 3차원 카메라 시스템을 제공하는 데 그 목적이 있다.The present invention has been proposed to solve the above-described problem, and provides a 3D camera system capable of generating a photographed object in 3D by using a depth sensor module having a partial shape of a sphere so as to have versatility and expandability. There is a purpose.
또한, 본 발명은 3차원 센싱 기능에 이미지 카메라의 이미지 생성 방식을 적용하여 심도 정보에 색 정보가 가미된 3차원 공간 또는 객체를 생성할 수 있는 3차원 카메라 시스템을 제공하는 데 다른 목적이 있다. In addition, another object of the present invention is to provide a 3D camera system capable of generating a 3D space or object in which color information is added to depth information by applying an image generation method of an image camera to a 3D sensing function.
일 측면에 따른 촬영 대상체를 3차원으로 구성하는 3차원 카메라 시스템에 있은, 소정의 곡률을 갖는 구(sphere)의 일부 형상으로 이루어지며, 빔을 방출하는 발광부와 상기 촬영 대상체에 의해 반사되는 상기 빔을 수신하는 수광부를 포함하는 복수의 단위 셀들을 포함하고, 각 단위 셀들의 곡률 중심이 상기 구의 중심인 심도 센서 모듈; 및 상기 심도 센서 모듈에서 측정된 정보를 이용하여 상기 곡률 중심을 원점으로 하는 직교 좌표계 상에서의 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고 그 산출된 3차원 좌표를 이용하여 상기 촬영 대상체를 3차원으로 구성하는 제어부를 포함한다.In a three-dimensional camera system that configures the object to be photographed according to one side in three dimensions, it is formed in a shape of a sphere having a predetermined curvature, and a light emitting unit that emits a beam and the object reflected by the object to be photographed A depth sensor module including a plurality of unit cells including a light receiving unit for receiving a beam, wherein a center of curvature of each unit cell is a center of the sphere; And calculating 3D coordinates of points constituting the object to be photographed on a Cartesian coordinate system having the center of curvature as an origin using the information measured by the depth sensor module, and using the calculated three-dimensional coordinates to determine the photographing object. It includes a control unit configured in three dimensions.
상기 3차원 카메라 시스템은, 상기 심도 센서 모듈의 각 단위 셀들의 상기 곡률 중심을 원점으로 한 구면 좌표계 상에서의 좌표 값과, 상기 구의 반지름을 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 곡률 중심으로부터 상기 촬영 대상체를 구성하는 각 점까지의 직선 거리를 산출하고, 상기 저장부에서 상기 각 단위 셀의 상기 구면 좌표계 상에서의 (φ, θ) 값을 확인하며, 상기 산출된 직선 거리 및 상기 (φ, θ) 값을 이용하여 상기 각 점의 상기 구면 좌표계 상에서의 좌표 값을 산출하고, 그 산출된 구면 좌표계 상에서의 좌표 값을 상기 곡률 중심을 원점으로 한 직교 좌표계 상에서의 (X, Y, Z) 좌표 값으로 변환할 수 있다.The 3D camera system further includes a storage unit for storing a coordinate value in a spherical coordinate system having the center of curvature of each unit cell of the depth sensor module as an origin and a radius of the sphere, and the control unit comprises: the center of curvature The linear distance to each point constituting the object to be photographed is calculated from, and the value of (φ, θ) in the spherical coordinate system of each unit cell is checked in the storage unit, and the calculated linear distance and the (φ) , θ) is used to calculate the coordinate value of each point on the spherical coordinate system, and the calculated coordinate value on the spherical coordinate system is (X, Y, Z) on an orthogonal coordinate system with the center of curvature as the origin. Can be converted to coordinate values.
상기 3차원 카메라 시스템은, 상기 촬영 대상체의 이미지를 생성하는 이미지 센서; 상기 이미지 센서의 전방에 배치되는 카메라 렌즈를 더 포함하고, 상기 심도 센서 모듈은, 상기 카메라 렌즈의 전방에 배치되며, 상기 카메라 렌즈의 제2주점과 상기 곡률 중심이 일치할 수 있다.The 3D camera system may include an image sensor that generates an image of the object to be photographed; A camera lens disposed in front of the image sensor may be further included, and the depth sensor module may be disposed in front of the camera lens, and a second main point of the camera lens and the center of curvature may coincide with each other.
상기 제2주점을 중심으로 상기 이미지 센서의 각 픽셀의 방향과 180도 반대 방향의 지점이면서 상기 제2주점으로부터 상기 구의 반지름만큼 떨어진 위치에 상기 심도 센서 모듈의 각 단위 셀이 위치할 수 있다.Each unit cell of the depth sensor module may be located at a position 180 degrees opposite to the direction of each pixel of the image sensor centering on the second main point and at a position distant from the second main point by a radius of the sphere.
상기 제어부는, 상기 심도 센서 모듈의 각 단위 셀에서 측정되는 상기 촬영 대상체의 각 점의 심도 정보와, 상기 제2주점을 중심으로 상기 각 단위 셀에 대응하는 상기 이미지 센서의 각 픽셀의 색 정보를 이용하여, 상기 3차원을 구성할 수 있다.The control unit may include depth information of each point of the object to be photographed measured in each unit cell of the depth sensor module, and color information of each pixel of the image sensor corresponding to each unit cell around the second main point. By using, the three-dimensional can be constructed.
상기 3차원 카메라 시스템은, 상기 카메라 렌즈의 표면을 따라 평행하게 배치되는 이동 궤도를 더 포함하고, 상기 심도 센서 모듈의 폭은, 상기 카메라 렌즈의 폭보다 작으며, 상기 제어부는, 상기 이동 궤도를 따라 상기 심도 센서 모듈을 이동시키며 상기 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출할 수 있다.The 3D camera system further includes a moving trajectory arranged in parallel along the surface of the camera lens, the width of the depth sensor module is smaller than the width of the camera lens, and the control unit determines the moving trajectory. Accordingly, the depth sensor module may be moved and 3D coordinates of each point constituting the object to be photographed may be calculated.
상기 심도 센서 모듈은, 분리된 두 개로 구성되고, 각 심도 센서 모듈은, 상기 이동 궤도의 좌측 및 우측에 각각 배치되며, 상기 제어부는, 상기 각 심도 센서 모듈을 상기 이동 궤도를 따라 중심으로 이동시킬 수 있다.The depth sensor module is composed of two separate, and each depth sensor module is disposed on the left and right sides of the moving orbit, and the control unit moves the depth sensor module to the center along the moving orbit. I can.
상기 제어부는, 상기 각 심도 센서 모듈이 상기 중심을 경계로 서로 떨어져 열린 상태인 경우 상기 이미지 센서를 활성화하고 상기 각 심도 센서 모듈이 상기 중심에서 서로 맞닿아 닫힌 상태인 경우 상기 이미지 센서를 비활성화할 수 있다.The control unit may activate the image sensor when the depth sensor modules are opened apart from each other around the center, and deactivate the image sensor when the depth sensor modules contact each other at the center and are closed. have.
상기 제어부는, 상기 심도 센서 모듈의 이동 시간 또는 이동 거리와, 상기 심도 센서 모듈의 측정 정보와, 상기 심도 센서 모듈의 전체 이동 시간 또는 전체 이동 거리를 상기 이미지 센서의 가로 픽셀의 개수로 나누어 산출된 픽셀당 시간 또는 거리를, 매칭하여 저장부에 저장할 수 있다.The control unit is calculated by dividing the moving time or moving distance of the depth sensor module, measurement information of the depth sensor module, and the total moving time or total moving distance of the depth sensor module by the number of horizontal pixels of the image sensor. The time or distance per pixel may be matched and stored in the storage unit.
상기 3차원 카메라 시스템은, 상기 심도 센서 모듈을 상기 카메라 렌즈의 표면을 따라 이동시키는 회전체를 더 포함하고, 상기 심도 센서 모듈의 폭은, 상기 카메라 렌즈의 폭보다 작으며, 상기 제어부는, 상기 회전체를 제어하여 상기 심도 센서 모듈을 이동시키며 상기 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출할 수 있다.The 3D camera system further includes a rotating body for moving the depth sensor module along the surface of the camera lens, the width of the depth sensor module is smaller than the width of the camera lens, and the controller comprises: By controlling the rotating body, the depth sensor module may be moved, and 3D coordinates of each point constituting the object to be photographed may be calculated.
상기 제어부는, 상기 심도 센서 모듈의 이동 회전 각도와, 상기 심도 센서 모듈의 측정 정보와, 상기 심도 센서 모듈의 전체 이동 회전 각도를 상기 이미지 센서의 가로 픽셀의 개수로 나누어 산출된 픽셀당 회전 각도를 매칭하여 저장부에 저장할 수 있다.The control unit includes a rotation angle per pixel calculated by dividing a moving rotation angle of the depth sensor module, measurement information of the depth sensor module, and a total rotation rotation angle of the depth sensor module by the number of horizontal pixels of the image sensor. It can be matched and stored in the storage.
상기 심도 센서 모듈은, 상기 이미지 센서의 가로 및 세로의 화각에 중첩되는 면적을 갖고, 상기 제어부는, 디폴트 모드에서 상기 심도 센서 모듈을 비활성의 투명 상태로 제어하고, 트리거 발생시 상기 심도 센서 모듈을 활성화시킬 수 있다.The depth sensor module has an area overlapping the horizontal and vertical angles of view of the image sensor, and the control unit controls the depth sensor module in an inactive transparent state in a default mode, and activates the depth sensor module when a trigger occurs. I can make it.
상기 제어부는, 상기 카메라 렌즈의 초점거리 변화에 따라 상기 제2주점의 위치가 변경되는 경우 상기 심도 센서 모듈의 곡률 중심이 상기 제2주점의 변경된 위치와 일치하도록 상기 심도 센서 모듈을 이동시킬 수 있다.When the position of the second main point is changed according to a change in the focal length of the camera lens, the control unit may move the depth sensor module so that the center of curvature of the depth sensor module coincides with the changed position of the second main point. .
상기 이미지 센서는, 라인 스캔 이미지 센서이고, 상기 라인 스캔 이미지 센서의 스캔 영역과 상기 심도 센서 모듈의 심도 측정 영역이 중첩되거나 인접할 수 있다.The image sensor is a line scan image sensor, and a scan area of the line scan image sensor and a depth measurement area of the depth sensor module may overlap or be adjacent to each other.
상기 심도 센서 모듈은, 상기 카메라 렌즈에 필터 방식으로 고정될 수 있다.The depth sensor module may be fixed to the camera lens in a filter manner.
본 발명은, 구의 일부 형상을 갖는 심도 센서 모듈을 이용하여 촬영 대상체의 심도 정보를 획득할 수 있어, 볼록 렌즈를 사용하는 이미지 카메라와 손쉽게 호환될 수 있어 범용성을 갖는다. According to the present invention, since depth information of an object to be photographed can be obtained by using a depth sensor module having a partial shape of a sphere, it is easily compatible with an image camera using a convex lens, and thus has versatility.
또한, 본 발명은 3차원 센싱 기능에 이미지 카메라의 이미지 생성 방식을 적용하여 심도 정보에 색 정보가 가미된 3차원 공간 또는 객체를 생성함으로써 실감나는 3차원 공간 또는 객체를 생성할 수 있다. In addition, according to the present invention, by applying an image generation method of an image camera to a three-dimensional sensing function, a three-dimensional space or an object in which color information is added to depth information can be created, thereby creating a realistic three-dimensional space or object.
도 1은 본 발명의 일 실시예에 따른 3차원 카메라 시스템을 나타낸 블럭도이다.
도 2는 구면 좌표계를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 3차원 카메라 시스템에서 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 방법을 설명하는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 3차원 카메라 시스템을 나타낸 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 센서와 심도 센서 모듈의 배치 구조를 개략적으로 설명하는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 배치 구조를 개략적으로 설명하는 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다.
도 9는 본 발명의 또 다른 실시예에 따른 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다.
도 11은 본 발명의 3차원 카메라 시스템이 라인 스캔 카메라에 적용된 예를 나타낸 도면이다.1 is a block diagram showing a 3D camera system according to an embodiment of the present invention.
2 is a diagram showing a spherical coordinate system.
3 is a diagram illustrating a method of calculating 3D coordinates of points constituting an object to be photographed in a 3D camera system according to an exemplary embodiment of the present invention.
4 is a block diagram showing a 3D camera system according to another embodiment of the present invention.
5 is a diagram schematically illustrating an arrangement structure of an image sensor and a depth sensor module according to an embodiment of the present invention.
6 is a diagram schematically illustrating an arrangement structure of an image sensor and a depth sensor module according to another embodiment of the present invention.
7 is a diagram schematically illustrating an installation structure of an image sensor and a depth sensor module according to another embodiment of the present invention.
8 is a diagram schematically illustrating an installation structure of an image sensor and a depth sensor module according to another embodiment of the present invention.
9 is a diagram schematically illustrating an installation structure of a depth sensor module according to another embodiment of the present invention.
10 is a diagram schematically illustrating an installation structure of an image sensor and a depth sensor module according to another embodiment of the present invention.
11 is a diagram showing an example in which the 3D camera system of the present invention is applied to a line scan camera.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.The above-described objects, features, and advantages will become more apparent through the following detailed description in connection with the accompanying drawings, whereby those of ordinary skill in the technical field to which the present invention pertains can easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 3차원 카메라 시스템을 나타낸 블럭도이다. 도 1을 참조하면, 본 실시예에 따른 3차원 카메라 시스템은, 심도 센서 모듈(130), 제어부(140) 및 저장부(150)를 포함한다.1 is a block diagram showing a 3D camera system according to an embodiment of the present invention. Referring to FIG. 1, a 3D camera system according to the present embodiment includes a
심도 센서 모듈(130)은 구(sphere)의 일부 형상으로 제작된다. 즉, 심도 센서 모듈(130)의 어느 부분이든 곡률(1/반지름)이 일정하도록 제작된다. 심도 센서 모듈(130)의 설치 위치에 따라 심도 센서 모듈(130)의 곡률이 정해진다. 심도 센서 모듈(130)은 빔을 방출하는 발광부와 촬영 대상체에 의해 반사되는 상기 빔을 수신하여 전기 신호로 변환하는 수광부를 포함하는 단위 셀들이 바둑판 형태로 연속하여 배치되거나, 심도 센서 모듈(130)의 중심으로부터 방사성 형태로 배치되어 구성된다. 심도 센서 모듈(130)은 단위 셀들이 바둑판 형태로 연속적으로 배치될 경우, 단위 셀들이 M×1(M은 자연수)의 행렬, 또는 M×N(M, N은 자연수)의 행렬로 구성될 수 있다. 단위 셀에는 하나의 발광부와 하나의 수광부가 포함될 수 있고, 또는 하나의 발광부와 복수의 수광부가 포함될 수 있다. 발광부는 레이저 소자 또는 적외선 소자 등이 활용될 수 있고 수광부는 포토다이오드 등이 활용될 수 있다. 바람직하게, 발광부는 표면 방출 레이저(VCSEL)이 사용될 수 있다. 심도 센서 모듈(130)의 단위 셀들은 곡률 중심을 원점으로 하고, 원점에서 각 단위 셀까지의 거리가 일정한 구면 좌표계를 형성하고, 각 단위 셀들의 구면 좌표계에서의 좌표 값은 제작시 결정된다.The
심도 센서 모듈(130)의 셀들 내부의 발광부에서 동시에 빔을 방출하고 촬영 대상체의 각 부위에서 반사된 빔은 심도 센서 모듈(130)의 각 단위 셀의 수광부에 수신되어 전기 신호로 변환된다. 심도 센서 모듈(130)은 구의 일부 형상으로 제작된다. 따라서, 심도 센서 모듈(130)의 단위 셀들의 발광부에서 방출되는 빔의 연장선은 곡률 중심까지 연결되고 또한 수광부에서 수신되는 빔의 연장선 역시 곡률 중심까지 연결된다. 발광부에서의 빔의 방출과 수광부에서의 빔의 수신 사이의 경과 시간(time of flight)을 이용하여 심도 센서 모듈(130), 구체적으로는 단위 셀로부터 빔이 반사된 촬영 대상체의 특정 지점까지의 거리가 계산될 수 있다. 단위 셀 내의 발광부에서 방출되는 빔은 촬영 대상체에서 반사되어 동일 단위 셀 내의 수광부에 수신되는데, 이때 다른 셀 내의 발광부에서 방출된 빔이 반사되어 수신될 수도 있으나, 이 빔에 의한 전기적 신호의 크기는 기준 값보다 작아 무시할 수 있다. 또는 소정의 시간 동안 빔의 방출과 수신을 반복하여 연속적으로 진행하여 가장 빈도가 높은 빔의 경과 시간(time of flight))을 선택하여 거리 계산을 할 수 있다.The light emitting units inside the cells of the
저장부(150)는, 심도 센서 모듈(130)의 곡률 중심에서 심도 센서 모듈(130)까지의 거리(즉, 구의 일부 형상이므로 구의 반지름), 심도 센서 모듈(130)의 각 단위 셀들의 상기 곡률 중심을 원점으로 하는 구면 좌표계 상의 위치 좌표, 그리고 제어부(140)에서 처리되는 결과 값을 저장한다. 또한 저장부(150)는 제어부(140)의 동작을 위한 프로그램이 저장된다. 저장부(150)는 메모리일 수 있고, 이러한 메모리는 하나 이상의 프로세서로부터 멀리 떨어져 위치하는 저장 장치, 예를 들어 통신 회로와, 인터넷, 인트라넷, LAN(Local Area Network), WLAN(Wide LAN), SAN(ST0rage Area Network) 등, 또는 이들의 적절한 조합과 같은 통신 네트워크(도시하지 않음)를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 포함할 수 있다. The
제어부(140)는, 상기 심도 센서 모듈(130)에서 측정된 정보를 이용하여 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고, 그 산출된 3차원 좌표를 이용하여 상기 촬영 대상체의 3차원 공간 또는 객체를 생성한다. 제어부(140)는, 별도의 독립된 컴퓨팅 장치일 수 있고, 또는 이미지 처리 프로세서일 수도 있다. 제어부(140)에서 촬영 대상체의 3차원 좌표를 산출하는 과정은 도 2 및 도 3을 참조하여 이하에서 설명한다.The
도 2는 구면 좌표계를 나타낸 도면이다. 도 2를 참조하면, 구면 위의 한 점 P는 구면 좌표계 (ρ, φ, θ)로 나타낼 수 있다. 여기서 ρ는 원점으로부터 점 P까지의 거리를 뜻하며 ρ≥0이다. φ는 양의 Z 축으로부터 점 P까지 이루는 각도이며 0≤φ≤π이다. θ는 양의 X 축으로부터 XY 평면에 점 P가 사영된 점까지 이루는 각도이며 0≤θ≤2π이다. 이러한 구면 좌표계 (ρ, φ, θ)는 아래와 같이 직교 좌표계 (x, y, z)로 변환될 수 있다. 본 발명에 있어서 도 2에 도시된 원점은 심도 센서 모듈(130)의 곡률 중심에 대응하고 양의 Z 축은 심도 센서 모듈(130)의 곡률 중심에서 심도 센서 모듈(130)의 중심을 향하는 축일 수 있다. 2 is a diagram showing a spherical coordinate system. Referring to FIG. 2, a point P on a spherical surface can be represented by a spherical coordinate system (ρ, φ, θ). Here, ρ means the distance from the origin to the point P, and ρ≥0. φ is the angle from the positive Z axis to the point P, and 0≤φ≤π. θ is the angle formed from the positive X axis to the point P projected on the XY plane, and 0≤θ≤2π. Such a spherical coordinate system (ρ, φ, θ) can be converted into a Cartesian coordinate system (x, y, z) as follows. In the present invention, the origin shown in FIG. 2 corresponds to the center of curvature of the
x=ρsinφcosθ, x=ρsinφcosθ,
y=ρsinφsinθ, y=ρsinφsinθ,
z=ρcosφ z=ρcosφ
도 3은 본 발명의 일 실시예에 따른 3차원 카메라 시스템에서 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 방법을 설명하는 도면이다. 도 3은 심도 센서 모듈(130)(S0) 및 피사체면(S2)을 도시한다. 피사체면(S2)은 촬영 대상체를 구성하는 어느 한 점(T2), 즉 피사체가 존재하는 피사체면(object plane)이다. 심도 센서 모듈(130)의 발광부에서 방출된 빔은 피사체(T2)에서 반사되어 심도 센서 모듈(130)의 곡률 중심(O)을 향하고 심도 센서 모듈(130)의 특정 지점(T0)의 수광부로 입사된다. 촬영 대상체를 구성하는 모든 점들의 3차원 좌표를 산출하면 촬영 대상체를 3차원으로 구성할 수 있다. 여기서 점의 크기 등의 기준은 설정에 따라 달라진다. 심도 센서 모듈(130)의 중심은 P0, 피사체면(S2)의 중심은 P2, 그리고 심도 센서 모듈(130)의 곡률 중심은 O으로 표기한다. FIG. 3 is a diagram illustrating a method of calculating 3D coordinates of points constituting an object in a 3D camera system according to an exemplary embodiment of the present invention. 3 shows the depth sensor module 130 (S0) and the object surface (S2). The subject plane S2 is a point T2 constituting the object to be photographed, that is, an object plane in which the subject exists. The beam emitted from the light emitting unit of the
구체적으로, 도 3을 참조하여 상기 피사체(T2)의 3차원 좌표를 산출하는 방법은 다음과 같다. 심도 센서 모듈(130)의 발광부에서 방출된 빔은 피사체(T2)에서 반사되어 심도 센서 모듈(130)의 T0 지점의 수광부로 되돌아온다. 따라서, 심도 센서 모듈(130)의 T0 지점을 곡률 중심(O)을 원점으로 하는 구면 좌표계로 표현하면 다음과 같다.Specifically, a method of calculating the three-dimensional coordinates of the subject T2 with reference to FIG. 3 is as follows. The beam emitted from the light emitting unit of the
T0 = (R0, φ0, θ0) T0 = (R0, φ0, θ0)
여기서 R0는 곡률 중심(O)에서 T0 지점까지의 거리이고, φ0는 양의 Z 축으로부터 T0 지점까지 이루는 각도이며, θ0는 양의 X 축으로부터 XY 평면에 T0 지점이 사영된 점까지 이루는 각도이다. Where R0 is the distance from the center of curvature (O) to the point T0, φ0 is the angle from the positive Z axis to the point T0, and θ0 is the angle from the positive X axis to the point T0 is projected on the XY plane. .
다음으로, 피사체(T2)를 구면 좌표계로 표현하면 다음과 같다. Next, the subject T2 is expressed in a spherical coordinate system as follows.
T2 = (R2, φ0, θ2) T2 = (R2, φ0, θ2)
여기서 R2는 곡률 중심(O)에서 T2 지점까지의 거리이고, φ0는 양의 Z 축으로부터 T2 지점까지 이루는 각도이며, θ2는 양의 X 축으로부터 XY 평면에 T2가 사영된 점까지 이루는 각도이다. Here, R2 is the distance from the center of curvature (O) to the point T2, φ0 is the angle from the positive Z axis to the point T2, and θ2 is the angle from the positive X axis to the point where T2 is projected on the XY plane.
피사체(T2)에서 반사되는 빔은 심도 센서 모듈(130)의 T0 지점으로 입사되므로, 심도 센서 모듈(130)의 T0 지점의 구면 좌표계에서의 φ 값과, 피사체(T2)의 구면 좌표계에서의 φ 값은 φ0로 동일하다. 또한, T0 지점의 구면 좌표계에서의 θ0와 피사체(T2)의 구면 좌표계에서의 θ2도 서로 동일하다. 따라서, 심도 센서 모듈(130)의 곡률 중심(0)을 원점으로 하는 구면 좌표계에서 T0 지점과 피사체(T2)는 거리, 즉 R0와 R2에서만 다르다. 심도 센서 모듈(130)의 각 단위 셀들의 구면 좌표계에서의 (R, φ, θ) 값은 저장부(150)에 저장되어 있으므로, 피사체(T2)에서 반사되는 빔이 심도 센서 모듈(130)의 T0 지점으로 입사되었을 때, 해당 T0 지점의 (φ, θ) 값, 즉 (φ0, θ0)를 추출하고, 곡률 중심(0)에서 피사체(T2)까지의 거리 R2만 알게 되면, 최종적으로 피사체(T2)의 곡률 중심(0)을 원점으로 한 직교 좌표계에서의 (X, Y, Z) 좌표 값을 계산할 수 있다. 직교 좌표계에서의 (X, Y, Z) 좌표 값은, 피사체(T2)의 구면 좌표계의 (R2, φ0, θ2) 좌표 값을 직교 좌표계의 좌표 값으로 변환함으로써 구해진다. 즉, 피사체(T2)의 (X, Y, Z) 좌표 값인 (X2, Y2, Z2)는, 구면 좌표계 (R2, φ0, θ2)를 통해 아래와 같이 구해진다.Since the beam reflected from the subject T2 is incident to the point T0 of the
X2 = R2sinφ0cosθ0 X2 = R2sinφ0cosθ0
Y2 = R2sinφ0sinθ0 Y2 = R2sinφ0sinθ0
Z2 = R2cosφ Z2 = R2cosφ
이와 같이 입체물인 촬영 대상체를 구성하는 점들의 상기 곡률 중심(O)를 원점으로 한 (X, Y, Z) 좌표 값을 구하게 되면, 최종적으로 촬영 대상체의 3차원 형상을 얻을 수 있다. 제어부(140)는, 상기 촬영 대상체를 구성하는 점들의 직교 좌표계에서의 (X, Y, Z) 좌표 값이 구해지면, 이 좌표 값을 이용하여 촬영 대상체의 색 정보가 없는 3차원 형상을 얻을 수 있다. 제어부(140)는, 촬영 대상체의 각 점마다 심도 값, 즉 Z 값에 따라 범위를 정하여 지정된 색상으로 표현할 수 있다. 제어부(140)는, 공간이나 객체의 실제 크기나 거리를 산출할 수 있다. 예를 들어, 본 발명에 따른 3차원 카메라 시스템을 구비하는 로봇은 공간 내 문을 통과하기 위해 일정한 거리에서 문의 실제 크기, 즉 폭과 높이 값을 산출한 후 자신의 폭과 높이와 비교하여 통과 가능 여부를 결정할 수 있다. As described above, when (X, Y, Z) coordinate values of points constituting a three-dimensional object having the center of curvature O as an origin are obtained, a three-dimensional shape of the object to be photographed can be finally obtained. When the (X, Y, Z) coordinate values in the Cartesian coordinate system of the points constituting the object to be photographed are obtained, the
도 4는 본 발명의 다른 실시예에 따른 3차원 카메라 시스템을 나타낸 블럭도이다. 도 4를 참조하면, 본 실시예에 따른 3차원 카메라 시스템은, 이미지 센서(410), 카메라 렌즈(420), 심도 센서 모듈(130), 제어부(140) 및 저장부(150)를 포함한다.4 is a block diagram showing a 3D camera system according to another embodiment of the present invention. Referring to FIG. 4, the 3D camera system according to the present embodiment includes an
이미지 센서(410)는 촬영 대상체에서 오는 빛을 카메라 렌즈(420)를 통해 수신하고 이 수신된 빛을 전기적 영상 신호로 변환한다. 이미지 센서(410)의 표면은 촬상면이고 픽셀들이 2차원으로 배열되어 있다. 카메라 렌즈(420)는 촬영 대상체에서 오는 빛을 모아 상기 이미지 센서(410)로 전달한다. 카메라 렌즈(420)는 이미지 센서(410)의 전방에 배치된다. 카메라 렌즈(420)의 빛이 모이는 지점을 제2주점이라고 하고, 제2주점에서 이미지 센서(410)까지의 거리를 초점거리 또는 초점길이라고 한다. The
심도 센서 모듈(130)은 카메라 렌즈(420)의 전방에 배치된다. 따라서 이미지 센서(410), 카메라 렌즈(420), 그리고 심도 센서 모듈(130)이 촬영 대상체의 방향으로 순차적으로 배치된다. 심도 센서 모듈(130)은 카메라의 렌즈에 필터를 부착하는 방식으로 카메라의 렌즈에 부착될 수 있다. 심도 센서 모듈(130)은 카메라 렌즈(420)의 초점거리 변경에 따른 제2주점의 위치 변화에 따라 곡률 중심이 제2주점에 일치되도록 지지 부재 및 이동 수단과 결합할 수 있다. 지지 부재는 투명 재질일 수 있고, 이동 수단은 카메라 렌즈(420)의 전후 이동 수단과 같은 공지된 다양한 수단이 사용될 수 있다. 심도 센서 모듈(130)은 구(sphere)의 일부 형상으로 제작된다. 즉, 심도 센서 모듈(130)의 어느 부분이든 곡률(1/반지름)이 일정하도록 제작된다. 심도 센서 모듈(130)의 설치 위치에 따라 심도 센서 모듈(130)의 곡률이 정해진다. 심도 센서 모듈(130)을 설치했을 때 상기 카메라 렌즈(420)의 제2주점까지의 거리를 반지름으로 하는 구(sphere)의 일부 형상이 되도록 심도 센서 모듈(130)을 제작한다. 카메라 렌즈(420)의 외부 표면에 가깝게 심도 센서 모듈(130)을 설치할 경우 심도 센서 모듈(130)의 곡률은 커지고, 반대로 카메라 렌즈(420)의 외부 표면으로부터 멀게 설치할 경우 심도 센서 모듈(130)의 곡률은 작아진다. 심도 센서 모듈(130)은 지지체에 의해 카메라 렌즈(420)의 앞에 지지된다. The
심도 센서 모듈(130)의 셀들 내부의 발광부에서 동시에 빔을 방출하고 촬영 대상체의 각 부위에서 반사된 빔은 심도 센서 모듈(130)의 각 단위 셀의 수광부에 수신되어 전기 신호로 변환된다. 심도 센서 모듈(130)은 구의 일부 형상으로 제작된다. 따라서, 심도 센서 모듈(130)의 단위 셀들의 발광부에서 방출되는 빔의 연장선은 카메라 렌즈(420)의 제2주점, 즉 심도 센서 모듈(130)의 곡률 중심까지 연결되고 또한 수광부에서 수신되는 빔의 연장선 역시 카메라 렌즈(420)의 제2주점, 즉 심도 센서 모듈(130)의 곡률 중심까지 연결된다. 발광부에서의 빔의 방출과 수광부에서의 빔의 수신 사이의 경과 시간(time of flight)을 이용하여 심도 센서 모듈(130), 구체적으로는 단위 셀로부터 빔이 반사된 촬영 대상체의 특정 지점까지의 거리가 계산될 수 있다. 단위 셀 내의 발광부에서 방출되는 빔은 촬영 대상체에서 반사되어 동일 단위 셀 내의 수광부에 수신되는데, 이때 다른 셀 내의 발광부에서 방출된 빔이 반사되어 수신될 수도 있으나, 이 빔에 의한 전기적 신호의 크기는 기준 값보다 작아 무시할 수 있다. 또는 소정의 시간 동안 빔의 방출과 수신을 반복하여 연속적으로 진행하여 가장 빈도가 높은 빔의 경과 시간(time of flight))을 선택하여 거리 계산을 할 수 있다.The light emitting units inside the cells of the
저장부(150)는, 상기 카메라 렌즈(420)의 제2주점, 즉 곡률 중심에서 상기 심도 센서 모듈(130)까지의 거리(즉, 구의 일부 형상이므로 구의 반지름), 상기 심도 센서 모듈(130)의 각 단위 셀들의 상기 곡률 중심을 원점으로 하는 구면 좌표계 상의 위치 좌표, 그리고 제어부(140)에서 처리되는 결과 값을 저장한다. 또한 저장부(150)는 제어부(140)의 동작을 위한 프로그램이 저장된다. 저장부(150)는 메모리일 수 있고, 이러한 메모리는 하나 이상의 프로세서로부터 멀리 떨어져 위치하는 저장 장치, 예를 들어 통신 회로와, 인터넷, 인트라넷, LAN(Local Area Network), WLAN(Wide LAN), SAN(Storage Area Network) 등, 또는 이들의 적절한 조합과 같은 통신 네트워크(도시하지 않음)를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 포함할 수 있다. The
제어부(140)는, 상기 심도 센서 모듈(130)에서 측정된 정보를 이용하여 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고, 그 산출된 3차원 좌표와 상기 이미지 센서(110)에서 생성되는 상기 촬영 대상체의 2차원 이미지를 이용하여 상기 촬영 대상체의 색 정보가 가미된 3차원 공간 또는 객체를 생성한다. 제어부(140)는, 별도의 독립된 컴퓨팅 장치일 수 있고, 또는 이미지 처리 프로세서일 수도 있다. 제어부(140)는, 설정에 따라 카메라 렌즈(420)를 이용한 2차원 이미지 촬영 모드, 또는 심도 센서 모듈(130)만을 이용하는 심도 측정 모드, 그리고 카메라 렌즈(420)와 심도 센서 모듈(130)을 모두 이용하는 3차원 객체 측정 모드로 동작할 수 있다. 제어부(140)가 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하는 방법은 앞서 설명한 바와 동일하다. 제어부(140)는, 카메라 렌즈(420)의 초점거리 변경에 따른 제2주점의 위치 변화에 따라 심도 센서 모듈(130)의 곡률 중심이 제2주점에 일치되도록 상기 이동 수단을 제어하여 심도 센서 모듈(130)을 이동시킬 수 있다.The
도 5는 본 발명의 일 실시예에 따른 이미지 센서와 심도 센서 모듈의 배치 구조를 개략적으로 설명하는 도면이다. 도 5는 촬상면(S1), 심도 센서 모듈(130)(S0), 그리고 피사체면(S2)을 도시한다. 촬상면(S1)은 이미지 센서(410)의 표면으로 픽셀들로 구성된다. 피사체면(S2)은 촬영 대상체를 구성하는 어느 한 점(T2), 즉 피사체가 존재하는 피사체면(object plane)이다. 피사체(T2)에서 반사되는 빛은 제2주점(Q2)를 지나 촬상면(S1)의 특정 지점(T1)에 입사된다. 피사체면(S2)은 촬상면(S1)과 평행하다. 촬영 대상체를 구성하는 모든 점들의 3차원 좌표를 산출하면 촬영 대상체를 3차원으로 구성할 수 있다. 여기서 점의 크기 등의 기준은 설정에 따라 달라진다. 촬상면(S1)의 중심은 P1, 심도 센서 모듈(130)의 중심은 P0, 그리고 피사체면(S2)의 중심은 P2로 표기한다. 또한 카메라 렌즈(420)의 제2주점은 Q2로 표기한다. 카메라 렌즈(420)의 제2주점(Q2)은 심도 센서 모듈(130)의 곡률 중심이기도 하다. 카메라 렌즈(420)의 초점거리는 촬상면(S1) 상의 중심점(P1)에서 제2주점(Q2)까지의 거리이다. 카메라 렌즈(420)가 피사체에 초점(포커스)를 맞출 수 있는 범위는 최소 초점거리에서 무한대 초점거리인데, 이러한 범위 내에서 초점거리는 각각 다른 값을 갖고 초점거리의 변화는 제2주점(Q2)의 위치를 변화시키게 된다. 따라서 자동초점조절 기능이 있는 카메라 렌즈(420)의 경우처럼 제2주점(Q2)의 위치에 변화가 감지될 때마다 심도 센서 모듈(130)은 제어부(140)의 제어에 따라 전후 이동되어 곡률 중심(O)이 제2주점(Q2)의 위치로 신속하게 이동된다. 심도 센서 모듈(130)의 이동 수단은 자동초점조절기능과 연동하여 설치될 수 있다. 심도 센서 모듈(130)을 구성하는 단위 셀들의 심도 센서 모듈(130) 내에서의 위치는 이미지 센서(410)의 촬상면(S1)에 적합하게 제작될 수 있다. 이를 설명하면 다음과 같다.5 is a diagram schematically illustrating an arrangement structure of an image sensor and a depth sensor module according to an embodiment of the present invention. FIG. 5 shows an imaging surface S1, a depth sensor module 130 (S0), and an object surface S2. The imaging surface S1 is a surface of the
먼저, 이미지 센서(410)의 촬상면(S1)의 T1 지점을 구면 좌표계로 표시하면 다음과 같다.First, when the point T1 of the imaging surface S1 of the
T1 = (R1, φ1, θ1) T1 = (R1, φ1, θ1)
여기서 R1은 제2주점(Q2)에서 T1 지점까지의 거리이고, φ1는 양의 Z 축으로부터 T1 지점까지 이루는 각도이며, θ1는 양의 X 축으로부터 XY 평면에 T1 지점이 사영된 점까지 이루는 각도이다. 보다 구체적으로, (R1, φ1, θ1)의 값은 다음과 같이 구할 수 있다.Where R1 is the distance from the second main point (Q2) to the point T1, φ1 is the angle from the positive Z axis to the point T1, and θ1 is the angle from the positive X axis to the point T1 projected on the XY plane. to be. More specifically, the values of (R1, φ1, θ1) can be obtained as follows.
R1=√(F2 + S2), 여기서 F는 초점 거리, S는 P1~T1 거리.R1=√(F 2 + S 2 ), where F is the focal length and S is the distance from P1 to T1.
φ1=cos-1(F/R1)φ1=cos -1 (F/R1)
θ1=cos-1(X1/S)θ1=cos -1 (X1/S)
다음으로, 심도 센서 모듈(130)의 T0 지점을 구면 좌표계로 표현하면 다음과 같다. Next, the point T0 of the
T0 = (R0, φ0, θ0) T0 = (R0, φ0, θ0)
여기서 R0는 제2주점(Q2)에서 T0 지점까지의 거리이고, φ0는 양의 Z 축으로부터 T0 지점까지 이루는 각도이며, θ0는 양의 X 축으로부터 XY 평면에 T0 지점이 사영된 점까지 이루는 각도이다. Where R0 is the distance from the second main point (Q2) to the point T0, φ0 is the angle from the positive Z axis to the point T0, and θ0 is the angle from the positive X axis to the point T0 projected on the XY plane. to be.
제2주점(Q2)를 원점으로 하는 동일 구면 좌표계를 기준으로 할 때, T1 지점과 T0 지점은 180도의 차이가 있지만, 원점만을 동일하게 하고 축의 방향을 180도 달리하는 두 개의 구면 좌표계를 생각하면, T1의 φ1과 T0의 φ0은 동일하고, 또한 T1의 θ1과 T0의 θ0는 동일하다. 따라서, 제2주점(Q2)을 기준으로 한 구면 좌표계에서 볼 때, T1 및 T0는 φ와 θ는 동일하고 제2주점(Q2)으로부터의 거리인 R1과 R0만 차이가 있다. 따라서, 이미지 센서(410)의 촬상면(S1)에 적합한 심도 센서 모듈(S0)을 제작하기 위해서는, (1) 이미지 센서(410)의 촬상면(S1)의 픽셀들을 구면 좌표계의 좌표 값으로 변환한 후, (2) 제2주점(Q2)에서의 각 픽셀까지의 거리(즉, R1)를 제2주점(Q2)에서 심도 센서 모듈(130)까지의 거리(R0)로 교체하고, (3) 그 거리가 교체된 구면 좌표계의 좌표 값을 이용하여 심도 센서 모듈(130)의 각 단위 셀들을 위치시켜 제작하면 된다. 즉, 이미지 센서(410)의 촬상면(S1)의 각 픽셀의 위치를 제2주점(Q2)를 중심으로 180도 회전하면서 거리를 R0로 설정하면 된다. 상기 제2주점을 중심으로 상기 이미지 센서의 각 픽셀의 방향과 180도 반대 방향의 지점이면서 상기 제2주점으로부터 상기 구의 반지름만큼 떨어진 위치에 상기 심도 센서 모듈의 각 단위 셀이 위치하는 것이다. 이와 같이 하게 되면, 심도 센서 모듈(130)의 각 단위 셀은 이미지 센서(410)의 촬상면(S1)의 각 픽셀에 대응하게 되어, 촬상면(S1)의 각 픽셀에 심도 값을 적용할 수 있다. 이러한 실시예는 심도 센서 모듈(130)이 이미지 센서(410)의 화각을 커버하는 면적을 가질 때 바람직하다. 예를 들면, 이하에서 설명하는 도 10의 실시예와 같다.Based on the same spherical coordinate system with the second main point (Q2) as the origin, there is a difference of 180 degrees between the point T1 and the point T0, but consider two spherical coordinate systems that make only the origin the same and change the direction of the axis 180 degrees. , Φ1 of T1 and φ0 of T0 are the same, and θ1 of T1 and θ0 of T0 are the same. Therefore, when viewed in a spherical coordinate system based on the second main point Q2, T1 and T0 have the same φ and θ, and only R1 and R0, which are distances from the second main point Q2, are different. Therefore, in order to manufacture the depth sensor module S0 suitable for the imaging surface S1 of the
제어부(140)는, 상기 심도 센서 모듈(130)의 각 단위 셀을 통해서 각 단위 셀에 대응하는 촬영 대상체를 구성하는 각 점들의 3차원 좌표를 산출하고, 각 점들의 3차원 좌표, 그 중에서도 심도 정보인 Z 값을, 촬상면(S1)의 상기 각 단위 셀에 대응하는 픽셀의 값에 적용할 수 있다. 또는 제어부(140)는 상기 심도 센서 모듈(130)을 통해 3차원 공간 또는 객체를 구성할 때, 심도 센서 모듈(130)의 각 단위 셀에 대응하는 촬상면(S1)의 픽셀에서 색 정보를 획득하여 3차원 공간 또는 객체에 색 정보를 가미할 수 있다. The
한편, 이미지 센서(410)의 촬상면(S1)의 각 픽셀의 좌표와 심도 센서 모듈(130)의 각 단위 셀의 좌표가 서로 대응하지 않을 수 있다. 이 경우, 이미지 센서(410)의 촬상면(S1)의 각 픽셀의 구면 좌표계 상에서의 좌표, 즉 (φ, θ)를 구한 후, 심도 센서 모듈(130)의 각 단위 셀들의 (φ, θ)와 비교하여 일치 또는 근사한 값을 갖는 단위 셀을 해당 픽셀에 대응하는 단위 셀로 볼 수 있다. Meanwhile, the coordinates of each pixel of the imaging surface S1 of the
도 6은 본 발명의 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 배치 구조를 개략적으로 설명하는 도면이다. 도 6을 참조하면, 3차원 카메라 시스템은, 심도 센서 모듈(130)의 폭(W)이 카메라 렌즈(420)의 폭보다 작다. 즉, 심도 센서 모듈(130)이 카메라 렌즈(420)의 표면을 모두 덮지 않는다. 심도 센서 모듈(130)은 단위 셀들이 M×1(M은 자연수)의 행렬, 즉 1열로 구성된다. 또한, 3차원 카메라 시스템은 카메라 렌즈(420)의 표면을 따라 평행하게 배치되는 이동 궤도(610)를 포함한다. 이동 궤도(610)는 심도 센서 모듈(130)과 마찬가지로 제2주점(Q2)을 중심으로 한 원호 형태의 경로를 만든다. 심도 센서 모듈(130)은, 단위 셀 내부에 표면 방출 레이저와 포토 다이오드를 각각 1개씩 구성하면서, 좌측에 포토 다이오드를 설치하고 우측에 표면 방출 레이저를 설치하여, B3 방향으로 이동하면서 빔을 방출하고 피사체에서 반사되어 돌아오는 빔을 수신할 수 있다. 또는 심도 센서 모듈(130)은, 단위 셀 내부에 하나의 표면 방출 레이저와 좌우 양측에 포토 다이오드를 설치하고, 좌우 왕복으로 이동하면서 빔을 방출하고 수신할 수 있다. 6 is a diagram schematically illustrating an arrangement structure of an image sensor and a depth sensor module according to another embodiment of the present invention. Referring to FIG. 6, in the 3D camera system, the width W of the
도 6의 실시예에서 심도 센서 모듈(130)은 단위 셀들이 1열로 구성되어 폭이 대단히 좁다. 또한, 심도 센서 모듈(130)은, 카메라 렌즈(420)의 표면에 최대한 가깝게 설치됨으로써, 카메라의 최단 촬영거리 내에 위치한다. 따라서, 심도 센서 모듈(130)이 좌우로 이동하더라도 이미지 센서(410)에서 심도 센서 모듈(130)을 감지하기는 어렵다. 바람직하게 심도 센서 모듈(130)은 무광택으로 처리될 수 있다. 심도 센서 모듈(130)의 1열 전체의 발광부에서 빔이 방출되도록 할 수도 있으나, 1 행부터 M 행까지 짧은 시차를 두고 순차적으로 빔이 방출되도록 함으로써 인접 셀에서 방출되는 빔의 간섭이나, 다른 셀에서 방출되는 빔이 함께 촬영 대상체에서 반사되어 수신되는 현상을 최소화할 수 있다. In the embodiment of FIG. 6, the
도 7은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다. 도 7을 참조하면, 3차원 카메라 시스템은, 분리된 두 개의 심도 센서 모듈(130:130-1, 130-2)과, 그 두 개의 심도 센서 모듈(130)을 이동시키는 이동 궤도(610)를 포함한다. 각 심도 센서 모듈(130)의 폭은 카메라 렌즈(420)의 폭보다 작다. 즉, 심도 센서 모듈(130)이 카메라 렌즈(420)의 표면을 모두 덮지 않는다. 심도 센서 모듈(130)은 단위 셀들이 M×1(M은 자연수)의 행렬, 즉 1열로 구성된다. 이동 궤도(610)는 심도 센서 모듈(130)과 마찬가지로 제2주점(Q2)을 중심으로 한 원호 형태의 경로를 만든다. 하나의 심도 센서 모듈(130-1)은 이동 궤도(610)의 좌측에 배치되고 다른 하나의 심도 센서 모듈(130-2)은 이동 궤도(610)의 우측에 배치되어, 제어부(140)의 제어에 따라 두 개의 심도 센서 모듈(130)은 이동 궤도(610)를 따라 중심(710)으로 이동되며 촬영 대상체의 심도를 측정할 수 있다. 각 심도 센서 모듈(130)은, 단위 셀 내부에 표면 방출 레이저와 포토 다이오드를 각각 1개씩 구성될 수 있다. 이동 궤도(610)의 좌측에 설치되는 심도 센서 모듈(130-1)의 각 단위 셀은 좌측에 포토 다이오드가 설치되고 우측에 표면 방출 레이저가 설치되고, 이동 궤도(610)의 우측에 설치되는 심도 센서 모듈(130-2)의 각 단위 셀은 우측에 포토 다이오드가 설치되고 좌측에 표면 방출 레이저가 설치된다. 이러한 도 7을 참조한 실시예의 시스템은, 도 6을 참조한 실시예의 시스템에 비해 심도 측정 시간을 단축시킬 수 있다.7 is a diagram schematically illustrating an installation structure of an image sensor and a depth sensor module according to another embodiment of the present invention. Referring to FIG. 7, the 3D camera system includes two separate depth sensor modules 130:130-1 and 130-2 and a moving
도 8은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다. 도 8을 참조하면, 도 7을 참조하여 설명한 실시예와 마찬가지로, 3차원 카메라 시스템은, 분리된 두 개의 심도 센서 모듈(130:130-1, 130-2)과, 그 두 개의 심도 센서 모듈(130)을 이동시키는 이동 궤도(610)를 포함한다. 다만, 각 심도 센서 모듈(130)은, 단위 셀들이 M×N(M, N은 2 이상의 자연수)의 행렬로 구성되고, 이동 궤도(610)는 도 6을 참조하여 설명한 이동 궤도(610)보다 더 길게 연장되어 있다. 각 심도 센서 모듈(130)은 제어부(140)의 제어에 따라 이동 궤도(610)를 따라 이동한다. 제어부(140)는, 각 심도 센서 모듈(130)이 상기 중심을 경계로 서로 떨어져 열린 상태인 경우 이미지 센서(410)를 활성화하고 각 심도 센서 모듈(130)이 상기 중심에서 서로 맞닿아 닫힌 상태인 경우 이미지 센서(410)를 비활성화할 수 있다. 산발적 이미지 촬영과 연속되는 심도 촬영에 효과적이다.8 is a diagram schematically illustrating an installation structure of an image sensor and a depth sensor module according to another embodiment of the present invention. Referring to FIG. 8, similar to the embodiment described with reference to FIG. 7, the 3D camera system includes two separate depth sensor modules 130:130-1 and 130-2, and the two depth sensor modules ( 130) and a moving
도 9는 본 발명의 또 다른 실시예에 따른 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다. 도 9을 참조한 본 실시예는 도 6을 참조한 실시예와 마찬가지로, 심도 센서 모듈(130)의 폭은 카메라 렌즈(420)의 폭보다 작고, 심도 센서 모듈(130)은 단위 셀들이 M×1(M은 자연수)의 행렬, 즉 1열로 구성된다. 도 6을 참조한 실시예에서 심도 센서 모듈(130)은 이동 궤도(610)를 따라 이동하지만, 도 9를 참조한 본 실시예에서 심도 센서 모듈(130)은 고정된 위치에서 회전하는 회전체(910)에 연결되어 카메라 렌즈(420)의 표면을 따라 이동한다. 제어부(140)는, 상기 회전체(910)를 제어하여 심도 센서 모듈(130)을 이동시키며 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출한다. 회전체(910)에 의해 이동하는 심도 센서 모듈(130)의 이동 궤적은 제2주점(Q2)을 중심으로 한 원호 형태의 경로를 만든다. 즉 회전체(910)의 회전 중심(911)이 카메라 렌즈(420)의 제2주점(Q2)이다. 심도 센서 모듈(130)은, 단위 셀 내부에 하나의 표면 방출 레이저와 좌우 양측에 포토 다이오드를 설치하고, 좌우 왕복으로 이동하면서 빔을 방출하고 수신할 수 있다.9 is a diagram schematically illustrating an installation structure of a depth sensor module according to another embodiment of the present invention. In this embodiment with reference to FIG. 9, like the embodiment with reference to FIG. 6, the width of the
이상의 도 6 내지 도 9를 참조하여 설명한 실시예에서, 3차원 카메라 시스템의 제어부(140)는, 심도 센서 모듈(130)을 이동시키며 이동에 관한 정보를 저장부(150)에 저장하고, 그 이동에 관한 정보와 이미지 센서(410)의 픽셀 정보를 매칭함으로써, 촬영 대상체의 심도 정보와 색 정보를 정확히 매칭할 수 있다. 여기서 상기 이동에 관한 정보는 이동 시간 또는 이동 거리 또는 회전 각도이다. 이동 시간 또는 이동 거리는 도 6 내지 도 8을 참조한 실시예에서 저장되고, 회전 각도는 도 9를 참조한 실시예에서 저장되는 것이 바람직하다.In the embodiment described with reference to FIGS. 6 to 9 above, the
도 6 내지 도 8을 참조한 실시예에서, 제어부(140)는, 심도 센서 모듈(130)의 이동 시간 또는 이동 거리와, 심도 센서 모듈(130)의 측정 정보와, 심도 센서 모듈(130)의 전체 이동 시간 또는 전체 이동 거리를 상기 이미지 센서(410)의 가로 픽셀의 개수로 나누어 산출된 픽셀당 시간 또는 위치를 매칭하여 저장부(150)에 저장한다. 전체 이동 시간은 출발 시간과 도착 시간으로 산출될 수 있다. 그리고 이동 거리는 물리적인 이동 거리일 수 있고, 또는 심도 센서 모듈(130)의 이동 궤도(610) 상의 위치의 차이일 수 있다. 심도 센서 모듈(130)의 각 단위 이동 시간 또는 이동 거리마다 해당 시간 또는 거리에서의 심도 센서 모듈(130)의 측정 정보를 매칭하여 저장하게 되면, 특정 이동 시간 또는 이동 거리에서의 측정 정보를 검색할 수 있다. 그리고 검색된 측정 정보에 대응하는 이미지 센서(410)의 픽셀은, 상기 특정 이동 시간 또는 이동 거리에 대응하는 시간 또는 위치를 갖는 픽셀로 특정될 수 있다. In the embodiment with reference to FIGS. 6 to 8, the
도 9를 참조한 실시예에서, 제어부(140)는, 심도 센서 모듈(130)의 이동 회전 각도와, 심도 센서 모듈(130)의 측정 정보와, 심도 센서 모듈(130)의 전체 회전 이동 각도를 상기 이미지 센서(110)의 가로 픽셀의 개수로 나누어 산출된 픽셀당 회전 각도를 매칭하여 저장부(150)에 저장한다. 심도 센서 모듈(130)의 각 단위 이동 회전 각도마다 해당 회전 각도에서의 심도 센서 모듈(130)의 측정 정보를 매칭하여 저장하게 되면, 특정 회전 각도에서의 측정 정보를 검색할 수 있다. 그리고 검색된 측정 정보에 대응하는 이미지 센서(410)의 픽셀은, 상기 특정 회전 각도에 대응하는 회전 각도를 갖는 픽셀로 특정될 수 있다. In the embodiment with reference to FIG. 9, the
상기 제어부(140)는, 상기 심도 센서 모듈(130)의 측정 정보, 즉 심도 정보를, 이미지 센서(410)에 의해 생성되는 이미지 파일의 각 픽셀에 기록할 수 있다. 예를 들어, 각 픽셀의 ARGB 값 중에서 A(투명) 값 대신에 측정 정보를 기록하거나, 또는 ARGB 값에 예를 들어 1바이트(Byte)를 추가하여 ARGBD(D: 측정 정보) 형식으로 측정 정보를 기록할 수 있다. 1바이트를 추가할 경우 십진수 256까지 기록되는데, 이 경우 심도 값에서 최소 심도 값을 뺀 나머지 값을 기록하고, 최소 심도 값은 별도로 기록할 수 있다. 예를 들어 이미지의 메타정보(EXIF)에 최소 심도 값을 기록할 수 있다. The
도 10은 본 발명의 또 다른 실시예에 따른 이미지 센서와 심도 센서 모듈의 설치 구조를 개략적으로 설명하는 도면이다. 도 6 내지 도 9의 실시예와 달리, 도 10을 참조한 실시예의 심도 센서 모듈(130)은 카메라 렌즈(420)의 제2주점(Q2)을 중심점으로 한 구의 일부로서 이미지 센서(410)의 촬상면에 대응하는 가로 화각과 세로 화각으로 구성되는 면적과 중첩되는 영역을 갖는다. 심도 센서 모듈(130)은 셀들이 M×N 행렬로 구성되며, 투명 디스플레이처럼 디폴트 상태에서는 비활성화되어 투명 상태를 유지하고 특정 트리거가 주어지면 심도 측정 모드로 활성화되어 빔을 방출하고 수신한다. 바람직하게, 제어부(140)는 특정 트리거 발생시에, 심도 센서 모듈(130)을 심도 측정 모드로 활성화하여 좌측 1열부터 순차적으로 1열씩 심도 측정을 실시하거나 좌측 1열1행, 1열2행 식으로 셀 단위로 심도 측정을 실시할 수 있다. 도 10의 실시예는, 촬영 대상체를 연속으로 이미지 촬영하거나 심도 측정해야 하는 경우 등 촬영 대상체가 동적인 경우에 적합하다. 10 is a diagram schematically illustrating an installation structure of an image sensor and a depth sensor module according to another embodiment of the present invention. Unlike the embodiments of FIGS. 6 to 9, the
이상에서 설명한 실시예에 따른 3차원 카메라 시스템은, 얼굴 인식, 파노라마 이미지를 활용한 3D 공간의 생성, VR 피팅, 자율 주행차 등에서 활용될 수 있다. 예를 들어 VR 피팅의 경우, 사용자는 스마트폰의 3차원 카메라 시스템을 이용하여 자신의 인체를 3D 객체로 생성하여 저장한 후, 어플리케이션을 통해서 온라인 쇼핑볼에서 3D 의류를 제공받아 자신의 3D 객체에 적용시켜 의류가 잘 어울리는지 등을 확인할 수 있다. 또 다른 예로 얼굴 인식의 경우, 종래에는 2차원 이미지에서 얼굴을 인식하여 동일인 여부를 판단한다. 본 발명에 따른 3차원 카메라 시스템이 스마트폰에 설치되었을 때, 사용자는 스마트폰의 3차원 카메라 시스템을 이용하여 자신의 얼굴을 인식하여 등록한다. 이때 3차원 카메라 시스템은 두 눈의 중심 간 거리를 측정하여 저장하고, 이 두 눈의 중심 간 거리를 얼굴 인식의 기준으로 활용할 수 있다. 본 발명의 3차원 카메라 시스템은 두 눈의 중심 간 거리를 측정할 때 단순히 2차원 이미지에서의 직선 거리를 측정하는 것이 아니라, 심도 값을 이용한 3차원 상의 곡선 거리이기 때문에, 사진을 조작할 경우 얼굴 인증에 실패하게 된다.The 3D camera system according to the embodiment described above may be used in face recognition, generation of a 3D space using a panoramic image, VR fitting, and autonomous driving vehicles. For example, in the case of VR fitting, a user creates and stores his/her human body as a 3D object using a 3D camera system of a smartphone, and then receives 3D clothing from an online shopping ball through an application and stores it in his 3D object. By applying it, you can check whether the clothes look good. As another example, in the case of face recognition, the same person is determined by recognizing faces in a two-dimensional image. When the 3D camera system according to the present invention is installed on the smartphone, the user registers by recognizing his/her face using the 3D camera system of the smartphone. At this time, the 3D camera system measures and stores the distance between the centers of the two eyes, and can use the distance between the centers of the two eyes as a reference for face recognition. When measuring the distance between the centers of two eyes, the 3D camera system of the present invention does not simply measure a straight line distance in a two-dimensional image, but a three-dimensional curved distance using a depth value. Authentication will fail.
본 발명의 3차원 카메라 시스템은 에어리어 스캔(Area Scan) 카메라뿐만 아니라, 라인 스캔(Line Scan) 카메라에도 적용할 수 있다. 360도 촬영시 에어리어 스캔 카메라는 여러 대가 필요하지만, 라인 스캔 카메라의 경우 하나의 라인 스캔 카메라로 360도 촬영이 가능하다. 라인 스캔 카메라의 이미지 센서는 CCD 혹은 CMOS 소자가 일렬로만 배열된 상태에서 촬영 대상체의 이동 속도에 맞춰 촬영이 연속적으로 끊임없이 이루어지며 초고화질을 구현할 수 있고, 스캔 속도 또한 대단히 빠르다. The 3D camera system of the present invention can be applied not only to an area scan camera, but also to a line scan camera. When shooting 360 degrees, several area scan cameras are required, but in the case of a line scan camera, 360 degrees can be taken with a single line scan camera. In the image sensor of a line scan camera, in a state in which CCD or CMOS elements are arranged only in a row, photographing is continuously continuously performed according to the moving speed of the object to be photographed, realizing ultra-high quality, and the scanning speed is also very fast.
도 11은 본 발명의 3차원 카메라 시스템이 라인 스캔 카메라에 적용된 예를 나타낸 도면이다. 도 11을 참조하면, 심도 센서 모듈(130)은 앞서 설명한 다른 실시예와 마찬가지로 카메라 렌즈(420)의 전방에 설치된다. 심도 센서 모듈(130)은 단위 셀들이 1열로 배치되어 있고, 단위 셀은 표면 방출 레이저와 포토 다이오드를 포함한다. 라인 스캔 카메라(1110)의 이미지 센서(410)는 CCD 혹은 CMOS 소자가 일렬로 배열되어 있다. 도 11에 도시된 바와 같이, 심도 센서 모듈(130)의 심도 측정 영역(1120)과, 라인 스캔 카메라의 스캔 영역(1130), 즉 라인 스캔 이미지 센서(410)의 스캔 영역(1130)은 인접하게 배치되거나 서로 중첩될 수 있다. 심도 센서 모듈(130)은 카메라 렌즈(420)의 표면에 최대한 가깝게 설치됨으로써, 라인 스캔 카메라의 최단 촬영거리 내에 위치하고, 따라서 심도 센서 모듈(130)의 심도 측정 영역(1120)과 라인 스캔 이미지 센서(410)의 스캔 영역(1130)이 중첩되더라도 라인 스캔 이미지 센서(410)에서 심도 센서 모듈(130)을 감지하기는 어렵다. 라인 스캔 카메라(1110)가 고정된 위치에서 회전하기 때문에 별도로 심도 센서 모듈(130)을 움직일 필요 없이 촬영 대상체의 심도를 측정할 수 있다. 라인 스캔 카메라(1110)는 도 11에 도시된 바와 같이 고정된 위치에서 회전하는 형태로 설계될 수 있으나, 회전하지 않고 이동하는 구조로 설계될 수도 있다. 예를 들어 제품을 검사하기 위해 컨베이어 위에 설치하는 경우와 반대로 이동이 쉽지 않은 구조물의 표면을 측정하기 위해 심도 센서 모듈(130)을 직선 이동하여야 하는 경우를 들 수 있다.11 is a diagram showing an example in which the 3D camera system of the present invention is applied to a line scan camera. Referring to FIG. 11, the
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다. 이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.While this specification includes many features, such features should not be construed as limiting the scope or claims of the invention. In addition, features described in separate embodiments herein may be combined and implemented in a single embodiment. Conversely, various features described in a single embodiment herein may be individually implemented in various embodiments, or may be properly combined and implemented. The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those of ordinary skill in the technical field to which the present invention belongs. It is not limited by the drawings.
130 : 심도 센서 모듈
140 : 제어부
150 : 저장부
410 : 이미지 센서
420 : 카메라 렌즈
610 : 이동 궤도
910 : 회전체
1110 : 라인 스캔 카메라130: depth sensor module
140: control unit
150: storage unit
410: image sensor
420: camera lens
610: moving orbit
910: rotating body
1110: line scan camera
Claims (15)
소정의 곡률을 갖는 구(sphere)의 일부 형상으로 이루어지며, 빔을 방출하는 발광부와 상기 촬영 대상체에 의해 반사되는 상기 빔을 수신하는 수광부를 포함하는 복수의 단위 셀들을 포함하고, 각 단위 셀들의 곡률 중심이 상기 구의 중심이며 구면 좌표계의 원점인 심도 센서 모듈; 및
상기 심도 센서 모듈에서 측정된 정보를 이용하여 상기 곡률 중심을 원점으로 하는 상기 구면 좌표계 상에서의 상기 촬영 대상체를 구성하는 점들의 3차원 좌표를 산출하고 그 산출된 3차원 좌표를 이용하여 상기 촬영 대상체를 3차원으로 구성하는 제어부를 포함하는 3차원 카메라 시스템. In a three-dimensional camera system constituting a photographed object in three dimensions,
A plurality of unit cells including a light-emitting unit that emits a beam and a light-receiving unit that receives the beam reflected by the object, each unit cell having a shape of a sphere having a predetermined curvature A depth sensor module in which the center of curvature of the spheres is the center of the sphere and the origin of the spherical coordinate system; And
Using the information measured by the depth sensor module, three-dimensional coordinates of points constituting the object to be photographed on the spherical coordinate system having the center of curvature as an origin are calculated, and the object is determined using the calculated three-dimensional coordinates. A 3D camera system including a control unit configured in 3D.
상기 심도 센서 모듈의 각 단위 셀들의 상기 곡률 중심을 원점으로 한 구면 좌표계 상에서의 좌표 값과, 상기 구의 반지름을 저장하는 저장부를 더 포함하고,
상기 제어부는,
상기 곡률 중심으로부터 상기 촬영 대상체를 구성하는 각 점까지의 직선 거리를 산출하고, 상기 저장부에서 상기 각 단위 셀의 상기 구면 좌표계 상에서의 (φ, θ) 값을 확인하며, 상기 산출된 직선 거리 및 상기 (φ, θ) 값을 이용하여 상기 각 점의 상기 구면 좌표계 상에서의 좌표 값을 산출하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 1,
Further comprising a storage unit for storing a coordinate value on a spherical coordinate system having the center of curvature of each unit cell of the depth sensor module as an origin, and a radius of the sphere,
The control unit,
Calculate a linear distance from the center of curvature to each point constituting the object to be photographed, check values of (φ, θ) in the spherical coordinate system of each unit cell in the storage unit, and the calculated linear distance and 3D camera system, characterized in that calculating a coordinate value of each point on the spherical coordinate system by using the (φ, θ) value.
상기 촬영 대상체의 이미지를 생성하는 이미지 센서;
상기 이미지 센서의 전방에 배치되는 카메라 렌즈를 더 포함하고,
상기 심도 센서 모듈은, 상기 카메라 렌즈의 전방에 배치되며, 상기 카메라 렌즈의 제2주점과 상기 곡률 중심이 일치하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 2,
An image sensor generating an image of the object to be photographed;
Further comprising a camera lens disposed in front of the image sensor,
The depth sensor module is disposed in front of the camera lens, and the second main point of the camera lens and the center of curvature coincide with each other.
상기 제2주점을 중심으로 상기 이미지 센서의 각 픽셀의 방향과 180도 반대 방향의 지점이면서 상기 제2주점으로부터 상기 구의 반지름만큼 떨어진 위치에 상기 심도 센서 모듈의 각 단위 셀이 위치하는 것을 특징으로 하는 3차원 카메라 시스템. The method of claim 3,
Each unit cell of the depth sensor module is located at a position 180 degrees opposite to the direction of each pixel of the image sensor centering on the second main point and at a position distant by the radius of the sphere from the second main point. 3D camera system.
상기 제어부는,
상기 심도 센서 모듈의 각 단위 셀에서 측정되는 상기 촬영 대상체의 각 점의 심도 정보와, 상기 제2주점을 중심으로 상기 각 단위 셀에 대응하는 상기 이미지 센서의 각 픽셀의 색 정보를 이용하여, 상기 3차원을 구성하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 4,
The control unit,
Using depth information of each point of the object to be photographed, measured in each unit cell of the depth sensor module, and color information of each pixel of the image sensor corresponding to each unit cell centering on the second main point, the A three-dimensional camera system, characterized in that the three-dimensional configuration.
상기 카메라 렌즈의 표면을 따라 평행하게 배치되는 이동 궤도를 더 포함하고,
상기 심도 센서 모듈의 폭은, 상기 카메라 렌즈의 폭보다 작으며,
상기 제어부는,
상기 이동 궤도를 따라 상기 심도 센서 모듈을 이동시키며 상기 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3,
Further comprising a moving trajectory disposed in parallel along the surface of the camera lens,
The width of the depth sensor module is smaller than the width of the camera lens,
The control unit,
3D camera system, characterized in that the depth sensor module is moved along the movement trajectory to calculate 3D coordinates of each point constituting the object to be photographed.
상기 심도 센서 모듈은, 분리된 두 개로 구성되고,
각 심도 센서 모듈은, 상기 이동 궤도의 좌측 및 우측에 각각 배치되며,
상기 제어부는, 상기 각 심도 센서 모듈을 상기 이동 궤도를 따라 중심으로 이동시키는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 6,
The depth sensor module is composed of two separate,
Each depth sensor module is disposed on the left and right sides of the moving trajectory, respectively,
The control unit, 3D camera system, characterized in that for moving the depth sensor module to the center along the movement trajectory.
상기 제어부는,
상기 각 심도 센서 모듈이 상기 중심을 경계로 서로 떨어져 열린 상태인 경우 상기 이미지 센서를 활성화하고 상기 각 심도 센서 모듈이 상기 중심에서 서로 맞닿아 닫힌 상태인 경우 상기 이미지 센서를 비활성화하는 것을 특징으로 하는 3차원 카메라 시스템. The method of claim 7,
The control unit,
3 characterized in that the image sensor is activated when the depth sensor modules are opened apart from each other around the center, and the image sensor is deactivated when the depth sensor modules are closed by contacting each other at the center. Dimensional camera system.
상기 제어부는,
상기 심도 센서 모듈의 이동 시간 또는 이동 거리와, 상기 심도 센서 모듈의 측정 정보와, 상기 심도 센서 모듈의 전체 이동 시간 또는 전체 이동 거리를 상기 이미지 센서의 가로 픽셀의 개수로 나누어 산출된 픽셀당 시간 또는 거리를, 매칭하여 저장부에 저장하는 것을 특징으로 하는 3차원 카메라 시스템.The method according to any one of claims 6 to 8,
The control unit,
Time per pixel calculated by dividing the moving time or moving distance of the depth sensor module, measurement information of the depth sensor module, and the total moving time or total moving distance of the depth sensor module by the number of horizontal pixels of the image sensor, or A 3D camera system, characterized in that the distance is matched and stored in a storage unit.
상기 심도 센서 모듈을 상기 카메라 렌즈의 표면을 따라 이동시키는 회전체를 더 포함하고,
상기 심도 센서 모듈의 폭은, 상기 카메라 렌즈의 폭보다 작으며,
상기 제어부는,
상기 회전체를 제어하여 상기 심도 센서 모듈을 이동시키며 상기 촬영 대상체를 구성하는 각 점의 3차원 좌표를 산출하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3,
Further comprising a rotating body for moving the depth sensor module along the surface of the camera lens,
The width of the depth sensor module is smaller than the width of the camera lens,
The control unit,
3D camera system, characterized in that by controlling the rotating body to move the depth sensor module, and calculating 3D coordinates of each point constituting the object to be photographed.
상기 제어부는,
상기 심도 센서 모듈의 이동 회전 각도와, 상기 심도 센서 모듈의 측정 정보와, 상기 심도 센서 모듈의 전체 이동 회전 각도를 상기 이미지 센서의 가로 픽셀의 개수로 나누어 산출된 픽셀당 회전 각도를 매칭하여 저장부에 저장하는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 10,
The control unit,
A storage unit by matching the rotation angle of the depth sensor module, measurement information of the depth sensor module, and the rotation angle per pixel calculated by dividing the total rotation angle of the depth sensor module by the number of horizontal pixels of the image sensor. 3D camera system, characterized in that to store in.
상기 심도 센서 모듈은, 상기 이미지 센서의 가로 및 세로의 화각에 중첩되는 면적을 갖고,
상기 제어부는,
디폴트 모드에서 상기 심도 센서 모듈을 비활성의 투명 상태로 제어하고, 트리거 발생시 상기 심도 센서 모듈을 활성화시키는 것을 특징으로 하는 3차원 카메라 시스템. The method of claim 3,
The depth sensor module has an area overlapping the horizontal and vertical angles of view of the image sensor,
The control unit,
In a default mode, the depth sensor module is controlled in an inactive transparent state, and when a trigger occurs, the depth sensor module is activated.
상기 제어부는,
상기 카메라 렌즈의 초점거리 변화에 따라 상기 제2주점의 위치가 변경되는 경우 상기 심도 센서 모듈의 곡률 중심이 상기 제2주점의 변경된 위치와 일치하도록 상기 심도 센서 모듈을 이동시키는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3,
The control unit,
When the position of the second main point is changed according to the change of the focal length of the camera lens, the depth sensor module is moved so that the center of curvature of the depth sensor module coincides with the changed position of the second main point. Camera system.
상기 이미지 센서는, 라인 스캔 이미지 센서이고,
상기 라인 스캔 이미지 센서의 스캔 영역과 상기 심도 센서 모듈의 심도 측정 영역이 중첩되거나 인접한 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3,
The image sensor is a line scan image sensor,
3D camera system, characterized in that the scan area of the line scan image sensor and the depth measurement area of the depth sensor module overlap or are adjacent.
상기 심도 센서 모듈은, 상기 카메라 렌즈에 필터 방식으로 고정되는 것을 특징으로 하는 3차원 카메라 시스템.The method of claim 3,
The depth sensor module, 3D camera system, characterized in that fixed to the camera lens in a filter method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190175434A KR20200135131A (en) | 2019-12-26 | 2019-12-26 | 3d camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190175434A KR20200135131A (en) | 2019-12-26 | 2019-12-26 | 3d camera system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190060667A Division KR102068929B1 (en) | 2019-05-23 | 2019-05-23 | 3d camera system |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200135131A true KR20200135131A (en) | 2020-12-02 |
Family
ID=73791482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190175434A KR20200135131A (en) | 2019-12-26 | 2019-12-26 | 3d camera system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200135131A (en) |
-
2019
- 2019-12-26 KR KR1020190175434A patent/KR20200135131A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10088296B2 (en) | Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device | |
KR102543275B1 (en) | Distance sensor projecting parallel patterns | |
US9602811B2 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
US9967545B2 (en) | System and method of acquiring three-dimensional coordinates using multiple coordinate measurment devices | |
US10488192B2 (en) | Distance sensor projecting parallel patterns | |
JP5016245B2 (en) | Measurement system for determining the six degrees of freedom of an object | |
EP1277026B1 (en) | Combined stereovision, color 3d digitizing and motion capture system | |
US8593647B2 (en) | Wide field of view optical tracking system | |
CN105190235A (en) | Compensation of a structured light scanner that is tracked in six degrees-of-freedom | |
EP3371779B1 (en) | Systems and methods for forming models of three dimensional objects | |
US10321037B2 (en) | Active pushbroom scanning system and method | |
TW201621349A (en) | Distance sensor | |
CN102253392A (en) | Time of flight camera unit and optical surveillance system | |
US10697754B2 (en) | Three-dimensional coordinates of two-dimensional edge lines obtained with a tracker camera | |
WO2016040229A1 (en) | Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device | |
Zhang et al. | Development of an omni-directional 3D camera for robot navigation | |
WO2016040271A1 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
US11350077B2 (en) | Handheld three dimensional scanner with an autoaperture | |
KR102068929B1 (en) | 3d camera system | |
CN111510700A (en) | Image acquisition device | |
KR20200135131A (en) | 3d camera system | |
KR102184210B1 (en) | 3d camera system | |
CN209978890U (en) | Multi-laser-line rapid detection system | |
CN101930071A (en) | Device and method for detecting movement of object | |
Findeisen et al. | Trinocular spherical stereo vision for indoor surveillance |