KR20150101088A - 3D image acquisition and providing method - Google Patents
3D image acquisition and providing method Download PDFInfo
- Publication number
- KR20150101088A KR20150101088A KR1020140022315A KR20140022315A KR20150101088A KR 20150101088 A KR20150101088 A KR 20150101088A KR 1020140022315 A KR1020140022315 A KR 1020140022315A KR 20140022315 A KR20140022315 A KR 20140022315A KR 20150101088 A KR20150101088 A KR 20150101088A
- Authority
- KR
- South Korea
- Prior art keywords
- acquiring
- face
- dimensional image
- present
- user
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Abstract
Description
본발명은 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득하여 제공하는 3차원 영상 획득 및 제공방법에 관한 것이다.The present invention relates to a three-dimensional image acquiring and providing method for acquiring three-dimensional image information and acquiring and providing a stereoscopic camera in the same manner as when a user views the image.
일반적으로 3차원 영상 획득 및 제공방법 관련기술에 대하여, 등록특허공보 등록번호 10-0897542호에는 서로 다른 카메라로부터 획득한 적어도 두 개의 영상에 대한 기본 행렬을 연산하는 단계(a); 상기 서로 다른 카메라로부터 획득한 적어도 두개의 영상에 대한 에피폴을 연산하는 단계(b); 적어도 두 개의 영상 중 하나를 기준 영상으로 설정하고, 상기 연산된 에피폴 및 기본 행렬 정보에 기초하여 다른 영상과 상기 기준 영상의 에피폴라 선을 평행하게 변환하는 다수의 투영 변환 호모그래피를 산출하는 단계(c); 상기 다수의 투영 변환 호모그래피 중 영상의 왜곡을 최소화하기 위한 투영 변환 호모그래피를 선택하는 단계(d); 및 상기 선택된 투영 변환 호모그래피에 기초하여 기준 영상 이외의 영상을 보정하는 단계(e)를 포함하되, 상기 단계(a)에서 카메라로부터 서로 다른 시점에서의 두 개의 영상이 획득될 경우, 제1 영상에 대한 에피폴(e) 및 제2 영상에 대한 에피폴(e')은 다음의 수학식에 연산되는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법이 공개되어 있다.Generally, regarding a technique relating to a method of acquiring and providing three-dimensional images, the registered patent publication No. 10-0897542 includes (a) calculating a basic matrix for at least two images acquired from different cameras; (B) calculating an epipole for at least two images obtained from the different cameras; Calculating one of at least two images as a reference image and calculating a plurality of projection transformation homography for transforming the epipolar line of the reference image and the other image in parallel based on the calculated epipole and basic matrix information (c); (D) selecting a projection transformation homography to minimize distortion of the image among the plurality of projection transformation homography; And (e) correcting an image other than the reference image based on the selected projection transformation homography. When two images at different points in time are acquired from the camera in the step (a), the first image The epipole e for the first image and the epipole e 'for the second image are calculated according to the following equation.
또한, 등록특허공보 등록번호 10-0677219호에는 입력되는 영상들을 이용하여 변위지도, 에지 결과값 및 피부색을 추출하는 제1검출부와, 상기 제1검출부에서 추출된 피부색의 픽셀들에서 중심후보 좌표(Xi, Yi) 및 얼굴크기 값을 추출하는 제2검출부와, 상기 제1검출부에서 추출된 에지 결과값에 상기 제2검출부에서 추출된 중심후보 좌표(Xi, Yi) 및 얼굴크기 값을 적용하여 얼굴모양 정도값을 추출하는 제3검출부와, 상기 제3검출부에서 추출된 얼굴모양 및 그 중심 좌표값을 저장하여 얼굴을 추출하는 얼굴영역 추출부로 구성된 것을 특징으로 하는 얼굴영상 추출장치가 공개되어 있다.In addition, the registered patent publication No. 10-0677219 discloses an image processing apparatus including a first detection unit for extracting a displacement map, an edge result value and a skin color using input images, (Xi, Yi) and face size values extracted from the second detection unit are applied to the edge result values extracted from the first detection unit, And a face area extracting unit for extracting a face by storing the face shape extracted from the third detecting unit and the center coordinate value of the extracted face shape extracting unit.
그러나 상기 종래기술들은 3차원 영상 정보 획득 시, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득하지 않음으로써 정확한 3차원 영상 획득이 곤란하다는 단점이 있었다.However, the conventional techniques have a disadvantage in that accurate three-dimensional image acquisition is difficult because three-dimensional image information is not acquired using a stereo camera at the time of acquiring three-dimensional image information.
따라서 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로서, 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상 획득 및 제공하는 3차원 영상 획득 및 제공방법을 제공하고자 하는 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above problems, and it is an object of the present invention to provide a three-dimensional image acquiring apparatus and a three- And a method for acquiring and providing a three-dimensional image.
본발명은 3차원 영상 획득 및 제공방법에 관한 것으로, 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상을 획득 및 제공하는 것을 특징으로 한다.The present invention relates to a method and apparatus for acquiring and displaying three-dimensional images, and more particularly, to a method and apparatus for acquiring and acquiring accurate three-dimensional images by sensing a user's viewpoint and acquiring the same using a stereo camera, .
따라서 본발명은 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상 획득 및 제공하는 현저한 효과가 있다.Accordingly, the present invention has a remarkable effect of acquiring and providing a precise three-dimensional image by sensing the user's viewpoint and acquiring the same using a stereo camera at the time of acquiring the three-dimensional image information.
도 1은 본발명의 개념도
도 2는 본발명의 시스템 구성도
도 3은 본발명의 시스템 동작도
도 4는 본발명의 페이스 모델링 사진
도 5는 본발명의 페이스 모델링 정합확인 사진
도 6은 본발명의 2차원 상 P1, P2 표현 사진
도 7은 본발명의 페이스 트랙킹(face tracking) 사진
도 8은 본발명의 페이스 로테이팅(face rotating) 사진
도 9는 본발명의 리니어 스테이지(Linear Stage) 사진
도 10은 본발명의 리니어 쉬프팅(Linear shifting)사진
도 11은 본발명의 틸트 로테이팅(Tilt Rotating)사진1 is a conceptual diagram of the present invention
2 is a system configuration diagram of the present invention
Figure 3 is a system operation diagram of the present invention.
Figure 4 is a cross-
5 is a view showing the face modeling registration confirmation photograph
6 is a graph showing the two-dimensional images P 1 and P 2 of the present invention
FIG. 7 illustrates a face tracking photograph of the present invention
8 is a side view of a face rotating photograph of the present invention
FIG. 9 is a view showing a linear stage image of the present invention
FIG. 10 is a view showing a linear shifting photograph of the present invention
FIG. 11 is a photograph showing a tilt rotating photograph of the present invention
본발명은 3차원 영상 획득 및 제공방법에 관한 것으로, 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상을 획득 및 제공하는 것을 특징으로 한다.The present invention relates to a method and apparatus for acquiring and displaying three-dimensional images, and more particularly, to a method and apparatus for acquiring and acquiring accurate three-dimensional images by sensing a user's viewpoint and acquiring the same using a stereo camera, .
또한, 상기 3차원 영상 획득 및 제공방법은 키넥트를 이용하여 사용자의 얼굴을 인식하는 단계; 전송받은 좌표로 스테레오 카메라의 이동 및 회전하는 단계; 스테레오 카메라를 이용하여 3차원 영상을 획득하는 단계; 통신을 이용하여 획득된 3차원 영상데이터를 전송하는 단계; 전송받은 3차원 영상데이터를 이용하여 3D 모니터에 재현하는 단계; 재현된 3차원 영상을 사용자가 확인하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for acquiring and providing a three-dimensional image comprising: recognizing a face of a user using a key knot; Moving and rotating the stereo camera with the transmitted coordinates; Acquiring a three-dimensional image using a stereo camera; Transmitting three-dimensional image data obtained using communication; Reproducing the received 3D image data on a 3D monitor using the received 3D image data; And a step of the user confirming the reproduced three-dimensional image.
또한, 상기 사용자의 얼굴을 인식하는 단계는 얼굴 인식 시, 얼굴의 이동 및 좌우 회전 정보를 분석하는 것을 특징으로 한다.
In addition, the step of recognizing the user's face may include analyzing the movement of the face and the rotation information of the left and right during the face recognition.
본발명을 첨부도면에 의해 상세히 설명하면 다음과 같다. 도 1은 본발명의 개념도, 도 2는 본발명의 시스템 구성도, 도 3은 본발명의 시스템 동작도, 도 4는 본발명의 페이스 모델링 사진, 도 5는 본발명의 페이스 모델링 정합확인 사진, 도 6은 본발명의 2차원 상 P1, P2 표현 사진, 도 7은 본발명의 페이스 트랙킹(face tracking) 사진, 도 8은 본발명의 페이스 로테이팅(face rotating) 사진, 도 9는 본발명의 리니어 스테이지(Linear Stage) 사진, 도 10은 본발명의 리니어 쉬프팅(Linear shifting)사진, 도 11은 본발명의 틸트 로테이팅(Tilt Rotating)사진이다.
The present invention will be described in detail with reference to the accompanying drawings. 3 is a system operation diagram of the present invention; Fig. 4 is a face modeling photograph of the present invention; Fig. 5 is a face modeling registration confirmation photograph of the present invention; Fig. Fig. 6 is a photograph of the two-dimensional images P 1 and P 2 of the present invention, Fig. 7 is a face tracking photograph of the present invention, Fig. 8 is a face rotating photograph of the present invention, FIG. 10 is a linear shifting photograph of the present invention, and FIG. 11 is a tilt rotating photograph of the present invention.
본발명은 먼저 키넥트를 이용하여 사용자의 얼굴인식을 한다. 이때 얼굴 인식 시, 얼굴의 이동 및 좌우 회전 정보를 분석한다. 이후 얼굴의 중심좌표 값을 통신을 이용하여 리니어 시스템으로 전송한다.In the present invention, a user's face is first recognized using a key knot. At this time, when the face is recognized, the face movement and the left and right rotation information are analyzed. Then, the center coordinate value of the face is transmitted to the linear system using communication.
이후 전송받은 좌표로 스테레오 카메라를 이동 및 회전한다. 이후 스테레오 카메라를 이용하여 3차원 영상을 획득한다. 이후 통신을 이용하여 획득된 3차원 영상데이터를 전송한다.Then, the stereo camera is moved and rotated by the transmitted coordinates. Then, a three-dimensional image is acquired using a stereo camera. Then, the 3D image data obtained using the communication is transmitted.
이후 전송받은 3차원 영상데이터를 이용하여 3D 모니터에 재현한다. 이후 재현된 3차원 영상을 사용자가 확인한다.
And then reproduced on the 3D monitor using the received 3D image data. The user then confirms the reproduced three-dimensional image.
본발명에서 사용되는 키넥트는 공간 상의 얼굴 위치를 확인하는 것으로, 이동 및 회전 정보를 가진다. 스테레오 카메라는 입체 영상을 획득하는 기능을 가진다. 틸트 모터는 서어보모터로서 정역회전이 가능한 스텝모터를 사용한다. 상기 틸트 모터는 스테레오 카메라를 좌우 회전시킨다. The keypad used in the present invention identifies the face position in space and has movement and rotation information. The stereo camera has a function of acquiring a stereoscopic image. The tilt motor is a servo motor that uses a stepper motor that can rotate in both directions. The tilt motor rotates the stereo camera left and right.
그리고 다른 하나의 모터는 리니어 스테이지를 좌우로 움직여서 상기 리니어 스테이지 상면에 부착된 스테레오 카메라를 좌우 이동시키는 것으로, 상기 모터도 서어보모터로서 정역회전이 가능한 스텝모터를 사용한다. The other motor moves the linear stage to the left and right to move the stereo camera attached to the upper surface of the linear stage to the left and right. The motor also uses a step motor capable of rotating forward and backward as a servo motor.
그리고 상기 스테레오 카메라 및, 스테레오 카메라를 좌우회전시키는 틸트 모터는 모두 상기 리니어 스테이지 상면에 부착된다.
The stereo camera and the tilt motor which rotates the stereo camera horizontally are all attached to the upper surface of the linear stage.
상기 스테레오 카메라는 얼굴과 동일하게 이동 및 좌우 회전 기능을 가진다.The stereoscopic camera has a function of moving and horizontally rotating the same as a face.
그리고 각각의 모터는 시리얼 통신을 이용하여 컴퓨터로 제어한다. 한편, 시스템을 구동하기 전, 사전에 미리 페이스 모델링을 다음과 같이 구성한다.
Each motor is controlled by a computer using serial communication. On the other hand, before driving the system, the face modeling is configured in advance as follows.
컴퓨터와 연결된 카메라를 이용하여 영상을 획득하고 획득된 영상으로부터 페이스 트래킹 알고리즘을 적용함으로써 페이스 영역을 추출하게 되고, 추출된 페이스 영역에 사전에 구성된 모델링 데이터를 표시함으로써 페이스와의 정합을 확인할 수 있다.A face area is extracted by acquiring an image using a camera connected to a computer and applying a face tracking algorithm from the acquired image, and matching with a face can be confirmed by displaying modeling data constructed in advance in the extracted face area.
실제 구성은 키넥트를 이용하나, 한편 실험에서는 3차원 공간좌표가 필요하지 않으므로, 키넥트에 장착된 카메라만을 이용할 수 있다. 따라서, 일반적인 PC카메라 1대 만으로도 구성이 가능하다.
The actual configuration uses Kinect, but the experiment does not require 3D spatial coordinates, so only the Kinect-mounted camera can be used. Therefore, only one general PC camera can be configured.
페이스 트래킹 알고리즘에 의해 추출된 페이스의 중심좌표를 이용하여 스테이지의 x축 좌표 이동 값을 확인하여 동작하고, 또한 페이스의 기울어진 각도를 연산함으로써 Tilt의 로테이션 값을 적용하여 동작시킬 수 있다.
Axis coordinate movement of the stage using the center coordinates of the face extracted by the face tracking algorithm, and by operating the tilt angle of the face, it is possible to operate by applying the rotation value of Tilt.
이동 값에 대한 수식은The formula for the shift value is
이때, 
로 정의될 수 있다.
. ≪ / RTI >
회전 값에 대한 수식은 The formula for the rotation value is
2차원 상의 점 
두 점 사이의 기울어진 각도는 삼각함수 
따라서, 
위와 같이 확인된 이동 및 회전 정보를 이용하여, 리니어 스테이지의 모터 및 틸트 모터에 시리얼 통신 값으로 전원을 인가함으로서 정확한 위치 및 각도 제어가 가능하다.Accurate position and angle control is possible by applying power to the motor and tilt motor of the linear stage using serial communication values using the movement and rotation information identified above.
따라서 본발명은 3차원 영상 정보 획득 시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득함으로써 정확한 3차원 영상 획득 및 제공하는 현저한 효과가 있다.Accordingly, the present invention has a remarkable effect of acquiring and providing a precise three-dimensional image by sensing the user's viewpoint and acquiring the same using a stereo camera at the time of acquiring the three-dimensional image information.
Claims (3)
전송받은 좌표로 스테레오 카메라의 이동 및 회전하는 단계;
스테레오 카메라를 이용하여 3차원 영상을 획득하는 단계;
통신을 이용하여 획득된 3차원 영상데이터를 전송하는 단계;
전송받은 3차원 영상데이터를 이용하여 3D 모니터에 재현하는 단계;
재현된 3차원 영상을 사용자가 확인하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 획득 및 제공방법The method of claim 1, wherein the 3D image acquiring and providing method comprises: recognizing a face of a user using a Kinect;
Moving and rotating the stereo camera with the transmitted coordinates;
Acquiring a three-dimensional image using a stereo camera;
Transmitting three-dimensional image data obtained using communication;
Reproducing the received 3D image data on a 3D monitor using the received 3D image data;
And a step of confirming the reproduced three-dimensional image by the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140022315A KR20150101088A (en) | 2014-02-26 | 2014-02-26 | 3D image acquisition and providing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140022315A KR20150101088A (en) | 2014-02-26 | 2014-02-26 | 3D image acquisition and providing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150101088A true KR20150101088A (en) | 2015-09-03 |
Family
ID=54242322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140022315A KR20150101088A (en) | 2014-02-26 | 2014-02-26 | 3D image acquisition and providing method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20150101088A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110300946A (en) * | 2017-02-14 | 2019-10-01 | 微软技术许可有限责任公司 | Intelligent assistant |
-
2014
- 2014-02-26 KR KR1020140022315A patent/KR20150101088A/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110300946A (en) * | 2017-02-14 | 2019-10-01 | 微软技术许可有限责任公司 | Intelligent assistant |
| CN110300946B (en) * | 2017-02-14 | 2021-11-23 | 微软技术许可有限责任公司 | Intelligent assistant |
| US11194998B2 (en) | 2017-02-14 | 2021-12-07 | Microsoft Technology Licensing, Llc | Multi-user intelligent assistance |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11677920B2 (en) | Capturing and aligning panoramic image and depth data | |
| US11308347B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
| US9886774B2 (en) | Photogrammetric methods and devices related thereto | |
| KR101761751B1 (en) | Hmd calibration with direct geometric modeling | |
| EP3251090B1 (en) | Occlusion handling for computer vision | |
| US7336814B2 (en) | Method and apparatus for machine-vision | |
| KR102105189B1 (en) | Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object | |
| KR101633620B1 (en) | Feature registration apparatus for image based localization and method the same | |
| EP3182371B1 (en) | Threshold determination in for example a type ransac algorithm | |
| EP3640889A1 (en) | In situ creation of planar natural feature targets | |
| WO2014178966A1 (en) | Diminished and mediated reality effects from reconstruction | |
| CN112652016A (en) | Point cloud prediction model generation method, pose estimation method and device | |
| WO2018140656A1 (en) | Capturing and aligning panoramic image and depth data | |
| TWI526879B (en) | Interactive system, remote controller and operating method thereof | |
| WO2019164502A1 (en) | Methods, devices and computer program products for generating 3d models | |
| JP2021060868A (en) | Information processing apparatus, information processing method, and program | |
| JP5299101B2 (en) | Peripheral display device | |
| US20220321851A1 (en) | Portable projection mapping device and projection mapping system | |
| KR101611427B1 (en) | Image processing method and apparatus performing the same | |
| KR101945097B1 (en) | 3D image acquisition and delivery method of user viewpoint correspondence remote point | |
| KR20150101088A (en) | 3D image acquisition and providing method | |
| KR20170001448A (en) | Apparatus for measuring position of camera using stereo camera and method using the same | |
| JP2022011821A (en) | Information processing device, information processing method and mobile robot | |
| KR20160072477A (en) | Surrounding environment modeling method and apparatus performing the same | |
| EP3648060A1 (en) | 3d rapid prototyping on mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right |