KR100926281B1 - Method for generating and rendering 3 dimensional image and apparatus thereof - Google Patents

Method for generating and rendering 3 dimensional image and apparatus thereof Download PDF

Info

Publication number
KR100926281B1
KR100926281B1 KR1020080036943A KR20080036943A KR100926281B1 KR 100926281 B1 KR100926281 B1 KR 100926281B1 KR 1020080036943 A KR1020080036943 A KR 1020080036943A KR 20080036943 A KR20080036943 A KR 20080036943A KR 100926281 B1 KR100926281 B1 KR 100926281B1
Authority
KR
South Korea
Prior art keywords
dimensional
shape information
image data
dimensional image
image
Prior art date
Application number
KR1020080036943A
Other languages
Korean (ko)
Other versions
KR20090111373A (en
Inventor
배종우
Original Assignee
배종우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배종우 filed Critical 배종우
Priority to KR1020080036943A priority Critical patent/KR100926281B1/en
Publication of KR20090111373A publication Critical patent/KR20090111373A/en
Application granted granted Critical
Publication of KR100926281B1 publication Critical patent/KR100926281B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

본 발명은 3차원 이미지 생성 및 디스플레이 방법과 그 장치에 관한 것으로서, 본 발명은 3차원 객체에 대하여 각기 다른 다양한 방향에서 촬영된 다수개의 2차원 이미지로부터 다수개의 2차원 이미지데이터를 획득하고, 상기 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상정보를 추정하며, 상기 추정된 각 2차원 이미지데이터의 3차원 형상정보를 보정하고, 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하며, 상기 생성된 3차원 객체 형상정보를 3차원 그래픽 라이브러리 또는 인터넷 가상현실이 지원되는 포맷의 3차원 메시 파일로 매핑하여 3차원 이미지를 생성한다. 또한, 본 발명은 접속된 웹서버로부터 전송된 웹 페이지에 상기 3차원 메시 파일 형태의 3차원 이미지가 포함되어 있는 경우에, 웹브라우저가 웹브라우저 연동 응용프로그램과 연동하여 3차원 그래픽 라이브러리를 이용하여 사용자의 조작 신호에 따라 상기 3차원 메시 파일 형태의 3차원 이미지를 회전시키면서 디스플레이한다. 따라서, 본 발명은 각기 다른 다양한 방향에서 촬영된 다수개의 2차원 이미지로부터 3차원 메시 파일 형태의 3차원 이미지를 용이하게 생성할 수 있고, 3차원 메시 파일 형태의 3차원 이미지의 객체를 사용자의 조작 신호에 따른 다양한 각도로 자유롭게 회전하여 디스플레이 할 수 있다.The present invention relates to a three-dimensional image generation and display method and apparatus therefor, the present invention obtains a plurality of two-dimensional image data from a plurality of two-dimensional images taken in different directions with respect to the three-dimensional object, Estimating three-dimensional shape information for each of the two two-dimensional image data, correcting the three-dimensional shape information of each of the estimated two-dimensional image data, synthesizing the three-dimensional shape information of each of the corrected two-dimensional image data, and The 3D object shape information is generated, and the 3D object shape information is mapped to a 3D mesh file of a format supported by a 3D graphic library or Internet virtual reality to generate a 3D image. In addition, when the web page transmitted from the connected web server includes a three-dimensional image in the form of the three-dimensional mesh file, the web browser using a three-dimensional graphics library in conjunction with the web browser linked application According to a user's manipulation signal, the three-dimensional image in the form of the three-dimensional mesh file is rotated and displayed. Accordingly, the present invention can easily generate a three-dimensional image in the form of a three-dimensional mesh file from a plurality of two-dimensional images taken from different directions, and manipulates objects of the three-dimensional image in the form of a three-dimensional mesh file. It can be rotated and displayed at various angles according to the signal.

2차원이미지, 3차원 형상정보, 어핀변환, 병진변환, 회전변환, 스케일링 변환, 3차원 그래픽라이브러리, 인터넷 가상현실, 플러그인, 3차원 메시 파일, 3차원이미지 2D image, 3D shape information, affine transformation, translation, rotation transformation, scaling transformation, 3D graphic library, internet virtual reality, plug-in, 3D mesh file, 3D image

Description

3차원 이미지 생성 및 디스플레이 방법과 그 장치{METHOD FOR GENERATING AND RENDERING 3 DIMENSIONAL IMAGE AND APPARATUS THEREOF}3D image generation and display method and apparatus therefor {METHOD FOR GENERATING AND RENDERING 3 DIMENSIONAL IMAGE AND APPARATUS THEREOF}

본 발명은 3차원 이미지 생성 및 디스플레이 방법과 그 장치에 관한 것으로서, 특히 객체에 대하여 각기 다른 다양한 방향에서 촬영되어 획득된 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상 정보를 추정하고 추정된 각 2차원 이미지데이터의 3차원 형상정보를 보정 및 합성하여 3차원 객체 형상정보를 생성하며 3차원 객체 형상정보를 3차원 그래픽라이브러리 또는 인터넷 가상현실이 지원되는 3차원 메시 파일 형태로 매핑하여 3차원 이미지를 생성하고 3차원 가상 전시 공간에서 사용자의 조작 신호에 따라 원하는 방향으로 상기 3차원 이미지를 자유롭게 회전시켜서 디스플레이할 수 있는 3차원 이미지 생성 및 디스플레이 방법과 그 장치에 관한 것이다.The present invention relates to a three-dimensional image generation and display method and apparatus therefor, in particular, to estimate the three-dimensional shape information for each of a plurality of two-dimensional image data obtained by photographing from a variety of different directions with respect to the object Three-dimensional object shape information is generated by correcting and synthesizing the three-dimensional shape information of the three-dimensional image data, and the three-dimensional image is mapped by mapping the three-dimensional object shape information into a three-dimensional mesh file supported by the three-dimensional graphics library or Internet virtual reality. The present invention relates to a three-dimensional image generation and display method and apparatus for generating and displaying the three-dimensional image freely rotated in a desired direction according to a user's manipulation signal in a three-dimensional virtual exhibition space.

인터넷을 이용한 전자 상거래, 가상 박물관, 디지털 백과 사전, 전자 카타로그 등 가상 현실을 통한 물체에의 시각적 접근이 더욱 요구되고 있는 추세이다. 이와 같은 경우에 마치 눈앞에 실제 대상물이 있는 것과 같은 양안 입체시에 의한 충분한 입체감과 사용자가 대상물을 보는 방향이나 자세 등을 자유롭게 선택 가능하 게 하기 위하여 3차원 이미지를 제공할 필요가 있다.Visual access to objects through virtual reality, such as electronic commerce, virtual museums, digital encyclopedias, and electronic catalogs, is increasingly required. In such a case, it is necessary to provide a three-dimensional image in order to allow a user to freely select a three-dimensional effect by binocular stereoscopic vision as if the actual object is in front of the eyes and the user can freely select the direction or posture at which the object is viewed.

종래의 3차원 이미지를 제공하는 방법은, 동영상을 촬영하고 촬영된 동영상 파일 자체를 디스플레이하는 방법, 또는 복수개의 2차원 이미지를 촬영한 후 그 복수개의 2차원 이미지를 단지 연속적으로 디스플레이하는 방법 등이 있다.The conventional method of providing a 3D image includes a method of photographing a video and displaying the photographed video file itself, or a method of displaying a plurality of 2D images only continuously after photographing a plurality of 2D images. have.

그러나 이와 같은 종래의 3차원 이미지 제공 방법은, 사용자의 조작에 따라 3차원 이미지를 자유롭게 회전하여 사용자가 원하는 방향의 3차원 이미지를 자유롭게 디스플레이할 수 없는 문제점이 있다.However, such a conventional three-dimensional image providing method has a problem that the user can not freely rotate the three-dimensional image in accordance with the user's operation to freely display the three-dimensional image in the desired direction.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 객체에 대하여 각기 다른 다양한 방향에서 촬영되어 획득된 각 2차원 이미지데이터로부터 3차원 형상 정보를 각각 추정하고 추정된 각 2차원 이미지데이터의 3차원 형상 정보를 보정한 후 합성하여 3차원 객체 형상정보를 생성하며 생성된 3차원 객체 형상정보를 3차원 그래픽라이브러리 또는 인터넷 가상현실이 지원되는 3차원 메시 파일 형태로 매핑하여 3차원 이미지를 생성하며 3차원 가상 전시 공간에서 상기 생성된 3차원 이미지를 사용자의 조작 신호에 따라 다양한 방향으로 자유롭게 회전시키면서 디스플레이할 수 있는 3차원 이미지 생성 및 디스플레이 방법과 그 장치를 제공하는 데 있다.The present invention has been proposed to solve the above problems of the prior art, and an object of the present invention is to estimate and estimate three-dimensional shape information from each two-dimensional image data obtained by photographing from various different directions with respect to an object, respectively. Compensate and synthesize the 3D shape information of each 2D image data generated to generate 3D object shape information and convert the generated 3D object shape information into a 3D graphic file or 3D mesh file supported by Internet virtual reality. 3D image generation and display method and apparatus for generating a 3D image by mapping and displaying the generated 3D image freely rotating in various directions according to a user's manipulation signal in a 3D virtual exhibition space. There is.

상기와 같은 목적을 달성하기 위하여 본 발명에 의한 3차원 이미지 생성 방 법은, 객체에 대하여 각기 다른 다양한 방향에서 촬영된 다수개의 2차원 이미지로부터 다수개의 2차원 이미지 데이터를 생성하는 과정과; 상기 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상정보를 추정하는 과정과; 상기 추정된 각 2차원 이미지데이터의 3차원 형상정보를 보정하는 과정과; 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하는 과정과; 상기 생성된 3차원 객체 형상정보를 3차원 그래픽 라이브러리 또는 인터넷 가상현실이 지원되는 포맷의 3차원 메시 파일로 매핑하여 3차원 이미지를 생성하는 과정으로 이루어지는 것을 특징으로 한다.In order to achieve the above object, a three-dimensional image generation method according to the present invention comprises the steps of generating a plurality of two-dimensional image data from a plurality of two-dimensional images taken from different directions with respect to the object; Estimating three-dimensional shape information for each of the plurality of two-dimensional image data; Correcting three-dimensional shape information of each of the estimated two-dimensional image data; Generating three-dimensional object shape information by synthesizing three-dimensional shape information of each of the corrected two-dimensional image data; The 3D object shape information may be mapped to a 3D mesh file having a format supported by a 3D graphic library or an Internet virtual reality, thereby generating a 3D image.

상기와 같은 목적을 달성하기 위하여 본 발명에 의한 3차원 이미지 생성 장치는, 3차원 객체에 대하여 각기 다른 다양한 방향에서 촬영된 다수개의 2차원 이미지로부터 다수개의 2차원 이미지데이터를 생성하는 2차원 이미지 생성부와; 상기 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상정보를 추정하고 추정된 각 2차원 이미지데이터의 3차원 형상정보를 보정한 후 합성하여 3차원 객체 형상정보를 생성하고 생성된 3차원 객체 형상정보를 3차원 메시 파일 형태의 3차원 이미지로 생성하는 3차원 이미지 생성부와; 상기 생성된 3차원 이미지를 저장하는 메모리와; 상기 3차원 메시 파일 형태의 3차원 이미지가 웹서버로부터 전송된 웹페이지에 포함되어 있으면 상기 3차원 메시 파일 포맷을 지원하는 3차원 그래픽라이브러리 또는 인터넷 가상현실을 이용할 수 있는 웹브라우저 연동 응용 프로그램을 설치하고 사용자의 조작 신호에 따라 원하는 방향으로 3차원 이미지의 객체가 회전되면서 디스플레이되도록 제어하는 3차원 이미지 디스플레이 제어부와; 상기 웹서버와 통신하는 통신부와; 상기 사용자의 조작 신호를 수신하는 입력부와; 상기 3차원 이미지 디스플레이 제어부의 제어에 따라 상기 3차원 이미지를 회전하면서 디스플레이하는 디스플레이부와; 상기 3차원 객체에 대하여 각기 다른 다양한 방향에서 촬영되어 획득된 상기 다수개의 2차원 이미지데이터를 이용하여 3차원 메시 파일 형태의 3차원 이미지를 생성하고 상기 3차원 메시 파일 형태의 3차원 이미지를 상기 사용자의 조작 신호에 따른 다양한 방향으로 회전시키면서 디스플레이하기 위하여, 상기 3차원 이미지 생성부, 상기 3차원 이미지 디스플레이 제어부, 상기 메모리, 상기 통신부, 상기 입력부, 및 상기 디스플레이부를 제어하는 제어부로 이루어지는 것을 특징으로 한다.In order to achieve the above object, the three-dimensional image generating apparatus according to the present invention generates a two-dimensional image for generating a plurality of two-dimensional image data from a plurality of two-dimensional images taken in different directions with respect to the three-dimensional object Wealth; Three-dimensional shape information is estimated for each of the plurality of two-dimensional image data, three-dimensional shape information of each estimated two-dimensional image data is corrected, and synthesized to generate three-dimensional object shape information, and generated three-dimensional object shape information. A three-dimensional image generator for generating a three-dimensional image in the form of a three-dimensional mesh file; A memory for storing the generated three-dimensional image; If a 3D image in the form of a 3D mesh file is included in a web page transmitted from a web server, a web browser interworking application that can use a 3D graphic library or internet virtual reality that supports the 3D mesh file format is installed. And a 3D image display control unit which controls the object of the 3D image to be displayed while being rotated in a desired direction according to a user's manipulation signal; A communication unit communicating with the web server; An input unit to receive a manipulation signal of the user; A display unit configured to display the 3D image while rotating the 3D image under the control of the 3D image display controller; The user generates a 3D image in the form of a 3D mesh file by using the plurality of 2D image data obtained by photographing the 3D object in different directions, and generates the 3D image in the form of the 3D mesh file. In order to display while rotating in various directions according to the operation signal of the three-dimensional image generating unit, the three-dimensional image display control unit, the memory, the communication unit, the input unit, and a control unit for controlling the display unit .

본 발명은 3차원 객체를 각기 다른 다양한 방향에서 촬영하여 획득된 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상정보를 추정하고, 상기 추정된 각 2차원 이미지데이터의 3차원 형상정보를 보정하며, 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하고, 상기 생성된 3차원 객체 형상정보를 3차원 그래픽 라이브러리 또는 인터넷 가상현실이 지원되는 포맷의 3차원 메시 파일로 매핑하여 3차원 이미지를 생성함으로써, 각기 다른 다양한 방향에서 촬영되어 획득된 다수개의 2차원 이미지데이터로부터 3차원 그래픽라이브러리 또는 인터넷 가상현실이 지원되는 3차원 메시 파일 형태의 3차원 이미지를 일련의 과정으로 용이하게 생성할 수 있는 효과가 있다.The present invention estimates three-dimensional shape information for each of a plurality of two-dimensional image data obtained by photographing a three-dimensional object in different directions, and corrects the three-dimensional shape information of each of the estimated two-dimensional image data, 3D object shape information is generated by synthesizing the 3D shape information of each of the corrected 2D image data, and the generated 3D object shape information is 3D mesh of a format supported by 3D graphic library or Internet virtual reality. By generating a 3D image by mapping to a file, a series of 3D images in the form of a 3D mesh file supported by a 3D graphics library or Internet virtual reality is obtained from a plurality of 2D image data obtained by photographing from different directions. There is an effect that can be easily generated by the process.

본 발명은 웹서버로부터 전송된 웹페이지에 3차원 메시 파일 형태의 3차원 이미지가 포함된 경우, 상기 3차원 메시 파일 포맷을 지원하는 3차원 그래픽 라이브러리를 이용할 수 있는 플러그인 프로그램, Active X 컨트롤 등과 같은 웹브라우저 연동 응용프로그램이 설치되어 있는 지를 확인하여 설치함으로써, 상기 3차원 그래픽 라이브러리를 이용하기 위한 별도의 응용 프로그램을 구현할 필요없이 상기 웹브라우저 연동 응용프로그램을 통하여 상기 3차원 그래픽 라이브러리를 이용할 수 있는 효과가 있으며, 3차원 가상 전시 공간에서 사용자의 조작 신호에 따른 다양한 각도로 3차원 이미지의 객체를 자유롭게 회전하여 디스플레이할 수 있는 효과가 있다.According to the present invention, when a web page transmitted from a web server includes a 3D image in the form of a 3D mesh file, a plug-in program that can use a 3D graphic library supporting the 3D mesh file format, an Active X control, or the like can be used. By verifying and installing whether the web browser linked application is installed, the effect of using the 3D graphic library through the web browser linked application without having to implement a separate application for using the 3D graphic library. There is an effect of freely rotating and displaying an object of a 3D image at various angles according to a user's manipulation signal in a 3D virtual exhibition space.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

본 발명은 3차원 객체를 각기 다른 다양한 방향에서 촬영하여 획득된 각 2차원 이미지데이터로부터 3차원 형상정보를 각각 생성하고 각 2차원 이미지데이터의 3차원 형상정보를 보정한 후 합성하여 3차원 객체 형상정보를 생성하고 생성된 3차원 객체 형상정보를 3차원 그래픽라이브러리 또는 인터넷 가상현실이 지원되는 3차원 메시 파일 형태로 매핑하여 3차원 이미지를 생성하며 3차원 가상 전시 공간에서 3차원 이미지를 사용자의 조작 신호에 따라 다양한 방향으로 회전시켜서 사용자가 원하는 방향의 3차원 이미지의 객체를 디스플레이한다.The present invention generates three-dimensional shape information from each of the two-dimensional image data obtained by photographing the three-dimensional object from a variety of different directions, corrects the three-dimensional shape information of each two-dimensional image data and synthesizes the three-dimensional object shape Creates 3D image by generating information and mapping the created 3D object shape information into 3D graphic library or 3D mesh file supported by internet virtual reality and manipulates 3D image in 3D virtual exhibition space By rotating in various directions according to the signal, the object of the three-dimensional image in the direction desired by the user is displayed.

도 1은 본 발명의 실시예에 의한 3차원 이미지 생성 및 디스플레이 장치의 구성을 나타낸다. 도 1에 도시된 바와 같이, 본 발명의 실시예에 의한 3차원 이미 지 생성 및 디스플레이 장치(100)는, 3차원 이미지 생성부(110), 제어부(120), 메모리(130), 통신부(140), 3차원 이미지 디스플레이 제어부(150), 디스플레이부(160) 및 입력부(170)로 구성된다. 본 발명의 실시예에 의한 3차원 이미지 생성 장치(100)는 2차원 이미지 생성부(50)를 더 구비한다.1 illustrates a configuration of a 3D image generating and display device according to an embodiment of the present invention. As shown in FIG. 1, the 3D image generating and display apparatus 100 according to an embodiment of the present invention may include a 3D image generating unit 110, a control unit 120, a memory 130, and a communication unit 140. ), A 3D image display control unit 150, a display unit 160, and an input unit 170. The 3D image generating apparatus 100 according to the embodiment of the present invention further includes a 2D image generating unit 50.

상기 2차원 이미지 생성부(50)는 3차원 객체에 대하여 각기 다른 다양한 방향에서 촬영하여 각 방향의 2차원 이미지를 생성하고 각 방향의 2차원 이미지로부터 각 방향의 2차원 이미지데이터를 획득한다.The 2D image generating unit 50 generates a 2D image in each direction by photographing the 3D object in different directions, and obtains 2D image data in each direction from the 2D image in each direction.

상기 3차원 이미지 생성부(110)는 각기 다른 다양한 방향에서 촬영되어 획득된 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상정보(P1(x,y,z), P2(x,y,z), ..., PN(x,y,z))를 추정하고 추정된 각 2차원 이미지데이터의 3차원 형상정보를 보정한 후 합성하여 하나의 3차원 객체 형상정보를 생성하고 생성된 3차원 객체 형상정보를 3차원 이미지로 생성한다.The three-dimensional image generating unit 110 is a three-dimensional shape information (P 1 (x, y, z), P 2 (x, y, z), ..., P N (x, y, z)) are estimated, three-dimensional shape information of each estimated two-dimensional image data is corrected, and synthesized to generate one three-dimensional object shape information. Create 3D object shape information as a 3D image.

상기 3차원 이미지 생성부(110)는 3차원 형상정보 생성부(111), 3차원 형상정보 보정부(112), 형상정보 합성부(113) 및 3차원 이미지 매핑부(114)를 구비하며 이들 각각에 대한 상세한 구성 및 설명은 추후에 도2를 참조하여 설명하기로 한다.The 3D image generating unit 110 includes a 3D shape information generating unit 111, a 3D shape information correcting unit 112, a shape information synthesizing unit 113, and a 3D image mapping unit 114. Detailed configuration and description of each will be described later with reference to FIG. 2.

상기 메모리(130)는 상기 3차원 이미지 생성부(110)에 의하여 생성된 3차원 이미지를 저장한다.The memory 130 stores the 3D image generated by the 3D image generator 110.

상기 통신부(140)는 외부의 통신망을 통하여 웹서버(300)와 통신한다.The communication unit 140 communicates with the web server 300 through an external communication network.

상기 3차원 이미지 디스플레이 제어부(150)는 상기 3차원 이미지의 디스플레 이 요청이 있으면 3차원 이미지의 디스플레이 조작을 위한 웹브라우저 연동 응용프로그램을 설치하고 사용자의 조작 입력에 따라 원하는 방향으로 3차원 이미지의 객체가 회전되면서 디스플레이 되도록 제어한다.The 3D image display control unit 150 installs a web browser interlocking application for displaying 3D images and displays the 3D images in a desired direction according to a user's manipulation. Controls the display to rotate.

상기 입력부(170)는 사용자로부터 입력신호를 수신한다.The input unit 170 receives an input signal from a user.

상기 디스플레이부(260)는 상기 3차원 이미지 디스플레이 제어부(250)의 제어에 따라 상기 3차원 이미지를 회전하면서 디스플레이한다.The display unit 260 rotates and displays the 3D image under the control of the 3D image display controller 250.

상기 제어부(120)는 여러 방향에서 촬영된 상기 다수개의 2차원 이미지데이터를 이용하여 3차원 이미지가 생성되도록 상기 3차원 이미지 생성부(110)를 제어하며, 상기 웹서버(300)로부터 전송되는 웹페이지에 포함되어 있는 상기 3차원 이미지를 사용자의 조작 입력에 따라 원하는 방향으로 자유롭게 회전하기 위하여, 상기 3차원 이미지 디스플레이 제어부(150), 상기 통신부(140), 상기 메모리(130), 상기 입력부(170), 및 상기 디스플레이부(160)를 제어한다.The controller 120 controls the 3D image generator 110 to generate a 3D image by using the plurality of 2D image data photographed from various directions, and the web transmitted from the web server 300. In order to freely rotate the 3D image included in the page in a desired direction according to a user's manipulation input, the 3D image display control unit 150, the communication unit 140, the memory 130, and the input unit 170. And the display unit 160.

상기 3차원 이미지 생성 및 디스플레이 장치(100)는, 통신망을 통하여 웹서버(300)와 통신하며, 상기 웹서버(300)의 웹페이지에는 상기 3차원 이미지 생성 및 디스플레이 장치(100)에 의하여 생성된 3차원 이미지가 포함되어 있다.The 3D image generating and display apparatus 100 communicates with the web server 300 through a communication network, and the 3D image generating and display apparatus 100 is generated on the web page of the web server 300. Three-dimensional image is included.

도 2는 상기 3차원 이미지 생성부(110)의 상세한 구성의 일예를 나타낸다.2 illustrates an example of a detailed configuration of the 3D image generating unit 110.

상기 3차원 이미지 생성부(110)의 3차원 형상정보 생성부(111)는 상기 2차원 이미지 생성부(50)에 의하여 각기 다른 다양한 방향에서 촬영되어 획득된 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상 정보를 생성한다. 3차원 형상정보 보정부(112)는 상기 생성된 각 2차원 이미지데이터의 3차원 형상정보를 어 핀(affine) 변환을 통하여 보정한다. 형상정보 합성부(113)는 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성한다. 3차원 이미지 매핑부(114)는 상기 생성된 3차원 객체 형상정보를 3차원 그래픽 라이브러리 또는 인터넷 가상현실이 지원되는 포맷의 3차원 이미지 파일로 매핑하여 3차원 이미지를 생성한다.The three-dimensional shape information generating unit 111 of the three-dimensional image generating unit 110 is three for each of a plurality of two-dimensional image data obtained by photographing in different directions by the two-dimensional image generating unit 50 Generate dimensional shape information. The three-dimensional shape information correction unit 112 corrects the three-dimensional shape information of each of the generated two-dimensional image data through affine transformation. The shape information synthesizing unit 113 generates 3D object shape information by synthesizing 3D shape information of each of the corrected 2D image data. The 3D image mapping unit 114 generates the 3D image by mapping the generated 3D object shape information into a 3D image file of a format supported by a 3D graphic library or Internet virtual reality.

상기 3차원 형상정보 생성부(111)는 각기 다른 다양한 방향에서 촬영되어 획득된 상기 다수개의 2차원 이미지데이터 각각에 대하여 2차원 이미지의 광원을 추정하는 2차원 이미지 광원 추정부(111a)와, 상기 추정된 광원을 기준으로 각 2차원 이미지의 각 픽셀의 명암(shading)과 밝기(brightness) 정보를 추출하여 각 2차원 이미지의 3차원 형상 정보를 추정하는 3차원 형상정보 추정부(111b)를 구비한다.The three-dimensional shape information generation unit 111 is a two-dimensional image light source estimator 111a for estimating a light source of a two-dimensional image with respect to each of the plurality of two-dimensional image data obtained by photographing in different directions, and the A three-dimensional shape information estimator 111b for extracting shading and brightness information of each pixel of each two-dimensional image based on the estimated light source to estimate three-dimensional shape information of each two-dimensional image; do.

상기 3차원 형상정보 보정부(112)는 상기 추정된 각 2차원 이미지데이터의 3차원 형상정보를 병진(translation) 변환하는 3차원 형상정보 병진 변환부(112a)와, 상기 병진 변환된 각 2차원 이미지데이터의 3차원 형상정보를 각 2차원 이미지데이터의 촬영된 방향에 대응되도록 회전 변환하는 3차원 형상정보 회전 변환부(112b)와, 상기 각 2차원 이미지데이터의 3차원 형상정보의 크기 간 오차를 보정하기 위하여 상기 회전 변환된 각 2차원 이미지데이터의 3차원 형상정보를 스케일링 변환하는 3차원 형상정보 스케일링 변환부(112c)로 구성된다.The three-dimensional shape information correction unit 112 may convert the three-dimensional shape information of each of the estimated two-dimensional image data into a three-dimensional shape information translation converter 112a, and each of the two-dimensional translated translations. Error between the three-dimensional shape information rotation converter 112b for rotating and converting the three-dimensional shape information of the image data so as to correspond to the photographed direction of each two-dimensional image data, and an error between the three-dimensional shape information of the two-dimensional image data. The 3D shape information scaling converter 112c scales and converts the 3D shape information of each of the two-dimensional image data which has been rotationally converted to correct the compensation.

상기 형상정보 합성부(113)는 상기 스케일링 변환된 각 2차원 이미지데이터의 3차원 형상정보 간에 인접하여 공통되는 형상정보를 보정한 후 제거하는 공통 형상정보 제거부(113a)와, 상기 공통 형상정보가 제거된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하는 3차원 객체 형상정보 합성부(113b)로 구성된다.The shape information synthesizing unit 113 corrects and removes common shape information adjacent to three-dimensional shape information of each of the two-dimensional scaled image data, and removes the common shape information removing unit 113a and the common shape information. Is composed of a three-dimensional object shape information synthesizing unit 113b for generating three-dimensional object shape information by synthesizing three-dimensional shape information of each of the two-dimensional image data from which is removed.

상기 3차원 이미지 매핑부(114)는 상기 생성된 3차원 객체 형상정보를 3차원 그래픽 라이브러리 또는 인터넷 가상현실이 지원되는 포맷형태인 3차원 메시(Mesh) 파일로 매핑하여 3차원 이미지를 생성하는 3차원 메시파일 생성부(114a)를 구비한다.The 3D image mapping unit 114 generates a 3D image by mapping the generated 3D object shape information into a 3D mesh file having a format supported by a 3D graphic library or Internet virtual reality. A dimensional mesh file generator 114a is provided.

도 3은 본 발명의 실시예에 의한 3차원 이미지 생성 방법을 나타낸다. 3 shows a 3D image generating method according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명의 실시예에 의한 3차원 이미지 생성 방법은, 3차원 객체를 각기 다른 다양한 방향에서 촬영하여 다수개의 2차원 이미지를 생성하고 상기 다수개의 2차원 이미지로부터 다수개의 2차원 이미지데이터를 획득하는 과정(S10)과; 상기 생성된 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상정보를 추정하는 과정(S12)과, 상기 추정된 각 2차원 이미지데이터의 3차원 형상정보를 어핀 변환하여 보정하는 과정(S14)과, 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하는 과정(S16)과, 상기 생성된 3차원 객체 형상정보를 3차원 그래픽 라이브러리 또는 인터넷 가상현실이 지원되는 포맷의 3차원 메시 파일로 매핑하여 3차원 이미지를 생성하는 과정(S18)으로 이루어진다.As shown in FIG. 3, the method of generating a 3D image according to an exemplary embodiment of the present invention generates a plurality of 2D images by photographing 3D objects from different directions and generates a plurality of 2D images from the plurality of 2D images. Obtaining two-dimensional image data (S10); Estimating three-dimensional shape information with respect to each of the generated plurality of two-dimensional image data (S12), affinity-correcting and correcting three-dimensional shape information of each of the estimated two-dimensional image data (S14), Generating three-dimensional object shape information by synthesizing the three-dimensional shape information of each of the corrected two-dimensional image data (S16), and the generated three-dimensional object shape information is supported by a three-dimensional graphic library or Internet virtual reality; A process of generating a 3D image by mapping the 3D mesh file in a format (S18) is performed.

또한 도 4는 본 발명의 실시예에 의한 3차원 이미지 디스플레이 방법을 나타낸다.In addition, Figure 4 shows a three-dimensional image display method according to an embodiment of the present invention.

도 4에 도시된 바와 같이 본 발명의 실시예에 의한 3차원 이미지 디스플레이 방법은, 웹서버로부터 전송된 웹 페이지에 3차원 메시 파일 형태의 3차원 이미지가 포함되어 있는 경우에, 상기 3차원 이미지의 3차원 메시 파일을 지원하는 3차원 그래픽 라이브러리를 이용할 수 있는 웹브라우저 연동 응용프로그램이 설치되어 있는 지를 확인하여 설치하는 과정(S30,S32,S34), 및 웹브라우저가 상기 설치된 웹브라우저 연동 응용프로그램을 통하여 상기 3차원 그래픽 라이브러리를 이용하여 사용자의 조작 신호에 따라 상기 3차원 메시 파일 형태의 3차원 이미지를 회전시키면서 디스플레이하는 과정(S36)으로 이루어진다.As shown in FIG. 4, in the 3D image display method according to an embodiment of the present invention, when a 3D image in the form of a 3D mesh file is included in a web page transmitted from a web server, Check whether the web browser interlocking application that can use the 3D graphics library supporting the 3D mesh file is installed and installed (S30, S32, S34), and the web browser interlocks the installed web browser interlocking application. By using the three-dimensional graphic library through the step of displaying the three-dimensional image in the form of the three-dimensional mesh file in accordance with the user's manipulation signal (S36).

상기 웹서버의 웹 페이지에는 본 발명에 따라 생성된 3차원 메시 파일 형태의 3차원 이미지가 미리 링크 또는 임베딩(embedding)되어 있어야 한다.In the web page of the web server, a three-dimensional image in the form of a three-dimensional mesh file generated according to the present invention must be linked or embedded in advance.

상기와 같이 구성된 본 발명의 실시예에 의한 3차원 이미지 생성 및 디스플레이 장치의 동작을 설명하면 다음과 같다.Referring to the operation of the three-dimensional image generation and display device according to an embodiment of the present invention configured as described above are as follows.

도 1에 도시된 하나의 사용자 단말, 즉, 3차원 이미지 생성 및 디스플레이 장치(100)는 3차원 메시 파일 형태의 3차원 이미지를 생성하는 기능과 상기 생성된 3차원 메시 파일 형태의 3차원 이미지를 사용자의 조작 신호에 따라 각 방향으로 조작하여 디스플레이하는 기능을 모두 포함하는 것으로 구성 설명을 하였다. 그러나, 모든 사용자 단말이 3차원 메시 파일 형태의 3차원 이미지를 생성하는 기능과 3차원 메시 파일 형태의 3차원 이미지를 디스플레이하는 기능을 동시에 구비할 필요는 없다. 예를 들면, 참조번호 200으로 나타내어지는 사용자 단말은 접속된 웹 서버(300)의 웹페이지에 포함된 본 발명에 의한 3차원 메시 파일 형태의 3차원 이미지를 디스플레이하는 기능만을 구비할 수도 있다. 또한, 특정 사용자 단말은 본 발명에 의한 3차원 메시 파일 형태의 3차원 이미지를 생성하는 기능만을 구비할 수도 있다.One user terminal illustrated in FIG. 1, that is, the 3D image generating and display apparatus 100 may generate a 3D image in the form of a 3D mesh file and the 3D image in the form of the 3D mesh file. The configuration has been described as including all the functions for displaying and operating in each direction according to the user's operation signal. However, not all user terminals need to have a function of generating a 3D image in the form of a 3D mesh file and a function of displaying a 3D image in the form of a 3D mesh file. For example, the user terminal denoted by reference numeral 200 may have only a function of displaying a three-dimensional image in the form of a three-dimensional mesh file according to the present invention included in a web page of a connected web server 300. In addition, the specific user terminal may have only a function of generating a 3D image in the form of a 3D mesh file according to the present invention.

먼저, 본 발명에 의한 3차원 이미지 생성 및 디스플레이 장치에 의하여 3차원 메시 파일 형태의 3차원 이미지를 생성하는 동작에 대하여 설명하기로 한다.First, an operation of generating a 3D image in the form of a 3D mesh file by the 3D image generating and display apparatus according to the present invention will be described.

인터넷에 3차원으로 게시하고자 하는 3차원 객체(Object)를 각기 다른 다양한 방향에서 3차원 이미지 생성 및 디스플레이 장치(100)의 2차원 이미지 생성부(50)에 의하여 촬영한다. 3차원 객체가 촬영되는 각기 다른 다양한 방향은 객체의 종류, 게시 목적 등에 따라 달라질 수 있다. 2차원 이미지 생성부(50)는 디지털 사진기 등이 이용될 수 있고, 또한 포토샵과 같은 2차원 그래픽 소프트웨어 프로그램 등이 이용될 수 있다.The 3D object to be posted in 3D on the Internet is photographed by the 2D image generating unit 50 of the 3D image generating and display apparatus 100 in various different directions. Different directions in which the 3D object is photographed may vary depending on the type of object and the purpose of the publication. As the 2D image generating unit 50, a digital camera or the like may be used, and a 2D graphic software program such as Photoshop may be used.

3차원 객체를 각기 다른 N개 방향에서 촬영할 경우, N개의 2차원 이미지가 생성되고 생성된 N개의 2차원 이미지로부터 N개의 2차원 이미지데이터가 획득된다. 획득된 각 2차원 이미지데이터는 각각의 픽셀(pixel)에 대하여 좌표 형태(x,y)의 2차원 함수(IN(x,y))로 나타낼 수 있다. 이 때, N은 객체를 바라다 본 방향을 구별하기 위한 값이고 x와 y는 각각 공간좌표 값이다. I는 좌표(x,y)에서의 진폭(amplitude; 또는 크기)을 나타내는 것으로서, 이것은 흑백 이미지의 경우에는 밝기를, 칼라 이미지의 경우에는 RGB(적,녹,청)의 개별적 성분의 영상을 의미한다. When the three-dimensional object is photographed in different N directions, N two-dimensional images are generated and N two-dimensional image data is obtained from the generated N two-dimensional images. Each of the acquired two-dimensional image data may be represented as a two-dimensional function I N (x, y) of coordinate form (x, y) for each pixel. In this case, N is a value for distinguishing the direction viewed from the object, and x and y are spatial coordinate values, respectively. I represents the amplitude (or magnitude) at coordinates (x, y), which means the brightness of a black and white image and the image of individual components of RGB (red, green, blue) for color images. do.

따라서, 각기 다른 N개 방향에서 각각 촬영된 N 개 2차원 이미지데이터 각각의 2차원 좌표값은 다음과 같이 나타낼 수 있다.Accordingly, two-dimensional coordinate values of each of the N two-dimensional image data photographed in different N directions may be represented as follows.

I1(x,y), I2(x,y), I3(x,y), ..., IN(x,y)I 1 (x, y), I 2 (x, y), I 3 (x, y), ..., I N (x, y)

예를 들어, 3차원 객체를 전,후,좌,우,상,하의 방향에서 촬영할 경우, 6개의 2차원 이미지, 즉, 전면 2차원 이미지, 후면 2차원 이미지, 좌면 2차원 이미지, 우면 2차원 이미지, 상면 2차원 이미지, 및 하면 2차원 이미지가 획득된다.For example, if a 3D object is taken in the front, back, left, right, up, and down directions, six two-dimensional images, that is, a front two-dimensional image, a rear two-dimensional image, a left two-dimensional image, and a right two-dimensional image An image, an upper surface two-dimensional image, and a lower surface two-dimensional image are obtained.

도 5는 3차원 객체의 전,후,좌,우,상,하의 촬영 방향을 나타내고, 도 6a는 3차원 객체의 전면 2차원 이미지를 나타내며, 도 6b는 3차원 객체의 후면 2차원 이미지를 나타내고, 도 6c는 3차원 객체의 좌면 2차원 이미지를 나타내며, 도 6d는 3차원 객체의 우면 2차원 이미지를 나타내고, 도 6e는 3차원 객체의 상면 2차원 이미지를 나타내고, 도 6f는 3차원 객체의 하면 2차원 이미지를 나타낸다. 또한, 전면 2차원 이미지의 2차원 이미지데이터는 2차원 좌표값들인 I1(x,y)으로, 후면 2차원 이미지의 2차원 이미지데이터는 I2(x,y)으로, 좌면 2차원 이미지의 2차원 이미지데이터는 I3(x,y)으로, 우면 2차원 이미지의 2차원 이미지데이터는 I4(x,y)으로, 상면 2차원 이미지의 2차원 이미지데이터는 I5(x,y)으로, 하면 2차원 이미지의 2차원 이미지데이터는 I6(x,y)으로 각각 나타낼 수 있으며, 다시 정리하면 다음과 같다(S10).FIG. 5 shows photographing directions before, after, left, right, up and down of the 3D object, FIG. 6A shows the front 2D image of the 3D object, and FIG. 6B shows the back 2D image of the 3D object. 6C shows a left 2D image of a 3D object, FIG. 6D shows a right 2D image of a 3D object, FIG. 6E shows a top 2D image of a 3D object, and FIG. 6F shows a 3D object of FIG. Indicates a two-dimensional image. In addition, two-dimensional image data of the front two-dimensional image is I 1 (x, y), two-dimensional coordinate values, two-dimensional image data of the rear two-dimensional image is I 2 (x, y), The two-dimensional image data is I 3 (x, y), the two-dimensional image data of the right two-dimensional image is I 4 (x, y), and the two-dimensional image data of the top two-dimensional image is I 5 (x, y). 2D image data of the 2D image may be represented by I 6 (x, y), and rearranged as follows (S10).

I1(x,y), I2(x,y), ..., I6(x,y)I 1 (x, y), I 2 (x, y), ..., I 6 (x, y)

이와 같이 획득된 각 방향의 2차원 이미지데이터는 3차원 이미지 생성 및 디스플레이 장치(100)의 3차원 이미지 생성부(110)에 제공된다.The two-dimensional image data of each direction obtained as described above is provided to the three-dimensional image generating unit 110 of the three-dimensional image generating and display apparatus 100.

3차원 이미지 생성부(110)의 3차원 형상정보 생성부(111)는 각기 다른 다양한 방향의 각 2차원 이미지데이터의 3차원 형상 정보를 각각 생성한다. 이것은 사람의 뇌가 2차원 이미지를 바라볼 때, 객체 이미지의 명암(shading)과 밝기(brightness) 등을 통해 3차원적인 모양을 인식하는 방식을 이용하는 것이다. 즉, 3차원 형상정보생성부(111)는 각 2차원 이미지데이터 별로 음영 기반 형상화(Shape from Shading) 알고리즘 또는 광도 양안법(Photometric Stereo) 알고리즘 등을 이용하여, 3차원 형상 정보를 추정한다.The three-dimensional shape information generation unit 111 of the three-dimensional image generation unit 110 generates three-dimensional shape information of each two-dimensional image data in different directions. When the human brain looks at a two-dimensional image, it uses a method of recognizing three-dimensional shapes through shading and brightness of an object image. That is, the 3D shape information generation unit 111 estimates the 3D shape information for each 2D image data by using a shadow from shading algorithm or a photometric stereo algorithm.

더욱 상세히 설명하면, 3차원 형상정보 생성부(111)의 2차원 이미지 광원 추정부(111a)는 각기 다른 다양한 방향에서 촬영되어 획득된 6개의 2차원 이미지데이터 각각에 대하여 2차원 이미지의 광원을 추정한다.In more detail, the two-dimensional image light source estimator 111a of the three-dimensional shape information generation unit 111 estimates the light source of the two-dimensional image with respect to each of the six two-dimensional image data obtained by photographing from different directions. do.

3차원 형상정보 생성부(111)의 3차원 형상정보 추정부(111b)는 상기 추정된 광원을 기준으로 각 2차원 이미지데이터의 각 픽셀의 명암(shading)과 밝기(brightness) 정보를 추출하여 각 2차원 이미지데이터의 3차원 형상(shape) 정보를 추정하고 추정된 3차원 형상정보를 P(x,y,z) 형태로 나타낸다. 여기서, x,y,z는 3차원 카테시안 좌표값(Cartesian coordinate)이고, P는 3차원 형상에 대한 좌표(x,y,z)에서의 진폭(amplitude)을 나타내며 이와 같은 P는 이전 2차원 이미지데이터에서 얻은 순수한 색상정보만 포함되고 명암과 밝기 정보는 제외된다. 그러나, P값은 일정한 상수값으로 설정될 수 있으며 이와 같은 경우에 색상정보 없이 3차원 형상정보만 포함되게 된다.The three-dimensional shape information estimator 111b of the three-dimensional shape information generator 111 extracts shading and brightness information of each pixel of each two-dimensional image data based on the estimated light source. Three-dimensional shape information of the two-dimensional image data is estimated and the estimated three-dimensional shape information is represented in the form of P (x, y, z). Where x, y, z is the 3D Cartesian coordinate, P is the amplitude at the coordinates (x, y, z) for the 3D shape and this P is the previous 2D Only pure color information from image data is included, and contrast and brightness information are excluded. However, the P value may be set to a constant value and in this case, only the 3D shape information is included without color information.

따라서, 전면 2차원 이미지데이터(I1(x,y))에 대하여 3차원 형상정보 P1(x,y,z)가 추정된다. 이와 같은 동일한 방법으로 나머지 5개 방향의 각 2차원 이미지데이터(I2(x,y)~ I6(x,y))에 대하여 각각의 3차원 형상정보 P2(x,y,z) ~ P6(x,y,z)를 추정하게 된다(S12).Therefore, three-dimensional shape information P 1 (x, y, z) is estimated for the front two-dimensional image data I 1 (x, y). In this same manner, for each of the two-dimensional image data I 2 (x, y) to I 6 (x, y) in the remaining five directions, the respective three-dimensional shape information P 2 (x, y, z) to P 6 (x, y, z) is estimated (S12).

그러므로, 3차원 형상정보 생성부(111)에 의하여 생성된 6개 2차원 이미지데이터 각각의 3차원 형상 정보는 다음과 같이 나타낸다.Therefore, the three-dimensional shape information of each of the six two-dimensional image data generated by the three-dimensional shape information generating unit 111 is represented as follows.

P1(x,y,z), P2(x,y,z), ..., P6(x,y,z)P 1 (x, y, z), P 2 (x, y, z), ..., P 6 (x, y, z)

도 7은 3차원 형상정보 생성부(111)에 의하여 생성된 전면 2차원 이미지데이터의 3차원 형상 정보를 나타낸다. 도 7에 도시된 바와 같이, 상기 생성된 전면 2차원 이미지데이터의 3차원 형상 정보는, 3차원 객체의 전면 방향에서 촬영된 전면 2차원 이미지데이터의 3차원 형상 정보이나, 3차원 공간 좌표 상에서는 3차원 형상정보의 형상이 위를 보고 누워 있는 것으로 나타난다. 따라서 각 2차원 이미지데이터의 3차원 형상정보의 보정이 필요하다.7 illustrates three-dimensional shape information of the front two-dimensional image data generated by the three-dimensional shape information generating unit 111. As shown in FIG. 7, the three-dimensional shape information of the generated front two-dimensional image data is three-dimensional shape information of the front two-dimensional image data photographed in the front direction of the three-dimensional object, The shape of the dimensional shape information appears to be lying on top. Therefore, it is necessary to correct the three-dimensional shape information of each two-dimensional image data.

상기 6개 2차원 이미지데이터 각각의 3차원 형상정보( P1(x,y,z), P2(x,y,z), ..., P6(x,y,z))가 입력되면, 3차원 형상정보 보정부(112)는 상기 입력된 각 2차원 이미지데이터의 3차원 형상정보(P1(x,y,z), P2(x,y,z), ..., P6(x,y,z))를 병진(translation) 변환과 회전(rotation) 변환 및 스케일링(scaling) 변환을 통하여 보정한다.Three-dimensional shape information (P 1 (x, y, z), P 2 (x, y, z), ..., P 6 (x, y, z)) of each of the six two-dimensional image data is input. When the 3D shape information correction unit 112 receives the 3D shape information P 1 (x, y, z), P 2 (x, y, z), ..., of the input 2D image data, P 6 (x, y, z)) is corrected through a translation transformation, a rotation transformation, and a scaling transformation.

먼저, 병진 변환에 대하여 설명하기로 한다. 예를 들어 설명하면, 도 6a의 전면 2차원 이미지를 통하여 획득되는 전면 3차원 형상정보의 좌측면 형상정보는 도 6c의 좌면 2차원 이미지를 통하여 획득되는 형상정보보다 더 정확하기는 어렵다. 특히 도 6a의 전면 2차원 이미지만으로는 실제 객체의 측면 폭(width)을 정확하게 획득하는 것이 어렵다. 따라서 도 6c의 좌면 2차원 이미지를 통하여 획득된 폭(width) 정보가 도 6a의 전면 2차원 이미지의 3차원 형상정보에 반영되도록 병진변환이 수행된다. 또한 도 6c의 좌면 2차원 이미지를 통하여 획득된 폭(width) 정보가 도 6b의 후면 2차원 이미지의 3차원 형상정보에 반영되도록 병진 변환이 수행된다.First, the translational conversion will be described. For example, the left side shape information of the front three-dimensional shape information obtained through the front two-dimensional image of FIG. 6A is more difficult than the shape information obtained through the left two-dimensional image of FIG. 6C. In particular, it is difficult to accurately obtain the side width of the real object with only the front two-dimensional image of FIG. 6A. Accordingly, the translation is performed so that the width information obtained through the left 2D image of FIG. 6C is reflected in the 3D shape information of the front 2D image of FIG. 6A. In addition, the translation is performed so that the width information obtained through the left 2D image of FIG. 6C is reflected in the 3D shape information of the rear 2D image of FIG. 6B.

도 6c의 좌면 2차원 이미지의 3차원 형상정보를 P3라 할 때, 최대 폭(width)을 W라 한다면, W는 다음의 [수학식 1]과 같다.When the 3D shape information of the left 2D image of FIG. 6C is P3, and the maximum width is W, W is expressed by Equation 1 below.

W= max(P3y)-min(P3y)W = max (P3y) -min (P3y)

여기서, max(P3y)는 도 6c의 2차원 좌표 공간의 y축 상에서 최우측 형상정보값을 나타내고, min(P3y)는 최좌측 형상정보값을 나타낸다.Here, max (P3y) represents the rightmost shape information value on the y axis of the two-dimensional coordinate space of FIG. 6C, and min (P3y) represents the leftmost shape information value.

이와 같이 도 6c의 좌면 2차원 이미지의 3차원 형상정보를 통하여 실제 객체의 폭 정보가 획득되면, 획득된 폭 정보를 도 6a의 전면 2차원 이미지 및 도 6b의 후면 2차원 이미지에 병진 변환을 통하여 반영한다.As described above, when the width information of the real object is obtained through the 3D shape information of the left 2D image of FIG. 6C, the obtained width information is converted into the front 2D image of FIG. 6A and the rear 2D image of FIG. 6B through translation conversion. Reflect.

도 6a의 전면 3차원 형상정보를 P1이라고 하고, 도6b의 후면 3차원 형상정보 를 P2라 할 때, 병진 변환이 필요한 전체 크기는 [(P3의 최대 폭) - (P1의 높이 + P2의 높이)]이며, 이 값을 2로 나누어 P1과 P2에 각각 적용한다.When the front three-dimensional shape information of FIG. 6A is referred to as P1 and the rear three-dimensional shape information of FIG. 6B is referred to as P2, the total size requiring translational conversion is ((maximum width of P3)-(height of P1 + height of P2). )] And divide it by 2 and apply it to P1 and P2 respectively.

P1의 병진변환을 T1z이라고 하면, T1z는 다음의 [수학식 2]와 같이 나타낼 수 있다.When the translational conversion of P1 is referred to as T1z, T1z can be expressed as shown in Equation 2 below.

T1z= [W-(max(P1z) + max(P2z))]/2T1z = [W- (max (P1z) + max (P2z))] / 2

여기서 max(P1z)은 P1의 최대 높이를 나타내고 max(P2z)은 P2의 최대 높이를 나타낸다.Where max (P1z) represents the maximum height of P1 and max (P2z) represents the maximum height of P2.

또한 P2의 병진변환을 T2z라고 하면, T2z는 다음의 [수학식 3]과 같이 나타낼 수 있다.If the translational conversion of P2 is T2z, T2z can be expressed as shown in Equation 3 below.

T2z= [W-(max(P1z) + max(P2z))]/2T2z = [W- (max (P1z) + max (P2z))] / 2

T1z, T2z은 +z 축 방향의 병진변환을 나타낸다(여기서, 병진변환이 수행된 후에 회전 변환이 이루어지는 것이므로, P2는 일단 +z 축 방향으로 병진 변환된 후 추후에 -T2z만큼 병진변환된 효과를 낸다).T1z and T2z represent translational transformations in the + z axis direction (in this case, since the rotational transformation is performed after the translational transformation is performed, P2 has a translational effect in the + z axis direction afterwards by -T2z). Comes out).

이와 같은 병진 변환이 나머지 2차원 이미지의 3차원 형상정보에 적용된다. 즉, 3차원 형상 정보 보정부(112)의 3차원 형상정보 병진변환부(112a)는 3차원 형상정보 생성부(111)에 의하여 생성된 각 2차원 이미지의 3차원 형상정보를 병진 변환하여, 각 2차원 이미지의 3차원 형상정보가 실제 객체의 형상과 더욱 일치하도록 보정한다.This translational transformation is applied to three-dimensional shape information of the remaining two-dimensional image. That is, the three-dimensional shape information translation unit 112a of the three-dimensional shape information correction unit 112 translates and converts the three-dimensional shape information of each two-dimensional image generated by the three-dimensional shape information generation unit 111, The 3D shape information of each 2D image is corrected to more closely match the shape of the real object.

다음으로, 3차원 형상정보 보정부(112)의 3차원 형상정보 회전 변환부(112b)는 상기 3차원 형상정보 병진 변환부(112a)에 의하여 생성된 각 2차원 이미지데이터의 3차원 형상정보를 각 2차원 이미지의 촬영된 방향에 대응되도록 회전 변환한다.Next, the three-dimensional shape information rotation converter 112b of the three-dimensional shape information correction unit 112 converts the three-dimensional shape information of each two-dimensional image data generated by the three-dimensional shape information translation converter 112a. The rotation is converted to correspond to the photographed direction of each two-dimensional image.

도 8은 3차원 좌표계에서 상기 생성된 전면 2차원 이미지데이터의 3차원 형상정보가 회전 변환된 상태를 나타낸다. 즉, 3차원 형상정보 회전 변환부(112b)는 3차원 좌표계에서 위를 바라보고 누워 있는 상태의 전면 2차원 이미지데이터의 3차원 형상정보(P1(x,y,z))(도 7에 도시됨)를 객체의 전면 방향에서 바라다 본 모습과 동일하도록 상기 전면 2차원 이미지데이터의 y축의 시계반대방향으로 90도 회전시키는 회전 변환을 수행한다.8 illustrates a state in which three-dimensional shape information of the generated front two-dimensional image data in a three-dimensional coordinate system is rotated. That is, the three-dimensional shape information rotation transformation unit 112b is the three-dimensional shape information (P 1 (x, y, z)) of the front two-dimensional image data in the lying state facing up in the three-dimensional coordinate system (Fig. 7). Rotates 90 degrees in the counterclockwise direction of the y-axis of the front two-dimensional image data so as to be the same as viewed from the front direction of the object.

또한, 각 방향의 2차원 이미지 별로 객체와 2차원 이미지 생성부(50)인 디지털 사진기 간에 거리의 오차가 반영되어 있을 수 있기 때문에, 각 2차원 이미지데이터의 3차원 형상정보의 크기(진폭) 간에 오차가 반영되어 있다. 따라서, 3차원 형상정보 스케일링 변환부(112c)는 각 2차원 이미지데이터의 3차원 형상정보의 크기 간 오차를 보정하기 위하여 상기 회전 변환된 각 2차원 이미지데이터의 3차원 형상정보를 스케일링 변환한다.In addition, since the error of the distance between the object and the digital camera, which is the two-dimensional image generating unit 50, may be reflected for each two-dimensional image in each direction, the size (amplitude) of the three-dimensional shape information of each two-dimensional image data. Error is reflected. Accordingly, the 3D shape information scaling converter 112c scales and converts the 3D shape information of each of the two-dimensional image data that is rotationally converted in order to correct an error between the sizes of the 3D shape information of each 2D image data.

한편, 이와 같은 병진 변환과 회전 변환 및 스케일링 변환 등의 변환은 어핀 변환(affine transformation)을 통하여 이루어질 수도 있다. 상기 어핀 변환은 회전축과 각도와 스케일링 팩터(scaling factor) 및 병진변환 크기를 포함하는 매트 릭스 TR(A,θ,α,tx,ty,tz)로 나타낼 수도 있다. 여기서, A는 X축,Y축,Z축 등과 같이 회전변환을 위한 기준 좌표축을 나타내고, θ는 회전 각도를 나타내며, α는 스케일링 팩터를 나타내고, tx,ty,tz은 각각 x,y,z 축 방향의 병진 변환 크기를 나타낸다. 예를 들어, 전면 2차원 이미지데이터의 3차원 형상 정보를 P1이라고 가정하면, P´1은 P1을 x,y,z 축 방향으로 병진변환하고 Y축의 시계반대방향으로 90도 회전한 후 스케일링 팩터를 곱하여 보정된다. 따라서, 전면 2차원 이미지데이터의 3차원 형상정보(P1)의 병진변환과 회전변환 및 스케일링 변환(어핀 변환) 과정은 다음의 [수학식 4]와 같이 나타낼 수 있다.On the other hand, such a translation, rotation transformation and scaling transformation may be performed through affine transformation (affine transformation). The affine transformation can also be represented by the matrix TR (A, θ, α, tx, ty, tz), which includes the axis of rotation, the angle, the scaling factor and the translational magnitude. Here, A represents a reference coordinate axis for rotation transformation, such as the X axis, Y axis, Z axis, etc., θ represents the rotation angle, α represents the scaling factor, tx, ty, tz each of the x, y, z axis The magnitude of the translational translation of the direction. For example, assuming that the three-dimensional shape information of the front two-dimensional image data is P1, P´1 translates P1 in the x, y, z axis directions, rotates it 90 degrees counterclockwise of the Y axis, and then scales the factor. Multiplied by Therefore, the process of translational transformation, rotational transformation, and scaling transformation (affine transformation) of the three-dimensional shape information P1 of the front two-dimensional image data can be expressed as Equation 4 below.

P´1=TR(Y, -90, α1, tx,ty,tz)P1P´1 = TR (Y, -90, α 1 , tx, ty, tz) P1

이 때, TR은 X축,Y축,Z축 방향으로 병진 변환을 수행하고 Y축으로 -90도 방향으로 α1의 스케일링 팩터를 적용한 어핀 변환 매트릭스를 나타낸다.In this case, TR represents an affine transformation matrix in which translational transformation is performed in the X-axis, Y-axis, and Z-axis directions, and a scaling factor of α 1 is applied in the -90 degree direction in the Y-axis.

이와 같은 방식으로 6개 2차원 이미지데이터에 대하여 3차원 형상정보에 관한 병진 변환과 회전 변환 및 스케일링 변환을 수행하게 되면, 6개 2차원 이미지데이터 각각에 대한 보정된 3차원 형상정보를 획득하게 되며, 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보는 다음과 같이 나타낸다(S14).In this way, if the translational, rotational, and scaling transformations of the three-dimensional shape information are performed on the six two-dimensional image data, the corrected three-dimensional shape information of each of the six two-dimensional image data is obtained. The three-dimensional shape information of each of the corrected two-dimensional image data is represented as follows (S14).

P´1(x,y,z), P´2(x,y,z), ..., P´6(x,y,z)P´ 1 (x, y, z), P´ 2 (x, y, z), ..., P´ 6 (x, y, z)

참고로, 병진 변환과 회전 변환 및 스케일링 변환에 있어서, 순서대로 병진 변환, 회전 변환, 스케일링 변환이 반드시 수행되어야 하는 것은 아니며, 경우에 따라서 그 수행 순서는 여러 가지 형태로 변경될 수 있다.For reference, in the translation, rotation, and scaling transformations, the translation, rotation, and scaling transformations are not necessarily performed in order, and the execution order may be changed in various forms in some cases.

이와 같이 3차원 형상정보 보정부(112)에 의하여 2차원 이미지데이터의 3차원 형상정보가 모두 보정되면, 보정된 모든 2차원 이미지데이터의 3차원 형상 정보는 형상정보 합성부(113)에 제공된다. 형상정보 합성부(113)의 공통 형상정보 제거부(113a)는 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보 간에 인접하는 형상정보를 보정한 후 공통 중복되는 형상정보를 제거한다.When all three-dimensional shape information of the two-dimensional image data is corrected by the three-dimensional shape information correcting unit 112 as described above, the three-dimensional shape information of all the corrected two-dimensional image data is provided to the shape information synthesizing unit 113. . The common shape information removing unit 113a of the shape information synthesizing unit 113 removes common overlapping shape information after correcting shape information adjacent between three-dimensional shape information of each of the corrected two-dimensional image data.

예를 들어, 도 6c의 좌면 2차원 이미지의 3차원 형상정보 즉, 좌면 3차원 형상정보 P´3의 우측면 정보는 도 6a의 전면 2차원 이미지의 3차원 형상정보(전면 3차원 형상정보) P´1이 더 정확한 정보들을 가지고 있고, 반대로, 도6a로부터 획득된 전면 3차원 형상정보 P´1의 좌측면 정보는 도 6c로부터 획득된 좌면 3차원 형상정보P´3이 더 정확한 정보들을 가지고 있기 때문에, 공통 형상정보 제거부(113a)는 서로 인접한 형상정보를 보정한 후, 공통 중복되는 부분의 형상정보를 제거한다.For example, the 3D shape information of the left 2D image of FIG. 6C, that is, the right side information of the 3D shape information P ′ 3 of the left surface, is the 3D shape information (front 3D shape information) P of the front 2D image of FIG. 6A. ´ 1 has more accurate information, on the contrary, the left side information of the front three-dimensional shape information P´ 1 obtained from FIG. 6A shows that the left-side three-dimensional shape information P ′ 3 obtained from FIG. 6C has more accurate information. Therefore, the common shape information removing unit 113a corrects the shape information adjacent to each other, and then removes the shape information of the overlapping portions.

공통 형상정보를 제거하는 식은 다음의 [수학식 5]와 같이 표현될 수 있으며, P는 3차원 객체 형상 정보를 나타낸다.The equation for removing the common shape information may be expressed as in Equation 5 below, and P represents three-dimensional object shape information.

Figure 112008028458166-pat00001
Figure 112008028458166-pat00001

상기 일예에서는 N이 6의 값을 갖는다.In this example N has a value of 6.

이와 같이 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보 간 공통 형상정보가 제거되면, 형상정보 합성부(113)의 3차원 객체 형상정보 합성부(114b)는 상기 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성한다(S16).As such, when the common shape information between the three-dimensional shape information of each of the corrected two-dimensional image data is removed, the three-dimensional object shape information synthesizing unit 114b of the shape information synthesizing unit 113 may determine that the three-dimensional image data of the two-dimensional image data is three. The 3D object shape information is generated by synthesizing the dimensional shape information (S16).

3차원 이미지 매핑부(114)는 상기 생성된 3차원 객체 형상정보를 DirectX, OpenGL 등의 3차원 그래픽 라이브러리 또는 VRML, X3D 등의 인터넷 가상현실이 지원되는 표준 포맷 형태인 3차원 메시(Mesh) 파일로 매핑하여 3차원 이미지를 생성한다(S18).The 3D image mapping unit 114 converts the generated 3D object shape information into a 3D graphics library such as DirectX or OpenGL, or a 3D mesh file in a standard format supported by Internet virtual reality such as VRML or X3D. In operation S18, a 3D image is generated by mapping to.

이와 같이 본 발명의 실시예에 의한 3차원 이미지 생성 및 디스플레이 장치는 3차원 객체를 각기 다른 다양한 방향에서 촬영하여 획득한 다수개의 2차원 이미지데이터로부터 각 2차원 이미지데이터의 3차원 형상정보를 생성하고, 생성된 각 2차원 이미지데이터의 3차원 형상정보를 병진변환과 회전변환 및 스케일링 변환을 수행하여 보정하며, 보정된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하고, 생성된 3차원 객체 형상정보를 3차원 그래픽 라이브러리 또는 인터넷 가상현실이 지원되는 3차원 메시 파일 형태로 매핑하여 3차원 이미지를 생성한다. 따라서 상기 생성된 3차원 이미지는 DirectX, OpenGL 등의 3차원 그래픽 라이브러리 또는 VRML, X3D 등의 인터넷 가상현실에서 이용 가능하게 된다.As described above, the three-dimensional image generation and display apparatus according to an embodiment of the present invention generates three-dimensional shape information of each two-dimensional image data from a plurality of two-dimensional image data obtained by photographing the three-dimensional object in different directions. The 3D shape information of each generated 2D image data is corrected by performing translation, rotation, and scaling transformations. The 3D shape information is synthesized by synthesizing the 3D shape information of each corrected 2D image data. The 3D image is generated by mapping the generated 3D object shape information into a 3D mesh file supported by a 3D graphic library or an Internet virtual reality. Therefore, the generated 3D image may be used in a 3D graphic library such as DirectX, OpenGL, or Internet virtual reality such as VRML or X3D.

인터넷 상에서 객체의 3D 모델을 렌더링하는 방법에는, 3차원 그래픽라이브 러리를 이용하여 별도의 응용프로그램을 구현한 후, 웹 서버(Web Server)와 연동하는 방안도 있을 수 있지만, VRML(Virtual Reality Modeling Language), X3D, Web3D 기술을 이용함으로써 별도의 응용 프로그램의 구현 없이도 인터넷 상에서 객체의 3차원 모델을 보다 간편하게 렌더링(Rendering)할 수 있다.In order to render a 3D model of an object on the Internet, there may be a method of implementing a separate application program using a 3D graphics library and interworking with a web server, but the VRML (Virtual Reality Modeling Language) ), X3D and Web3D technologies make it easier to render three-dimensional models of objects on the Internet without the need for a separate application program.

다음으로, 본 발명에 의한 3차원 이미지 생성 및 디스플레이 장치에 의하여 3차원 메시 파일 형태의 3차원 이미지를 사용자의 조작 신호에 따라 회전시키면서 디스플레이하는 동작에 대하여 설명하기로 한다.Next, an operation of displaying and rotating a 3D image in the form of a 3D mesh file according to a user's manipulation signal by the 3D image generating and display apparatus according to the present invention will be described.

우선, 본 발명에 의한 3차원 이미지 생성 및 디스플레이 장치에 의하여 생성된 3차원 메시 파일 형태의 3차원 이미지는 웹서버에 업로딩된다. 상기 3차원 메시 파일 형태의 3차원 이미지는 웹 서버의 웹페이지에 포함(링크 또는 임베딩)시킨다. 이것은 웹 페이지를 디자인하고 작성하는 과정에서 이루어질 수 있다.First, the 3D image in the form of a 3D mesh file generated by the 3D image generating and display apparatus according to the present invention is uploaded to a web server. The 3D image in the form of the 3D mesh file is included (linked or embedded) in the web page of the web server. This can be done in the process of designing and writing web pages.

다수개의 3차원 이미지 생성 및 디스플레이 장치(100)와 3차원 이미지 생성 및 디스플레이 장치(200) 중에서 일예로 3차원 이미지 생성 및 디스플레이 장치(200)가 웹 서버(300)에 접속한다(S30).Among the plurality of 3D image generating and display apparatuses 100 and 3D image generating and display apparatuses 200, for example, the 3D image generating and display apparatus 200 accesses the web server 300 (S30).

3차원 이미지 생성 및 디스플레이 장치(200)는 웹서버(300)로부터 전송된 웹페이지에 3차원 메시 파일 형태의 3차원 이미지가 포함(링크 또는 임베딩)되어 있는 지를 확인한다(S32).The 3D image generating and display apparatus 200 checks whether the 3D image in the form of a 3D mesh file is included (linked or embedded) in the web page transmitted from the web server 300 (S32).

상기 전송된 웹페이지에 3차원 메시 파일 형태의 3차원 이미지가 포함되어 있으면, 3차원 이미지 생성 및 디스플레이 장치(200)의 3차원 이미지 디스플레이 제어부는 3차원 메시 파일 포맷을 지원하는 3차원 그래픽 라이브러리를 이용할 수 있는 플러그인 또는 ActiveX 컨트롤 등과 같은 웹브라우저 연동 응용 프로그램이 설치되어 있는 지를 확인한다. 웹브라우저 연동 응용 프로그램이 설치되어 있지 않으면 3차원 이미지 생성 및 디스플레이 장치(200)의 3차원 이미지 디스플레이 제어부는 상기 웹페이지에 포함된 웹브라우저 연동 응용프로그램의 정보를 참조하여 웹 서버(300)로부터 웹브라우저 연동 응용프로그램을 다운로드하여 설치한다. 플러그인 프로그램의 다운로드는 사용자의 지시 없이 자동적으로 이루어질 수도 있고 사용자의 확인 과정을 거쳐 이루어질 수도 있다(S34).If the transmitted web page includes a 3D image in the form of a 3D mesh file, the 3D image display control unit of the 3D image generation and display apparatus 200 may include a 3D graphic library supporting a 3D mesh file format. Make sure you have a web browser-linked application, such as an available plug-in or ActiveX control, installed. If the web browser interlocking application is not installed, the 3D image display control unit of the 3D image generating and display apparatus 200 may refer to the information of the web browser interlocking application included in the web page, and then display the web from the web server 300. Download and install the browser interlocking application. The download of the plug-in program may be automatically performed without a user's instruction or may be performed through a user's confirmation process (S34).

3차원 이미지 생성 및 디스플레이 장치(200)의 3차원 이미지 디스플레이 제어부에서 웹 브라우저는 설치된 플러그인 프로그램과 연동하여 3차원 그래픽 라이브러리를 이용하게 된다. 도 9와 같이 웹브라우저를 통하여 게시된 3차원 이미지의 객체를 사용자가 이리 저리 회전시켜서 바라보기 위한 사용자의 조작 신호가 입력되면, 웹브라우저는 사용자의 조작 신호를 플러그인 프로그램(또는 Active X 컨트롤 프로그램)에게 전송하고, 플러그인 프로그램은 3차원 그래픽라이브러리에게 상기 사용자 조작 신호를 전달하고 3차원 이미지의 객체를 상기 사용자 조작 신호에 따라 다양한 방향으로 회전시켜서 디스플레이 하도록 명령한다. 그러면 3차원 그래픽라이브러리는 플러그인 프로그램의 명령에 따라 3차원 메시 파일 형태의 3차원 이미지의 객체를 다양한 각도로 회전시켜서 디스플레이하게 된다(S36).In the 3D image display control unit of the 3D image generating and display apparatus 200, the web browser uses the 3D graphic library in conjunction with the installed plug-in program. As shown in FIG. 9, when a user's operation signal for viewing and rotating an object of a 3D image posted through a web browser is displayed, the web browser sends a user's operation signal to a plug-in program (or an Active X control program). The plug-in program transmits the user manipulation signal to the 3D graphics library and instructs the object of the 3D image to be rotated and displayed in various directions according to the user manipulation signal. Then, the 3D graphics library rotates and displays the object of the 3D image in the form of a 3D mesh file at various angles according to a command of the plug-in program (S36).

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 개시된 실시예들은 본 발명을 한정하는 것이 아니라 본 발 명을 설명하기 위한 것이다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. The disclosed embodiments are not intended to limit the invention but to illustrate the invention. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

도 1은 본 발명의 실시예에 의한 3차원 이미지 생성 및 디스플레이 장치의 구성을 나타내는 도면.1 is a view showing the configuration of a three-dimensional image generation and display device according to an embodiment of the present invention.

도 2는 본 발명에 의한 3차원 이미지 생성부의 상세한 구성의 일예를 나타내는 도면.2 is a view showing an example of a detailed configuration of a three-dimensional image generating unit according to the present invention.

도 3은 본 발명의 실시예에 의한 3차원 이미지 생성 방법을 나타내는 도면.3 is a view showing a three-dimensional image generating method according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 의한 3차원 이미지 디스플레이 방법을 나타내는 도면.4 is a view showing a three-dimensional image display method according to an embodiment of the present invention.

도 5는 3차원 객체의 전,후,좌,우,상,하의 촬영 방향을 나타내는 도면.5 is a view showing the photographing direction of the front, rear, left, right, up, down of the three-dimensional object.

도 6a는 3차원 객체의 전면 2차원 이미지를 나타내며, 도 6b는 3차원 객체의 후면 2차원 이미지를 나타내고, 도 6c는 3차원 객체의 좌면 2차원 이미지를 나타내며, 도 6d는 3차원 객체의 우면 2차원 이미지를 나타내고, 도 6e는 3차원 객체의 상면 2차원 이미지를 나타내고, 도 6f는 3차원 객체의 하면 2차원 이미지를 나타내는 도면.FIG. 6A shows a front two-dimensional image of the three-dimensional object, FIG. 6B shows a rear two-dimensional image of the three-dimensional object, FIG. 6C shows a left two-dimensional image of the three-dimensional object, and FIG. 6D shows a right side of the three-dimensional object. FIG. 6E illustrates a top two-dimensional image of a three-dimensional object, and FIG. 6F illustrates a bottom two-dimensional image of a three-dimensional object.

도 7은 3차원 형상정보 생성부에 의하여 생성된 전면 2차원 이미지데이터의 3차원 형상 정보를 나타내는 도면.FIG. 7 is a diagram illustrating three-dimensional shape information of front two-dimensional image data generated by the three-dimensional shape information generating unit. FIG.

도 8은 3차원 좌표계에서 상기 생성된 전면 2차원 이미지데이터의 3차원 형상정보가 회전 변환된 상태를 나타내는 도면.8 is a diagram illustrating a state in which three-dimensional shape information of the generated front two-dimensional image data is rotated and converted in a three-dimensional coordinate system.

도 9는 본 발명에 의한 3차원 메시 파일 형태의 3차원 이미지가 웹브라우저를 통하여 게시된 상태를 나타내는 도면.9 is a view showing a state in which a three-dimensional image in the form of a three-dimensional mesh file according to the present invention posted through a web browser.

** 도면의 주요부분에 대한 부호의 설명**** Explanation of symbols for the main parts of the drawings **

50: 2차원 이미지 생성부 50: two-dimensional image generation unit

100,200: 3차원 이미지 생성 및 디스플레이장치100,200: 3D image generation and display device

300: 웹 서버 110: 3차원 이미지 생성부300: Web server 110: 3D image generating unit

120: 제어부 130: 메모리120: control unit 130: memory

140: 통신부 150: 3차원 이미지 디스플레이 제어부140: communication unit 150: 3D image display control unit

160: 디스플레이부 170: 입력부160: display unit 170: input unit

Claims (7)

객체에 대하여 각기 다른 다양한 방향에서 촬영된 다수개의 2차원 이미지로부터 다수개의 2차원 이미지 데이터를 생성하는 과정과;Generating a plurality of two-dimensional image data from a plurality of two-dimensional images photographed in various directions with respect to the object; 상기 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상정보를 추정하는 과정과; Estimating three-dimensional shape information for each of the plurality of two-dimensional image data; 상기 추정된 각 2차원 이미지데이터의 3차원 형상정보를 보정하는 과정과;Correcting three-dimensional shape information of each of the estimated two-dimensional image data; 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하는 과정과;Generating three-dimensional object shape information by synthesizing three-dimensional shape information of each of the corrected two-dimensional image data; 상기 생성된 3차원 객체 형상정보를 3차원 그래픽 라이브러리 또는 인터넷 가상현실이 지원되는 포맷의 3차원 메시 파일로 매핑하여 3차원 이미지를 생성하는 과정으로 이루어지는 것을 특징으로 하는 3차원 이미지 생성 방법.And generating a three-dimensional image by mapping the generated three-dimensional object shape information to a three-dimensional mesh file of a format supported by a three-dimensional graphic library or an internet virtual reality. 청구항 1에 있어서, 상기 다수개의 2차원 이미지데이터 각각에 대하여 3차원 형상정보를 추정하는 과정은,The method of claim 1, wherein estimating three-dimensional shape information with respect to each of the plurality of two-dimensional image data includes: 각기 다른 다양한 방향에서 촬영된 상기 다수개의 2차원 이미지데이터 각각에 대하여 광원을 추정하는 과정, 및Estimating a light source for each of the plurality of two-dimensional image data photographed from different directions; and 상기 추정된 광원을 기준으로 각 2차원 이미지데이터의 각 픽셀의 명암(shading)과 밝기(brightness) 정보를 추출하여 각 2차원 이미지데이터의 3차원 형상 정보를 추정하는 과정으로 이루어지는 것을 특징으로 하는 3차원 이미지 생성 방법.And extracting shading and brightness information of each pixel of each two-dimensional image data based on the estimated light source, and estimating three-dimensional shape information of each two-dimensional image data. How to create a dimensional image. 청구항 1에 있어서, 상기 각 2차원 이미지데이터의 3차원 형상정보를 보정하는 과정은,The method of claim 1, wherein the correcting the three-dimensional shape information of each of the two-dimensional image data, 상기 각 2차원 이미지데이터의 3차원 형상정보를 병진 변환하는 과정과,Translating the three-dimensional shape information of each of the two-dimensional image data; 상기 각 2차원 이미지데이터의 3차원 형상정보를 각 2차원 이미지의 촬영된 방향에 대응되도록 회전 변환하는 과정, 및Rotationally converting the 3D shape information of each 2D image data to correspond to the photographed direction of each 2D image, and 상기 각 2차원 이미지데이터의 3차원 형상정보의 크기 간 오차를 보정하기 위하여 상기 각 2차원 이미지데이터의 3차원 형상정보를 스케일링 변환하는 과정으로 구성되는 것을 특징으로 하는 3차원 이미지 생성 방법.And scaling the three-dimensional shape information of each of the two-dimensional image data in order to correct an error between the sizes of the three-dimensional shape information of the two-dimensional image data. 청구항 1에 있어서, 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하는 과정은,The process of claim 1, wherein the three-dimensional object shape information is generated by synthesizing three-dimensional shape information of each of the corrected two-dimensional image data. 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보 간에 인접하여 공통되는 형상정보를 보정한 후 공통 중복된 형상정보를 제거하는 과정, 및Correcting common shape information between three-dimensional shape information of each of the corrected two-dimensional image data, and then removing common overlapping shape information; and 상기 공통 중복된 형상정보가 제거된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하는 과정으로 이루어지는 것을 특징으로 하는 3차원 이미지 생성 방법.And generating three-dimensional object shape information by synthesizing three-dimensional shape information of each two-dimensional image data from which the common overlapping shape information is removed. 3차원 객체에 대하여 각기 다른 다양한 방향에서 촬영된 다수개의 2차원 이미지로부터 다수개의 2차원 이미지데이터를 생성하는 2차원 이미지 생성부와;A two-dimensional image generator for generating a plurality of two-dimensional image data from the plurality of two-dimensional images photographed in various directions with respect to the three-dimensional object; 상기 생성된 각기 다른 다양한 방향의 2차원 이미지데이터 각각에 대하여 3차원 형상 정보를 생성하는 3차원 형상정보 생성부와, 상기 생성된 각 2차원 이미지데이터의 3차원 형상정보를 보정하는 3차원 형상정보 보정부와, 상기 보정된 각 2차원 이미지데이터의 3차원 형상정보를 합성하여 3차원 객체 형상정보를 생성하는 형상정보 합성부, 및 상기 생성된 3차원 객체 형상정보를 3차원 그래픽 라이브러리 또는 인터넷 가상현실이 지원되는 포맷으로 매핑하여 3차원 메시 파일 형태의 3차원 이미지를 생성하는 3차원 이미지 매핑부로 구성되는 3차원 이미지 생성부와;A three-dimensional shape information generation unit for generating three-dimensional shape information for each of the generated two-dimensional image data in different directions, and three-dimensional shape information for correcting the three-dimensional shape information of each of the generated two-dimensional image data; A correction unit, a shape information synthesizing unit configured to synthesize 3D shape information of each of the corrected 2D image data to generate 3D object shape information, and the generated 3D object shape information into a 3D graphic library or an Internet virtual A three-dimensional image generator comprising a three-dimensional image mapping unit configured to generate a three-dimensional image in the form of a three-dimensional mesh file by mapping in a format supported by reality; 상기 생성된 3차원 메시 파일 형태의 3차원 이미지를 저장하는 메모리와;A memory for storing a 3D image in the form of the generated 3D mesh file; 상기 3차원 메시 파일 형태의 3차원 이미지가 웹서버로부터 전송된 웹페이지에 포함되어 있으면 상기 3차원 메시 파일 포맷을 지원하는 3차원 그래픽라이브러리를 이용할 수 있는 웹브라우저 연동 응용 프로그램을 설치하고 사용자의 조작 신호에 따라 원하는 방향으로 3차원 이미지의 객체가 회전되면서 디스플레이되도록 제어하는 3차원 이미지 디스플레이 제어부와;If the 3D image in the form of the 3D mesh file is included in the web page transmitted from the web server, install a web browser interlocking application that can use the 3D graphics library supporting the 3D mesh file format and operate the user. A 3D image display control unit which controls the object of the 3D image to be displayed while being rotated in a desired direction according to the signal; 상기 웹서버와 통신하는 통신부와;A communication unit communicating with the web server; 상기 사용자의 조작 신호를 수신하는 입력부와;An input unit to receive a manipulation signal of the user; 상기 3차원 이미지 디스플레이 제어부의 제어에 따라 상기 3차원 이미지를 회전하면서 디스플레이하는 디스플레이부; 및A display unit configured to rotate and display the 3D image under the control of the 3D image display controller; And 상기 3차원 메시 파일 형태의 3차원 이미지를 생성하고 상기 3차원 메시 파일 형태의 3차원 이미지를 상기 사용자의 조작 신호에 따른 다양한 방향으로 회전시키면서 디스플레이하기 위하여, 상기 3차원 이미지 생성부, 상기 3차원 이미지 디스플레이 제어부, 상기 메모리, 상기 통신부, 상기 입력부, 및 상기 디스플레이부를 제어하는 제어부로 이루어지는 것을 특징으로 하는 3차원 이미지 생성 장치.The 3D image generating unit and the 3D to generate a 3D image in the form of the 3D mesh file and to display the 3D image in the form of the 3D mesh file in various directions according to the manipulation signal of the user. And an image display control unit, the memory unit, the communication unit, the input unit, and a control unit for controlling the display unit. 청구항 5에 있어서, 상기 3차원 형상정보 생성부는, The method of claim 5, wherein the three-dimensional shape information generation unit, 각기 다른 다양한 방향에서 촬영되어 획득된 상기 다수개의 2차원 이미지데이터 각각에 대하여 2차원 이미지의 광원을 추정하는 2차원 이미지 광원 추정부, 및 상기 추정된 광원을 기준으로 각 2차원 이미지데이터의 각 픽셀의 명암과 밝기 정보를 추출하여 각 2차원 이미지데이터의 3차원 형상 정보를 추정하는 3차원 형상정보 추정부를 구비하는 것을 특징으로 하는 3차원 이미지 생성 장치.A two-dimensional image light source estimator for estimating a light source of a two-dimensional image with respect to each of the plurality of two-dimensional image data obtained by photographing in different directions, and each pixel of each two-dimensional image data based on the estimated light source And a three-dimensional shape information estimator for estimating three-dimensional shape information of each two-dimensional image data by extracting the brightness and brightness information of the two-dimensional image data. 청구항 5에 있어서, 상기 3차원 형상정보 보정부는,The method of claim 5, wherein the three-dimensional shape information correction unit, 상기 추정된 각 2차원 이미지데이터의 3차원 형상정보를 병진 변환하는 3차원 형상정보 병진 변환부와,A three-dimensional shape information translation converter for translating three-dimensional shape information of each of the estimated two-dimensional image data; 상기 각 2차원 이미지데이터의 3차원 형상정보를 각 2차원 이미지의 촬영된 방향에 대응되도록 회전 변환하는 3차원 형상정보 회전 변환부, 및 A three-dimensional shape information rotation converter configured to rotate and convert the three-dimensional shape information of each of the two-dimensional image data to correspond to the photographed direction of each two-dimensional image; 상기 각 2차원 이미지데이터의 3차원 형상정보의 크기 간 오차를 보정하기 위하여 상기 각 2차원 이미지데이터의 3차원 형상정보를 스케일링 변환하는 3차원 형상정보 스케일링 변환부로 구성되는 것을 특징으로 하는 3차원 이미지 생성 장치.A three-dimensional image information scaling converter configured to scale-convert three-dimensional shape information of the two-dimensional image data to correct an error between the sizes of the three-dimensional shape information of the two-dimensional image data Generating device.
KR1020080036943A 2008-04-22 2008-04-22 Method for generating and rendering 3 dimensional image and apparatus thereof KR100926281B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080036943A KR100926281B1 (en) 2008-04-22 2008-04-22 Method for generating and rendering 3 dimensional image and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080036943A KR100926281B1 (en) 2008-04-22 2008-04-22 Method for generating and rendering 3 dimensional image and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20090111373A KR20090111373A (en) 2009-10-27
KR100926281B1 true KR100926281B1 (en) 2009-11-12

Family

ID=41539153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080036943A KR100926281B1 (en) 2008-04-22 2008-04-22 Method for generating and rendering 3 dimensional image and apparatus thereof

Country Status (1)

Country Link
KR (1) KR100926281B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587799B2 (en) 2015-11-23 2020-03-10 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101562658B1 (en) 2015-03-05 2015-10-29 한창엽 3d object modeling method and recording medium having computer program recorded using the same
KR20220078176A (en) * 2020-12-03 2022-06-10 삼성전자주식회사 Electronic device and Method for controlling the electronic device thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010036784A (en) * 1999-10-11 2001-05-07 김승우 The computer application software which includes the structures that can express the 2 dimensional images as like the 3 dimensional images, sound and texts, together.
JP2002333312A (en) 2001-05-09 2002-11-22 Sumitomo Rubber Ind Ltd Measurement method for three dimensional posture of sphere and measuring method for revolution rate and direction of revolution axis of sphere using the method
KR20040000613A (en) * 2002-06-22 2004-01-07 학교법인 중앙대학교 3D Reconstruction Algorithm from Direction Photographs
JP2006502508A (en) 2002-10-11 2006-01-19 ソノシン インコーポレイテッド 3D modeling system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010036784A (en) * 1999-10-11 2001-05-07 김승우 The computer application software which includes the structures that can express the 2 dimensional images as like the 3 dimensional images, sound and texts, together.
JP2002333312A (en) 2001-05-09 2002-11-22 Sumitomo Rubber Ind Ltd Measurement method for three dimensional posture of sphere and measuring method for revolution rate and direction of revolution axis of sphere using the method
KR20040000613A (en) * 2002-06-22 2004-01-07 학교법인 중앙대학교 3D Reconstruction Algorithm from Direction Photographs
JP2006502508A (en) 2002-10-11 2006-01-19 ソノシン インコーポレイテッド 3D modeling system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587799B2 (en) 2015-11-23 2020-03-10 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof
US10992862B2 (en) 2015-11-23 2021-04-27 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof

Also Published As

Publication number Publication date
KR20090111373A (en) 2009-10-27

Similar Documents

Publication Publication Date Title
US9288476B2 (en) System and method for real-time depth modification of stereo images of a virtual reality environment
JP5340952B2 (en) 3D projection display
EP0969418A2 (en) Image processing apparatus for displaying three-dimensional image
JP5366547B2 (en) Stereoscopic display device
WO2015123775A1 (en) Systems and methods for incorporating a real image stream in a virtual image stream
CN107016731B (en) Method and apparatus for voxelization of a grid
CN112215934A (en) Rendering method and device of game model, storage medium and electronic device
JP2006072903A (en) Image compositing method and device
JPH05174129A (en) Modeling apparatus for imaging three-dimensional model
JP2011030260A (en) Video signal processing device and virtual reality generation system
WO2017179432A1 (en) Image projection method and image projection device for three-dimensional object for projection
EP3435670A1 (en) Apparatus and method for generating a tiled three-dimensional image representation of a scene
KR100926281B1 (en) Method for generating and rendering 3 dimensional image and apparatus thereof
Fischer et al. A hybrid tracking method for surgical augmented reality
JP3126575B2 (en) 3D image generator for stereoscopic vision
JP4850676B2 (en) Image generating apparatus and image generating method
EP4235393A1 (en) Image processing device, image processing method, and image processing program
CA3155612A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
JP6978838B2 (en) Image processing device
JPH11328443A (en) System and method for generating three-dimensional panorama image and recording media therefor
CN113662663B (en) AR holographic surgery navigation system coordinate system conversion method, device and system
JP4098882B2 (en) Virtual reality generation apparatus and method
WO2021171982A1 (en) Image processing device, three-dimensional model generating method, learning method, and program
JP4006105B2 (en) Image processing apparatus and method
JP2005107968A (en) Image display device and method, and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121019

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee