KR100926348B1

KR100926348B1 - Apparatus for embodying 3D online shopping mall and display method thereby

Info

Publication number: KR100926348B1
Application number: KR1020090047220A
Authority: KR
Inventors: 정광모; 박영충; 최광순; 안양근; 서경학; 홍성희
Original assignee: 전자부품연구원
Priority date: 2009-05-29
Filing date: 2009-05-29
Publication date: 2009-11-10

Abstract

PURPOSE: A terminal device for realizing a non glasses type 3d online shopping mall and a display method thereof are provided to supply a stereoscopic and realistic online shopping mall to users, thereby removing cumbersome things about purchase of products. CONSTITUTION: A terminal device(100) includes a network interface module(130), a user interface module(140) and a control module(120). The network interface module receives a 2D image and a stereoscopic image from a server through a network. The display module displays a 2D image and a stereoscopic image. The user interface module receives a command of a user. The control module controls a network interface module to receive a stereoscopic image from a server. The control module controls a display module to display the stereoscopic image.

Description

Apparatus for embodying 3D online shopping mall and display method hence}

본 발명은 무안경식 3D 온라인 쇼핑몰 구현을 위한 단말 장치 및 이에 의한 디스플레이 방법에 관한 것으로, 상세하게는 온라인 쇼핑몰에서 판매되는 상품의 이미지를 실제와 같이 입체적으로 볼 수 있도록 하기 위한 단말 장치 및 이에 의한 디스플레이 방법에 관한 것이다.The present invention relates to a terminal device for implementing an autostereoscopic 3D online shopping mall and a display method thereof, and more particularly, to a terminal device for displaying an image of a product sold in an online shopping mall in a three-dimensional manner as in reality, and a display by the same. It is about a method.

도 1은 온라인 쇼핑몰의 웹페이지를 도시한 것이다.1 illustrates a web page of an online shopping mall.

현재 널리 사용되고 있는 온라인 쇼핑몰은 도 1에 도시한 바와 같이, LCD 디스플레이의 모니터에서 2D 웹기반으로 주로 운영되고 있다. 이러한 2D 기반 쇼핑몰에 따르면 사용자는 상품을 실제와 같이 볼 수 없기 때문에 상품의 선택에 있어 어려움을 겪게 된다. 일부 온라인 쇼핑몰의 경우 3D로 렌더링된 2D 그래픽 화면을 제공하고 있으나 이는 완전한 입체 영상이 아니기 때문에 앞서 제기한 문제를 완전히 해결할 수는 없다.The online shopping mall which is widely used at present is mainly operated based on 2D web in the monitor of the LCD display as shown in FIG. 1. According to such a 2D-based shopping mall, a user may have difficulty in selecting a product because the user cannot see the product as it is. Some online shopping malls offer 2D graphics rendered in 3D, but since this is not a complete stereoscopic image, the above-mentioned problem cannot be completely solved.

등록실용신안공보 제20-399815호(발명의 명칭: 3D 입체(온라인)쇼핑몰)는 온 라인 쇼핑몰에 표현된 상품, 이미지, 광고 , 기타 내용 등을 3D 입체로 표현 형성하는 3D 입체 온라인 쇼핑몰 형성, 제작에 관한 것으로서, 온라인 쇼핑 때마다 특수한 3D 안경을 착용하여야 하는 큰 불편함이 있다. 또한, 입체적으로 보이는 상품을 손으로 직접 조작하여 상하좌우를 돌려 볼 수 없기 때문에 실감나는 쇼핑을 할 수 없다.Registered Utility Model Publication No. 20-399815 (name of the invention: 3D stereoscopic (online) mall) is to form a 3D stereoscopic online shopping mall that forms products, images, advertisements, and other contents expressed in online shopping malls in 3D stereoscopic form, As for the production, there is a great inconvenience of having to wear special 3D glasses every time online shopping. In addition, it is impossible to make realistic shopping because it is not possible to directly rotate the products that are seen in three dimensions by turning them up, down, left, and right.

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 3D 안경을 착용하지 않고서도 사용자가 원하는 상품 등의 이미지를 입체적으로 볼 수 있도록 하는 무안경식 3D 온라인 쇼핑몰 구현을 위한 단말 장치 및 이에 의한 디스플레이 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above-described problems, a terminal device for implementing an autostereoscopic 3D online shopping mall so that a user can view an image of a desired product in three dimensions without wearing 3D glasses, and a display method therefor. The purpose is to provide.

전술한 목적을 달성하기 위해 본 발명의 무안경식 3D 온라인 쇼핑몰 구현을 위한 단말 장치는 네트워크를 통해 서버로부터 2차원 영상 및 입체 영상을 수신하기 위한 네트워크 인터페이스 모듈; 2차원 영상 및 입체 영상을 표시하기 위한 디스플레이 모듈; 사용자의 명령을 입력받기 위한 사용자 인터페이스 모듈; 및 상기 사용자 인터페이스 모듈로부터 입력받은 사용자의 입체 영상 표시 명령에 따라 입체 영상을 상기 서버로부터 수신하도록 상기 네트워크 인터페이스 모듈을 제어하고, 화면상에 상기 네트워크 인터페이스 모듈이 수신한 입체 영상이 표시되도록 상기 디스플레이 모듈을 제어하는 제어 모듈을 포함하여 이루어진다.In order to achieve the above object, a terminal device for implementing an autostereoscopic 3D online shopping mall of the present invention includes a network interface module for receiving a 2D image and a 3D image from a server through a network; A display module for displaying a 2D image and a 3D image; A user interface module for receiving a command of a user; And controlling the network interface module to receive a stereoscopic image from the server according to a stereoscopic image display command of the user input from the user interface module, and display the stereoscopic image received by the network interface module on a screen. It includes a control module for controlling the.

상기 사용자 인터페이스 모듈은 사용자 지시수단의 공간상에서의 움직임을 감지하는 공간 센싱 모듈을 포함하여 이루어질 수 있다.The user interface module may include a space sensing module that detects a movement in space of a user indicating means.

상기 제어 모듈은 상기 공간 센싱 모듈로부터 입력되는 감지 신호에 따라 상기 디스플레이 모듈을 제어하여 입체 영상을 변화시킬 수 있다.The control module may change the stereoscopic image by controlling the display module according to a sensing signal input from the spatial sensing module.

상기 디스플레이 모듈은 좌영상 및 우영상을 비월 주사(interlace scanning) 하는 것이 될 수 있다.The display module may be interlace scanning of a left image and a right image.

상기 디스플레이 모듈은 패럴랙스 베리어(parallax barrier) 혹은 렌티큘러(lenticular) 방식을 이용하여 영상을 입체적으로 표시할 수 있다.The display module may display an image in three dimensions by using a parallax barrier or a lenticular method.

본 발명에 따른 디스플레이 방법은 네트워크를 통해 서버에 접속 가능하고 영상을 입체적으로 표시 가능한 단말 장치에 의해 수행되며, 상기 서버로부터 2차원 영상을 수신하여 표시하는 단계; 사용자의 입체 영상 표시 명령에 따라 입체 영상을 상기 서버로부터 수신하는 단계; 및 상기 2차원 영상이 표시되고 있는 화면상에 입체 영상을 표시하는 단계를 포함하여 이루어진다.The display method according to the present invention is performed by a terminal device which can be connected to a server via a network and can display an image in three dimensions, receiving and displaying a 2D image from the server; Receiving a stereoscopic image from the server according to a stereoscopic image display command of a user; And displaying a stereoscopic image on a screen on which the 2D image is displayed.

상기 단말 장치는 사용자 지시수단의 공간상에서의 움직임 감지가 가능한 것이 될 수 있다. 그렇다면, 본 발명에 따른 디스플레이 방법은 상기 사용자 지시수단의 움직임이 감지되면 상기 표시되는 입체 영상을 변화시키는 단계를 더 포함하여 이루어질 수 있다.The terminal device may be capable of detecting a motion in the space of the user indicating means. If so, the display method according to the present invention may further comprise changing the displayed stereoscopic image when the movement of the user indicating means is detected.

본 발명의 무안경식 3D 온라인 쇼핑몰 구현을 위한 단말 장치 및 이에 의한 디스플레이 방법에 따르면, 사용자들에게 보다 입체적이고 실감나는 온라인 쇼핑몰을 제공할 수 있는 효과가 있다.According to a terminal device for implementing an autostereoscopic 3D online shopping mall of the present invention and a display method thereof, there is an effect that a user can provide a three-dimensional and realistic online shopping mall.

이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 무안경식 3D 온라인 쇼핑몰 구현을 위한 단말 장치 및 이에 의한 디스플레이 방법에 대해서 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the terminal device and the display method therefor for implementing the glasses-free 3D online shopping mall according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 무안경식 3D 온라인 쇼핑몰 구현을 위한 단말 장치의 블록 구성도이다.2 is a block diagram of a terminal device for implementing an autostereoscopic 3D online shopping mall according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 본 발명에 따른 단말 장치(100)는 디스플레이 모듈(110), 제어 모듈(120), 네트워크 인터페이스 모듈(130), 사용자 인터페이스 모듈(140), 키보드(160) 및 마우스(170)를 포함하여 이루어질 수 있다.As shown in FIG. 2, the terminal device 100 according to the present invention includes a display module 110, a control module 120, a network interface module 130, a user interface module 140, a keyboard 160 and a mouse. And 170.

디스플레이 모듈(110)은 2차원 영상 및 입체 영상(3차원 공간에 있는 것처럼 보이는 영상)을 표시한다. 입체 영상의 표시는 패럴랙스 베리어(parallax barrier) 혹은 렌티큘러(lenticular) 방식으로 가능하다. 주지되어 있는 바와 같이, 패럴랙스 베리어 방식은 좌우의 영상이 시차 장벽 뒤에 놓이게 하여 좌우에 각각 다른 영상이 보이게 함으로써 입체감을 느끼게 하는 방식이고, 렌티큘러 방식은 디스플레이 화면 앞에 렌티큘러판을 부착하여 좌측 눈에는 좌영상만 우측 눈에는 우영상만 보이도록 함으로써 입체감을 느끼게 하는 방식이다.The display module 110 displays two-dimensional images and three-dimensional images (images that appear to be in three-dimensional space). The display of a stereoscopic image may be performed using a parallax barrier or a lenticular method. As is well known, the parallax barrier method allows the left and right images to lie behind the parallax barrier so that different images appear on the left and right sides, and the lenticular method attaches a lenticular plate in front of the display screen to the left eye. Only the image is shown in the right eye, so that the right image is a three-dimensional feeling.

도 3 및 도 4는 2D/3D 혼합형 디스플레이 방법을 설명하기 위한 개념도이다.3 and 4 are conceptual views illustrating a 2D / 3D mixed display method.

도 3에 도시한 바와 같이, 디스플레이 모듈(110)은 스테레오 카메라로 촬영한 좌영상과 우영상을 비월 주사(interlace scanning)하게 된다. 그러면, 사용자는 패럴랙스 베리어 혹은 렌티큘러를 통해, 깊이감이 있는 입체 영상을 볼 수 있게 된다. 여기서, 좌우영상이 양안 시차(disparity)가 제로인 이미지 즉, 좌영상과 우영상이 동일한 것인 경우에는 사용자는 입체 영상이 아니라 일반적인 2차원 영상을 보게 된다. 즉, 화면의 일부분에는 양안 시차가 있는 이미지 즉, 스테레오 카메라로 촬영한 이미지가 표시되고 화면의 다른 부분에는 양안 시차(disparity)가 제로 인 이미지가 표시된다면, 사용자는 도 4에 도시한 바와 같이, 한 화면을 통해 2차원 및 입체 영상을 동시에 볼 수 있게 된다.As shown in FIG. 3, the display module 110 performs interlace scanning of a left image and a right image captured by a stereo camera. Then, the user can view a three-dimensional image with a sense of depth through the parallax barrier or lenticular. Here, when the left and right images are images having binocular disparity of zero, that is, the left image and the right image are the same, the user sees a general two-dimensional image, not a stereoscopic image. That is, if a part of the screen displays an image with binocular disparity, that is, an image taken by a stereo camera, and an image with a binocular disparity of zero is displayed on another part of the screen, as shown in FIG. Two-dimensional and three-dimensional images can be viewed simultaneously through one screen.

사용자 인터페이스 모듈(140)은 사용자의 명령을 입력받기 위한 것으로서, 도 2에 도시한 바와 같이 사용자 지시수단(예컨대, 손끝이나 펜)의 공간상에서의 움직임을 감지하는 공간 센싱 모듈(150)을 포함하여 이루어질 수 있다.The user interface module 140 is for receiving a user's command, and as shown in FIG. 2, the user interface module 140 includes a space sensing module 150 for detecting a movement in space of a user indicating means (eg, a fingertip or a pen). Can be done.

도 5 및 도 6은 본 발명의 일 실시예에 따른 공간 센싱 모듈의 블록 구성도이다.5 and 6 are block diagrams of a space sensing module according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 본 발명의 공간 센싱 모듈(150)은 스크린상의 감지 공간(10) 내에 사용자 지시수단이 진입하는 깊이를 감지하는 깊이 센서(151)와, 사용자 지시수단이 감지 공간(10)으로 진입한 위치의 공간 좌표를 계산하는 공간좌표 계산부(152)와, 공간좌표 계산부(152)에 의해 계산된 위치 좌표에 해당하는 기능 실행 이벤트(예컨대, 마우스 이벤트)를 발생시키는 이벤트 발생부(153)을 포함하여 이루어 질 수 있다.As shown in FIG. 5, the space sensing module 150 of the present invention includes a depth sensor 151 for detecting a depth at which the user indicating means enters the sensing space 10 on the screen, and the user indicating means includes a sensing space ( 10) an event for generating a function coordinate event (e.g., a mouse event) corresponding to the position coordinate calculated by the spatial coordinate calculation unit 152 and the position coordinate calculated by the spatial coordinate calculation unit 152. It may be made to include the generator 153.

깊이 센서(151; depth sensor)는 감지공간(10)의 외부에서 내부로의 사용자 지시수단의 진입 깊이를 감지하는 이미지 센서 일명, 3D 카메라일 수 있다.The depth sensor 151 may be an image sensor, a 3D camera, which detects an entry depth of a user indicating means from outside of the sensing space 10 to the inside.

여기서, 감지 공간(10)은 스크린 상의 3차원 공간으로서, 깊이 센서(151)가 사용자 지시수단의 진입 여부를 감지하는 영역이다. 또한, 감지 공간(10)은 스크린의 크기 혹은 깊이 센서(151)의 감지 가능 범위 등에 의해 결정될 수 있다. 또한, 감지 공간(10)은 예컨대, 직사각형인 스크린의 형태에 대응되는 직육면체 형태로 구성되는 것이 바람직하다.Here, the sensing space 10 is a three-dimensional space on the screen, and the depth sensor 151 detects whether the user indicating means has entered. In addition, the sensing space 10 may be determined by the size of the screen or the detectable range of the depth sensor 151. In addition, the sensing space 10 is preferably configured in the form of a rectangular parallelepiped corresponding to the shape of a rectangular screen.

한편, 깊이 센서(151)가 감지 공간(10) 내로 진입하는 물체의 깊이를 256 단계로 감지한다면, 깊이 센서(110)는 감지 공간(10)의 일 측면을 0 단계(스크린에 대해 최대거리)로 감지 공간(10)의 타 측면을 255 단계(스크린에 대해 최단거리)로 인지하는 것이다.On the other hand, if the depth sensor 151 detects the depth of the object entering the sensing space 10 in 256 steps, the depth sensor 110 detects one side of the sensing space 10 in 0 steps (maximum distance to the screen). The other side of the sensing space 10 is recognized in 255 steps (shortest distance to the screen).

공간좌표 계산부(152)는 사용자 지시수단이 감지공간(10) 내 진입한 위치에 대응되는 스크린의 위치 좌표를 계산한다. 이때, 스크린은 다수의 픽셀을 구비하며 픽셀 단위로 해석 가능하므로, 공간좌표 계산부(152)도 픽셀 단위로 위치 좌표를 계산하는 것이 바람직하다. 여기서, 위치 좌표는 스크린의 한 모서리를 기준으로, X축, Y축으로 해석되는 2차원 좌표일 수 있다.The spatial coordinate calculator 152 calculates the position coordinates of the screen corresponding to the position where the user indicating means enters the sensing space 10. In this case, since the screen includes a plurality of pixels and can be interpreted in pixel units, it is preferable that the spatial coordinate calculator 152 also calculates position coordinates in pixel units. Here, the position coordinates may be two-dimensional coordinates which are interpreted as X-axis and Y-axis based on one corner of the screen.

공간좌표 계산부(152)는 도 6에 도시한 바와 같이, 깊이정보 취득부(152a), 데이터 분할부(152b), 라벨링부(152c), 위치 결정부(152d) 및 좌표 검출부(152e)를 포함하여 이루어진다.As shown in FIG. 6, the spatial coordinate calculation unit 152 uses the depth information acquisition unit 152a, the data division unit 152b, the labeling unit 152c, the positioning unit 152d, and the coordinate detection unit 152e. It is made to include.

깊이정보 취득부(152a)는 감지된 깊이에 대응되는 로우 데이터(raw data)를 픽셀 단위로 취득하는 것이다. 다시 말해, 깊이정보 취득부(152a)는 깊이센서(110)로부터 깊이 맵(depth map)을 로우 데이터 형태로 추출한다. The depth information acquisition unit 152a acquires raw data corresponding to the detected depth in units of pixels. In other words, the depth information acquisition unit 152a extracts a depth map from the depth sensor 110 in the form of a row data.

여기서, 로우 데이터는 소정 목적을 위한 처리가 되지 않은, 미가공 데이터로서 소정 주기 예컨대, 1초 단위로 업데이트되어 목적 달성을 위한 정보를 제공해 주는 것이다. 본 발명에 따른 로우 데이터는 감지공간(10) 내로 진입한 물체의 진입 깊이와 그에 대응되는 스크린의 위치 등의 정보를 제공한다. 또한, 위치 좌표가 스크린을 구성하는 픽셀 단위로 추출되므로, 로우 데이터도 픽셀 단위로 추출되는 것이 바람직하다.Here, the raw data is raw data that has not been processed for a predetermined purpose, and is updated in a predetermined period, for example, in units of 1 second, to provide information for achieving the purpose. The raw data according to the present invention provides information such as an entry depth of an object entering the sensing space 10 and a position of a screen corresponding thereto. In addition, since the position coordinates are extracted in units of pixels constituting the screen, it is preferable that the raw data is also extracted in units of pixels.

데이터 분할부(152b)는 로우 데이터를, 감지된 깊이가 임계 깊이 이상인 픽셀과 이하인 픽셀로 구분한다. 즉, 데이터 분할부(152b)는 픽셀이 나타내는 깊이값이 미리 정해 놓은 임계 깊이 이상이면 1로 표시하고, 임계 깊이 미만이면 0으로 표시하는 이진화 처리를 하는 것이다.The data divider 152b divides the raw data into pixels having a detected depth greater than or equal to a threshold depth and pixels having less than or equal to a threshold depth. That is, the data dividing unit 152b performs binarization processing if the depth value indicated by the pixel is greater than or equal to a predetermined threshold depth and is displayed as 1 if the depth value is less than the threshold depth.

라벨링부(152c)는 임계 깊이 이상인 픽셀에 대해 라벨링(labeling) 연산을 수행한다. 다시 말해, 라벨링부(152c)는 예컨대, 8-근방화소 라벨링 기법을 이용하여 1로 표시되는 영역들에 대해 각각 다른 번호를 붙여 이진 영상을 재구성한다. 여기서, 라벨링 연산은 영상처리 분야에서 널리 사용되는 기법이므로, 구체적인 설명은 생략한다.The labeling unit 152c performs a labeling operation on pixels having a threshold depth or more. In other words, the labeling unit 152c reconstructs the binary image by assigning different numbers to regions indicated by 1 using, for example, an 8-near pixel labeling technique. Here, since the labeling operation is a technique widely used in the image processing field, a detailed description thereof will be omitted.

위치 결정부(152d)는 라벨링된 영역들 중에서 임계 영역 이상인 영역을 사용자 지시수단의 진입 위치로 결정한다.The position determiner 152d determines an area that is equal to or larger than a threshold area among the labeled areas as the entry position of the user indicating means.

구체적으로, 위치 결정부(152d)는 라벨링된 영역들 중에서 임계 영역 이하인 영역(오브젝트)은 노이즈인 것으로 간주하여 제거하고, 임계 영역 이상인 오브젝트를 가상터치스크린을 터치한 손가락이나 사물로 간주하는 것이다.In detail, the positioning unit 152d regards an area (object) that is less than or equal to the critical area among the labeled areas as noise and removes the object that is greater than or equal to the critical area as a finger or an object that touches the virtual touch screen.

좌표 검출부(152e)는 진입 위치로 결정된 영역의 무게 중심을 검출하여 공간 좌표로 변환하는 것이다. 여기서, 무게 중심은 다양한 검출 방식을 사용하여 검출할 수 있다.The coordinate detector 152e detects the center of gravity of the area determined as the entry position and converts the center of gravity into spatial coordinates. Here, the center of gravity can be detected using various detection methods.

예컨대, 좌표 검출부(152e)는 위치 결정부(152d)에 의해 터치로 인식하고자 하는 오브젝트가 정해지면, 오브젝트의 X,Y 최소값과 X,Y 최대값의 중간값을 무게 중심으로 잡아서 터치의 해당좌표로 정한다.For example, when the object to be recognized as a touch is determined by the positioning unit 152d, the coordinate detecting unit 152e grabs the intermediate value between the X, Y minimum value and the X, Y maximum value of the object as the center of gravity, and corresponds to the corresponding coordinate of the touch. Decide on

도 7은 본 발명의 다른 실시예에 따른 공간 센싱 모듈의 블록 구성도이다.7 is a block diagram of a space sensing module according to another embodiment of the present invention.

도 7에 도시한 바와 같이, 본 발명의 공간 센싱 모듈(150)은 적외선을 발광하여 공간(10)상에 적외선 스크린을 생성하는 적외선 엘이디(LED) 어레이(154)와, 렌즈가 적외선 스크린을 향하도록 설치되는 적외선 카메라(156)와, 적외선 카메라(156)가 촬영한 흑백(gray scale) 영상에서 사용자 지시수단이 적외선 스크린을 터치한 위치를 인식하는 공간 터치 인식 모듈(155)을 포함하여 이루어질 수 있다.As shown in FIG. 7, the space sensing module 150 of the present invention includes an infrared LED (LED) array 154 that emits infrared rays to generate an infrared screen on the space 10, and a lens faces the infrared screen. And a spatial touch recognition module 155 for recognizing a position where the user indicating means touches the infrared screen in a gray scale image captured by the infrared camera 156. have.

적외선 스크린은 적외선 엘이디 어레이(154)에 의해 생성되는, 공간(10)상에 위치한 가상의 터치 스크린이다.The infrared screen is a virtual touch screen located on the space 10 that is created by the infrared LED array 154.

적외선 스크린의 가로 길이는 일렬로 배열된 적외선 LED 수에 의해 결정된다.The width of an infrared screen is determined by the number of infrared LEDs arranged in a line.

적외선 스크린의 테두리에는 사용자가 적외선 스크린의 윤곽을 쉽게 인지할 수 있도록 사각형 형태의 틀이 형성될 수 있다. 그렇다고 한다면, 적외선 엘이디 어레이(154)는 틀의 상단, 하단, 좌측 및 우측 중 어느 한 곳에 설치가 가능하다.A rectangular frame may be formed at the edge of the infrared screen so that a user may easily recognize the outline of the infrared screen. If so, the infrared LED array 154 can be installed in any one of the top, bottom, left and right of the frame.

적외선 엘이디 어레이(154)는 협각(좁은각) 적외선 LED로 구성되는 것이 바람직하다. 다시 말해, 적외선 엘이디 어레이(154)의 적외선 빔각(infrared beam angle)은 10도 이내인 것이 바람직하다. 여기서, 적외선 LED는 본 발명이 속하는 기술분야에서 널리 사용되는 반도체 소자이므로 그 구체적인 설명은 생략한다.The infrared LED array 154 is preferably composed of a narrow angle (narrow angle) infrared LED. In other words, the infrared beam angle of the infrared LED array 154 is preferably within 10 degrees. Here, since the infrared LED is a semiconductor device widely used in the technical field to which the present invention belongs, the detailed description thereof will be omitted.

적외선 카메라(156)는 주지되어 있는 바와 같이, 가시광선 영역을 컷오프(Cut-off)시키고 적외선 영역만을 패스(pass)시키는 필터가 내장되어 있는 것으 로서, 실내의 형광등 등에서 발하는 가시광선 및 적외선 스크린으로 투영된 입체 영상(three-dimensional image)을 차단하고 적외선만을 흑백(gray scale) 영상으로 촬영한다.As is well known, the infrared camera 156 has a built-in filter that cuts off the visible light region and passes only the infrared region. The infrared camera 156 is a visible light and infrared screen emitted from a fluorescent lamp in the room. The projected three-dimensional image is blocked and only infrared rays are captured as a gray scale image.

도 8은 본 발명에 따른 적외선 스크린 방식의 공간 터치를 인식하는 원리를 설명하기 위한 도면이다.8 is a view for explaining the principle of recognizing the spatial touch of the infrared screen method according to the present invention.

적외선 카메라(156)에서 촬영된 이미지는, 사용자 지시수단이 적외선 스크린 내에 진입하기 전에는 적외선 엘이디 어레이(154)에서 발광되는 적외선 때문에 검은색이다. 그러나, 사용자 지시수단이 적외선 스크린 내에 진입하게 되면, 그 곳에서 적외선이 산란(Scattering or Diffusing)하게 되어 도 8에 도시한 바와 같이, 사용자 지시수단이 위치한 곳이 밝게 보이게 된다. 결국, 밝게 보이는 이 부분을 화상 처리를 해서 중심점을 찾으면 적외선 스크린 상으로 공간 터치되는 X, Y 좌표를 찾을 수 있게 된다.The image captured by the infrared camera 156 is black due to the infrared light emitted from the infrared LED array 154 before the user indicating means enters the infrared screen. However, when the user instructing means enters the infrared screen, infrared rays are scattered or scattered therein, and as shown in FIG. 8, the place where the user instructing means is located becomes bright. Eventually, this brightly-looking part can be imaged to find the center point so that X, Y coordinates that are spatially touched on the infrared screen can be found.

공간 터치 인식 모듈(155)은 도 7에 도시한 바와 같이, 이진화부(155a), 평활화부(155b), 라벨링부(155c) 및 좌표 계산부(155d)를 포함하여 이루어질 수 있다.As shown in FIG. 7, the spatial touch recognition module 155 may include a binarization unit 155a, a smoothing unit 155b, a labeling unit 155c, and a coordinate calculation unit 155d.

이진화부(155a)는 적외선 카메라(156)가 촬영한 흑백 영상을 이진화 처리한다. 구체적으로, 이진화부(155a)는 적외선 카메라(156)가 촬영한 흑백 영상을 가지고, 화소별로 미리 정해진 임계(threshold) 값 이하는 화소값을 0(검정색)으로 조정하고 임계값 이상은 화소값을 255(흰색)으로 바꾸는 이진화 처리를 한다.The binarization unit 155a binarizes the black and white image captured by the infrared camera 156. Specifically, the binarization unit 155a has a black and white image captured by the infrared camera 156, and adjusts a pixel value equal to or less than a predetermined threshold value for each pixel to 0 (black) and sets the pixel value above the threshold value. The binarization process changes to 255 (white).

평활화부(155b)는 이진화부(155a)에 의해 이진화된 이진화 영상을 평활 화(smoothing) 처리하여 이진화 영상에서 노이즈를 제거한다.The smoothing unit 155b removes noise from the binarized image by smoothing the binarized image binarized by the binarization unit 155a.

라벨링부(155c)는 평활화부(155b)에 의해 평활화 처리된 이진화 영상에 대해 라벨링(labeling)을 수행한다. 구체적으로, 라벨링부(155c)는 화소값이 255로 조정된 픽셀에 대해 라벨링은 한다. 예컨대, 라벨링부(155c)는 8-근방화소 라벨링 기법을 이용하여 흰색인 영역(Blob)들에 대해 각각 다른 번호를 붙여 이진 영상을 재구성한다.The labeling unit 155c performs labeling on the binarized image smoothed by the smoothing unit 155b. Specifically, the labeling unit 155c labels the pixel whose pixel value is adjusted to 255. FIG. For example, the labeling unit 155c reconstructs the binary image by assigning different numbers to the white blobs using an 8-near pixel labeling technique.

좌표 계산부(155d)는 라벨링부(155c)에 의해 라벨링된 영역(blob)들 중에서 크기가 미리 정해진 임계치 이상인 영역의 중심 좌표를 계산한다. 구체적으로, 좌표 계산부(155d)는 임계치 이상인 영역을 적외선 스크린을 터치한 손가락이나 사물로 간주하여 해당 영역의 중심 좌표를 계산한다. 여기서, 중심 좌표는 다양한 검출 방식을 사용하여 검출할 수 있다. 예컨대, 좌표 계산부(155d)는 해당 영역의 X,Y 최소값과 X,Y 최대값의 중간값을 무게중심으로 잡아서 터치의 해당좌표로 정한다. 또한, 좌표 계산부(155d)는 임계치 이상인 영역이 다수인 경우, 가장 큰 영역에 대해서만 중심 좌표를 계산할 수도 있다.The coordinate calculation unit 155d calculates the center coordinates of an area whose size is greater than or equal to a predetermined threshold value among the areas blob labeled by the labeling unit 155c. Specifically, the coordinate calculation unit 155d calculates the center coordinates of the corresponding area by considering the area above the threshold as a finger or an object touching the infrared screen. Here, the center coordinates may be detected using various detection methods. For example, the coordinate calculator 155d determines the corresponding coordinates of the touch by grabbing the middle value between the minimum X and Y values and the maximum X and Y values of the corresponding area as the center of gravity. In addition, the coordinate calculation unit 155d may calculate the center coordinates only for the largest area when there are a plurality of areas greater than or equal to the threshold.

본 발명의 또 다른 실시에예 따른 공간 센싱 모듈(150)은 사용자의 지시수단이 감지 공간(10)에서 어느 부분에 위치하는지를 인식하여 이를 3차원 위치 정보로 해석하는 초음파센서를 포함하여 이루어질 수 있다.The space sensing module 150 according to another embodiment of the present invention may include an ultrasonic sensor for recognizing which part of the user's indicating means is located in the sensing space 10 and interpreting it as three-dimensional position information. .

네트워크 인터페이스 모듈(130)은 도 2에 도시한 바와 같이, 네트워크를 통해 쇼핑몰 서버(200)에 접속하여, 쇼핑몰 서버(200)로부터 2차원 영상 및 입체 영상을 수신한다. 여기서, 쇼핑몰 서버(200)는 스테레오 카메라로 여러 각도에서 촬 영한 입체적인 상품 이미지를 저장하고 있는 것이다.As illustrated in FIG. 2, the network interface module 130 accesses the shopping mall server 200 through a network and receives a 2D image and a stereoscopic image from the shopping mall server 200. Here, the shopping mall server 200 stores a three-dimensional product image photographed from various angles by a stereo camera.

제어 모듈(120)은 사용자 인터페이스 모듈(140)로부터 입력받은 사용자의 입체 영상 표시 명령에 따라, 입체 영상을 쇼핑몰 서버(200)로부터 수신하도록 네트워크 인터페이스 모듈(140)을 제어한다. 예컨대, 사용자가 마우스(170)나 키보드(160)를 이용하여 상품을 선택하게 되면, 네트워크 인터페이스 모듈(140)은 사용자가 선택한 상품에 해당하는 입체 영상을 수신하게 된다.The control module 120 controls the network interface module 140 to receive a stereoscopic image from the shopping mall server 200 according to a user's stereoscopic image display command received from the user interface module 140. For example, when a user selects a product using the mouse 170 or the keyboard 160, the network interface module 140 receives a stereoscopic image corresponding to the product selected by the user.

또한, 제어 모듈(120)은 화면 중 일부분을 통해 네트워크 인터페이스 모듈(140)이 수신한 입체 영상이 표시되도록 디스플레이 모듈(110)을 제어한다. 즉, 화면 일부분에서는 입체 영상이 표시되고 다른 부분에서는 2차원 영상(웹 페이지)가 표시된다.In addition, the control module 120 controls the display module 110 to display a stereoscopic image received by the network interface module 140 through a portion of the screen. That is, a stereoscopic image is displayed on a part of the screen and a two-dimensional image (web page) is displayed on the other part.

또한, 제어 모듈(120)은 공간 센싱 모듈(150)로부터 입력되는 감지 신호에 따라 디스플레이 모듈(110)을 제어하여 입체 영상을 변화시키게 된다. 즉, 본 발명에 따른 단말 장치(100)는 입체 영상 예컨대, 입체적으로 표시되는 상품 이미지를 손으로 직접 조작해 볼 수 있도록 하는 것이다.In addition, the control module 120 changes the stereoscopic image by controlling the display module 110 according to the sensing signal input from the spatial sensing module 150. That is, the terminal device 100 according to the present invention allows a user to directly manipulate a three-dimensional image, for example, a three-dimensional commodity image.

도 9는 본 발명의 일 실시예에 따른 디스플레이 방법을 설명하기 위한 흐름도이고, 도 10은 2D/3D 혼합형 웹 페이지 화면을 도시한 것이다.9 is a flowchart illustrating a display method according to an exemplary embodiment of the present invention, and FIG. 10 illustrates a 2D / 3D mixed web page screen.

네트워크 인터페이스 모듈(140)은 사용자의 명령에 따라 쇼핑몰 서버(200)에 접속하여 상품 정보를 수신하고, 이에 따라 디스플레이 모듈(110)은 수신한 상품 이미지를 표시한다(S101 및 S103).The network interface module 140 accesses the shopping mall server 200 to receive product information according to a user's command, and accordingly, the display module 110 displays the received product image (S101 and S103).

다음으로, 네트워크 인터페이스 모듈(140)은 사용자가 마우스 등을 이용하여 도 10에 도시한 바와 같이, 상품을 클릭하게 되면, 해당 상품의 입체 영상을 쇼핑몰 서버(200)로부터 수신하고(S105), 이에 따라 디스플레이 모듈(110)은 도 10에 도시한 바와 같이, 3D 팝업(pop-up) 창을 띄워 입체 영상을 표시하게 된다(S107).Next, when the user clicks a product as shown in FIG. 10 using a mouse or the like, the network interface module 140 receives a stereoscopic image of the corresponding product from the shopping mall server 200 (S105). Accordingly, as shown in FIG. 10, the display module 110 opens a 3D pop-up window to display a stereoscopic image (S107).

다음으로, 공간 센싱 모듈(150)은 예컨대, 30초 이내에 감지 공간(10)상에 사용자의 터치가 이루어졌는지를 판단한다(S109). 사용자가 도 10에 도시한 바와 같이, 입체적으로 표시되는 시계를 터치한 것으로 판단되면 제어 모듈(120)은 시계의 다른 부분이 표시되도록 디스플레이 모듈(110)을 제어하게 된다. 이에 따라, 사용자는 입체적으로 실감나게 보여지는 상품을 마치 직접 손에 들고 보는 것처럼 상품의 앞뒤상하를 돌려보면서 구경할 수 있게 된다. 한편, 30초 동안 사용자 터치가 감지되지 않는다면 입체 영상의 표시는 종료된다.Next, the space sensing module 150 determines whether a user's touch is made on the sensing space 10 within 30 seconds, for example (S109). As shown in FIG. 10, when it is determined that the user touches the watch displayed in three dimensions, the control module 120 controls the display module 110 to display another part of the watch. Accordingly, the user can look at the front and rear top and bottom of the product as if looking directly at the product realistically seen in three dimensions. On the other hand, if the user touch is not detected for 30 seconds, the display of the stereoscopic image is terminated.

본 발명의 무안경식 3D 온라인 쇼핑몰 구현을 위한 단말 장치 및 이에 의한 디스플레이 방법은 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.The terminal device and the display method therefor for implementing the autostereoscopic 3D online shopping mall of the present invention are not limited to the above-described embodiments, and various modifications can be made within the scope of the technical idea of the present invention.

도 9는 본 발명의 일 실시예에 따른 디스플레이 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a display method according to an embodiment of the present invention.

도 10은 2D/3D 혼합형 웹 페이지 화면을 도시한 것이다.10 illustrates a 2D / 3D mixed web page screen.

*** 도면의 주요 부분에 대한 부호의 설명 ****** Explanation of symbols for the main parts of the drawing ***

100: 무안경식 3D 온라인 쇼핑몰 구현을 위한 단말 장치100: terminal device for implementing the glasses-free 3D online shopping mall

110: 디스플레이 모듈 120: 제어 모듈110: display module 120: control module

130: 네트워크 인터페이스 모듈 140: 사용자 인터페이스 모듈130: network interface module 140: user interface module

150: 공간 센싱 모듈 160: 키보드150: space sensing module 160: keyboard

170: 마우스170: mouse

200: 쇼핑몰 서버200: shopping mall server

Claims

A network interface module for receiving a 2D image and a 3D image from a server through a network;

A display module for displaying a 2D image and a 3D image;

A user interface module for receiving a command of a user; And

Control the network interface module to receive a stereoscopic image from the server according to a stereoscopic image display command of the user input from the user interface module, and display the stereoscopic image received by the network interface module on a screen. Terminal device comprising a control module for controlling.

The method of claim 1, wherein the user interface module,

Terminal device characterized in that it comprises a space sensing module for detecting the movement in the space of the user indicating means.

The method of claim 2, wherein the control module,

And when the space sensing module senses a motion in the space of the user indicating means, controls the display module to change the stereoscopic image displayed by the display module.

The display module of claim 3, wherein the display module comprises:

Terminal device characterized in that for interlaced scanning of the left image and the right image (interlace scanning).

The display module of claim 4, wherein the display module comprises:

Terminal device characterized in that the parallax barrier (parallax barrier) or lenticular (lenticular) method.

It is performed by a terminal device that can access a server through a network and display images in three dimensions.

(A) receiving and displaying a 2D image from the server;

(B) receiving a stereoscopic image from the server according to a stereoscopic image display command of a user; And

And (c) displaying a stereoscopic image on a screen on which the 2D image is displayed.

The method of claim 6, wherein the terminal device is capable of detecting the movement in the space of the user indicating means,

And (d) changing the stereoscopic image displayed in the step (c) when the movement of the user indicating means is detected.

A computer-readable medium having recorded thereon a program for executing the display method of claim 6.