KR20120087738A - A system, a method for displaying a 3-dimensional image and an apparatus for processing a 3-dimensional image - Google Patents
A system, a method for displaying a 3-dimensional image and an apparatus for processing a 3-dimensional image Download PDFInfo
- Publication number
- KR20120087738A KR20120087738A KR1020110009118A KR20110009118A KR20120087738A KR 20120087738 A KR20120087738 A KR 20120087738A KR 1020110009118 A KR1020110009118 A KR 1020110009118A KR 20110009118 A KR20110009118 A KR 20110009118A KR 20120087738 A KR20120087738 A KR 20120087738A
- Authority
- KR
- South Korea
- Prior art keywords
- viewing
- stereoscopic image
- viewing area
- image
- users
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
- H04N13/315—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Abstract
Description
본 발명은 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치에 관한 것으로, 보다 상세하게는 입체영상을 디스플레이하는 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치에 관한 것이다.The present invention relates to a stereoscopic image display system, a stereoscopic image display method and a stereoscopic image processing apparatus, and more particularly, to a stereoscopic image display system for displaying a stereoscopic image, a stereoscopic image display method and a stereoscopic image processing apparatus.
최근 3 차원 영상을 표현하는 디스플레이 기술이 다양한 분야에서 연구 및 활용되고 있다. 특히 3차원 영상을 디스플레이하는 기술을 활용하여, 3차원 영상을 디스플레이하는 전자 장치가 주목을 받고 있다.Recently, display technology for representing 3D images has been researched and utilized in various fields. In particular, an electronic device displaying a 3D image by using a technology of displaying a 3D image is attracting attention.
3 차원 영상을 디스플레이하는 기술은 양안의 시차로 관찰자가 입체감을 느끼게 되는 양안 시차의 원리를 이용하는 것으로, 안경 방식(shutter glass method), 무안경 방식, 완전 3차원 방식 등으로 구분된다. 안경 방식에는 사용자가 별도의 편광 안경과 같은 별도의 장비를 착용해야 하는 문제점이 있으며, 무안경 방식에는 사용자가 특정 위치에서만 3차원 영상을 볼 수 있는 문제점이 있다. 따라서, 안경 방식 및 무안경 방식에는 여러 문제점들이 존재하므로, 최근에는 완전 3차원 방식에 대한 연구가 활발히 진행되고 있다.The technique of displaying a 3D image uses the principle of binocular parallax, in which an observer feels a stereoscopic feeling due to binocular disparity, and is classified into a shutter glass method, a glasses-free method, a full three-dimensional method, and the like. In the glasses method, the user has to wear separate equipment such as separate polarized glasses, and in the glassesless method, the user can see a 3D image only at a specific location. Therefore, since there are various problems in the spectacle method and the glasses-free method, the research on the full three-dimensional method has been actively conducted recently.
본 발명이 이루고자하는 기술적 과제는 시 거리에 맞추어 적절할 입체영상을 디스플레이 할 수 있는 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치를 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made in an effort to provide a stereoscopic image display system, a stereoscopic image display method, and a stereoscopic image processing apparatus capable of displaying a stereoscopic image appropriate to a viewing distance.
본 발명이 이루고자하는 다른 기술적 과제는 시 거리를 확장하기 위한 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치를 제공하는데 있다.Another object of the present invention is to provide a stereoscopic image display system, a stereoscopic image display method, and a stereoscopic image processing apparatus for extending a viewing distance.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 디스플레이 방법은, 복수의 사용자를 식별하는 단계, 상기 식별된 복수의 사용자의 시 거리를 인식하는 단계, 상기 인식된 시 거리를 기초로 하나 또는 하나 이상의 시청영역별로 상기 식별된 복수의 사용자를 그룹핑하는 단계, 상기 하나 또는 하나 이상의 시청영역 중 하나를 선택하는 단계, 및 상기 선택된 시청영역의 시 거리를 기초로 입체영상의 시 거리를 조절하는 단계를 포함할 수 있다. 여기서, 상기 복수의 사용자가 위치하는 배경은 하나 또는 하나 이상의 카메라로 촬상되고, 상기 시 거리는 상기 하나 또는 하나 이상의 카메라가 촬상한 영상 프레임을 통해 인식될 수 있다.In order to achieve the above technical problem, a stereoscopic image display method according to the present invention comprises the steps of: identifying a plurality of users, recognizing viewing distances of the identified plurality of users, based on the recognized viewing distance Or grouping the identified plurality of users by one or more viewing areas, selecting one of the one or more viewing areas, and adjusting a viewing distance of a stereoscopic image based on the viewing distance of the selected viewing area. It may include a step. Here, the background where the plurality of users are located may be captured by one or more cameras, and the viewing distance may be recognized through an image frame photographed by the one or more cameras.
상기 선택하는 단계는, 시청영역에 속한 사용자의 수를 기초로 신청영역을 선택하는 단계를 포함할 수 있다.The selecting may include selecting a subscription area based on the number of users belonging to the viewing area.
상기 선택하는 단계는, 상기 시청영역을 선택하기 위한 그래픽 사용자 인터페이스를 디스플레이하는 단계, 상기 시청영역을 선택하는 사용자 조치를 감지하는 단계 및 상기 감지된 사용자 조치가 지시하는 시청영역을 선택하는 단계를 포함할 수 있다.The selecting step includes displaying a graphical user interface for selecting the viewing area, detecting a user action of selecting the viewing area, and selecting a viewing area indicated by the detected user action. can do.
상기 그래픽 사용자 인터페이스는, 상기 복수의 사용자가 위치하는 배경을 입체영상으로 디스플레이하고, 상기 입체영상은 시청영역 선택 표시를 포함하고, 상기 시청영역 선택 표시는 연관된 시청영역에 속한 사용자가 위치하는 영역에 표시될 수 있다. 여기서 상기 하나 또는 하나 이상의 시청영역 중 가장 많은 사용자가 속한 시청영역과 연관된 시청영역 선택 표시가 하이라이트되어 디스플레이될 수 있다.The graphical user interface displays a background in which the plurality of users are located in a stereoscopic image, wherein the stereoscopic image includes a viewing area selection mark, and the viewing area selection mark is in a region where a user belonging to an associated viewing area is located. Can be displayed. Here, the viewing area selection display associated with the viewing area to which the most users belong to the one or more viewing areas may be highlighted and displayed.
상기 입체영상의 시 거리를 조절하는 단계는, 상기 선택된 시청영역의 시 거리를 이용하여 입체영상 픽셀 주기를 산출하는 단계, 상기 산출된 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정하는 단계, 및 상기 결정된 색에 따라 상기 입체영상을 디스플레이하는 단계를 포함할 수 있다.The adjusting of the viewing distance of the stereoscopic image may include calculating a stereoscopic image pixel period using the viewing distance of the selected viewing area, and a pixel and a sub pixel displaying the stereoscopic image using the calculated stereoscopic image pixel period. Determining at least one of the colors, and Displaying the stereoscopic image according to the determined color.
상기 색을 결정하는 단계는, 상기 산출된 입체영상 픽셀 주기를 이용하여 상기 입체영상에 대한 시점 마스크를 생성하는 단계, 및 상기 생성된 시점 마스크를 이용하여 상기 색을 결정하는 단계를 포함할 수 있다.The determining of the color may include generating a viewpoint mask for the stereoscopic image using the calculated stereoscopic image pixel period, and determining the color using the generated viewpoint mask. .
상기 시점 마스크를 생성하는 단계는, 상기 산출된 입체영상 픽셀 주기를 이용하여 픽셀 및 서브 픽셀 중 적어도 하나의 시점 번호를 산출하는 단계 및 상기 산출된 시점 번호를 이용하여 상기 시점 마스크를 생성하는 단계를 포함할 수 있다.The generating of the viewpoint mask may include calculating a viewpoint number of at least one of a pixel and a sub-pixel using the calculated stereoscopic image pixel period, and generating the viewpoint mask using the calculated viewpoint number. It may include.
상기 시점 번호는 상기 산출된 입체영상 픽셀주기, 초기 입체영상 픽셀주기 및 초기 시점 번호를 기초로 산출될 수 있다.The viewpoint number may be calculated based on the calculated stereoscopic image pixel period, initial stereoscopic image pixel period, and initial viewpoint number.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 처리 장치는 복수의 사용자를 식별하고, 상기 식별된 복수의 사용자의 시 거리를 인식하는 위치 추적부, 및 상기 인식된 시 거리를 기초로 하나 또는 하나 이상의 시청영역별로 상기 식별된 복수의 사용자를 그룹핑하고, 상기 하나 또는 하나 이상의 시청영역 중 하나를 선택하며, 상기 선택된 시청영역의 시 거리를 기초로 입체영상의 시 거리를 조절하는 영상 처리부를 포함할 수 있다. 여기서, 상기 복수의 사용자가 위치하는 배경은 하나 또는 하나 이상의 카메라로 촬상되고, 상기 위치 추적부는 상기 하나 또는 하나의 카메라가 촬상한 영상 프레임을 이용하여 상기 시 거리를 인식할 수 있다.In accordance with another aspect of the present invention, a stereoscopic image processing apparatus according to the present invention identifies a plurality of users and recognizes a viewing distance of the identified plurality of users, based on the recognized viewing distance. To group the identified plurality of users by one or more viewing areas, select one of the one or more viewing areas, and adjust a viewing distance of a stereoscopic image based on the viewing distance of the selected viewing area. It may include a processing unit. The background of the plurality of users may be photographed by one or more cameras, and the location tracking unit may recognize the viewing distance using an image frame photographed by the one or one camera.
상기 영상 처리부는, 시청영역에 속한 사용자의 수를 기초로 시청영역을 선택할 수 있다.The image processor may select a viewing area based on the number of users belonging to the viewing area.
상기 영상 처리부는, 상기 시청영역을 선택하기 위한 그래픽 사용자 인터페이스가 디스플레이되도록 제어하고, 상기 시청영역을 선택하는 사용자 조치를 감지하며, 상기 감지된 사용자 조치가 지시하는 시청영역을 선택할 수 있다.The image processor may control a graphic user interface for selecting the viewing area, detect a user action for selecting the viewing area, and select a viewing area indicated by the detected user action.
상기 그래픽 사용자 인터페이스는, 상기 복수의 사용자가 위치하는 배경을 입체영상으로 디스플레이하고, 상기 입체영상은 시청영역 선택 표시를 포함하고, 상기 시청영역 선택 표시는 연관된 시청영역에 속한 사용자가 위치하는 영역에 표시될 수 있다. 여기서 상기 하나 또는 하나 이상의 시청영역 중 가장 많은 사용자가 속한 시청영역과 연관된 시청영역 선택 표시가 하이라이트되어 디스플레이될 수 있다.The graphical user interface displays a background in which the plurality of users are located in a stereoscopic image, wherein the stereoscopic image includes a viewing area selection mark, and the viewing area selection mark is in a region where a user belonging to an associated viewing area is located. Can be displayed. Here, the viewing area selection display associated with the viewing area to which the most users belong to the one or more viewing areas may be highlighted and displayed.
상기 영상 처리부는, 상기 선택된 시청영역의 시 거리를 이용하여 입체영상 픽셀 주기를 산출하는 픽셀 주기 산출부, 상기 산출된 입체영상 픽셀 주기를 이용하여 상기 입체영상에 대한 시점 마스크를 생성하는 마스크 생성부 및 상기 생성된 시점 마스크를 이용하여 상기 색을 결정하는 다중화부를 포함할 수 있다.The image processor may include: a pixel period calculator configured to calculate a stereoscopic image pixel period using the viewing distance of the selected viewing area, and a mask generator configured to generate a viewpoint mask for the stereoscopic image using the calculated stereoscopic image pixel period And a multiplexer configured to determine the color by using the generated view mask.
상기 마스크 생성부는, 상기 산출된 입체영상 픽셀 주기를 이용하여 픽셀 및 서브 픽셀 중 적어도 하나의 시점 번호를 산출하고, 상기 산출된 시점 번호를 이용하여 상기 시점 마스크를 생성할 수 있다.The mask generator may calculate a viewpoint number of at least one of a pixel and a subpixel using the calculated stereoscopic image pixel period, and generate the viewpoint mask using the calculated viewpoint number.
상기 시점 번호는 상기 산출된 입체영상 픽셀주기, 초기 입체영상 픽셀주기 및 초기 시점 번호를 기초로 산출될 수 있다.The viewpoint number may be calculated based on the calculated stereoscopic image pixel period, initial stereoscopic image pixel period, and initial viewpoint number.
상기 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 디스플레이 시스템은 복수의 사용자가 위치하는 배경을 촬상하는 하나 또는 하나 이상의 카메라, 상기 촬상된 배경에 포함된 복수의 사용자를 식별하고, 상기 식별된 복수의 사용자의 시 거리를 인식하는 위치 추적부, 상기 인식된 시 거리를 기초로 하나 또는 하나 이상의 시청영역별로 상기 식별된 복수의 사용자를 그룹핑하고, 상기 하나 또는 하나 이상의 시청영역 중 하나를 선택하며, 상기 선택된 시청영역의 시 거리를 기초로 입체영상의 시 거리를 조절하는 영상 처리부, 및 상기 입체영상을 디스플레이하는 디스플레이를 포함할 수 있다.In accordance with another aspect of the present invention, there is provided a stereoscopic image display system according to the present invention, wherein one or more cameras photographing a background of a plurality of users, identify a plurality of users included in the photographed background, A location tracking unit recognizing viewing distances of the identified plurality of users, grouping the identified plurality of users by one or more viewing areas based on the recognized viewing distances, and selecting one of the one or more viewing areas And an image processor configured to adjust the viewing distance of the stereoscopic image based on the viewing distance of the selected viewing area, and a display displaying the stereoscopic image.
본 발명에 따른 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치에 의하면, 복수의 사용자의 시 거리에 맞추어 적절하게 입체영상의 시 거리를 조절하므로, 복수의 사용자는 동시에 입체영상을 편하게 시청할 수 있고, 디스플레이 패널과 사용자와의 거리를 인식하여 거리에 따라 픽셀주기를 조절하므로, 사용자는 거리 제한 없이 입체영상을 시청할 수 있다.According to the stereoscopic image display system, the stereoscopic image display method, and the stereoscopic image processing apparatus according to the present invention, since the viewing distance of the stereoscopic image is appropriately adjusted according to the viewing distance of the plurality of users, the plurality of users can conveniently watch the stereoscopic image at the same time. In addition, since the pixel period is adjusted according to the distance by recognizing the distance between the display panel and the user, the user can watch a stereoscopic image without limiting the distance.
도 1은 본 발명에 따른 입체영상 디스플레이 시스템에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 입체영상 디스플레이 방법에 대한 바람직한 일실시예의 수행과정을 도시한 순서도,
도 3a 내지 도 3c는 본 발명에 따른 입체영상 디스플레이 시스템이 사용자를 촬상한 영상 프레임을 도시한 도면,
도 4는 시청영역을 선택하는 방법에 대한 바람직한 일실시예의 수행과정을 도시한 도면,
도 5a는 시청영역 별로 사용자가 위치한 배경을 간략하게 도시한 도면,
도 5b는 도 5a에 도시된 배경의 입체영상을 디스플레이하는 GUI가 도시된 도면,
도 6은 입체영상의 시 거리 조절 방법에 대한 바람직한 일실시예의 수행과정을 도시한 도면,
도 7a 내지 도 7c는 시 거리에 따라 요구되는 입체영상 픽셀 주기를 도시한 도면,
도 8a 내지 도 8c는 시 거리에 따라 변화된 입체영상 픽셀 주기를 도시한 도면,
도 9는 함수 W(x)의 그래프를 도시한 도면이다.
도 10은 본 발명에 따른 위치 추적 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도, 그리고,
도 11은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a preferred embodiment of a stereoscopic image display system according to the present invention;
2 is a flowchart illustrating a process of performing a preferred embodiment of a stereoscopic image display method according to the present invention;
3A to 3C are diagrams illustrating image frames in which a stereoscopic image display system photographs a user according to the present invention;
4 is a flowchart illustrating a preferred embodiment of a method for selecting a viewing area;
5a is a diagram schematically illustrating a background where a user is located for each viewing area;
FIG. 5B illustrates a GUI for displaying a stereoscopic image of a background illustrated in FIG. 5A;
FIG. 6 is a flowchart illustrating a preferred embodiment of a method for adjusting a viewing distance of a stereoscopic image; FIG.
7A to 7C illustrate stereoscopic pixel periods required according to viewing distances;
8A to 8C illustrate stereoscopic pixel periods changed according to viewing distances;
9 shows a graph of the function W (x).
10 is a block diagram showing the configuration of a preferred embodiment of the position tracking apparatus according to the present invention, and
11 is a block diagram showing the configuration of a preferred embodiment of a stereoscopic image processing apparatus according to the present invention.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. At this time, the configuration and operation of the present invention shown in the drawings and described by it will be described as at least one embodiment, by which the technical spirit of the present invention and its core configuration and operation is not limited.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.The terms used in the present invention have been selected as general terms widely used as possible in consideration of the functions in the present invention, but may vary according to the intention or custom of a person skilled in the art or the emergence of a new technology. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, it is to be understood that the term used in the present invention should be defined based on the meaning of the term rather than the name of the term, and on the contents of the present invention throughout.
도 1은 본 발명에 따른 입체영상 디스플레이 시스템에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a preferred embodiment of a stereoscopic image display system according to the present invention.
도 1을 참조하면, 본 발명에 따른 입체영상 디스플레이 시스템(100)은 카메라(110), 입체영상 처리 시스템(120) 및 디스플레이 장치(130)를 포함할 수 있다. 입체영상 디스플레이 시스템(100)은 데스크톱, 랩톱, 태블릿 또는 핸드헬드 컴퓨터 등의 퍼스널 컴퓨터 시스템일 수 있다. 또한 입체영상 디스플레이 시스템(100)은 휴대폰, 스마트폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등과 같은 이동 단말기일 수 있고, 디지털 TV 같은 고정형 가전기기일 수 있다.Referring to FIG. 1, the stereoscopic
카메라(110)는 사용자가 위치하는 배경의 영상을 촬상한다. 카메라(110)는 다양한 헤르츠를 가질 수 있고, 설정된 또는 주어진 헤르츠에 따라 사용자가 촬상된 영상 프레임을 입체영상 처리 시스템(120)에 출력한다. 만일 카메라(110)가 25Hz로 설정되어 있는 경우에는, 카메라(110)는 초당 25 영상 프레임을 촬상하여 입체영상 처리 시스템(120)에 출력할 수 있다.The
카메라(110)는 깊이 카메라(Depth Camera)일 수 있다. 깊이 카메라는 피사체에 레이저나 적외선 등의 광선을 비추어 반사되어 되돌아오는 광선을 취득하여 그 피사체에 대한 깊이 영상을 획득할 수 있다. 이때의 깊이는 깊이 카메라로부터의 거리를 의미할 수 있다.The
입체영상 디스플레이 시스템(100)는 복수의 카메라를 포함할 수 있고, 복수의 카메라가 촬상한 영상을 다시점 영상으로 처리하여 입체영상을 디스플레이할 수 있다. 즉 복수의 카메라 각각이 촬상한 영상 프레임을 시점 영상 프레임으로 처리하여, 처리된 시점 영상을 양안시차가 일어나도록 디스플레이할 수 있다. 여기서 다시점 영상은 일정한 거리나 각도를 갖는 복수의 카메라로 동일한 피사체를 촬영하여 획득한 복수의 영상을 말하고, 각 카메라에 의해 획득된 영상들을 각각 시점 영상으로 정의한다.The 3D
입체영상 처리 시스템(120)은 카메라(110)로부터 출력된 영상 프레임을 통해 사용자를 식별한다. 여기서 사용자는 하나 또는 하나 이상일 수 있다. 입체영상 처리 시스템(120)은 식별된 사용자의 시 거리를 인식하고, 인식된 시 거리에 맞추어 입체영상이 디스플레이되도록 제어한다. 사용자가 복수인 경우에는, 입체영상 처리 시스템(120)은 복수의 사용자 각각의 시 거리를 인식할 수 있다.The stereoscopic
입체영상 처리 시스템(120)은 위치 추적 장치(121) 및 입체영상 처리 장치(122)를 포함할 수 있다. 입체영상 처리 시스템(120)은 하나의 제품으로 구현될 수 있다. 일예로 입체영상 처리 시스템(120)은 셋톱박스로 구현될 수 있다.The stereoscopic
위치 추적 장치(121)는 카메라(110)로부터 사용자가 촬상된 영상 프레임을 수신하고 수신한 영상 프레임을 이용하여 사용자의 위치를 탐지한다. 그리고 위치 추적 장치(121)는 탐지한 사용자의 위치를 기초로 입체영상 변화량을 산출한다. 또한 위치 추적 장치(121)는 탐지한 사용자의 위치와 이전 영상 프레임에서 탐지한 사용자의 위치 또는 기준 영상 프레임에서 탐지된 사용자의 위치를 비교하여 시 거리를 인식할 수 있다. 여기서 위치 추적 장치(121)는 복수의 사용자의 시 거리를 인식할 수 있다.The
위치 추적 장치(121)는 하나의 모듈로 구현될 수 있고, 모듈화된 위치 추적 장치가 입체영상 처리 장치(122)에 삽입되어 하나의 제품으로 생산될 수 있다. 또한 입체영상 처리 시스템은 위치 추적 장치(121)의 기능을 수행하는 프로그램을 컨트롤러를 통해 실행하여, 위치 추적 장치(121)의 기능을 수행할 수 있다.The
입체영상 처리 장치(122)는 위치 추적 장치(121)가 인식한 시 거리를 이용하여 입체영상의 시 거리를 조절할 수 있다. 시 거리를 조절하기 위해, 입체영상 처리 장치(122)는 위치 추적 장치(121)가 인식한 시 거리를 이용하여 입체영상 픽셀 주기를 산출하고, 산출한 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정할 수 있다.The stereoscopic
또한 입체영상 처리 장치(122)는 위치 추적 장치(121)가 산출한 입체영상 변화량을 기초로 결정한 색이 디스플레이될 위치를 조절할 수 있다. 이에 따라 본 발명은 디스플레이 장치(130)를 기준으로 사용자가 평행하게 이동한 경우에도, 이동한 위치가 스윗 스포트(Sweet Spot)되도록 조절할 수 있다.Also, the 3D
입체영상 처리 장치(122)는 수신된 입체영상 신호 또는 저장된 입체영상 파일을 인코딩하는 방송 수신기일 수 있다. 상기 방송 수신기는 지상파, 위성 및 케이블을 통해 전송되는 방송 및 인터넷을 통해 전송되는 방송을 수신할 수 있는 방송 수신기일 수 있다. The 3D
또한 상기 방송 수신기는 인터넷 서비스를 사용자에게 제공할 수 있는 방송 수신기일 수 있다. 여기서 인터넷 서비스는 CoD(Content's on Demand) 서비스, 유튜브 서비스, 날씨, 뉴스, 지역 정보 및 검색 등의 인포메이션 서비스, 게임, 노래방 등의 엔터테인먼트 서비스, TV 메일, TV SMS(Short Message Service) 등의 커뮤니케이션 서비스 등 인터넷을 통해 제공될 수 있는 서비스를 의미한다. 이에 따라 본 발명에서 방송 수신기는 네트워크 TV, 웹 TV 및 브로드밴드 TV를 포함할 수 있다.In addition, the broadcast receiver may be a broadcast receiver capable of providing an Internet service to a user. The Internet service includes content services such as CoD (Content's on Demand), YouTube service, weather, news, local information and search, entertainment services such as games and karaoke, TV mail, and TV SMS (Short Message Service). This means a service that can be provided through the Internet. Accordingly, in the present invention, the broadcast receiver may include a network TV, a web TV, and a broadband TV.
또한 상기 방송 수신기는 네트워크를 통해 서버로부터 애플리케이션을 수신하고, 이를 설치 및 실행할 수 있는 스마트 TV일 수 있다.Also, the broadcast receiver may be a smart TV capable of receiving an application from a server through a network, and installing and executing the application.
입체영상 처리 장치(122)가 수신하는 방송 서비스는 지상파, 위성 및 케이블을 통해 제공되는 방송 서비스뿐만 아니라 인터넷 서비스를 포함할 수 있다. 방송 서비스는 2차원 영상뿐만 아니라 입체영상을 제공할 수 있다. 여기서 입체영상은 다시점 영상일 수 있다. The broadcast service received by the 3D
디스플레이 장치(130)는 입체영상 처리 시스템(120)의 제어에 따라 입체영상을 디스플레이한다. 디스플레이 장치(130)는 2View이상의 barrier 방식의 무 안경 3D display일 수 있고, lenticular 방식의 무 안경 3D display일 수 있다. 또한 디스플레이 장치(130)는 독립된 제품으로 구현될 수 있고, 입체영상 처리 시스템(120) 또는 입체영상 처리 장치(122)와 일체형으로 구현될 수 있다. 또한 디스플레이 장치(130)는 View format이 sub-pixel단위 또는 pixel단위의 무 안경 3D display일 수 있다.The
도 2는 본 발명에 따른 입체영상 디스플레이 방법에 대한 바람직한 일실시예의 수행과정을 도시한 순서도이다.2 is a flowchart illustrating a process of performing a preferred embodiment of the stereoscopic image display method according to the present invention.
도 2를 참조하면, 카메라(110)는 사용자의 영상을 촬상한다(S100). 여기서 카메라(110)는 설정된 헤르츠 또는 주어진 헤르츠에 따라 사용자의 영상 또는 사용자가 위치하는 배경을 촬상하고 촬상된 영상을 실시간으로 계속하여 입체영상 처리 시스템(120)으로 출력할 수 있다.Referring to FIG. 2, the
입체영상 처리 시스템(120)은 카메라(110)가 촬상한 영상에 포함된 영상 프레임을 이용하여 사용자를 식별한다(S110). 여기서 입체영상 처리 시스템(120)은 하나 또는 복수의 사용자를 식별할 수 있다.The stereoscopic
입체영상 처리 시스템(120)은 식별한 사용자의 시 거리를 인식한다(S120). 여기서 입체영상 처리 시스템(120)은 각 사용자의 위치를 탐지하고, 탐지된 위치를 통해 각 사용자의 시 거리를 인식할 수 있다. 여기서 또한 입체영상 처리 시스템(120)은 카메라(110)로부터 깊이값을 수신하거나 카메라(110)가 촬상한 깊이 영상으로부터 깊이값을 획득하고, 상기 깊이값을 통해 시 거리를 인식할 수 있다. 또한 입체영상 처리 시스템(120)은 복수의 카메라(110)로부터 촬상된 복수의 영상 프레임을 이용하여 사용자의 시 거리를 인식할 수 있다.The stereoscopic
또한 입체영상 처리 시스템(120)은 영상 프레임에서 사용자가 차지하는 비율 및 2차원 평면상의 위치를 통해 시 거리를 인식할 수 있다. 또한 입체영상 처리 시스템(120)은 탐지한 사용자의 위치와 이전 영상 프레임에서 탐지한 사용자의 위치 또는 기준 영상 프레임에서 탐지된 사용자의 위치를 비교하여 시 거리를 인식할 수 있다. In addition, the stereoscopic
도 3a 내지 도 3c는 본 발명에 따른 입체영상 디스플레이 시스템이 사용자를 촬상한 영상 프레임을 도시한 도면이다.3A to 3C are diagrams illustrating image frames in which a stereoscopic image display system according to the present invention photographs a user.
도 3a 내지 도 3c를 참조하면, 입체영상 처리 시스템(120)은 영상 프레임(310)을 이용하여 사용자의 위치(311)를 탐지할 수 있다. 입체영상 처리 시스템(120)은 영상 프레임(310)에서 얼굴 영역을 인식하여, 사용자의 위치(311)를 탐지할 수 있다. 여기서, 입체영상 처리 시스템(120)은 얼굴의 대칭을 이용한 알고리즘, 머리카락 색과 얼굴색을 이용한 알고리즘, 및 얼굴의 윤곽을 이용한 알고리즘을 이용하여 얼굴 영역을 인식할 수 있다. 또한 영상 처리 시스템(120)은 영상 프레임(310)에서 스킨 칼라 정보를 산출하여 얼굴 영역을 인식할 수 있다.3A to 3C, the 3D
영상 처리 시스템(120)은 탐지한 사용자의 위치(311)를 이용하여 시 거리를 인식할 수 있다. 일예로, 영상 처리 시스템(120)은 영상 프레임 내에서의 사용자의 이미지 비율 및 이미지 위치를 기초로 시 거리를 산출할 수 있다.The
또한 영상 처리 시스템(120)은 기준 영상 프레임과 현재 영상 프레임을 비교하여 시 거리를 산출할 수 있다. 일예로, 영상 처리 시스템(120)은 기준 영상 프레임에서의 사용자의 이미지 비율과 현재 영상 프레임의 사용자의 이미지 비율을 비교하여 이미지 비율의 차이에 따라 시 거리를 산출할 수 있다. 즉 이미지 비율이 동일한 경우에는, 기준 영상 프레임에서의 시 거리가 현재 영상 프레임에서의 시 거리로 인식될 수 있다.Also, the
다른 예로, 영상 처리 시스템(120)은 기준 영상 프레임의 사용자의 이미지 크기와 현재 영상 프레임의 사용자의 이미지 크기를 비교하여 시 거리를 산출할 수 있다. 기준 영상 프레임이 영상 프레임(310)이라고 가정할 때, 현재 영상 프레임이 영상 프레임(310)인 경우에는 이미지(311)의 크기가 기준 영상 프레임의 이미지 크기와 동일하므로, 영상 처리 시스템(120)은 기준 영상 프레임의 시 거리를 현재 시 거리로 인식할 수 있다. 현재 영상 프레임이 영상 프레임(320)인 경우에는 이미지(321)의 크기가 기준 영상 프레임의 이미지 크기보다 작으므로, 영상 처리 시스템(120)은 현재 시 거리는 기준 영상 프레임의 시 거리보다 큰 것으로 인식할 수 있고, 이미지의 크기 비율에 따라 기준 영상 프레임의 시 거리에서 현재 시 거리를 산출할 수 있다. 현재 영상 프레임이 영상 프레임(330)인 경우에는 이미지(331)의 크기가 기준 영상 프레임의 이미지 크기보다 크므로, 영상 처리 시스템(120)은 현재 시 거리는 기준 영상 프레임의 시 거리보다 작은 것으로 인식할 수 있고, 이미지의 크기 비율에 따라 기준 영상 프레임의 시 거리에서 현재 시 거리를 산출할 수 있다.As another example, the
또한 영상 처리 시스템(120)은 이전 영상 프레임과 현재 영상 프레임을 비교하여 시 거리를 산출할 수 있다. 이때, 비교 방식은 기준 영상 프레임과의 비교 방식과 동일한 비교 방식을 사용할 수 있다.In addition, the
입체영상 처리 시스템(120)은 인식된 시 거리를 기초로 하나 또는 하나 이상의 시청영역별로 단계 S110에서 식별된 사용자를 그룹핑한다(S130). 여기서 입체영상 처리 시스템(120)은 인식된 사용자의 시 거리가 사전에 설정된 범위 중 어느 범위에 속하는지 확인하고, 상기 확인된 범위와 연관된 시청영역 그룹에 사용자를 포함시킬 수 있다. 여기서 사전에 설정된 범위는 입체영상의 시 거리가 동일한 범위일 수 있다. 또한 하나 또는 하나 이상의 시청영역은 사용자가 속하는 시청영역 그룹과 연관된 시청영역일 수 있다.The stereoscopic
입체영상 처리 시스템(120)은 상기 하나 또는 하나 이상의 시청영역 중 하나를 선택한다(S140). 여기서 선택된 시청영역은 시청영역 그룹 중에서 선택된 시청영역 그룹과 연관된 시청영역일 수 있다. 즉 입체영상 처리 시스템(120)은 시청영역 그룹 중에서 하나를 선택하는 방식으로 상기 시청영역을 선택할 수 있다. 일부 실시예로, 입체영상 처리 시스템(120)은 시청영역 그룹에 속한 사용자의 수를 기초로 시청영역 그룹을 선택할 수 있다. 예를 들면, 입체영상 처리 시스템(120)은 가장 많은 사용자가 속한 시청영역 그룹을 선택할 수 있다.The stereoscopic
입체영상 처리 시스템(120)은 선택된 시청영역의 시 거리를 기초로 입체영상의 시 거리를 조절한다(S150).The stereoscopic
디스플레이 장치(130)는 시 거리가 조절된 입체영상을 디스플레이한다(S160).The
도 4는 시청영역을 선택하는 방법에 대한 바람직한 일실시예의 수행과정을 도시한 도면이다.4 is a flowchart illustrating a preferred embodiment of a method for selecting a viewing area.
도 4를 참조하면, 입체영상 처리 시스템(120)은 시청영역을 선택하기 위한 그래픽 사용자 인터페이스(Graphical User Interface : GUI)가 디스플레이 되도록 제어한다(S200). 여기서 그래픽 사용자 인터페이스는 복수의 사용자가 위치하는 배경을 입체영상으로 디스플레이할 수 있다. 일예로, 입체영상 처리 시스템(120)은 복수의 카메라 중에 하나가 촬상한 영상을 좌안 시점 영상으로 처리하고, 다른 하나가 촬상한 영상을 우안 시점 영상으로 처리하여, 상기 입체영상을 디스플레이할 수 있다. 또한 상기 입체영상은 시청영역을 선택하기 위한 시청영역 선택 표시를 포함할 수 있다. 그리고 시청영역 선택 표시는 연관된 시청영역에 속하는 사용자가 위치하는 영역에 표시될 수 있다.Referring to FIG. 4, the stereoscopic
도 5a는 시청영역 별로 사용자가 위치한 배경을 간략하게 도시한 도면이고, 도 5b는 도 5a에 도시된 배경의 입체영상을 디스플레이하는 GUI가 도시된 도면이다.FIG. 5A is a diagram schematically illustrating a background where a user is located for each viewing area, and FIG. 5B is a diagram illustrating a GUI displaying a stereoscopic image of the background illustrated in FIG. 5A.
도 5a를 참조하면, d는 디스플레이 패널(501)과 입체영상 필터(502)의 간격이고, D1은 시청영역(ZONE1)과 연관된 시 거리이고, D2는 시청영역(ZONE2)과 연관된 시 거리이며, D3은 시청영역(ZONE3)과 연관된 시 거리이다. 시청영역(ZONE1), 시청영역(ZONE2) 및 시청영역(ZONE3)에는 하나 또는 하나 이상의 사용자가 위치한다.Referring to FIG. 5A, d is a distance between the
도 5b를 참조하면, 단계 S200에서 디스플레이 장치(130)는 GUI(500)을 디스플레이할 수 있다. GUI(500)는 시청영역(ZONE3)을 선택하기 위한 시청영역 선택 표시(510), 시청영역(ZONE2)을 선택하기 위한 시청영역 선택 표시(520) 및 시청영역(ZONE1)을 선택하기 위한 시청영역 선택 표시(530)를 포함한다. 시청영역 선택 표시(510, 520, 530)는 각각 연관된 시청영역에 속하는 사용자가 위치하는 영역에 표시된다.Referring to FIG. 5B, in operation S200, the
또한 GUI(500)는 가장 많은 사용자가 속한 시청영역과 연관된 시청영역 선택 표시를 하이라이트(520)하여 표시할 수 있다. 또한 GUI(500)는 시청영역과 연관된 시 거리 정보(4m, 5.5m, 7m)를 디스플레이할 수 있다. 여기서 4m는 D1이고, 5.5m는 D2이며, 7m는 D3이다.In addition, the
사용자는 GUI(500)를 통해 자신이 속한 시청영역을 확인하면서 시청영역을 선택할 수 있고, 또한 사용자는 GUI(500)을 통해 이동해야할 시청영역을 확인할 수 있다.The user may select a viewing area while checking the viewing area to which the user belongs through the
입체영상 처리 시스템(120)은 시청영역을 선택하는 사용자 조치를 감지한다(S210). 여기서 사용자 조치는 입체영상 처리 시스템(120) 또는 리모컨의 물리적인 버튼의 선택, 터치 스크린 디스플레이면상의 소정의 제스처의 실시 또는 소프트 버튼의 선택 및 촬상 장치로 촬영된 영상으로부터 인식되는 소정의 제스처의 실시 및 음성 인식에 의해 인식되는 소정의 발성의 실시를 포함할 수 있다. 외부 신호 수신부(135)는 리모컨의 물리적인 버튼을 선택하는 사용자 조치에 대한 신호를 리모컨을 통해 수신할 수 있다.The stereoscopic
도 5b를 참조하면, 사용자는 시청영역 선택 표시(510, 520, 530) 중 하나를 선택하는 사용자 조치를 행할 수 있다. 일예로, 시청영역 선택 표시(510, 520, 530) 상에 지시자(미도시)를 위치시키고, 선택 사용자 조치를 행하여 지시자가 위치한 시청영역 선택 표시를 선택할 수 있다. 여기서 선택 사용자 조치는 리모컨 상의 특정 버튼(예를 들면, 엔터 버튼)을 선택으로 행해질 수 있고, 특정 공간 제스처로 행해질 수 있다.Referring to FIG. 5B, the user may perform a user action of selecting one of the viewing area selection marks 510, 520, and 530. For example, an indicator (not shown) may be positioned on the viewing area selection marks 510, 520, and 530, and a selection user action may be performed to select the viewing area selection mark in which the indicator is located. In this case, the selection user action may be performed by selecting a specific button (for example, an enter button) on the remote controller, or may be performed by a specific space gesture.
입체영상 처리 시스템(120)은 감지한 사용자 조치가 지시하는 시청영역을 선택한다(S220). 여기서 상기 시청영역은 선택된 시청영역 선택 표시와 연관된 시청영역일 수 있다.The stereoscopic
도 6은 입체영상의 시 거리 조절 방법에 대한 바람직한 일실시예의 수행과정을 도시한 도면이다.FIG. 6 is a flowchart illustrating a preferred embodiment of a method for adjusting the viewing distance of a stereoscopic image.
도 6을 참조하면, 입체영상 처리 시스템(120)은 인식한 시 거리를 이용하여 입체영상 픽셀 주기를 산출한다(S300).Referring to FIG. 6, the 3D
입체영상 처리 시스템(120)은 산출한 입체영상 픽셀 주기를 이용하여 입체영상에 대한 시점 마스크를 생성한다(S310).The stereoscopic
입체영상 처리 시스템(120)은 입체영상에 포함된 각 시점 영상의 픽셀의 색 또는 서브 픽셀의 색 및 생성한 시점 마스크를 이용하여 픽셀의 최종색 또는 서브 픽셀의 색의 최종색을 결정한다(S320). 도 2의 단계 S160에서 입체영상 처리 시스템(120)은 결정한 최종색에 따라 입체영상이 디스플레이되도록 디스플레이 장치(130)를 제어할 수 있다. The stereoscopic
사용자가 한명으로 식별된 경우에는, 입체영상 처리 시스템(120)은 탐지한 사용자 위치를 기초로 입체영상 변화량을 산출할 수 있다. 여기서 입체영상 변화량은 픽셀 이동량 및 서브 픽셀 이동량 중 하나일 수 있다. 그리고 입체영상 처리 시스템(120)은 산출한 입체영상 변화량에 따라 결정한 최종색이 디스플레이될 위치를 조절할 수 있다. 즉 디스플레이 장치(130)는 입체영상을 구성하는 픽셀 색이 디스플레이되는 픽셀 위치를 원래의 위치에서 산출한 입체영상 변화량에 따라 이동시켜 입체영상을 디스플레이할 수 있다. 또한 디스플레이 장치(130)는 입체영상을 구성하는 서브 픽셀 색이 디스플레이되는 서브 픽셀 위치를 원래의 위치에서 산출한 입체영상 변화량에 따라 이동시켜 입체영상을 디스플레이할 수 있다.When the user is identified as one, the 3D
도 7a 내지 도 7c는 시 거리에 따라 요구되는 입체영상 픽셀 주기를 도시한 도면이다.7A to 7C illustrate stereoscopic pixel periods required according to viewing distances.
도 7a 내지 도 7c를 참조하면, 입체영상 처리 시스템(120)은 다음의 수학식 1로부터 입체영상 픽셀주기 Q를 산출할 수 있다.7A to 7C, the stereoscopic
여기서, D는 시 거리이고, d: 디스플레이 패널(710)과 입체영상 필터(720)의 간격이며, R: 입체영상 필터(720)의 패턴 주기이다.Here, D is a viewing distance, d is a distance between the
도 7a에서 알 수 있듯이, 시 거리 D가 기준 시 거리 Dopt로 인식될 때, 입체영상 픽셀주기 Q는 기준 입체영상 픽셀 주기 Qopt가 될 수 있다. 도 7b에서 알 수 있듯이, 시 거리가 기준 시 거리 Dopt보다 큰 시 거리 Dfar로 인식될 때, 입체영상 픽셀 주기 Q는 기준 입체영상 픽셀 주기 Qopt보다 작은 Qfar가 되도록 요구될 수 있다. 도 7c에서 알 수 있듯이, 시 거리가 기준 시 거리 Dopt보다 작은 시 거리 Dnear로 인식될 때, 입체영상 픽셀 주기 Q는 기준 입체영상 픽셀 주기 Qopt보다 큰 Qnear가 되도록 요구될 수 있다.As shown in FIG. 7A, when the viewing distance D is recognized as the reference viewing distance Dopt, the 3D image pixel period Q may be the reference 3D image pixel period Qopt. As shown in FIG. 7B, when the viewing distance is recognized as the viewing distance Dfar larger than the reference viewing distance Dopt, the stereoscopic pixel period Q may be required to be a Qfar smaller than the reference stereoscopic pixel period Qopt. As shown in FIG. 7C, when the viewing distance is recognized as the viewing distance Dnear smaller than the reference viewing distance Dopt, the 3D pixel period Q may be required to be a Qnear larger than the reference 3D pixel period Qopt.
도 8a 내지 도 8c는 시 거리에 따라 변화된 입체영상 픽셀 주기를 도시한 도면이다.8A to 8C are diagrams illustrating stereoscopic pixel periods changed according to viewing distances.
도 8a 내지 도 8c를 참조하면, 입체영상 처리 시스템(120)은 입체영상 픽셀 주기 Q에 따라 각 서브픽셀의 소수점을 포함하는 시점 번호 Vi를 다음의 수학식 2로부터 결정할 수 있다.8A to 8C, the stereoscopic
여기서, i는 서브 픽셀 수평번호(0, 1, 2, … )이고, Voi는 최적 시 거리에서의 서브픽셀의 시점 번호이며, Q0는 최적 시 거리에서의 입체영상 픽셀주기이고, N는 입체영상 시점 수이다. 최적 시 거리는 도 8a 내지 도 8c의 기준 시 거리 Dopt일 수 있다.Where i is the subpixel horizontal number (0, 1, 2, ...), V o i is the viewpoint number of the subpixel at the optimal viewing distance, and Q 0 is The stereoscopic pixel period at the optimal viewing distance, and N is the stereoscopic view point number. The optimal viewing distance may be the reference viewing distance Dopt of FIGS. 8A to 8C.
입체영상 처리 시스템(120)은 서브픽셀별 시점 번호에 맞추어 각 시점마다의 마스크 α 를 다음의 수학식 3로부터 산출할 수 있다.The stereoscopic
여기서, k는 시점 번호이고, 함수 W(k-Vi)에 대한 그래프는 도 9에 도시된다.Where k is the viewpoint number and a graph for the function W (k-Vi) is shown in FIG.
입체영상 처리 시스템(120)은 산출한 시점 마스크 α를 이용하여 서브픽셀의 최종색 MCi를 다음의 수학식 4로부터 산출할 수 있다.The stereoscopic
여기서, C(i, K)는 k시점 영상의 i서브 픽셀의 색이다.Here, C (i, K) is the color of the i subpixel of the k viewpoint image.
도 8a에서 처럼, 인식된 시 거리 D가 최적 시 거리 Dopt일 때, 입체영상 처리 시스템(120)은 입체영상 픽셀주기 Q가 최적 시 거리에서의 픽셀주기 Q0로 유지되도록 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1을 결정할 수 있다.As shown in FIG. 8A, when the recognized viewing distance D is the optimal viewing distance Dopt, the stereoscopic
도 8b에서 처럼, 인식된 시 거리 D가 최적 시 거리 Dopt 보다 큰 Dfar일 때, 입체영상 처리 시스템(120)은 입체영상 픽셀주기 Q가 최적 시 거리 Dopt에서의 픽셀주기 Q0보다 작은 Qfar가 되도록 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1을 결정할 수 있다. 결정된 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1에 의해 입체영상 픽셀주기는 픽셀주기 Q0보다 줄어든다.As shown in FIG. 8B, when the recognized viewing distance D is Dfar larger than the optimal viewing distance Dopt, the stereoscopic
도 8c에서 처럼, 인식된 시 거리 D가 최적 시 거리 Dopt 보다 작은 Dnear일 때, 영상 처리 시스템(120)은 입체영상 픽셀주기 Q가 최적 시 거리 Dopt에서의 픽셀주기 Q0보다 작은 Qnear가 되도록 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1을 결정할 수 있다. 결정된 서브픽셀의 최종색 MC 0, MC 1, …, MC N, MC N+1에 의해 입체영상 픽셀주기는 픽셀주기 Q0보다 늘어난다.As shown in FIG. 8C, when the recognized viewing distance D is a Dnear smaller than the optimal viewing distance Dopt, the
도 10은 본 발명에 따른 위치 추적 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.10 is a block diagram showing the configuration of a preferred embodiment of a location tracking apparatus according to the present invention.
도 10을 참조하면, 위치 추적 장치(121)는 위치 탐지부(1010) 및 변화량 계산부(1020)를 포함할 수 있다. 위치 탐지부(1010)는 하나 또는 하나 이상의 사용자가 촬상된 영상 프레임을 수신하고 수신한 영상 프레임을 이용하여 하나 또는 하나 이상의 사용자의 위치를 탐지하다. 위치 탐지부(1010)는 얼굴 영역을 인식하여 사용자의 위치를 탐지할 수 있다. 여기서, 위치 탐지부(1010)는 얼굴의 대칭을 이용한 알고리즘, 머리카락 색과 얼굴 색을 이용한 알고리즘, 및 얼굴의 윤곽을 이용한 알고리즘을 이용하여 얼굴 영역을 인식할 수 있다. 또한 위치 탐지부(1010)는 영상 프레임에서 스킨 칼라 정보를 산출하여 얼굴 영역을 인식할 수 있다.Referring to FIG. 10, the
위치 탐지부(1010)는 탐지한 사용자의 위치를 이용하여 시 거리를 인식할 수 있다. 일예로, 위치 탐지부(1010)는 영상 프레임 내에서의 사용자의 이미지 비율 및 이미지 위치를 기초로 시 거리를 산출할 수 있다. 다른 예로, 위치 탐지부(1010)는 깊이 영상으로부터 얼굴 영역의 깊이값을 획득하고 획득한 깊이값을 이용하여 시 거리를 산출할 수 있다. 또 다른 예로, 위치 탐지부(1010)는 복수의 카메라가 촬상한 시점 영상들을 이용하여 시 거리를 산출할 수 있다.The
또한 위치 탐지부(1010)는 기준 영상 프레임과 현재 영상 프레임을 비교하여 시 거리를 산출할 수 있다. 일예로, 위치 탐지부(1010)는 기준 영상 프레임에서의 사용자의 이미지 비율과 현재 영상 프레임의 사용자의 이미지 비율을 비교하여 이미지 비율의 차이에 따라 시 거리를 산출할 수 있다. 즉 이미지 배율이 동일한 경우에는, 기준 영상 프레임에서의 시 거리가 현재 영상 프레임에서의 시 거리로 인식될 수 있다. 다른 예로, 위치 탐지부(1010)는 기준 영상 프레임의 사용자의 이미지 크기와 현재 영상 프레임의 사용자의 이미지 크기를 비교하여 시 거리를 산출할 수 있다. 여기서 사용자의 이미지는 얼굴 영역 및 스킨 영역 중 하나일 수 있다.In addition, the
또한 위치 탐지부(1010)는 이전 영상 프레임과 현재 영상 프레임을 비교하여 시 거리를 산출할 수 있다. 이때, 비교 방식은 기준 영상 프레임과의 비교 방식과 동일한 비교 방식을 사용할 수 있다.In addition, the
변화량 계산부(1020)는 탐지한 사용자 위치를 기초로 입체영상 변화량을 산출하고 산출한 입체영상 변화량을 출력한다. 변화량 계산부(1020)는 사용자가 디스플레이 패널과 평행한 방향으로 이동할 때, 디스플레이 패널 상에서의 시선 위치의 이동량 h를 다음의 수학식 5로부터 산출할 수 있다.The
여기서, H는 사용자의 머리 이동량이고, D는 입체영상 필터부터 사용자의 시선까지의 거리인 시 거리이며, d는 디스플레이 패널과 입체영상 필터의 간격이다.Here, H is the amount of head movement of the user, D is the viewing distance, which is the distance from the stereoscopic filter to the user's gaze, and d is the distance between the display panel and the stereoscopic image filter.
사용자가 디스플레이 패널과 평행한 방향으로 이동할 때, 변화량 계산부(1020)는 입체영상 변화량의 일예인 픽셀 이동량 P을 다음의 수학식 6로부터 산출할 수 있다.When the user moves in a direction parallel to the display panel, the
여기서, Q는 입체영상 픽셀 주기이다.Here, Q is a stereoscopic pixel period.
변화량 계산부(1020)는 위치 탐지부(1010)가 식별한 사용자가 한 명일 때, 동작할 수 있다.The
도 11은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.11 is a block diagram showing the configuration of a preferred embodiment of a stereoscopic image processing apparatus according to the present invention.
도 11을 참조하면, 본 발명에 따른 영상 처리 장치(122)는 튜너부(1105), 복조부(1110), 역다중화부(1115), 네트워크 인터페이스부(1120), 외부 신호 입력부(1125), 비디오 디코더(1130), 오디오 디코더(1135), 제어부(1140), 저장부(1145), 버퍼(1150), 그래픽 프로세서(1160) 및 영상 드라이버(1170)를 포함할 수 있다.Referring to FIG. 11, the
튜너부(1105)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다. 튜너부(1105)는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다. The
복조부(1110)는 튜너부(1105)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 일예로, 튜너부(1105)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(1110)는 8-VSB(8-Vestigial Side Band) 복조를 수행한다. 또 다른 예로, 튜너부(1105)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(1110)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. The
또한, 복조부(1110)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(1110)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.In addition, the
복조부(1110)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.The
역다중화부(1115)는 복조부(1110), 네트워크 인터페이스부(1120) 및 외부 신호 입력부(1125)로부터 스트림 신호를 수신할 수 있다. 또한 역다중화부(1115)는 수신된 스트림 신호를 영상 신호, 음성 신호 및 데이터 신호로 역다중화하여 각각 비디오 디코더(1130), 오디오 디코더(1135) 및 제어부(1140)로 출력할 수 있다. 여기서 상기 영상 신호는 입체영상 신호를 포함할 수 있다.The
비디오 디코더(1130)는 역다중화부(1115), 외부 신호 입력부(1125) 또는 제어부(1140)로부터 영상 신호를 수신하고, 수신된 영상 신호를 복원하여 버퍼(1150)에 저장한다. 여기서 영상 신호를 입체영상 신호를 포함할 수 있다.The
오디오 디코더(1135)는 역다중화부(1115)로부터 영상 신호를 수신하고, 수신된 영상 신호를 복원하여 음성을 디스플레이 장치(130)로 출력한다.The
네트워크 인터페이스부(1120)는 네트워크 망으로부터 수신되는 패킷(packet)들을 수신하고, 네트워크 망으로 패킷을 전송한다. 즉 네트워크 인터페이스부(1120)는 네트워크 망을 통해 서비스 제공 서버로부터 방송 데이터를 전달하는 IP 패킷을 수신한다. 여기서 방송 데이터는 컨텐츠, 컨텐츠 업데이트 여부를 알리는 업데이트 메시지, 메타데이터, 서비스 정보 데이터, 소프트웨어 코드를 포함한다. 또한 서비스 정보는 실시간 방송 서비스에 대한 서비스 정보 및 인터넷 서비스에 대한 서비스 정보를 포함할 수 있다. 여기서 인터넷 서비스는 CoD(Content's on Demand) 서비스, 유튜브 서비스, 날씨, 뉴스, 지역 정보 및 검색 등의 인포메이션 서비스, 게임, 노래방 등의 엔터테인먼트 서비스, TV 메일, TV SMS(Short Message Service) 등의 커뮤니케이션 서비스 등 인터넷을 통해 제공될 수 있는 서비스를 의미한다. 이에 따라 본 발명에서 디지털 방송 수신기는 네트워크 TV, 웹 TV 및 브로드밴드 TV를 포함한다. 또한 방송 서비스는 지상파, 위성 및 케이블을 통해 제공되는 방송 서비스뿐만 아니라 인터넷 서비스를 포함할 수 있다.The
네트워크 인터페이스부(1120)는 IP패킷을 스트림 신호를 포함하는 경우에는, IP패킷에서 스트림 신호를 추출하여 역다중화부(1115)로 출력할 수 있다.When the IP packet includes the stream signal, the
외부 신호 입력부(1125)는 외부 장치와 입체영상 처리 장치(122)를 연결할 수 있는 인터페이스를 제공할 수 있다. 여기서 외부 장치는 DVD(Digital Versatile Disk), 블루레이(Bluray), 게임기기, 켐코더, 컴퓨터(노트북) 등 다양한 종류의 영상 또는 음성 출력 장치를 의미한다. 입체영상 처리 장치(122)는 외부 신호 입력부(1125)로부터 수신된 영상 신호 및 음성 신호가 디스플레이되도록 제어할 수 있고, 데이터 신호를 저장하거나 사용할 수 있다.The external
또한 외부 신호 입력부(1125)는 카메라(119) 또는 위치 추적 장치(121)로부터 다시점 영상을 수신할 수 있다. 여기서 상기 다시점 영상은 사용자의 배경이 복수의 카메라로 각각 촬상된 시점 영상을 포함할 수 있다. 제어부(1140)는 상기 다시점 영상을 비디오 디코더(1130)로 출력할 수 있고, 상기 다시점 입체영상을 바로 버퍼(1150)에 저장할 수 있다.In addition, the external
제어부(1140)는 명령어를 실행하고 입체영상 처리 장치(122)와 연관된 동작을 수행한다. 예를 들면, 저장부(1145)로부터 검색된 명령어를 사용하여, 제어부(1140)는 입체영상 처리 장치(122)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다. 제어부(1140)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(1140)에 대해 사용될 수 있다.The
제어부(1140)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(1140)와 연결되어 동작하는 저장부(1145) 내에 존재할 수 있다.The
제어부(1140)는 위치 추적 장치(121)가 인식한 시 거리를 기초로 하나 또는 하나 이상의 시청영역별로 식별된 사용자를 그룹핑할 수 있다. 여기서 제어부(1140)는 인식된 사용자의 시 거리가 사전에 설정된 범위 중 어느 범위에 속하는지 확인하고, 상기 확인된 범위와 연관된 시청영역 그룹에 사용자를 포함시킬 수 있다. 여기서 사전에 설정된 범위는 입체영상의 시 거리가 동일한 범위일 수 있다. 또한 하나 또는 하나 이상의 시청영역은 사용자가 속하는 시청영역 그룹과 연관된 시청영역일 수 있다.The
제어부(1140)는 상기 하나 또는 하나 이상의 시청영역 중 하나를 선택할 수 있다. 여기서 선택된 시청영역은 사용자가 속하는 시청영역 그룹 중에서 선택된 시청영역 그룹과 연관된 시청영역일 수 있다. 즉 제어부(1140)는 시청영역 그룹 중에서 하나를 선택하는 방식으로 상기 시청영역을 선택할 수 있다. 또한 제어부(1140)는 도 5b에 도시된 GUI(500)가 디스플레이되도록 제어할 수 있다.The
저장부(1145)는 일반적으로 입체영상 처리 장치(122)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 예로서, 저장부(1145)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 입체영상 처리 장치(122) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함한다.The
그래픽 프로세서(1160)는 버퍼(1150)에 저장된 영상 데이터가 디스플레이되도록 디스플레이 장치(130)를 제어한다. 그래픽 프로세서(1160)는 픽셀주기 산출부(1161), 마스크 생성부(1162) 및 다중화부(1163)를 포함할 수 있다.The
픽셀주기 산출부(1161)는 제어부(1140)가 선택한 시청영역과 연관된 시 거리를 이용하여 수학식 1로부터 입체영상 픽셀주기 Q를 산출할 수 있다.The
마스크 생성부(1162)는 픽셀주기 산출부(1161)가 산출한 입체영상 픽셀주기 Q를 이용하여 입체영상에 대한 시점 마스크를 생성할 수 있다. 먼저, 마스크 생성부(1162)는 입체영상 픽셀 주기 Q에 따라 각 서브픽셀의 소수점을 포함하는 시점 번호 Vi를 수학식 2로부터 결정할 수 있다. 다음으로, 마스크 생성부(1162)는 서브픽셀별 시점 번호에 맞추어 시점 마스크를 수학식 3로부터 생성할 수 있다.The
다중화부(1163)는 마스크 생성부(1162)가 생성한 시점 마스크를 이용하여 픽셀의 최종색을 결정할 수 있다. 다중화부(1163)는 수학식 4로부터 최종색 MCi를 결정할 수 있다.The
영상 드라이버(1170)는 위치 추적 장치(121)가 산출한 입체영상 변화량을 기초를 최종색 MCi가 디스플레이될 서브 픽셀을 결정하고, 최종색 MCi가 결정된 서브 픽셀에 디스플레이되도록 제어 신호를 디스플레이 장치(130)로 출력할 수 있다. 여기서, 최종색 MCi은 i서브 픽셀이 상기 입체영상 변화량에 따라 이동된 위치에 위치하는 서브 픽셀에 디스플레이될 수 있다. 여기서 위치 추적 장치(121)가 복수의 사용자를 식별한 경우에는, 입체영상 변화량은 고정된 값일 수 있다.The
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer apparatus is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer-readable recording medium may also be distributed to networked computer devices so that computer readable code can be stored and executed in a distributed manner.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.
Claims (20)
상기 식별된 복수의 사용자의 시 거리를 인식하는 단계;
상기 인식된 시 거리를 기초로 하나 또는 하나 이상의 시청영역별로 상기 식별된 복수의 사용자를 그룹핑하는 단계;
상기 하나 또는 하나 이상의 시청영역 중 하나를 선택하는 단계; 및
상기 선택된 시청영역의 시 거리를 기초로 입체영상의 시 거리를 조절하는 단계를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.Identifying a plurality of users;
Recognizing viewing distances of the identified plurality of users;
Grouping the identified plurality of users by one or more viewing areas based on the recognized viewing distance;
Selecting one of the one or more viewing areas; And
And adjusting the viewing distance of the stereoscopic image based on the viewing distance of the selected viewing area.
상기 복수의 사용자가 위치하는 배경은 하나 또는 하나 이상의 카메라로 촬상되고,
상기 시 거리는 상기 하나 또는 하나 이상의 카메라가 촬상한 영상 프레임을 통해 인식되는 것을 특징으로 하는 입체영상 디스플레이 방법.The method of claim 1,
The background where the plurality of users are located is captured by one or more cameras,
And the viewing distance is recognized through an image frame photographed by the one or more cameras.
상기 선택하는 단계는,
시청영역에 속한 사용자의 수를 기초로 신청영역을 선택하는 단계를 포함하는 것을 특징으로 입체영상 디스플레이 방법.The method of claim 1,
The selecting step,
And selecting an application area based on the number of users belonging to the viewing area.
상기 선택하는 단계는,
상기 시청영역을 선택하기 위한 그래픽 사용자 인터페이스를 디스플레이하는 단계;
상기 시청영역을 선택하는 사용자 조치를 감지하는 단계; 및
상기 감지된 사용자 조치가 지시하는 시청영역을 선택하는 단계를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.The method of claim 1,
The selecting step,
Displaying a graphical user interface for selecting the viewing area;
Detecting a user action of selecting the viewing area; And
And selecting a viewing area indicated by the detected user action.
상기 그래픽 사용자 인터페이스는,
상기 복수의 사용자가 위치하는 배경을 입체영상으로 디스플레이하고,
상기 입체영상은 시청영역 선택 표시를 포함하고, 상기 시청영역 선택 표시는 연관된 시청영역에 속한 사용자가 위치하는 영역에 표시되는 것을 특징으로 하는 입체영상 디스플레이 방법.The method of claim 4, wherein
The graphical user interface,
Displaying a background in which the plurality of users are located in a stereoscopic image,
The stereoscopic image includes a viewing area selection display, and the viewing area selection display is displayed in an area where a user belonging to an associated viewing area is located.
상기 하나 또는 하나 이상의 시청영역 중 가장 많은 사용자가 속한 시청영역과 연관된 시청영역 선택 표시가 하이라이트되어 디스플레이되는 것을 특징으로 하는 입체영상 디스플레이 방법.6. The method of claim 5,
3. The stereoscopic image display method of claim 1, wherein the display of the viewing area selection associated with the viewing area to which the most user belongs is highlighted.
상기 입체영상의 시 거리를 조절하는 단계는,
상기 선택된 시청영역의 시 거리를 이용하여 입체영상 픽셀 주기를 산출하는 단계;
상기 산출된 입체영상 픽셀 주기를 이용하여 입체영상이 디스플레이되는 픽셀 및 서브 픽셀 중 적어도 하나의 색을 결정하는 단계; 및
상기 결정된 색에 따라 상기 입체영상을 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.The method of claim 1,
Adjusting the viewing distance of the stereoscopic image,
Calculating a stereoscopic pixel period using the viewing distance of the selected viewing area;
Determining a color of at least one of a pixel and a sub pixel on which a stereoscopic image is displayed using the calculated stereoscopic image pixel period; And
And displaying the stereoscopic image according to the determined color.
상기 색을 결정하는 단계는,
상기 산출된 입체영상 픽셀 주기를 이용하여 상기 입체영상에 대한 시점 마스크를 생성하는 단계; 및
상기 생성된 시점 마스크를 이용하여 상기 색을 결정하는 단계;를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.8. The method of claim 7,
Determining the color,
Generating a viewpoint mask for the stereoscopic image using the calculated stereoscopic pixel period; And
And determining the color by using the generated viewpoint mask.
상기 시점 마스크를 생성하는 단계는,
상기 산출된 입체영상 픽셀 주기를 이용하여 픽셀 및 서브 픽셀 중 적어도 하나의 시점 번호를 산출하는 단계; 및
상기 산출된 시점 번호를 이용하여 상기 시점 마스크를 생성하는 단계;를 포함하는 것을 특징으로 하는 입체영상 디스플레이 방법.The method of claim 8,
Generating the viewpoint mask,
Calculating a view number of at least one of a pixel and a sub pixel using the calculated stereoscopic image pixel period; And
And generating the viewpoint mask by using the calculated viewpoint number.
상기 시점 번호는 상기 산출된 입체영상 픽셀주기, 초기 입체영상 픽셀주기 및 초기 시점 번호를 기초로 산출되는 것을 특징으로 하는 입체영상 디스플레이 방법.The method of claim 9,
Wherein the view number is calculated based on the calculated stereoscopic image pixel period, initial stereoscopic image pixel period, and initial viewpoint number.
상기 인식된 시 거리를 기초로 하나 또는 하나 이상의 시청영역별로 상기 식별된 복수의 사용자를 그룹핑하고, 상기 하나 또는 하나 이상의 시청영역 중 하나를 선택하며, 상기 선택된 시청영역의 시 거리를 기초로 입체영상의 시 거리를 조절하는 영상 처리부를 포함하는 것을 특징으로 하는 입체영상 처리 장치.A location tracking unit identifying a plurality of users and recognizing viewing distances of the identified plurality of users; And
Group the identified plurality of users by one or more viewing areas based on the recognized viewing distance, select one of the one or more viewing areas, and stereoscopic image based on the viewing distance of the selected viewing area. Stereoscopic image processing apparatus comprising an image processing unit for adjusting the viewing distance of the.
상기 복수의 사용자가 위치하는 배경은 하나 또는 하나 이상의 카메라로 촬상되고,
상기 위치 추적부는 상기 하나 또는 하나의 카메라가 촬상한 영상 프레임을 이용하여 상기 시 거리를 인식하는 것을 특징으로 하는 입체영상 처리 장치.12. The method of claim 11,
The background where the plurality of users are located is captured by one or more cameras,
And the position tracking unit recognizes the viewing distance by using an image frame photographed by the one or one camera.
상기 영상 처리부는,
시청영역에 속한 사용자의 수를 기초로 시청영역을 선택하는 것을 특징으로 입체영상 처리 장치.12. The method of claim 11,
Wherein the image processing unit comprises:
And a viewing area is selected based on the number of users belonging to the viewing area.
상기 영상 처리부는,
상기 시청영역을 선택하기 위한 그래픽 사용자 인터페이스가 디스플레이되도록 제어하고, 상기 시청영역을 선택하는 사용자 조치를 감지하며, 상기 감지된 사용자 조치가 지시하는 시청영역을 선택하는 것을 특징으로 하는 입체영상 처리 장치.12. The method of claim 11,
Wherein the image processing unit comprises:
And controlling a graphic user interface for selecting the viewing area, detecting a user action for selecting the viewing area, and selecting a viewing area indicated by the detected user action.
상기 그래픽 사용자 인터페이스는,
상기 복수의 사용자가 위치하는 배경을 입체영상으로 디스플레이하고,
상기 입체영상은 시청영역 선택 표시를 포함하고, 상기 시청영역 선택 표시는 연관된 시청영역에 속한 사용자가 위치하는 영역에 표시되는 것을 특징으로 하는 입체영상 처리 장치.The method of claim 14,
The graphical user interface,
Displaying a background in which the plurality of users are located in a stereoscopic image,
And the stereoscopic image includes a viewing area selection display, and the viewing area selection display is displayed in an area where a user belonging to an associated viewing area is located.
상기 하나 또는 하나 이상의 시청영역 중 가장 많은 사용자가 속한 시청영역과 연관된 시청영역 선택 표시가 하이라이트되어 디스플레이되는 것을 특징으로 하는 입체영상 처리 장치.16. The method of claim 15,
3. The stereoscopic image processing apparatus of claim 1, wherein an indication of a viewing area selection associated with a viewing area to which the most user belongs among the one or more viewing areas is highlighted.
상기 영상 처리부는,
상기 선택된 시청영역의 시 거리를 이용하여 입체영상 픽셀 주기를 산출하는 픽셀 주기 산출부;
상기 산출된 입체영상 픽셀 주기를 이용하여 상기 입체영상에 대한 시점 마스크를 생성하는 마스크 생성부; 및
상기 생성된 시점 마스크를 이용하여 상기 색을 결정하는 다중화부를 포함하는 것을 특징으로 하는 입체영상 처리 장치.12. The method of claim 11,
Wherein the image processing unit comprises:
A pixel period calculator configured to calculate a 3D pixel period using the viewing distance of the selected viewing area;
A mask generator which generates a viewpoint mask for the stereoscopic image by using the calculated stereoscopic pixel period; And
And a multiplexer configured to determine the color by using the generated view mask.
상기 마스크 생성부는,
상기 산출된 입체영상 픽셀 주기를 이용하여 픽셀 및 서브 픽셀 중 적어도 하나의 시점 번호를 산출하고, 상기 산출된 시점 번호를 이용하여 상기 시점 마스크를 생성하는 것을 특징으로 하는 입체영상 처리 장치.The method of claim 17,
The mask generator,
And a view number of at least one of a pixel and a sub-pixel using the calculated 3D image pixel period, and generating the view mask using the calculated view number.
상기 시점 번호는 상기 산출된 입체영상 픽셀주기, 초기 입체영상 픽셀주기 및 초기 시점 번호를 기초로 산출되는 것을 특징으로 하는 입체영상 처리 장치.19. The method of claim 18,
And the viewpoint number is calculated based on the calculated stereoscopic image pixel period, initial stereoscopic image pixel period, and initial viewpoint number.
상기 촬상된 배경에 포함된 복수의 사용자를 식별하고, 상기 식별된 복수의 사용자의 시 거리를 인식하는 위치 추적부;
상기 인식된 시 거리를 기초로 하나 또는 하나 이상의 시청영역별로 상기 식별된 복수의 사용자를 그룹핑하고, 상기 하나 또는 하나 이상의 시청영역 중 하나를 선택하며, 상기 선택된 시청영역의 시 거리를 기초로 입체영상의 시 거리를 조절하는 영상 처리부; 및
상기 입체영상을 디스플레이하는 디스플레이를 포함하는 것을 특징으로 하는 입체영상 디스플레이 시스템.One or more cameras for photographing a background where a plurality of users are located;
A location tracking unit identifying a plurality of users included in the photographed background and recognizing viewing distances of the identified plurality of users;
Group the identified plurality of users by one or more viewing areas based on the recognized viewing distance, select one of the one or more viewing areas, and stereoscopic image based on the viewing distance of the selected viewing area. An image processor for adjusting a viewing distance of the image; And
And a display for displaying the stereoscopic image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110009118A KR101758274B1 (en) | 2011-01-28 | 2011-01-28 | A system, a method for displaying a 3-dimensional image and an apparatus for processing a 3-dimensional image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110009118A KR101758274B1 (en) | 2011-01-28 | 2011-01-28 | A system, a method for displaying a 3-dimensional image and an apparatus for processing a 3-dimensional image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120087738A true KR20120087738A (en) | 2012-08-07 |
KR101758274B1 KR101758274B1 (en) | 2017-07-14 |
Family
ID=46873234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110009118A KR101758274B1 (en) | 2011-01-28 | 2011-01-28 | A system, a method for displaying a 3-dimensional image and an apparatus for processing a 3-dimensional image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101758274B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015034157A1 (en) * | 2013-09-04 | 2015-03-12 | 삼성전자주식회사 | Method for generating eia and apparatus capable of performing same |
KR20160080875A (en) * | 2014-12-29 | 2016-07-08 | 엘지디스플레이 주식회사 | Stereoscopic display device and method of displaying 3d image having good quality to multi-user |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100367A (en) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | Image generating apparatus, image generating method and image generating program |
-
2011
- 2011-01-28 KR KR1020110009118A patent/KR101758274B1/en active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015034157A1 (en) * | 2013-09-04 | 2015-03-12 | 삼성전자주식회사 | Method for generating eia and apparatus capable of performing same |
KR20160080875A (en) * | 2014-12-29 | 2016-07-08 | 엘지디스플레이 주식회사 | Stereoscopic display device and method of displaying 3d image having good quality to multi-user |
Also Published As
Publication number | Publication date |
---|---|
KR101758274B1 (en) | 2017-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101729556B1 (en) | A system, an apparatus and a method for displaying a 3-dimensional image and an apparatus for tracking a location | |
KR101685981B1 (en) | A system, an apparatus and a method for displaying a 3-dimensional image | |
US8488869B2 (en) | Image processing method and apparatus | |
JP5750505B2 (en) | 3D image error improving method and apparatus | |
KR101695819B1 (en) | A apparatus and a method for displaying a 3-dimensional image | |
JP2013527646A5 (en) | ||
KR101911250B1 (en) | Apparatus for processing a three-dimensional image and method for adjusting location of sweet spot for viewing multi-view image | |
EP2462736A1 (en) | Recommended depth value for overlaying a graphics object on three-dimensional video | |
US20120287235A1 (en) | Apparatus and method for processing 3-dimensional image | |
KR20130029333A (en) | Image processing apparatus and image processing method thereof | |
EP2515544B1 (en) | 3D image processing apparatus and method for adjusting 3D effect thereof | |
KR101867815B1 (en) | Apparatus for displaying a 3-dimensional image and method for adjusting viewing distance of 3-dimensional image | |
KR101758274B1 (en) | A system, a method for displaying a 3-dimensional image and an apparatus for processing a 3-dimensional image | |
CN110198457B (en) | Video playing method and device, system, storage medium, terminal and server thereof | |
KR101746538B1 (en) | System and method for processing stereo image, and liquid crystal glasses | |
KR20120126897A (en) | Electronic device and method for processing a 3-dimensional image | |
KR20150012692A (en) | Apparatus and method for processing a three-dimensional image | |
JP6131256B6 (en) | Video processing apparatus and video processing method thereof | |
KR20130020209A (en) | Apparatus for processing a 3-dimensional image and method for changing an image mode of the same | |
KR101804912B1 (en) | An apparatus for displaying a 3-dimensional image and a method for displaying subtitles of a 3-dimensional image | |
KR20120140425A (en) | Apparatus and method for processing three-dimensional image | |
KR20120081340A (en) | Electronic device, glasses, pairing method of the electronic device and pairing method of the glasses | |
KR20130010612A (en) | Apparatus and method for displaying stereoscopy image | |
JP2014127999A (en) | Face detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |