KR20100043419A - Apparatus for processing multi-view images - Google Patents

Apparatus for processing multi-view images Download PDF

Info

Publication number
KR20100043419A
KR20100043419A KR1020080102448A KR20080102448A KR20100043419A KR 20100043419 A KR20100043419 A KR 20100043419A KR 1020080102448 A KR1020080102448 A KR 1020080102448A KR 20080102448 A KR20080102448 A KR 20080102448A KR 20100043419 A KR20100043419 A KR 20100043419A
Authority
KR
South Korea
Prior art keywords
image
auxiliary
view
unit
picture
Prior art date
Application number
KR1020080102448A
Other languages
Korean (ko)
Other versions
KR101492980B1 (en
Inventor
전영규
Original Assignee
주식회사 대우일렉트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 대우일렉트로닉스 filed Critical 주식회사 대우일렉트로닉스
Priority to KR20080102448A priority Critical patent/KR101492980B1/en
Publication of KR20100043419A publication Critical patent/KR20100043419A/en
Application granted granted Critical
Publication of KR101492980B1 publication Critical patent/KR101492980B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/42615—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific demultiplexing arrangements

Abstract

PURPOSE: A multi-view video processor is provided to efficiently display one which is selected from secondary points according to selection of a user, and to offer video contents on a desired view of a user. CONSTITUTION: A synthesis unit(60) synthesizes video signals of an auxiliary view and a reference view inputted from a scaler. A display unit(70) displays the video signals of the auxiliary view and the reference view to a main picture and a sub-picture. A controller(80) controls the display unit to display the display part with the main picture and the sub-picture.

Description

다시점 화상 처리 장치{Apparatus for processing multi-view images}Multiview image processing device {Apparatus for processing multi-view images}

본 발명은 다시점 화상 처리 장치에 관한 것으로서, 더욱 상세하게는 기준 시점에 대한 보조 시점의 영상을 주화면과 부화면으로 표시하는 다시점 화상 처리 장치에 관한 것이다.The present invention relates to a multiview image processing apparatus, and more particularly, to a multiview image processing apparatus for displaying an image of an auxiliary view with respect to a reference view on a main screen and a sub-screen.

일반적으로 비디오 스트림은 세 가지 타입의 프레임들(Frames) 또는 픽쳐들(pictures)로 구성된다. 세 가지 타입의 화상들이란 화면 내 화상(I 화상 : intra frame), 예측 화상(P 화상 : predictive frame) 및 양방향 예측 화상(B 화상 : bi-directionally predictive frame)이다.In general, a video stream consists of three types of frames or pictures. The three types of pictures are intra picture (I picture: intra frame), predictive picture (P picture: predictive frame), and bidirectional predictive picture (B picture: bi-directionally predictive frame).

I 화상은 움직임 벡터 추정/보상을 이용하지 않고 단순히 그 화상만을 DCT하여 부호화하고, P 화상은 I 화상 또는 다른 P 화상을 참조하면서 움직임 추정/보상을 한 후, 나머지 차분의 데이터를 DCT하여 부호화하며, B 화상은 P 화상과 같이 움직임 보상을 사용하지만 시간축 상에 있는 두 개의 화상으로부터 움직임 추정/보상을 수행한다.I pictures are DCT-encoded only without using motion vector estimation / compensation, P pictures are motion-tagged / compensated with reference to I-picture or other P-picture, and then DCT-coded with the remaining difference data. The B picture uses motion compensation like the P picture, but performs motion estimation / compensation from two pictures on the time axis.

비디오 스트림 또는 시퀀스는 GOP(Group of Pictures)라 불리는 세그먼트에 의해 정의되며, I, B, B, P, B, B,P, …와 같이 이루어진 구조에서 I 화상부터 다음의 I 화상까지를 GOP(Group of Picture)라 칭한다.A video stream or sequence is defined by a segment called a group of pictures (GOP), where I, B, B, P, B, B, P,... In the structure formed as described above, the I picture to the next I picture are referred to as a GOP (Group of Picture).

통상적으로, GOP는 의도된 속도로 디스플레이되는 경우, 미리 설정된 시간(예를 들어, 0.5초)의 지속시간(duration)을 갖는 한 세트의 화상으로 구성된다. 상술한 바와 같은 비디오 스트림 등의 화상 정보 전달을 위한 매체는 텔레비전과 같은 2차원 단말기 기술로부터 발전해왔다. 즉, 흑백 화상에서 출발하여 칼라 화상, 즉 SD(Standard Definition)급 텔레비전에서 고해상도 텔레비전(예로, HDTV)으로 발전함에 따라 화상 정보의 데이터량은 증가하는 추세이다. 또한, 정보 통신의 기술 발달과 사용자의 요구에 따라 오락, 게임, 입체 영화 등의 다양한 컨텐츠들이 개발되고 있다. Typically, a GOP is composed of a set of pictures with a duration of a preset time (eg, 0.5 seconds) when displayed at the intended speed. As described above, a medium for transmitting image information such as a video stream has been developed from a two-dimensional terminal technology such as a television. In other words, the amount of data of image information is increasing as a color image, that is, a standard definition (SD) -type television and a high definition television (for example, HDTV) starts from a black and white image. In addition, various contents such as entertainment, games, stereoscopic movies, etc. are being developed according to the development of information and communication technology and user's request.

이에, 현재 화상 정보는 평면적인 2차원의 세계가 아니라 공간을 포함하는 3차원적인 실감 컨텐츠로서, 현실감 및 자연 자체의 멀티미디어 정보의 전달을 위해서는 그 자체 그대로 재현할 수 있는 3차원 화상 정보와 관련된 기술이 개발되고 있다. 이러한 3차원 화상 정보와 관련된 기술의 하나로 다시점 화상(multi-view video)이 있다.Therefore, current image information is not a planar two-dimensional world but three-dimensional realistic content that includes space, and technology related to three-dimensional image information that can be reproduced as it is to deliver multimedia information of reality and nature itself. Is being developed. One of the technologies related to such three-dimensional image information is a multi-view video.

다시점 화상 장치는 여러 대의 카메라로부터 획득한 화상을 사용자에게 전달해 원하는 시점(view)에서 화상을 시청할 수 있도록 하는 차세대 화상 장치이다. 즉, 사용자는 하나의 정적 시점보다는 다수의 시점 영상을 제공받아 임의의 시점으로 변경함으로써, 해당 시점의 영상 컨텐츠를 시청할 수 있다. The multi-view image device is a next-generation image device that delivers images obtained from several cameras to a user so that the user can view the image at a desired view. That is, the user may receive a plurality of viewpoint images rather than one static viewpoint and change the image to an arbitrary viewpoint, thereby viewing the image contents of the viewpoint.

다시점 화상을 공급하기 위한 다시점 화상 시스템 방식은 일반적으로 다시점 입력 비디오 신호가 들어오면 카메라 개수와 같은 개수의 부호화기를 사용하여 개별적인 압축 비트열(compressed bitstream)으로 만드는 동시(simulcast) 방식이다. 각 비트열은 다중화부를 통해 전송되는데, 다중화부는 일반적으로 해당 전송 규격에 맞추어 데이터 구조를 만든 후 채널로 전송한다. 이렇게 전달된 압축 비트열, 즉 부호화 화상은 수신 측에서 각각의 복호화기를 통해 복호화되며, 최종적으로 사용자에게 전달된다.The multi-view image system scheme for supplying a multi-view image is generally a simulcast method in which a multi-view input video signal is input into individual compressed bitstreams using the same number of encoders as the number of cameras. Each bit string is transmitted through a multiplexer. The multiplexer generally forms a data structure according to a corresponding transmission standard and transmits the data on a channel. The compressed bit string thus transmitted, that is, the encoded image, is decoded through each decoder at the receiving side and finally delivered to the user.

전술한 기술은 본 발명의 배경기술의 이해를 위해서 기재한 것이며, 본 발명이 속하는 기술분야에서 널리 알려진 종래기술을 의미하는 것은 아니다.The above-described technology is described for understanding the background of the present invention, and does not mean a conventional technology well known in the art.

본 발명의 목적은 다시점 화상 장치에서 기준 시점의 화상과 보조 시점의 화상을 주화면과 부화면으로 구분하여 표시하고, 사용자의 선택에 따라 보조 시점의 화상 중 어느 하나를 임의로 선택하여 표시할 수 있도록 한 다시점 화상 처리 장치를 제공하는데 있다.SUMMARY OF THE INVENTION An object of the present invention is to divide and display an image of a reference view and an image of an auxiliary view into a main screen and a sub-screen in a multi-view image device, and to arbitrarily select and display any one of the images of the auxiliary view according to a user's selection. It is to provide a multi-view image processing apparatus.

전술한 목적을 달성하기 위해 창안된 본 발명의 구성은 다음과 같다. The present invention devised to achieve the above object is as follows.

본 발명의 다시점 화상 처리 장치는 다중 비디오스트림을 시점 정보에 따라 기준 시점과 보조 시점의 화상 비트스트림을 분리하는 역다중화부, 상기 역다중화부로부터 입력된 상기 기준 시점과 보조 시점의 화상 비트스트림을 저장하는 메모리부, 상기 메모리부에 저장된 상기 기준 시점과 보조 시점의 화상 비트스트림을 디코딩하는 신호처리부, 상기 신호처리부로부터 입력된 기준 시점과 보조 시점의 화상신호를 스케일링하는 스케일러, 상기 스케일러로부터 입력된 상기 기준 시점과 보조 시점의 화상신호를 합성하는 합성부, 상기 합성부에 의해 합성된 상기 기준 시점과 보조 시점의 화상신호를 주화면과 부화면으로 표시하는 디스플레이부 및 상기 신호처리부를 통해 상기 기준 시점과 상기 보조 시점의 화상 비트스트림을 디코딩하여 상기 스케일러를 통해 상기 신호처리부에 의해 디코딩된 상기 화상신호를 상기 디스플레이부를 통해 상기 주화면과 상기 부화면으로 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.The multi-view image processing apparatus according to the present invention includes a demultiplexer for separating image bitstreams of a reference view and an auxiliary view according to viewpoint information, and an image bitstream of the reference view and the auxiliary view input from the demultiplexer. A memory unit for storing the image bitstreams of the reference view and the auxiliary view stored in the memory unit, a scaler for scaling the image signals of the reference view and the auxiliary view input from the signal processing unit, input from the scaler A synthesis unit for synthesizing the image signals of the reference view point and the auxiliary view point, a display unit for displaying the image signals of the reference view point and the auxiliary view point synthesized by the synthesizer on a main screen and a sub-screen, and the signal processor Decode the picture bitstream of the reference view and the auxiliary view to That through the boiler and a control unit that controls to display to the main screen and the sub-screen through the parts displaying the image signal decoded by the signal processor is characterized.

상기 메모리부는 상기 기준 시점의 화상 비트스트림을 저장하는 기준화상 버퍼 및 상기 보조 시점의 화상 비트스트림을 저장하는 보조화상 버퍼를 포함하는 것을 특징으로 한다.The memory unit may include a reference image buffer for storing the image bitstream of the reference viewpoint and an auxiliary image buffer for storing the image bitstream of the auxiliary viewpoint.

상기 보조화상 버퍼는 상기 보조 시점의 개수에 대응되게 설치되는 것을 특징으로 한다.The auxiliary image buffer is installed to correspond to the number of the auxiliary view.

상기 신호처리부는 상기 보조화상 버퍼를 스위칭하여 상기 보조화상 버퍼에 저장된 상기 보조 시점의 화상 비트스트림을 상기 보조화상 디코더로 출력하는 스위칭부를 포함하는 것을 특징으로 한다.The signal processor may include a switching unit configured to switch the auxiliary image buffer to output the image bitstream of the auxiliary view stored in the auxiliary image buffer to the auxiliary image decoder.

이와 같이 구성되는 본 발명에 따르면, 다시점 화상 장치에서 기준 시점의 화상 외 보조 시점의 화상을 주화면과 부화면으로 화면에 표시하고, 보조 시점의 화상을 사용자가 임의로 선택하여 표시할 수 있다.According to the present invention configured as described above, an image of an auxiliary view other than the image of the reference view can be displayed on the screen as a main screen and a sub-screen, and the user can arbitrarily select and display an image of the auxiliary view.

이하에서는 본 발명의 실시예에 따른 다시점 화상 처리 장치를 첨부된 도면들을 참조하여 상세하게 설명한다.Hereinafter, a multi-view image processing apparatus according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명의 실시예에 따른 다시점 화상 처리 장치의 블럭 구성도이다.1 is a block diagram of a multi-view image processing apparatus according to an embodiment of the present invention.

본 발명의 실시예에 따른 다시점 화상 처리 장치를 설명하기에 앞서, 일반적인 다시점 화상을 위한 송신장치를 살펴보면 다음과 같다.Prior to describing a multiview image processing apparatus according to an embodiment of the present invention, a transmission apparatus for a general multiview image is as follows.

다시점 화상을 위한 송신장치는 다수 개의 카메라를 통해 동일 시간 상에 동일 대상에 대해 여러 시점에서 촬영하고, 상기한 각각의 카메라에 연결된 인코더가 카메라를 통해 촬영된 비디오 데이터를 인코딩하여 소정의 비디오 압축 방식으로 부호화한다. 비디오 압축 방식은 MPEG2, MPEG4 등이 사용된다. 각 인코더에 의해 압축된 비트스트림은 다중화부를 거처 다중화되어 다시점 비디오스트림으로 전송된다.A transmission apparatus for a multiview image captures a plurality of cameras at the same time at a plurality of points of time at the same time, and an encoder connected to each of the cameras encodes the video data captured by the cameras to compress a predetermined video. Encoding in a manner. Video compression methods include MPEG2, MPEG4, and the like. The bitstream compressed by each encoder is multiplexed through a multiplexer and transmitted as a multiview video stream.

여기서, 인코더는 상기한 바와 같이 비디오 데이터를 인코딩하여 부호화하는 과정에서, 각 카메라에 대한 시점 정보를 비디오 스트림의 헤더에 저장한다. 이 때 기준 시점과 보조 시점에 대한 시점 정보와 보조 시점에 대한 시점 정보가 저장된다. Here, the encoder stores the view information of each camera in the header of the video stream in the process of encoding and encoding the video data as described above. At this time, the viewpoint information on the reference time point and the auxiliary view point and the viewpoint information on the auxiliary view point are stored.

따라서, 다시점 화상 처리 장치는 전송된 다시점 비디오스트림을 역다중화하여 각 시점별로 시점 정보와 시점 비트스트림을 출력함으로써 각 시점의 비트스트림을 출력할 수 있도록 처리한다.Accordingly, the multi-view image processing apparatus demultiplexes the transmitted multi-view video stream and outputs view information and a view bit stream for each view to process the bit stream of each view.

본 발명의 실시예에 따른 다시점 화상 처리 장치는 도시된 바와 같이, 역다중화부(10), 메모리부(20), 신호처리부(30), 스케일러(50), 합성부(60), 디스플레이부(70), 제어부(80) 및 키입력부(90)를 구비한다.As illustrated, the multi-view image processing apparatus according to the exemplary embodiment of the present invention may include a demultiplexer 10, a memory 20, a signal processor 30, a scaler 50, a synthesizer 60, and a display unit. 70, a control unit 80 and a key input unit 90 are provided.

역다중화부(10)는 송신부로부터 전송된 다시점 비디오 스트림을 역다중화하여 다시점 비디오 스트림의 헤더에 있는 시점 정보에 따라 각 시점별로 시점 비트스트림을 출력한다.The demultiplexer 10 demultiplexes the multiview video stream transmitted from the transmitter and outputs a view bitstream for each view in accordance with the view information in the header of the multiview video stream.

메모리부(20)는 역다중화부(10)로부터 입력되는 시점 비트스트림을 일시적으로 GOP(GROUP OF PICTURE)별로 버퍼링하여 출력한다. 메모리부(20)는 기준시점의 화상 비트스트림을 저장하는 기준화상 버퍼(21)와 보조시점의 화상 비트스트림을 저장하는 보조화상 버퍼(22)를 구비한다. 여기서, 보조화상 버퍼(22)는 보조시점의 개수에 대응하여 구비될 수 있다. 참고로, 본 실시예에서는 3개의 보조시점에 대한 보조화상 버퍼(22)를 구비하는 것을 예시로 하여 설명한다.The memory unit 20 buffers and outputs the time bitstream input from the demultiplexer 10 for each GOP (GROUP OF PICTURE). The memory unit 20 includes a reference image buffer 21 for storing the image bitstream at the reference point and an auxiliary image buffer 22 for storing the image bitstream at the auxiliary point. Here, the auxiliary image buffer 22 may be provided corresponding to the number of auxiliary views. For reference, in the present embodiment, an auxiliary image buffer 22 for three auxiliary views will be described as an example.

신호처리부(30)는 메모리부(20)에 각 시점별로 저장되어 있는 화상 비트스트림을 각 시점 별로 디코딩하여 디스플레이부(70)를 통해 출력할 수 있도록 한다. 신호처리부(30)는 메모리부(20)의 기준화상 버퍼(21)에 저장되어 있는 기준 시점의 화상 비트스트림을 디코딩하는 기준화상 디코더(31)와, 보조화상 버퍼(22)에 저장되어 있는 보조 시점의 화상 비트스트림 중 어느 하나를 선택하는 스위치부(32) 및 스위치부(32)에 의해 선택되어 입력되는 보조 시점의 화상 비트스트림을 디코딩하여 디스플레이부(70)를 통해 표시할 수 있도록 하는 보조화상 디코더(33)를 구비한다.The signal processor 30 decodes the image bitstream stored for each viewpoint in the memory 20 for each viewpoint and outputs the same through the display unit 70. The signal processor 30 includes a reference image decoder 31 which decodes an image bitstream at a reference time point stored in the reference image buffer 21 of the memory unit 20, and an auxiliary image stored in the auxiliary image buffer 22. Auxiliary to decode the image bitstream of the auxiliary viewpoint selected by the switch unit 32 and the switch unit 32 for selecting any one of the image bitstream of the viewpoint to be displayed on the display unit 70 An image decoder 33 is provided.

스케일러(50)는 기준화상 디코더(31)로부터 입력된 기준 시점의 보조 화상 신호를 스케일링하는 기준화상 스케일러(51) 및 보조화상 디코더(33)로부터 보조 시점의 보조 화상 신호를 스케일링하는 보조 화상 스케일러(52)를 구비하여 기준 시점과 보조 시점의 화상 신호를 각각 디스플레이부(70)를 통해 출력할 수 있도록 스케일링한다.The scaler 50 includes a reference image scaler 51 for scaling an auxiliary picture signal of a reference view input from the reference picture decoder 31 and an auxiliary picture scaler for scaling an auxiliary picture signal of an auxiliary view from the auxiliary picture decoder 33. 52 to scale the image signals of the reference view and the auxiliary view through the display unit 70, respectively.

합성부(60)는 기준 화상 스케일러(51)와 보조 화상 스케일러(52)로부터 입력되는 화상 신호를 합성하여 주화면과 부화면으로 출력할 수 있도록 하고, 디스플레이부(70)는 합성부(60)에 의해 합성된 화상 신호를 표시하여 사용자가 시청할 수 있도록 한다.The synthesizing unit 60 synthesizes the image signals input from the reference image scaler 51 and the sub image scaler 52 and outputs them to the main screen and the sub-screen, and the display unit 70 includes the synthesizing unit 60. Display the synthesized image signal so that the user can view it.

제어부(80)는 키입력부(90)로부터 보조 시점 선택을 위한 키가 입력되면, 상기한 스위치부(32)를 제어하여 보조 화상 버퍼(22)에 저장된 보조 시점의 화상 비트스트림을 보조 화상 디코더(33)로 출력하도록 한다. 이에 따라, 보조 화상 디코더(33)가 스위치부(32)를 통해 읽어들인 보조 시점의 화상 비트스트림을 디코딩하여 출력할 수 있도록 한다.When a key for selecting an auxiliary view is input from the key input unit 90, the controller 80 controls the switch unit 32 to decode the image bitstream of the auxiliary view stored in the auxiliary image buffer 22. 33). Accordingly, the auxiliary picture decoder 33 can decode and output the picture bitstream of the auxiliary view read through the switch unit 32.

키입력부(90)는 사용자의 키조작에 따른 각종 키신호를 제어부(80)에 입력하 는 것으로서, 보조 시점을 선택할 수 있도록 하는 키를 입력하도록 한다.The key input unit 90 inputs various key signals according to a user's key operation to the controller 80 to input a key for selecting an auxiliary view point.

이하, 본 실시예에 따른 다시점 화상 처리 장치의 동작 과정을 도 2 를 참조하여 설명한다.Hereinafter, an operation process of the multi-viewpoint image processing apparatus according to the present embodiment will be described with reference to FIG. 2.

도 2 는 본 발명의 실시예에 따른 다시점 화상 처리 장치의 동작 순서도이다.2 is an operational flowchart of a multi-view image processing apparatus according to an embodiment of the present invention.

본 발명의 실시예에 따른 다시점 화상 처리 장치는 다시점 화상 송신장치로부터 다시점 비디오스트림이 전송되면, 역다중화부(10)는 다시점 비디오스트림을 헤더에 있는 시점 정보에 따라 역다중화하여 각 시점별로 화상 비트스트림을 메모리부(20)의 각 버퍼(21,22)에 저장한다. In the multi-view image processing apparatus according to the embodiment of the present invention, when the multi-view video stream is transmitted from the multi-view image transmission apparatus, the demultiplexer 10 demultiplexes the multi-view video stream according to the viewpoint information in the header, The image bitstream is stored in each of the buffers 21 and 22 of the memory unit 20 for each viewpoint.

이 경우, 메모리부(20)의 기준화상 버퍼(21)에는 기준 시점의 화상 비트스트림이 저장되고, 보조화상 버퍼(22)에는 보조 시점의 화상 비트스트림이 저장된다. 이에 따라, 기준화상 버퍼(21)를 통해 기준화상 디코더(31)로 입력된 화상 비트스트림은 기준화상 디코더(31)에 의해 디코딩된다. In this case, the image bitstream of the reference viewpoint is stored in the reference image buffer 21 of the memory unit 20, and the image bitstream of the auxiliary viewpoint is stored in the auxiliary image buffer 22. Accordingly, the image bitstream input to the reference image decoder 31 through the reference image buffer 21 is decoded by the reference image decoder 31.

제어부(80)는 키입력부(90)를 통해 보조 시점을 시청하기 위한 키가 입력되는 지를 확인하여(S10) 상기한 키가 되면, 스위치부(32)를 제어하여 보조 화상 버퍼(22)중 어느 하나에 연결된다. The controller 80 checks whether a key for viewing the auxiliary view is input through the key input unit 90 (S10), and when the key is set, the controller 80 controls the switch unit 32 to control which of the auxiliary image buffers 22 is used. Is connected to one.

이에 따라, 보조 화상 버퍼(22)에 저장되어 있는 보조 시점의 화상 비트스트림을 선택하여(S20), 보조 화상 버퍼(22)로부터 보조 화상 디코더(33)로 입력되도록 한다. Accordingly, the picture bitstream of the auxiliary view stored in the auxiliary picture buffer 22 is selected (S20), and is input from the auxiliary picture buffer 22 to the auxiliary picture decoder 33.

이에 따라, 보조 화상 디코더(33)는 스위치부(32)로부터 입력된 보조 시점의 화상 비트스트림을 디코딩한 후(S30), 보조 화상 스케일러(52)에 입력하고, 보조 화상 스케일러(52)는 디코딩된 보조 시점의 화상 신호를 디스플레이부(70)를 통해 주화면과 부화면으로 출력할 수 있도록 스케일링한다.Accordingly, the auxiliary picture decoder 33 decodes the picture bitstream of the auxiliary view input from the switch unit 32 (S30) and inputs it to the auxiliary picture scaler 52, and the auxiliary picture scaler 52 decodes. The scaled image signal of the auxiliary view can be output to the main screen and the sub-screen through the display unit 70.

합성부(60)는 보조 화상 스케일러(52)로부터 화상 신호가 입력되면, 이를 기준 화상 스케일러(50)로부터 입력된 화상 신호와 합성하여(S40) 디스플레이부(70)로 출력하고, 디스플레이부(70)는 합성부(60)로부터 입력된 화상신호를 출력하여 사용자가 주화면으로는 기준 시점의 화상을 시청하고, 부화면으로부터 보조 시점의 화상을 표시함으로써(S50), 주화면과 부화면으로 구성되어 화면을 표시하는 PIP 모드로 시청할 수 있도록 한다.When the image signal is input from the auxiliary image scaler 52, the combining unit 60 synthesizes the image signal with the image signal input from the reference image scaler 50 (S40) and outputs the result to the display unit 70. ) Outputs an image signal input from the combining unit 60 so that the user views an image of the reference viewpoint on the main screen and displays an image of the auxiliary viewpoint from the subscreen (S50), thereby configuring the main screen and the subscreen. To be viewed in the PIP mode that displays the screen.

여기서, 스위치부(32)는 상기한 보조 화상 버퍼(22)에 저장되어 있는 보조 시점의 화상 비트스트림을 보조 화상 디코더(33)로 출력하는 데, 이 경우 보조 시점이 적어도 1개 이상인 경우에는 이들 중 적어도 1개를 선택할 수 있도록 한다.Here, the switch unit 32 outputs the image bitstream of the auxiliary view stored in the auxiliary picture buffer 22 to the auxiliary picture decoder 33. In this case, when there are at least one auxiliary view, Allow at least one of them to be selected.

따라서, 사용자가 키입력부(90)를 조작하여 보조 시점의 화상을 임의로 선택하여 시청할 수 있다.Therefore, the user can operate the key input unit 90 to arbitrarily select and view an image of the auxiliary view.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.Although the present invention has been described with reference to the embodiments illustrated in the drawings, this is merely exemplary, and various modifications and equivalent other embodiments may be made by those skilled in the art. Will understand. Therefore, the true technical protection scope of the present invention will be defined by the claims below.

도 1 은 본 발명의 실시예에 따른 다시점 화상 처리 장치의 블럭 구성도. 1 is a block diagram of a multiview image processing apparatus according to an embodiment of the present invention;

도 2 는 본 발명의 실시예에 따른 다시점 화상 처리 장치의 동작 순서도.2 is an operational flowchart of a multi-view image processing apparatus according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10: 역다중화부 20: 메모리부10: demultiplexer 20: memory

30: 신호처리부 50: 스케일러30: signal processor 50: scaler

60: 합성부 70: 디스플레이부60: synthesis unit 70: display unit

80: 제어부 90: 키입력부80: control unit 90: key input unit

Claims (4)

다중 비디오스트림을 시점 정보에 따라 기준 시점과 보조 시점의 화상 비트스트림을 분리하는 역다중화부;A demultiplexer which separates the video bitstreams of the reference view and the auxiliary view according to the view information; 상기 역다중화부로부터 입력된 상기 기준 시점과 보조 시점의 화상 비트스트림을 저장하는 메모리부;A memory unit which stores an image bitstream of the reference view point and the auxiliary view point input from the demultiplexer; 상기 메모리부에 저장된 상기 기준 시점과 보조 시점의 화상 비트스트림을 디코딩하는 신호처리부;A signal processor which decodes an image bitstream of the reference viewpoint and the auxiliary viewpoint stored in the memory unit; 상기 신호처리부로부터 입력된 기준 시점과 보조 시점의 화상신호를 스케일링하는 스케일러;A scaler for scaling an image signal of a reference view point and an auxiliary view point input from the signal processor; 상기 스케일러로부터 입력된 상기 기준 시점과 보조 시점의 화상신호를 합성하는 합성부; A combining unit which synthesizes the image signals of the reference view point and the auxiliary view point inputted from the scaler; 상기 합성부에 의해 합성된 상기 기준 시점과 보조 시점의 화상신호를 주화면과 부화면으로 표시하는 디스플레이부; 및A display unit which displays the image signals of the reference view point and the auxiliary view point synthesized by the synthesis unit on a main screen and a sub-screen; And 상기 신호처리부를 통해 상기 기준 시점과 상기 보조 시점의 화상 비트스트림을 디코딩하여 상기 스케일러를 통해 상기 신호처리부에 의해 디코딩된 상기 화상신호를 상기 디스플레이부를 통해 상기 주화면과 상기 부화면으로 표시하도록 제어하는 제어부를 포함하는 다시점 화상 처리 장치.Decoding the image bitstreams of the reference view and the auxiliary view through the signal processing unit to control the display unit to display the image signal decoded by the signal processing unit as the main screen and the sub-screen through the display unit; A multiview image processing apparatus comprising a control unit. 제 1 항에 있어서, 상기 메모리부는 The method of claim 1, wherein the memory unit 상기 기준 시점의 화상 비트스트림을 저장하는 기준화상 버퍼; 및A reference picture buffer for storing the picture bitstream at the reference time point; And 상기 보조 시점의 화상 비트스트림을 저장하는 보조화상 버퍼를 포함하는 것을 특징으로 하는 다시점 화상 처리 장치.And an auxiliary picture buffer for storing an image bitstream of the auxiliary view. 제 2 항에 있어서, 상기 보조화상 버퍼는 상기 보조 시점의 개수에 대응되게 설치되는 것을 특징으로 하는 다시점 화상 처리 장치.The multi-view image processing apparatus according to claim 2, wherein the auxiliary image buffer is provided corresponding to the number of the auxiliary viewpoints. 제 1 항에 있어서, 상기 신호처리부는 상기 보조화상 버퍼를 스위칭하여 상기 보조화상 버퍼에 저장된 상기 보조 시점의 화상 비트스트림을 상기 보조화상 디코더로 출력하는 스위칭부를 포함하는 것을 특징으로 하는 다시점 화상 처리 장치.The multi-view image processing according to claim 1, wherein the signal processing unit comprises a switching unit for switching the auxiliary image buffer and outputting an image bitstream of the auxiliary view stored in the auxiliary image buffer to the auxiliary image decoder. Device.
KR20080102448A 2008-10-20 2008-10-20 Apparatus and method for processing multi-view images KR101492980B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20080102448A KR101492980B1 (en) 2008-10-20 2008-10-20 Apparatus and method for processing multi-view images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080102448A KR101492980B1 (en) 2008-10-20 2008-10-20 Apparatus and method for processing multi-view images

Publications (2)

Publication Number Publication Date
KR20100043419A true KR20100043419A (en) 2010-04-29
KR101492980B1 KR101492980B1 (en) 2015-02-12

Family

ID=42218402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080102448A KR101492980B1 (en) 2008-10-20 2008-10-20 Apparatus and method for processing multi-view images

Country Status (1)

Country Link
KR (1) KR101492980B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109937569A (en) * 2016-10-05 2019-06-25 Lg电子株式会社 Display device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980021416A (en) * 1996-09-16 1998-06-25 김광호 Multi-angle screen synchronous playback device
KR100676822B1 (en) * 2005-05-25 2007-02-01 삼성전자주식회사 Video processing apparatus having function of picture in picture
KR20080056588A (en) * 2006-12-18 2008-06-23 엘지전자 주식회사 An image display device providing multi angle service and method of controlling the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109937569A (en) * 2016-10-05 2019-06-25 Lg电子株式会社 Display device

Also Published As

Publication number Publication date
KR101492980B1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
US10051226B2 (en) Transmitter for enabling switching involving a 3D video signal
JP5429034B2 (en) Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method
KR101797495B1 (en) Digital receiver and method for processing caption data in the digital receiver
JP6192902B2 (en) Image data transmitting apparatus, image data transmitting method, image data receiving apparatus, and image data receiving method
KR20120092497A (en) Image reception device
US20120050476A1 (en) Video processing device
KR20120095865A (en) Broadcast receiver and 3d video data processing method thereof
JP5957769B2 (en) Video processing apparatus and video processing method
US20130250054A1 (en) Image data transmitting apparatus, image data transmitting method, image data receiving apparatus, and image data receiving method
WO2012169204A1 (en) Transmission device, reception device, transmission method and reception method
KR20120127409A (en) Reception device, transmission device, communication system, method for controlling reception device, and program
KR101977260B1 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
KR20120097372A (en) Broadcast receiver and 3d video data processing method thereof
US9693033B2 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
JP2001054140A (en) Stereo video band compression coding method, decoding method and recording medium
JP2011077722A (en) Image decoding apparatus, and image decoding method and program for the same
JP2012044625A (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, stereoscopic image data reception device and stereoscopic image data reception method
WO2013054775A1 (en) Transmission device, transmission method, receiving device and receiving method
WO2012063675A1 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, and stereoscopic image data reception device
KR101492980B1 (en) Apparatus and method for processing multi-view images
JP2012028960A (en) Image decoding device, image decoding method and image decoding program
JP2008034893A (en) Multi-viewpoint image decoder
WO2012160812A1 (en) Image processing device, transmitting device, stereoscopic image viewing system, image processing method, image processing program and integrated circuit

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee