WO2010150961A1 - 3차원 영상 제공 장치, 표시 장치 및 그 방법 - Google Patents

3차원 영상 제공 장치, 표시 장치 및 그 방법 Download PDF

Info

Publication number
WO2010150961A1
WO2010150961A1 PCT/KR2010/000857 KR2010000857W WO2010150961A1 WO 2010150961 A1 WO2010150961 A1 WO 2010150961A1 KR 2010000857 W KR2010000857 W KR 2010000857W WO 2010150961 A1 WO2010150961 A1 WO 2010150961A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
frame set
thumbnail
index
Prior art date
Application number
PCT/KR2010/000857
Other languages
English (en)
French (fr)
Inventor
장준덕
Original Assignee
(주)엘지전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엘지전자 filed Critical (주)엘지전자
Priority to EP10792243.7A priority Critical patent/EP2448272A4/en
Priority to US13/379,145 priority patent/US8836757B2/en
Priority to CN201080027888.8A priority patent/CN102461184B/zh
Publication of WO2010150961A1 publication Critical patent/WO2010150961A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to an image providing apparatus, a display apparatus and a method thereof, and more particularly, to a three-dimensional image providing apparatus, a display apparatus and a method thereof.
  • a stereoscopic 3D display device provides a user with a 3D image that enables depth perception to stereovision.
  • an object of the present invention is to provide a 3D image providing apparatus and a method for generating a 3D thumbnail from 3D image data.
  • Another object of the present invention is to provide a three-dimensional image display device and a method for naturally fusing and displaying a three-dimensional thumbnail and a three-dimensional main image.
  • an apparatus for providing a 3D image includes: an index selector configured to select at least one index frame set from 3D image data including a plurality of frame sets And a thumbnail generation unit configured to acquire a left image and a right image with respect to the selected index frame set, and generate a thumbnail frame set based on the obtained left image and the right image, wherein a frame belonging to the thumbnail frame set includes: Compared to the frames belonging to the index frame set, the frame size is small or the frame resolution is low.
  • the frame set, the index frame set, and the thumbnail frame set may include at least one frame constituting a 3D image of a specific viewpoint.
  • the index selector may select the index frame set at a predetermined time period or a predetermined frame period.
  • the index selector may select a left image frame and a right image frame together to constitute a time division type stereoscopic image.
  • the index selector may select one frame that constitutes a non-time division stereoscopic image.
  • the thumbnail generator is configured to obtain a left image frame and a right image frame with respect to the index frame set in a time division stereoscopic image, reduce the obtained left image frame and the right image frame, and then reduce the reduced left image frame.
  • the thumbnail frame set may be generated based on the image frame and the reduced right image frame.
  • the thumbnail generation unit in a non-time division stereoscopic image, obtains a left image from a part of a frame belonging to the index frame set, obtains a right image from the remaining part, and reduces the obtained left image and the right image.
  • the thumbnail frame set may be generated by combining the reduced left image frame and the reduced right image frame.
  • the apparatus for providing 3D images may include at least one of a storage unit storing the 3D image data and the thumbnail frame set, an image decoder for restoring the frame set from the stored 3D image data, and the stored thumbnail frame set. Select an image display unit and generate a composite image based on the OSD set unit for generating an OSD screen displaying the selected thumbnail frame set, the frame set restored by the image decoder, and the OSD screen generated by the OSD generator. It may further include wealth.
  • the image decoder may decode the frame set from a 3D broadcast signal, 3D content data provided by an external device, or the 3D image data stored in the storage unit.
  • the index selector may select the index frame set from the 3D image data reconstructed by the image decoder.
  • the OSD generator may select the thumbnail frame set based on the total reproduction time or the total number of frames of the 3D image data stored in the storage.
  • the image synthesis unit synthesizes a left image of the frame set decoded by the image decoder, a left image of the OSD screen generated by the OSD generator, and a right image of the frame set decoded by the image decoder;
  • the right image of the OSD screen generated by the OSD generator may be synthesized.
  • the apparatus for providing 3D images may further include a 3D formatter for converting the synthesized image into a form of an image signal that can be displayed by the 3D display panel.
  • a three-dimensional image display apparatus including a display unit for displaying a three-dimensional image, three-dimensional image data, and at least one thumbnail frame set.
  • a storage unit a first image providing unit to restore the 3D image data from the received broadcast signal, and to obtain at least one frame set from the 3D image data stored in the storage unit; and the restored 3D image.
  • a second image providing unit for selecting at least one index frame set from data, generating a thumbnail frame set corresponding to the selected index frame set, and storing the thumbnail frame set and the first image providing unit; Generates a composite image based on the thumbnail frame set generated by the second image providing unit, and the sum And a video signal output unit for providing a 3D-formatted video signal to the display unit, wherein a frame belonging to the thumbnail frame set has a smaller frame size or a lower frame resolution compared to a frame belonging to the index frame set. Can be satisfied.
  • the display unit may simultaneously display a moving picture constituted by the frame set and a still image constituted by the thumbnail frame set.
  • a method of providing a 3D image including: selecting at least one index frame set from 3D image data including a plurality of frame sets; Obtaining a left image and a right image with respect to the selected index frame set, and generating a thumbnail frame set based on the obtained left image and the right image, wherein a frame belonging to the thumbnail frame set is the index; Compared to the frames belonging to the frame set, the frame size is small or the frame resolution is low.
  • the frame set, the index frame set, and the thumbnail frame set may include at least one frame constituting a 3D image of a specific viewpoint.
  • the 3D image providing method may include restoring the 3D image data including the plurality of frame sets from a 3D broadcast signal, storing the 3D image data and the thumbnail frame set, and storing the 3D image data.
  • the method may further include generating an OSD screen displaying at least one of a set of thumbnail frames, and generating a composite image based on the frame set and the OSD screen obtained from the stored 3D image data.
  • a method for displaying a 3D image including: restoring 3D image data including at least one frame set from a broadcast signal; Selecting at least one index frame set from the dimensional image data, generating a thumbnail frame set corresponding to the index frame set, storing the 3D image data and the thumbnail frame set, and storing the stored Generating an OSD screen displaying at least one of a set of thumbnail frames, generating a composite image based on the frame set and the OSD screen obtained from the stored 3D image data, and performing 3D formatting of the composite image Outputting a video signal.
  • the generating of the synthesized image may include synthesizing the left image of the frame set and the left image of the OSD screen, and the right image of the frame set and the right image of the OSD screen.
  • the display device and the method as described above by generating a three-dimensional thumbnail from the left and right images obtained from the three-dimensional image data to provide a three-dimensional image that can be referred to the user to move to a desired playback point There is.
  • FIG. 1 is a block diagram illustrating a configuration of a 3D image display device according to an exemplary embodiment.
  • FIGS. 2 to 6 are conceptual diagrams for describing an operation of a 3D image display device according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a 3D image display method according to an embodiment of the present invention.
  • a three-dimensional image providing device a display device, and a method of improving the user satisfaction of a three-dimensional image by generating a three-dimensional thumbnail, and fusion of the three-dimensional thumbnail with the three-dimensional main image are shown. It will be described in detail with reference to 1 to 7.
  • the stereoscopic image consists of a left image (left eye image) and a right image (right eye image).
  • the stereoscopic image is composed of a top-down arrangement of a left image and a right image up and down within a frame. down) method, L-to-R (left-to-right, side by side) method that arranges left and right images left and right within a frame, and checker board that arranges pieces of left and right images in tile form (checker board) method, interlaced method for arranging left and right images alternately by column or row unit, and time sequential (frame by frame) method for displaying left and right images alternately by time Etc. Therefore, one stereoscopic scene is composed of two frames in the time division scheme and one frame in the non-time division scheme.
  • the frame set includes at least one frame constituting a stereoscopic video of a specific viewpoint.
  • the frame set may include a left image frame and a right image frame in the case of the time division method, and include one image frame in which the left image and the right image are combined in the case of the time division method.
  • a frame set to be used as an index may be selected.
  • the index means a mark of a specific time frame or a specific frame set corresponding to the specific time point of the entire reproduction time of the image.
  • the index may be determined at the user's choice or in a predetermined automated manner. For example, when a user records a broadcast program using a personal video recoding (PVR) function and then watches a recorded broadcast program, the user may move the playback point to a previously determined index point to watch.
  • PVR personal video recoding
  • a thumbnail means a reduced image or a reduced still image.
  • the thumbnail or the thumbnail frame set may be understood as a frame set composed of reduced image frames.
  • the thumbnail frame has a smaller frame size or lower frame resolution than the original frame.
  • a thumbnail frame set may be generated for the index frame set.
  • thumbnails are created from an intra picture (i-picture) serving as a reference picture of a group of picture (GOP) which is a unit of random access. It may be desirable.
  • MPEG moving picture experts group
  • the 3D image display apparatus 100 displays a 3D image corresponding to a 3D broadcast signal or 3D image data in a stereoscopic manner and may be implemented in various forms.
  • the 3D image display apparatus 100 may be a 3D television, a 3D display apparatus, or the like.
  • 3D television receives 3D broadcast signals through wired and wireless networks such as terrestrial, cable network, Internet, mobile communication and satellite communication, or 3D content from external devices such as 3D Blu-ray disc players.
  • the 3D broadcast signal or the 3D image corresponding to the 3D content data received may be displayed in a stereoscopic manner and an audio signal may be output.
  • the 3D image display apparatus 100 includes a tuner 111, a demodulation and channel decoder 113, a demultiplexer 115, a voice decoder 117, and an image decoder 119. ), Index selector 121, thumbnail generator 123, storage 125, OSD generator 127, UI 131, controller 133, image synthesizer 135, 3D formatter 137, a speaker 141, a display unit 143, and the like. Not all components of the 3D image display apparatus 100 illustrated in FIG. 1 are essential components, and the 3D image display apparatus 100 may be implemented by more components than those illustrated in FIG. 1. In addition, the 3D image display apparatus 100 may be implemented using fewer components.
  • the tuner 111 selects and outputs a broadcast signal of one channel among a plurality of broadcast signals.
  • the demodulation and channel decoder 113 demodulates the broadcast signal from the tuner 111 and performs error correction decoding on the demodulated signal to output a transport stream (TS).
  • the demodulation and channel decoder 113 may include an analog-digital converter (ADC) to output a TS.
  • ADC analog-digital converter
  • the transport demultiplexer 115 demultiplexes the TS to separate the video packetized elementary stream (PES) from the audio PES. Additionally, the transport demultiplexer 115 may extract program specific information (PSI) / program and system information protocol (PSIP) information.
  • PSI program specific information
  • PSIP program and system information protocol
  • the packet release unit releases packets with respect to the video PES and the audio PES to restore the video elementary stream (ES) and the audio ES.
  • the PSI / PSIP processor receives PSI / PSIP information from the transport demultiplexer 115, parses the information, and stores the PSI / PSIP information in a memory or a register to perform broadcast signal decoding and broadcast reproduction based on the stored information. have.
  • the transport demultiplexer 115 may receive a TS including 3D image data and thumbnails generated in advance for the 3D image data from an external device 400 such as a 3D Blu-ray disc player. In this case, the transport demultiplexer 115 processes the 3D image data in the same manner as in the 3D broadcast signal, and provides the restored thumbnail to the OSD generator 127 which will be described later.
  • the other three-dimensional image display process can be understood in a similar manner as in the case of the three-dimensional broadcast signal, so a detailed description thereof will be omitted.
  • the voice decoder 117 decodes the audio ES and outputs an audio bit stream.
  • the audio bit stream may be converted into an analog voice signal by a digital-to-analog converter (not shown), amplified by an amplifier (not shown), and then output through the speaker 141.
  • the voice decoder 117 stores the audio bit stream directly in the storage 125 or in the storage 125 through the index selector 121 or the thumbnail generator 123 although not shown in FIG. Can be.
  • the image decoder 119 reconstructs the video bit stream by decoding the video ES.
  • the reconstructed video bit stream includes a left video signal and a right video signal constituting the stereoscopic 3D video.
  • the index selector 121 selects at least one index frame set from the video bit stream provided from the image decoder 119 according to a predetermined criterion, and provides the selected index frame set to the thumbnail generator 123.
  • the index selector 121 may provide the video bit stream to the thumbnail generator 123 or directly store the video bit stream in the storage 125.
  • the index selector 121 may select an index frame set according to a predetermined period.
  • the predetermined period may be a predetermined time interval or a predetermined frame interval. For example, when the update frequency of the 3D image is 60 Hz (that is, when 60 frames are scanned per second), the index selector 121 sets one index frame every 30 Hz (that is, every 30th time). Frame set) can be selected.
  • the index selector 121 may select an index frame set corresponding to the scene change point. For example, when chapter information is provided together with the 3D broadcast signal, the index selector 121 may select an index frame set corresponding to each chapter start point.
  • the index selector 121 may select an index frame set corresponding to each division point when the total reproduction time is divided into a predetermined number. have. For example, when it is determined that the total reproduction time of the video is 2 hours, the index selector 121 divides the total reproduction time into 8 equal parts, such as 0 minutes, 15 minutes, 30 minutes, 45 minutes, An index frame set corresponding to 60 minutes, 75 minutes, 90 minutes, 105 minutes, and 120 minutes can be selected.
  • the index selector 121 may select two frames constituting the stereoscopic image of the indexing point, that is, the left image frame and the right image frame. If the method of configuring the stereoscopic image is not a time division method, the index selector 121 may select one frame constituting the stereoscopic image of the index point, that is, a frame in which the left image and the right image are combined.
  • the thumbnail generator 123 generates a thumbnail (thumbnail frame set) with respect to the index frame set provided from the index selector 121 and stores the thumbnail in the storage 125.
  • the thumbnail generator 123 may store the video bit stream in the storage 125.
  • the thumbnail generator 123 may acquire a left image and a right image with respect to the provided index frame set, and generate a thumbnail frame set based on the obtained left image and the right image.
  • the thumbnail generator 123 acquires the left image from the left half of one frame belonging to the index frame set, and the right half from the right half. After acquiring the image, the obtained left image and the right image are reduced, and the reduced left image and the right image may be combined again into one frame of the L-to-R method to generate a thumbnail frame set.
  • the thumbnail generator 123 obtains a left image from the left image frame of two frames belonging to the index frame set, and obtains a right image from the right image frame. After reducing the obtained left image and the right image, a thumbnail frame set may be generated by configuring the reduced left image and the right image into two left and right frames in a time division manner.
  • the thumbnail generator 123 may generate a thumbnail frame set by simply reducing a frame belonging to the index frame set.
  • a simple reduction method compared to the above-described reconstruction method, the quality of the generated thumbnail may be degraded, but may be selectively used to increase the thumbnail processing speed.
  • the storage unit 125 stores a video bit stream, a corresponding audio bit stream, and a thumbnail frame set.
  • the storage unit 125 may read a computer such as random access memory (RAM), read only memory (ROM), hard disk drive, optical drive, optical memory, flash memory, or the like. Possible media may be included.
  • the video bit stream and the audio bit stream may be encoded and stored in a predetermined format in the storage unit 125.
  • the video bit stream and the audio bit stream may be stored in the storage 125 as separate files.
  • the video bit stream and the audio bit stream may be stored in the form of one TS file.
  • the transport demultiplexer 115 demultiplexes the TS stored in the storage 125 to separate the video PES and the audio PES.
  • the image decoder 119 and the audio decoder 117 respectively decode the video ES and the audio ES.
  • the video bit stream and the audio bit stream are decoded and output to the image synthesizer 135 and the speaker 141.
  • the on-screen display (OSD) generator 127 generates an OSD screen displaying information required by the user or information to be known.
  • the OSD screen is displayed on the main image.
  • the OSD screen may be a three-dimensional screen in its entirety or a part of the OSD screen.
  • the OSD generator 127 may include a progress bar displaying an input source, a channel number, a program title, a play time, a subtitle, information about a main audio or a stereo / mono output, a total play time, and a current play point.
  • a screen including a 2D screen object such as a progress bar) or a 3D screen object such as a 3D thumbnail may be generated.
  • the OSD generator 127 may select a predetermined number of thumbnail frame sets from among a plurality of thumbnail frame sets stored in the storage 125 and generate an OSD screen displaying the selected thumbnail frame set.
  • the OSD generator 127 may grasp the total playback time of the video bit stream stored in the storage 125 and may select a thumbnail frame set corresponding to a point where the total playback time is properly divided.
  • the OSD generator 127 may properly arrange a set of thumbnail frames corresponding to each playback point of the upper part of the progress bar on the OSD screen.
  • a process of generating an OSD screen including a set of thumbnail frames will be described below in detail. For example, if the index selector 121 selects an index frame set corresponding to that point every minute, the thumbnail generator 123 also sets a thumbnail frame set for each index frame set every minute. Create If the total reproduction time of a given 3D image is 2 hours, a total of 120 thumbnail frame sets may be generated and stored in the storage unit 125. If it is determined that the 3D image display device displays seven thumbnails on the screen according to a user's selection or a predetermined setting, the OSD generator 127 may display the 15th, 30th, and 45th of a total of 120 thumbnail frame sets. The first, sixth, 75th, 90th, and 105th thumbnail frame sets may be selected, and an OSD screen displaying the selected seven thumbnail frame sets may be generated.
  • the UI unit (user interface unit 131) provides various control commands or information input by the user to the control unit 133 which will be described later.
  • the UI unit 131 operates an IR receiver for receiving an infrared signal transmitted from a remote controller, a keypad provided on the front or side of the 3D image display apparatus 100, and a pointer on the screen and selecting a point where the pointer is located. It may include an RF receiver for receiving a radio signal transmitted from the supporting pointing device. For example, when the UI unit 131 is provided with an RF receiver, the user may move a playback point to a corresponding scene by performing an input operation of selecting a specific point on a thumbnail or a progress bar by using a pointing device.
  • the controller 133 may control the overall operation of the 3D image display apparatus 100.
  • the controller 133 may receive a user input signal from the UI unit 131 and generate a control signal for controlling an operation of the 3D image display apparatus 100 in response to the user input signal.
  • the UI unit 131 displays coordinate information and click information of the point. It may be transmitted to the control unit 133 in the form of an electrical signal. Then, the controller 133 determines the playback point clicked on the basis of the coordinate information and the click information, and then gives a control command to the image decoder 119 and the audio decoder 117 so that playback can be performed from the clicked playback point. You can send Alternatively, when the user changes the information to be displayed on the OSD screen, the controller 133 may send a control command to the OSD generator 127 to update or modify the OSD screen.
  • the controller 133 and the OSD generator 127 may be implemented as one block or one device for generating an OSD screen and controlling the overall operation of the 3D image display apparatus 100.
  • the controller 133 and the OSD generator 127 may be implemented as one microprocessor.
  • the image synthesizer 135 receives the left image signal and the right image signal of the video bit stream (the main image) from the image decoder 119.
  • the image synthesizer 135 receives the left image signal and the right image signal of the OSD screen from the OSD generator 127.
  • the image synthesizer 131 generates a synthesized image by combining the left image signal and the right image signal of the video bit stream with the left image signal and the right image signal of the OSD screen.
  • the video bit stream provided by the image decoder 119 to the image synthesizer 135 is recorded in the 3D content data or the storage 125 provided from an external device such as a 3D broadcast signal or a 3D Blu-ray disc player. It may be restored from the 3D broadcast image data.
  • the video bit stream includes a left video signal and a right video signal for the main video.
  • the OSD screen provided by the OSD generator 127 to the image synthesizer 135 is composed of a left image signal and a right image signal, so that three-dimensional thumbnails can be displayed properly.
  • the image synthesizer 135 synthesizes the left image signal of the video bit stream (main image) and the left image signal of the OSD screen, and synthesizes the right image signal of the video bit stream by synthesizing the right image signal of the OSD screen. Can be generated.
  • the image synthesizer 135 may arrange an OSD screen on the main image using a video overlay, a hardware overlay, or the like.
  • the 3D formatter 137 converts the synthesized image into a 3D image signal form that can be displayed by the 3D display panel.
  • the 3D formatter 137 may use the top-down method.
  • a down-synthesized image may be converted into a time-divided synthetic image.
  • the 3D formatter 137 may convert the left image positioned at the top of the composite image into the left image frame, and convert the right image positioned at the bottom into the right image frame.
  • the image signal separator may separate the image data and the synchronization signal from the 3D image signal.
  • the image data is information on brightness, saturation, and color of each pixel on the screen, and may be configured according to an image format such as RGB, CMY, YCbCr, YIQ, HSI, and the like.
  • the synchronization signal is information that allows the image data to be normally displayed as a desired image without being shaken or broken on the screen.
  • the display unit 143 includes a panel and a panel driving circuit suitable for displaying the left and right image signals on the panel and generating control signals such as various timing control signals and driving signals.
  • the display unit 143 may simultaneously display a moving picture of a video bit stream (main picture) and a still picture of an OSD screen on the panel.
  • the display unit 143 may be a liquid crystal display, a plasma display panel, a thin film transistor-liquid crystal display, an organic light-emitting diode, or an electric field.
  • the display device may include at least one of a field emission display and a flexible display.
  • two or more display units 230 may exist according to the implementation form of the 3D image display apparatus 100.
  • an upper display unit (not shown) and a lower display unit (not shown) may be simultaneously provided in the 3D image display apparatus 100.
  • the display unit 143 may display a 3D image according to a polarization method or a time division method as a 3D image display method.
  • the display unit 143 of the polarization method may additionally include a polarizing film or a polarizing plate.
  • the time division display unit 143 may additionally include a synchronization signal generator such as an emitter for synchronizing the left and right images with the shuttered glasses.
  • the polarizing plate transmits only light in a specific polarization direction among the light emitted from the display unit 143, so that all transmitted light has only the same polarization direction.
  • the polarizing plate is an iodine polarizing film, a dye polarizing film, a phase polarization film, a semi-transmissive polarizing film, a highly reflective semi-transmissive polarizing film, an anti-glare / anti-reflection film, a reflective polarizing film It may include at least one of a liquid crystal (LC) film.
  • the polarizer may change the polarization direction in a specific direction according to the electrical control signal.
  • the polarizing plate can switch between a polarization direction of -45 degrees and a polarization direction of +45 degrees, in which case light having a polarization direction of -45 degrees and a polarization direction of +45 degrees is alternately passed.
  • each component applied to the 3D image display apparatus 100 may be implemented in a computer-readable recording medium using software, hardware, or a combination thereof.
  • Hardware implementations include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers. may be implemented using at least one of controllers, micro-controllers, microprocessors, and electrical units for performing functions.
  • embodiments such as procedures or functions may be implemented with separate software modules that allow at least one function or operation to be performed.
  • the software code may be implemented by a software application written in a suitable programming language.
  • the software code may be stored in a memory (not shown) and executed by a processor (not shown).
  • 3D image display apparatus according to the exemplary embodiment of the present invention has been described above, some of the components of the 3D image display apparatus of the present invention may constitute an independent 3D image providing apparatus.
  • the tuner 111, the demodulation and channel decoding unit 113, the demultiplexer 115, the audio decoder 117, the image decoder 119, the index selector 121, the thumbnail generator ( 123, the storage unit 125, the OSD generator 127, the UI unit 131, the controller 133, the image synthesizer 135, and the 3D formatter 137 provide independent 3D images by themselves. You can configure the device.
  • the 3D image providing apparatus may be implemented in the form of a PVR device of a 3D broadcast image, a 3D broadcast set-top box supporting a PVR function, and the like.
  • the index selector 121 and the thumbnail generator 123 may configure an independent 3D image providing device by itself.
  • the 3D image providing apparatus may be implemented in the form of a digital processing element mounted on a 3D television receiver or the like to generate a 3D thumbnail from a 3D image source.
  • FIGS. 2 to 6 are conceptual diagrams for describing an operation of a 3D image display device according to an exemplary embodiment.
  • the 3D image is configured according to the L-to-R method, and thus, the index frame set includes one frame.
  • FIG. 2 illustrates an example of a screen when the index frame set 210 selected by the index selector 121 is displayed on the display screen.
  • thumbnail frame set 220 generated by the thumbnail generator 123 from the index frame set 210 is displayed on the display screen.
  • the thumbnail frame set 220 may be seen to have a smaller frame size or a lower frame resolution than the index frame set 210 of FIG. 2.
  • FIG. 4 illustrates an example of a screen when the OSD screen 230 generated by the OSD generator 127 is displayed on a display screen.
  • program information On the OSD screen, program information, a progress bar, and two-dimensional screen object thumbnails are displayed on the OSD screen.
  • FIG. 5 illustrates an example of a screen when a main image (video bit stream) 240 restored by the image decoder 119 is displayed on a display screen.
  • FIG. 6 illustrates an example of a screen in which a synthesis screen 250 obtained by synthesizing a main image (video bit stream) 240 and an OSD screen 230 by an image synthesizer 135 is displayed on a display screen.
  • FIG. 7 is a flowchart illustrating a 3D image display method according to an embodiment of the present invention. Not all components of the 3D image display method illustrated in FIG. 7 are essential components, and a 3D image display method may be implemented by more components than those shown in FIG. 7, and fewer components are provided. Also, the 3D image display method may be implemented.
  • a 3D broadcast signal received through a wired or wireless network 3D content data received from an external device such as a 3D Blu-ray disc player, or 3D broadcast image data recorded in a storage unit 125.
  • the 3D image data (3D image stream) is restored by decoding the image (S301).
  • at least one index frame set is selected from among a plurality of frame sets included in the 3D image data.
  • a thumbnail frame set is generated for the selected index frame set (S305).
  • a thumbnail frame set may be generated based on the obtained left image and the right image.
  • the 3D image data and the thumbnail frame set are stored (S307).
  • the frame set is decoded again from the stored 3D image data (S309).
  • an OSD screen on which at least one of the stored thumbnail frame sets is displayed is displayed.
  • a composite image is generated based on the frame set and the OSD screen (S313).
  • the left image of the frame set and the left image of the OSD screen may be synthesized
  • the right image of the frame set and the right image of the OSD screen may be synthesized to generate the synthesized image.
  • the synthesized image is converted into a video signal form that can be displayed by the 3D display panel (S315).
  • the 3D image corresponding to the image signal is displayed on the 3D display panel (S317).
  • the 3D image display method according to an embodiment of the present invention may be similarly described with reference to FIGS. 1 to 6 with respect to the 3D image display device according to an embodiment of the present invention. Omit.
  • steps S310 to S315 may constitute an independent 3D image providing method.
  • the 3D image providing method may be implemented in the form of a 3D image providing method performed by a PVR device of a 3D broadcast image, a 3D broadcast set-top box supporting a PVR function, and the like.
  • steps S303 to S305 may constitute an independent 3D image providing method.
  • the 3D image providing method may be implemented in the form of a 3D image providing method performed by a digital processing element which is mounted on a 3D television receiver or the like and generates a 3D thumbnail from a 3D image source.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 차원 영상 제공 장치는, 복수의 프레임 집합을 포함하는 3차원 영상데이터로부터 적어도 하나의 인덱스 프레임 집합을 선택하는 인덱스 선택부 및 선택된 상기 인덱스 프레임 집합에 대하여 좌 영상 및 우 영상을 획득하고, 획득된 상기 좌 영상 및 상기 우 영상에 근거하여 썸네일 프레임 집합을 생성하는 썸네일 생성부를 포함하되, 상기 썸네일 프레임 집합에 속하는 프레임은 상기 인덱스 프레임 집합에 속하는 프레임과 비교하여 프레임 크기가 작거나 프레임 해상도가 낮은 조건을 만족한다. 따라서 3차원 영상데이터로부터 얻어진 좌우 영상으로부터 3차원 썸네일을 생성함으로써 사용자가 원하는 재생지점으로 이동하는데 참고할 수 있는 3차원 영상을 제공하고, 3차원 썸네일을 3차원 방송영상 또는 3차원 컨텐츠 영상에 자연스럽게 융합하여 표시함으로써 시청자의 3차원 영상 인식의 혼란을 최소화하고 3차원 영상의 사용자 만족도를 높일 수 있다.

Description

3차원 영상 제공 장치, 표시 장치 및 그 방법
본 발명은 영상 제공 장치, 표시 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 3차원 영상 제공 장치, 표시 장치 및 그 방법에 관한 것이다.
일반적으로, 종래 기술에 따른 스테레오스코픽 3차원 디스플레이 장치는 깊이지각(depth perception) 내지 입체시(stereovision)를 가능하게 하는 3차원 영상을 사용자에게 제공한다.
따라서 본 발명은 3차원 영상데이터로부터 3차원 썸네일을 생성하는 3차원 영상 제공 장치 및 그 방법을 제공하는 것을 그 기술적 과제로 한다.
또한 본 발명은 3차원 썸네일과 3차원 주 영상을 자연스럽게 융합하여 표시하는 3차원 영상 표시 장치 및 그 방법을 제공하는 것을 다른 기술적 과제로 한다.
상술한 본 발명의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3차원 영상 제공 장치는, 복수의 프레임 집합을 포함하는 3차원 영상데이터로부터 적어도 하나의 인덱스 프레임 집합을 선택하는 인덱스 선택부 및 선택된 상기 인덱스 프레임 집합에 대하여 좌 영상 및 우 영상을 획득하고, 획득된 상기 좌 영상 및 상기 우 영상에 근거하여 썸네일 프레임 집합을 생성하는 썸네일 생성부를 포함하되, 상기 썸네일 프레임 집합에 속하는 프레임은 상기 인덱스 프레임 집합에 속하는 프레임과 비교하여 프레임 크기가 작거나 프레임 해상도가 낮은 조건을 만족한다.
상기 프레임 집합, 상기 인덱스 프레임 집합 및 상기 썸네일 프레임 집합은 특정 시점(時點)의 3차원 영상을 구성하는 적어도 하나의 프레임을 포함할 수 있다.
상기 인덱스 선택부는 미리 정해진 시간 주기 또는 미리 정해진 프레임 주기로 상기 인덱스 프레임 집합을 선택할 수 있다.
상기 인덱스 선택부는 시분할 방식 스트레오스코픽 영상을 구성하는 좌 영상 프레임과 우 영상 프레임을 함께 선택할 수 있다.
상기 인덱스 선택부는 비시분할 방식 스테레오스코픽 영상을 구성하는 한 개 프레임을 선택할 수 있다.
상기 썸네일 생성부는, 시분할 방식 스테레오스코픽 영상에 있어서, 상기 인덱스 프레임 집합에 대하여 좌 영상 프레임 및 우 영상 프레임을 획득하고, 획득한 상기 좌 영상 프레임 및 상기 우 영상 프레임을 축소한 후, 축소된 상기 좌 영상 프레임 및 축소된 상기 우 영상 프레임에 근거하여 상기 썸네일 프레임 집합을 생성할 수 있다.
상기 썸네일 생성부는, 비시분할 방식 스테레오스코픽 영상에 있어서, 상기 인덱스 프레임 집합에 속하는 프레임의 일부로부터 좌 영상을 획득하고, 나머지 일부로부터 우 영상을 획득하며, 획득한 상기 좌 영상 및 상기 우 영상을 축소한 후, 축소된 상기 좌 영상 프레임 및 축소된 상기 우 영상 프레임을 결합하여 상기 썸네일 프레임 집합을 생성할 수 있다.
상기 3차원 영상 제공 장치는, 상기 3차원 영상데이터 및 상기 썸네일 프레임 집합이 저장된 저장부와, 저장된 상기 3차원 영상데이터로부터 상기 프레임 집합을 복원하는 영상 복호화부와, 저장된 상기 썸네일 프레임 집합 중 적어도 하나를 선택하고, 선택된 상기 썸네일 프레임 집합을 표시한 OSD 화면을 생성하는 OSD 생성부 및 상기 영상 복호화부가 복원한 상기 프레임 집합과, 상기 OSD 생성부가 생성한 상기 OSD 화면에 근거하여 합성영상을 생성하는 영상 합성부를 더 포함할 수 있다.
상기 영상 복호화부는 3차원 방송신호, 외부장치가 제공하는 3차원 컨텐츠 데이터 또는 상기 저장부에 저장된 상기 3차원 영상데이터로부터 상기 프레임 집합을 복호화할 수 있다.
상기 인덱스 선택부는 상기 영상 복호화부가 복원한 상기 3차원 영상데이터로부터 상기 인덱스 프레임 집합을 선택할 수 있다.
상기 OSD 생성부는 상기 저장부에 저장된 상기 3차원 영상데이터의 전체 재생시간 또는 전체 프레임 수에 근거하여 상기 썸네일 프레임 집합을 선택할 수 있다.
상기 영상 합성부는, 상기 영상 복호화부가 복호화한 상기 프레임 집합의 좌 영상과, 상기 OSD 생성부가 생성한 상기 OSD 화면의 좌 영상을 합성하고, 상기 영상 복호화부가 복호화한 상기 프레임 집합의 우 영상과, 상기 OSD 생성부가 생성한 상기 OSD 화면의 우 영상을 합성할 수 있다.
상기 3차원 영상 제공 장치는 상기 합성영상을 3차원 디스플레이 패널이 표시할 수 있는 영상신호 형태로 변환하는 3차원 포맷터를 더 포함할 수 있다.
상술한 본 발명의 다른 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3차원 영상 표시 장치는, 3차원 영상을 표시하는 표시부와, 3차원 영상데이터 및 적어도 하나의 썸네일 프레임 집합이 저장되는 저장부와, 수신된 방송신호로부터 상기 3차원 영상데이터를 복원하고, 상기 저장부에 저장된 상기 3차원 영상데이터로부터 적어도 하나의 프레임 집합을 획득하는 제1 영상 제공부와, 복원된 상기 3차원 영상데이터로부터 적어도 하나의 인덱스 프레임 집합을 선택하고, 선택된 상기 인덱스 프레임 집합에 대응하는 썸네일 프레임 집합을 생성하여 상기 저장부에 저장하는 제2 영상 제공부 및 상기 제1 영상 제공부가 획득한 상기 프레임 집합과 상기 제2 영상 제공부가 생성한 상기 썸네일 프레임 집합에 근거하여 합성영상을 생성하고, 상기 합성영상을 3차원 포맷팅한 영상신호를 상기 표시부에 제공하는 영상신호 출력부를 포함하되, 상기 썸네일 프레임 집합에 속하는 프레임은 상기 인덱스 프레임 집합에 속하는 프레임과 비교하여 프레임 크기가 작거나 프레임 해상도가 낮은 조건을 만족할 수 있다.
상기 표시부는 상기 프레임 집합이 구성하는 동영상과 상기 썸네일 프레임 집합이 구성하는 정지영상을 동시에 표시할 수 있다.
상술한 본 발명의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3차원 영상 제공 방법은, 복수의 프레임 집합을 포함하는 3차원 영상데이터로부터 적어도 하나의 인덱스 프레임 집합을 선택하는 단계와, 선택한 상기 인덱스 프레임 집합에 대하여 좌 영상 및 우 영상을 획득하는 단계 및 획득한 상기 좌 영상 및 상기 우 영상에 근거하여 썸네일 프레임 집합을 생성하는 단계를 포함하되, 상기 썸네일 프레임 집합에 속하는 프레임은 상기 인덱스 프레임 집합에 속하는 프레임과 비교하여 프레임 크기가 작거나 프레임 해상도가 낮은 조건을 만족한다.
상기 프레임 집합, 상기 인덱스 프레임 집합 및 상기 썸네일 프레임 집합은 특정 시점(時點)의 3차원 영상을 구성하는 적어도 하나의 프레임을 포함할 수 있다.
상기 3차원 영상 제공 방법은, 3차원 방송신호로부터 상기 복수의 프레임 집합을 포함하는 상기 3차원 영상데이터를 복원하는 단계와, 상기 3차원 영상데이터와 상기 썸네일 프레임 집합을 저장하는 단계와, 저장된 상기 썸네일 프레임 집합 중 적어도 하나를 표시한 OSD 화면을 생성하는 단계 및 저장된 상기 3차원 영상데이터로부터 획득한 상기 프레임 집합과 상기 OSD 화면에 근거하여 합성영상을 생성하는 단계를 더 포함할 수 있다.
상술한 본 발명의 다른 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3차원 영상 표시 방법은, 방송신호로부터 적어도 하나의 프레임 집합을 포함하는 3차원 영상데이터를 복원하는 단계와, 상기 3차원 영상데이터로부터 적어도 하나의 인덱스 프레임 집합을 선택하는 단계와, 상기 인덱스 프레임 집합에 대응하는 썸네일 프레임 집합을 생성하는 단계와, 상기 3차원 영상데이터와 상기 섬네일 프레임 집합을 저장하는 단계와, 저장된 상기 썸네일 프레임 집합 중 적어도 하나를 표시한 OSD 화면을 생성하는 단계와, 저장된 상기 3차원 영상데이터로부터 획득한 상기 프레임 집합과 상기 OSD 화면에 근거하여 합성영상을 생성하는 단계 및 상기 합성영상을 3차원 포맷팅한 영상신호를 출력하는 단계를 포함한다.
상기 합성영상을 생성하는 단계는, 상기 프레임 집합의 좌 영상과 상기 OSD 화면의 좌 영상을 합성하고, 상기 프레임 집합의 우 영상과 상기 OSD 화면의 우 영상을 합성할 수 있다.
상기와 같은 3차원 영상 제공 장치, 표시 장치 및 그 방법에 따르면, 3차원 영상데이터로부터 얻어진 좌우 영상으로부터 3차원 썸네일을 생성함으로써 사용자가 원하는 재생지점으로 이동하는데 참고할 수 있는 3차원 영상을 제공하는 효과가 있다.
또한, 3차원 썸네일을 3차원 방송영상 또는 3차원 컨텐츠 영상에 자연스럽게 융합하여 표시함으로써 시청자의 3차원 영상 인식의 혼란을 최소화하고 3차원 영상의 사용자 만족도를 높일 수 있는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 표시 장치의 구성을 나타내는 블록도이다.
도 2 내지 도 6은 본 발명의 일 실시예에 따른 3차원 영상 표시 장치의 동작을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 3차원 영상 표시 방법을 설명하는 흐름도이다.
이하에서, 3차원 썸네일을 생성하고, 3차원 썸네일을 3차원 주 영상과 자연스럽게 융합하여 표시함으로써 3차원 영상의 사용자 만족도를 높일 수 있는 3차원 영상 제공 장치, 표시 장치 및 그 방법의 실시예들을 도 1 내지 도 7을 참조하여 상세히 설명한다.
우선 본 발명의 실시예들을 설명하는데 있어서 필요한 개념 또는 용어에 대해 설명한다.
스테레오스코픽 영상의 구성
스테레오스코픽 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성되는데, 스테레오스코픽 영상을 구성하는 방식에는 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등이 있다. 따라서 하나의 스테레오스코픽 장면은, 시분할 방식의 경우에는 2개 프레임, 시분할 방식이 아닌 경우에는 1개 프레임으로 구성된다.
프레임 집합
프레임 집합은, 특정 시점(時點)의 스테레오스코픽 영상을 구성하는 적어도 하나의 프레임을 포함한다. 예를 들어, 프레임 집합은, 시분할 방식의 경우에는 좌 영상 프레임과 우 영상 프레임을 각각 포함하고, 시분할 방식이 아닌 경우에는 좌 영상과 우 영상이 결합된 하나의 영상 프레임을 포함할 수 있다.
인덱스
영상을 구성하는 다수의 프레임 집합 중에서 특히 인덱스로 사용될 프레임 집합이 선택될 수 있다. 인덱스란 영상의 전체 재생 시간 중 특정 시점(時點), 또는 그 특정 시점(時點)에 대응하는 특정 프레임 집합에 대한 표지를 의미한다. 인덱스는 사용자의 선택에 따라 결정되거나 또는 미리 정해진 자동화된 방식으로 결정될 수 있다. 예를 들어, 사용자가 PVR(personal video recoding) 기능을 이용하여 방송 프로그램을 녹화하였다가 녹화된 방송 프로그램을 시청하는 경우에 이전에 결정된 인덱스 지점으로 바로 재생지점을 이동하여 시청할 수 있다.
썸네일
통상적으로 썸네일(thumbnail)은 축소된 화상 또는 축소된 정지영상을 의미한다. 특히 본 발명에 있어서 썸네일 또는 썸네일 프레임 집합은 축소된 영상 프레임으로 구성된 프레임 집합으로 이해될 수 있다. 썸네일 프레임은 원래의 프레임에 비하여 프레임 크기가 작거나 프레임 해상도가 낮다. 예를 들어, 인덱스 프레임 집합에 대하여 썸네일 프레임 집합이 생성될 수 있다.
동영상이 MPEG(moving picture experts group) 방식에 의해 부호화된 것인 경우, 썸네일은 랜덤 액세스의 단위인 GOP(group of picture)의 기준화면이 되는 인트라 픽쳐(intra picture; i-picture)로부터 작성되는 것이 바람직할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 표시 장치의 구성을 나타내는 블록도이다. 3차원 영상 표시 장치(100)는 3차원 방송신호 또는 3차원 영상데이터에 대응하는 3차원 영상을 스테레오스코픽 방식으로 표시하며, 다양한 형태로 구현될 수 있다. 예를 들면, 3차원 영상 표시 장치(100)는 3차원 텔레비전, 3차원 디스플레이 장치 등이 있다. 3차원 텔레비전은 지상파, 케이블망, 인터넷, 이동통신, 위성통신 등의 유무선 네트워크를 통하여 3차원 방송신호를 수신하거나, 3차원 블루레이 디스크(Blue-ray disc) 플레이어 등의 외부장치로부터 3차원 컨텐츠 데이터를 제공받은 후, 수신된 3차원 방송신호 또는 제공받은 3차원 컨텐츠 데이터에 대응하는 3차원 영상을 스테레오스코픽 방식으로 표시하고 음성신호를 출력할 수 있다.
도 1에 도시된 바와 같이, 3차원 영상 표시 장치(100)는 튜너(111), 복조 및 채널복호화부(113), 역다중화부(115), 음성 복호화부(117), 영상 복호화부(119), 인덱스 선택부(121), 썸네일 생성부(123), 저장부(125), OSD 생성부(127), UI부(131), 제어부(133), 영상 합성부(135), 3차원 포맷터(137), 스피커(141), 표시부(143) 등을 포함할 수 있다. 도 1에 도시된 3차원 영상 표시 장치(100)의 구성요소 모두가 필수 구성요소인 것은 아니며, 도 1에 도시된 구성요소보다 많은 구성요소에 의해 3차원 영상 표시 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 3차원 영상 표시 장치(100)가 구현될 수도 있다.
튜너(111)는 다수의 방송신호들 중에서 어느 한 채널의 방송신호를 선택하여 출력한다.
복조 및 채널 복호화부(113)는 튜너(111)로부터의 방송신호를 복조하고 복조된 신호에 대하여 에러정정 복호화를 수행하여 트랜스포트 스트림(transport stream; TS)을 출력한다. 복조 및 채널 복호화부(113)는 TS를 출력하기 위해 아날로그-디지털 변환기(analog-digital converter; ADC)를 포함할 수 있다.
트랜스포트 역다중화부(115)는 TS를 역다중화하여 비디오 PES(packetized elementary stream)와 오디오 PES를 분리한다. 부가적으로 트랜스포트 역다중화부(115)는 PSI(program specific information)/PSIP(program and system information protocol) 정보를 추출할 수 있다. 패킷 해제부(미도시)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES(elementary stream)와 오디오 ES를 복원한다. PSI/PSIP 처리부(미도시)는 트랜스포트 역다중화부(115)로부터 PSI/PSIP 정보를 받아들이고, 이를 파싱하여 메모리 또는 레지스터에 저장함으로써, 저장된 정보를 토대로 방송신호 복호화 및 방송재생이 이루어지게 할 수 있다.
트랜스포트 역다중화부(115)는 3차원 블루레이 디스크 플레이어 등의 외부장치(400)로부터 3차원 영상데이터와 상기 3차원 영상데이터에 대해 미리 생성된 썸네일을 포함하는 TS를 제공받을 수 있다. 이 경우 트랜스포트 역다중화부(115)는 3차원 영상데이터에 대해서는 3차원 방송신호의 경우와 동일한 방식으로 처리하고, 썸네일에 대해서는 복원된 썸네일을 후술할 OSD 생성부(127)에 제공한다. 그 밖의 3차원 영상 표시 과정에 대해서는 3차원 방송신호의 경우와 유사한 방식으로 이해될 수 있으므로 이하 상세한 설명을 생략한다.
음성 복호화부(117)는 오디오 ES를 복호화하여 오디오 비트 스트림을 출력한다. 오디오 비트 스트림은 디지털-아날로그 변환기(미도시)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시)에 의해 증폭된 후, 스피커(141)를 통해 출력될 수 있다. 음성 복호화부(117)는 오디오 비트 스트림을 직접 저장부(125)에 저장하거나, 도 1에 도시되지는 않았지만 인덱스 선택부(121) 또는 썸네일 생성부(123)를 통하여 저장부(125)에 저장할 수 있다.
영상 복호화부(119)는 비디오 ES를 복호화하여 비디오 비트 스트림을 복원한다. 복원된 비디오 비트 스트림은 스테레오스코픽 3차원 영상을 구성하는 좌 영상신호와 우 영상신호를 포함한다.
인덱스 선택부(121)는 영상 복호화부(119)로부터 제공받은 비디오 비트 스트림으로부터 적어도 하나의 인덱스 프레임 집합을 미리 정해진 기준에 따라 선택하고, 선택된 인덱스 프레임 집합을 썸네일 생성부(123)에 제공한다. 인덱스 선택부(121)는 비디오 비트 스트림를 썸네일 생성부(123)에 제공하거나 저장부(125)에 직접 저장할 수 있다.
한편, 인덱스 선택부(121)는 미리 정해진 주기에 따라 인덱스 프레임 집합을 선택할 수 있다. 상기 미리 정해진 주기는 미리 정해진 시간 간격 또는 미리 정해진 프레임 간격일 수 있다. 예를 들어, 인덱스 선택부(121)는, 3차원 영상의 갱신 주파수가 60Hz인 경우(즉, 단위 초당 60개의 프레임이 주사되는 경우), 30Hz마다 1개의 인덱스 프레임 집합(즉, 매 30번째의 프레임 집합)을 선택할 수 있다.
또는, 컨텐츠 제공자가 3차원 방송신호 또는 3차원 컨텐츠 데이터에 부가하여 장면 전환 정보를 제공하는 경우라면, 인덱스 선택부(121)는 그 장면 전환 지점에 해당하는 인덱스 프레임 집합을 선택할 수도 있다. 예를 들어, 인덱스 선택부(121)는, 3차원 방송신호와 함께 챕터(chapter) 정보가 제공되는 경우, 각 챕터 시작 지점에 해당하는 인덱스 프레임 집합을 선택할 수 있다.
또는, 3차원 방송신호와 함께 영상의 전체 재생시간 정보가 제공되는 경우라면, 인덱스 선택부(121)는 그 전체 재생시간을 미리 정해진 수로 분할하였을 때 각 분할 지점에 해당하는 인덱스 프레임 집합을 선택할 수도 있다. 예를 들어, 인덱스 선택부(121)는, 영상의 전체 재생 시간이 2시간인 것으로 확인되는 경우, 전체 재생 시간을 8등분하였을 때 각 분할 지점인 0분, 15분, 30분, 45분, 60분, 75분, 90분, 105분, 120분에 해당하는 인덱스 프레임 집합을 선택할 수 있다.
한편, 스테레오스코픽 영상을 구성하는 방식이 시분할 방식인 경우, 인덱스 선택부(121)는 인덱싱 지점의 스테레오스코픽 영상을 구성하는 2개의 프레임, 즉 좌 영상 프레임과 우 영상 프레임을 선택할 수 있다. 스테레오스코픽 영상을 구성하는 방식이 시분할 방식이 아닌 경우, 인덱스 선택부(121)는 인덱스 지점의 스테레오스코픽 영상을 구성하는 1개의 프레임, 즉 좌 영상과 우 영상이 결합된 프레임을 선택할 수 있다.
썸네일 생성부(123)는 인덱스 선택부(121)로부터 제공된 상기 인덱스 프레임 집합에 대하여 썸네일(썸네일 프레임 집합)을 생성하여 저장부(125)에 저장한다. 인덱스 선택부(121)가 비디오 비트 스트림을 제공한 경우, 썸네일 생성부(123)는 상기 비디오 비트 스트림을 저장부(125)에 저장할 수 있다.
특히, 썸네일 생성부(123)는 제공받은 인덱스 프레임 집합에 대하여 좌 영상 및 우 영상을 획득하고, 획득된 상기 좌 영상 및 상기 우 영상에 근거하여 썸네일 프레임 집합을 생성할 수 있다.
예를 들어, 스테레오스코픽 영상을 구성하는 방식이 L-to-R 방식인 경우, 썸네일 생성부(123)는 인덱스 프레임 집합에 속하는 1개 프레임의 좌측 절반에서 좌 영상을 획득하고, 우측 절반에서 우 영상을 획득하여, 획득된 좌 영상 및 우 영상을 축소한 후, 축소된 좌 영상 및 우 영상을 다시 L-to-R 방식의 1개 프레임으로 결합하여 썸네일 프레임 집합을 생성할 수 있다.
또는, 스테레오스코픽 영상을 구성하는 방식이 시분할 방식인 경우, 썸네일 생성부(123)는 인덱스 프레임 집합에 속하는 2개 프레임의 좌 영상 프레임에서 좌 영상을 획득하고, 우 영상 프레임에서 우 영상을 획득하여, 획득된 좌 영상 및 우 영상을 축소한 후, 축소된 좌 영상 및 우 영상을 다시 시분할 방식의 좌우 2개 프레임으로 구성하여 썸네일 프레임 집합을 생성할 수도 있다.
한편, 썸네일 생성부(123)는 인덱스 프레임 집합에 속하는 프레임을 단순히 축소함으로써 썸네일 프레임 집합을 생성할 수도 있다. 특히, 이와 같은 단순한 축소 방식은, 상술한 재구성 방식에 비하여, 생성되는 썸네일의 화질이 저하될 수 있으나 썸네일 처리 속도를 높이기 위하여 선택적으로 이용될 수 있다.
저장부(125)에는 비디오 비트 스트림, 대응하는 오디오 비트 스트림, 그리고 썸네일 프레임 집합이 저장된다. 저장부(125)는 램(random access memory; RAM), 롬(read only memory; ROM), 하드 디스크 드라이브(hard disk drive), 광 드라이브(optical drive), 플래시 메모리(flash memory) 등과 같은 컴퓨터 판독가능 매체를 포함할 수 있다.
한편, 저장부(125)에는 비디오 비트 스트림 및 오디오 비트 스트림이 미리 정해진 포맷으로 부호화되어 저장될 수 있다. 예를 들어, 비디오 비트 스트림과 오디오 비트 스트림은 각각 별개의 파일로서 저장부(125)에 저장될 수 있다. 또는 비디오 비트 스트림과 오디오 비트 스트림은 하나의 TS 파일의 형태로 저장될 수도 있다. 이 경우, 도 1에 도시된 바와 같이, 트랜스포트 역다중화부(115)는 저장부(125)에 저장된 TS를 역다중화하여 비디오 PES와 오디오 PES를 분리한다. 그리고 패킷 해제부(미도시)가 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES와 오디오 ES를 복원하면, 영상 복호화부(119)와 음성 복호화부(117)가 각각 비디오 ES와 오디오 ES를 복호화하여 비디오 비트 스트림과 오디오 비트 스트림을 영상 합성부(135)와 스피커(141)로 출력한다.
OSD(on screen display) 생성부(127)는 사용자가 필요로 하는 정보나 알아야 할 정보를 표시하는 OSD 화면을 생성한다. OSD 화면은 주(main) 영상 위에 표시된다. OSD 화면은 그 전체가 3차원 화면이거나, 그 일부가 3차원 화면일 수 있다. 예를 들어, OSD 생성부(127)는 입력 소스, 채널 번호, 프로그램 제목, 재생시간, 자막, 주음성 또는 스테레오/모노 출력에 대한 정보, 전체 재생시간 및 현재 재생지점을 표시하는 프로그래스 바(progress bar) 등의 2차원 화면 객체 또는 3차원 썸네일 등의 3차원 화면 객체를 포함하는 화면을 생성할 수 있다.
OSD 생성부(127)는 저장부(125)에 저장된 다수의 썸네일 프레임 집합 중 소정 수의 썸네일 프레임 집합을 선택하고, 선택된 썸네일 프레임 집합을 표시하는 OSD 화면을 생성할 수 있다. 특히, OSD 생성부(127)는 저장부(125)에 저장된 비디오 비트 스트림의 전체 재생시간을 파악하고, 전체 재생시간을 적절히 나눈 지점에 해당하는 썸네일 프레임 집합을 선택할 수 있다. 예를 들어, OSD 생성부(127)는 OSD 화면 상에서 프로그래스 바의 상단의 각 재생지점에 대응하는 썸네일 프레임 집합을 적절히 배치할 수 있다.
썸네일 프레임 집합을 포함하는 OSD 화면이 생성되는 과정을 구체적으로 예를 들어 이하에서 설명한다. 예를 들어, 인덱스 선택부(121)가 매 1분이 경과할 때마다 그 시점에 해당하는 인덱스 프레임 집합을 선택한다면, 썸네일 생성부(123)도 매 1분마다 각 인덱스 프레임 집합에 대하여 썸네일 프레임 집합을 생성한다. 주어진 3차원 영상의 전체 재생시간이 2시간이라면, 총 120개의 썸네일 프레임 집합이 생성되어 저장부(125)에 저장될 수 있다. 3차원 영상 표시 장치가 사용자의 선택에 따라 또는 미리 정해진 설정에 따라 7개의 썸네일을 화면에 표시하는 것으로 정해졌다면, OSD 생성부(127)는 총 120개의 썸네일 프레임 집합 중 15번째, 30번째, 45번째, 60번째, 75번째, 90번째, 105번째의 썸네일 프레임 집합을 선택하고, 선택된 7개의 썸네일 프레임 집합을 표시하는 OSD 화면을 생성할 수 있다.
UI부(사용자 인터페이스부, 131)는 사용자가 입력하는 각종 조작 명령 또는 정보를 후술할 제어부(133)에 제공한다. UI부(131)는 리모트 컨트롤러로부터 발신되는 적외선 신호를 수신하는 IR 수신부, 3차원 영상 표시 장치(100)의 전면 또는 측면에 마련된 키패드, 화면 상의 포인터를 이동시키고 포인터가 위치한 지점을 선택하는 동작을 지원하는 포인팅 장치로부터 발신되는 무선 신호를 수신하는 RF 수신부 등을 포함할 수 있다. 예를 들어, UI부(131)에 RF 수신부가 구비되는 경우, 사용자는 포인팅 장치를 이용하여 썸네일 또는 프로그래스 바 상의 특정 지점에서 선택하는 입력 동작을 함으로써 해당 장면으로 재생지점을 이동시킬 수 있다.
제어부(133)는 3차원 영상 표시 장치(100)의 전체적인 동작을 제어할 수 있다. 제어부(133)는 UI부(131)로부터 사용자 입력 신호를 받아들이고, 사용자 입력 신호에 응답하여 3차원 영상 표시 장치(100)의 동작을 제어하는 제어신호를 발생시킬 수 있다.
예를 들어, 도 1에 도시되지는 않았지만, 사용자가 OSD 화면을 구성하는 썸네일 또는 프로그래스 바 상의 특정 지점에서 클릭하는 입력 동작을 하면, UI부(131)가 상기 지점의 좌표 정보와 클릭 정보를 전기적 신호의 형태로 제어부(133)에 전달할 수 있다. 그러면 제어부(133)는 상기 좌표 정보와 상기 클릭 정보에 기초하여 클릭된 재생지점을 판단한 후, 클릭된 재생지점부터 재생이 이루어질 수 있도록 영상 복호화부(119) 및 음성 복호화부(117)에 제어명령을 보낼 수 있다. 또는, 사용자가 OSD 화면에 표시될 정보를 변경하는 경우, 제어부(133)는 OSD 화면의 갱신 내지 수정이 일어도록 OSD 생성부(127)에 제어명령을 보낼 수 있다.
제어부(133)와 OSD 생성부(127)는 OSD 화면을 생성하고 3차원 영상 표시 장치(100)의 전체적인 동작을 제어하는 하나의 블록 또는 하나의 소자로 구현될 수 있다. 예를 들어, 제어부(133)와 OSD 생성부(127)는 하나의 마이크로 프로세서로 구현될 수 있다.
영상 합성부(135)는 영상 복호화부(119)로부터 비디오 비트 스트림(주 영상)의 좌 영상신호와 우 영상신호를 받아들인다. 그리고 영상 합성부(135)는 OSD 생성부(127)로부터 OSD 화면의 좌 영상신호와 우 영상신호를 받아들인다. 영상 합성부(131)는 비디오 비트 스트림의 좌 영상신호 및 우 영상신호와, OSD 화면의 좌 영상신호 및 우 영상신호를 합성하여 합성영상을 생성한다.
영상 복호화부(119)가 영상 합성부(135)에 제공하는 비디오 비트 스트림은 3차원 방송신호, 3차원 블루레이 디스크 플레이어 등의 외부장치로부터 주어지는 3차원 컨텐츠 데이터 또는 저장부(125)에 녹화되었던 3차원 방송영상데이터로부터 복원된 것일 수 있다. 상기 비디오 비트 스트림은 주 영상에 대한 좌 영상신호와 우 영상신호를 포함한다. OSD 생성부(127)가 영상 합성부(135)에 제공하는 OSD 화면은 좌 영상신호와 우 영상신호로 구성됨으로써, 3차원 썸네일이 제대로 표시될 수 있도록 한다.
한편, 영상 합성부(135)는 비디오 비트 스트림(주 영상)의 좌 영상신호와 OSD 화면의 좌 영상신호를 합성하고, 비디오 비트 스트림의 우 영상신호와 OSD 화면의 우 영상신호를 합성함으로써 합성영상을 생성할 수 있다. 이때 영상 합성부(135)는 비디오 오버레이(video overlay), 하드웨어 오버레이(hardware overlay) 등을 이용하여 주 영상 상에 OSD 화면을 배치할 수 있다.
3차원 포맷터(137)는 합성영상을 3차원 디스플레이 패널이 표시할 수 있는 3차원 영상신호 형태로 변환한다. 예를 들어, 상기 합성영상의 포맷이 탑-다운 방식이고 본 발명의 3차원 영상 표시 장치(100)에 구비된 3차원 디스플레이 패널이 시분할 방식만을 지원하는 경우, 3차원 포맷터(137)는 탑-다운 방식의 합성영상을 시분할 방식의 합성영상으로 변환할 수 있다. 이 경우 3차원 포맷터(137)는 합성영상의 상단에 위치하는 좌 영상을 좌 영상 프레임으로 변환하고, 하단에 위치하는 우 영상을 우 영상 프레임으로 변환할 수 있다.
영상신호 분리부(미도시)는 3차원 영상신호로부터 영상데이터와 동기신호를 분리할 수 있다. 영상데이터는 화면 상의 각 픽셀(pixel)의 명도, 채도 및 색상에 대한 정보로서, RGB, CMY, YCbCr, YIQ, HSI 등의 영상 포맷에 따라 구성될 수 있다. 동기신호는 영상데이터가 화면 상에서 요동하거나 깨지지 아니하고 목적하는 영상으로 정상적으로 표시될 수 있도록 하는 정보로서, 수직동기신호(vertical synchronization signal; VSYNC), 수평동기신호(horizontal synchronization signal; HSYNC), 픽셀 클럭(pixel clock, dot clock) 등을 포함할 수 있다.
표시부(143)는 패널과, 좌우 영상신호를 상기 패널에 표시하기에 적합하게 변환하고 각종 타이밍 제어신호 및 구동신호 등 제어신호를 발생하는 패널 구동 회로를 포함한다. 표시부(143)는 비디오 비트 스트림(주 영상)이 구성하는 동영상과 OSD 화면이 구성하는 정지영상을 상기 패널에 동시에 표시할 수 있다.
한편, 표시부(143)는 액정 디스플레이(liquid crystal display), 플라즈마 디스플레이 패널(plasma display panel), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 전계방출 디스플레이(field emission display), 플렉시블 디스플레이(flexible display) 중에서 적어도 하나를 포함할 수 있다.
또한, 3차원 영상 표시 장치(100)의 구현 형태에 따라 표시부(230)가 2개 이상 존재할 수도 있다. 예를 들어, 3차원 영상 표시 장치(100)에 상단 표시부(미도시)와 하단 표시부(미도시)가 동시에 구비될 수 있다.
또한, 표시부(143)는 3차원 영상 표시 방식으로서 편광 방식 또는 시분할 방식에 따라 3차원 영상을 표시할 수 있다. 편광 방식의 표시부(143)는 편광 필름 또는 편광판을 부가적으로 포함할 수 있다. 시분할 방식의 표시부(143)는 셔터 안경(shuttered glasses)과의 좌우 영상 동기를 맞추기 위한 에미터(emitter) 등의 동기 신호 발생기를 부가적으로 포함할 수 있다.
편광판은 표시부(143)에서 방출되는 빛 중에서 특정 편광방향의 빛만을 투과시킴으로써 투과된 빛이 모두 동일한 편광방향만을 갖게 한다. 편광판은 요오드계 편광필름, 염료계 편광필름, 위상차 편광(phase polarization) 필름, 반투과 편광필름, 고반사 반투과 편광필름, 표면반사방지(anti-glare/anti-reflection) 필름, 반사형 편광필름, LC(liquid crystal) 필름 중에서 적어도 하나를 포함할 수 있다. 편광판은 전기적 제어신호에 따라 편광방향을 특정 방향으로 전환시킬 수 있다. 예를 들어, 편광판은 -45도의 편광방향과 +45도의 편광방향으로 전환할 수 있고, 이 경우 -45도의 편광방향과 +45도의 편광방향을 갖는 빛이 번갈아 통과된다.
3차원 영상 표시 장치(100)에 적용된 각 구성요소의 기능은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터로 읽을 수 있는 기록매체 내에서 구현될 수도 있다. 하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(미도시)에 저장되고, 프로세서(미도시) 등에 의해 실행될 수도 있다.
이상에서 본 발명의 일 실시예에 따른 3차원 영상 표시 장치에 대하여 설명하였지만, 본 발명의 3차원 영상 표시 장치의 구성요소들의 일부는 그 자체로 독립적인 3차원 영상 제공 장치를 구성할 수 있다.
예를 들어, 튜너(111), 복조 및 채널복호화부(113), 역다중화부(115), 음성 복호화부(117), 영상 복호화부(119), 인덱스 선택부(121), 썸네일 생성부(123), 저장부(125), OSD 생성부(127), UI부(131), 제어부(133), 영상 합성부(135) 및 3차원 포맷터(137)는 그 자체로 독립적인 3차원 영상 제공 장치를 구성할 수 있다. 상기 3차원 영상 제공 장치는 3차원 방송영상의 PVR 장치, PVR 기능을 지원하는 3차원 방송 셋탑 박스(set-top box) 등의 형태로 구현될 수 있다.
또는, 예를 들어, 인덱스 선택부(121) 및 썸네일 생성부(123)는 그 자체로 독립적인 3차원 영상 제공 장치를 구성할 수 있다. 상기 3차원 영상 제공 장치는 3차원 텔레비전 수신기 등에 탑재되어 3차원 영상 소스로부터 3차원 썸네일을 생성하는 디지털 처리 소자의 형태로 구현될 수 있다.
도 2 내지 도 6은 본 발명의 일 실시예에 따른 3차원 영상 표시 장치의 동작을 설명하기 위한 개념도이다. 이하에서는 설명의 용이를 위하여 3차원 영상이 L-to-R 방식에 따라 구성되었다고 가정하고, 따라서 인덱스 프레임 집합은 1개의 프레임을 포함한다.
도 2는 인덱스 선택부(121)가 선택한 인덱스 프레임 집합(210)이 디스플레이 화면에 표시된 경우의 화면 예를 도시하고 있다.
도 3은 썸네일 생성부(123)가 인덱스 프레임 집합(210)으로부터 생성한 썸네일 프레임 집합(220)이 디스플레이 화면에 표시된 경우의 화면 예를 도시하고 있다. 썸네일 프레임 집합(220)은 도 2의 인덱스 프레임 집합(210)에 대비하여 프레임 크기가 작거나 프레임 해상도가 낮은 것을 볼 수 있다.
도 4는 OSD 생성부(127)가 생성한 OSD 화면(230)이 디스플레이 화면에 표시된 경우의 화면 예를 도시하고 있다. OSD 화면에 2차원 화면 객체인 프로그램 정보, 프로그래스 바 등과 3차원 화면 객체인 썸네일이 표시된 것을 볼 수 있다.
도 5는 영상 복호화부(119)가 복원한 주 영상(비디오 비트 스트림, 240)이 디스플레이 화면에 표시된 경우의 화면 예를 도시하고 있다.
도 6은 영상 합성부(135)에 의해 주 영상(비디오 비트 스트림, 240)과 OSD 화면(230)이 합성된 합성 화면(250)이 디스플레이 화면에 표시된 경우의 화면 예를 도시하고 있다.
도 7은 본 발명의 일 실시예에 따른 3차원 영상 표시 방법을 설명하는 흐름도이다. 도 7에 도시된 3차원 영상 표시 방법의 구성요소 모두가 필수 구성요소인 것은 아니며, 도 7에 도시된 구성요소보다 많은 구성요소에 의해 3차원 영상 표시 방법이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 3차원 영상 표시 방법이 구현될 수도 있다.
도 7을 참조하면, 먼저 유무선 네트워크 등을 통하여 수신된 3차원 방송신호, 3차원 블루레이 디스크 플레이어 등의 외부장치로부터 제공받은 3차원 컨텐츠 데이터 또는 저장부(125)에 녹화되었던 3차원 방송영상데이터 등을 복호화하여 3차원 영상데이터(3차원 영상스트림)을 복원한다(S301). 그리고 3차원 영상데이터에 포함된 복수의 프레임 집합 중에서 적어도 하나의 인덱스 프레임 집합을 미리 정해진 기준에 따라 선택한다(S303).
다음으로 선택한 인덱스 프레임 집합에 대하여 썸네일 프레임 집합을 생성한다(S305). 이 때 선택한 상기 인덱스 프레임 집합에 대하여 좌 영상 및 우 영상을 획득한 후, 획득한 상기 좌 영상 및 상기 우 영상에 근거하여 썸네일 프레임 집합을 생성할 수 있다.
그리고 3차원 영상데이터와 썸네일 프레임 집합을 저장한다(S307). 다음으로 저장된 3차원 영상데이터로부터 다시 프레임 집합을 복호화한다(S309). 그리고 저장된 썸네일 프레임 집합 중 적어도 하나가 표시된 OSD 화면을 생성한다(S311).
다음으로 상기 프레임 집합과 상기 OSD 화면에 근거하여 합성영상을 생성한다(S313). 이때 상기 프레임 집합의 좌 영상과 상기 OSD 화면의 좌 영상을 합성하고, 상기 프레임 집합의 우 영상과 상기 OSD 화면의 우 영상을 합성하여 상기 합성영상을 생성할 수 있다.
그리고 합성영상을 3차원 디스플레이 패널이 표시할 수 있는 영상신호 형태로 변환(3차원 포맷팅)한다(S315). 마지막으로 3차원 디스플레이 패널에 상기 영상신호에 대응하는 3차원 영상을 표시한다(S317).
본 발명의 일 실시예에 따른 3차원 영상 표시 방법에 대하여는 상기 본 발명의 일 실시예에 따른 3차원 영상 표시 장치에 대하여 도 1 내지 도 6를 참조하여 설명한 바와 유사하게 이해될 수 있으므로 이하 설명을 생략한다.
이상에서 본 발명의 일 실시예에 따른 3차원 영상 표시 방법에 대하여 설명하였지만, 본 발명의 3차원 영상 표시 방법의 구성요소들의 일부는 그 자체로 독립적인 3차원 영상 제공 방법을 구성할 수 있다.
예를 들어, S310 내지 S315 단계는 그 자체로 독립적인 3차원 영상 제공 방법을 구성할 수 있다. 상기 3차원 영상 제공 방법은 3차원 방송영상의 PVR 장치, PVR 기능을 지원하는 3차원 방송 셋탑 박스(set-top box) 등이 수행하는 3차원 영상 제공 방법의 형태로 구현될 수 있다.
또는, 예를 들어, S303 내지 S305 단계는 그 자체로 독립적인 3차원 영상 제공 방법을 구성할 수 있다. 상기 3차원 영상 제공 방법은 3차원 텔레비전 수신기 등에 탑재되어 3차원 영상 소스로부터 3차원 썸네일을 생성하는 디지털 처리 소자가 수행하는 3차원 영상 제공 방법의 형태로 구현될 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 복수의 프레임 집합을 포함하는 3차원 영상데이터로부터 적어도 하나의 인덱스 프레임 집합을 선택하는 인덱스 선택부; 및
    선택된 상기 인덱스 프레임 집합에 대하여 좌 영상 및 우 영상을 획득하고, 획득된 상기 좌 영상 및 상기 우 영상에 근거하여 썸네일 프레임 집합을 생성하는 썸네일 생성부를 포함하되,
    상기 썸네일 프레임 집합에 속하는 프레임은 상기 인덱스 프레임 집합에 속하는 프레임과 비교하여 프레임 크기가 작거나 프레임 해상도가 낮은 조건을 만족하는 것을 특징으로 하는 3차원 영상 제공 장치.
  2. 제1항에 있어서,
    상기 프레임 집합, 상기 인덱스 프레임 집합 및 상기 썸네일 프레임 집합은 특정 시점(時點)의 3차원 영상을 구성하는 적어도 하나의 프레임을 포함하는 것을 특징으로 하는 3차원 영상 제공 장치.
  3. 제1항에 있어서,
    상기 인덱스 선택부는 미리 정해진 시간 주기 또는 미리 정해진 프레임 주기로 상기 인덱스 프레임 집합을 선택하는 것을 특징으로 하는 3차원 영상 제공 장치.
  4. 제1항에 있어서,
    상기 인덱스 선택부는 시분할 방식 스트레오스코픽 영상을 구성하는 좌 영상 프레임과 우 영상 프레임을 함께 선택하는 것을 특징으로 하는 3차원 영상 제공 장치.
  5. 제1항에 있어서,
    상기 인덱스 선택부는 비시분할 방식 스테레오스코픽 영상을 구성하는 한 개 프레임을 선택하는 것을 특징으로 하는 3차원 영상 제공 장치.
  6. 제1항에 있어서,
    상기 썸네일 생성부는, 시분할 방식 스테레오스코픽 영상에 있어서, 상기 인덱스 프레임 집합에 대하여 좌 영상 프레임 및 우 영상 프레임을 획득하고, 획득한 상기 좌 영상 프레임 및 상기 우 영상 프레임을 축소한 후, 축소된 상기 좌 영상 프레임 및 축소된 상기 우 영상 프레임에 근거하여 상기 썸네일 프레임 집합을 생성하는 것을 특징으로 하는 3차원 영상 제공 장치.
  7. 제1항에 있어서,
    상기 썸네일 생성부는, 비시분할 방식 스테레오스코픽 영상에 있어서, 상기 인덱스 프레임 집합에 속하는 프레임의 일부로부터 좌 영상을 획득하고, 나머지 일부로부터 우 영상을 획득하며, 획득한 상기 좌 영상 및 상기 우 영상을 축소한 후, 축소된 상기 좌 영상 프레임 및 축소된 상기 우 영상 프레임을 결합하여 상기 썸네일 프레임 집합을 생성하는 것을 특징으로 하는 3차원 영상 제공 장치.
  8. 제1항에 있어서,
    상기 3차원 영상데이터 및 상기 썸네일 프레임 집합이 저장된 저장부;
    저장된 상기 3차원 영상데이터로부터 상기 프레임 집합을 복원하는 영상 복호화부;
    저장된 상기 썸네일 프레임 집합 중 적어도 하나를 선택하고, 선택된 상기 썸네일 프레임 집합을 표시한 OSD 화면을 생성하는 OSD 생성부; 및
    상기 영상 복호화부가 복원한 상기 프레임 집합과, 상기 OSD 생성부가 생성한 상기 OSD 화면에 근거하여 합성영상을 생성하는 영상 합성부를 더 포함하는 것을 특징으로 하는 3차원 영상 제공 장치.
  9. 제8항에 있어서,
    상기 영상 복호화부는 3차원 방송신호, 외부장치가 제공하는 3차원 컨텐츠 데이터 또는 상기 저장부에 저장된 상기 3차원 영상데이터로부터 상기 프레임 집합을 복호화하는 것을 특징으로 하는 3차원 영상 제공 장치.
  10. 제8항에 있어서,
    상기 인덱스 선택부는 상기 영상 복호화부가 복원한 상기 3차원 영상데이터로부터 상기 인덱스 프레임 집합을 선택하는 것을 특징으로 하는 3차원 영상 제공 장치.
  11. 제8항에 있어서,
    상기 OSD 생성부는 상기 저장부에 저장된 상기 3차원 영상데이터의 전체 재생시간 또는 전체 프레임 수에 근거하여 상기 썸네일 프레임 집합을 선택하는 것을 특징으로 하는 3차원 영상 제공 장치.
  12. 제8항에 있어서,
    상기 영상 합성부는, 상기 영상 복호화부가 복호화한 상기 프레임 집합의 좌 영상과, 상기 OSD 생성부가 생성한 상기 OSD 화면의 좌 영상을 합성하고, 상기 영상 복호화부가 복호화한 상기 프레임 집합의 우 영상과, 상기 OSD 생성부가 생성한 상기 OSD 화면의 우 영상을 합성하는 것을 특징으로 하는 3차원 영상 제공 장치.
  13. 제8항에 있어서,
    상기 합성영상을 3차원 디스플레이 패널이 표시할 수 있는 영상신호 형태로 변환하는 3차원 포맷터를 더 포함하는 3차원 영상 제공 장치.
  14. 3차원 영상을 표시하는 표시부;
    3차원 영상데이터 및 적어도 하나의 썸네일 프레임 집합이 저장되는 저장부;
    수신된 방송신호로부터 상기 3차원 영상데이터를 복원하고, 상기 저장부에 저장된 상기 3차원 영상데이터로부터 적어도 하나의 프레임 집합을 획득하는 제1 영상 제공부;
    복원된 상기 3차원 영상데이터로부터 적어도 하나의 인덱스 프레임 집합을 선택하고, 선택된 상기 인덱스 프레임 집합에 대응하는 썸네일 프레임 집합을 생성하여 상기 저장부에 저장하는 제2 영상 제공부; 및
    상기 제1 영상 제공부가 획득한 상기 프레임 집합과 상기 제2 영상 제공부가 생성한 상기 썸네일 프레임 집합에 근거하여 합성영상을 생성하고, 상기 합성영상을 3차원 포맷팅한 영상신호를 상기 표시부에 제공하는 영상신호 출력부를 포함하되,
    상기 썸네일 프레임 집합에 속하는 프레임은 상기 인덱스 프레임 집합에 속하는 프레임과 비교하여 프레임 크기가 작거나 프레임 해상도가 낮은 조건을 만족하는 것을 특징으로 하는 3차원 영상 표시 장치.
  15. 제14항에 있어서,
    상기 표시부는 상기 프레임 집합이 구성하는 동영상과 상기 썸네일 프레임 집합이 구성하는 정지영상을 동시에 표시하는 것을 특징으로 하는 3차원 영상 표시 장치.
  16. 복수의 프레임 집합을 포함하는 3차원 영상데이터로부터 적어도 하나의 인덱스 프레임 집합을 선택하는 단계;
    선택한 상기 인덱스 프레임 집합에 대하여 좌 영상 및 우 영상을 획득하는 단계; 및
    획득한 상기 좌 영상 및 상기 우 영상에 근거하여 썸네일 프레임 집합을 생성하는 단계를 포함하되,
    상기 썸네일 프레임 집합에 속하는 프레임은 상기 인덱스 프레임 집합에 속하는 프레임과 비교하여 프레임 크기가 작거나 프레임 해상도가 낮은 조건을 만족하는 것을 특징으로 하는 3차원 영상 제공 방법.
  17. 제16항에 있어서,
    상기 프레임 집합, 상기 인덱스 프레임 집합 및 상기 썸네일 프레임 집합은 특정 시점(時點)의 3차원 영상을 구성하는 적어도 하나의 프레임을 포함하는 것을 특징으로 하는 3차원 영상 제공 방법.
  18. 제16항에 있어서,
    3차원 방송신호로부터 상기 복수의 프레임 집합을 포함하는 상기 3차원 영상데이터를 복원하는 단계;
    상기 3차원 영상데이터와 상기 썸네일 프레임 집합을 저장하는 단계;
    저장된 상기 썸네일 프레임 집합 중 적어도 하나를 표시한 OSD 화면을 생성하는 단계; 및
    저장된 상기 3차원 영상데이터로부터 획득한 상기 프레임 집합과 상기 OSD 화면에 근거하여 합성영상을 생성하는 단계를 더 포함하는 3차원 영상 제공 방법.
  19. 방송신호로부터 적어도 하나의 프레임 집합을 포함하는 3차원 영상데이터를 복원하는 단계;
    상기 3차원 영상데이터로부터 적어도 하나의 인덱스 프레임 집합을 선택하는 단계;
    상기 인덱스 프레임 집합에 대응하는 썸네일 프레임 집합을 생성하는 단계;
    상기 3차원 영상데이터와 상기 섬네일 프레임 집합을 저장하는 단계;
    저장된 상기 썸네일 프레임 집합 중 적어도 하나를 표시한 OSD 화면을 생성하는 단계;
    저장된 상기 3차원 영상데이터로부터 획득한 상기 프레임 집합과 상기 OSD 화면에 근거하여 합성영상을 생성하는 단계; 및
    상기 합성영상을 3차원 포맷팅한 영상신호를 출력하는 단계를 포함하는 3차원 영상 표시 방법.
  20. 제19항에 있어서,
    상기 합성영상을 생성하는 단계는, 상기 프레임 집합의 좌 영상과 상기 OSD 화면의 좌 영상을 합성하고, 상기 프레임 집합의 우 영상과 상기 OSD 화면의 우 영상을 합성하는 것을 특징으로 하는 3차원 영상 표시 방법.
PCT/KR2010/000857 2009-06-23 2010-02-11 3차원 영상 제공 장치, 표시 장치 및 그 방법 WO2010150961A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10792243.7A EP2448272A4 (en) 2009-06-23 2010-02-11 3d image providing device, display device, and method thereof
US13/379,145 US8836757B2 (en) 2009-06-23 2010-02-11 3D image providing device, display device, and method thereof
CN201080027888.8A CN102461184B (zh) 2009-06-23 2010-02-11 三维图像提供装置、显示装置及其方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US21939809P 2009-06-23 2009-06-23
US61/219,398 2009-06-23

Publications (1)

Publication Number Publication Date
WO2010150961A1 true WO2010150961A1 (ko) 2010-12-29

Family

ID=43386712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/000857 WO2010150961A1 (ko) 2009-06-23 2010-02-11 3차원 영상 제공 장치, 표시 장치 및 그 방법

Country Status (4)

Country Link
US (1) US8836757B2 (ko)
EP (1) EP2448272A4 (ko)
CN (1) CN102461184B (ko)
WO (1) WO2010150961A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435594B1 (ko) * 2010-05-31 2014-08-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
CN102780899A (zh) * 2012-07-02 2012-11-14 深圳Tcl新技术有限公司 图像显示方法及显示终端
US11237695B2 (en) * 2012-10-12 2022-02-01 Sling Media L.L.C. EPG menu with a projected 3D image
CN103593156B (zh) * 2013-11-08 2017-02-15 广东威创视讯科技股份有限公司 一种三维全景显示方法和装置
JP2015119464A (ja) * 2013-11-12 2015-06-25 セイコーエプソン株式会社 表示装置、および表示装置の制御方法
CN106273470B (zh) * 2015-06-10 2018-11-30 三纬国际立体列印科技股份有限公司 立体打印装置及其打印数据存储方法
US11366454B2 (en) 2018-08-20 2022-06-21 Hewlett-Packard Development Company, L.P. Generating a preview of a part to be printed

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110399A1 (en) * 2005-11-17 2007-05-17 Samsung Electronics Co., Ltd. Device and method for displaying images
US20080134096A1 (en) * 2006-12-01 2008-06-05 Fujifilm Corporation Image reproduction device and method thereof
US20080129728A1 (en) * 2006-12-01 2008-06-05 Fujifilm Corporation Image file creation device, imaging apparatus and file structure

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285371B1 (en) * 1999-01-08 2001-09-04 Ati International Srl Method and apparatus for providing a three dimensional transition between displayed images
WO2003092305A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image encodder, image decoder, record medium, and image recorder
JP4138425B2 (ja) 2002-09-25 2008-08-27 シャープ株式会社 画像表示装置および方法
EP1617684A4 (en) * 2003-04-17 2009-06-03 Sharp Kk THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
JP4341408B2 (ja) 2004-01-15 2009-10-07 パナソニック株式会社 画像表示方法及び装置
KR101147736B1 (ko) 2004-12-29 2012-05-25 엘지전자 주식회사 디지털 데이터 방송 방법 및 장치
US7783094B2 (en) * 2005-06-02 2010-08-24 The Medipattern Corporation System and method of computer-aided detection
KR100710339B1 (ko) 2005-08-30 2007-04-23 엘지전자 주식회사 영상표시기기 및 그의 방송 정보 디스플레이 방법
JP4641269B2 (ja) 2006-03-01 2011-03-02 富士通株式会社 表示装置、表示プログラム、および表示方法
CN100546379C (zh) * 2006-04-24 2009-09-30 中国科学院自动化研究所 基于移动设备的体育视频的个性化定制方法及其装置
KR101437653B1 (ko) * 2007-01-26 2014-09-12 삼성전자주식회사 재생시점 변경용 ｇｕｉ 제공방법 및 이를 적용한 영상기기
JP4661824B2 (ja) 2007-04-25 2011-03-30 富士フイルム株式会社 画像処理装置、方法およびプログラム
KR101396998B1 (ko) * 2007-08-29 2014-05-20 엘지전자 주식회사 영상기기 및 이 영상기기에서 녹화물을 디스플레이하는방법
US20100083316A1 (en) * 2008-09-29 2010-04-01 Kabushiki Kaisha Toshiba Electronic Apparatus and Electronic Program Guide Display Method
KR20110074823A (ko) * 2008-09-30 2011-07-04 파나소닉 주식회사 3ｄ 영상에 관한 기록매체, 재생장치, 시스템 ｌｓｉ, 재생방법, 안경 및 표시장치
JPWO2010038409A1 (ja) * 2008-09-30 2012-03-01 パナソニック株式会社 再生装置、記録媒体、及び集積回路

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110399A1 (en) * 2005-11-17 2007-05-17 Samsung Electronics Co., Ltd. Device and method for displaying images
US20080134096A1 (en) * 2006-12-01 2008-06-05 Fujifilm Corporation Image reproduction device and method thereof
US20080129728A1 (en) * 2006-12-01 2008-06-05 Fujifilm Corporation Image file creation device, imaging apparatus and file structure

Also Published As

Publication number Publication date
US20120092467A1 (en) 2012-04-19
CN102461184A (zh) 2012-05-16
US8836757B2 (en) 2014-09-16
EP2448272A4 (en) 2017-04-26
EP2448272A1 (en) 2012-05-02
CN102461184B (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
WO2010143820A2 (ko) 3차원 pip 영상 제공 장치 및 그 방법
WO2010150961A1 (ko) 3차원 영상 제공 장치, 표시 장치 및 그 방법
WO2014054847A1 (en) Content processing apparatus for processing high resolution content and content processing method thereof
WO2010134665A1 (ko) 입체영상에 대한 3d 모드 선택이 가능한 입체영상 재생 장치 및 방법
US20070247477A1 (en) Method and apparatus for processing, displaying and viewing stereoscopic 3D images
WO2011005025A2 (en) Signal processing method and apparatus therefor using screen size of display device
US20120050476A1 (en) Video processing device
JP2007336518A (ja) 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
WO2010143759A1 (ko) 포즈 모드 시의 입체영상 재생방법 및 이를 이용한 입체영상 재생장치
WO2016003075A1 (en) Electronic apparatus and method of controlling the same
WO2011100488A1 (en) Information processing device, information processing method, playback device, playback method, program and recording medium
WO2013100376A1 (en) Apparatus and method for displaying
WO2010147311A2 (en) 3d display device and selective image display method thereof
WO2015152534A1 (en) Broadcast receiving apparatus, upgrade device for upgrading the apparatus, broadcast signal processing system, and methods thereof
JP5957769B2 (ja) 映像処理装置及び映像処理方法
KR20150013392A (ko) 수신장치, 송신장치, 수신방법 및 송신방법
WO2012169694A1 (ko) 3차원 그래픽 콘텐츠 재생 방법 및 장치
WO2010143819A2 (ko) 3차원 영상 표시 장치 및 그 방법
JP4733764B2 (ja) 三次元映像処理装置及び三次元映像処理方法
JP5058354B1 (ja) 電子機器、表示制御方法及びプログラム
US20060132504A1 (en) Content combining apparatus and method
JP2010074559A (ja) 映像処理装置及び映像処理方法
JP5422597B2 (ja) 三次元映像処理装置
WO2016036012A1 (ko) 방송 신호 송수신 방법 및 장치
KR20130122348A (ko) 동기화 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080027888.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10792243

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13379145

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010792243

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE