WO2011102699A2 - 전자 장치 및 입체영상 재생 방법 - Google Patents

전자 장치 및 입체영상 재생 방법 Download PDF

Info

Publication number
WO2011102699A2
WO2011102699A2 PCT/KR2011/001159 KR2011001159W WO2011102699A2 WO 2011102699 A2 WO2011102699 A2 WO 2011102699A2 KR 2011001159 W KR2011001159 W KR 2011001159W WO 2011102699 A2 WO2011102699 A2 WO 2011102699A2
Authority
WO
WIPO (PCT)
Prior art keywords
image frame
data
eye view
image
line
Prior art date
Application number
PCT/KR2011/001159
Other languages
English (en)
French (fr)
Other versions
WO2011102699A3 (ko
Inventor
양정휴
임진석
임정은
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to CN201180019654.3A priority Critical patent/CN102844696B/zh
Priority to EP11744941.3A priority patent/EP2541305A4/en
Publication of WO2011102699A2 publication Critical patent/WO2011102699A2/ko
Publication of WO2011102699A3 publication Critical patent/WO2011102699A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material

Definitions

  • the present invention relates to an electronic device and a stereoscopic image reproducing method, and more particularly, to an electronic device and a stereoscopic image reproducing method capable of processing stereoscopic images in a binocular stereoscopic technique or a multieye stereoscopic image technique.
  • the binocular parallax refers to a positional difference that exists horizontally as much as the distance between two eyes when a person looks at a single subject using both eyes and the image seen by the left eye and the image seen by the right eye. Therefore, if the same image can be input to both eyes of the real image visible to the human eye, the image can be three-dimensionally felt.
  • an image may be obtained by photographing a real subject with a binocular camera, or in the case of a computer graphic (CG) subject, the image may be generated by mapping in the form of a binocular camera, and the generated image may be displayed to both eyes of a user to provide a three-dimensional effect.
  • CG computer graphic
  • the present invention has been made in an effort to provide an electronic device and a stereoscopic image reproducing method capable of reproducing stereoscopic image data having a full resolution while maintaining the full resolution.
  • the present invention has been made in an effort to provide an electronic device and a stereoscopic image reproducing method capable of reproducing a Full-HD stereoscopic image without deterioration in a polarization filter method.
  • the stereoscopic image reproducing method comprises: receiving stereoscopic image data including left eye view image data and right eye view image data, the left eye view image data and the right eye view image data A first image frame and a second image frame are generated based on the first image frame, wherein the first image frame includes first pixel data of one of the left eye view image frame and the right eye view image frame in an odd line, and in the even line. And another second pixel data, wherein the second image frame includes one third pixel data in an odd line, the other fourth pixel data, and the first image frame; And outputting a second image frame.
  • the first image frame and the two second image frames may form one stereoscopic image.
  • the first pixel data may be odd line data
  • the second pixel data may be odd line data
  • the third pixel data may be even line data
  • the fourth pixel data may be even line data.
  • the first pixel data may be odd line data
  • the second pixel data may be even line data
  • the third pixel data may be even line data
  • the fourth pixel data may be odd line data.
  • the first pixel data may be even line data
  • the second pixel data may be even line data
  • the third pixel data may be odd line data
  • the fourth pixel data may be odd line data.
  • the pixel data included in the first line of the first image frame may be the same as the pixel data included in the first line of the second image frame.
  • the pixel data included in the second odd line of the first image frame may be even line data
  • the pixel data included in the second odd line of the second image frame may be odd line data
  • the pixel data included in the second odd line of the first image frame may be odd line data
  • the pixel data included in the second odd line of the second image frame may be even line data.
  • the generating may include vertically filtering the left eye view image data and the right eye view image data.
  • the resolution of the left eye view image data and the right eye view image data is one of 720 ⁇ 480p, 1280 ⁇ 720p, 1920 ⁇ 1080i, 1920 ⁇ 1080p, and 4k ⁇ 2k, and when the resolution is 720 ⁇ 480p, the first When the resolution of the image frame and the second image frame is 720 ⁇ 480p, and the resolution is 1280 ⁇ 720p, the resolution of the first image frame and the second image frame is 1280 ⁇ 720p, and the resolution is 1920 ⁇ . In the case of one of 1080i and 1920 ⁇ 1080p, the resolution of the first image frame and the second image frame is 1920 ⁇ 1080p, and when the resolution is 4k ⁇ 2k, the first image frame and the second image.
  • the resolution of the frame may be 4k ⁇ 2k.
  • a stereoscopic image reproducing method comprising: receiving stereoscopic image data including left eye view image data and right eye view image data, the left eye view image data and the right eye view image data Adjusting each frame rate to half of an output frame rate, generating a first image frame and a second image frame based on the adjusted left eye view image data and the adjusted right eye view image data, wherein the first image frame is generated;
  • the image frame includes first pixel data of one of the left eye view image frame and the right eye view image frame on an odd line and another second pixel data on an even line, and the second image frame includes an odd line Includes one third pixel data in the other, and the other in the even line 4 includes the step of the pixel data, and may include the step of outputting the first video frame and a second image frame.
  • an electronic device including a receiver configured to receive image data including left eye view image data and right eye view image data, the left eye view image frame and the right eye view on an odd line.
  • the first image frame including one first pixel data of an image frame
  • the second image data including another second pixel data on an even line
  • It may include a formatter for generating a second image frame including one fourth pixel data, and a display for scanning the generated first image frame and the second image frame.
  • the first pixel data is one of odd line data and even line data, and when the first pixel data is odd line data, the second pixel data is odd line data, and the third pixel data is even line data.
  • the fourth pixel data is even line data, and when the first pixel data is even line data, the second pixel data is even line data, and the third pixel data is odd line data.
  • the four pixel data may be odd line data.
  • the first pixel data may be odd line data
  • the second pixel data may be even line data
  • the third pixel data may be even line data
  • the fourth pixel data may be odd line data.
  • the pixel data included in the first line of the first image frame may be the same as the pixel data included in the first line of the second image frame.
  • the pixel data included in the second odd line of the first image frame is one of even line data and odd line data, and the pixel data included in the second odd line of the first image frame is even line data.
  • the pixel data included in the second odd line of the second image frame is odd line data, and the pixel data included in the second odd line of the first image frame is odd line data.
  • the pixel data included in the second odd line of may be even line data.
  • the first image frame and the two second image frames may form one stereoscopic image.
  • the formatter may vertically filter the left eye view image data and the right eye view image data.
  • the resolution of the left eye view image data and the right eye view image data is one of 720 ⁇ 480p, 1280 ⁇ 720p, 1920 ⁇ 1080i, 1920 ⁇ 1080p, and 4k ⁇ 2k, and when the resolution is 720 ⁇ 480p, the first When the resolution of the image frame and the second image frame is 720 ⁇ 480p, and the resolution is 1280 ⁇ 720p, the resolution of the first image frame and the second image frame is 1280 ⁇ 720p, and the resolution is 1920 ⁇ . In the case of one of 1080i and 1920 ⁇ 1080p, the resolution of the first image frame and the second image frame is 1920 ⁇ 1080p, and when the resolution is 4k ⁇ 2k, the first image frame and the second image.
  • the resolution of the frame may be 4k ⁇ 2k.
  • the electronic device may further include a frame rate converter configured to adjust a frame rate of each of the left eye view image data and the right eye view image data to half of an output frame rate.
  • a frame rate converter configured to adjust a frame rate of each of the left eye view image data and the right eye view image data to half of an output frame rate.
  • a 3D TV of a polarization filter type shows a 3D image having a left / right full resolution over two frames, thereby allowing a viewer to have a 1/2 full resolution or more and a maximum full resolution.
  • the present invention enables the low cost of glasses and the simultaneous viewing of several people, which is an advantage of the 3D display of the polarization filter method, and the full resolution viewing of the 3D display of the active shutter method.
  • the present invention can show a brighter 3D image than the active shutter method.
  • FIG. 1 is a block diagram showing a configuration of a preferred embodiment of an electronic device according to the present invention
  • FIG. 2 is a diagram illustrating a binocular parallax scheme
  • FIG. 3 illustrates examples of a single video stream format of a stereoscopic image according to the present invention
  • FIG. 4 is a diagram illustrating examples of a multi-video stream format of a stereoscopic image according to the present invention
  • FIG. 5 is a block diagram showing the configuration of a preferred embodiment of the signal processing unit
  • FIG. 6 is a view for explaining a process of processing input image data in an FRC unit
  • FIG. 7 is a diagram illustrating an embodiment of left eye view image data and right eye view image data input to the formatter;
  • FIG. 8 illustrates a first embodiment of pixel data configuration of a first image frame and a second image frame generated by an electronic device according to the present invention
  • FIG. 9 illustrates a second embodiment of pixel data configuration of a first image frame and a second image frame generated by an electronic device according to the present invention
  • FIG. 10 is a diagram illustrating a third embodiment of pixel data configuration of a first image frame and a second image frame generated by an electronic device according to the present invention.
  • FIG. 11 illustrates a fourth embodiment of pixel data configuration of a first image frame and a second image frame generated by an electronic device according to the present invention
  • FIG. 12 illustrates a fifth embodiment of pixel data configuration of a first image frame and a second image frame generated by an electronic device according to the present invention
  • FIG. 13 illustrates a sixth embodiment of pixel data configuration of a first image frame and a second image frame generated by an electronic device according to the present invention
  • FIG. 15 is a diagram illustrating an embodiment in which stereoscopic image data of a side-by-side format of 60 Hz is input;
  • FIG. 16 is a diagram illustrating an embodiment in which a frame rate of stereoscopic image data illustrated in FIG. 15 is adjusted;
  • FIG. 17 illustrates an embodiment in which a first image frame and a second image frame are generated using the stereoscopic image data shown in FIG. 16;
  • FIG. 18 is a flowchart illustrating a process of performing a preferred embodiment of a stereoscopic image reproducing method according to the present invention
  • FIG. 19 is a flowchart illustrating a process of performing another preferred embodiment of a stereoscopic image reproducing method according to the present invention.
  • FIG. 20 is a flowchart illustrating a process of performing another preferred embodiment of a stereoscopic image reproducing method according to the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of a preferred embodiment of an electronic device according to the present invention.
  • the electronic device 100 includes a receiver 101, a signal processor 140, a display 150, an audio output unit 160, an input device 170, and a storage unit 180. And a controller 190.
  • the electronic device 100 may be a personal computer system such as a desktop, laptop, tablet, or handheld computer.
  • the electronic device 100 may be a mobile terminal such as a mobile phone, a smart phone, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, or the like. Can be.
  • the receiver 101 may receive broadcast data, video data, audio data, information data, and program codes.
  • the image data may be stereoscopic image data of a binocular disparity method.
  • the stereoscopic image data may be a stereo viewpoint image or a multiview image. That is, the stereoscopic image data may include at least one left eye view image data and at least one right eye view image data.
  • the stereoscopic image data may have a single video stream format and a multi video stream format.
  • FIG. 2 is a diagram illustrating a binocular parallax method.
  • a left eye view image 201 and a right eye view image 202 captured by a binocular camera or the like are shown to the viewer's eyes 211 and 212, respectively, to provide a sense of space or a three-dimensional effect.
  • Dimensional display method Depending on the binocular disparity between the left eye view image 201 and the right eye view image 202, the sense of space or three-dimensionality provided to the viewer may vary.
  • the distance between the left eye view image 201 and the right eye view image 202 is narrower, it is recognized that an image is formed at a far distance from the left eye 211 and the right eye 212, so that a sense of space or a stereoscopic feeling provided to a viewer may be reduced.
  • the interval between the left eye view image 201 and the right eye view image 202 is wider, it is recognized that the image is formed at a close distance from the left eye 211 and the right eye 212, thereby increasing the sense of space or three-dimensionality provided to the viewer. .
  • FIG. 3 is a diagram illustrating examples of a single video stream format of a stereoscopic image according to the present invention.
  • the single video stream format includes a side by side format, a top and bottom format, a checker board format, a frame sequential format, and an interlaced format. Interlaced) format.
  • the side by side format 310 includes a left eye view image data 311 displaying a left eye view image 201 and a right eye view image data 312 displaying a right eye view image 202. It is a format that is input side by side orthogonal to each other and right eye. In the side-by-side format image frame 310, one left eye view image frame 311 and one right eye view image frame 312 are arranged side by side.
  • the top and bottom format 320 inputs the left eye view image data 321 displaying the left eye view image 201 and the right eye view image data 322 displaying the right eye view image 202 up and down. Format.
  • One left eye view image frame 321 and one right eye view image frame 322 are disposed up and down in the top and bottom format image frame 320.
  • the checker board format 330 includes a left eye view image data 331 displaying a left eye view image 201 and a right eye view image data 332 displaying a right eye view image 202 in a chessboard shape.
  • the format is entered alternately. That is, the pixel data of the left eye view image 201 and the pixel data of the right eye view image 202 are alternately arranged in a chessboard shape in the checker board format image frame 330.
  • left eye view image data 341 displaying the left eye view image 201 and right eye view image data 342 displaying the right eye view image 202 are inputted with a time difference. That's the way.
  • one left eye view image frame 341 and one right eye view image frame 342 are received as one independent image frame.
  • the left eye view image data 351 displaying the left eye view image 201 and the right eye view image data 352 displaying the right eye view image 202 are each 1/2 subsampled in the horizontal direction.
  • the left eye view image data 356 for displaying the left eye view image 201 and the right eye view image data 357 for displaying the right eye view image 202 are each 1/2 sub-length in the vertical direction.
  • FIG. 4 is a diagram illustrating examples of a multi-video stream format of a stereoscopic image according to the present invention.
  • the multi video stream formats include full left / right 410, full left / half right 420, and 2D video / depth. ) May be included.
  • the full left / right 410 is a multi-video stream format for transmitting the left eye view image 411 and the right eye view image 415, respectively, and the full left / half right 420 transmits the left eye view image 421 as it is.
  • the right eye view image is a multi video stream format that is 1/2 sub-sampled and transmitted in a vertical 422 or horizontal 423 direction, and the 2D video / depth format 430 is different from one view image 431 and the other.
  • the receiver 101 may include a tuner 110, a demodulator 120, a mobile communication unit 115, a network interface unit 130, and an external signal receiver 130.
  • the tuner unit 110 selects an RF broadcast signal corresponding to a channel selected by a user from among radio frequency (RF) broadcast signals received through an antenna, and converts the selected RF broadcast signal into an intermediate frequency signal or a baseband video or audio signal. To convert.
  • RF radio frequency
  • the demodulator 120 receives the digital IF signal DIF converted by the tuner 110 and performs a demodulation operation. For example, when the digital IF signal output from the tuner unit 110 is an ATSC scheme, the demodulator 120 performs 8-VSB (8-Vestigial Side Band) demodulation. As another example, when the digital IF signal output from the tuner 110 is a DVB scheme, the demodulator 120 performs coded orthogonal frequency division modulation (COFDMA) demodulation.
  • COFDMA coded orthogonal frequency division modulation
  • the demodulator 120 may perform channel decoding.
  • the demodulator 120 includes a trellis decoder, a de-interleaver, a reed solomon decoder, and the like.
  • Soloman decryption can be performed.
  • the demodulator 120 may output a stream signal TS after performing demodulation and channel decoding.
  • the stream signal may be a signal multiplexed with a video signal, an audio signal, or a data signal.
  • the stream signal may be an MPEG-2 Transport Stream (TS) multiplexed with an MPEG-2 standard video signal, a Dolby AC-3 standard audio signal, and the like.
  • the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.
  • the stream signal output from the demodulator 120 may be input to the signal processor 140.
  • the mobile communication unit 115 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the external signal receiver 135 may provide an interface for connecting the external device to the electronic device 100.
  • the external device may refer to various types of video or audio output devices such as a DVD (Digital Versatile Disk), Blu-ray (Bluray), a game device, a camcorder, a computer (laptop), and a USB memory or a USB hard disk. It may be a device.
  • the electronic device 100 may display an image signal and an audio signal received from the external signal receiver 135, and store or use a data signal.
  • the external device may be the photographing device 90.
  • the photographing apparatus 90 may include a plurality of cameras.
  • the imaging device 90 can image a person.
  • the photographing apparatus 90 may recognize a hand region of a person, focus on the hand region, and zoom in to capture an image.
  • the captured hand may be recognized as a spatial gesture. That is, the controller 190 may recognize the captured hand as a spatial gesture and execute commands for performing operations associated with the recognized spatial gesture.
  • the spatial gesture may be defined as a gesture recognized from an image frame or an image received from the photographing apparatus 90, which is mapped to one or more specific computing operations.
  • the electronic device 100 may include a photographing device 90.
  • the signal processor 140 demultiplexes the stream signal output by the demodulator 210, performs signal processing on the demultiplexed signal, and outputs an image to the display 150.
  • the sound 161 is output.
  • the signal processor 140 may receive image data, audio data, and broadcast data from the mobile communication unit 115, the network interface unit 130, and the external signal receiving unit 135.
  • the signal processor 140 may generate an image frame based on the left eye view image frame and the right eye view image frame included in the stereoscopic image data received from the receiver 101.
  • the signal processor 140 may generate a first image frame and a second image frame based on the left eye view image frame and the right eye view image frame. That is, the signal processor 140 may generate two image frames by using one left eye view image frame and one right eye view image frame.
  • the first image frame and the second image frame may form one stereoscopic image.
  • the signal processor 140 may change the frame rate of the stereoscopic image data, and may include the first image frame and the first image frame based on the left eye view image frame and the right eye view image frame included in the stereoscopic image data having the changed frame rate.
  • a second image frame may be generated. That is, the signal processor 140 may generate two image frames by using left eye view image data and right eye view image data of one stereoscopic image frame included in the stereoscopic image data whose frame rate is adjusted.
  • the first image frame and the second image frame may form one stereoscopic image.
  • the first image frame and the second image frame may include one pixel data of a left eye view image frame and a right eye view image frame on odd lines, and another pixel data on even lines.
  • the first image frame and the second image frame may have the same resolution as that of the left eye view image data and may have a progressive resolution corresponding to the resolution of the left eye view image data.
  • the signal processor 140 may output the generated first image frame and the second image frame to the display 150.
  • the display 150 displays the image 152.
  • the image 152 may be a stereoscopic image, and the display 150 may display the stereoscopic image in a patterned retarder type.
  • the stereoscopic image 152 may display a first image frame and a second image frame generated by the signal processor 140.
  • the display 150 may operate in connection with the controller 190.
  • the display 150 may display a graphical user interface (GUI) 153 that provides an easy-to-use interface between the user of the electronic device and an operating system or an application running on the operating system.
  • GUI graphical user interface
  • the GUI 153 presents the program, file, and operation options in a graphical image.
  • Graphical images may include windows, fields, dialogs, menus, icons, buttons, cursors, scrollbars, and the like. Such images may be arranged in a predefined layout or may be dynamically generated to help with the particular action the user is taking.
  • a user can select and activate an image to present functions and tasks associated with various graphical images.
  • a user may select a button that opens, closes, minimizes, or maximizes a window, or an icon that launches a particular program.
  • the voice output unit 160 may receive voice data from the signal processor 140 and the controller 190 and output a sound 161 in which the received voice data is reproduced.
  • the input device 170 may be a touch screen disposed on or in front of the display 150.
  • the touch screen may be integrated with the display 150 or may be a separate component.
  • the user may directly manipulate the GUI 153. For example, the user may only place his finger on the object to be controlled. In the touchpad, there is no one-to-one relationship like this.
  • the touchpad is generally in a different plane away from the display 150.
  • display 150 is generally located in a vertical plane and the touchpad is generally located in a horizontal plane. This makes its use less intuitive and therefore more difficult when compared to a touch screen.
  • the input device 170 may be a multipoint input device.
  • the storage unit 180 generally provides a place for storing program codes and data used by the electronic device 100.
  • the storage unit 180 may be implemented as a read only memory (ROM), a random access memory (RAM), a hard disk drive, or the like.
  • the program code and data may reside in a removable storage medium and may be loaded or installed onto the electronic device 100 as needed.
  • Removable storage media may include CD-ROM, PC-CARD, memory cards, floppy disks, magnetic tape, and network components.
  • the controller 190 executes a command and performs an operation associated with the electronic device 100.
  • the controller 190 may control input and output between the components of the electronic device 100 and reception and processing of data by using a command retrieved from the storage unit 180.
  • the controller 190 may be implemented on a single chip, multiple chips, or multiple electrical components.
  • various architectures may be used for the controller 190, including dedicated or embedded processors, single purpose processors, controllers, ASICs, and the like.
  • the controller 190 executes computer code together with an operating system to generate and use data.
  • Operating systems are generally known and will not be described in more detail.
  • the operating system may be a Window based OS, Unix, Linux, Palm OS, DOS, Android, Macintosh, and the like.
  • the operating system, other computer code, and data may be present in the storage unit 180 that operates in conjunction with the control unit 190.
  • the controller 190 may recognize the user action and control the electronic device 100 based on the recognized user action.
  • the user action may be performed by selecting a physical button of an electronic device or a remote control, performing a predetermined gesture on the touch screen display surface, selecting a soft button, or performing a predetermined gesture recognized from an image captured by the imaging device, and by voice recognition. It may include the implementation of any utterance recognized.
  • the external signal receiver 135 may receive a signal for a user action of selecting a physical button of the remote controller through the remote controller.
  • the gesture may include a touch gesture and a space gesture.
  • Touch gestures may be defined as stylized interactions with the input device 170 that map to one or more specific computing operations. Touch gestures can be made through various hands, more specifically through finger movements. As another alternative or in addition, the gesture may be done with a stylus.
  • the input device 170 receives the gesture 171, and the controller 190 executes commands for performing operations associated with the gesture 171.
  • the storage unit 180 may include a gesture operating program 181 which may be part of an operating system or a separate application.
  • Gesture operator 181 generally recognizes the occurrence of gesture 171 and in turn responds to gesture 171 and / or gesture 171 to inform one or more software agents of what action (s) should be taken. Contains the command of.
  • the controller 190 may determine or confirm the stereoscopic image reproduction mode. In some embodiments, the controller 190 may determine the stereoscopic image reproduction mode based on the recognized user action, and may determine the stereoscopic image reproduction mode based on at least one of a resolution and a format of the received stereoscopic image data. In addition, the controller 190 may determine or determine the stereoscopic image reproduction mode based on the received broadcast information, and may determine the stereoscopic image reproduction mode based on the stored stereoscopic image reproduction mode information.
  • the stereoscopic image reproduction mode may be one of a full image mode and a half image mode.
  • the full image mode is a mode in which 3D image data at full resolution is maintained without displaying a resolution reduction
  • the half image mode is a mode in which 3D image data at full resolution is displayed at half resolution.
  • the full resolution may be Full-HD resolution, may be one of the highest resolutions supported by the display device, and may be full resolution as defined in the image data transmission standard.
  • the full resolution may be a full resolution defined as a mandatory format in the standard document High-Definition Multimedia Interface (HDMI) 1.4.
  • HDMI High-Definition Multimedia Interface
  • full-resolution 3D video formats are 1920 ⁇ 1080p ⁇ 2 @ 24Hz and 1280 ⁇ 720p ⁇ 2 @ 60Hz / 50Hz.
  • the full resolution may be 720 ⁇ 480p @ 60Hz, 1920 ⁇ 1080i ⁇ 2 @ 60Hz, 1920 ⁇ 1080p ⁇ 2 @ 60Hz, and 4K ⁇ 2K ⁇ 2 @ 24Hz (or 25Hz, 30Hz).
  • the stereoscopic image data having a resolution of 1920 ⁇ 1080i ⁇ 2 is input in the full image mode, the stereoscopic image data may be displayed at a resolution of 1920 ⁇ 1080p ⁇ 2.
  • 1920 ⁇ 1080p ⁇ 2 @ 60Hz means that the stereoscopic image data includes a left eye view image frame and a right eye view image frame having a 1920 ⁇ 1080p resolution and a frame rate of 60 Hz.
  • 1280 ⁇ 720p ⁇ 2 @ 60Hz / 50Hz means that the stereoscopic image data includes a left eye view image frame having a 1280 ⁇ 720p resolution and a frame rate of 60 Hz and a right eye view image frame having a frame rate of 50 Hz.
  • the controller 190 may control the signal processor 140 to process stereoscopic image data according to the determined or confirmed stereoscopic image reproduction mode. By default, the signal processor 140 may process stereoscopic image data in a full image mode.
  • the controller 190 may detect a user action for requesting a graphical user interface (GUI) for setting a stereoscopic image reproduction mode. In response to the detection of the user action, the controller 190 may control to generate a signal for displaying a screen including a graphic user interface (GUI) and an area where image data is displayed. The stereoscopic image may be displayed in the area.
  • GUI graphical user interface
  • the controller 190 may control the signal processor 140 to process an image displayed on the screen according to the stereoscopic image reproduction mode set through the GUI.
  • controller 190 may control to store the stereoscopic image reproduction mode information, which is information representing the stereoscopic image reproduction mode set through the GUI, in the storage 190.
  • FIG. 5 is a block diagram showing the configuration of a preferred embodiment of the signal processing unit.
  • the signal processor 140 may include a demultiplexer 510, an audio decoder 520, a video decoder 530, a scaler 540, a mixer 550, and a frame rate converter (FRC).
  • Converter 560, a formatter 570, and an image interface unit 580 may be included.
  • the demultiplexer 510 may receive a stream signal from the mobile communication unit 115, the network interface 130, and the external signal receiver 135.
  • the demultiplexer 510 may convert the received stream signal into image data
  • the video data may be demultiplexed into voice data and information data and output to the video decoder 530, the audio decoder 520, and the controller 190, respectively.
  • the audio decoder 520 may receive voice data from the demultiplexer 510, restore the received voice data, and output the recovered data to the scaler 540 or the voice output unit 160.
  • the video decoder 530 receives image data from the demultiplexer 510, restores the received image data, and outputs the reconstructed image data to the scaler 540.
  • the image data may include stereoscopic image data.
  • the scaler 540 is an appropriately sized signal for outputting image data and audio data processed by the video decoder 530, the controller 190, and the audio decoder 520 through the display 150 or a speaker (not shown). Scaling In detail, the scaler 540 receives the stereoscopic image and scales it to match the resolution of the display 150 or a predetermined aspect ratio.
  • the display 150 has a predetermined resolution according to product specifications, for example, 720 ⁇ 480 format, 1024 ⁇ 768 format, 1280 ⁇ 720 format, 1280 ⁇ 768 format, 1280 ⁇ 800 format, 1920 ⁇ 540 format, 1920 ⁇ 1080 format, and 4K. It can be produced to output an image screen having a ⁇ 2K format or the like. Accordingly, the scaler 540 may convert the resolution of the stereoscopic image that can be input with various values according to the resolution of the corresponding display.
  • the scaler 540 adjusts and outputs an aspect ratio of a stereoscopic image according to the type of content to be displayed or user setting.
  • the aspect ratio value may be a value such as 16: 9, 4: 3, or 3: 2, and the scaler 540 may adjust the ratio of the screen length in the horizontal direction to the screen length in the vertical direction.
  • the mixer 550 mixes and outputs the outputs of the scaler 540 and the controller 190.
  • the FRC 560 may receive image data output by the receiver 101, the scaler 540, or the mixer 550, and may process the frame rate of the received image data to correspond to the frame rate of the display 150. . For example, if the frame rate of the received image data is 60 Hz and the frame rate of the display 150 is 120 Hz or 240 Hz, the FRC 560 determines that the frame rate of the image data is 120 Hz or the frame rate of the display 150. Process in a predefined manner to correspond to 240Hz.
  • the predefined methods include, for example, a method of temporal interpolation of input image data and a method of simply repeating image frames included in the input image data. Each method described above may be appropriately selected according to the format of an input stereoscopic image and performed by the FRC 560.
  • the temporal interpolation method is a method of processing an input 60Hz video signal into quadrants (0, 0.25, 0.5, 0.75) so as to be a 240Hz video signal.
  • the frames of the input 60 Hz video signal are repeated four times so that the frequency of each frame is 240 Hz.
  • the FRC 560 may receive image data output from the receiver 101, the scaler 540, or the mixer 550, and may process the received image data to correspond to half of the frame rate of the display 150. .
  • the FRC 560 may bypass the image data to the formatter 670.
  • the FRC 560 pre-defined the frame rate of the image data to correspond to 120 Hz, which is the frame rate of the display 150.
  • the FRC 560 may adjust the frame rate of the image data to 60 Hz, which is half the frame rate of the display 150.
  • the frame rate of the display 150 refers to a vertical scan frequency for displaying or outputting an image frame configured in the formatter 570 on the display 150.
  • the frame rate of the display 150 is defined as an output frame rate or a display vertical frequency.
  • Table 1 below shows embodiments in which the FRC 560 adjusts the frame rate according to the type of input stereoscopic image data and the output frame rate.
  • Table 1 3D format Received frame image size Received Video Frame Rate Regulated frame rate when the output frame rate is 120 Hz
  • the adjusted frame rate Side-by-side 1920 ⁇ 10804K ⁇ 2K 60Hz maximum for left and right eye video frames 60Hz each for left and right eye view frame 120Hz each for left and right eye view frame Frame sequential 1920 ⁇ 10804K ⁇ 2K Up to 30 Hz each for left and right eye video frames 60Hz each for left and right eye view frame 120Hz each for left and right eye view frame Frame Packing Dual Fame 1920 ⁇ 1080P 1280 ⁇ 720P1920 ⁇ 1080i4K ⁇ 2K Left, right eye view frame 24Hz, 25Hz 30Hz, 60Hz respectively 60Hz each for left and right eye view frame 120Hz each for left and right eye view frame
  • FIG. 6 is a diagram for describing a process of processing stereoscopic image data in FRC.
  • FIG. 6A illustrates image data of a specific frequency (eg, 60 Hz) input to the FRC 560
  • FIG. 6B illustrates display vertical frequency (eg, through the FRC 560).
  • a specific frequency eg, 60 Hz
  • FIG. 6B illustrates display vertical frequency (eg, through the FRC 560).
  • it is image data processed in half of 240 Hz).
  • the stereoscopic image data will be described as an example of top / down image data for convenience of description, but the present invention is not limited thereto.
  • the stereoscopic image data may be applied to all of the above-described methods described with reference to FIGS. 3 to 4.
  • the 60 Hz top / down video data input to the FRC 560 is four frames of L1 / R1, L2 / R2, L3 / R3, and L4 / R4. This exists.
  • the top / down video data is processed at half of the display vertical frequency in the FRC 560 to become 120 Hz top / down video data. That is, in FIG. 6 (b), two L1 / R1, L2 / R2, L3 / R3, and L4 / R4 frames exist. 6 (b) is the same even if any one of the above-described conversion methods is used.
  • the formatter 570 samples the stereoscopic image data output by the receiver 101 or the FRC 560 and outputs it to the display 150.
  • FIG. 7 is a diagram illustrating an embodiment of left eye view image data and right eye view image data input to the formatter.
  • the formatter 570 may receive a left eye view image frame 710 and a right eye view image frame 720 from the receiver 101 or the FRC 560.
  • the formatter 570 may generate a first image frame and a second image frame using the left eye view image frame 710 and the right eye view image frame 720.
  • the resolution of the left eye view image frame 710 and the right eye view image frame 720 may be one of 720 ⁇ 480p, 1280 ⁇ 720p, 1920 ⁇ 1080i, 1920 ⁇ 1080p, and 4K ⁇ 2K.
  • the formatter 570 may generate the first image frame and the second image frame using the left eye view image frame 710 and the right eye view image frame 720. Can be.
  • the formatter 570 may output the generated first image frame and the second image frame to the image interface unit 580.
  • the left eye view image frame 710 and the right eye view image frame 720 form an image of one stereoscopic image.
  • the formatter 570 may receive the next left eye view image frame of the left eye view image frame 710 and the next right eye view image frame 720 from the receiver 101 or the FRC 560.
  • a first image frame and a second image frame may be generated using the next left eye view image frame and the next right eye view image frame.
  • the left eye view image frame and the right eye view image frame may be received at a time interval corresponding to the frame rate of the corresponding image frame.
  • L means pixel data included in the left eye view image frame 710
  • R means pixel data included in the right eye view image frame 720.
  • the number after L or R means the line number of the image frame.
  • L1 is the first line of the left eye view image frame 710
  • L2 is the second line of the left eye view image frame 710
  • L3 is the third line of the left eye view image frame 710
  • R1 is the right eye view image frame.
  • the first line of 720, R2 is the second line of the right eye view image frame 720
  • R3 is the third line of the right eye view image frame 720.
  • the left eye view image frame 710 and the right eye view image frame 720 have interlaced resolution, it means an odd field line if the line number is odd, and an even field of the even field if the line number is even.
  • Means line. L1 is a first line of an odd field of the left eye view image frame 710
  • L3 is a second line of the odd field
  • L5 is a third line of the odd field.
  • L2 is the first line of the even field of the left eye view image frame 710 and L4 is the second line of the even field
  • L6 is the third line of the even field.
  • FIG. 8 is a diagram illustrating a first embodiment of pixel data configuration of a first image frame and a second image frame generated by an electronic device according to the present invention.
  • the formatter 570 may generate an image frame 810 as a first image frame, and generate an image frame 820 as a second image frame.
  • the first line of the image frame 810 includes pixel data of the first line of the left eye view image frame 710
  • the first line of the image frame 820 includes pixel data of the second line of the left eye view image frame 710. do.
  • the second line of the image frame 810 includes pixel data R1 of the first line of the right eye view image frame 720, and the third line of the image frame 810 is the third of the left eye view image frame 710.
  • the fourth line of the image frame 810 includes the pixel data R3 of the third line of the right eye view image frame 720, and the fifth line of the image frame 810.
  • the line includes pixel data L5 of the fifth line of the left eye view image frame 710. That is, each odd line of the image frame 810 includes pixel data included in each odd line of the left eye view image frame 710, and each even line includes pixel data included in each odd line of the right eye view image frame 720. Included.
  • the second line of the image frame 820 includes pixel data R2 of the second line of the right eye view image frame 720, and the third line of the image frame 820 represents four of the left eye view image frame 710.
  • the fourth line of the image frame 820 includes the pixel data R4 of the fourth line of the right eye view image frame 720, and the fifth line of the image frame 820.
  • the first line includes pixel data L6 of the sixth line of the left eye view image frame 710. That is, each odd line of the image frame 820 includes pixel data included in each even line of the left eye view image frame 710, and each even line of the image frame 820 includes each even number of the right eye view image frame 720. Pixel data included in the line is included.
  • the odd lines of the image frame 810 and the image frame 820 are composed of left eye view image data
  • the even lines are the right eye view image according to the polarization order of the left eye / right eye image line of the display 150.
  • odd lines of the image frame 810 and the image frame 820 may be composed of right eye view image data
  • even lines may be composed of left eye view image data.
  • pixel data included in odd lines of an image frame is defined as odd line data
  • pixel data included in even lines of an image frame is defined as even line data.
  • FIG. 9 is a diagram illustrating a second embodiment of pixel data configuration of a first image frame and a second image frame generated by an electronic device according to the present invention.
  • the formatter 570 may generate an image frame 910 as a first image frame, and generate an image frame 920 as a second image frame.
  • Each odd line of the image frame 910 includes respective odd line data of the left eye view image frame 710, and each even line includes each even line data of the right eye view image frame 720.
  • Each odd line of the image frame 920 includes data for each even line of the left eye view image frame 710, and each even line of the image frame 920 includes data for each odd line of the right eye view image frame 720. .
  • the odd lines of the image frame 910 and the image frame 920 are composed of left eye view image data, and the even lines are the right eye view image according to the polarization order of the left eye / right eye image line of the display 150.
  • the odd lines of the image frame 910 and the image frame 920 may be composed of right eye view image data, and the even lines may be composed of left eye view image data.
  • FIG. 10 is a diagram illustrating a third embodiment of the pixel data configuration of the first image frame and the second image frame generated by the electronic device according to the present invention.
  • the formatter 570 may generate an image frame 1010 as a first image frame, and generate an image frame 1020 as a second image frame.
  • Each odd line of the image frame 1010 includes even line data of the left eye view image frame 710, and each even line includes each even line data of the right eye view image frame 720.
  • Each odd line of the image frame 1020 includes odd line data of the left eye view image frame 710, and each even line of the image frame 1020 includes respective odd line data of the right eye view image frame 720. .
  • odd lines of the image frame 1010 and the image frame 1020 are composed of left eye view image data and even lines are right eye view image.
  • odd lines of the image frame 1010 and the image frame 1020 may be composed of right eye view image data
  • even lines may be composed of left eye view image data.
  • FIG. 11 is a diagram illustrating a fourth embodiment of the pixel data configuration of the first image frame and the second image frame generated by the electronic device according to the present invention.
  • the formatter 570 may generate an image frame 1110 as a first image frame, and generate an image frame 1120 as a second image frame.
  • Each odd line of the image frame 1110 includes respective even line data of the left eye view image frame 710, and each even line includes each odd line data of the right eye view image frame 720.
  • Each odd line of the image frame 1120 includes odd line data of the left eye view image frame 710, and each even line of the image frame 1120 includes each even line data of the right eye view image frame 720. .
  • the odd lines of the image frame 1110 and the image frame 1120 are composed of left eye view image data and the even lines are right eye view image according to the polarization order of the left eye / right eye image line of the display 150.
  • the odd lines of the image frame 1110 and the image frame 1120 may be composed of right eye view image data
  • the even lines may be composed of left eye view image data.
  • FIG. 12 is a diagram illustrating a fifth embodiment of the pixel data configuration of the first image frame and the second image frame generated by the electronic device according to the present invention.
  • the formatter 570 may generate an image frame 1210 as a first image frame, and generate an image frame 1220 as a second image frame.
  • the first line of the image frame 1210 and the image frame 1220 includes pixel data of the first line of the left eye view image frame. That is, the pixel data L1 included in the first line of the image frame 1210 is the same as the pixel data L1 included in the first line of the image frame 1220.
  • the second line of the image frame 1210 includes pixel data R1 of the first line of the right eye view image frame 720
  • the third line of the image frame 1210 is the second of the left eye view image frame 710.
  • the fourth line of the image frame 1210 includes pixel data R3 of the third line of the right eye view image frame 720, and the fifth of the image frame 1210.
  • the line includes pixel data L4 of the fourth line of the left eye view image frame 710. That is, the odd line of the image frame 1210 includes left eye view image data, and the even line includes right eye view image data.
  • Each even line of the image frame 1210 includes odd line data of the right eye view image frame 720.
  • Each odd line except the first line of the image frame 1210 includes data for each even line of the left eye view image frame 710.
  • the second line of the image frame 1220 includes pixel data R2 of the second line of the right eye view image frame 720, and the third line of the image frame 1220 includes three of the left eye view image frame 710.
  • the fourth line of the image frame 1220 includes pixel data R4 of the fourth line of the right eye view image frame 720, and the fifth line of the image frame 1220.
  • the first line includes pixel data L5 of the multiline line of the left eye view image frame 710. That is, the odd line of the image frame 1220 includes left eye view image data, and the even line includes right eye view image data.
  • Each odd line of the image frame 1220 includes odd line data of the left eye view image frame 710, and each even line of the image frame 1220 includes each even line data of the right eye view image frame 720. do.
  • odd lines of the image frame 1210 and the image frame 1220 are composed of left eye view image data, and even lines are right eye view image.
  • the odd lines of the image frame 1210 and the image frame 1220 may be composed of right eye view image data, and the even lines may be composed of left eye view image data.
  • L and R are interchanged with each other and the numbers following L and R are maintained.
  • FIG. 13 is a diagram illustrating a sixth embodiment of pixel data configuration of a first image frame and a second image frame generated by an electronic device according to the present invention.
  • the formatter 570 may generate an image frame 1310 as a first image frame, and generate an image frame 1320 as a second image frame.
  • the first line of the image frame 1310 and the image frame 1320 includes pixel data of the first line of the left eye view image frame. That is, the pixel data L1 included in the first line of the image frame 1310 is the same as the pixel data L1 included in the first line of the image frame 1320.
  • the second line of the image frame 1310 includes pixel data R2 of the second line of the right eye view image frame 720, and the third line of the image frame 1310 includes three of the left eye view image frame 710.
  • the fourth line of the image frame 1310 includes pixel data R4 of the fourth line of the right eye view image frame 720, and the fifth line of the image frame 1310.
  • the first line includes pixel data L5 of the fifth line of the left eye view image frame 710. That is, the odd line of the image frame 1310 includes left eye view image data, and the even line includes right eye view image data.
  • Each even line of the image frame 1310 includes even-numbered line data of the right eye view image frame 720.
  • Each odd line of the image frame 1310 includes odd line data of the left eye view image frame 710.
  • the second line of the image frame 1320 contains pixel data R1 of the first line of the right eye view image frame 720, and the third line of the image frame 1320 includes two of the left eye view image frame 710.
  • the fourth line of the image frame 1320 includes pixel data R3 of the third line of the right eye view image frame 720, and the fifth line of the image frame 1320.
  • the first line includes pixel data L4 of the fourth line of the left eye view image frame 710. That is, each of the odd lines except for the first line of the image frame 1320 includes data of each even line of the left eye 1-point image frame 710, and each of the even lines of the image frame 1320 of the right eye viewpoint image frame 720 is included. Each odd line data is included.
  • odd lines of the image frame 1310 and the image frame 1320 are composed of left eye view image data and an even line is a right eye view image according to the polarization order of the left / right eye image lines of the display 150.
  • odd lines of the image frame 1310 and the image frame 1320 may be composed of right eye view image data
  • even lines may be composed of left eye view image data.
  • L and R are interchanged with each other and the numbers following L and R are maintained.
  • the formatter 570 may perform vertical filtering on odd line data or even line data of the left eye view image frame 710 and the right eye view image frame 720.
  • the formatter 570 When generating the first image frame and the second image frame, the formatter 570 performs simple odd line data in the left eye view image frame 710 and the right eye view image frame 720 without performing filtering using neighbor line information. Alternatively, the even image data may be extracted to configure a first image frame and a second image frame.
  • the formatter 570 may use odd line data or even line data of the left eye view image frame 710 and the right eye view image frame 720 by using the neighbor line information. Vertical filtering may be performed, and the first image frame and the second image frame may be configured using the filtered odd line data or the even line data.
  • Equation 1 shows vertical filtering
  • Is the current center line 1415 Y-axis coordinate value Denotes the pixel value at each X-axis value in a line K apart from the current center line 1415, Is the filter coefficient for the Kth line, Is the filtered result pixel value.
  • N means the number of upper neighboring lines or lower neighboring lines to participate in the filtering.
  • N may be a value set in advance, may be a value set by the user, and may be a value set according to at least one of a resolution and a line position.
  • the image frame 1410 may be one of a left eye image frame 710 and a right eye image frame 720.
  • the filter coefficients of center line 1415 are W 0
  • the filter coefficients of lines 1414, 1414 and 1411 are W -One , W -2 And W -n
  • the filter coefficients of lines 1416, 1414 and 1414 are W One , W 2 And W n to be.
  • the image frame 1420 may be either a first image frame or a second image frame in which the center line 1415 includes the filtered line 1425.
  • the formatter 570 performs filtering defined in Equation 1 on each odd line data or even line data of the image frame 1410 to calculate odd line data of the filtered result and even line data of the filtered result. Can be.
  • weighting and filtering are performed in a vertical symmetry with respect to the center line 1415. When not equal, it means weighting and filtering asymmetrically up and down. If no filtering is done, , I.e., only the weight of the center line 1415 is 1, and the rest is equal to 0.
  • the image interface unit 580 may output the first image frame and the second image frame generated by the formatter 570 to the display 150.
  • the image interface unit 580 may be an LVDS output unit (Low Voltage Differential Signaling Tx).
  • FIG. 15 is a diagram illustrating an embodiment in which stereoscopic image data of a side-by-side format of 60 Hz is input.
  • FIG. 16 is a diagram illustrating an embodiment in which a frame rate of stereoscopic image data illustrated in FIG. 15 is adjusted, and
  • FIG. 17 illustrates a first image frame and a second image frame using the stereoscopic image data illustrated in FIG. 16.
  • FIG. 1 is a diagram illustrating a generated embodiment.
  • the FRC 560 may receive stereoscopic image data 1500 having a frame rate of 60 Hz in a side-by side format.
  • the stereoscopic image data 1500 includes a stereoscopic image frame 1510, a stereoscopic image frame 1520, and a stereoscopic image frame 1550.
  • the stereoscopic image frame 1510 includes left eye view image data L1 and right eye view image data R1
  • the stereoscopic image frame 1520 includes left eye view image data L2 and right eye view image data R2.
  • the stereoscopic image frame 1550 includes left eye view image data L3 and right eye view image data R3.
  • the FRC 560 When the output frame rate is 240 Hz, the FRC 560 generates a stereoscopic image frame while converting the frame frame of the stereoscopic image data 1500 to 120 Hz, and converts the generated stereoscopic image frame into the middle of the stereoscopic image data 1500. Can be inserted into That is, the FRC 560 generates the stereoscopic image frame 1610, the stereoscopic image frame 1620, and the stereoscopic image frame 1650.
  • the stereoscopic image frame 1610, the stereoscopic image frame 1620, and the stereoscopic image frame 1650 may be generated by the method described above with reference to FIG. 6.
  • the FRC 560 inserts the stereoscopic image frame 1610 between the stereoscopic image frame 1510 and the stereoscopic image frame 1520, and inserts the stereoscopic image frame 1620 after the stereoscopic image frame 1520, and stereoscopically.
  • the image frame 1650 is inserted after the stereoscopic image frame 1550 to convert the stereoscopic image data 1500 into the stereoscopic image data 1600.
  • the FRC 560 outputs the stereoscopic image data 1600 obtained by converting the frame rate to 120 Hz to the formatter 570.
  • the FRC 560 generates the stereoscopic image frame 1620 and simultaneously sequentially the stereoscopic image frame 1510, the stereoscopic image frame 1610, and the stereoscopic image frame 1520 positioned before the stereoscopic image frame 1620. You can print
  • the formatter 570 generates a first image frame and a second image frame based on the stereoscopic image frame included in the stereoscopic image data 1600 output by the FRC 560.
  • the generated first image frame and the second image frame may be the first image frame and the second image frame illustrated in FIGS. 8 to 13.
  • the formatter 570 generates the first image frame 1511 and the second image frame 1512 using the stereoscopic image frame 1510. Next, the formatter 570 generates the first image frame 1611 and the second image frame 1612 using the stereoscopic image frame 1610. Next, the formatter 570 generates the first image frame 1521 and the second image frame 1522 using the stereoscopic image frame 1520.
  • the formatter 570 generates the first image frame 1621 and the second image frame 1622 using the stereoscopic image frame 1620.
  • the formatter 570 generates the first image frame 1551 and the second image frame 1552 using the stereoscopic image frame 1550.
  • the formatter 570 generates the first image frame 1651 and the second image frame 1652 using the stereoscopic image frame 1650.
  • FIG. 18 is a flowchart illustrating a process of performing an embodiment of a stereoscopic image reproducing method according to the present invention.
  • the formatter 570 receives stereoscopic image data (S100).
  • the stereoscopic image data may be output from the receiver 101, the scaler 540, the mixer 550, and the FRC 560, and may have the format described above with reference to FIGS. 3 and 4.
  • the formatter 570 may sequentially receive a stereoscopic image frame included in the stereoscopic image data.
  • the stereoscopic image frame may include a left eye view image frame 710 and a right eye view image frame 710 illustrated in FIG. 7.
  • the formatter 570 generates a first image frame and a second image frame by using the received stereoscopic image data (S110).
  • the first image frame and the second image frame may be the first image frame and the second image frame illustrated in FIGS. 8 to 13. According to the method described above with reference to FIGS. 16 and 17, the formatter 570 may generate a first image frame and a second image frame using one stereoscopic image frame.
  • the display 150 scans the first image frame and the second image frame generated by the formatter 570 (S120).
  • the display 150 may scan the first image frame and the second image frame according to an output frame rate.
  • FIG. 19 is a flowchart illustrating a process of performing another preferred embodiment of a stereoscopic image reproducing method according to the present invention.
  • the formatter 570 receives stereoscopic image data (S200).
  • the stereoscopic image data may be output from the receiver 101, the scaler 540, the mixer 550, and the FRC 560, and may have the format described above with reference to FIGS. 3 and 4.
  • the formatter 570 may sequentially receive a stereoscopic image frame included in the stereoscopic image data.
  • the stereoscopic image frame may include a left eye view image frame 710 and a right eye view image frame 710 illustrated in FIG. 7.
  • the formatter 570 performs vertical filtering on the received stereoscopic image data (S210).
  • the formatter 570 may perform vertical filtering on odd line data and even line data of the stereoscopic image frame included in the received stereoscopic image data.
  • the formatter 570 may perform vertical filtering of Equation 1.
  • the formatter 570 generates a first image frame and a second image frame by using the vertically filtered stereoscopic image data (S220).
  • the first image frame and the second image frame may be the first image frame and the second image frame illustrated in FIGS. 8 to 13. According to the method described above with reference to FIGS. 16 and 17, the formatter 570 may generate a first image frame and a second image frame using one stereoscopic image frame.
  • the display 150 scans the first image frame and the second image frame generated by the formatter 570 (S230).
  • the display 150 may scan the first image frame and the second image frame according to an output frame rate.
  • FIG. 20 is a flowchart illustrating a process of performing another preferred embodiment of a stereoscopic image reproducing method according to the present invention.
  • the FRC 560 receives stereoscopic image data (S300).
  • the stereoscopic image data may be output from the receiver 101, the scaler 540, and the mixer 550, and may have the format described above with reference to FIGS. 3 and 4.
  • the FRC 560 adjusts the frame rate of the received stereoscopic image data (S310).
  • the FRC 560 may adjust the frame rate of the stereoscopic image data to half of the output frame rate. That is, the FRC 560 may adjust the frame rate of the stereoscopic image data according to the example shown in Table 1.
  • FRC 560 may also adjust the frame rate in the manner shown in FIG. 6.
  • the FRC 560 may generate a stereoscopic frame by inserting the generated stereoscopic image frame into the stereoscopic image data according to the method described above with reference to FIGS.
  • the formatter 570 generates the first image frame and the second image frame using the stereoscopic image data whose frame rate is adjusted (S320).
  • the formatter 570 may sequentially receive the stereoscopic image frame included in the stereoscopic image data from the FRC 560.
  • the stereoscopic image frame may include a left eye view image frame 710 and a right eye view image frame 710 illustrated in FIG. 7.
  • first image frame and the second image frame may be the first image frame and the second image frame illustrated in FIGS. 8 to 13.
  • the formatter 570 may generate a first image frame and a second image frame using one stereoscopic image frame.
  • the formatter 570 may perform vertical filtering on the stereoscopic image data, and generate the first image frame and the second image frame by using the vertically filtered stereoscopic image data.
  • the display 150 scans the first image frame and the second image frame generated by the formatter 570 (S330).
  • the display 150 may scan the first image frame and the second image frame according to an output frame rate.
  • the invention can also be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer device is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer devices so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

전자 장치 및 입체영상 재생 방법이 개시한다. 수신부는 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 포함하는 영상 데이터를 수신한다. 포맷터는 홀수 라인에 좌안 시점 영상 프레임 및 우안 시점 영상 프레임 중 하나의 제1 화소 데이터를 포함하고, 짝수 라인에 다른 하나의 제2 화소 데이터를 포함하는 제1 영상 프레임 및 홀수 라인에 상기 하나의 제3 화소 데이터를 포함하고, 짝수 라인에 상기 다른 하나의 제4 화소 데이터를 포함하는 제2 영상 프레임을 생성한다. 디스플레이는 포맷터가 생성한 제1 영상 프레임 및 제2 영상 프레임을 스캔한다.

Description

전자 장치 및 입체영상 재생 방법
본 발명은 전자 장치 및 입체영상 재생 방법에 관한 것으로, 보다 상세하게는, 2안식 입체영상 기술 또는 다안식 입체영상 기술에 있어서 입체영상을 처리할 수 있는 전자 장치 및 입체영상 재생 방법에 관한 것이다.
상용화된 3D 컨텐츠 및 3D 방송의 경우 양안시차(binocular disparity)를 이용한 방식이 주를 이룬다. 양안시차는 사람이 두 눈을 이용하여 하나의 피사체를 볼 때, 왼쪽 눈으로 보는 영상과 오른쪽 눈으로 보는 영상 사이에 두 눈의 간격에 해당하는 만큼 수평으로 존재하는 위치 차이를 말한다. 따라서 사람의 두 눈에 보이는 실제 영상과 동일한 영상을 두 눈에 입력할 수 있다면 영상을 입체적으로 느낄 수 있게 된다. 이에 따라, 실제 피사체를 양안 카메라로 찍어 영상을 얻거나 CG(Computer Graphic) 피사체의 경우 양안 카메라 형태로 사상하여 영상을 생성하고, 생성된 영상을 사용자의 양쪽 눈에 보여줌으로써 입체감을 제공할 수 있다.
본 발명이 이루고자 하는 기술적 과제는 풀 해상도를 갖는 입체영상 데이터를 풀 해상도를 유지하며 재생할 수 있는 전자 장치 및 입체영상 재생 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 기술적 과제는 Full-HD 입체영상을 편광 필터 방식으로 하질 저하 없이 재생할 수 있는 전자 장치 및 입체영상 재생 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 재생 방법은 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 포함하는 입체영상 데이터를 수신하는 단계, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 기초로 제1 영상 프레임 및 제2 영상 프레임을 생성하며, 여기서 상기 제1 영상 프레임은 홀수 라인에 상기 좌안 시점 영상 프레임 및 상기 우안 시점 영상 프레임 중 하나의 제1 화소 데이터를 포함하고, 짝수 라인에 다른 하나의 제2 화소 데이터를 포함하며, 상기 제 2 영상 프레임은 홀수 라인에 상기 하나의 제3 화소 데이터를 포함하고, 상기 다른 하나의 제4 화소 데이터를 포함하는 단계 및 상기 제1 영상 프레임 및 제2 영상 프레임을 출력하는 단계를 포함할 수 있다. 여기서, 상기 제1 영상 프레임 및 상기 제2 영상 프레임 두개가 하나의 입체영상 이미지를 형성하는 것일 수 있다.
상기 제1 화소 데이터는 홀수 라인 데이터이고, 상기 제2 화소 데이터는 홀수 라인 데이터이며, 상기 제3 화소 데이터는 짝수 라인 데이터이고, 상기 제4 화소 데이터는 짝수 라인 데이터일 수 있다.
상기 제1 화소 데이터는 홀수 라인 데이터이고, 상기 제2 화소 데이터는 짝수 라인 데이터이며, 상기 제3 화소 데이터는 짝수 라인 데이터이고, 상기 제4 화소 데이터는 홀수 라인 데이터일 수 있다.
상기 제1 화소 데이터는 짝수 라인 데이터이고, 상기 제2 화소 데이터는 짝수 라인 데이터이며, 상기 제3 화소 데이터는 홀수 라인 데이터이고, 상기 제4 화소 데이터는 홀수 라인 데이터일 수 있다.
상기 제1 영상 프레임의 첫 라인에 포함된 화소 데이터는 상기 제2 영상 프레임의 첫 라인에 포함된 화소 데이터와 동일한 것일 수 있다. 여기서, 상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 짝수 라인 데이터이고, 상기 제2 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 홀수 라인 데이터일 수 있다. 또한 상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 홀수 라인 데이터이고, 상기 제2 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 짝수 라인 데이터일 수 있다.
상기 생성하는 단계는, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 수직 방향 필터링하는 단계를 포함할 수 있다.
상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터의 해상도는 720×480p, 1280×720p, 1920×1080i, 1920×1080p 및 4k×2k중 하나이고, 상기 해상도가 720×480p인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 720×480p이고, 상기 해상도가 1280×720p인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 1280×720p이며, 상기 해상도가 1920×1080i 및 1920×1080p 중 하나인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 1920×1080p이고, 상기 해상도가 4k×2k인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 4k×2k일 수 있다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 재생 방법은 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 포함하는 입체영상 데이터를 수신하는 단계, 상기 좌인 시점 영상 데이터 및 상기 우안 시점 영상 데이터 각각의 프레임 레이트를 출력 프레임 레이트의 반으로 조절하는 단계, 상기 조절된 좌안 시점 영상 데이터 및 조절된 상기 우안 시점 영상 데이터를 기초로 제1 영상 프레임 및 제2 영상 프레임을 생성하며, 여기서 상기 제1 영상 프레임은 홀수 라인에 상기 좌안 시점 영상 프레임 및 상기 우안 시점 영상 프레임 중 하나의 제1 화소 데이터를 포함하고, 짝수 라인에 다른 하나의 제2 화소 데이터를 포함하며, 상기 제 2 영상 프레임은 홀수 라인에 상기 하나의 제3 화소 데이터를 포함하고, 짝수 라인에 상기 다른 하나의 제4 화소 데이터를 포함하는 단계, 및 상기 제1 영상 프레임 및 제2 영상 프레임을 출력하는 단계를 포함할 수 있다.
상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 전자 장치는, 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 포함하는 영상 데이터를 수신하는 수신부, 홀수 라인에 상기 좌안 시점 영상 프레임 및 상기 우안 시점 영상 프레임 중 하나의 제1 화소 데이터를 포함하고, 짝수 라인에 다른 하나의 제2 화소 데이터를 포함하는 제1 영상 프레임 및 홀수 라인에 상기 하나의 제3 화소 데이터를 포함하고, 짝수 라인에 상기 다른 하나의 제4 화소 데이터를 포함하는 제2 영상 프레임을 생성하는 포맷터 및 상기 생성된 제1 영상 프레임 및 제2 영상 프레임을 스캔하는 디스플레이를 포함할 수 있다.
상기 제1 화소 데이터는 홀수 라인 데이터 및 짝수 라인 데이터 중 하나이고, 상기 제1 화소 데이터가 홀수 라인 데이터인 경우에는, 상기 제2 화소 데이터는 홀수 라인 데이터이며, 상기 제3 화소 데이터는 짝수 라인 데이터이고, 상기 제4 화소 데이터는 짝수 라인 데이터이며, 상기 제1 화소 데이터가 짝수 라인 데이터인 경우에는, 상기 제2 화소 데이터는 짝수 라인 데이터이며, 상기 제3 화소 데이터는 홀수 라인 데이터이고, 상기 제4 화소 데이터는 홀수 라인 데이터일 수 있다.
상기 제1 화소 데이터는 홀수 라인 데이터이고, 상기 제2 화소 데이터는 짝수 라인 데이터이며, 상기 제3 화소 데이터는 짝수 라인 데이터이고, 상기 제4 화소 데이터는 홀수 라인 데이터일 수 있다.
상기 제1 영상 프레임의 첫 라인에 포함된 화소 데이터는 상기 제2 영상 프레임의 첫 라인에 포함된 화소 데이터와 동일한 것일 수 있다. 여기서 상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 짝수 라인 데이터 및 홀수 라인 데이터 중 하나이고, 상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터가 짝수 라인 데이터인 경우에는, 상기 제2 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 홀수 라인 데이터이고, 상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터가 홀수 라인 데이터인 경우에는, 상기 제2 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 짝수 라인 데이터일 수 있다. 여기서, 상기 제1 영상 프레임 및 상기 제2 영상 프레임 두개가 하나의 입체영상 이미지를 형성하는 것일 수 있다.
상기 포맷터는, 상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 수직 방향 필터링할 수 있다.
상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터의 해상도는 720×480p, 1280×720p, 1920×1080i, 1920×1080p 및 4k×2k중 하나이고, 상기 해상도가 720×480p인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 720×480p이고, 상기 해상도가 1280×720p인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 1280×720p이며, 상기 해상도가 1920×1080i 및 1920×1080p 중 하나인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 1920×1080p이고, 상기 해상도가 4k×2k인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 4k×2k일 수 있다.
상기 전자 장치는 상기 좌인 시점 영상 데이터 및 상기 우안 시점 영상 데이터 각각의 프레임 레이트를 출력 프레임 레이트의 반으로 조절하는 프레임 레이트 변환부를 더 포함할 수 있다.
본 발명에 따른 전자 장치 및 입체영상 재생 방법에 의하면, 편광 필터 방식의 3DTV에 대해서 좌/우 풀 해상도의 3D 영상을 두 프레임을 걸쳐서 보여줌으로써, 시청자는 1/2배 해상도 이상, 최대 풀 해상도로 3D 영상을 시청할 수 있다. 따라서, 본 발명은 편광 필터 방식의 3D 디스플레이 장점인 저렴한 안경 비용 및 여러 사람들의 동시 시청을 가능하게 함과 동시에 액티브 셔터 방식의 3D 디스플레이의 장점인 풀 해상도 시청을 가능하게 한다. 또한, 본 발명은 액티브 셔터 방식보다 더 밝은 3D 영상을 보여줄 수 있다.
도 1은 본 발명에 따른 전자 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 2는 양안시차 방식을 도시한 도면,
도 3은 본 발명에 따른 입체영상의 싱글 비디오 스트림 포맷의 예들을 도시한 도면,
도 4는 본 발명에 따른 입체영상의 멀티 비디오 스트림 포맷의 예들을 도시한 도면,
도 5는 신호 처리부에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 6은 FRC부에서 입력 영상 데이터의 처리 과정을 설명하기 위한 도면,
도 7은 포맷터에 입력된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터의 일실시예를 도시한 도면,
도 8은 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제1 실시예가 도시된 도면,
도 9는 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제2 실시예가 도시된 도면,
도 10은 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제3 실시예가 도시된 도면,
도 11은 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제4 실시예가 도시된 도면,
도 12는 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제5 실시예가 도시된 도면,
도 13은 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제6 실시예가 도시된 도면,
도 14는 수직 방향 필터링을 설명하기 위한 도면,
도 15는 60Hz의 Side-by-Side의 포맷의 입체영상 데이터가 입력된 일실시예를 도시한 도면,
도 16은 도 15에 도시된 입체영상 데이터의 프레임 레이트가 조절된 일실시예를 도시한 도면,
도 17은 도 16에 도시된 입체영상 데이터를 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성한 일실시예를 도시한 도면,
도 18은 본 발명에 따른 입체영상 재생 방법에 대한 바람직한 일실시예의 수행과정을 도시한 흐름도이고,
도 19는 본 발명에 따른 입체영상 재생 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 흐름도이고, 그리고
도 20은 본 발명에 따른 입체영상 재생 방법에 대한 바람직한 또 다른 실시예의 수행과정을 도시한 흐름도이다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
도 1은 본 발명에 따른 전자 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 전자 장치(100)는 수신부(101), 신호 처리부(140), 디스플레이(150), 음성 출력부(160), 입력장치(170), 저장부(180) 및 제어부(190)를 포함할 수 있다. 전자 장치(100)는 데스크톱, 랩톱, 태블릿 또는 핸드헬드 컴퓨터 등의 퍼스널 컴퓨터 시스템일 수 있다. 또한 전자 장치(100)는 휴대폰, 스마트폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션 등과 같은 이동 단말기일 수 있고, 디지털 TV 같은 고정형 가전기기일 수 있다.
수신부(101)는 방송 데이터, 영상 데이터, 음성 데이터, 정보 데이터 및 프로그램 코드를 수신할 수 있다. 여기서 영상 데이터는 양안시차 방식의 입체영상 데이터일 수 있다. 입체영상 데이터는 스테레오 시점 영상 또는 다시점 영상일 수 있다. 즉 입체영상 데이터는 적어도 하나의 좌안 시점 영상 데이터와 적어도 하나의 우안 시점 영상 데이터를 포함할 수 있다. 또한 입체영상 데이터는 싱글 비디오 스트림 포맷 및 멀티 비디오 스트림 포맷을 가질 수 있다.
도 2는 양안시차 방식을 도시한 도면이다.
도 2를 참조하면, 양안시차 방식은 양안 카메라 등으로 촬상된 좌안 시점 영상(201) 및 우안 시점 영상(202)을 시청자의 양 눈(211, 212)에 각각 보여줌으로써 공간감 또는 입체감을 제공하는 3차원 디스플레이 방식이다. 좌안 시점 영상(201) 및 우안 시점 영상(202)의 양안 시차에 따라 시청자에게 제공되는 공간감 또는 입체감이 달라질 수 있다.
좌안 시점 영상(201) 및 우안 시점 영상(202)의 간격이 좁을수록, 좌안(211) 및 우안(212)로부터 먼 거리에서 상이 맺히는 것으로 인식되어, 시청자에게 제공되는 공간감 또는 입체감이 작아질 수 있다. 또한 좌안 시점 영상(201) 및 우안 시점 영상(202)의 간격이 넓을수록, 좌안(211) 및 우안(212)으로부터 가까운 거리에서 상이 맺히는 것으로 인식되어, 시청자에게 제공되는 공간감 또는 입체감이 커질 수 있다.
도 3은 본 발명에 따른 입체영상의 싱글 비디오 스트림 포맷의 예들을 도시한 도면이다.
도 3을 참조하면, 싱글 비디오 스트림 포맷은 사이드 바이 사이드(side by side) 포맷, 탑 앤 바텀(top and bottom) 포맷, 체커 보드(checker board) 포맷, 프레임 시퀀셜(Frame sequential) 포맷 및 인터레이스드(Interlaced) 포맷을 포함할 수 있다.
사이드 바이 사이드(side by side) 포맷(310)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(311)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(312)가 사람의 좌안과 우안에 각각 서로 직교하도록 나란히 입력되는 포맷이다. 사이드 바이 사이드 포맷의 영상 프레임(310)에는 하나의 좌안 시점 영상 프레임(311) 및 하나의 우안 시점 영상 프레임(312)이 나란히 배치된다.
탑 앤 바텀(top and bottom) 포맷(320)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(321)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(322)가 상하로 입력되는 포맷이다. 탑 앤 바텀 포맷의 영상 프레임(320)에는 하나의 좌안 시점 영상 프레임(321) 및 하나의 우안 시점 영상 프레임(322)이 상하로 배치된다.
체커 보드(checker board) 포맷(330)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(331)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(332)가 체스판 모양으로 시간적으로 번갈아 입력되는 포맷이다. 즉 체커 보드 포맷의 영상 프레임(330)에는 좌안 시점 영상(201)의 화소 데이터와 우안 시점 영상(202)의 화소 데이터가 체스판 모양으로 시간적으로 번갈아 배치된다.
프레임 시퀀셜(Frame sequential) 포맷(340)은 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(341) 및 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(342)가 시간차를 두어 입력되는 방식이다. 프레임 시퀀셜 포맷에서 하나의 좌안 시점 영상 프레임(341) 및 하나의 우안 시점 영상 프레임(342)이 하나의 독립된 영상 프레임으로 수신된다.
인터레이스드(Interlaced) 포맷에는 좌안 시점 영상(201)을 디스플레이하는 좌안 시점 영상 데이터(351)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(352)를 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌안 시점 영상 데이터(351)와 우안 시점 영상 데이터(352)가 라인마다 교대로 위치하는 포맷(350)이 있다. 또한 인터레이스드(Interlaced) 포맷에는 좌안 시점 영상 (201)을 디스플레이하는 좌안 시점 영상 데이터(356)와 우안 시점 영상(202)을 디스플레이하는 우안 시점 영상 데이터(357)를 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌안 시점 영상 데이터(356)와 우안 시점 영상 데이터(357)가 라인마다 교대로 위치하는 포맷(355)이 있다.
도 4는 본 발명에 따른 입체영상의 멀티 비디오 스트림 포맷의 예들을 도시한 도면이다.
도 4를 참조하면, 멀티 비디오 스트림 포맷은 풀 좌/우(Full left/right)(410), 풀 좌/하프 우(Full left/Half right)(420) 및 2D 비디오/깊이(2D video/depth)를 포함할 수 있다.
풀 좌/우(410)는 좌안 시점 영상(411) 및 우안 시점 영상(415)을 각각 전송하는 멀티 비디오 스트림 포맷이고, 풀 좌/하프 우(420)는 좌안 시점 영상(421)은 그대로 전송하고, 우안 시점 영상은 수직(422) 또는 수평(423) 방향으로 1/2 서브 샘플링하여 전송하는 멀티 비디오 스트림 포맷이며, 2D 비디오/깊이 포맷(430)은 하나의 시점 영상(431)과 다른 하나의 시점 영상을 만들어내기 위한 깊이 정보(435)를 함께 전송하는 멀티 비디오 스트림 포맷이다.
수신부(101)는 튜너부(110), 복조부(120), 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(130)를 포함할 수 있다.
튜너부(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다.
복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 일예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우에는, 복조부(120)는 8-VSB(8-Vestigial Side Band) 복조를 수행한다. 또 다른 예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다.
또한, 복조부(120)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(120)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
복조부(120)에서 출력한 스트림 신호는 신호처리부(140)로 입력될 수 있다.
이동통신부(115)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
외부 신호 수신부(135)는 외부 장치와 전자 장치(100)를 연결할 수 있는 인터페이스를 제공할 수 있다. 여기서 외부 장치는 DVD(Digital Versatile Disk), 블루레이(Bluray), 게임기기, 켐코더, 컴퓨터(노트북) 등 다양한 종류의 영상 또는 음성 출력 장치를 의미할 수 있고, USB 메모리 또는 USB 하드 디스크 등의 저장 장치일 수 있다. 전자 장치(100)는 외부 신호 수신부(135)로부터 수신된 영상 신호 및 음성 신호를 디스플레이할 수 있고, 데이터 신호를 저장하거나 사용할 수 있다.
또한 외부 장치는 촬영 장치(90)일 수 있다. 촬영 장치(90)는 복수의 카메라를 포함할 수 있다. 촬영 장치(90)는 사람을 촬상할 수 있다. 촬영 장치(90)는 사람의 손 영역을 인식하여 손 영역에 초점을 맞추고, 줌인하여 촬상할 수 있다. 여기서 촬상된 손 모양은 공간 제스처로 인식될 수 있다. 즉 제어부(190)는 촬상된 손 모양을 공간 제스처로 인식하고 인식된 공간 제스처와 연관된 동작들을 수행하는 명령어들을 실행할 수 있다. 여기서 공간 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 촬영 장치(90)로부터 수신되는 영상 프레임 또는 영상으로부터 인식되는 제스처로 정의될 수 있다.
일부 실시예로, 전자 장치(100)는 촬영 장치(90)를 포함할 수 있다.
신호처리부(140)는 복조부(210)가 출력한 스트림 신호를 역다중화하고 역다중화된 신호에 신호 처리 등을 수행한 후, 디스플레이(150)로 영상을 출력하고, 음성 출력부(160)로 음향(161)을 출력한다. 또한 신호 처리부(140)는 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(135)로부터 영상 데이터, 음성 데이터 및 방송 데이터를 수신할 수 있다.
신호 처리부(140)는 수신부(101)로부터 수신된 입체영상 데이터에 포함된 좌안 시점 영상 프레임 및 우안 시점 영상 프레임을 기초로 영상 프레임을 생성할 수 있다. 일부 실시예로, 신호 처리부(140)는 상기 좌안 시점 영상 프레임 및 상기 우안 시점 영상 프레임을 기초로 제1 영상 프레임 및 제2 영상 프레임을 생성할 수 있다. 즉 신호 처리부(140)는 하나의 좌안 시점 영상 프레임 및 하나의 우안 시점 영상 프레임을 이용하여 두개의 영상 프레임을 생성할 수 있다. 또한 상기 제1 영상 프레임 및 상기 제2 영상 프레임은 하나의 입체영상 이미지를 형성할 수 있다.
일부 실시예로, 신호 처리부(140)는 상기 입체영상 데이터의 프레임 레이트를 변경하고, 변경된 프레임 레이트를 갖는 입체영상 데이터에 포함된 좌안 시점 영상 프레임 및 우안 시점 영상 프레임을 기초로 제1 영상 프레임 및 제2 영상 프레임을 생성할 수 있다. 즉 신호 처리부(140)는 프레임 레이트가 조절된 입체영상 데이터에 포함된 하나의 입체영상 프레임의 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 이용하여 두개의 영상 프레임을 생성할 수 있다. 또한 상기 제1 영상 프레임 및 상기 제2 영상 프레임은 하나의 입체영상 이미지를 형성할 수 있다.
상기 제1 영상 프레임 및 상기 제2 영상 프레임은 홀수 라인에 좌안 시점 영상 프레임 및 우안 시점 영상 프레임 중 하나의 화소 데이터를 포함하고, 짝수 라인에 다른 하나의 화소 데이터를 포함할 수 있다. 또한 상기 제1 영상 프레임 및 상기 제2 영상 프레임은 상기 좌안 시점 영상 데이터의 해상도와 동일한 해상도를 가질 수 있고 상기 좌안 시점 영상 데이터의 해상도와 대응하는 프로그레시브 해상도를 가질 수 있다.
신호 처리부(140)는 생성한 제1 영상 프레임 및 제2 영상 프레임을 디스플레이(150)로 출력할 수 있다.
디스플레이(150)는 영상(152)을 디스플레이한다. 여기서 영상(152)은 입체영상일 수 있고, 디스플레이(150)는 편광 방식(Patterned Retarder type)으로 입체영상을 디스플레이할 수 있다. 또한 입체영상(152)은 신호 처리부(140)가 생성한 제1 영상 프레임 및 제2 영상 프레임이 디스플레이된 것일 수 있다.
또한, 디스플레이(150)는 제어부(190)와 연결되어 동작할 수 있다. 디스플레이(150)는 전자 장치의 사용자와 운영 체제 또는 운영 체제 상에서 실행 중인 애플리케이션 간의 사용하기 쉬운 인터페이스를 제공하는 그래픽 사용자 인터페이스(GUI)(153)를 디스플레이할 수 있다. GUI(153)는 프로그램, 파일, 및 동작 옵션들을 그래픽 이미지로 표현한다. 그래픽 이미지는 윈도우, 필드, 대화상자, 메뉴, 아이콘, 버튼, 커서 및 스크롤바 등을 포함할 수 있다. 이러한 이미지는 미리 정의된 레이아웃으로 정렬될 수 있거나, 사용자가 취하고 있는 특정의 조치를 돕기 위해 동적으로 생성될 수 있다. 동작 동안에, 사용자는 여러 가지 그래픽 이미지와 연관된 기능 및 작업을 제기하기 위해 그 이미지를 선택 및 활성화할 수 있다. 예로서, 사용자는 윈도우의 열기, 닫기, 최소화, 또는 최대화를 행하는 버튼, 또는 특정 프로그램을 가동시키는 아이콘을 선택할 수 있다.
음성 출력부(160)는 신호 처리부(140) 및 제어부(190)로부터 음성 데이터를 수신하고 수신한 음성 데이터가 재생된 음향(161)을 출력할 수 있다.
입력장치(170)는 디스플레이(150) 상에 또는 그 전방에 배치되어 있는 터치 스크린일 수 있다. 터치 스크린은 디스플레이(150)와 일체로 되어 있거나 별개의 구성요소일 수 있다. 터치 스크린이 디스플레이(150)의 전방에 배치됨에 따라 사용자는 GUI(153)를 직접 조작할 수 있다. 예를 들어, 사용자는 단지 제어될 객체 상에 그의 손가락을 올려 놓을 수 있다. 터치패드에서는, 이것과 같은 일대일 관계가 없다.
터치패드에 있어서, 터치패드는 디스플레이(150)로부터 떨어져 일반적으로 다른 평면에 놓여 있다. 예를 들어, 디스플레이(150)는 일반적으로 수직 평면에 위치해 있고, 터치패드는 일반적으로 수평 평면에 위치해 있다. 이것은 그의 사용을 덜 직관적이게 하며, 따라서 터치 스크린과 비교할 때 더 어렵다. 터치 스크린인 것에 부가하여, 입력장치(170)는 다중점 입력장치일 수 있다.
저장부(180)는 일반적으로 전자 장치(100)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 저장부(180)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 전자 장치(100) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함할 수 있다.
제어부(190)는 명령어를 실행하고 전자 장치(100)와 연관된 동작을 수행한다. 예를 들면, 저장부(180)로부터 검색된 명령어를 사용하여, 제어부(190)는 전자 장치(100)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다. 제어부(190)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(190)에 대해 사용될 수 있다.
제어부(190)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(190)와 연결되어 동작하는 저장부(180) 내에 존재할 수 있다.
제어부(190)는 사용자 조치(User Action)를 인식하고 인식한 사용자 조치에 기초하여 전자 장치(100)를 제어할 수 있다. 여기서 사용자 조치는 전자 장치 또는 리모컨의 물리적인 버튼의 선택, 터치 스크린 디스플레이면상의 소정의 제스처의 실시 또는 소프트 버튼의 선택 및 촬상 장치로 촬영된 영상으로부터 인식되는 소정의 제스처의 실시 및 음성 인식에 의해 인식되는 소정의 발성의 실시를 포함할 수 있다. 외부 신호 수신부(135)는 리모컨의 물리적인 버튼을 선택하는 사용자 조치에 대한 신호를 리모컨을 통해 수신할 수 있다.
제스처는 터치 제스처와 공간 제스처를 포함할 수 있다. 터치 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 입력장치(170)와의 양식화된 상호작용으로서 정의될 수 있다. 터치 제스처는 여러 가지 손을 통해, 보다 상세하게는 손가락 움직임을 통해 행해질 수 있다. 다른 대안으로서 또는 그에 부가하여, 제스처는 스타일러스로 행해질 수 있다.
입력장치(170)는 제스처(171)를 수신하고, 제어부(190)는 제스처(171)와 연관된 동작들을 수행하는 명령어들을 실행한다. 게다가, 저장부(180)는 운영 체제 또는 별도의 애플리케이션의 일부일 수 있는 제스처 작동 프로그램(181)을 포함할 수 있다. 제스처 작동 프로그램(181)은 일반적으로 제스처(171)의 발생을 인식하고 그 제스처(171) 및/또는 제스처(171)에 응답하여 무슨 조치(들)이 취해져야 하는지를 하나 이상의 소프트웨어 에이전트에게 알려주는 일련의 명령어를 포함한다.
제어부(190)는 입체영상 재생 모드를 결정 또는 확인할 수 있다. 일부 실시예로, 제어부(190)는 인식된 사용자 조치를 기초로 입체영상 재생 모드를 결정할 수 있고, 수신된 입체영상 데이터의 해상도 및 포맷 중 적어도 하나를 기초로 입체영상 재생 모드를 결정할 수 있다. 또한 제어부(190)는 수신된 방송 정보를 기초로 입체영상 재생 모드를 결정 또는할 수 있고, 저장된 입체영상 재생 모드 정보를 기초로 입체영상 재생 모드를 확인할 수 있다.
여기서 입체영상 재생 모드는 풀 영상 모드, 해프 영상 모드 중 하나일 수 있다. 풀 영상 모드는 풀 해상도의 입체영상 데이터가 해상도 감소 없이 유지되어 디스플레이되는 모드이고, 해프 영상 모드는 풀 해상도의 입체영상 데이터가 해상도가 반으로 감소되어 디스플레이되는 모드이다. 풀 해상도는 Full-HD 해상도일 수 있고, 디스플레이 장치에서 지원 가능한 최고의 해상도 중의 하나일 수 있으며, 영상 데이터 전송 표준에 정의된 풀 해상도일 수 있다. 일예로 풀 해상도는 표준 문서 HDMI(High-Definition Multimedia Interface) 1.4에서 맨대토리 포맷(Mandatory format)으로 정의된 풀 해상도일 수 있다. HDMI 1.4에서는 풀 해상도의 3D video 포맷은 1920×1080p×2@24Hz, 1280×720p×2@60Hz/50Hz이다. 다른 예로 풀 해상도는 720×480p@60Hz, 1920×1080i×2@60Hz, 1920×1080p×2@60Hz 및 4K×2K×2@24Hz(또는 25Hz, 30Hz) 일 수 있다. 예외적으로, 풀 영상 모드에서 1920×1080i×2의 해상도를 갖는 입체영상 데이터가 입력된 경우에는, 상기 입체영상 데이터는 1920×1080p×2의 해상도로 디스플레이될 수 있다. 1920×1080p×2@60Hz는 입체영상 데이터가 1920×1080p 해상도를 갖고 60Hz의 프레임 레이트를 갖는 좌안 시점 영상 프레임 및 우안 시점 영상 프레임을 포함한다는 것을 의미한다. 1280×720p×2@60Hz/50Hz는 입체영상 데이터가 1280×720p 해상도를 갖고 60Hz의 프레임 레이트를 갖는 좌안 시점 영상 프레임 및 50Hz의 프레임 레이트를 갖는 우안 시점 영상 프레임을 포함한다는 것을 의미한다.
제어부(190)는 신호 처리부(140)로 하여금 결정한 또는 확인한 입체영상 재생 모드에 따라 입체영상 데이터를 처리하도록 제어할 수 있다. 디폴트로, 신호 처리부(140)는 풀 영상 모드로 입체영상 데이터를 처리할 수 있다.
또한 제어부(190)는 입체영상 재생 모드를 설정하기 위한 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 요청하는 사용자 조치(User Action)를 감지할 수 있다. 상기 사용자 조치의 감지에 응답하여, 제어부(190)는 상기 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 및 영상 데이터가 디스플레이되는 영역을 포함하는 화면을 디스플레이하기 위한 신호가 생성되도록 제어할 수 있다. 여기서 상기 영역에는 입체영상이 디스플레이될 수 있다.
제어부(190)는 신호 처리부(140)로 하여금 상기 GUI를 통해 설정된 입체영상 재생 모드에 따라 상기 화면에 디스플레이되는 영상을 처리하도록 제어할 수 있다.
또한 제어부(190)는, 상기 GUI를 통해 설정된 입체영상 재생 모드를 나타내는 정보인 입체영상 재생 모드 정보가 저장부(190)에 저장되도록 제어할 수 있다.
도 5는 신호 처리부에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 5를 참조하면, 신호 처리부(140)는 역다중화부(510), 오디오 디코더(520), 비디오 디코더(530), 스케일러(540), 믹서(550), 프레임 레이트 변환부(FRC : Frame Rate Converter)(560), 포맷터(570) 및 영상 인터페이스부(580)를 포함할 수 있다.
역다중화부(510)는 이동통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(135)로부터 스트림 신호를 수신할 수 있고, 역다중화부(510)는 수신된 스트림 신호를 영상 데이터, 음성 데이터 및 정보 데이터로 역다중화하여 각각 비디오 디코더(530), 오디오 디코더(520) 및 제어부(190)로 출력할 수 있다.
오디오 디코더(520)는 역다중화부(510)로부터 음성 데이터를 수신하고, 수신된 음성 데이터를 복원하여 복원된 데이터를 스케일러(540) 또는 음성 출력부(160)로 출력할 수 있다.
비디오 디코더(530)는 역다중화부(510)로부터 영상 데이터를 수신하고, 수신된 영상 데이터를 복원하고 복원한 영상 데이터를 스케일러(540)에 출력한다. 여기서 영상 데이터는 입체영상 데이터를 포함할 수 있다.
스케일러(540)는 비디오 디코더(530), 제어부(190) 및 오디오 디코더(520)에서 처리된 영상 데이터 및 음성 데이터를 디스플레이(150) 또는 스피커(미도시)를 통하여 출력하기 위한 적절한 크기의 신호로 크기 조절(스케일링: scaling)한다. 구체적으로, 스케일러(540)는 입체영상을 수신하여 디스플레이(150)의 해상도 또는 소정 화면비(aspect ratio)에 맞도록 스케일링(scaling)한다. 디스플레이(150)는 제품 사양별로 소정 해상도, 예를 들어 720×480 포맷, 1024×768 포맷, 1280×720 포맷, 1280×768 포맷, 1280×800 포맷, 1920×540 포맷, 1920×1080 포맷 및 4K×2K 포맷 등을 갖는 영상 화면을 출력하도록 제작될 수 있다. 그에 따라서, 스케일러(540)는 다양한 값으로 입력될 수 있는 입체영상의 해상도를 해당 디스플레이의 해상도에 맞춰 변환할 수 있다.
또한, 스케일러(540)는 디스플레이되는 컨텐츠의 종류 또는 사용자 설정 등에 따라서, 입체영상의 화면비(aspect ratio)를 조절하여 출력한다. 화면비 값은 16:9, 4:3, 또는 3:2 등의 값이 될 수 있으며, 스케일러(540)는 가로 방향의 화면 길이 비와 세로 방향의 화면 길이 비가 특정 비율이 되도록 조절할 수도 있다.
믹서(550)는 스케일러(540) 및 제어부(190)의 출력을 믹싱하여 출력한다.
FRC(560)는 수신부(101), 스케일러(540) 또는 믹서(550)가 출력한 영상 데이터를 수신하고, 수신한 영상 데이터의 프레임 레이트가 디스플레이(150)의 프레임 레이트에 대응되도록 처리할 수 있다. 예를 들어, 수신한 영상 데이터의 프레임 레이트가 60Hz이고, 디스플레이(150)의 프레임 레이트가 120Hz 또는 240Hz라면, FRC(560)는 상기 영상 데이터의 프레임 레이트가 디스플레이(150)의 프레임 레이트인 120Hz 또는 240Hz에 대응되도록 기 정의된 방식으로 처리한다. 여기서, 상기 기 정의된 방식에는 예를 들어, 입력되는 영상 데이터를 템퍼럴 인터폴레이션(temporal interpolation) 하는 방법과 입력되는 영상 데이터에 포함된 영상 프레임을 단순 반복하는 방법이 있다. 전술한 각 방법은 입력되는 입체영상의 포맷에 따라 적절하게 선택되어 FRC(560)에서 수행될 수 있다.
상기 템퍼럴 인터폴레이션 방법은, 입력되는 60Hz의 영상 신호를 4등분(0, 0.25, 0.5, 0.75) 함으로써 240Hz의 영상 신호가 되도록 처리하는 방법이다. 그리고 상기 프레임을 단순 반복하는 방법은, 입력되는 60Hz의 영상 신호의 각 프레임을 4번 반복함으로써 각 프레임의 주파수가 240Hz가 되도록 처리한다.
또한 FRC(560)는 수신부(101), 스케일러(540) 또는 믹서(550)가 출력한 영상 데이터를 수신하고, 수신한 영상 데이터를 디스플레이(150)의 프레임 레이트의 반에 대응되도록 처리할 수 있다. 예를 들어, 수신한 영상 데이터의 프레임 레이트가 60Hz이고, 디스플레이(150)의 프레임 레이트가 120Hz라면, FRC(560)는 상기 영상 데이터를 포맷터(670)로 바이패스할 수 있다. 수신한 영상 데이터의 프레임 레이트가 60Hz이고, 디스플레이(150)의 프레임 레이트가 240Hz라면, FRC(560)는 상기 영상 데이터의 프레임 레이트를 디스플레이(150)의 프레임 레이트인 120Hz에 대응되도록 기 정의된 방식으로 처리한다. 수신한 영상 데이터의 프레임 레이트가 120Hz이고, 디스플레이(150)의 프레임 레이트가 120Hz라면, FRC(560)는 상기 영상 데이터의 프레임 레이트를 디스플레이(150)의 프레임 레이트의 반인 60Hz로 조절할 수 있다.
여기서 디스플레이(150)의 프레임 레이트라 함은 포맷터(570)에서 구성된 영상 프레임을 디스플레이(150)에서 디스플레이 또는 출력하는 수직 주사주파수이다. 이하 디스플레이(150)의 프레임 레이트를 출력 프레임 레이트 또는 디스플레이 수직 주파수라고 정의한다.
다음의 표 1은 입력된 입체영상 데이터의 종류 및 출력 프레임 레이트별로 FRC(560)가 프레임 레이트를 조절한 실시예들을 도시한 것이다.
표 1
3D 포맷 수신된 프레임영상 사이즈 수신된 영상프레임 레이트 출력 프레임 레이트가 120Hz일 때,조절된프레임 레이트 출력 프레임 레이트가 240일 때,조절된프레임 레이트
Side-by-Side 1920×10804K×2K 좌안, 우안 시점 영상 프레임 각각 최대 60Hz 좌안, 우안 시점영상 프레임 각각 60Hz 좌안, 우안 시점영상 프레임 각각 120Hz
Frame Sequential 1920×10804K×2K 좌안, 우안 시점 영상 프레임 각각 최대 30Hz 좌안, 우안 시점영상 프레임 각각 60Hz 좌안, 우안 시점영상 프레임 각각 120Hz
Frame Packing Dual Fame 1920×1080P 1280×720P1920×1080i4K×2K 좌안, 우안 시점 영상 프레임 각각 24Hz,25Hz 30Hz, 60Hz 좌안, 우안 시점영상 프레임 각각 60Hz 좌안, 우안 시점영상 프레임 각각 120Hz
도 6은 FRC에서 입체영상 데이터의 처리 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 도 6(a)는 FRC(560)로 입력되는 특정 주파수(예를 들어, 60Hz)의 영상 데이터이고, 도 6(b)는 FRC(560)를 거쳐 디스플레이 수직 주파수(예를 들어, 240Hz)의 반으로 처리된 영상 데이터이다. 여기서 입체영상 데이터는 설명의 편의를 위해 탑/다운 방식의 영상 데이터를 일 예로 하여 설명하나 이에 한정되는 것은 아니며, 전술한 도 3 내지 4에 기술된 방식 모두에 적용 가능함을 미리 밝혀둔다.
도 6(a)를 참조하면, FRC(560)로 입력되는 60Hz의 탑/다운 방식의 영상 데이터는, 탑/다운으로 L1/R1, L2/R2, L3/R3, 및 L4/R4 4개의 프레임이 존재한다. 그리고 도 6(b)를 참조하면, 상기 탑/다운 방식의 영상 데이터는 FRC(560)에서 디스플레이 수직 주파수의 반으로 처리됨으로써, 120Hz의 탑/다운 방식의 영상 데이터가 된다. 즉, 도 6(b)에서는 각 L1/R1, L2/R2, L3/R3, 및 L4/R4 프레임이 2개씩 존재한다. 여기서, 상기 도 6(b)는 전술한 변환 방법들 중 어느 하나의 방법을 이용하더라도 동일하다.
포맷터(570)는 수신부(101) 또는 FRC(560)가 출력한 입체영상 데이터를 샘플링하여 디스플레이(150)로 출력한다.
도 7은 포맷터에 입력된 좌안 시점 영상 데이터 및 우안 시점 영상 데이터의 일실시예를 도시한 도면이다.
도 7을 참조하면, 포맷터(570)는 수신부(101) 또는 FRC(560)로부터 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(720)을 수신할 수 있다. 그리고, 포맷터(570)는 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(720)을 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성할 수 있다. 여기서 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(720)의 해상도는 720×480p, 1280×720p, 1920×1080i, 1920×1080p 및 4K×2K중 하나일 수 있다. 또한 입체영상 재생 모드가 풀 영상 모드인 경우에, 포맷터(570)는 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(720)을 이용하여 상기 제1 영상 프레임 및 상기 제2 영상 프레임을 생성할 수 있다. 그리고 포맷터(570)는 생성한 제1 영상 프레임 및 제2 영상 프레임을 영상 인터페이스부(580)로 출력할 수 있다. 여기서, 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(720)은 하나의 입체영상의 이미지를 형성한다.
포맷터(570)는 수신부(101) 또는 FRC(560)로부터 좌안 시점 영상 프레임(710)의 다음 좌안 시점 영상 프레임 및 우안 시점 영상 프레임(720)의 다음 우안 시점 영상 프레임을 수신할 수 있고, 수신된 다음 좌안 시점 영상 프레임 및 다음 우안 시점 영상 프레임을 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성할 수 있다. 여기서, 좌안 시점 영상 프레임 및 우안 시점 영상 프레임은 해당 영상 프레임의 프레임 레이트에 대응하는 시간 간격으로 수신될 수 있다.
도시된 도면에서 L은 좌안 시점 영상 프레임(710)에 포함된 화소 데이터를 의미하고, R은 우안 시점 영상 프레임(720)에 포함된 화소 데이터를 의미한다. 그리고 L 또는 R 다음의 숫자는 영상 프레임의 라인 번호를 의미한다. L1은 좌안 시점 영상 프레임(710)의 첫 라인이고, L2는 좌안 시점 영상 프레임(710)의 두 번째 라인이며, L3은 좌안 시점 영상 프레임(710)의 세 번째 라인이며, R1은 우안 시점 영상 프레임(720)의 첫 라인이고, R2는 우안 시점 영상 프레임(720)의 두 번째 라인이며, R3은 우안 시점 영상 프레임(720)의 세 번째 라인이다.
만일 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(720)이 인터레이스 해상도를 갖는다면, 상기 라인 번호가 홀수인 경우에는 홀수필드의 라인을 의미하고, 상기 라인 번호가 짝수인 경우에는 짝수필드의 라인을 의미한다. L1은 좌안 시점 영상 프레임(710)의 홀수필드의 첫 라인이고, L3은 상기 홀수필드의 두 번째 라인이며, L5는 상기 홀수필드의 세 번째 라인이다. 마찬가지로, L2는 좌안 시점 영상 프레임(710)의 짝수필드의 첫 라인이고, L4는 상기 짝수필드의 두 번째 라인이면, L6은 상기 짝수필드의 세 번째 라인이다.
도 8은 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제1 실시예가 도시된 도면이다.
도 8을 참조하면, 포맷터(570)는 제1 영상 프레임으로 영상 프레임(810)을 생성하고, 제2 영상 프레임으로 영상 프레임(820)을 생성할 수 있다. 영상 프레임(810)의 첫 라인에는 좌안 시점 영상 프레임(710)의 첫 라인의 화소 데이터가 포함되고, 영상 프레임(820)의 첫 라인에는 좌안 시점 영상 프레임(710)의 두번째 라인의 화소 데이터가 포함된다.
영상 프레임(810)의 두 번째 라인은 우안 시점 영상 프레임(720)의 첫 라인의 화소 데이터(R1)를 포함하고, 영상 프레임(810)의 세 번째 라인은 좌안 시점 영상 프레임(710)의 세 번째 라인의 화소 데이터(L3)를 포함하며, 영상 프레임(810)의 네 번째 라인은 우안 시점 영상 프레임(720)의 세 번째 라인의 화소 데이터(R3)를 포함하고, 영상 프레임(810)의 다섯 번째 라인은 좌안 시점 영상 프레임(710)의 다섯 번째 라인의 화소 데이터(L5)를 포함한다. 즉 영상 프레임(810)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 홀수 라인에 포함된 화소 데이터가 포함되고 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 홀수 라인에 포함된 화소 데이터가 포함된다.
영상 프레임(820)의 두 번째 라인은 우안 시점 영상 프레임(720)의 두 번째 라인의 화소 데이터(R2)를 포함하고, 영상 프레임(820)의 세 번째 라인은 좌안 시점 영상 프레임(710)의 네 번째 라인의 화소 데이터(L4)를 포함하며, 영상 프레임(820)의 네 번째 라인은 우안 시점 영상 프레임(720)의 네 번째 라인의 화소 데이터(R4)를 포함하고, 영상 프레임(820)의 다섯 번째 라인은 좌안 시점 영상 프레임(710)의 여섯 번째 라인의 화소 데이터(L6)를 포함한다. 즉 영상 프레임(820)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 짝수 라인에 포함된 화소 데이터가 포함되고 영상 프레임(820)의 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 짝수 라인에 포함된 화소 데이터가 포함된다.
디스플레이(150)의 좌안/우안 영상 라인에 대한 편광 순서에 따라 도 8에 도시된 것처럼 영상 프레임(810) 및 영상 프레임(820)의 홀수 라인은 좌안 시점 영상 데이터로 구성되고 짝수 라인은 우안 시점 영상 데이터로 구성될 수 있고, 반대로 영상 프레임(810) 및 영상 프레임(820)의 홀수 라인은 우안 시점 영상 데이터로 구성되고 짝수 라인은 좌안 시점 영상 데이터로 구성될 수 있다. 이하에서 영상 프레임의 홀수 라인에 포함된 화소 데이터를 홀수 라인 데이터라고 정의하고, 영상 프레임의 짝수 라인에 포함된 화소 데이터를 짝수 라인 데이터라고 정의한다.
도 9는 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제2 실시예가 도시된 도면이다.
도 9를 참조하면, 포맷터(570)는 제1 영상 프레임으로 영상 프레임(910)을 생성하고, 제2 영상 프레임으로 영상 프레임(920)을 생성할 수 있다.
영상 프레임(910)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 홀수 라인 데이터가 포함되고 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 짝수 라인 데이터가 포함된다.
영상 프레임(920)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 짝수 라인 데이터가 포함되고 영상 프레임(920)의 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 홀수 라인 데이터가 포함된다.
디스플레이(150)의 좌안/우안 영상 라인에 대한 편광 순서에 따라 도 9에 도시된 것처럼 영상 프레임(910) 및 영상 프레임(920)의 홀수 라인은 좌안 시점 영상 데이터로 구성되고 짝수 라인은 우안 시점 영상 데이터로 구성될 수 있고, 반대로 영상 프레임(910) 및 영상 프레임(920)의 홀수 라인은 우안 시점 영상 데이터로 구성되고 짝수 라인은 좌안 시점 영상 데이터로 구성될 수 있다.
도 10은 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제3 실시예가 도시된 도면이다.
도 10을 참조하면, 포맷터(570)는 제1 영상 프레임으로 영상 프레임(1010)을 생성하고, 제2 영상 프레임으로 영상 프레임(1020)을 생성할 수 있다.
영상 프레임(1010)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 짝수 라인 데이터가 포함되고 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 짝수 라인 데이터가 포함된다.
영상 프레임(1020)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 홀수 라인 데이터가 포함되고 영상 프레임(1020)의 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 홀수 라인 데이터가 포함된다.
디스플레이(150)의 좌안/우안 영상 라인에 대한 편광 순서에 따라 도 10에 도시된 것처럼 영상 프레임(1010) 및 영상 프레임(1020)의 홀수 라인은 좌안 시점 영상 데이터로 구성되고 짝수 라인은 우안 시점 영상 데이터로 구성될 수 있고, 반대로 영상 프레임(1010) 및 영상 프레임(1020)의 홀수 라인은 우안 시점 영상 데이터로 구성되고 짝수 라인은 좌안 시점 영상 데이터로 구성될 수 있다.
도 11은 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제4 실시예가 도시된 도면이다.
도 11을 참조하면, 포맷터(570)는 제1 영상 프레임으로 영상 프레임(1110)을 생성하고, 제2 영상 프레임으로 영상 프레임(1120)을 생성할 수 있다.
영상 프레임(1110)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 짝수 라인 데이터가 포함되고 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 홀수 라인 데이터가 포함된다.
영상 프레임(1120)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 홀수 라인 데이터가 포함되고 영상 프레임(1120)의 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 짝수 라인 데이터가 포함된다.
디스플레이(150)의 좌안/우안 영상 라인에 대한 편광 순서에 따라 도 11에 도시된 것처럼 영상 프레임(1110) 및 영상 프레임(1120)의 홀수 라인은 좌안 시점 영상 데이터로 구성되고 짝수 라인은 우안 시점 영상 데이터로 구성될 수 있고, 반대로 영상 프레임(1110) 및 영상 프레임(1120)의 홀수 라인은 우안 시점 영상 데이터로 구성되고 짝수 라인은 좌안 시점 영상 데이터로 구성될 수 있다.
도 12는 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제5 실시예가 도시된 도면이다.
도 12를 참조하면, 포맷터(570)는 제1 영상 프레임으로 영상 프레임(1210)을 생성하고, 제2 영상 프레임으로 영상 프레임(1220)을 생성할 수 있다. 영상 프레임(1210)과 영상 프레임(1220)의 첫 라인에는 좌안 시점 영상 프레임의 첫 라인의 화소 데이터가 포함된다. 즉 영상 프레임(1210)의 첫 라인에 포함된 화소 데이터(L1)는 영상 프레임(1220)의 첫 라인에 포함된 화소 데이터(L1)와 동일하다.
영상 프레임(1210)의 두 번째 라인은 우안 시점 영상 프레임(720)의 첫 라인의 화소 데이터(R1)를 포함하고, 영상 프레임(1210)의 세 번째 라인은 좌안 시점 영상 프레임(710)의 두 번째 라인의 화소 데이터(L2)를 포함하며, 영상 프레임(1210)의 네 번째 라인은 우안 시점 영상 프레임(720)의 세 번째 라인의 화소 데이터(R3)를 포함하고, 영상 프레임(1210)의 다섯 번째 라인은 좌안 시점 영상 프레임(710)의 네 번째 라인의 화소 데이터(L4)를 포함한다. 즉 영상 프레임(1210)의 홀수 라인에는 좌안 시점 영상 데이터가 포함되고 짝수 라인에는 우안 시점 영상 데이터가 포함된다. 또한 영상 프레임(1210)의 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 홀수 라인 데이터가 포함된다. 그리고 영상 프레임(1210)의 첫 라인을 제외한 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 짝수 라인 데이터가 포함된다.
영상 프레임(1220)의 두 번째 라인은 우안 시점 영상 프레임(720)의 두 번째 라인의 화소 데이터(R2)를 포함하고, 영상 프레임(1220)의 세 번째 라인은 좌안 시점 영상 프레임(710)의 세 번째 라인의 화소 데이터(L3)를 포함하며, 영상 프레임(1220)의 네 번째 라인은 우안 시점 영상 프레임(720)의 네 번째 라인의 화소 데이터(R4)를 포함하고, 영상 프레임(1220)의 다섯 번째 라인은 좌안 시점 영상 프레임(710)의 다선 번째 라인의 화소 데이터(L5)를 포함한다. 즉 영상 프레임(1220)의 홀수 라인에는 좌안 시점 영상 데이터가 포함되고 짝수 라인에는 우안 시점 영상 데이터가 포함된다. 또한 영상 프레임(1220)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 홀수 라인 데이터가 포함되고 영상 프레임(1220)의 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 짝수 라인 데이터가 포함된다.
디스플레이(150)의 좌안/우안 영상 라인에 대한 편광 순서에 따라 도 12에 도시된 것처럼 영상 프레임(1210) 및 영상 프레임(1220)의 홀수 라인은 좌안 시점 영상 데이터로 구성되고 짝수 라인은 우안 시점 영상 데이터로 구성될 수 있고, 반대로 영상 프레임(1210) 및 영상 프레임(1220)의 홀수 라인은 우안 시점 영상 데이터로 구성되고 짝수 라인은 좌안 시점 영상 데이터로 구성될 수 있다. 반대의 경우에는, 도 12의 도면에서, L과 R이 서로 교체되고 L과 R 다음의 숫자는 유지되는 구성을 갖는다.
도 13은 본 발명에 따른 전자 장치가 생성한 제1 영상 프레임 및 제2 영상 프레임의 화소 데이터 구성의 제6 실시예가 도시된 도면이다.
도 13을 참조하면, 포맷터(570)는 제1 영상 프레임으로 영상 프레임(1310)을 생성하고, 제2 영상 프레임으로 영상 프레임(1320)을 생성할 수 있다. 영상 프레임(1310)과 영상 프레임(1320)의 첫 라인에는 좌안 시점 영상 프레임의 첫 라인의 화소 데이터가 포함된다. 즉 영상 프레임(1310)의 첫 라인에 포함된 화소 데이터(L1)는 영상 프레임(1320)의 첫 라인에 포함된 화소 데이터(L1)와 동일하다.
영상 프레임(1310)의 두 번째 라인은 우안 시점 영상 프레임(720)의 두 번째 라인의 화소 데이터(R2)를 포함하고, 영상 프레임(1310)의 세 번째 라인은 좌안 시점 영상 프레임(710)의 세 번째 라인의 화소 데이터(L3)를 포함하며, 영상 프레임(1310)의 네 번째 라인은 우안 시점 영상 프레임(720)의 네 번째 라인의 화소 데이터(R4)를 포함하고, 영상 프레임(1310)의 다섯 번째 라인은 좌안 시점 영상 프레임(710)의 다섯 번째 라인의 화소 데이터(L5)를 포함한다. 즉 영상 프레임(1310)의 홀수 라인에는 좌안 시점 영상 데이터가 포함되고 짝수 라인에는 우안 시점 영상 데이터가 포함된다. 또한 영상 프레임(1310)의 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 짝수 라인 데이터가 포함된다. 그리고 영상 프레임(1310)의 각 홀수 라인에는 좌안 시점 영상 프레임(710)의 각 홀수 라인 데이터가 포함된다.
영상 프레임(1320)의 두 번째 라인은 우안 시점 영상 프레임(720)의 첫 번째 라인의 화소 데이터(R1)를 포함하고, 영상 프레임(1320)의 세 번째 라인은 좌안 시점 영상 프레임(710)의 두 번째 라인의 화소 데이터(L2)를 포함하며, 영상 프레임(1320)의 네 번째 라인은 우안 시점 영상 프레임(720)의 세 번째 라인의 화소 데이터(R3)를 포함하고, 영상 프레임(1320)의 다섯 번째 라인은 좌안 시점 영상 프레임(710)의 네 번째 라인의 화소 데이터(L4)를 포함한다. 즉 영상 프레임(1320)의 첫 라인을 제외한 각 홀수 라인에는 좌안 시1점 영상 프레임(710)의 각 짝수 라인 데이터가 포함되고 영상 프레임(1320)의 각 짝수 라인에는 우안 시점 영상 프레임(720)의 각 홀수 라인 데이터가 포함된다.
디스플레이(150)의 좌안/우안 영상 라인에 대한 편광 순서에 따라 도 13에 도시된 것처럼 영상 프레임(1310) 및 영상 프레임(1320)의 홀수 라인은 좌안 시점 영상 데이터로 구성되고 짝수 라인은 우안 시점 영상 데이터로 구성될 수 있고, 반대로 영상 프레임(1310) 및 영상 프레임(1320)의 홀수 라인은 우안 시점 영상 데이터로 구성되고 짝수 라인은 좌안 시점 영상 데이터로 구성될 수 있다. 반대의 경우에는, 도 13의 도면에서, L과 R이 서로 교체되고 L과 R 다음의 숫자는 유지되는 구성을 갖는다.
도 14는 수직 방향 필터링을 설명하기 위한 도면이다.
도 14를 참조하면, 포맷터(570)는 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(720)의 홀수 라인 데이터 또는 짝수 라인 데이터에 대한 수직 방향 필터링을 수행할 수 있다.
포맷터(570)는 제1 영상 프레임 및 제2 영상 프레임을 생성할 때, 이웃 라인 정보를 이용한 필터링을 수행하지 않고, 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(720)에서 단순 홀수 라인 데이터 또는 짝수 라인 데이터를 추출하여 제1 영상 프레임 및 제2 영상 프레임을 구성할 수 있다.
또한 포맷터(570)는 제1 영상 프레임 및 제2 영상 프레임을 생성할 때, 이웃 라인 정보를 이용하여 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(720)의 홀수 라인 데이터 또는 짝수 라인 데이터에 대한 수직 방향 필터링을 수행하고, 필터링된 홀수 라인 데이터 또는 짝수 라인 데이터를 이용하여 제1 영상 프레임 및 제2 영상 프레임을 구성할 수 있다.
다음의 수학식 1은 수직 방향 필터링을 나타낸 것이다.
수학식 1
Figure PCTKR2011001159-appb-M000001
여기서,
Figure PCTKR2011001159-appb-I000001
는 현재 중심 라인(1415) Y축 좌표값이고,
Figure PCTKR2011001159-appb-I000002
는 현재 중심 라인(1415)으로부터 K만큼 떨어진 라인에서 각 X축 값에서의 픽셀값을 나타내며,
Figure PCTKR2011001159-appb-I000003
는 K번째 라인에 대한 필터 계수고,
Figure PCTKR2011001159-appb-I000004
는 필터링된 결과 픽셀값이다. N은 필터링에 참여할 상측 이웃 라인 또는 하측 이웃 라인의 수를 의미한다. 여기서 N은 사전에 설정된 값일 수 있고, 사용자에 의해 설정된 값일 수 있고, 해상도 및 라인 위치 중 적어도 하나에 따라 설정된 값일 수 있다.
영상 프레임(1410)은 좌안 영상 프레임(710) 및 우안 영상 프레임(720) 중 하나일 수 있다. 영상 프레임(1410)에서 중심 라인(1415)의 필터 계수는 W0이고 라인(1414), 라인(1413) 및 라인(1411)의 필터 계수는 W-1, W-2 및 W-n이며, 라인(1416), 라인(1417) 및 라인(1418)의 필터 계수는 W1, W2 및 Wn이다.
영상 프레임(1420)은 중심 라인(1415)이 필터링된 라인(1425)을 포함하는 제1 영상 프레임 또는 제2 영상 프레임 중 하나일 수 있다. 포맷터(570)는 영상 프레임(1410)의 각 홀수 라인 데이터 또는 짝수 라인 데이터에 대해 수학식 1에 정의된 필터링을 수행하여, 필터링된 결과의 홀수 라인 데이터 및 필터링된 결과의 짝수 라인 데이터를 산출할 수 있다.
모든 K에 대해서
Figure PCTKR2011001159-appb-I000005
이면 중심 라인(1415)을 기준으로 상하 대칭으로 가중치를 주고 필터링하는 것을 의미한다. 동일하지 않을 때는 상하 비대칭으로 가중치를 주고 필터링을 하는 것을 의미한다. 필터링을 수행하지 않은 경우는,
Figure PCTKR2011001159-appb-I000006
일 때, 즉 중심 라인(1415)의 가중치만 1이고, 나머지는 0인 경우와 동일하다.
영상 인터페이스부(580)는 포맷터(570)가 생성한 제1 영상 프레임 및 제2 영상 프레임을 디스플레이(150)로 출력할 수 있다. 여기서 영상 인터페이스부(580)는 LVDS 출력부(Low Voltage Differential Signaling Tx)일 수 있다.
도 15는 60Hz의 Side-by-Side의 포맷의 입체영상 데이터가 입력된 일실시예를 도시한 도면이다. 도 16은 도 15에 도시된 입체영상 데이터의 프레임 레이트가 조절된 일실시예를 도시한 도면이며, 도 17은 도 16에 도시된 입체영상 데이터를 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성한 일실시예를 도시한 도면이다.
도 15 내지 도 17을 참조하면, FRC(560)는 Side-by Side 포맷의 프레임 레이트가 60Hz의 입체영상 데이터(1500)를 수신할 수 있다. 여기서 입체영상 데이터(1500)는 입체영상 프레임(1510), 입체영상 프레임(1520) 및 입체영상 프레임(1550)의 포함한다. 또한 입체영상 프레임(1510)은 좌안 시점 영상 데이터(L1) 및 우안 시점 영상 데이터(R1)을 포함하고, 입체영상 프레임(1520)은 좌안 시점 영상 데이터(L2) 및 우안 시점 영상 데이터(R2)을 포함하며, 입체영상 프레임(1550)은 좌안 시점 영상 데이터(L3) 및 우안 시점 영상 데이터(R3)을 포함한다.
출력 프레임 레이트가 240Hz인 경우에, FRC(560)는 입체영상 데이터(1500)의 프레임 레임트를 120Hz로 변환하면서 입체영상 프레임을 생성하고, 생성한 입체영상 프레임을 입체영상 데이터(1500)의 중간에 삽입할 수 있다. 즉 FRC(560)는 입체영상 프레임(1610), 입체영상 프레임(1620) 및 입체영상 프레임(1650)을 생성한다. 여기서 입체영상 프레임(1610), 입체영상 프레임(1620) 및 입체영상 프레임(1650)은 도 6에서 전술된 방법으로 생성될 수 있다. 그리고 FRC(560)는 입체영상 프레임(1610)을 입체영상 프레임(1510) 및 입체영상 프레임(1520) 사이에 삽입하고, 입체영상 프레임(1620)을 입체영상 프레임(1520) 다음에 삽입하며, 입체영상 프레임(1650)을 입체영상 프레임(1550) 다음에 삽입하여, 입체영상 데이터(1500)를 입체영상 데이터(1600)로 변환한다.
FRC(560)는 프레임 레이트를 120Hz로 변환시킨 입체영상 데이터(1600)를 포맷터(570)로 출력한다. 여기서 FRC(560)는 입체영상 프레임(1620)을 생성하는 것과 동시에 입체영상 프레임(1620) 이전에 위치하는 입체영상 프레임(1510), 입체영상 프레임(1610) 및 입체영상 프레임(1520)을 순차적으로 출력할 수 있다.
포맷터(570)는 FRC(560)가 출력한 입체영상 데이터(1600)에 포함된 입체영상 프레임을 기초로 제1 영상 프레임 및 제2 영상 프레임을 생성한다. 여기서 상기 생성된 제1 영상 프레임 및 제2 영상 프레임은 도 8 내지 도 13에 도시된 제1 영상 프레임 및 제2 영상 프레임일 수 있다.
포맷터(570)는 입체영상 프레임(1510)을 이용하여 제1 영상 프레임(1511) 및 제2 영상 프레임(1512)을 생성한다. 다음으로, 포맷터(570)는 입체영상 프레임(1610)을 이용하여 제1 영상 프레임(1611) 및 제2 영상 프레임(1612)을 생성한다. 다음으로, 포맷터(570)는 입체영상 프레임(1520)을 이용하여 제1 영상 프레임(1521) 및 제2 영상 프레임(1522)을 생성한다.
다음으로, 포맷터(570)는 입체영상 프레임(1620)을 이용하여 제1 영상 프레임(1621) 및 제2 영상 프레임(1622)을 생성한다. 그리고, 포맷터(570)는 입체영상 프레임(1550)이 수신되면, 입체영상 프레임(1550)을 이용하여 제1 영상 프레임(1551) 및 제2 영상 프레임(1552)을 생성한다. 다음으로, 포맷터(570)는 입체영상 프레임(1650)을 이용하여 제1 영상 프레임(1651) 및 제2 영상 프레임(1652)을 생성한다.
도 18은 본 발명에 따른 입체영상 재생 방법에 대한 바람직한 일실시예의 수행과정을 도시한 흐름도이다.
도 18을 참조하면, 포맷터(570)는 입체영상 데이터를 수신한다(S100). 상기 입체영상 데이터는 수신부(101), 스케일러(540), 믹서(550) 및 FRC(560)로부터 출력된 것일 수 있고, 도 3 및 도 4에서 전술된 포맷을 가질 수 있다. 여기서 포맷터(570)는 상기 입체영상 데이터에 포함된 입체영상 프레임을 순차적으로 수신할 수 있다. 상기 입체영상 프레임은 도 7에 도시된 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(710)을 포함할 수 있다.
포맷터(570)는 수신된 입체영상 데이터를 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성한다(S110). 여기서 제1 영상 프레임 및 제2 영상 프레임은 도 8 내지 도 13에 도시된 제1 영상 프레임 및 제2 영상 프레임일 수 있다. 도 16 및 도 17에 전술된 방법에 따라 포맷터(570)는 하나의 입체영상 프레임을 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성할 수 있다.
디스플레이(150)는 포맷터(570)가 생성한 제1 영상 프레임 및 제2 영상 프레임을 스캔한다(S120). 여기서 디스플레이(150)는 출력 프레임 레이트에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임을 스캔할 수 있다.
도 19는 본 발명에 따른 입체영상 재생 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 흐름도이다.
도 19를 참조하면, 포맷터(570)는 입체영상 데이터를 수신한다(S200). 상기 입체영상 데이터는 수신부(101), 스케일러(540), 믹서(550) 및 FRC(560)로부터 출력된 것일 수 있고, 도 3 및 도 4에서 전술된 포맷을 가질 수 있다. 여기서 포맷터(570)는 상기 입체영상 데이터에 포함된 입체영상 프레임을 순차적으로 수신할 수 있다. 상기 입체영상 프레임은 도 7에 도시된 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(710)을 포함할 수 있다.
포맷터(570)는 수신된 입체영상 데이터에 대한 수직 방향 필터링을 수행한다(S210). 포맷터(570)는 수신된 입체영상 데이터에 포함된 입체영상 프레임의 홀수 라인 데이터 및 짝수 라인 데이터에 대한 수직 방향 필터링을 수행할 수 있다. 또한 포맷터(570)는 수학식 1의 수직 방향 필터링을 수행할 수 할 수 있다.
포맷터(570)는 수직 방향 필터링된 입체영상 데이터를 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성한다(S220). 여기서 제1 영상 프레임 및 제2 영상 프레임은 도 8 내지 도 13에 도시된 제1 영상 프레임 및 제2 영상 프레임일 수 있다. 도 16 및 도 17에 전술된 방법에 따라 포맷터(570)는 하나의 입체영상 프레임을 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성할 수 있다.
디스플레이(150)는 포맷터(570)가 생성한 제1 영상 프레임 및 제2 영상 프레임을 스캔한다(S230). 여기서 디스플레이(150)는 출력 프레임 레이트에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임을 스캔할 수 있다.
도 20은 본 발명에 따른 입체영상 재생 방법에 대한 바람직한 또 다른 일실시예의 수행과정을 도시한 흐름도이다.
도 20을 참조하면, FRC(560)는 입체영상 데이터를 수신한다(S300). 상기 입체영상 데이터는 수신부(101), 스케일러(540) 및 믹서(550)로부터 출력된 것일 수 있고, 도 3 및 도 4에서 전술된 포맷을 가질 수 있다.
FRC(560)는 수신된 입체영상 데이터의 프레임 레이트를 조절한다(S310). 여기서 FRC(560)는 상기 입체영상 데이터의 프레임 레이트를 출력 프레임 레이트의 반으로 조절할 수 있다. 즉 FRC(560)는 표 1에 도시된 예에 따라 상기 입체영상 데이터의 프레임 레이트를 조절할 수 있다. 또한 FRC(560)는 도 6에 도시된 방식으로 프레임 레이트를 조절할 수 있다. 또한 FRC(560)은 도 15 및 도 16에 전술된 방법에 따라 입체영상 프레임을 생성하고 생성한 입체영상 프레임을 상기 입체영상 데이터에 삽입하여 프레임 레이트를 조절할 수 있다.
포맷터(570)는 프레임 레이트가 조절된 입체영상 데이터를 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성한다(S320). 여기서 포맷터(570)는 상기 입체영상 데이터에 포함된 입체영상 프레임을 FRC(560)로부터 순차적으로 수신할 수 있다. 상기 입체영상 프레임은 도 7에 도시된 좌안 시점 영상 프레임(710) 및 우안 시점 영상 프레임(710)을 포함할 수 있다.
또한 상기 제1 영상 프레임 및 상기 제2 영상 프레임은 도 8 내지 도 13에 도시된 제1 영상 프레임 및 제2 영상 프레임일 수 있다. 도 16 및 도 17에 전술된 방법에 따라 포맷터(570)는 하나의 입체영상 프레임을 이용하여 제1 영상 프레임 및 제2 영상 프레임을 생성할 수 있다.
또한 포맷터(570)는 상기 입체영상 데이터에 대한 수직 방향 필터링을 수행하고, 수직 방향 필터링된 입체영상 데이터를 이용하여 상기 제1 영상 프레임 및 제2 영상 프레임을 생성할 수 있다.
디스플레이(150)는 포맷터(570)가 생성한 제1 영상 프레임 및 제2 영상 프레임을 스캔한다(S330). 여기서 디스플레이(150)는 출력 프레임 레이트에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임을 스캔할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (20)

  1. 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 포함하는 입체영상 데이터를 수신하는 단계;
    상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 기초로 제1 영상 프레임 및 제2 영상 프레임을 생성하며, 여기서 상기 제1 영상 프레임은 홀수 라인에 상기 좌안 시점 영상 프레임 및 상기 우안 시점 영상 프레임 중 하나의 제1 화소 데이터를 포함하고, 짝수 라인에 다른 하나의 제2 화소 데이터를 포함하며, 상기 제 2 영상 프레임은 홀수 라인에 상기 하나의 제3 화소 데이터를 포함하고, 짝수 라인에 상기 다른 하나의 제4 화소 데이터를 포함하는 단계; 및
    상기 제1 영상 프레임 및 제2 영상 프레임을 출력하는 단계를 포함하는 것을 특징으로 하는 입체영상 재생 방법.
  2. 제 1항에 있어서,
    상기 제1 화소 데이터는 홀수 라인 데이터이고, 상기 제2 화소 데이터는 홀수 라인 데이터이며, 상기 제3 화소 데이터는 짝수 라인 데이터이고, 상기 제4 화소 데이터는 짝수 라인 데이터인 것을 특징으로 하는 입체영상 재생 방법.
  3. 제 1항에 있어서,
    상기 제1 화소 데이터는 홀수 라인 데이터이고, 상기 제2 화소 데이터는 짝수 라인 데이터이며, 상기 제3 화소 데이터는 짝수 라인 데이터이고, 상기 제4 화소 데이터는 홀수 라인 데이터인 것을 특징으로 하는 입체영상 재생 방법.
  4. 제 1항에 있어서,
    상기 제1 화소 데이터는 짝수 라인 데이터이고, 상기 제2 화소 데이터는 짝수 라인 데이터이며, 상기 제3 화소 데이터는 홀수 라인 데이터이고, 상기 제4 화소 데이터는 홀수 라인 데이터인 것을 특징으로 하는 입체영상 재생 방법.
  5. 제 1항에 있어서,
    상기 제1 영상 프레임의 첫 라인에 포함된 화소 데이터는 상기 제2 영상 프레임의 첫 라인에 포함된 화소 데이터와 동일한 것을 특징으로 하는 입체영상 재생 방법.
  6. 제 5항에 있어서,
    상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 짝수 라인 데이터이고, 상기 제2 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 홀수 라인 데이터인 것을 특징으로 하는 입체영상 재생 방법.
  7. 제 5항에 있어서,
    상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 홀수 라인 데이터이고, 상기 제2 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 짝수 라인 데이터인 것을 특징으로 하는 입체영상 재생 방법.
  8. 제 1항에 있어서,
    상기 제1 영상 프레임 및 상기 제2 영상 프레임 두개가 하나의 입체영상 이미지를 형성하는 것을 특징으로 하는 입체영상 재생 방법.
  9. 제 1항에 있어서,
    상기 생성하는 단계는,
    상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 수직 방향 필터링하는 단계를 포함하는 것을 특징으로 하는 입체영상 재생 방법.
  10. 제 9항에 있어서,
    상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터의 해상도는 720×480p, 1280×720p, 1920×1080i, 1920×1080p 및 4k×2k중 하나이고, 상기 해상도가 720×480p인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 720×480p이고, 상기 해상도가 1280×720p인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 1280×720p이며, 상기 해상도가 1920×1080i 및 1920×1080p 중 하나인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 1920×1080p이고, 상기 해상도가 4k×2k인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 4k×2k인 것을 특징으로 하는 입체영상 재생 방법.
  11. 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 포함하는 입체영상 데이터를 수신하는 단계;
    상기 좌인 시점 영상 데이터 및 상기 우안 시점 영상 데이터 각각의 프레임 레이트를 출력 프레임 레이트의 반으로 조절하는 단계;
    상기 조절된 좌안 시점 영상 데이터 및 조절된 상기 우안 시점 영상 데이터를 기초로 제1 영상 프레임 및 제2 영상 프레임을 생성하며, 여기서 상기 제1 영상 프레임은 홀수 라인에 상기 좌안 시점 영상 프레임 및 상기 우안 시점 영상 프레임 중 하나의 제1 화소 데이터를 포함하고, 짝수 라인에 다른 하나의 제2 화소 데이터를 포함하며, 상기 제 2 영상 프레임은 홀수 라인에 상기 하나의 제3 화소 데이터를 포함하고, 짝수 라인에 상기 다른 하나의 제4 화소 데이터를 포함하는 단계; 및
    상기 제1 영상 프레임 및 제2 영상 프레임을 출력하는 단계를 포함하는 것을 특징으로 하는 입체영상 재생 방법.
  12. 좌안 시점 영상 데이터 및 우안 시점 영상 데이터를 포함하는 영상 데이터를 수신하는 수신부;
    홀수 라인에 상기 좌안 시점 영상 프레임 및 상기 우안 시점 영상 프레임 중 하나의 제1 화소 데이터를 포함하고, 짝수 라인에 다른 하나의 제2 화소 데이터를 포함하는 제1 영상 프레임 및 홀수 라인에 상기 하나의 제3 화소 데이터를 포함하고, 짝수 라인에 상기 다른 하나의 제4 화소 데이터를 포함하는 제2 영상 프레임을 생성하는 포맷터; 및
    상기 생성된 제1 영상 프레임 및 제2 영상 프레임을 스캔하는 디스플레이를 포함하는 것을 특징으로 하는 전자 장치.
  13. 제 12항에 있어서,
    상기 제1 화소 데이터는 홀수 라인 데이터 및 짝수 라인 데이터 중 하나이고,
    상기 제1 화소 데이터가 홀수 라인 데이터인 경우에는, 상기 제2 화소 데이터는 홀수 라인 데이터이며, 상기 제3 화소 데이터는 짝수 라인 데이터이고, 상기 제4 화소 데이터는 짝수 라인 데이터이며,
    상기 제1 화소 데이터가 짝수 라인 데이터인 경우에는, 상기 제2 화소 데이터는 짝수 라인 데이터이며, 상기 제3 화소 데이터는 홀수 라인 데이터이고, 상기 제4 화소 데이터는 홀수 라인 데이터인 것을 특징으로 하는 전자 장치.
  14. 제 12항에 있어서,
    상기 제1 화소 데이터는 홀수 라인 데이터이고, 상기 제2 화소 데이터는 짝수 라인 데이터이며, 상기 제3 화소 데이터는 짝수 라인 데이터이고, 상기 제4 화소 데이터는 홀수 라인 데이터인 것을 특징으로 하는 전자 장치.
  15. 제 12항에 있어서,
    상기 제1 영상 프레임의 첫 라인에 포함된 화소 데이터는 상기 제2 영상 프레임의 첫 라인에 포함된 화소 데이터와 동일한 것을 특징으로 하는 전자 장치.
  16. 제 15항에 있어서,
    상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 짝수 라인 데이터 및 홀수 라인 데이터 중 하나이고,
    상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터가 짝수 라인 데이터인 경우에는, 상기 제2 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 홀수 라인 데이터이고,
    상기 제1 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터가 홀수 라인 데이터인 경우에는, 상기 제2 영상 프레임의 두 번째 홀수 라인에 포함된 화소 데이터는 짝수 라인 데이터인 것을 특징으로 하는 전자 장치.
  17. 제 12항에 있어서,
    상기 제1 영상 프레임 및 상기 제2 영상 프레임 두개가 하나의 입체영상 이미지를 형성하는 것을 특징으로 하는 전자 장치.
  18. 제 12항에 있어서,
    상기 포맷터는,
    상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터를 수직 방향 필터링하는 것을 특징으로 하는 전자 장치.
  19. 제 12항에 있어서,
    상기 좌안 시점 영상 데이터 및 상기 우안 시점 영상 데이터의 해상도는 720×480p, 1280×720p, 1920×1080i, 1920×1080p 및 4k×2k중 하나이고, 상기 해상도가 720×480p인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 720×480p이고, 상기 해상도가 1280×720p인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 1280×720p이며, 상기 해상도가 1920×1080i 및 1920×1080p 중 하나인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 1920×1080p이고, 상기 해상도가 4k×2k인 경우에는, 상기 제1 영상 프레임 및 상기 제2 영상 프레임의 해상도는 4k×2k인 것을 특징으로 하는 전자 장치.
  20. 제 12항에 있어서,
    상기 좌인 시점 영상 데이터 및 상기 우안 시점 영상 데이터 각각의 프레임 레이트를 출력 프레임 레이트의 반으로 조절하는 프레임 레이트 변환부를 더 포함하는 것을 특징으로 하는 전자 장치.
PCT/KR2011/001159 2010-02-22 2011-02-22 전자 장치 및 입체영상 재생 방법 WO2011102699A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201180019654.3A CN102844696B (zh) 2010-02-22 2011-02-22 电子装置和再现三维图像的方法
EP11744941.3A EP2541305A4 (en) 2010-02-22 2011-02-22 ELECTRONIC DEVICE AND METHOD FOR PLAYING THREE-DIMENSIONAL IMAGES

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US30690910P 2010-02-22 2010-02-22
US61/306,909 2010-02-22
KR1020110014769A KR20110096494A (ko) 2010-02-22 2011-02-18 전자 장치 및 입체영상 재생 방법
KR10-2011-0014769 2011-02-18

Publications (2)

Publication Number Publication Date
WO2011102699A2 true WO2011102699A2 (ko) 2011-08-25
WO2011102699A3 WO2011102699A3 (ko) 2011-12-29

Family

ID=44931719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/001159 WO2011102699A2 (ko) 2010-02-22 2011-02-22 전자 장치 및 입체영상 재생 방법

Country Status (5)

Country Link
US (1) US9392253B2 (ko)
EP (1) EP2541305A4 (ko)
KR (1) KR20110096494A (ko)
CN (1) CN102844696B (ko)
WO (1) WO2011102699A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970552A (zh) * 2011-09-01 2013-03-13 联发科技股份有限公司 视频处理装置和视频处理方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9137513B2 (en) * 2009-12-08 2015-09-15 Broadcom Corporation Method and system for mixing video and graphics
US9049426B2 (en) * 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
US8786685B1 (en) * 2010-09-15 2014-07-22 Rockwell Collins, Inc. Full-resolution single-LCD stereoscopic display
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
CN102540574B (zh) * 2012-02-29 2014-06-25 深圳市华星光电技术有限公司 三维显示面板及三维显示系统
CN102724539B (zh) * 2012-06-11 2016-08-10 京东方科技集团股份有限公司 一种3d显示方法及显示装置
CN102752617B (zh) 2012-07-09 2015-02-18 京东方科技集团股份有限公司 一种3d显示方法及显示装置
US9998800B2 (en) * 2013-03-12 2018-06-12 Electronics And Telecommunications Research Institute 3D broadcast service providing method and apparatus, and 3D broadcast service reproduction method and apparatus for using image of asymmetric aspect ratio
JP2014225718A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 画像処理装置および画像処理方法
US9967546B2 (en) 2013-10-29 2018-05-08 Vefxi Corporation Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications
US20150116458A1 (en) 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN104065944B (zh) * 2014-06-12 2016-08-17 京东方科技集团股份有限公司 一种超高清三维转换装置及三维显示系统
US10158847B2 (en) 2014-06-19 2018-12-18 Vefxi Corporation Real—time stereo 3D and autostereoscopic 3D video and image editing
CN106888373A (zh) * 2017-03-29 2017-06-23 京东方科技集团股份有限公司 一种三维图像的处理装置及处理系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0870475A (ja) * 1994-06-23 1996-03-12 Sanyo Electric Co Ltd 立体動画像の符号化・復号化方法及び装置
US5767898A (en) 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
DE19652803C1 (de) * 1996-12-18 1998-06-18 Siemens Nixdorf Inf Syst Verfahren und Schaltungsanordnung zum Konvertieren des Bildformates von mit Zeilenpolarisation hergestellten dreidimensionalen elektronischen Bildern
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP4341751B2 (ja) 2004-02-17 2009-10-07 誠次郎 富田 立体映像記録・再生方法並びにこれを表示する立体映像表示装置
US7670004B2 (en) 2006-10-18 2010-03-02 Real D Dual ZScreen® projection
TWI319677B (en) * 2006-10-20 2010-01-11 Quanta Comp Inc Method for displaying stereoscopic image and display system thereof
US8274551B2 (en) * 2007-06-11 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image data
KR101533114B1 (ko) * 2007-10-19 2015-07-03 삼성전자주식회사 입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법
US8289998B2 (en) * 2009-02-13 2012-10-16 Samsung Electronics Co., Ltd. Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
KR101372376B1 (ko) * 2009-07-07 2014-03-14 경희대학교 산학협력단 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법
US8643698B2 (en) * 2009-08-27 2014-02-04 Broadcom Corporation Method and system for transmitting a 1080P60 video in 1080i format to a legacy 1080i capable video receiver without resolution loss

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2541305A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970552A (zh) * 2011-09-01 2013-03-13 联发科技股份有限公司 视频处理装置和视频处理方法
CN102970552B (zh) * 2011-09-01 2014-12-10 联发科技股份有限公司 视频处理装置和视频处理方法

Also Published As

Publication number Publication date
KR20110096494A (ko) 2011-08-30
EP2541305A4 (en) 2015-04-08
EP2541305A2 (en) 2013-01-02
WO2011102699A3 (ko) 2011-12-29
US9392253B2 (en) 2016-07-12
CN102844696A (zh) 2012-12-26
CN102844696B (zh) 2015-11-25
US20110254929A1 (en) 2011-10-20

Similar Documents

Publication Publication Date Title
WO2011102699A2 (ko) 전자 장치 및 입체영상 재생 방법
WO2011062335A1 (en) Method for playing contents
WO2011059261A2 (en) Image display apparatus and operating method thereof
WO2010151027A2 (ko) 영상표시장치 및 그 동작방법
WO2010140866A2 (ko) 영상표시장치 및 그 동작방법
WO2013100376A1 (en) Apparatus and method for displaying
WO2011021894A2 (en) Image display apparatus and method for operating the same
WO2010151044A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
WO2011055950A2 (en) Image display apparatus, method for controlling the image display apparatus, and image display system
WO2010123324A9 (ko) 영상표시장치 및 그 동작방법
WO2012002690A2 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2012050366A2 (en) 3d image display apparatus and display method thereof
EP2499819A2 (en) Image display apparatus and image display method thereof
WO2013129780A1 (ko) 영상 표시 장치 및 이의 제어 방법
WO2011155766A2 (ko) 영상 처리 방법 및 그에 따른 영상 표시 장치
WO2014137053A1 (ko) 영상 처리 장치 및 그 방법
WO2019172523A1 (en) Display device and image processing method thereof
WO2017026705A1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2015152534A1 (en) Broadcast receiving apparatus, upgrade device for upgrading the apparatus, broadcast signal processing system, and methods thereof
WO2011059266A2 (en) Image display apparatus and operation method therefor
WO2018021813A1 (en) Image display apparatus
WO2016052908A1 (en) Transmitter, receiver, and control method thereof
WO2012046990A2 (en) Image display apparatus and method for operating the same
WO2012169694A1 (ko) 3차원 그래픽 콘텐츠 재생 방법 및 장치
WO2015178576A1 (ko) 영상 디스플레이 장치 및 영상 디스플레이 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180019654.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11744941

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011744941

Country of ref document: EP