WO2016027970A1 - 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치 - Google Patents

비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치 Download PDF

Info

Publication number
WO2016027970A1
WO2016027970A1 PCT/KR2015/005682 KR2015005682W WO2016027970A1 WO 2016027970 A1 WO2016027970 A1 WO 2016027970A1 KR 2015005682 W KR2015005682 W KR 2015005682W WO 2016027970 A1 WO2016027970 A1 WO 2016027970A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
video stream
image
video
displayed
Prior art date
Application number
PCT/KR2015/005682
Other languages
English (en)
French (fr)
Inventor
최재혁
Original Assignee
고포디 테크놀로지 엘엘씨
최재혁
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고포디 테크놀로지 엘엘씨, 최재혁 filed Critical 고포디 테크놀로지 엘엘씨
Publication of WO2016027970A1 publication Critical patent/WO2016027970A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware

Definitions

  • the present invention relates to image processing, and more particularly, to a method of displaying a video stream on a display in the form of side by side.
  • the invention also relates to a portable electronic device for displaying a video stream on a display by the above method.
  • HMDs head mounted displays
  • the HMD can provide a visual effect to a user such as viewing a large screen while displaying an image on a small display device.
  • HMDs are known which have a pair of small display devices and can be worn like glasses.
  • the same 2D image or 3D image (stereo graphic image) may be displayed on each display device of the HMD.
  • HMD is particularly suitable for viewing stereoscopic images.
  • the three-dimensional effect can be recognized because the two eyes are placed on the face at a distance (about 65 mm apart).
  • two different two-dimensional images having a difference corresponding to the spaced distance between the left and right eyes are respectively formed in the retina of the left and right eyes, and the image information is transmitted to the brain through the retina.
  • the two pieces of image information are fused in the person's brain, and the person perceives the perception of depth, presence, and perception of volume corresponding to the image.
  • one method of allowing stereoscopic images to be viewed with the HMD is to display two different stereoscopic images each having at least binocular parallax on a pair of display devices.
  • the viewer may experience an impression such as viewing a large screen using the HMD device, and at the same time, the viewer may experience a 3D image or a similar image (the image when displaying the 2D image in the HMD).
  • a 3D image or a similar image the image when displaying the 2D image in the HMD.
  • US published patent US 2010/0079356 A1 discloses an HMD using a portable electronic device with a display such as a smartphone.
  • the HMD disclosed in the patent is not provided with a separate display device, but instead is configured to mount a smart phone having a display device on the HMD.
  • the HMD of the patent has an advantage of lowering the price of HMD because it is combined with the smartphone electronically and mechanically to utilize some of the functions of the smartphone as the function of the HMD.
  • the display of the portable electronic device is divided into a left eye / right eye area, and a left eye / right eye image is displayed in each area. The two images are juxtaposed on the left and right areas of the screen as side-by-side (SBS) forms.
  • SBS side-by-side
  • portable electronic devices such as smart phones such as the Samsung Galaxy TM or Apple's iPhone TM is connected to the wireless internet or wireless network transmits the image information such as TV program or movie into a video stream I can receive it and display it.
  • the portable electronic device may be used in combination with an HMD device such as that disclosed in U.S. Patent Application Publication No. 2010/0079356 A1 (hereinafter referred to as 'combination-HMD'), but may be used for glasses with a special lens for viewing SBS images. It can be mounted without any electrical coupling to enjoy the image stream (hereinafter referred to as 'mounting-HMD').
  • the display of a portable electronic device is used as a display of a combined-HMD or a mounted-HMD, the video stream transmitted to the portable electronic device must be converted into SBS format and displayed.
  • Korean Patent Application No. 10-2013-0091906 filed by the inventor of the present application (name of the invention: a method of converting and reproducing a feeling between the two-dimensional image and the three-dimensional image, the application date: August 2, 2013)
  • a method of presenting a video stream in SBS form on one display is disclosed.
  • a new screen frame is generated by decoding the received image data, reducing the screen frame of the decoded image data, copying the reduced screen frame twice, and placing two identical image frames in SBS format.
  • the generated SBS-type screen frame is transmitted to the video driver and displayed on one screen.
  • two identical images are displayed in the left half and the right half of the screen, respectively.
  • the transmitted image stream is a two-dimensional image, and when displayed in the SBS format on the mounted HMD, provides a stereoscopic view similar to a general 3D image.
  • the stereoscopic effect is qualitatively different from that of a general 3D image when two stereo images having a difference in binocular disparity are displayed in SBS form.
  • the side effects caused by general 3D images are considerably alleviated.
  • the method disclosed in the patent reduces and converts the screen frame, copies the reduced screen frame twice, generates a new screen frame in SBS format, and transmits it to the video driver, which takes a long time for image conversion. If the conversion time of the image is longer than the reproduction speed of the image, the image displayed on the display cannot be displayed continuously but some images are skipped and displayed. Therefore, the image displayed on the display is not smooth, and if you watch for a long time, the discomfort and side effects of viewing the stereoscopic image may increase.
  • the two images for the left and right eyes included in the SBS format are images captured as 2D images, which are made by copying one original 2D image and are completely identical to each other.
  • the three-dimensional feeling of viewing the two images is a monocular factor (mainly 'empirical depth clue', for example, when the same object is near, it looks larger, it looks smaller when it is far away, or the 3D shape of the object is estimated through shadows. It is a three-dimensional sense, which is a representative example of things that are perceived through experience that the obscured objects are behind when things overlap before and after.
  • a method of displaying a video stream in SBS format on a display of a portable electronic device is provided.
  • the method according to the invention is preferably carried out in an electronic device comprising a control unit, a display, a video driver for controlling the display, a wireless communication module, and a memory, in particular a portable electronic device such as a smartphone.
  • the method according to the present invention comprises the steps of: storing a video stream received by the electronic device in a memory; First and second processes, respectively, simultaneously reading the same video stream packet designated to be displayed on a single display through conversion among the video streams stored in the memory;
  • the first process includes: a first transformed display step of decoding the read video packet, scaling the video frames generated by the decoding to be displayed on the designated first display area in the left half area of the display, and transmitting the video frames to the video driver;
  • the second process includes: a second transformed display step of decoding the read video packet, scaling the video frames generated by the decoding to be displayed on the designated second display area in the right half area of the display, and transmitting the video frames to the video driver;
  • the operation of the specified same video stream packet is completed in each of the first and second processes, respectively, the next video stream packet of the designated same video stream packet is displayed on the single display through conversion. Designating a new video stream packet to be performed.
  • the first and second processes convert the same video stream packet and display it in the first and second areas, which are previously designated, of a single display.
  • the first area and the second area for dividing the display are positions corresponding to the viewing angles of the left and right eyes of the user when the portable electronic device is used in the mounted HMD.
  • the coordinate information of each area is designated in advance according to the display. It is.
  • the video stream is displayed on the single display by the conventional method in the SBS form.
  • the display speed can be faster than that displayed by.
  • the stereoscopic effect is displayed better than when displaying the video stream on a single display by a conventional method.
  • the SBS-type image frame generated by the conventional method a new image frame in which two identical images obtained by copying one image are arranged in the SBS form is displayed on the display.
  • the SBS-type image displayed on the display according to the method of the present invention starts decoding at the same time by two different processors having the same video stream packet, and converts each image frame to display on the predetermined display area of the display. Therefore, the two images of the image frame displayed in SBS form slightly different according to the conversion speed of each process.
  • the control process reads the designated video stream packet, decodes the read video packet, and compares the image frames sequentially generated by the decoding.
  • the comparison of neighboring image frames may be performed by performing an XOR operation on two temporally successive image frames, and determining that the scene is changed when the value is greater than or equal to a predetermined value.
  • the method according to the present invention comprises the steps of: displaying a target for image display area correction on each of the first display area and the second display area, and the image display area of any one of the first display area and the second display area.
  • the method may further include receiving correction coordinate information through an input device and changing image display area coordinates according to the image display area correction coordinate information.
  • the display area correction targets are displayed on the display, but when the user with the cyanide is seen as two targets because they do not correspond to the positions of the two eyes, the targets are displayed as two targets.
  • a user with a cyanide uses an input device such as a remote control dedicated to a smartphone or a touch input device installed on the display to move the display area correction targets, which are shown on the display, to two visible locations. As a result, the positional information on which the SBS-type image is displayed can be changed according to the positions of the two eyes of oneself.
  • a portable electronic device for displaying a video stream on a display in the form of SBS.
  • a portable electronic device includes a controller, a display, a video driver for controlling a display, a wireless communication module, and a memory for storing a program performed by the controller to convert and display a video stream in SBS format. do.
  • the program may include storing a video stream received from the wireless communication module in the memory; Simultaneously reading, separately in the first and second process, the same video stream packet designated to be displayed on a single display through conversion among the video streams stored in the memory; The first process decodes the read video packet, and scales the video frames generated by the decoding to be displayed on the designated first display area in the left half area of the display and transmits the converted video frames to the video driver.
  • the second process includes decoding a read video packet, scaling a video frame generated by the decoding to be displayed on a designated second display area in the right half area of the display, and transmitting the converted video frame to the video driver; And when all of the operations on the same designated video stream packet are completed in each of the first and second processes, the next next video stream packet of the designated identical video stream packet is displayed on the single display through conversion. Configured to perform the designation as a video stream packet.
  • the portable electronic device according to the invention can be used in a mounting-HMD.
  • the 2D video stream can be quickly displayed in the SBS format, and at the same time, the 2D video stream can be displayed in the SBS form similar to the stereo image to increase the stereoscopic effect.
  • the program may further include controlling an image processing speed of the first process and the second process such that a difference between the execution completion time of the image conversion display operation of the first process and the second process falls within a predetermined range. Can be.
  • the program may be configured to control the difference in the completion time of the image conversion display operation of the first process and the second process to within three thirty frames of the image stream.
  • the program may further include displaying an image display area correction target on each of the first display area and the second display area, and using the input device, coordinate information for correcting any one of the first display area or the second display area.
  • the method may further include changing the image display area coordinates according to the input of the image display area correction coordinate information.
  • the stereoscopic effect according to the present invention is a stereoscopic effect by the monocular effect and the stereoscopic effect according to the display time difference, which is heterogeneous from the conventional stereoscopic effect due to the binocular effect such as binocular disparity, and side effects are greatly alleviated.
  • the method of the present invention can adjust the position of the displayed image in displaying the 2D video stream on the display of the portable electronic device in SBS format. Therefore, the visually impaired, such as strabismus, can be displayed on the display and enjoy the SBS-shaped image in a form suitable for their own vision.
  • the portable electronic device can display a 2D video stream in SBS format to have a three-dimensional effect at a high speed, thereby providing an effect such as viewing a 3D image when used as a display device in a mounted-HMD. have.
  • FIG. 1 is a perspective view of a mounting-HMD for mounting and using a portable electronic device according to the present invention
  • FIG. 2 is a detailed view illustrating a state in which a portable electronic device is mounted in the mounting-HMD of FIG. 1;
  • FIG. 3 is a schematic diagram of a portable electronic device according to the present invention.
  • FIG. 4 is an explanatory diagram of a video stream packet stored in a memory of a portable electronic device according to the present invention.
  • FIG. 5 is a flowchart illustrating a method of displaying a video stream on a display in SBS form according to the present invention.
  • FIG. 6 is an explanatory diagram showing a state in which video stream packets are converted in the first and second processes
  • FIG. 7 is a diagram illustrating an embodiment of a target for adjusting an image display area displayed on a display and a corrected image display area in the portable electronic device according to the present invention.
  • FIG. 8 is a flowchart illustrating a procedure of adjusting an image display area in a portable electronic device according to the present invention.
  • FIG. 9 is a schematic diagram showing a method of displaying a conventional image stream on a display in the form of SBS.
  • FIG. 10 is an explanatory diagram of two image display areas displayed on a display in the portable electronic device according to the present invention.
  • FIG. 1 is a perspective view of a mounting-HMD for mounting and using a portable electronic device according to the present invention
  • FIG. 2 is a detailed view showing a state in which the portable electronic device is mounted in the mounting-HMD of FIG.
  • the mounting-HMD 100 comprises a housing 10, a holder 20 into which the housing 10 can be slid into and a pair of links 50 connected to both sides of the housing 10 and each link. And a head mount 30 connected to 50. 2, the portable electronic device 200 is inserted into the holder 20.
  • the housing 10 is provided with a lens unit 40 provided with a pair of lenses.
  • the lens unit 40 is disposed to face the display of the portable electronic device 200, and two lenses are mounted at the left and right openings provided in the lens unit 40.
  • the user sees an SBS-shaped image that is displayed on the display through the two lenses, respectively.
  • the lens is suitably a convex lens having a focal length of approximately 40-80 mm.
  • the shape of the lens in the form of SBS is a technique known to those skilled in the art and will not be described in detail.
  • the portable electronic device 200 includes a wireless communication module 210, a memory 220, a CPU 230, a video driver 260, and a display 280.
  • Portable electronics for use in HMD-smartphones are smartphones, such as Samsung's Galaxy TM
  • One preferable to use a mobile phone or Apple iPhone TM, such as, but are not limited to, may use the tablet PC or a video player that can be connected to the network.
  • the portable electronic device 200 stores the video stream received through the wireless communication module 210 in the memory 220.
  • the video stream is transmitted in the form of a packet, and stored in the memory 220 in the order of transmission.
  • a plurality of encoded image frame information is arranged in a playback order.
  • the video packet is read and decoded in the stored order, and each image frame is converted to fit the size of the display 280, Must be sent to video driver 260.
  • the SBS form of an image refers to a form in which an original image or images are scaled and arranged in parallel on a single display in order to display one image or a plurality of images on a single display.
  • Such parallel arrangement includes not only arrangement in a horizontal direction with respect to the user's field of view, but also arrangement in a vertical direction or an inclination direction.
  • scaling refers not only to the reduction of the original image, but also to a general term for image transformation including enlarging, rotating, and moving part or all of the original image.
  • each of the image frames A, B, C, ... included in the video stream includes new image frames AA, in which the same image frame is arranged in parallel.
  • the conversion process reads and decodes the video packet stored in the memory, converts each decoded image frame into a size that can be displayed on the display in the form of SBS, and converts each converted image frame into temporary memory. Copy twice to create an SBS-type image frame, and send the generated SBS-type image to the video driver.
  • the conventional method has a problem in that it takes a long time to scale and duplicate each decoded image frame to form a new image frame in the form of SBS, so that the video stream cannot be played smoothly.
  • the same image is arranged in parallel in a new image frame generated in the SBS form, it does not provide a viewer with a three-dimensional effect (depth) like a 3D image.
  • Two first and second processes 240 and 250 and a control process 235 for controlling the two processes are executed in the CPU 230 of the portable electronic device.
  • the central processing unit (CPU) 230 may be configured by using one processor or by arranging a plurality of processors in parallel.
  • the first and second processes 240 and 250 read a predetermined conversion target video stream packet among video stream packets stored in the memory 220 (S110).
  • a plurality of image frames 1, 2, 3, 4, ... are encoded in a designated video stream packet 222.
  • the video stream packets may be files compressed according to some compression standard, such as MP4, avi, wmv, mkv, and the like. Compressed stream packets are decoded using the decoding tool of the corresponding standard. For example, it may be decoded based on 30 frames per second.
  • the first and second processes 240 and 250 decode the read video stream packets, respectively, extract image frames, and convert the extracted image frames. For example, the first process 240 scales the image frames 1, 2, 3, 4,... To be displayed in the first display area corresponding to the left eye of the single display 280 (S120). ). In addition, the second process 250 scales the image frames 1, 2, 3, 4,...
  • the size of the first display area and the second display area may be set to half of the display size, respectively.
  • the conversion is performed to reduce each image frame by half.
  • By cutting the image frame in half for example, even pixels in the horizontal and vertical directions of the image frame may be removed, and the remaining odd pixels may be used as the converted image frame.
  • the number of pixels of the converted frame is 640x360. If the image is displayed on the display in a half-contracted state without any other conversion, the size of the sum of the two images displayed in the SBS form becomes half the size of the display 280. For example, as shown in FIG.
  • the upper left corner of the first display area (left eye display area) 282 (starting position) with respect to the reference coordinate of the display (when the upper left coordinate is set to (0,0)). ) May be (0, 179), and the coordinates of the lower right (end position) may be (639, 539). Also, the coordinates of the upper left (start position) of the second display area (right eye display area) 284 are (640, 179) with respect to the reference coordinate of the display, and the coordinates of the lower right (end position) are (1279, 539). If the resolution of another video stream is different from the resolution of the display, the image frame may be converted using an appropriate scaling method according to the position and size of the display area of the given display.
  • the first process 240 designates the memory of the video driver 260 corresponding to the first display area 282 of the predetermined display and transmits the scaled image frames to the video driver 260.
  • the scaled image frame is displayed on the first display area 282 of the display 280 (S130).
  • the second process 250 designates the memory of the video driver 260 corresponding to the second display area 284_ of the predetermined display and transmits the scaled image frames to the video driver 260.
  • the scaled image frame is displayed on the second display area 282 of the display 280 (S130).
  • a portable electronic device such as a smart phone provides an operating environment that can perform a plurality of processes on one processor, that is, a multitasking environment, or performs a plurality of processes on a plurality of processors depending on the type of product. It provides an operating environment, that is, a multiprocessing environment.
  • the conversion speed of the video stream packet may vary slightly from process to process, depending on the environment. Accordingly, although the image frame displayed on the first display area 282 of the display 280 and the image frame displayed on the second display area 284 may be the same at a predetermined time, in most cases, different image frames are displayed. do. For example, referring to FIG.
  • the third image frame is displayed in the first display area 282, and at the same time, the fourth image frame is displayed in the second display area 284. Can be. Therefore, there is a slight difference in the image displayed in the SBS form on the display. Therefore, when displaying the 2D video stream in the SBS form according to the method according to the present invention, it is not an exact stereoscopic image, but displays a similar image to the stereo image. Therefore, the user using the mounting-HMD feels the same effect as seeing an image having a three-dimensional sense and a depth sense compared to displaying two identical 2D images in the SBS form by a conventional method.
  • the execution of the first process 240 and the second process 250 is completed (whether or not the Ford image frame of the designated video stream packet is decoded and converted and displayed on the display 280) (S160). ). If only one of the first or second processes 240 and 250 is completed, all of them wait for completion. If both of the first and second processes 240 and 250 are completed, the next video stream packet is newly designated (S170). If the newly designated video stream packet is larger than the last packet number, the process ends. If the newly designated video stream packet is smaller than the last video stream packet number, the process returns to the first step S110, and the processes of the aforementioned steps are repeated.
  • the execution of the first processor is ended first, and the second process has a time equal to t1. Delayed due to delay.
  • the control process 235 stops the first process from reading and converting the next sequence of video stream packets by t1 time and checks whether the execution of the second process has ended.
  • the control process 235 designates the next video stream packet 222 as a video stream packet to be newly converted. Referring to FIG. 6, the processing for the packet 222 is ended first in the second process, and the first process is terminated due to a time delay by t2.
  • the control process 235 stops the second process from reading and converting the next sequence of video stream packets by t2 hours, checks whether the execution of the first process is completed, and repeatedly performs the above-described steps. That is, according to the method of the present invention, all video stream packets begin conversion at the same time in the first and second process, but the conversion ends differently. Accordingly, the left eye image and the right eye image displayed on the display 280 in the SBS form are not exactly the same, but are slightly different from each other, and the user may feel a stereoscopic sense of the image due to such image deviation. In other words, the 2D image is displayed at high speed in the form of SBS, and at the same time, it provides a three-dimensional effect.
  • the control process 235 preferably controls the difference in time for completing the process of converting and displaying the video stream packet in each process to be within 5/30 frames, and preferably within 3/30 frames. If the time difference is too large, it gives the user a feeling of fatigue rather than a three-dimensional effect. It should be noted, however, that the three-dimensional effect is different from the three-dimensional feeling that the user feels when viewing the stereoscopic image photographed to have the deviation of the binocular disparity in terms of the generation mechanism and the depth of the three-dimensional feeling. In other words, it is a heterogeneous three-dimensional feeling.
  • image frames 1 to 50 are images captured indoors
  • image frames 101 to 150 images are captured indoors. lets do it.
  • the scene is changed in the case of the image frame 51 and the image frame 101, it is necessary to control to display the same image frame when displaying in the SBS form.
  • the control process 235 reads the video stream packet designated as the target to be displayed on the display 280 as the target to be displayed on the display 280 before the first and second processes 240 and 250, and the read video packet. And decode the image frames sequentially generated by the decoding, and sequentially compare two adjacent frames in time.
  • the sequential comparison of image frames may be performed, for example, by performing an Exclusive OR operation (XOR operation) on data values of two image frames that are consecutive in time.
  • XOR operation Exclusive OR operation
  • the XOR operation values for the 50th image frame and the 51st image frame are much larger than the XOR operation values for the 49th image frame and the 50th image frame, and will also be larger than the predetermined threshold.
  • the control process 235 finds image frames to be simultaneously transmitted to the video driver 260, such as image frames 51 and 101, and provides the information about them to the first and second processes 240 and 250.
  • the first and second processes 240 and 250 cause each of the image frames (i.e., frames 51 and 101) to be displayed in SBS at the same time to confirm the processing result, and the next image frame is read by the video driver ( 260 may be configured to transmit.
  • FIGS. 7 and 8 a method of adjusting a SBS type image displayed on a display to a user's vision by using a user with strabismus eyes will be described.
  • targets C1 and C2 for image display area correction are displayed on the first display area CS1 and the second display area CS2 of the display 280 (S210).
  • the targets C1 and C2 may use a circle in which a centerline is displayed.
  • the targets C1 and C2 are not limited thereto, and various shapes such as a rectangle and a hexagon may be used.
  • FIG. 7 (b) illustrates a case where a user who is out of focus of a pupil is recognized when viewing the SBS image displayed to be horizontal by using the mounting-HMD, as shown in FIG. 7 (a).
  • the second target C2 is moved by -dx and -dy, respectively.
  • the two targets C1 and C2 coincide. That is, the user is instructed to move the coordinates of the second display area CS2 by (-dx, -dy) using the input device 290 (for example, a remote control or joystick connected via Bluetooth) or a touch screen sensor.
  • the control process 235 receives a position adjustment signal corresponding to the input signal from the input device 290 and controls the second display area CS2 to be displayed at the position moved by the display 280 as much as S220. S230).
  • FIG. 7C shows the SBS display form of the first display area and the second display area adjusted for the user.
  • the stereoscopic effect according to the present invention is a stereoscopic effect due to the monocular effect and the display time difference, which is heterogeneous from the conventional stereoscopic effect due to the binocular effect such as binocular disparity, and side effects are greatly alleviated.
  • the strabismus user can also adjust the position of the two images to suit their eyes.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

비디오 스트림을 사이드 바이 사이드(SBS) 형태로 휴대용 전자장치의 디스플레이에 표시하는 방법이 개시된다. 전자장치로 수신되는 비디오 스트림은 메모리에 저장된다. 메모리에 저장된 비디오 스트림 중 변환을 통해 단일의 디스플레이에 표시하도록 지정된 동일한 비디오 스트림 패킷을 제1 및 제2 프로세스가 동시에 각각 별도로 읽어낸다. 제1 및 제2 프로세스는 읽어낸 비디오 스트림 패킷을 디코딩하고, 디코딩에 의해서 생성된 비디오 프레임들을 디스플레이의 좌측 및 우측 절반 영역 내에 각각 지정된 제1 및 제2 표시영역에 표시되도록 각각 스케일링하여 비디오 구동부로 전송한다. 제1 및 제2 프로세스 각각에서 지정된 동일한 비디오 스트림 패킷에 대한 작업 수행이 모두 완료된 경우, 그 지정된 동일한 비디오 스트림 패킷의 바로 다음 번의 비디오 스트림 패킷을 변환을 통해 디스플레이에 표시하기 위한 새로운 비디오 스트림 패킷으로 지정한다. 동일한 영상이 SBS 형태로 디스플레이될 때 정해진 시간범위 이내의 시간차를 가지면서 디스플레이될 수 있다. 디스플레이되는 두 영상을 볼 때, 단안시 효과에 의한 입체감과 표시 시간차에 따른 입체감이 동시에 느껴질 수 있다.

Description

비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법에 관한 것이다. 또한, 본 발명은 상기 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치에 관한 것이다.
여러가지 형태의 헤드 마운트 디스플레이(Head Mounted Display, 이하 HMD라 함)가 개발되어 알려져 있다. HMD는 작은 표시장치에 영상을 표시하면서도 사용자에게 대형의 스크린을 보는 것과 같은 시각적 효과를 제공할 수 있다. HMD 중에는 한 쌍의 소형 표시장치를 구비하고, 안경과 같이 착용할 수 있는 형식의 HMD가 알려져 있다. HMD의 표시 장치 각각에는 동일한 2D 영상 또는 3D 영상(스테레오 그래픽 영상)이 각각 표시될 수 있다.
HMD는 특히 입체 영상을 감상하기에 적합한 장치이다. 사람이 사물을 볼 때 입체감을 인식할 수 있는 것은 두개의 눈이 일정 거리 떨어져서(약 65mm 간격) 얼굴에 배치되어 있기 때문이다. 사람이 사물을 볼 때, 좌안과 우안의 이격된 간격에 대응하는 차이를 갖는 서로 다른 두 개의 2차원 화상이 좌안과 우안의 망막에 각각 맺히게 되고, 그 화상 정보가 망막을 통하여 뇌로 전달된다. 그 두 가지 화상 정보가 그 사람의 뇌에서 융합되어, 그 사람은 이미지에 대응하는 대상 물체의 깊이감(perception of depth), 임장감(presence), 사실감(perception of volume)을 인식하게 된다. 따라서 HMD로 입체 영상을 감상할 수 있게 하는 한 가지 방법은, 적어도 양안 시차를 갖는 서로 다른 2개의 영상(Stereoscopic Image)을 한 쌍의 표시장치에 각각 표시하는 것이다.
한편, 일반인이 입체 영상을 장시간 시청할 경우, 시각적 피로감과 심리적 불안정과 같은 부작용이 발생하는 것으로 알려져 있다. 부작용을 예로 들면, 눈의 피곤함(eyestrain), 눈이 무겁게 느껴짐(eyes feel heavy), 이중상(double vision), 눈의 건조(dry eyes), 머리가 무거워짐, 두통, 어깨가 뻣뻣해짐, 어깨 아픔, 등의 아픔, 멀미증상(nausea), 현기증(giddiness) 등을 들 수 있다. 사람이 입체 영상을 시청할 경우 시각적 및 심리적 피로를 야기하는 원인에 대하여는 명쾌하게 규명되지는 않았으나, 대체로 두 눈의 초점 거리와 수렴 각도의 불 일치, 부자연스러운 영상, 운동 시차의 불일치, 좌우 영상의 광학적 차이 등이 언급되고 있다. 이러한 원인들은 입체영상의 잘못된 촬영, 입체영상 재생시스템의 오류와 관련되거나, 입체 영상 자체의 본래적 속성과도 밀접하게 관련된 것으로 이해된다. 특히 입체 영상 자체의 속성과 관련하여, 입체 영상에서 움직이는 물체를 볼 때 HMD 사용자는 과도한 돌출감과 속도감을 느끼게 된다. 또한, 입체 영상에 화려한 색채와 복잡한 문양이 많이 포함되어 있을 경우, HMD 사용자는 입체감에 더해 문양과 색채의 잔상을 느끼게 된다.
한편, 동일한 영상이라 하더라도 그 영상이 표시되는 화면의 크기에 따라서 시청자에게 다른 느낌을 유발한다. 동일한 영상을 영화관의 대형 화면을 통해서 볼 때와 컴퓨터 모니터 또는 스마트폰과 같은 작은 화면을 통해서 볼 때 서로 다르게 느끼거나 다른 감동을 받게 된다. HMD는 작은 화면을 영화관과 같은 대형 화면에서 보는 것과 같은 효과를 제공한다.
따라서, 영상을 HMD 장치를 이용하여 필요에 따라서 대형 화면을 보는 것과 같은 감동을 제공하고, 동시에 3D 영상이나 이와 유사한 영상(2D 영상을 HMD에서 표시할 경우의 영상)을 볼 경우에 시청자가 겪게 되는 부작용을 최소화 할 수 있는 영상의 표시방법 및 장치에 대한 시장의 요구가 있다. 또한, 아주 저렴한 가격의HMD 장치를 공급할 수 있는 기술과 아이디어에 대한 요구가 있다. 이러한 요구들의 일부를 만족시키기 위한 HMD 장치가 제안되고 있다.
미국 공개 특허 US 2010/0079356 A1에는 스마트 폰과 같은 디스플레이를 구비한 휴대용 전자 장치를 이용한 HMD 가 공개되어 있다. 상기 특허에 개시된 HMD는 별도의 표시장치를 구비하고 있지 않고, 대신에 HMD에 표시장치를 구비한 스마트 폰을 장착할 수 있도록 구성되어 있다. 상기 특허의 HMD는 스마트 폰과 전자적, 기계적으로 결합되어 그 스마트 폰의 기능의 일부를 HMD의 기능으로 활용하기 때문에 HMD 가격을 낮출 수 있는 장점이 있다. 스마트 폰과 같은 휴대용 전자장치를 HMD 장치로 활용하기 위해서, 휴대용 전자장치의 디스플레이를 좌안/우안용 영역으로 분할하고, 각각의 영역에 좌안/우안용 영상을 표시한다. 이렇게 두 영상을 화면의 좌우 두 영역에 병치한 형태를 사이드-바이-사이드(Side-By-Side: SBS) 형태라 한다.
최근에는 통신기술의 발달로, 휴대용 전자장치, 예를 들면 삼성전자의 갤럭시TM 나 애플의 iPhoneTM 같은 스마트폰은 무선 인터넷이나 무선 통신망에 접속하여 TV 프로그램이나 영화와 같은 영상 정보를 비디오 스트림으로 전송받아 표시할 수 있다. 휴대용 전자장치를 상기 미국 공개 특허 US 2010/0079356 A1에 개시된 것과 같은 HMD 장치와 결합하여 사용할 수도 있으나(이하 '결합-HMD'라고 표시한다), SBS 영상을 볼 수 있는 특수한 렌즈를 구비한 안경에 전기적인 결합 없이 장착하여 이미지 스트림을 감상할 수 있다(이하 '장착-HMD'라고 표시 한다). 휴대용 전자장치의 디스플레이를 결합-HMD나 장착-HMD의 디스플레이로 사용할 경우, 휴대용 전자장치로 전송되는 비디오 스트림을 SBS 형식으로 변환하여 표시해야 한다.
본 출원의 발명자가 특허출원한 대한민국 특허 출원번호 10-2013-0091906(발명의 명칭: 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상변환 및 재생방법, 출원일: 2013.8.2)에는 전송되는 비디오 스트림을 하나의 디스플레이에 SBS 형태로 표시하는 방법이 개시되어 있다. 그 방법에 따르면, 수신된 영상 데이터를 디코딩하고, 디코딩된 영상 데이터의 화면 프레임을 축소하고, 축소된 화면 프레임을 두 번 복사하여 동일한 두 개의 영상 프레임을 SBS 형식으로 배치하여 새로운 화면 프레임을 생성하고, 생성된 SBS 형식의 화면 프레임을 비디오 구동부로 전송하여 하나의 화면에 표시하는 방법이다. 이 방법에 따르면, 동일한 두 영상이 화면의 좌측 절반 내와 우측 절반 내에 각각 표시된다. 이 때 전송되는 이미지 스트림은 2차원 이미지로서, 이와 같이 장착 HMD에 SBS 형식으로 표시될 경우 일반적인 3D 영상과 유사한(stereo like viewing) 입체감을 제공한다. 하지만 그 입체감은 양안시차 만큼의 차이를 갖는 두 스테레오 영상이 SBS 형태로 표시될 때 보이는 일반적인 3D 영상의 입체감과는 질적으로 다르다. 또한, 일반적인 3D 영상이 야기하는 부작용들이 상당히 완화하는 효과가 있다.
그런데 상기 특허에 개시된 방법은 화면 프레임을 축소 변환하고, 축소된 화면 프레임을 두번 복사하여, SBS 형식의 새로운 화면 프레임을 생성하여 비디오 구동부로 전송하므로, 영상 변환에 시간이 많이 소요된다. 영상의 재생 속도보다 영상의 변환 시간이 길어질 경우, 디스플레이에 표시되는 영상을 연속적으로 표시하지 못하고 일부 영상을 스킵하여 표시하게 된다. 따라서 디스플레이에 표시되는 영상이 부드럽지 못하고, 장시간 시청할 경우 입체 영상 시청에 따른 불편함과 부작용이 커질 수 있다. 또한, SBS 형식에 포함된 좌/우안용 두 개의 이미지는 2D 영상으로 촬영된 이미지로서, 하나의 원본 2D 이미지를 복사하여 만든 것이어서 서로 완전히 동일하다. 그러므로 그 두 이미지를 볼 때 느끼는 입체감은 단안시 요인(주로 '경험적 깊이 단서'로서, 예를 들어 동일한 사물이 가까이 있으면 크게 보이고, 멀리 있으면 작게 보이거나, 그림자를 통해 사물의 3차원 형상을 짐작하는 것, 앞뒤 사물이 겹쳐 있을 때 가려진 사물이 뒤에 있다는 것을 경험을 통해서 인지하는 것들이 대표적인 예임)에 따른 입체감이어서, 양안시차 등 양안시 요인에 따른 입체감과는 이질적이고 입체감도 상대적으로 약간 떨어진다.
따라서, 2D 영상을 장착-HMD의 디스플레이에 SBS 형식으로 표시할 경우, 입체감을 높이면서 입체 영상의 부작용을 줄일 수 있는 새로운 이미지 스트림 표시방법이 요청된다. 한편, 장착-HMD의 사용자 중에는 사시와 같이 좌우 눈동자의 초점이 정상인과 다르게 형성된 사람들도 있다. 이러한 사람들을 위해서, 장착-HMD의 디스플레이에 SBS 형식으로 표시되는 좌/우안용 이미지의 위치를 좌우 눈동자의 초점과 일치되도록 개별적으로 조절할 수 있는 장착-HMD를 제공하는 것이 요구된다.
본 발명의 제1의 목적은 장착-HMD에 사용되는 휴대용 전자장치의 디스플레이에 2D 비디오 스트림을 빠르게 SBS 형식으로 표시하는 방법을 제공하는 것이다.
또한, 본 발명의 제2의 목적은 장착-HMD에 사용되는 휴대용 전자장치의 디스플레이에 2D 비디오 스트림을 입체감을 증가시키면서 빠르게 SBS 형식으로 표시하는 방법을 제공하는 것이다.
본 발명의 제3의 목적은, 장착-HMD에 사용되는 휴대용 전자장치의 디스플레이에 SBS 형식으로 표시되는 이미지들의 위치를 조정하는 방법을 제공하는 것이다.
본 발명의 제4의 목적은 상기와 같은 방법으로 디스플레이에 SBS 형식으로 비디오 스트림을 표시하는 휴대용 전자장치를 제공하는 것이다.
본 발명의 일 측면에 따라서, 비디오 스트림을 휴대용 전자장치의 디스플레이에 SBS 형식으로 표시하는 방법이 제공된다. 본 발명에 따른 방법은, 예를 들면 제어부와, 디스플레이와, 디스플레이를 제어하기 위한 비디오 구동부와, 무선통신모듈과, 메모리를 포함하는 전자장치, 특히 스마트폰과 같은 휴대용 전자장치에서 수행되는 것이 바람직하다.
본 발명에 따른 방법은, 상기 전자장치로 수신되는 비디오 스트림을 메모리에 저장하는 단계; 상기 메모리에 저장된 비디오 스트림 중 변환을 통해 단일의 디스플레이에 표시하도록 지정된 동일한 비디오 스트림 패킷을 제1 및 제2 프로세스가 동시에 각각 별도로 읽어내는 단계; 상기 제1 프로세스는 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 생성된 비디오 프레임들을 상기 디스플레이의 좌측 절반 영역 내의 지정된 제1 표시영역에 표시되도록 스케일링하여 비디오 구동부로 전송하는 제1 변환 표시단계; 상기 제2 프로세스는 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 생성된 비디오 프레임들을 상기 디스플레이의 우측 절반 영역 내의 지정된 제2 표시영역에 표시되도록 스케일링하여 비디오 구동부로 전송하는 제2 변환 표시단계; 및 상기 각각의 제1 및 제2 프로세스 각각에서 상기 지정된 동일한 비디오 스트림 패킷에 대한 작업 수행이 모두 완료된 경우, 상기 지정된 동일한 비디오 스트림 패킷의 바로 다음 번의 비디오 스트림 패킷을 변환을 통해 상기 단일의 디스플레이에 표시할 새로운 비디오 스트림 패킷으로 지정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 제1 및 제2 프로세스는 동일한 비디오 스트림 패킷을 변환하여 단일의 디스플레이의 사전에 지정된 제1 영역 및 제2 영역에 표시한다. 상기 디스플레이를 분할하는 제1 영역 및 제2 영역은, 휴대형 전자장치가 장착형 HMD에 사용될 경우 사용자의 좌안과 우안의 시야각에 대응하는 위치로, 디스플레이에 따라서 사전에 각각의 영역에 대한 좌표정보가 지정되어 있다. 본 발명에 따라서 2D 비디오 스트림을 두개의 프로세스에서 각각의 표시영역에 맞도록 변환하여 직접 비디오 드라이버로 전송하여 사이드 바이 사이스 형태로 표시하는 경우, 종래의 방법에 의하여 비디오 스트림을 단일의 디스플레이에 SBS 형태로 표시하는 경우보다 표시 속도를 빠르게 할 수 있다. 종래의 방법은 비디오 스트림을 디코딩하고, 디코딩된 비디오 스트림을 주어진 디스플레이에 SBS 형태로 배치하기 위하여 스케일링하고, 스케일링된 이미지 프레임을 두 번 복사하여 SBS 형태의 새로운 이미지 프레임을 생성하고, 생성된 새로운 이미지 프레임을 비디오 드라이버로 전송하여 SBS 형태로 표시하고 있다. 상기와 같이 종래의 단일 디스플레이에 SBS 형태로 이미지를 표시하는 방법은 하나의 프로세스에서 여러 단계를 수행하여야 하므로 시간이 많이 소요된다.
또한 본 발명에 따라서 2D 비디오 스트림을 SBS 형태로 단일의 디스플레이에 표시하는 경우, 종래의 방법에 의하여 비디오 스트림을 단일의 디스플레이에 표시하는 경우보다 입체감이 보다 잘 표시된다. 종래의 방법으로 생성된 SBS 형태의 이미지 프레임은 하나의 이미지를 복사하여 확보된 동일한 두 개의 이미지가 SBS 형태로 배치된 새로운 이미지 프레임이 디스플레이에 표시된다. 이에 비해 본 발명의 방법에 따라서 디스플레이에 표시되는 SBS 형태의 이미지는, 동일한 비디오 스트림 패킷이 서로 다른 두 개의 프로세서에서 동시에 디코딩을 시작해서 각각 이미지 프레임을 변환하여 디스플레이의 정해진 표시영역에 각각 표시한다. 따라서, SBS 형태로 표시되는 이미지 프레임의 두 개의 이미지가 각각의 프로세스의 변환 속도에 따라서 약간씩 차이가 나게 된다. 또한, 좌안 표시영역에 비디오 스트림을 변환하여 표시하는 프로세스의 변환 속도와 우안 표시영역에 비디오 스트림을 변환하여 표시하는 프로세스의 변환 속도에 차이가 있고, 그 속도의 차이가 정해진 범위에 있도록 제어하는 경우, SBS 형태로 표시되는 이미지 프레임은 마치 스테로오 이미지를 표시하는 것과 같은 효과를 나타내게 된다. 따라서, 본 발명에 따라서 SBS 형태로 표시되는 2D 이미지를 시청하는 시청자는, 마치 스테레오 이미지를 보는 것과 같은 효과를 느끼게 된다. 본 발명에 따른 방법에 있어서, 상기 제1 프로세스와 제2 프로세스의 이미지 변환 표시 작업의 완료 시간 차이를 이미지 스트림의 30분의 5 프레임 이내, 바람직하게는 30분의 3프레임 이내가 되도록 제어하는 것이 바람직하다.
연속하는 이미지 프레임이 영상물로서 장면이 크게 바뀌지 않을 경우에는, SBS로 이웃하여 표시되는 이미지가 30분의 3 내지 5 프레임의 범위에서 차이가 있는 이미지가 표시될 경우에, 사용자는 크게 불편함이 없이 3D 이미지를 시청하는 것과 같은 효과를 느끼게 된다. 그러나, SBS로 이웃하여 표시되는 이미지가 30분의 3 내지 5 프레임의 범위에 있는 경우라도, 영상의 장면 변화 정도가 큰 경우에는, 사용자는 서로 완전히 다른 장면의 이미지를 SBS로 인식하게 되어 3D 이미지의 효과 대신에 시각적인 혼란을 인식하게 된다. 따라서, 이런 문제를 예방하기 위해, 장면이 크게 바뀌는 프레임을 사전에 체크하여 동일한 장면의 이미지가 SBS 형태로 표시되도록 할 필요가 있다. 예를 들면, 제1 및 제2 프로세스 보다 먼저 제어 프로세스에서 상기 지정된 비디오 스트림 패킷을 읽어내고, 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 순차로 생성되는 이미지 프레임들을 비교한다. 이웃하는 이미지 프레임의 비교는 예를 들면 두 개의 시간적으로 연속하는 이미지 프레임에 대하여 익스크르시브 오어 연산 (XOR 연산)을 수행하고, 그 값이 정해진 값 이상인 경우 장면의 변화로 판단할 수 있다. 이미지 프레임들의 비교값이 정해진 값 이상인 경우, 관련 이미지 프레임에 대하여는 상기 제1 프로세스와 제2 프로세스에서 동시에 처리하여 표시되도록 제어하는 단계를 더 포함하도록 하는 것이 바람직하다.
사시와 같이 두 눈의 눈동자의 근육에 이상이 있는 사용자는 디스플레이에 표시되는 SBS 형태의 이미지를 자신의 시각에 맞도록 조절할 필요가 있다. 즉, SBS 형태로 표시되는 두 개의 이미지의 위치를 자신의 자연스러운 눈동자의 위치에서 볼 수 있도록 두 개의 이미지가 디스플레이에 표시되는 위치를 사용자에 따라서 변경할 수 있도록 하는 것이 바람직하다. 이를 위한 본 발명에 따른 방법은, 제1 표시영역과 제2 표시영역에 각각 이미지 표시영역 보정을 위한 표적을 표시하는 단계와, 상기 제1 표시영역 또는 제2 표시영역 중 어느 하나의 이미지 표시영역 보정 좌표 정보를 입력장치를 통해 입력받아, 상기 이미지 표시영역 보정 좌표 정보에 따라서 이미지 표시영역 좌표를 변경하는 단계를 더 포함할 수 있다. 이를 위해 표시영역 보정용 표적들을 디스플레이에 표시하되, 사시안을 가진 사용자가 보면 두 눈동자의 위치와 맞지 않아 두 개의 표적으로 보이는 반면, 두 개의 정상안으로 보면 하나의 표적으로 보이도록 표시한다. 사시안을 가진 사용자는 예를 들면, 스마트 폰 전용 리모콘과 같은 입력 장치나 디스플레이에 설치된 터치 입력 장치를 이용하여, 디스플레이에 두 개로 보이는 표시영역 보정용 표적을 하나로 보이는 위치로 이동시킨다. 이에 의해 SBS 형태의 이미지가 표시되는 위치정보를 자신의 두 눈동자의 위치에 알맞게 변경할 수 있다.
본 발명의 다른 측면에 따라서, 비디오 스트림을 SBS 형태로 디스플레이에 표시하기 위한 휴대용 전자장치가 제공된다. 본 발명에 따른 휴대용 전자장치는, 제어부와, 디스플레이와, 디스플레이를 제어하기 위한 비디오 구동부와, 무선통신모듈과, 상기 제어부에서 수행되어 비디오 스트림을 SBS 형식으로 변환하여 표시하는 프로그램이 저장된 메모리를 포함한다.
상기 프로그램은, 상기 무선통신모듈에서 수신되는 비디오 스트림을 상기 메모리에 저장하는 단계; 상기 메모리에 저장된 비디오 스트림 중 변환을 통해 단일의 디스플레이에 표시하도록 지정된 동일한 비디오 스트림 패킷을 제1 및 제2 프로세스에서 동시에 각각 별도로 읽어내는 단계; 상기 제1 프로세스는 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 생성된 비디오 프레임들을 상기 디스플레이의 좌측 절반 영역 내의 지정된 제1 표시영역에 표시되도록 스케일링하여 상기 비디오 구동부로 전송하는 제1 변환 표시단계; 상기 제2 프로세스는 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 생성된 비디오 프레임들을 상기 디스플레이의 우측 절반 영역 내의 지정된 제2 표시영역에 표시되도록 스케일링하여 상기 비디오 구동부로 전송하는 제2 변환 표시단계; 및 상기 제1 및 제2 프로세스 각각에서 상기 지정된 동일한 비디오 스트림 패킷에 대한 작업 수행이 모두 완료된 경우, 상기 지정된 동일한 비디오 스트림 패킷의 바로 다음 번의 비디오 스트림 패킷을 변환을 통해 상기 단일의 디스플레이에 표시할 새로운 비디오 스트림 패킷으로 지정하는 단계를 수행하도록 구성되어 있다.
본 발명에 따른 휴대용 전자 장치는 장착-HMD에 사용될 수 있다. 특히, 2D 비디오 스트림을 빠르게 SBS 형식으로 표시하고, 동시에 2D 비디오 스트림을 스테레오 이미지와 유사하게 SBS 형태로 표시하여 입체감을 증가시켜 표시할 수 있다.
또한, 상기 프로그램은 상기 제1 프로세스와 제2 프로세스의 이미지 변환 표시 작업의 수행 완료 시간의 차이가 정해진 범위 이내에 들어가도록, 제1 프로세스와 제2 프로세스의 이미지 처리 속도를 제어하는 단계를 더 포함할 수 있다. 또한, 상기 프로그램은 상기 제1 프로세스와 제2 프로세스의 이미지 변환 표시 작업의 완료 시간 차이가 이미지 스트림의 30분의 3 프레임 이내로 제어하도록 구성될 수 있다. 또한, 상기 프로그램은 제1 표시영역과 제2 표시영역에 각각 이미지 표시영역 보정용 표적을 표시하는 단계와, 입력장치로 상기 제1 표시영역 또는 제2 표시영역 중 어느 하나의 이미지 표시영역 보정용 좌표 정보를 입력받아, 상기 이미지 표시영역 보정용 좌표 정보에 따라서 이미지 표시영역 좌표를 변경하는 단계를 더 포함할 수 있다.
본 발명에 의한 방법으로 2D 비디오 스트림을 SBS 형식으로 휴대용 전자장치의 디스플레이에 표시하면, 2D 비디오 스트림을 빠르게 표시할 수 있고, 2D 비디오 스트림을 입체감을 증가시킬 수 있게 된다. 따라서, 2D 비디오 매체를 3D 형식으로 변환하지 않고서 장착-HMD 사용자에게 3D 비디오를 보는 것과 비슷한 효과를 제공할 수 있다. 다만, 본 발명에 따른 입체감은 단안시 효과에 의한 입체감과 표시 시간차에 따른 입체감이고, 이는 양안시차 등과 같은 양안시 효과에 따른 통상적인 입체감과는 이질적이고, 부작용도 크게 완화된 것이다.
또한, 본 발명에 방법은 2D 비디오 스트림을 SBS 형식으로 휴대용 전자장치의 디스플레이에 표시함에 있어서, 그 표시되는 이미지의 위치를 조정할 수 있다. 따라서 사시와 같은 시각 장애인들이 자신의 시각에 적합한 형태로 SBS 형태의 이미지를 디스플레이에 표시하고 감상할 수 있도록 할 수 있다.
또한, 본 발명에 따른 휴대용 전자장치는 2D 비디오 스트림을 빠른 속도로 입체감을 갖도록 SBS 형식으로 표시할 수가 있어서, 장착-HMD에 디스플레이 장치로 이용할 경우, 3D 이미지를 감상하는 것과 같은 효과를 제공할 수 있다.
도 1은 본 발명에 따른 휴대용 전자장치가 장착되어 사용되기 위한 장착-HMD의 사시도
도 2는 도 1의 장착-HMD에 휴대용 전자장치가 장착된 상태를 나타내는 상세도
도 3은 본 발명에 따른 휴대용 전자장치의 개략도
도 4는 본 발명에 따른 휴대용 전자장치의 메모리에 저장된 비디오 스트림 패킷에 대한 설명도
도 5은 본 발명에 따른 비디오 스트림을 SBS 형태로 디스플레이에 표시하는 방법을 나타내는 흐름도
도 6는 제1 및 제2 프로세스에서 비디오 스트림 패킷이 변환 처리되는 상태를 나타내는 설명도
도 7은 본 발명에 따른 휴대용 전자장치에서 디스플레이에 표시되는 이미지 표시영역 조정을 위한 표적의 일실시예와 보정된 이미지 표시영역에 대한 설명도
도 8은 본 발명에 따른 휴대용 전자장치에서 이미지 표시영역 조정 절차를 나타내는 흐름도
도 9는 종래의 이미지 스트림을 SBS 형태로 디스플레이에 표시하는 방법을 나타내는 개략도
도 10은 본 발명에 따른 휴대용 전자장치에서 디스플레이에 표시되는 두 이미지 표시영역에 관한 설명도
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1은 본 발명에 따른 휴대용 전자장치가 장착되어 사용되기 위한 장착-HMD의 사시도이고, 도 2는 도 1의 장착-HMD에 휴대용 전자장치가 장착된 상태를 나타내는 상세도이다. 장착-HMD(100)는 하우징(10)과, 하우징(10)이 안으로 슬라이딩 되어 삽입될 수 있는 홀더(20)와, 하우징(10)의 양측에 연결된 한 쌍의 링크(50)와 각각의 링크(50)에 연결된 헤드 마운트(30)를 구비한다. 도 2를 참조하면, 홀더(20)에는 휴대용 전자장치(200)가 삽입된다. 또한, 하우징(10)에는 한 쌍의 렌즈가 설치된 렌즈유닛(40)이 설치되어 있다. 렌즈 유닛(40)은 휴대용 전자장치(200)의 디스플레이를 향하도록 배치되어 있고, 렌즈 유닛(40)에 마련된 좌우 두 개구에는 두 개의 렌즈가 장착된다. 사용자는 그 두 렌즈를 통해 각각 디스플레이에 표시되는 SBS 형태의 이미지를 본다. 그 렌즈는 초점거리가 대략 40 - 80 mm 사이의 볼록 렌즈가 적당하다. SBS 형태로 표시되는 렌즈의 형상은 당업자에게 알려진 기술로서 상세한 설명을 생략한다.
도 3에는 본 발명에 따른 휴대용 전자장치의 구성의 개략도가 도시되어 있다. 휴대용 전자장치(200)는 무선통신모듈(210)과, 메모리(220)와, CPU(230)와, 비디오 드라이버(260)와, 디스플레이(280)를 포함한다. 장착-HMD에 사용되기 위한 휴대용 전자장치는 스마트폰, 예를 들면 삼성전자의 갤럭시TM 나 애플의 iPhoneTM 같은 휴대폰을 사용하는 것이 바람직하나, 이에 한정되는 것은 아니고 네트웍에 연결될 수 있는 tablet PC나 비디오 플레이어를 사용할 수도 있다.
휴대용 전자장치(200)는 무선통신모듈(210)을 통하여 전송받은 비디오 스트림을 메모리(220)에 저장한다. 도 4를 참조하면, 비디오 스트림은 패킷 형태로 전송되며, 전송되는 순서에 따라서 메모리(220)에 저장된다. 각각의 패킷에는 엔코딩된 복수의 이미지 프레임 정보가 재생 순서에 따라서 배치되어 있다. 메모리(220)에 저장된 비디오 스트림을 디스플레이(280)에 SBS 형태로 표시하기 위해서는, 비디오 패킷을 저장된 순서에 따라서 읽어내서 디코딩하고, 디스플레이(280)의 크기에 맞도록 각각의 이미지 프레임을 변환하고, 비디오 드라이버(260)로 전송하여야 한다.
본 발명에 있어서, 이미지의 SBS 형태는, 하나의 이미지 또는 복수의 이미지를 단일의 디스플레이에 표시하기 위하여, 원래의 이미지나 이미지들을 스케일링하여 단일의 디스플레이에 병렬로 나란히 배치시킨 형태를 의미한다. 이와 같은 병렬 배치는 사용자의 시야에 대하여 수평 방향으로의 배치하는 것 뿐만 아니라, 수직 방향이나, 경사 방향으로 배치하는 형태를 포함한다. 또한, 본 발명에 있어서 스케일링은 원래의 이미지의 축소뿐만 아니라, 원래의 이미지의 일부 또는 전부의 확대, 회전, 이동을 포함하는 이미지 변환을 총칭하는 의미로 사용한다.
도 9는 종래의 방법에 의한 비디오 이미지를 SBS 형태로 표시하는 방법의 개략도이다. 도 9를 참조하면, 종래의 방법은 비디오 스트림에 포함된 각각의 이미지 프레임들(A, B, C, ...)을 동일한 이미지 프레임이 병렬로 배치된 SBS 형태의 새로운 이미지 프레임들(AA, BB, CC, ...)로 변환하여 디스플레이에 표시하는 방법을 나타낸다. 보다 구체적으로 설명하면, 변환 프로세스는 메모리에 저장된 비디오 패킷을 읽어내어 디코딩하고, 디코딩된 각각의 이미지 프레임을 SBS 형태로 디스플레이에 표시가 가능한 크기로 변환하고, 변환된 각각의 이미지 프레임을 임시 메모리에 두번 복사하여 SBS 형태의 이미지 프레임을 생성하고, 생성된 SBS 형태의 이미지를 비디오 드라이버에 전송한다. 종래의 방법은, 디코딩된 각각의 이미지 프레임을 스케일하고 복제하여 SBS 형태의 새로운 이미지 프레임을 형성하는 데 시간이 많이 소요되어, 비디오 스트림을 매끄럽게 재생하지 못하는 문제점이 있다. 또한, SBS 형태로 생성된 새로운 이미지 프레임에 동일한 이미지가 병렬로 배치되어 있어서 시청자에게 3D 이미지와 같은 입체감(깊이감)을 제공하지 못한다.
도 3 및 도 5를 참조하여, 본 발명에 따라서 비디오 스트림을 SBS 형태로 변환하여 디스플레이에 표시하는 방법에 대하여 설명한다. 휴대용 전자 장치의 CPU(230)에는 두 개의 제1 및 제2 프로세스(240, 250)와 두 개의 프로세스를 제어하기 위한 제어 프로세스(235)가 실행된다. CPU(Central Processing Unit, 중앙처리유닛)(230)는 프로세서를 하나 사용하거나 복수의 프로세서를 병렬로 배치하여 구성할 수 있다. 먼저, 제1 및 제2 프로세스(240, 250)에서 메모리(220)에 저장된 비디오 스트림 패킷들 중에서 사전에 지정된 변환 대상 비디오 스트림 패킷을 읽어 들인다(S110).
도 4를 참조하면, 지정된 비디오 스트림 패킷(222)에는 복수의 이미지 프레임(1, 2, 3, 4, ...)이 엔코딩되어 있다. 비디오 스트림 패킷들은 예를 들면, MP4, avi, wmv, mkv 등과 같은 소정의 압축 표준에 따라 압축된 파일일 수 있다. 압축된 스트림 패킷들은 해당 표준의 디코딩 툴을 이용하여 디코딩한다. 예를 들면, 초당 30 프레임을 기준으로 디코딩할 수 있다. 제1 및 제2 프로세스(240, 250)는 각각 읽어 들인 비디오 스트림 패킷을 디코딩하여 이미지 프레임들을 추출하고, 추출된 이미지 프레임들을 변환한다. 예를 들면, 제1 프로세스(240)는 단일의 디스플레이(280)의 좌안에 대응하는 제1 표시영역에 표시되도록 이미지 프레임들(1, 2, 3, 4, ...)을 스케일링한다(S120). 또한, 제2 프로세스(250)는 단일의 디스플레이(280)의 우안에 대응하는 제2 표시영역에 표시되도록 이미지 프레임들(1, 2, 3, 4, ...)을 스케일링한다(S140). 예를 들어 디스플레이의 해상도가 720p (1280x720 픽셀)인 경우, 제1 표시영역 및 제2 표시영역의 크기를 각각 디스플레이 크기의 절반으로 정할 수 있다. 이 경우 각각의 이미지 프레임을 절반 크기로 줄이는 변환을 수행한다. 이미지 프레임을 절반으로 줄이는 방법으로, 예를 들면 이미지 프레임의 가로방향 및 세로방향으로 짝수 번째 픽셀들은 모두 제거하고, 나머지 홀수 번째 픽셀들을 변환된 이미지 프레임으로 사용할 수 있다. 이렇게 변환된 프레임의 픽셀수는 640x360이 된다. 다른 변환을 하지 않고 이미지를 절반 수축된 상태로 디스플레이에 표시할 경우, SBS 형태로 표시되는 두 이미지의 합의 크기는 디스플레이(280) 크기의 절반이 된다. 예를 들어, 도 10에 도시된 것처럼, 디스플레이의 기준 좌표(좌측 상단의 좌표를 (0,0)로 정할 경우)에 대하여 제1 표시영역(좌안 표시영역)(282)의 좌측 상단(시작위치)의 좌표는 (0, 179)가 되고, 우측 하단(끝나는 위치)의 좌표는 (639, 539)가 될 수 있다. 또한, 디스플레이의 기준 좌표에 대하여 제2 표시영역(우안 표시영역)(284)의 좌측 상단(시작위치)의 좌표는 (640, 179)가 되고, 우측 하단(끝나는 위치)의 좌표는 (1279, 539)가 된다. 다른 비디오 스트림의 해상도가 디스플레이의 해상도와 다른 경우, 정해진 디스플레이의 표시영역의 위치와 크기에 따라서 적당한 스케일링 방법을 사용하여 이미지 프레임을 변환할 수 있다.
다음으로, 제1 프로세스(240)는 스케일링된 이미지 프레임들을 사전에 정해진 디스플레이의 제1 표시영역(282)에 대응하는 비디오 드라이버(260)의 메모리를 지정하여 비디오 드라이버(260)로 전송한다. 이에 의해 디스플레이(280)의 제1 표시영역(282)에 그 스케일링된 이미지 프레임이 표시된다(S130). 이와 마찬가지로, 제2 프로세스(250)는 스케일링된 이미지 프레임들을 사전에 정해진 디스플레이의 제2 표시영역(284_에 대응하는 비디오 드라이버(260)의 메모리를 지정하여 비디오 드라이버(260)로 전송한다. 이에 의해, 그 스케일링된 이미지 프레임은 디스플레이(280)의 제2 표시영역(282)에 표시된다(S130).
스마트 폰과 같은 휴대용 전자 장치는 제품의 종류에 따라서는 하나의 프로세서에서 복수의 프로세스를 수행할 수 있는 오퍼레이팅 환경 즉, 멀티태스킹 (multitasking) 환경을 제공하거나, 복수의 프로세서에서 복수의 프로세스를 수행하는 오퍼레이팅 환경 즉, 멀티프로세싱(multiprocessing) 환경을 제공한다. 특히, 복수의 프로세서에서, 제1 프로세스와 제2 프로세스를 독립적으로 수행할 경우에, 환경에 따라서 비디오 스트림 패킷의 변환 속도가 프로세스마다 약간씩 다를 수 있다. 따라서, 어떤 정해진 시각에 디스플레이(280)의 제1 표시영역(282)에 표시되는 이미지 프레임과 제2 표시영역(284)에 표시되는 이미지 프레임이 같을 수도 있으나, 대부분은 서로 다른 이미지 프레임이 표시되게 된다. 예를 들면 도 4를 참조하면, 222번 스트림 패킷을 표시할 경우 제1 표시영역(282)에는 3번 이미지 프레임이 표시되고, 그와 동시에 제2 표시영역(284)에는 4번 이미지 프레임이 표시될 수 있다. 따라서, 디스플레이에 SBS 형태로 표시되는 이미지에 약간의 차이가 있게 된다. 그러므로, 2D 비디오 스트림을 본 발명에 의한 방법에 따라서 SBS 형태로 표시할 경우, 정확한 스테레오 스코픽 이미지는 아니지만, 스테레오 이미지에 유사한 이미지를 표시하게 된다. 따라서 장착-HMD를 사용하는 사용자는 종래의 방법으로 동일한 두 개의 2D 이미지를 SBS 형태로 표시하는 경우에 비하여 입체감과 깊이감이 있는 이미지를 보는 것과 같은 효과를 느끼게 된다.
다음으로, 제1 프로세스(240)와 제2 프로세스(250)의 수행이 완료되었는지 여부(지정된 비디오 스트림 패킷의 포든 이미지 프레임을 디코딩하고 변환하여 디스플레이(280)에 표시하였는지 여부)를 체크한다(S160). 만일 제1 또는 제2 프로세스(240, 250) 중 어느 하나만이 수행이 완료된 경우에는 모두 완료되기를 기다린다. 제1 및 제2 프로세스(240, 250) 모두가 수행이 완료된 경우에는 다음 순번의 비디오 스트림 패킷을 새로 지정한다(S170). 새로 지정된 비디오 스트림 패킷이 최종 패킷 번호보다 큰 경우에는 종료하고, 최종 비디오 스트림 패킷 번호보다 작은 경우에는 첫 번째 단계(S110)로 돌아가서, 앞에서 설명한 각 단계의 처리를 반복하여 수행한다.
도 6을 참조하면, 일실시예로 제1 및 제2 프로세스(240, 250)에서 221 번 패킷이 변환 되어 표시되는 경우, 먼저 제1 프로세서의 수행이 종료되고, 제2 프로세스는 t1 만큼 시간이 지연되어 종료된 것을 나타낸다. 이때, 제어 프로세스(235)는 제1 프로세스가 다음 순번의 비디오 스트림 패킷을 읽어 들여서 변환하는 것을 t1 시간만큼 정지 시키고, 제2 프로세스의 수행이 종료되었는지를 체크한다. 제1 및 제2 프로세스에서 지정된 비디오 스트림 패킷에 대한 변환 작업이 모두 완료된 경우, 제어 프로세스(235)는 다음 번의 비디오 스트림 패킷(222)을 새로 변환할 비디오 스트림 팻킷으로 지정한다. 도 6을 참조하면, 222번 패킷에 대한 처리는 제2 프로세스에서 먼저 수행이 종료되고, 제1 프로세스는 t2 만큼 시간이 지연되어 종료된 것을 나타낸다. 이때, 제어 프로세스(235)는 제2 프로세스가 다음 순번의 비디오 스트림 패킷을 읽어 들여서 변환하는 것을 t2 시간만큼 정지 시키고, 제1 프로세스의 수행이 종료되었는지를 체크하고 앞에서 설명한 단계들을 반복적으로 수행한다. 즉, 본 발명의 방법에 의하면, 모든 비디오 스트림 패킷은 제1 및 제2 프로세스에서 동시에 변환을 시작하나, 변환 작업의 종료는 서로 다르게 된다. 따라서, SBS 형태로 디스플레이(280)에 표시되는 좌안용 이미지와 우안용 이미지는 완전히 동일한 것은 아니고 약간씩 다르게 되며, 그러한 이미지 편차로 인해 사용자는 영상의 입체감을 느낄 수 있다. 즉, 2D 이미지를 빠른 속도로 SBS 형태로 표시하고 동시에 입체감을 제공하게 된다. 제어 프로세스(235)는 각각의 프로세스에서 비디오 스트림 패킷을 변환하여 표시하는 작업을 완료하는 시간의 차이를 30분의 5프레임 이내, 바람직하게는 30분의 3프레임 이내가 되도록 제어하는 것이 바람직하다. 시간의 차이가 너무 클 경우에는 사용자에게 입체감보다는 피로감을 주게 된다. 그런데 여기서 주목할 점은 이 입체감은 양안시차 만큼의 편차를 갖도록 촬영된 입체영상을 사용자가 감상할 때 느끼는 입체감과는 발생 메커니즘의 측면에서 그리고 입체감의 깊이 등의 측면에서 차이가 있다. 즉, 서로 이질적인 입체감이다.
한편, 연속하는 이미지 프레임이 영상물로서 장면이 크게 바뀌지 않을 경우에는, SBS로 이웃하여 표시되는 이미지가 30분의 3 내지 5 프레임의 범위에서 차이가 있는 이미지가 표시될 경우에, 사용자는 크게 불편함이 없이 3D 이미지를 시청하는 것과 같은 효과를 느끼게 된다. 그러나, SBS로 이웃하여 표시되는 이미지가 30분의 3 내지 5 프레임의 범위에 있는 경우라도, 영상의 장면이 많이 바뀌는 경우에는, 사용자는 서로 완전히 다른 장면의 이미지를 SBS로 인식하게 되어 3D 이미지의 효과 대신에 시각적인 혼란과 피로감을 주게 된다.
이런 문제를 예방하기 위해서는, 장면이 바뀌는 이미지 프레임을 사전에 조사하여, 장면이 바뀌는 이미지 프레임에 대하여는 동일한 이미지 프레임이 SBS 형태로 표시되도록 할 필요가 있다. 예를 들면, 도 4에서, 이미지 프레임 1 - 50 번까지는 실내에서 촬영한 영상이고, 이미지 프레임 51 - 100 번까지는 바다에서 촬영된 영상이고, 이미지 프레임 101 - 150 번 까지는 다시 실내에서 촬영된 영상이라고 하자. 이 경우, 이미지 프레임 51번하고, 이미지 프레임 101번의 경우에는 장면이 변화하는 것이기 때문에 SBS 형태로 표시할 경우, 동일한 이미지 프레임이 표시되도록 제어하는 것이 필요하다.
이를 위한 한 가지 방법은 다음과 같다. 제어프로세스(235)에서 제1 및 제2 프로세스(240, 250)보다 먼저 디스플레이(280)에 표시될 대상으로 디스플레이(280)에 표시될 대상으로 지정된 비디오 스트림 패킷을 읽어내고, 그 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 순차로 생성되는 이미지 프레임들을 시간적으로 인접하는 두 프레임끼리 차례대로 비교한다. 이미지 프레임의 순차 비교는, 예를 들면 시간적으로 연속하는 두 개의 이미지 프레임의 데이터 값에 대하여 익스크루시브 오어 연산 (XOR 연산)을 수행하여 할 수 있다. 비교대상인 연속하는 두 이미지 프레임에 대한 XOR 연산값이 정해진 문턱값 이상인 경우, 현재 프레임의 영상이 이전 프레임의 영상에 비해 영상의 장면이 많이 변화된 것으로 판단한다. 예를 들면, 49번째 이미지 프레임과 50 번째 이미지 프레임에 대한 XOR 연산 값보다 50번째 이미지 프레임과 51번째 이미지 프레임에 대한 XOR 연산값이 훨씬 더 크고, 또한 정해진 문턱값 보다 더 클 것이다. 이 경우, 51번째 이미지 프레임에 대하여는, 제1 및 제2 프로세스(240, 250)가 그 두 이미지 프레임을 동시에 SBS 형태로 표시하도록 제어할 필요가 있으며, 이러한 동기화된 표시는 제어프로세스(235)에서 제어할 수 있다. 또한, 장면 변화가 큰 101번째 이미지 프레임에 대하여도 마찬가지이다. 즉, 제어 프로세스(235)는, 예컨대 51 및 101번 이미지 프레임과 같이, 비디오 드라이버(260)로 동시에 전송할 이미지 프레임을 찾아내서 그에 관한 정보를 제1 및 제2 프로세스(240, 250)에 제공하여, 제1 및 제2 프로세스(240, 250)로 하여금 그 이미지 프레임(즉, 51번 및 101번 프레임) 각각을 동시에 SBS 형태로 표시하도록 하여 그 처리 결과를 확인하고, 다음 이미지 프레임을 비디오 드라이버(260)로 전송하도록 구성할 수 있다.
도 7 및 도 8을 참조하여, 사시성 눈을 가진 사용자가 디스플레이에 표시되는 SBS 형태의 이미지를 자신의 시각에 맞도록 조절하는 방법을 설명한다.
먼저, 디스플레이(280)의 제1 표시영역(CS1)과 제2 표시영역(CS2)에 각각 이미지 표시영역 보정을 위한 표적들(C1, C2)을 표시한다(S210). 도 7(a)에 도시된 것과 같이 표적들(C1, C2)은 중심선이 표시된 원을 사용할 수 있으나, 이에 한정되는 것은 아니고 사각형, 6각형 등 다양한 도형이 사용될 수 있다. 도 7(b)는 눈동자의 초점이 어긋나 있는 사용자가 도 7(a)에 표시된 것과 같이, 수평이 맞도록 표시된 SBS 이미지를 장착-HMD를 사용하여 볼 경우 인식되는 상태를 도시한 경우이다. 어떤 사용자가 SBS 이미지를 볼 때, 제1 표적(C1)과 제2 표적(C2)이 도 7(b)와 같이 인식되는 경우, 제2 표적(C2)을 각각 -dx, -dy 만큼 이동시키면 그 두 표적(C1, C2)은 일치하게 된다. 즉, 입력장치(290)(예를 들면 블루투스로 연결되는 리모콘 또는 조이스틱)나 터치스크린 센서를 이용하여 제2 표시영역(CS2)의 좌표를 (-dx, -dy) 만큼 이동시키도록 사용자가 지시하면, 제어프로세스(235)는 입력장치(290)로부터 그에 대응하는 위치조절 신호를 입력을 받아서 제2 표시영역(CS2)이 디스플레이(280) 상에서 그 만큼 이동된 위치에 표시되도록 제어한다(S220, S230). 그 사용자가 SBS 이미지를 볼 때 두 표적(C1, C2)이 일치하는 것으로 인식될 때 위치조정완료지시를 내리고, 제어프로세스(235)는 그에 의하여 입력되는 조정 종료 신호를 입력장치(290)로부터 입력받고, 조정된 제1 표시영역 및/또는 제2 표시영역의 좌표값을 기록한다(S40, S50). 이후부터는 이렇게 위치 조정된 영역에 이미지 프레임이 표시된다. 도 7(c)는 사용자에 맞도록 조정된 제1 표시영역 및 제2 표시영역에 대한 SBS 표시 형태를 나타낸다.
이상에서 설명한 것처럼, 본 발명에 따르면, 좌안용 영상과 우안용 영상을 각각 별도의 프로세스로 처리하므로, 데이터 처리의 속도를 높일 수 있어서 영상의 끊김 현상이 생기지 않는다. 본 발명에 따른 입체감은 단안시 효과에 의한 입체감과 표시 시간차에 따른 입체감으로서, 이는 양안시차 등과 같은 양안시 효과에 따른 통상적인 입체감과는 이질적인 것이고, 부작용도 크게 완화된 것이다. 또한, 사시 사용자도 디스플레이되는 두 영상의 위치를 자신이 눈에 맞게 조절할 수 있다.
이상에서 설명한 본 발명의 내용은 본 발명의 바람직한 실시예에 불과하다. 해당 기술 분야의 숙련된 당업자는 하기의 특허청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있다. 따라서 특허청구범위의 등가적인 의미나 범위에 속하는 모든 변화들은 전부 본 발명의 권리범위 안에 속함을 밝혀둔다.

Claims (10)

  1. 비디오 스트림을 전자장치의 디스플레이에 사이드-바이-사이드(side-by-side: SBS) 형식으로 표시하는 방법으로,
    상기 전자장치로 수신되는 비디오 스트림을 메모리에 저장하는 단계;
    상기 메모리에 저장된 비디오 스트림 중 변환을 통해 단일의 디스플레이에 표시하도록 지정된 동일한 비디오 스트림 패킷을 제1 및 제2 프로세스가 동시에 각각 별도로 읽어내는 단계;
    상기 제1 프로세스는 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 생성된 비디오 프레임들을 상기 디스플레이의 좌측 절반 영역 내의 지정된 제1 표시영역에 표시되도록 스케일링하여 비디오 구동부로 전송하는 제1 변환 표시단계;
    상기 제2 프로세스는 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 생성된 비디오 프레임들을 상기 디스플레이의 우측 절반 영역 내의 지정된 제2 표시영역에 표시되도록 스케일링하여 비디오 구동부로 전송하는 제2 변환 표시단계; 및
    상기 각각의 제1 및 제2 프로세스 각각에서 상기 지정된 동일한 비디오 스트림 패킷에 대한 작업 수행이 모두 완료된 경우, 상기 지정된 동일한 비디오 스트림 패킷의 바로 다음 번의 비디오 스트림 패킷을 변환을 통해 상기 단일의 디스플레이에 표시할 새로운 비디오 스트림 패킷으로 지정하는 단계를 포함하는 것을 특징으로 하는 비디오 스트림을 SBS 형태로 디스플레이에 표시하는 방법.
  2. 제1항에 있어서, 상기 제1 프로세스에 의한 상기 지정된 동일한 비디오 스트림 패킷의 이미지 변환 표시 작업의 수행 완료 시간과 상기 제2 프로세스에 의한 상기 지정된 동일한 비디오 스트림 패킷의 이미지 변환 표시 작업의 수행 완료 시간 간의 시간 차이가 정해진 범위 이내를 벗어나지 않도록, 상기 제1 프로세스와 상기 제2 프로세스의 이미지 처리 속도를 제어하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림을 SBS 형태로 디스플레이에 표시하는 방법.
  3. 제2항에 있어서, 상기 이미지 처리 속도의 제어는, 상기 시간 차이가 비디오 스트림의 30분의 3 프레임 이내가 되도록 하는 제어인 것을 특징으로 하는 비디오 스트림을 SBS 형태로 디스플레이에 표시하는 방법.
  4. 제1항에 있어서, 상기 제1 및 제2 프로세스보다 먼저 상기 지정된 동일한 비디오 스트림 패킷을 상기 메모리로부터 읽어내어 디코딩하는 단계; 디코딩에 의해서 순차로 생성되는 이미지 프레임들에 대하여, 시간적으로 인접하는 두 이미지 프레임을 비교하여 그 두 이미지 프레임 간의 장면 변화의 정도를 산출하는 단계; 및 산출된 장면 변화의 정도가 문턱값을 초과하는 경우,그 경우에 해당하는 이미지 프레임은 상기 제1 프로세스와 상기 제2 프로세스에서 동시에 상기 비디오 구동부로 전송하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림을 SBS 형태로 디스플레이에 표시하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 표시영역과 상기 제2 표시영역에 이미지 표시영역 보정을 위한 제1 표적 및 제2 표적을 각각 표시하는 단계; 및 사용자가 입력장치를 이용하여 상기 제1 표적과 상기 제2 표적 중 적어도 어느 한 가지의 위치를 자신의 두 눈에 맞게 보정하는 것을 완료하면, 그에 응하여 상기 입력장치로부터 보정값을 제공받아, 그 보정값에 따라서 상기 제1 표시영역 및 상기 제2 표시영역 중 적어도 어느 하나의 이미지 표시영역 좌표를 변경하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림을 SBS 형태로 디스플레이에 표시하는 방법.
  6. 비디오 스트림을 SBS 형태로 디스플레이에 표시하기 위한 휴대용 전자 장치로서, 제어부와, 디스플레이와, 상기 디스플레이를 제어하기 위한 비디오 구동부와, 무선통신모듈과, 상기 제어부에서 수행되어 비디오 스트림을 SBS 형식으로 변환하여 표시하는 프로그램이 저장된 메모리를 포함하고,
    상기 프로그램은,
    상기 무선통신모듈에서 수신되는 비디오 스트림을 상기 메모리에 저장하는 단계;
    상기 메모리에 저장된 비디오 스트림 중 변환을 통해 단일의 디스플레이에 표시하도록 지정된 동일한 비디오 스트림 패킷을 제1 및 제2 프로세스에서 동시에 각각 별도로 읽어내는 단계;
    상기 제1 프로세스는 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 생성된 비디오 프레임들을 상기 디스플레이의 좌측 절반 영역 내의 지정된 제1 표시영역에 표시되도록 스케일링하여 상기 비디오 구동부로 전송하는 제1 변환 표시단계;
    상기 제2 프로세스는 읽어낸 비디오 패킷을 디코딩하고, 디코딩에 의해서 생성된 비디오 프레임들을 상기 디스플레이의 우측 절반 영역 내의 지정된 제2 표시영역에 표시되도록 스케일링하여 상기 비디오 구동부로 전송하는 제2 변환 표시단계; 및
    상기 제1 및 제2 프로세스 각각에서 상기 지정된 동일한 비디오 스트림 패킷에 대한 작업 수행이 모두 완료된 경우, 상기 지정된 동일한 비디오 스트림 패킷의 바로 다음 번의 비디오 스트림 패킷을 변환을 통해 상기 단일의 디스플레이에 표시할 새로운 비디오 스트림 패킷으로 지정하는 단계를 수행하는 것을 특징으로 하는 비디오 스트림을 SBS 형태로 디스플레이에 표시하기 위한 휴대용 전자장치.
  7. 제6항에 있어서, 상기 프로그램은, 상기 제1 프로세스에 의한 상기 지정된 동일한 비디오 스트림 패킷의 이미지 변환 표시 작업의 수행 완료 시간과 상기 제2 프로세스에 의한 상기 지정된 동일한 비디오 스트림 패킷의 이미지 변환 표시 작업의 수행 완료 시간 간의 시간 차이가 정해진 범위 이내를 벗어나지 않도록, 상기 제1 프로세스와 상기 제2 프로세스의 이미지 처리 속도를 제어하는 단계를 더 포함하는 것을 특징으로 비디오 스트림을 SBS 형태로 디스플레이에 표시하기 위한 휴대용 전자장치.
  8. 제7항에 있어서, 상기 이미지 처리 속도의 제어는, 상기 시간 차이가 비디오 스트림의 30분의 3 프레임 이내가 되도록 하는 제어인 것을 특징으로 하는 비디오 스트림을 SBS 형태로 디스플레이에 표시하기 위한 휴대용 전자장치.
  9. 제6항에 있어서, 상기 프로그램은,
    상기 제1 및 제2 프로세스보다 먼저 상기 지정된 동일한 비디오 스트림 패킷을 상기 메모리로부터 읽어내어 디코딩하는 단계; 디코딩에 의해서 순차로 생성되는 이미지 프레임들에 대하여, 시간적으로 인접하는 두 이미지 프레임을 비교하여 그 두 이미지 프레임 간의 장면 변화의 정도를 산출하는 단계; 및 산출된 장면 변화의 정도가 문턱값을 초과하는 경우,그 경우에 해당하는 이미지 프레임은 상기 제1 프로세스와 상기 제2 프로세스에서 동시에 상기 비디오 구동부로 전송하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림을 SBS 형태로 디스플레이에 표시하기 위한 휴대용 전자장치.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서, 상기 프로그램은,
    상기 제1 표시영역과 상기 제2 표시영역에 이미지 표시영역 보정을 위한 제1 표적 및 제2 표적을 각각 표시하는 단계; 및 사용자가 입력장치를 이용하여 상기 제1 표적과 상기 제2 표적 중 적어도 어느 한 가지의 위치를 자신의 두 눈에 맞게 보정하는 것을 완료하면, 그에 응하여 상기 입력장치로부터 보정값을 제공받아, 그 보정값에 따라서 상기 제1 표시영역 및 상기 제2 표시영역 중 적어도 어느 하나의 이미지 표시영역 좌표를 변경하는 단계를 더 포함하는 것을 특징으로 하는 비디오 스트림을 SBS 형태로 디스플레이에 표시하기 위한 휴대용 전자장치.
PCT/KR2015/005682 2014-08-18 2015-06-05 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치 WO2016027970A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140107307A KR101634439B1 (ko) 2014-08-18 2014-08-18 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치
KR10-2014-0107307 2014-08-18

Publications (1)

Publication Number Publication Date
WO2016027970A1 true WO2016027970A1 (ko) 2016-02-25

Family

ID=55350888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/005682 WO2016027970A1 (ko) 2014-08-18 2015-06-05 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치

Country Status (2)

Country Link
KR (1) KR101634439B1 (ko)
WO (1) WO2016027970A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050016806A (ko) * 2003-08-04 2005-02-21 윤경화 이동통신 단말기용 헤드마운트 디스플레이
JP2010230898A (ja) * 2009-03-26 2010-10-14 Brother Ind Ltd カラー画像表示装置
KR20140030473A (ko) * 2012-08-30 2014-03-12 삼성전자주식회사 멀티 뷰 영상 처리 방법 및 이를 수행하는 장치
KR20140089731A (ko) * 2013-01-07 2014-07-16 한국기술교육대학교 산학협력단 입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050016806A (ko) * 2003-08-04 2005-02-21 윤경화 이동통신 단말기용 헤드마운트 디스플레이
JP2010230898A (ja) * 2009-03-26 2010-10-14 Brother Ind Ltd カラー画像表示装置
KR20140030473A (ko) * 2012-08-30 2014-03-12 삼성전자주식회사 멀티 뷰 영상 처리 방법 및 이를 수행하는 장치
KR20140089731A (ko) * 2013-01-07 2014-07-16 한국기술교육대학교 산학협력단 입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치

Also Published As

Publication number Publication date
KR101634439B1 (ko) 2016-06-28
KR20160021687A (ko) 2016-02-26

Similar Documents

Publication Publication Date Title
EP3379525B1 (en) Image processing device and image generation method
US9414041B2 (en) Method for changing play mode, method for changing display mode, and display apparatus and 3D image providing system using the same
US9554126B2 (en) Non-linear navigation of a three dimensional stereoscopic display
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
WO2011036827A1 (ja) 立体映像表示装置および立体映像表示方法
JP5379200B2 (ja) 携帯端末機及びその動作制御方法
US8749617B2 (en) Display apparatus, method for providing 3D image applied to the same, and system for providing 3D image
JP6433850B2 (ja) ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法
KR20120016408A (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
KR20120132240A (ko) 복수의 사용자에게 복수의 영상을 제공하는 듀얼 뷰 디스플레이 방법 및 듀얼 뷰 안경 구동 방법, 이를 적용한 디스플레이 장치 및 듀얼 뷰 안경
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
KR101619468B1 (ko) 3d 가상현실 영상 디스플레이 장치 및 그 제어방법
WO2023056803A1 (zh) 一种全息展示方法及装置
KR101927904B1 (ko) 기록매체, 그 기록매체에 기록된 헤드 마운티드 디스플레이용 양안거리 캘리브레이션 프로그램, 기록매체가 탑재된 모바일 장치 및 헤드 마운티드 디스플레이의 양안거리 캘리브레이션 방법
JP2006174434A (ja) 立体映像装置
WO2016027970A1 (ko) 비디오 스트림을 사이드 바이 사이드 형태로 디스플레이에 표시하는 방법 및 그 방법으로 비디오 스트림을 디스플레이에 표시하는 휴대용 전자 장치
US20130222374A1 (en) Method for outputting three-dimensional (3d) image and display apparatus thereof
JP2005175539A (ja) 立体映像表示装置及び映像表示方法
US9154766B2 (en) Method for outputting three-dimensional (3D) image at increased output frequency and display apparatus thereof
TW201909627A (zh) 同步的３ｄ全景視訊播放系統
KR20110136326A (ko) 삼차원 입체안경의 수평각 정보를 반영한 삼차원 스테레오스코픽 렌더링 시스템
WO2015016691A1 (ko) 2차원 영상과 3차원 영상의 중간 정도의 입체감을 주는 영상 변환 및 재생 방법
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
CN104432922A (zh) 虚拟现实头盔
CN113382229B (zh) 一种基于全息沙盘的动辅相机调整方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15834410

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15834410

Country of ref document: EP

Kind code of ref document: A1