WO2016175418A1 - 디스플레이 장치 및 그의 제어 방법 - Google Patents

디스플레이 장치 및 그의 제어 방법 Download PDF

Info

Publication number
WO2016175418A1
WO2016175418A1 PCT/KR2015/013250 KR2015013250W WO2016175418A1 WO 2016175418 A1 WO2016175418 A1 WO 2016175418A1 KR 2015013250 W KR2015013250 W KR 2015013250W WO 2016175418 A1 WO2016175418 A1 WO 2016175418A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stereoscopic
left eye
right eye
command
Prior art date
Application number
PCT/KR2015/013250
Other languages
English (en)
French (fr)
Inventor
김도완
백은교
유한일
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/569,642 priority Critical patent/US10339722B2/en
Publication of WO2016175418A1 publication Critical patent/WO2016175418A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Definitions

  • the present invention relates to a display apparatus and a control method thereof, and more particularly, to a display apparatus and a control method thereof capable of providing a virtual reality service.
  • HMD head mounted display
  • the user can be provided with a 3D image of the direction he or she is looking at according to the movement of the head, so that the user can feel a more realistic 3D image unlike a conventional monitor or TV.
  • the parallax between the left eye image and the right eye image is excessively increased, so that a crosstalk phenomenon occurs or the parallax between the left eye image and the right eye image is reduced, thereby providing an unnatural image to the user.
  • the present invention is directed to the above-described needs, and an object of the present invention is to provide a display apparatus and a method of controlling the same, which can generate and provide an enlarged image and a reduced image of which a stereoscopic effect is adjusted when the stereoscopic image is enlarged or reduced. have.
  • a display device for providing a virtual reality service, a display for displaying a stereoscopic image, a user interface for receiving a user command to enlarge or reduce the stereoscopic image, and the user. And a processor configured to control the display to display the enlarged or reduced image of which the stereoscopic effect is adjusted by adjusting the stereoscopic sense of the stereoscopic image so as to correspond to the user command.
  • the processor moves each of the left eye image and the right eye image included in the stereoscopic image, and generates the left eye stereoscopic spatial image and the right eye stereoscopic spatial image by projecting each of the moved left eye image and the right eye image into a virtual stereoscopic space.
  • the image corresponding to the user command may be extracted and displayed from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • the processor may move the left eye image to the left, move the right eye image to the right, and move the left eye image to the left and the right when a full magnification command for enlarging the entire stereoscopic image is input.
  • the left eye stereoscopic spatial image and the right eye stereoscopic spatial image may be generated using each of the right eye images, and an enlarged image corresponding to the entire magnification command may be extracted and displayed from the left eye stereoscopic spatial image and the right eye stereoscopic spatial image, respectively.
  • the processor may move the left eye image to the right, move the right eye image to the left, and move the left eye image and the left to the right when a full magnification command for enlarging the entire stereoscopic image is input.
  • the left eye stereoscopic spatial image and the right eye stereoscopic spatial image may be generated using each of the right eye images, and the reduced image corresponding to the entire reduction command may be extracted and displayed from the left eye stereoscopic spatial image and the right eye stereoscopic spatial image, respectively.
  • the processor generates a left eye stereoscopic space image and a right eye stereoscopic space image by projecting each of the left eye image and the right eye image included in the stereoscopic image into a virtual stereoscopic space, and exists in the left eye stereoscopic space and the right eye stereoscopic space.
  • the camera may be rotated, and an image corresponding to the user command may be extracted from the left eye stereoscopic spatial image and the right eye stereoscopic spatial image by using the rotated virtual camera.
  • the processor rotates the virtual camera existing in the left eye stereoscopic space to the right and the virtual camera existing in the right eye stereoscopic space to the left.
  • the processor rotates the virtual camera existing in the left eye stereoscopic space to the left and rotates the virtual camera existing in the right eye stereoscopic space to the right. Extracts an image corresponding to the partial reduction command from each of the left eye stereoscopic space image and the right eye stereoscopic spatial image by using the rotated virtual camera, and overlays each extracted image on the left eye image and the right eye image, respectively. Can be displayed.
  • a control method of a display apparatus for providing a virtual reality service if a user command for displaying a stereoscopic image and a user command for enlarging or reducing the stereoscopic image is input, the user command is input. And displaying the enlarged or reduced image of which the stereoscopic effect is adjusted by adjusting the stereoscopic sense of the stereoscopic image so as to correspond to the stereoscopic image.
  • the displaying of the enlarged image or the reduced image may include moving the left eye image and the right eye image included in the stereoscopic image, and projecting each of the moved left eye image and the right eye image in a virtual stereoscopic space.
  • An image and a right eye stereoscopic spatial image may be generated, and an image corresponding to the user command may be extracted and displayed from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • the displaying of the enlarged image or the reduced image may include shifting the left eye image to the left, moving the right eye image to the right, and moving to the left when a full magnification command for enlarging the entire stereoscopic image is input.
  • a left eye stereoscopic spatial image and a right eye stereoscopic spatial image are generated using each of the left eye image and the right eye image moved to the right, and an enlarged image corresponding to the entire magnification command is respectively generated from the left eye stereoscopic image and the right eye stereoscopic spatial image. Can be extracted and displayed.
  • the displaying of the enlarged image or the reduced image may include shifting the left eye image to the right, moving the right eye image to the left, and moving to the right when a full zoom command for enlarging the entire stereoscopic image is input.
  • a left eye stereoscopic spatial image and a right eye stereoscopic spatial image are generated using each of the left eye image and the right eye image moved to the left, and a reduced image corresponding to the entire reduction command is respectively generated from the left eye stereoscopic image and the right eye stereoscopic spatial image. Can be extracted and displayed.
  • the displaying of the enlarged image or the reduced image may include generating a left eye stereoscopic image and a right eye stereoscopic spatial image by projecting each of the left eye image and the right eye image included in the stereoscopic image into a virtual stereoscopic space, and generating the left eye stereoscopic space image. And rotating the virtual camera existing in the right eye stereoscopic space, and extracting and displaying an image corresponding to the user command from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image using the rotated virtual camera.
  • the displaying of the enlarged image or the reduced image may include rotating a virtual camera existing in the left eye stereoscopic space to the right when a partial magnification command for enlarging a portion of the stereoscopic image is input.
  • Rotate a virtual camera existing within the left side extract an image corresponding to the partial magnification command from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image by using the rotated virtual camera, and extract each of the extracted images.
  • Each of the left eye image and the right eye image may be overlaid and displayed.
  • the virtual camera existing in the left eye stereoscopic space is rotated to the left and in the right eye stereoscopic space.
  • Rotate an existing virtual camera to the right extract an image corresponding to the partial reduction command from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image by using the rotated virtual camera, and extract each of the extracted images from the left eye
  • the image and the right eye image may be overlaid and displayed.
  • FIG. 1 is a diagram illustrating a display device that provides a virtual reality service according to an embodiment of the present invention
  • FIG. 2A is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • 2B is a block diagram illustrating a detailed configuration of a display apparatus according to an exemplary embodiment.
  • 3 to 11 are views for explaining a method of obtaining an enlarged image and a reduced image according to an embodiment of the present invention
  • FIG. 12 is a diagram for describing a method of generating and outputting an image according to an enlargement command and a reduction command according to an embodiment of the present invention
  • FIG. 13 is a flowchart illustrating a control method according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a display device that provides a virtual reality service according to an exemplary embodiment.
  • the display apparatus 100 may be worn on a user's head to perform a function as a head mounted display (HMD).
  • HMD head mounted display
  • the display apparatus 100 may be implemented as a smart phone or a tablet, and may be attached to the front of a main body (eg, a housing) having a shape of glasses, a headset, a helmet, or the like to provide an image in both eyes of a user. .
  • a main body eg, a housing
  • a headset e.g., a headset
  • a helmet e.g., a helmet
  • the display apparatus 100 when the display apparatus 100 is attached to the front of the main body, the display provided in the display apparatus 100 is located in close proximity to both eyes of the user. Accordingly, the display apparatus 100 may display an image through a display and provide an image in front of the user's eyes.
  • the rear of the main body may be formed glasses legs or bends to be worn on the user's head.
  • the display apparatus 100 may be implemented as a device having a display on its own and having a shape that is wearable on a user's head.
  • the display may be fixedly installed instead of being detached.
  • an area viewed by the user's left eye and an area viewed by the right eye may be spatially separated from the display.
  • the display apparatus 100 may display different images in the area viewed by the user's left eye and the area viewed by the right eye, such that different images are incident on the left and right eyes.
  • the display apparatus 100 may determine the user's gaze direction by detecting a user's head movement.
  • the display apparatus 100 may include at least one of a gyro sensor, an acceleration sensor, and a geomagnetic sensor to detect the user's head moving up, down, left, or right, and determine the user's gaze direction.
  • the display apparatus 100 may output an image corresponding to the user's gaze direction.
  • the display apparatus 100 extracts a left eye image and a right eye image existing in a user's line of sight from a panoramic 3D image, outputs a left eye image to a display area viewed by the left eye, and displays a right eye in a display area viewed by the right eye.
  • the video can be output.
  • the user may be provided with the 3D image present in the direction of his gaze from the panorama 3D image, thereby enabling the user to experience virtual reality (VR).
  • VR virtual reality
  • the display apparatus 100 does not enlarge or reduce the stereoscopic image as it is and displays the stereoscopic image. An image or a reduced image can be displayed.
  • the cross talk phenomenon can be prevented and the enlarged and reduced image having a natural stereoscopic sense can be provided.
  • FIG. 2A is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • the display apparatus 100 includes a display 110, a user interface 120, and a processor 130.
  • the display 110 displays a stereoscopic image.
  • the stereoscopic image may be a left eye image and a right eye image constituting the panoramic 3D image.
  • the display 110 displays a left eye image in an area viewed by the user's left eye on the display 110, and the user's right eye looks on the display 110.
  • the right eye image may be displayed in the area.
  • the user interface 120 receives a user command.
  • the user interface 120 may receive a user command for enlarging or reducing a stereoscopic image.
  • the user interface 120 may be implemented as a button or a touch button located in the main body, and may receive an enlargement command or a reduction command from a user wearing the display apparatus 100.
  • the processor 130 controls the overall operation of the display apparatus 100.
  • the processor 130 may include a central processing unit (CPU) (or a microcomputer and a CPU), a random access memory (RAM), and a read only memory (ROM) for operating the display apparatus 100.
  • CPU central processing unit
  • RAM random access memory
  • ROM read only memory
  • the processor 130 may control the display 110 to display a stereoscopic image.
  • the processor 130 may generate a left eye stereoscopic spatial image and a right eye stereoscopic spatial image by projecting each of the left eye image and the right eye image constituting the 3D image into a virtual stereoscopic space.
  • the generated stereoscopic spatial image may be a panoramic 3D image. That is, the processor 130 projects the left eye image and the right eye image to the virtual sphere space so that the left eye image and the right eye image each exist in a 360 ° direction with respect to the center of the virtual sphere space. Stereoscopic spatial images may be generated.
  • the processor 130 may extract an image existing in a direction that the user wearing the display apparatus 100 looks out of the stereoscopic spatial image, and display the extracted image on the display 110.
  • the processor 130 determines a user's gaze direction using a sensor (not shown) included in the display apparatus 100, and uses a virtual camera positioned at the center of each of the left eye stereoscopic space image and the right eye stereoscopic space image.
  • a sensor not shown
  • an image existing in an area to which the user's eyes are directed may be extracted and displayed from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • the processor 130 detects a direction in which the head of the user wearing the display apparatus 100 moves using at least one of a gyro sensor, an acceleration sensor, and a geomagnetic sensor provided in the display apparatus 100. Determine the direction you are looking.
  • the processor 130 positions a virtual camera having a constant field of view (FOV) at the center of each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image, and then rotates the virtual camera in the direction of the user's eye.
  • An image existing in the eyeline direction of the user may be extracted and displayed from each of the spatial image and the right eye stereoscopic spatial image.
  • the processor 130 moves the virtual camera positioned at the center of each of the left eye stereoscopic image and the right eye stereoscopic spatial image to the left 60 ° direction.
  • the image existing in the left 60 ° direction can be extracted from the left eye stereoscopic spatial image and the right eye stereoscopic spatial image, respectively.
  • the processor 130 displays the image extracted from the left eye stereoscopic spatial image in an area viewed by the left eye of the user wearing the display apparatus 100 on the display 110 and displays the image extracted from the right eye stereoscopic spatial image.
  • the right eye of the user wearing the display apparatus 100 may be displayed in an area viewed by the display 110.
  • the user may be provided with a 3D image of the direction in which his eyes are directed among the panorama 3D images.
  • the processor 130 adjusts the stereoscopic sense of the stereoscopic image so as to correspond to the user command and displays the enlarged or reduced image in which the stereoscopic effect is adjusted. Can be controlled.
  • the magnification command includes a full magnification command for enlarging the entire stereoscopic image and a partial magnification command for enlarging a portion of the stereoscopic image
  • the reduction command includes a part of the entire reduction command and the stereoscopic image for reducing the entire stereoscopic image It includes a partial reduction command to reduce the.
  • the processor 130 moves each of the left eye image and the right eye image included in the stereoscopic image, and projects each of the moved left eye image and the right eye image onto a virtual stereoscopic spatial image to generate a left eye stereoscopic spatial image and a right eye stereoscopic spatial image,
  • An image corresponding to a user command may be extracted and displayed from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • the processor 130 moves each of the left eye image and the right eye image to correspond to a user command before projecting the left eye image and the right eye image to the virtual stereoscopic space, and then moves each of the moved left eye image and the right eye image to the virtual stereoscopic space. Projecting onto the left eye stereoscopic spatial image and the right eye stereoscopic spatial image may be generated.
  • the processor 130 moves the left eye image to the left, the right eye image to the right, the left eye image to the left, and the right eye to the right.
  • Each of the images may generate a left eye stereoscopic spatial image and a right eye stereoscopic spatial image, and extract and display an image corresponding to an entire magnification command from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • the processor 130 moves the left eye image and the right eye image to the right to generate a left eye stereoscopic spatial image and a right eye stereoscopic spatial image, and enlarges each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • the image can be extracted and displayed.
  • the processor 130 moves the left eye image to the left and generates a left eye stereoscopic spatial image using the left eye image moved to the left.
  • the processor 130 reduces the amount of view angle of the virtual camera existing in the left eye stereoscopic spatial image by the enlargement ratio with respect to the total magnification command, and enlarges the entire view in the left eye stereoscopic spatial image using the virtual camera with the reduced amount of view angle. An enlarged image corresponding to the command may be extracted.
  • the processor 130 only adjusts the angle of view of the virtual camera but does not change the focus position of the virtual camera. That is, the processor 130 maintains the focal position of the virtual camera the same as before the full magnification command is input, and enlarges the magnified image corresponding to the full magnification command in the left eye stereoscopic spatial image generated based on the left eye image moved to the left. Can be extracted.
  • the left eye stereoscopic spatial image when the left eye stereoscopic spatial image is generated by the left eye image shifted to the left, the left eye stereoscopic spatial image may be rotated in a counterclockwise direction compared to before moving to the left.
  • the right side of the image is extracted from the left eye stereoscopic spatial image which is not moved to the left. It is possible to acquire an existing magnified image. That is, when the enlarged image is extracted by moving the left eye image to the left side, an enlarged image existing on the right side may be extracted than when extracting the enlarged image from the left eye image before moving.
  • the processor 130 may display the obtained enlarged image on the display 110.
  • the processor 130 may display the magnified image obtained from the left eye stereoscopic spatial image in an area viewed by the user's left eye on the display 110.
  • the processor 130 may adjust and display the size of the enlarged image to have the same size as the image displayed on the display 110 before the entire enlargement command is input.
  • the processor 130 acquires an image 320 present in the user's gaze direction from the left eye image 310 by using a virtual camera looking at the same direction as the user's gaze direction,
  • the display may be displayed on the display area 111 facing the left eye.
  • the processor 130 may move the left eye image to the left to generate the image 330 moved to the left.
  • the processor 130 reduces the amount of view angle of the virtual camera by the enlargement ratio of the entire zoom command while maintaining the focus position of the virtual camera, and enlarges the image 340 in the image moved to the left using the virtual camera. Can be obtained.
  • the magnified image 340 may be an image that is somewhat on the right side of the image 320.
  • the processor 130 may display the magnified image 340 on the display area 111.
  • the processor 130 may adjust and display the size of the enlarged image 340 to be the same as the size of the image 320 displayed on the display area 111.
  • the processor 130 moves the right eye image to the right and generates a right eye stereoscopic spatial image using the right eye image moved to the right.
  • the processor 130 reduces the amount of view angle of the virtual camera existing in the right eye stereoscopic spatial image by the enlargement ratio with respect to the total magnification command, and enlarges the entire view in the right eye stereoscopic spatial image using the virtual camera with the reduced amount of view angle. An enlarged image corresponding to the command may be extracted.
  • the processor 130 only adjusts the angle of view of the virtual camera but does not change the focus position of the virtual camera. That is, the processor 130 maintains the focal position of the virtual camera the same as before the full zoom command is input, and enlarges the zoom image corresponding to the full zoom command in the right eye stereoscopic spatial image generated based on the right eye image moved to the right. Can be extracted.
  • the right eye stereoscopic spatial image when the right eye stereoscopic spatial image is generated by the right eye image moved to the right, the right eye stereoscopic spatial image may be rotated in a clockwise direction compared to before moving to the right.
  • the enlarged image can be obtained. That is, when the enlarged image is extracted by moving the right eye image to the right, the enlarged image existing on the left side may be extracted than when extracting the enlarged image from the right eye image before the movement.
  • the processor 130 may display the obtained enlarged image on the display 110.
  • the processor 130 may display the magnified image obtained from the right eye stereoscopic spatial image in an area viewed by the user's right eye on the display 110.
  • the processor 130 may adjust and display the size of the enlarged image to have the same size as the image displayed on the display 110 before the entire enlargement command is input.
  • the processor 130 acquires an image 420 existing in the eye gaze direction of the user from the right eye image 410 by using a virtual camera looking at the same direction as the eye gaze direction of the user.
  • the right eye may display the display area 112.
  • the processor 130 may move the right eye image to the right to generate the image 430 moved to the right.
  • the processor 130 reduces the amount of view angle of the virtual camera by the enlargement ratio of the entire magnification command while maintaining the focus position of the virtual camera, and enlarges the image 440 in the image moved to the right using the virtual camera.
  • the magnified image 440 may be an image that is somewhat on the left side of the image 420.
  • the processor 130 may display the magnified image 440 on the display area 112.
  • the processor 130 may adjust and display the size of the enlarged image 440 to be the same as the size of the image 420 displayed on the display area 112.
  • the left eye image is shifted to the left and the right eye image is shifted to the right according to the entire zoom command.
  • the overlapping area between the left eye image and the right eye image is reduced, resulting in excessive parallax. It becomes possible to prevent the crosstalk phenomenon caused by the increase.
  • the magnified image may vary depending on an enlargement ratio for the entire magnification command. For example, when the magnification ratio of the entire magnification command is 150%, the processor 130 may obtain the magnified image by reducing the angle of view of the virtual camera by 50%.
  • the processor 130 may determine that the degree of movement of each of these images is proportional to the magnification ratio for the entire magnification command.
  • the processor 130 moves the left eye image and the right eye image more toward left and right directions, and the smaller the enlargement ratio moves the left eye image and the right eye image to the left and right directions less. You can.
  • the processor 130 may determine the degree of movement of each of the left eye image and the right eye image in consideration of the parallax between the images extracted from the moved left image and the right image. .
  • the processor 130 may determine that the parallax value between the image acquired from the left eye image moved to the left and the image acquired from the right eye image moved to the right is greater than or equal to the parallax value between the left eye image and the right eye image before the movement.
  • the degree of movement of each of the left eye image and the right eye image may be determined to be smaller than a parallax value that causes dizziness to the user.
  • the processor 130 moves the left eye image to the right, the right eye image to the left, the left eye image moved to the right and the right eye image moved to the left.
  • Each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image may be generated, and the reduced image corresponding to the entire reduction command may be extracted from the left eye stereoscopic spatial image and the right eye stereoscopic spatial image, respectively.
  • the processor 130 moves the left eye image and the right eye image to generate a left eye stereoscopic space image and a right eye stereoscopic space image, and the reduced image is extracted from each of the left eye stereoscopic space image and the right eye stereoscopic spatial image. Can be extracted and displayed.
  • the processor 130 moves the left eye image to the right and generates a left eye stereoscopic spatial image using the left eye image moved to the right.
  • the processor 130 increases the amount of view angle of the virtual camera existing in the left eye stereoscopic spatial image by the reduction ratio with respect to the total reduction command, and reduces the overall reduction in the left eye stereoscopic spatial image using the virtual camera with the increased amount of angle of view.
  • the reduced image corresponding to the command may be extracted.
  • the processor 130 only adjusts the angle of view of the virtual camera but does not change the focus position of the virtual camera. That is, the processor 130 maintains the focal position of the virtual camera the same as before the entire reduction command is input, and reduces the image corresponding to the entire reduction command in the left eye stereoscopic spatial image generated based on the left eye image moved to the right. Can be extracted.
  • the left eye stereoscopic spatial image when the left eye stereoscopic spatial image is generated by the left eye image moved to the right, the left eye stereoscopic spatial image may be rotated in a clockwise direction compared to before moving to the right.
  • the reduced image when the reduced image is extracted from the left eye stereoscopic spatial image rotated in the clockwise direction while maintaining the focus position of the virtual camera, it is present on the left side than when the reduced image is extracted from the left eye stereoscopic spatial image which is not moved to the right.
  • the enlarged image can be obtained. That is, when extracting the reduced image by moving the left eye image to the right, the reduced image existing on the left side may be extracted than when extracting the reduced image from the left eye image before the movement.
  • the processor 130 may display the obtained reduced image on the display 110.
  • the processor 130 may display the reduced image obtained from the left eye stereoscopic spatial image in an area viewed by the user's left eye on the display 110.
  • the processor 130 may adjust and display the size of the reduced image to have the same size as the image displayed on the display 110 before the entire reduction command is input.
  • the processor 130 obtains an image 520 existing in the user's gaze direction from the left eye image 510 by using a virtual camera looking at the same direction as the user's gaze direction.
  • the display may be displayed on the display area 111 facing the left eye.
  • the processor 130 may move the left eye image to the right to generate the image 530 moved to the right.
  • the processor 130 increases the amount of view angle of the virtual camera by the reduction ratio of the entire reduction command while maintaining the focus position of the virtual camera, and reduces the image 540 in the image moved to the right using the virtual camera. Can be obtained.
  • the reduced image 540 may be an image that exists slightly to the left of the image 520.
  • the processor 130 may display the reduced image 540 on the display area 111.
  • the processor 130 may adjust the size of the reduced image 540 to display the same size as that of the image 520 displayed on the display area 111.
  • the processor 130 moves the right eye image to the left and generates a right eye stereoscopic spatial image using the right eye image moved to the left.
  • the processor 130 increases the amount of view angle of the virtual camera existing in the right eye stereoscopic spatial image by the reduction ratio with respect to the total reduction command, and reduces the overall reduction in the right eye stereoscopic spatial image using the virtual camera with the increased amount of angle of view.
  • the reduced image corresponding to the command may be extracted.
  • the processor 130 only adjusts the angle of view of the virtual camera but does not change the focus position of the virtual camera. That is, the processor 130 maintains the focal position of the virtual camera the same as before the entire reduction command is input, and reduces the image corresponding to the entire reduction command in the right eye stereoscopic spatial image generated based on the right eye image moved to the left. Can be extracted.
  • the right eye stereoscopic spatial image when the right eye stereoscopic spatial image is generated by the right eye image shifted to the left, the right eye stereoscopic spatial image may be rotated in a counterclockwise direction compared to the right eye stereoscopic spatial image.
  • the reduced image is extracted from the right-eye stereoscopic spatial image rotated counterclockwise while maintaining the focal position of the virtual camera, the right-side image is extracted from the right-eye stereoscopic spatial image which is not moved to the left. It is possible to acquire an existing magnified image. That is, when the reduced image is extracted by moving the right eye image to the left side, the reduced image existing on the right side may be extracted than when extracting the reduced image from the right eye image before the movement.
  • the processor 130 may display the obtained reduced image on the display 110.
  • the processor 130 may display the reduced image obtained from the right eye stereoscopic spatial image on the display 110 in an area viewed by the user's right eye.
  • the processor 130 may adjust and display the size of the reduced image to have the same size as the image displayed on the display 110 before the entire reduction command is input.
  • the processor 130 obtains an image 620 existing in the eye gaze direction of the user from the right eye image 610 by using a virtual camera looking at the same direction as the eye gaze direction of the user.
  • the right eye may display the display area 112.
  • the processor 130 may move the right eye image to the left to generate the image 630 moved to the left.
  • the processor 130 increases the amount of view angle of the virtual camera by the reduction ratio of the entire reduction command while maintaining the focus position of the virtual camera, and reduces the image 640 in the image moved to the left using the virtual camera. Can be obtained.
  • the reduced image 640 may be an image that is somewhat present on the right side of the image 620.
  • the processor 130 may display the reduced image 640 on the display area 112.
  • the processor 130 may adjust the size of the reduced image 640 to display the same size as that of the image 620 displayed in the display area 112.
  • the parallax between the left eye image and the right eye image is reduced when the stereoscopic image is reduced. It is possible to prevent the phenomenon that provides.
  • the reduced image may vary depending on a reduction ratio for the entire reduction command. For example, when the reduction ratio of the entire reduction command is 50%, the processor 130 may increase the angle of view of the virtual camera by 150% to obtain a reduced image.
  • the processor 130 may determine the degree of movement of each of these images to be proportional to the reduction ratio of the entire reduction command.
  • the processor 130 moves the left eye image and the right eye image more in the right direction and the left direction, and as the reduction ratio decreases, the processor 130 moves the left eye image and the right eye image less in the right direction and the left direction. You can.
  • the processor 130 may determine the degree of movement of each of the left eye image and the right eye image in consideration of the parallax between the images extracted from the moved left image and the right image. .
  • the processor 130 may have a parallax value between an image extracted from a left eye image moved to the right and an image extracted from a right eye image moved to the left, which is generally greater than or equal to a parallax value that may give a natural 3D effect.
  • the degree of movement of each of the left eye image and the right eye image may be determined to be less than or equal to a parallax value between the left eye image and the right eye image before the movement.
  • FIG. 7 a method of determining the degree to which the left eye image and the right eye image are moved will be described as an example in which a full magnification command is input. On the other hand, even when the entire reduction command is input, the same method as the method described in FIG. 7 may be applied.
  • the angle of view of the virtual camera before the entire reduction command is input is a °.
  • the processor 130 reduces the angle of view of the virtual camera by the enlargement ratio for the entire reduction command. Accordingly, the angle of view of the virtual camera after the entire reduction command is input is b °.
  • the processor 130 moves the left eye image to the left and the right eye image to the right, and then in each of the left eye image and the right eye image moved to the left. An enlarged image is obtained.
  • the degree to which the left eye image and the right eye image are moved may be calculated based on Equation 1 below.
  • r may be determined by an overlapping ratio, that is, a parallax value between the left eye image moved to the left and the right eye image moved to the right.
  • the processor 130 is an image extracted from the left eye image moved to the right so that it is generally greater than or equal to a parallax value that can give a natural stereoscopic effect, and less than or equal to the parallax value between the left eye image and the right eye image before the movement
  • the ratio at which the left eye image moved to the left and the right eye image moved to the right may be determined by the determined parallax value.
  • the processor 130 may move linearly (linearly move) or nonlinearly (non-linearly move).
  • linear movement refers to adjusting the stereoscopic feeling of the entire image
  • nonlinear movement refers to increasing the stereoscopic feeling of the central portion of the image and to reducing the stereoscopic feeling of other portions.
  • the enlarged image and the reduced image are obtained by moving the left eye image and the right eye image by the full zoom command and the full zoom out command.
  • the enlarged image of the entire zoom command and the reduced image of the entire zoom command may be obtained by adjusting the position of the virtual camera.
  • the processor 130 moves the virtual camera in the left eye stereoscopic space to the right and moves the virtual camera in the right eye stereoscopic space to the left, without moving the left eye image and the right eye image, and expands the whole.
  • An enlarged image of the command may be obtained.
  • the processor 130 moves the virtual camera in the left eye stereoscopic space to the left and moves the virtual camera in the right eye stereoscopic space to the right without moving the left eye image and the right eye image.
  • a reduced image of may be obtained.
  • the processor 130 generates a left eye stereoscopic space image and a right eye stereoscopic space image by projecting each of the left eye image and the right eye image included in the stereoscopic image into a virtual stereoscopic space, and generates a left eye stereoscopic space image and a right eye stereoscopic space image.
  • the image may correspond to a user command from the left eye stereoscopic spatial image and the right eye stereoscopic spatial image by using the rotated virtual camera.
  • the processor 130 rotates the virtual camera existing in the left eye stereoscopic space to the right and rotates the virtual camera existing in the right stereoscopic space to the left.
  • the image corresponding to the partial magnification command may be extracted from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image by using the rotated virtual camera, and each of the extracted images may be overlaid on the left eye image and the right eye image.
  • the processor 130 rotates the virtual camera existing in the left eye stereoscopic space and the right eye stereoscopic space, and then enlarges the left eye stereoscopic space image and the right eye stereoscopic spatial image using the rotated virtual camera.
  • the image can be extracted and displayed.
  • the processor 130 adjusts the amount of view angle of the virtual camera to a size capable of acquiring an image corresponding to the size of the region where the partial enlargement command is input. That is, since the partial enlargement command is a command for enlarging a partial region of the image currently being displayed, the processor 130 determines an area in which the partial enlargement command is input in the image currently being displayed, and determines the size of the determined region. The amount of view angle of the virtual camera can be adjusted to a size that can acquire as many images.
  • the processor 130 rotates the virtual camera located at the center of the left eye stereoscopic space to the right, and further reduces the amount of view angle of the virtual camera by an enlargement ratio for the partial enlargement command.
  • the processor 130 may extract an enlarged image corresponding to the partial enlargement command from the left eye stereoscopic spatial image by using the virtual camera rotated to the right.
  • the processor 130 rotates the virtual camera and adjusts the amount of view angle without moving the left eye image. That is, the processor 130 may maintain the left eye stereoscopic spatial image in the same manner as before the partial enlargement command is input, and extract the enlarged image corresponding to the partial enlargement command from the left eye stereoscopic spatial image based on the virtual camera rotated to the right. have.
  • the enlarged image is extracted from the left-eye stereoscopic spatial image by using the virtual camera rotated to the right while maintaining the left-eye stereoscopic spatial image as it is, the enlarged image existing on the right side is extracted than when using the unrotated camera. You can get it.
  • the processor 130 may display the obtained enlarged image on the display 110.
  • the processor 130 may display the magnified image obtained from the left eye stereoscopic spatial image in an area viewed by the user's left eye on the display 110.
  • the processor 130 may adjust and display the size of the enlarged image so that the enlarged image is overlaid on the area where the partial enlargement command is input from the image displayed on the display 110 before the partial enlargement command is input.
  • the processor 130 obtains an image 820 existing in the user's gaze direction from the left eye image 810 by using a virtual camera looking at the same direction as the user's gaze direction.
  • the display may be displayed on the display area 111 facing the left eye.
  • a partial magnification command for a portion of the currently displayed image 820 may be input.
  • the processor 130 reduces the amount of field of view of the virtual camera to be an angle of view for acquiring the image 830 for the area where the partial magnification command is input.
  • the processor 130 rotates the virtual camera to the right while maintaining the left eye image as it is, and reduces the amount of view angle of the virtual camera by an enlargement ratio of the partial enlargement command, and uses the virtual camera to enlarge the enlarged image 840.
  • the magnified image 840 may be an image that is somewhat to the right of the image 820.
  • the processor 130 may display the magnified image 840 on the display area 111.
  • the processor 130 may adjust the size of the magnified image 840 and overlay the area on which the partial magnification command is input in the image 820 displayed on the display area 111.
  • the processor 130 adjusts the amount of view angle of the virtual camera to a size capable of acquiring an image corresponding to the size of the region where the partial enlargement command is input.
  • the processor 130 rotates the virtual camera located in the center of the right eye stereoscopic space to the left, and further reduces the amount of view angle of the virtual camera by an enlargement ratio for the partial enlargement command.
  • the processor 130 may extract an enlarged image corresponding to the partial magnification command from the right eye stereoscopic spatial image by using the virtual camera rotated to the left.
  • the processor 130 rotates the virtual camera and adjusts the amount of view angle without moving the right eye image. That is, the processor 130 may maintain the right eye stereoscopic spatial image in the same manner as before the partial enlargement command is input, and extract the enlarged image corresponding to the partial enlargement command from the right eye stereoscopic spatial image based on the virtual camera rotated to the left. have.
  • the enlarged image is extracted from the right-eye stereoscopic spatial image by using the virtual camera rotated to the left while maintaining the right-eye stereoscopic spatial image as it is, the enlarged image existing on the left side is extracted rather than extracted using the unrotated camera. You can get it.
  • the processor 130 may display the obtained enlarged image on the display 110.
  • the processor 130 may display the magnified image obtained from the right eye stereoscopic spatial image in an area viewed by the user's right eye on the display 110.
  • the processor 130 may adjust and display the size of the enlarged image so that the enlarged image is overlaid on the area where the partial enlargement command is input from the image displayed on the display 110 before the partial enlargement command is input.
  • the processor 130 obtains an image 920 existing in the eye gaze direction of the user from the right eye image 910 by using a virtual camera looking at the same direction as the eye gaze direction of the user.
  • the right eye may display the display area 112.
  • a partial magnification command for a portion of the currently displayed image 920 may be input.
  • the processor 130 reduces the amount of field of view of the virtual camera to be an angle of view for acquiring the image 930 for the area where the partial enlargement command is input.
  • the processor 130 rotates the virtual camera to the left while maintaining the right eye image, and reduces the amount of view angle of the virtual camera by the enlargement ratio of the partial enlargement command, and uses the virtual camera to enlarge the enlarged image 940.
  • the magnified image 940 may be an image that is somewhat on the left side of the image 920.
  • the processor 130 may display the magnified image 940 on the display area 112.
  • the processor 130 may adjust the size of the magnified image 940 and overlay the area on which the partial magnification command is input in the image 920 displayed on the display area 112.
  • the left eye image and the right eye image are enlarged when the stereoscopic image is enlarged.
  • the overlapped parts are reduced to prevent the crosstalk phenomenon caused by excessively large parallax.
  • the enlarged image may vary according to an enlargement ratio for the partial enlargement command. For example, when the magnification of the partial magnification command is 150%, the processor 130 may obtain an enlarged image by reducing the angle of view of the virtual camera by 50%.
  • the processor 130 may determine the degree of rotation to be proportional to the magnification ratio for the partial magnification command.
  • the larger the enlargement ratio the more the virtual camera in the left eye stereoscopic space and the right eye stereoscopic space rotates
  • the smaller the enlargement ratio the smaller the virtual camera in the left eye stereoscopic space and the right eye stereoscopic space.
  • the processor 130 may determine the degree to which the virtual camera is rotated in consideration of the parallax between the images obtained by the rotated virtual camera.
  • the processor 130 determines that the parallax value between the image obtained by the virtual camera rotated to the right in the left eye stereoscopic space and the image obtained by the virtual camera rotated to the left in the right eye stereoscopic space is the left eye before rotation.
  • the degree to which the virtual camera is rotated may be determined to be greater than or equal to the parallax value between the image and the right eye image, and generally smaller than the parallax value causing the user to be dizzy.
  • the processor 130 rotates the virtual camera existing in the left eye stereoscopic space to the left and rotates the virtual camera existing in the right stereoscopic space to the right.
  • An image corresponding to a partial reduction command may be extracted from each of the left eye stereoscopic space image and the right eye stereoscopic spatial image by using the rotated virtual camera, and the extracted images may be overlaid on the left eye image and the right eye image, respectively.
  • the processor 130 rotates the virtual camera existing in the left eye stereoscopic space and the right eye stereoscopic space, and then reduces the left eye stereoscopic space image and the right eye stereoscopic spatial image respectively using the rotated virtual camera.
  • the image can be extracted and displayed.
  • the processor 130 adjusts the amount of view angle of the virtual camera to a size capable of acquiring an image corresponding to the size of the region where the partial reduction command is input. That is, since the partial reduction command is a command for reducing a partial area of the currently displayed image, the processor 130 determines an area in which the partial reduction command is input in the currently displayed image, and determines the size of the determined area.
  • the amount of view angle of the virtual camera can be adjusted to a size that can acquire as many images.
  • the processor 130 rotates the virtual camera located in the center of the left eye stereoscopic space to the left, and further increases the amount of view angle of the virtual camera by the reduction ratio for the partial reduction command.
  • the processor 130 may extract a reduced image corresponding to the partial magnification command from the left eye stereoscopic spatial image by using the virtual camera rotated to the left.
  • the processor 130 rotates the virtual camera and adjusts the amount of view angle without moving the left eye image. That is, the processor 130 may maintain the left eye stereoscopic spatial image in the same manner as before the partial enlargement command is input, and extract the reduced image corresponding to the partial enlargement command from the left eye stereoscopic spatial image based on the virtual camera rotated to the left. have.
  • the reduced image is extracted from the left eye stereoscopic spatial image using the virtual camera rotated to the left while maintaining the left eye stereoscopic spatial image as it is, the reduced image existing on the left side is extracted rather than extracted using the unrotated camera. You can get it.
  • the processor 130 may display the obtained reduced image on the display 110.
  • the processor 130 may display the reduced image obtained from the left eye stereoscopic spatial image in an area viewed by the user's left eye on the display 110.
  • the processor 130 may adjust the size of the reduced image so that the reduced image is overlaid on an area where the partial reduction command is input from the image displayed on the display 110 before the partial enlargement command is input.
  • the processor 130 acquires an image 1020 existing in the eye gaze direction of the user from the left eye image 1010 by using a virtual camera looking at the same direction as the eye gaze direction of the user.
  • the display may be displayed on the display area 111 facing the left eye.
  • a partial reduction command for a portion of the currently displayed image 1020 may be input.
  • the processor 130 reduces the amount of field of view of the virtual camera to be an angle of view for acquiring the image 1030 of the area where the partial reduction command is input.
  • the processor 130 rotates the virtual camera to the left while maintaining the left eye image as it is, increases the amount of view angle of the virtual camera by the reduction ratio of the partial reduction command, and uses the virtual camera to reduce the reduced image 1040.
  • the reduced image 1040 may be an image that exists slightly to the left of the image 1020.
  • the processor 130 may display the reduced image 1040 on the display area 111.
  • the processor 130 may adjust the size of the reduced image 1040 and overlay the area on which the partial reduction command is input in the image 1020 displayed on the display area 111.
  • the processor 130 adjusts the amount of view angle of the virtual camera to a size capable of acquiring an image corresponding to the size of the area where the partial enlargement command is input.
  • the processor 130 rotates the virtual camera located in the center of the right eye stereoscopic space to the right, and further increases the amount of view angle of the virtual camera by the reduction ratio for the partial reduction command.
  • the processor 130 may extract a reduced image corresponding to the partial reduction command from the right eye stereoscopic spatial image by using the virtual camera rotated to the right.
  • the processor 130 rotates the virtual camera and adjusts the amount of view angle without moving the right eye image. That is, the processor 130 may maintain the right eye stereoscopic spatial image as before the partial reduction command is input, and extract a reduced image corresponding to the partial reduction command from the right eye stereoscopic spatial image based on the virtual camera rotated to the right. have.
  • the reduced image is extracted from the right eye stereoscopic spatial image using the virtual camera rotated to the right while maintaining the right eye stereoscopic spatial image as it is, the reduced image existing on the right side is extracted from the extracted image using the non-rotated camera. You can get it.
  • the processor 130 may display the obtained reduced image on the display 110.
  • the processor 130 may display the reduced image obtained from the right eye stereoscopic spatial image on the display 110 in an area viewed by the user's right eye.
  • the processor 130 may adjust and display the size of the reduced image such that the reduced image is overlaid on an area where the partial reduction command is input from the image displayed on the display 110 before the partial reduction command is input.
  • the processor 130 acquires an image 1120 existing in the eye gaze direction of the user from the right eye image 1110 using a virtual camera looking at the same direction as the user's gaze direction.
  • the right eye may display the display area 112.
  • a partial reduction command for a portion of the currently displayed image 1120 may be input.
  • the processor 130 reduces the amount of field of view of the virtual camera to be an angle of view for acquiring the image 1130 for the region where the partial reduction command is input.
  • the processor 130 rotates the virtual camera to the right while maintaining the right eye image, increases the amount of view angle of the virtual camera by the reduction ratio of the partial reduction command, and reduces the reduced image 1140 by using the virtual camera. Can be obtained.
  • the reduced image 1140 may be an image that is somewhat on the right side of the image 1120.
  • the processor 130 may display the reduced image 1140 on the display area 112.
  • the processor 130 may adjust the size of the reduced image 1140 and overlay the display on the area where the partial reduction command is input in the image 1120 displayed on the display area 112.
  • the virtual camera in the left eye stereoscopic space is moved to the left according to the partial reduction command and the virtual camera in the right eye stereoscopic space is moved to the right to obtain a reduced image, between the left eye image and the right eye image when the stereoscopic image is reduced.
  • the parallax of the camera is reduced to prevent the phenomenon of providing an unnatural three-dimensional effect.
  • the reduced image may vary depending on a reduction ratio for the partial reduction command.
  • the processor 130 may increase the angle of view of the virtual camera by 150% to obtain a reduced image.
  • the processor 130 may determine the degree of rotation to be proportional to the reduction ratio for the partial reduction command.
  • the larger the reduction ratio the more the virtual camera in the left eye stereoscopic space and the right eye stereoscopic space is rotated, and the smaller the reduction ratio, the smaller the virtual camera in the left eye stereoscopic space and the right eye stereoscopic space.
  • the processor 130 may determine the degree to which the virtual camera is rotated in consideration of the parallax between the images obtained by the rotated virtual camera.
  • the processor 130 may determine that the parallax value between the image obtained by the virtual camera rotated to the right in the left eye stereoscopic space and the image obtained by the virtual camera rotated to the left in the right eye stereoscopic space is generally natural.
  • the degree to which the virtual camera is rotated may be determined to be greater than or equal to a parallax value that may give a 3D effect, and less than or equal to a parallax value between a left eye image and a right eye image before rotation.
  • the telephoto image may be an image acquired by the rotated virtual camera during partial enlargement and partial reduction. That is, when the partial magnification command and the partial reduction command are input, only a part of the image that is being displayed is enlarged or reduced and displayed, thereby providing a telephoto effect (or a map effect) to the user.
  • the angle at which the virtual camera is rotated may be determined based on Equation 1 described above.
  • the processor 130 may adjust the virtual camera at a ratio equal to the movement degree calculated by Equation (1). Can be rotated.
  • the processor 130 performs the center axis of the area where the partial zoom command and the partial zoom command are input. And a moving distance between the axis where the focal point of the virtual camera is located, and the virtual camera can be rotated at a ratio equal to the moving distance calculated by Equation 1 plus the calculated moving distance.
  • 2B is a block diagram illustrating a detailed configuration of a display apparatus according to an exemplary embodiment.
  • the display apparatus 100 may include an image input unit 140, a sensor unit 150, an image processor 160, and a storage unit 170 in addition to the display 110, the user interface 120, and the processor 130. It may further include, and their operation may be controlled by the processor 130. Meanwhile, since the display 110, the user interface 120, and the processor 130 have been described with reference to FIG. 2A, detailed descriptions thereof will be omitted.
  • the image input unit 140 receives a stereoscopic image.
  • the image input unit 140 may be connected to a server (not shown) or another device (not shown) to receive a stereoscopic image.
  • the sensor unit 150 detects a state of the display apparatus 100.
  • the sensor unit 150 may include at least one of a geomagnetic sensor, a gyro sensor, and an acceleration sensor, and the processor 130 may include the posture of the display apparatus 100 based on a sensing result of the sensor unit 150.
  • the motion state of the display apparatus 100 may be determined such as the rotation direction and the degree of rotation.
  • the processor 130 may determine the direction that the user looks by sensing the direction in which the head of the user wearing the head moves according to the motion state of the display apparatus 100.
  • the image processor 160 renders an image corresponding to a motion state of the display apparatus 100 and an image corresponding to a user command and provides the image to the display 110.
  • the processor 130 renders a left eye stereoscopic image and a right eye stereoscopic spatial image by projecting the left eye image and the right eye image onto a virtual stereoscopic space, and the user wearing the display device 100 of the stereoscopic spatial image looks at the user.
  • the image processor 160 may be controlled to render an image existing in the direction.
  • the processor 130 may control the image processor 160 to render the enlarged image according to the enlargement command and the reduced image according to the reduce command.
  • the storage unit 170 stores various data such as an operating system (O / S) software module for driving the display apparatus 100, various programs, contents, and the like.
  • O / S operating system
  • the storage unit 170 may store a stereoscopic image input through the image input unit 140.
  • the above-described operation of the processor 130 may be performed by a program stored in the storage unit 170.
  • the processor 130 may access the RAM 131, the ROM 132, the main CPU 133, the graphics processor 134, the first to n interfaces 135-1 to 135-n, and the bus 136. Include.
  • the RAM 131, the ROM 132, the main CPU 133, the graphics processor 134, the first to nth interfaces 135-1 to 135-n, and the like may be connected to each other through the bus 136.
  • the first to n interfaces 135-1 to 135-n are connected to the aforementioned various components.
  • One of the interfaces may be a network interface connected to an external device via a network.
  • the main CPU 133 accesses the storage unit 170 and performs booting using an operating system stored in the storage unit 170. In addition, various operations are performed using various programs, contents, data, and the like stored in the storage unit 170.
  • the ROM 132 stores a command set for system booting.
  • the main CPU 133 copies the O / S stored in the storage 140 to the RAM 131 according to the command stored in the ROM 132 and executes O / S.
  • the main CPU 133 copies various application programs stored in the storage unit 170 to the RAM 131 and executes the application programs copied to the RAM 131 to perform various operations.
  • the graphic processor 134 generates a screen including various objects such as an icon, an image, and a text by using a calculator (not shown) and a renderer (not shown).
  • An operation unit (not shown) calculates attribute values such as coordinate values, shapes, sizes, colors, and the like in which objects are displayed according to the layout of the screen based on the received control command.
  • the renderer generates a screen having various layouts including objects based on the attribute values calculated by the calculator.
  • FIG. 12 is a diagram for describing a method of generating and outputting an image according to an enlargement command and a reduction command according to an embodiment of the present invention.
  • the display apparatus 100 separates a left eye image and a right eye image from a 3D image (S1210), and then projects the left eye image and the right eye image in a virtual stereoscopic space, respectively, to the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • S1220 the generated left eye stereoscopic spatial image and right eye stereoscopic spatial image may be a panoramic 3D image and have a spherical shape in a virtual stereoscopic space.
  • an image existing in a direction viewed by a user through a virtual camera engine may be obtained and output (S1230 and S1240), and a 3D VR image may be provided to the user.
  • a user command for enlarging or reducing a stereoscopic image is input (S1250)
  • an area of the image corresponding to the reduction command and the enlargement command is determined and the angle of view of the virtual camera is adjusted.
  • An enlarged image and a reduced image may be generated by adjusting the projection of the determined area (S1260 and S1270).
  • the enlarged image and the reduced image may be output, and the enlarged image and the reduced image of which the stereoscopic effect is adjusted may be provided to the user according to the enlargement command and the reduction command in the 3D VR image.
  • FIG. 13 is a flowchart illustrating a control method of a display apparatus that provides a virtual reality service according to an exemplary embodiment.
  • a stereoscopic image is displayed (S1310).
  • the left eye image and the right eye image included in the stereoscopic image are moved, and the left eye image and the right eye image are respectively projected in a virtual stereoscopic space to generate a left eye stereoscopic spatial image and a right eye stereoscopic spatial image.
  • An image corresponding to a user command may be extracted and displayed from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • the left eye image is shifted to the left
  • the right eye image is shifted to the right
  • the left eye image shifted to the left and the right eye image shifted to the right are used.
  • the left eye stereoscopic spatial image and the right eye stereoscopic spatial image may be generated, and an enlarged image corresponding to the entire magnification command may be extracted and displayed from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • the left eye image is moved to the right, the right eye image is moved to the left, and the left eye is moved using the left eye image moved to the right and the right eye image moved to the left, respectively.
  • a stereoscopic spatial image and a right eye stereoscopic spatial image may be generated, and a reduced image corresponding to a total reduction command may be extracted and displayed from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image.
  • step S1330 the left eye image and the right eye image included in the stereoscopic image are projected to the virtual stereoscopic space to generate a left eye stereoscopic spatial image and a right eye stereoscopic spatial image, and a virtual camera existing in the left eye stereoscopic space and the right eye stereoscopic space is generated.
  • the image corresponding to the user command may be extracted from the left eye stereoscopic spatial image and the right eye stereoscopic spatial image by using the rotated virtual camera.
  • the virtual camera existing in the left eye stereoscopic space is rotated to the right
  • the virtual camera existing in the right eye stereoscopic space is rotated to the left
  • An image corresponding to the partial magnification command may be extracted from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image by using a camera, and each of the extracted images may be overlaid on the left eye image and the right eye image.
  • the virtual camera existing in the left eye stereoscopic space is rotated to the left
  • the virtual camera existing in the right eye stereoscopic space is rotated to the right
  • An image corresponding to the partial reduction command may be extracted from each of the left eye stereoscopic spatial image and the right eye stereoscopic spatial image, and each of the extracted images may be overlaid on each of the left eye image and the right eye image.
  • the methods according to various embodiments of the present disclosure may be programmed and stored in various storage media. Accordingly, the methods according to the various embodiments of the present disclosure may be implemented in various types of electronic devices that execute a storage medium.
  • the stereoscopic effect is adjusted by adjusting the stereoscopic sense of the stereoscopic image so as to correspond to the user command.
  • a non-transitory computer readable medium may be provided that stores a program that sequentially performs displaying the enlarged image or the reduced image.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

가상 현실 서비스를 제공하는 디스플레이 장치가 개시된다. 본 디스플레이 장치는 입체 영상을 디스플레이하는 디스플레이, 체 영상을 확대 또는 축소시키기 위한 사용자 명령을 입력받는 사용자 인터페이스 및 사용자 명령이 입력되면, 사용자 명령에 대응되도록 입체 영상에 대한 입체감을 조절하여 입체감이 조절된 확대 영상 또는 축소 영상을 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

디스플레이 장치 및 그의 제어 방법
본 발명은 디스플레이 장치 및 그의 제어 방법에 대한 것으로, 보다 상세하게는 가상 현실 서비스를 제공할 수 있는 디스플레이 장치 및 그의 제어 방법에 대한 것이다.
최근 전자 기술의 발전으로, 사용자는 3D 영상을 HMD(head mounted display)을 통해 제공받을 수 있게 되었다.
이 경우, 사용자는 머리 움직임에 따라 자신이 바라보는 방향에 대한 3D 영상을 제공받을 수 있게 되어, 기존의 모니터나 TV와는 다르게 보다 현실감 있는 3D 영상을 느낄 수 있게 되었다.
다만, 3D 영상을 확대 또는 축소시키는 경우, 좌안 영상과 우안 영상의 시차가 과도하게 커져 크로스토크 현상이 발생하거나, 좌안 영상과 우안 영상의 시차 줄어들어 자연스럽지 못한 영상을 사용자에게 제공되는 문제점이 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 입체 영상에 대한 확대 또는 축소 시, 입체감이 조절된 확대 영상 및 축소 영상을 생성하여 제공할 수 있는 디스플레이 장치 및 그의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 가상 현실 서비스를 제공하는 디스플레이 장치는 입체 영상을 디스플레이하는 디스플레이, 상기 입체 영상을 확대 또는 축소시키기 위한 사용자 명령을 입력받는 사용자 인터페이스 및 상기 사용자 명령이 입력되면, 상기 사용자 명령에 대응되도록 상기 입체 영상에 대한 입체감을 조절하여 입체감이 조절된 확대 영상 또는 축소 영상을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
여기에서, 상기 프로세서는 상기 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 이동시키고, 상기 이동된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 사용자 명령에 대응되는 영상을 추출하여 디스플레이할 수 있다.
또한, 상기 프로세서는 상기 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 상기 좌안 영상을 좌측으로 이동시키고 상기 우안 영상을 우측으로 이동시키고, 상기 좌측으로 이동된 좌안 영상 및 상기 우측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 전체 확대 명령에 대응되는 확대 영상을 추출하여 디스플레이할 수 있다.
그리고, 상기 프로세서는 상기 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 상기 좌안 영상을 우측으로 이동시키고 상기 우안 영상을 좌측으로 이동시키고, 상기 우측으로 이동된 좌안 영상 및 상기 좌측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 전체 축소 명령에 대응되는 축소 영상을 추출하여 디스플레이할 수 있다.
또는, 상기 프로세서는 상기 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 및 우안 입체 공간 내에 존재하는 가상 카메라를 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 사용자 명령에 대응되는 영상을 추출하여 디스플레이할 수 있다.
여기에서, 상기 프로세서는 상기 입체 영상의 일 부분을 확대시키기 위한 부분 확대 명령이 입력되면, 상기 좌안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 상기 우안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 부분 확대 명령에 대응되는 영상을 추출하고, 상기 추출된 영상 각각을 상기 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이할 수 있다.
또한, 상기 프로세서는 상기 입체 영상의 일 부분을 축소시키기 위한 부분 축소 명령이 입력되면, 상기 좌안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 상기 우안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 부분 축소 명령에 대응되는 영상을 추출하고, 상기 추출된 영상 각각을 상기 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이할 수 있다.
한편, 본 발명의 일 실시 예에 따른 가상 현실 서비스를 제공하는 디스플레이 장치의 제어 방법은 입체 영상을 디스플레이하는 단계 및 상기 입체 영상을 확대 또는 축소시키기 위한 사용자 명령을 입력이 입력되면, 상기 사용자 명령에 대응되도록 상기 입체 영상에 대한 입체감을 조절하여 입체감이 조절된 확대 영상 또는 축소 영상을 디스플레이하는 단계를 포함한다.
여기에서, 상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는 상기 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 이동시키고, 상기 이동된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 사용자 명령에 대응되는 영상을 추출하여 디스플레이할 수 있다.
또한, 상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는 상기 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 상기 좌안 영상을 좌측으로 이동시키고 상기 우안 영상을 우측으로 이동시키고, 상기 좌측으로 이동된 좌안 영상 및 상기 우측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 전체 확대 명령에 대응되는 확대 영상을 추출하여 디스플레이할 수 있다.
그리고, 상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는 상기 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 상기 좌안 영상을 우측으로 이동시키고 상기 우안 영상을 좌측으로 이동시키고, 상기 우측으로 이동된 좌안 영상 및 상기 좌측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 전체 축소 명령에 대응되는 축소 영상을 추출하여 디스플레이할 수 있다.
또는, 상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는 상기 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 및 우안 입체 공간 내에 존재하는 가상 카메라를 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 사용자 명령에 대응되는 영상을 추출하여 디스플레이할 수 있다.
여기에서, 상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는 상기 입체 영상의 일 부분을 확대시키기 위한 부분 확대 명령이 입력되면, 상기 좌안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 상기 우안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 부분 확대 명령에 대응되는 영상을 추출하고, 상기 추출된 영상 각각을 상기 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이할 수 있다.
또한, 상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는 상기 입체 영상의 일 부분을 축소시키기 위한 부분 축소 명령이 입력되면, 상기 좌안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 상기 우안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 부분 축소 명령에 대응되는 영상을 추출하고, 상기 추출된 영상 각각을 상기 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이할 수 있다.
이상과 같은 본 발명의 다양한 실시 예예 따르면, 입체 영상에 대한 확대 또는 축소 시 입체감을 조절한다는 점에서 크로스토크 현상을 방지하고, 자연스러운 입체감을 갖는 확대 영상 및 축소 영상을 사용자에게 제공할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 가상 현실 서비스를 제공하는 디스플레이 장치를 나타내는 도면,
도 2a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도,
도 2b는 본 발명의 일 실시 예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 블록도,
도 3 내지 도 11은 본 발명의 일 실시 예에 따른 확대 영상 및 축소 영상을 획득하는 방법을 설명하기 위한 도면들,
도 12는 본 발명의 일 실시 예에 따른 확대 명령 및 축소 명령에 따른 영상을 생성하여 출력하는 방법을 설명하기 위한 도면 그리고,
도 13은 본 발명의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
-
이하에서는 첨부된 도면을 참조하여 본 발명을 더욱 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 가상 현실 서비스를 제공하는 디스플레이 장치를 나타내는 도면이다.
도 1에 따르면, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)는 사용자의 머리에 착용되어 HMD(head mounted display)로서 기능을 수행할 수 있다
예를 들어, 디스플레이 장치(100)는 스마트 폰 또는 태블릿 등으로 구현되며, 안경, 헤드셋 또는 헬멧 등의 형상을 갖는 본체(가령, 하우징)의 전면에 부착되어 사용자의 양안에 영상을 제공할 수 있다.
즉, 디스플레이 장치(100)가 본체의 전면에 부착되면, 디스플레이 장치(100)에 마련된 디스플레이는 사용자의 양안에 근접하여 위치하게 된다. 따라서, 디스플레이 장치(100)는 디스플레이를 통해 영상을 디스플레이하여, 사용자의 눈앞에서 영상을 제공할 수 있게 된다.
한편, 본체의 후면에는 사용자의 머리에 착용 가능하도록 하는 안경 다리 또는 벤드 등이 형성될 수 있다.
또는, 디스플레이 장치(100)는 자체적으로 디스플레이를 구비하며, 사용자의 머리에 착용 가능한 형상을 갖는 디바이스로 구현될 수도 있다. 이 경우, 디스플레이는 탈부착되는 것이 아니라 고정적으로 설치될 수 있다.
한편, 사용자가 디스플레이 장치(100)를 머리에 착용하면, 디스플레이에서 사용자의 좌안이 바라보는 영역과 우안이 바라보는 영역은 공간적으로 분리될 수 있다.
이에 따라, 디스플레이 장치(100)는 디스플레이에서 사용자의 좌안이 바라보는 영역과 우안이 바라보는 영역에 서로 다른 영상을 디스플레이하여, 좌안과 우안에 서로 다른 영상이 입사되도록 할 수 있다.
한편, 디스플레이 장치(100)는 사용자의 머리 움직임을 감지하여 사용자의 시선 방향을 판단할 수 있다.
이를 위해, 디스플레이 장치(100)는 자이로 센서, 가속도 센서 및 지자기 센서 중 적어도 하나를 구비하여 사용자의 고개가 위아래 또는 좌우로 움직이는 것을 감지하여, 사용자의 시선 방향을 판단할 수 있다.
그리고, 디스플레이 장치(100)는 사용자의 시선 방향에 대응되는 영상을 출력할 수 있다.
예를 들어, 디스플레이 장치(100)는 파노라마 3D 영상에서 사용자의 시선 방향에 존재하는 좌안 영상 및 우안 영상을 추출하고, 좌안이 바라보는 디스플레이 영역에 좌안 영상을 출력하고 우안이 바라보는 디스플레이 영역에 우안 영상을 출력할 수 있다.
이에 따라, 사용자는 파노라마 3D 영상 중에서 자신의 시선이 향하는 방향에 존재하는 3D 영상을 제공받을 수 있어, 가상 현실(virtual reality, VR)을 체험할 수 있게 된다.
한편, 디스플레이 장치(100)는 디스플레이되는 영상을 확대시키거나 축소시키기 위한 사용자 명령이 입력되면, 입체 영상을 그대로 확대 또는 축소시켜 디스플레이하는 것이 아니라, 입체 영상에 대한 입체감을 조절하여 입체감이 조절된 확대 영상 또는 축소 영상을 디스플레이할 수 있다.
이와 같이, 입체 영상에 대한 확대 또는 축소 시, 입체감을 조절한다는 점에서 크로스토크(cross talk) 현상을 방지하고, 자연스러운 입체감을 갖는 확대 영상 및 축소 영상을 제공할 수 있게 된다.
이하에서는 첨부된 도면들을 참조하여 입체감이 조절된 확대 영상 및 축소 영상을 제공하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 2a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도이다.
도 2a에 따르면, 디스플레이 장치(100)는 디스플레이(110), 사용자 인터페이스(120) 및 프로세서(130)를 포함한다.
디스플레이(110)는 입체 영상을 디스플레이한다. 여기에서, 입체 영상은 파노라마 3D 영상을 구성하는 좌안 영상 및 우안 영상일 수 있다.
구체적으로, 디스플레이(110)는 사용자가 디스플레이 장치(100)를 착용한 경우, 디스플레이(110)에서 사용자의 좌안이 바라보는 영역에 좌안 영상을 디스플레이하고, 디스플레이(110)에서 사용자의 우안이 바라보는 영역에 우안 영상을 디스플레이할 수 있다.
사용자 인터페이스부(120)는 사용자 명령을 입력받는다. 구체적으로, 사용자 인터페이스(120)는 입체 영상을 확대 또는 축소시키기 위한 사용자 명령을 입력받을 수 있다.
이를 위해, 사용자 인터페이스(120)는 본체에 위치한 버튼 또는 터치 버튼으로 구현되어, 디스플레이 장치(100)를 착용한 사용자로부터 확대 명령 또는 축소 명령을 입력받을 수 있다.
프로세서(130)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 프로세서(130)는 CPU(central processing unit)(또는, 마이컴 및 CPU), 디스플레이 장치(100)의 동작을 위한 RAM(Random Access Memory) 및 ROM(Read Only Memory)을 포함할 수 있다.
먼저, 프로세서(130)는 입체 영상을 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
구체적으로, 프로세서(130)는 3D 영상을 구성하는 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성할 수 있다.
여기에서, 생성된 입체 공간 영상은 파노라마 3D 영상이 될 수 있다. 즉, 프로세서(130)는 좌안 영상 및 우안 영상 각각을 가상의 구 공간에 투영시켜, 좌안 영상 및 우안 영상 각각이 가상의 구 공간의 중심을 기준으로 360°방향에 존재하는 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성할 수 있다.
그리고, 프로세서(130)는 입체 공간 영상 중 디스플레이 장치(100)를 착용한 사용자가 바라보는 방향에 존재하는 영상을 추출하고, 추출된 영상을 디스플레이(110)를 통해 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 디스플레이 장치(100)에 구비된 센서(미도시)를 이용하여 사용자의 시선 방향을 판단하고, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각의 중심에 위치한 가상 카메라를 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 사용자의 시선이 향하는 영역에 존재하는 영상을 추출하여 디스플레이할 수 있다.
이를 위해, 프로세서(130)는 디스플레이 장치(100)에 구비된 자이로 센서, 가속도 센서 및 지자기 센서 중 적어도 하나를 이용하여, 디스플레이 장치(100)를 착용한 사용자의 머리가 움직이는 방향을 감지하여 사용자가 바라보는 방향을 판단할 수 있다.
그리고, 프로세서(130)는 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각의 중심에 일정한 화각(Field of View, FOV)을 갖는 가상 카메라를 위치시킨 후, 사용자의 시선 방향으로 가상 카메라를 회전시켜 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 사용자의 시선 방향에 존재하는 영상을 추출하여 디스플레이할 수 있다.
예를 들어, 프로세서(130)는 사용자가 정면을 기준으로 좌측으로 60°방향을 바라보고 있는 것으로 판단된 경우, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각의 중심에 위치한 가상 카메라를 좌측 60°방향으로 회전시켜, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 좌측 60°방향에 존재하는 영상을 추출할 수 있다.
이 경우, 프로세서(130)는 좌안 입체 공간 영상에서 추출된 영상을 디스플레이 장치(100)를 착용한 사용자의 좌안이 디스플레이(110)에서 바라보는 영역에 디스플레이하고, 우안 입체 공간 영상에서 추출된 영상을 디스플레이 장치(100)를 착용한 사용자의 우안이 디스플레이(110)에서 바라보는 영역에 디스플레이할 수 있다.
이에 따라, 사용자는 파노라마 3D 영상 중에서 자신의 시선이 향하는 방향에 대한 3D 영상을 제공받을 수 있게 된다.
한편, 프로세서(130)는 입체 영상을 확대 또는 축소시키기 위한 사용자 명령이 입력되면, 사용자 명령에 대응되도록 입체 영상에 대한 입체감을 조절하여 입체감이 조절된 확대 영상 또는 축소 영상을 디스플레하도록 디스플레이(110)를 제어할 수 있다.
여기에서, 확대 명령은 입체 영상 전체를 확대시키기 위한 전체 확대 명령 및 입체 영상 중 일부를 확대시키기 위한 부분 확대 명령을 포함하고, 축소 명령은 입체 영상 전체를 축소시키기 위한 전체 축소 명령 및 입체 영상 중 일부를 축소시키기 위한 부분 축소 명령을 포함한다.
이하에서, 전체 확대 명령 및 전체 축소 명령이 입력된 경우, 입체감을 조절하여 확대 영상 및 축소 영상을 제공하는 방법을 먼저 설명하도록 한다.
프로세서(130)는 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 이동시키고, 이동된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간 영상에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 사용자 명령에 대응되는 영상을 추출하여 디스플레이할 수 있다.
즉, 프로세서(130)는 좌안 영상 및 우안 영상을 가상의 입체 공간에 투영시키기 전에 좌안 영상 및 우안 영상 각각을 사용자 명령에 대응되도록 이동시킨 후, 이동된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영시켜 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성할 수 있다.
구체적으로, 프로세서(130)는 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 좌안 영상을 좌측으로 이동시키고 우안 영상을 우측으로 이동시키고, 좌측으로 이동된 좌안 영상 및 우측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 전체 확대 명령에 대응되는 영상을 추출하여 디스플레이할 수 있다.
즉, 프로세서(130)는 전체 확대 명령이 입력되면, 좌안 영상 및 우안 영상 각각을 우측으로 이동시켜 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 확대 영상을 추출하여 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 좌안 영상을 좌측으로 이동시키고, 좌측으로 이동된 좌안 영상을 이용하여 좌안 입체 공간 영상을 생성한다. 그리고, 프로세서(130)는 좌안 입체 공간 영상 내에 존재하는 가상 카메라의 화각의 양을 전체 확대 명령에 대한 확대 비율만큼 감소시키고, 화각의 양이 감소된 가상 카메라를 이용하여 좌안 입체 공간 영상에서 전체 확대 명령에 대응되는 확대 영상을 추출할 수 있다.
이 경우, 프로세서(130)는 가상 카메라의 화각만 조절할 뿐 가상 카메라의 초점 위치는 변경하지 않는다. 즉, 프로세서(130)는 가상 카메라의 초점 위치를 전체 확대 명령이 입력되기 전과 동일하게 유지시키고, 좌측으로 이동된 좌안 영상에서 기초하여 생성된 좌안 입체 공간 영상에서 전체 확대 명령에 대응되는 확대 영상을 추출할 수 있다.
이와 같이, 좌측으로 이동된 좌안 영상에 의해 좌안 입체 공간 영상을 생성하는 경우, 좌안 입체 공간 영상은 좌측으로 이동되기 전에 비해 반시계 방향으로 회전된 상태를 가질 수 있다.
따라서, 가상 카메라의 초점 위치를 그대로 유지한 채, 반시계 방향으로 회전된 좌안 입체 공간 영상에서 확대 영상을 추출하는 경우, 좌측으로 이동되지 않은 좌안 입체 공간 영상에서 확대 영상을 추출하는 경우보다 우측에 존재하는 확대 영상을 획득할 수 있게 된다. 즉, 좌안 영상을 좌측으로 이동시켜 확대 영상을 추출하는 경우, 이동 전의 좌안 영상에서 확대 영상을 추출하는 경우보다 우측에 존재하는 확대 영상을 추출할 수 있다.
한편, 프로세서(130)는 획득된 확대 영상을 디스플레이(110)를 통해 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 좌안 입체 공간 영상으로부터 획득한 확대 영상을 디스플레이(110)에서 사용자의 좌안이 바라보는 영역에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 전체 확대 명령이 입력되기 전에 디스플레이(110)에 디스플레이되던 영상과 동일한 사이즈를 갖도록 확대 영상의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 이하에서는 도 3을 참조하여 전체 확대 명령 입력 시 확대 영상을 획득하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 3과 같이, 프로세서(130)는 사용자의 시선 방향과 동일한 방향을 바라보는 가상 카메라를 이용하여, 좌안 영상(310)에서 사용자의 시선 방향에 존재하는 영상(320)을 획득하고, 이를 사용자의 좌안이 바라보는 디스플레이 영역(111)에 디스플레이할 수 있다.
한편, 전체 확대 명령이 입력되면, 프로세서(130)는 좌안 영상을 좌측으로 이동시켜, 좌측으로 이동된 영상(330)을 생성할 수 있다. 그리고, 프로세서(130)는 가상 카메라의 초점 위치는 그대로 유지한 채 전체 확대 명령의 확대 비율만큼 가상 카메라의 화각의 양을 감소시키고, 가상 카메라를 이용하여 좌측으로 이동된 영상에서 확대 영상(340)을 획득할 수 있다. 이 경우, 확대 영상(340)은 영상(320)에 비해 다소 우측에 존재하는 영상일 수 있다.
그리고, 프로세서(130)는 확대 영상(340)을 디스플레이 영역(111)에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 디스플레이 영역(111)에 디스플레이되던 영상(320)의 사이즈와 동일해지도록 확대 영상(340)의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 프로세서(130)는 우안 영상을 우측으로 이동시키고, 우측으로 이동된 우안 영상을 이용하여 우안 입체 공간 영상을 생성한다. 그리고, 프로세서(130)는 우안 입체 공간 영상 내에 존재하는 가상 카메라의 화각의 양을 전체 확대 명령에 대한 확대 비율만큼 감소시키고, 화각의 양이 감소된 가상 카메라를 이용하여 우안 입체 공간 영상에서 전체 확대 명령에 대응되는 확대 영상을 추출할 수 있다.
이 경우, 프로세서(130)는 가상 카메라의 화각만 조절할 뿐 가상 카메라의 초점 위치는 변경하지 않는다. 즉, 프로세서(130)는 가상 카메라의 초점 위치를 전체 확대 명령이 입력되기 전과 동일하게 유지시키고, 우측으로 이동된 우안 영상에서 기초하여 생성된 우안 입체 공간 영상에서 전체 확대 명령에 대응되는 확대 영상을 추출할 수 있다.
이와 같이, 우측으로 이동된 우안 영상에 의해 우안 입체 공간 영상을 생성하는 경우, 우안 입체 공간 영상은 우측으로 이동되기 전에 비해 시계 방향으로 회전된 상태를 가질 수 있다.
따라서, 가상 카메라의 초점 위치를 그대로 유지한 채, 시계 방향으로 회전된 우안 입체 공간 영상에서 확대 영상을 추출하는 경우, 우측으로 이동되지 않은 우안 입체 공간 영상에서 확대 영상을 추출하는 경우보다 좌측에 존재하는 확대 영상을 획득할 수 있게 된다. 즉, 우안 영상을 우측으로 이동시켜 확대 영상을 추출하는 경우, 이동 전의 우안 영상에서 확대 영상을 추출하는 경우보다 좌측에 존재하는 확대 영상을 추출할 수 있다.
한편, 프로세서(130)는 획득된 확대 영상을 디스플레이(110)를 통해 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 우안 입체 공간 영상으로부터 획득한 확대 영상을 디스플레이(110)에서 사용자의 우안이 바라보는 영역에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 전체 확대 명령이 입력되기 전에 디스플레이(110)에 디스플레이되던 영상과 동일한 사이즈를 갖도록 확대 영상의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 이하에서는 도 4를 참조하여 전체 확대 명령 입력 시 확대 영상을 획득하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 4와 같이, 프로세서(130)는 사용자의 시선 방향과 동일한 방향을 바라보는 가상 카메라를 이용하여, 우안 영상(410)에서 사용자의 시선 방향에 존재하는 영상(420)을 획득하고, 이를 사용자의 우안이 바라보는 디스플레이 영역(112)에 디스플레이할 수 있다.
한편, 전체 확대 명령이 입력되면, 프로세서(130)는 우안 영상을 우측으로 이동시켜, 우측으로 이동된 영상(430)을 생성할 수 있다. 그리고, 프로세서(130)는 가상 카메라의 초점 위치는 그대로 유지한 채 전체 확대 명령의 확대 비율만큼 가상 카메라의 화각의 양을 감소시키고, 가상 카메라를 이용하여 우측으로 이동된 영상에서 확대 영상(440)을 획득할 수 있다. 이 경우, 확대 영상(440)은 영상(420)에 비해 다소 좌측에 존재하는 영상일 수 있다.
그리고, 프로세서(130)는 확대 영상(440)을 디스플레이 영역(112)에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 디스플레이 영역(112)에 디스플레이되던 영상(420)의 사이즈와 동일해지도록 확대 영상(440)의 사이즈를 조절하여 디스플레이할 수 있다.
이와 같이, 전체 확대 명령에 따라 좌안 영상을 좌측으로 이동시키고 우안 영상은 우측으로 이동시켜 확대 영상을 획득한다는 점에서, 입체 영상에 대한 확대 시 좌안 영상과 우안 영상이 겹치는 부분이 줄어들어 시차가 과도하게 커져서 발생되는 크로스토크 현상을 방지할 수 있게 된다.
한편, 확대 영상은 전체 확대 명령에 대한 확대 비율에 따라 달라질 수 있다. 예를 들어, 전체 확대 명령의 확대 비율이 150%인 경우, 프로세서(130)는 가상 카메라의 화각을 50% 만큼 줄여 확대 영상을 획득할 수 있다.
또한, 프로세서(130)는 좌안 영상과 우안 영상 각각을 이동시킬 때, 이들 영상 각각이 이동되는 정도를 전체 확대 명령에 대한 확대 비율에 비례하도록 결정할 수 있다.
즉, 프로세서(130)는 확대 비율이 클수록 좌안 영상과 우안 영상 각각을 좌측 방향 및 우측 방향으로 더 많이 이동시키고, 확대 비율이 작을수록 좌안 영상과 우안 영상 각각을 좌측 방향 및 우측 방향으로 더 적게 이동시킬 수 있다.
다만, 프로세서(130)는 좌안 영상과 우안 영상 각각을 이동시킬 때, 이동된 좌측 영상 및 우측 영상 각각에서 추출되는 영상 사이의 시차를 고려해서 좌안 영상과 우안 영상 각각이 이동되는 정도를 결정할 수 있다.
예를 들어, 프로세서(130)는 좌측으로 이동된 좌안 영상에서 획득된 영상 및 우측으로 이동된 우안 영상에서 획득된 영상 사이의 시차 값이 이동 전의 좌안 영상 및 우안 영상 사이의 시차 값보다 크거나 같고, 일반적으로 사용자에게 어지러움을 유발시키는 시차 값보다 작아지도록 좌안 영상과 우안 영상 각각이 이동되는 정도를 결정할 수 있다.
한편, 프로세서(130)는 입체 영상의 전체를 축소시키기 위한 전체 축소 명령이 입력되면, 좌안 영상을 우측으로 이동시키고 우안 영상을 좌측으로 이동시키고, 우측으로 이동된 좌안 영상 및 좌측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 전체 축소 명령에 대응되는 축소 영상을 추출하여 디스플레이할 수 있다.
즉, 프로세서(130)는 전체 축소 명령이 입력되면, 좌안 영상 및 우안 영상 각각을 이동시켜 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 축소 영상을 추출하여 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 좌안 영상을 우측으로 이동시키고, 우측으로 이동된 좌안 영상을 이용하여 좌안 입체 공간 영상을 생성한다. 그리고, 프로세서(130)는 좌안 입체 공간 영상 내에 존재하는 가상 카메라의 화각의 양을 전체 축소 명령에 대한 축소 비율만큼 증가시키고, 화각의 양이 증가된 가상 카메라를 이용하여 좌안 입체 공간 영상에서 전체 축소 명령에 대응되는 축소 영상을 추출할 수 있다.
이 경우, 프로세서(130)는 가상 카메라의 화각만 조절할 뿐 가상 카메라의 초점 위치는 변경하지 않는다. 즉, 프로세서(130)는 가상 카메라의 초점 위치를 전체 축소 명령이 입력되기 전과 동일하게 유지시키고, 우측으로 이동된 좌안 영상에서 기초하여 생성된 좌안 입체 공간 영상에서 전체 축소 명령에 대응되는 축소 영상을 추출할 수 있다.
이와 같이, 우측으로 이동된 좌안 영상에 의해 좌안 입체 공간 영상을 생성하는 경우, 좌안 입체 공간 영상은 우측으로 이동되기 전에 비해 시계 방향으로 회전된 상태를 가질 수 있다.
따라서, 가상 카메라의 초점 위치를 그대로 유지한 채, 시계 방향으로 회전된 좌안 입체 공간 영상에서 축소 영상을 추출하는 경우, 우측으로 이동되지 않은 좌안 입체 공간 영상에서 축소 영상을 추출하는 경우보다 좌측에 존재하는 확대 영상을 획득할 수 있게 된다. 즉, 좌안 영상을 우측으로 이동시켜 축소 영상을 추출하는 경우, 이동 전의 좌안 영상에서 축소 영상을 추출하는 경우보다 좌측에 존재하는 축소 영상을 추출할 수 있다.
한편, 프로세서(130)는 획득된 축소 영상을 디스플레이(110)를 통해 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 좌안 입체 공간 영상으로부터 획득한 축소 영상을 디스플레이(110)에서 사용자의 좌안이 바라보는 영역에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 전체 축소 명령이 입력되기 전에 디스플레이(110)에 디스플레이되던 영상과 동일한 사이즈를 갖도록 축소 영상의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 이하에서는 도 5를 참조하여 전체 축소 명령 입력 시 축소 영상을 획득하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 5와 같이, 프로세서(130)는 사용자의 시선 방향과 동일한 방향을 바라보는 가상 카메라를 이용하여, 좌안 영상(510)에서 사용자의 시선 방향에 존재하는 영상(520)을 획득하고, 이를 사용자의 좌안이 바라보는 디스플레이 영역(111)에 디스플레이할 수 있다.
한편, 전체 축소 명령이 입력되면, 프로세서(130)는 좌안 영상을 우측으로 이동시켜, 우측으로 이동된 영상(530)을 생성할 수 있다. 그리고, 프로세서(130)는 가상 카메라의 초점 위치는 그대로 유지한 채 전체 축소 명령의 축소 비율만큼 가상 카메라의 화각의 양을 증가시키고, 가상 카메라를 이용하여 우측으로 이동된 영상에서 축소 영상(540)을 획득할 수 있다. 이 경우, 축소 영상(540)은 영상(520)에 비해 다소 좌측에 존재하는 영상일 수 있다.
그리고, 프로세서(130)는 축소 영상(540)을 디스플레이 영역(111)에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 디스플레이 영역(111)에 디스플레이되던 영상(520)의 사이즈와 동일해지도록 축소 영상(540)의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 프로세서(130)는 우안 영상을 좌측으로 이동시키고, 좌측으로 이동된 우안 영상을 이용하여 우안 입체 공간 영상을 생성한다. 그리고, 프로세서(130)는 우안 입체 공간 영상 내에 존재하는 가상 카메라의 화각의 양을 전체 축소 명령에 대한 축소 비율만큼 증가시키고, 화각의 양이 증가된 가상 카메라를 이용하여 우안 입체 공간 영상에서 전체 축소 명령에 대응되는 축소 영상을 추출할 수 있다.
이 경우, 프로세서(130)는 가상 카메라의 화각만 조절할 뿐 가상 카메라의 초점 위치는 변경하지 않는다. 즉, 프로세서(130)는 가상 카메라의 초점 위치를 전체 축소 명령이 입력되기 전과 동일하게 유지시키고, 좌측으로 이동된 우안 영상에서 기초하여 생성된 우안 입체 공간 영상에서 전체 축소 명령에 대응되는 축소 영상을 추출할 수 있다.
이와 같이, 좌측으로 이동된 우안 영상에 의해 우안 입체 공간 영상을 생성하는 경우, 우안 입체 공간 영상은 좌측으로 이동되기 전에 비해 반시계 방향으로 회전된 상태를 가질 수 있다.
따라서, 가상 카메라의 초점 위치를 그대로 유지한 채, 반시계 방향으로 회전된 우안 입체 공간 영상에서 축소 영상을 추출하는 경우, 좌측으로 이동되지 않은 우안 입체 공간 영상에서 축소 영상을 추출하는 경우보다 우측에 존재하는 확대 영상을 획득할 수 있게 된다. 즉, 우안 영상을 좌측으로 이동시켜 축소 영상을 추출하는 경우, 이동 전의 우안 영상에서 축소 영상을 추출하는 경우보다 우측에 존재하는 축소 영상을 추출할 수 있다.
한편, 프로세서(130)는 획득된 축소 영상을 디스플레이(110)를 통해 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 우안 입체 공간 영상으로부터 획득한 축소 영상을 디스플레이(110)에서 사용자의 우안이 바라보는 영역에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 전체 축소 명령이 입력되기 전에 디스플레이(110)에 디스플레이되던 영상과 동일한 사이즈를 갖도록 축소 영상의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 이하에서는 도 6을 참조하여 전체 축소 명령 입력 시 축소 영상을 획득하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 6과 같이, 프로세서(130)는 사용자의 시선 방향과 동일한 방향을 바라보는 가상 카메라를 이용하여, 우안 영상(610)에서 사용자의 시선 방향에 존재하는 영상(620)을 획득하고, 이를 사용자의 우안이 바라보는 디스플레이 영역(112)에 디스플레이할 수 있다.
한편, 전체 축소 명령이 입력되면, 프로세서(130)는 우안 영상을 좌측으로 이동시켜, 좌측으로 이동된 영상(630)을 생성할 수 있다. 그리고, 프로세서(130)는 가상 카메라의 초점 위치는 그대로 유지한 채 전체 축소 명령의 축소 비율만큼 가상 카메라의 화각의 양을 증가시키고, 가상 카메라를 이용하여 좌측으로 이동된 영상에서 축소 영상(640)을 획득할 수 있다. 이 경우, 축소 영상(640)은 영상(620)에 비해 다소 우측에 존재하는 영상일 수 있다.
그리고, 프로세서(130)는 축소 영상(640)을 디스플레이 영역(112)에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 디스플레이 영역(112)에 디스플레이되던 영상(620)의 사이즈와 동일해지도록 축소 영상(640)의 사이즈를 조절하여 디스플레이할 수 있다.
이와 같이, 전체 축소 명령에 따라 좌안 영상을 우측으로 이동시키고 우안 영상은 좌측으로 이동시켜 축소 영상을 획득한다는 점에서, 입체 영상에 대한 축소 시 좌안 영상과 우안 영상 사이의 시차가 줄어드어 부자연스러운 입체감을 제공하는 현상을 방지할 수 있게 된다.
한편, 축소 영상은 전체 축소 명령에 대한 축소 비율에 따라 달라질 수 있다. 예를 들어, 전체 축소 명령의 축소 비율이 50%인 경우, 프로세서(130)는 가상 카메라의 화각을 150% 만큼 늘려 축소 영상을 획득할 수 있다.
또한, 프로세서(130)는 좌안 영상과 우안 영상 각각을 이동시킬 때, 이들 영상 각각이 이동되는 정도를 전체 축소 명령에 대한 축소 비율에 비례하도록 결정할 수 있다.
즉, 프로세서(130)는 축소 비율이 클수록 좌안 영상과 우안 영상 각각을 우측 방향 및 좌측 방향으로 더 많이 이동시키고, 축소 비율이 작을수록 좌안 영상과 우안 영상 각각을 우측 방향 및 좌측 방향으로 더 적게 이동시킬 수 있다.
다만, 프로세서(130)는 좌안 영상과 우안 영상 각각을 이동시킬 때, 이동된 좌측 영상 및 우측 영상 각각에서 추출되는 영상 사이의 시차를 고려해서 좌안 영상과 우안 영상 각각이 이동되는 정도를 결정할 수 있다.
예를 들어, 프로세서(130)는 우측으로 이동된 좌안 영상에서 추출된 영상 및 좌측으로 이동된 우안 영상에서 추출된 영상 사이의 시차 값이 일반적으로 자연스러운 입체감을 줄 수 있는 시차 값보다 크거나 같고, 이동 전의 좌안 영상 및 우안 영상 사이의 시차 값보다 작거나 같아지도록 좌안 영상과 우안 영상 각각이 이동되는 정도를 결정할 수 있다.
이하에서는 도 7을 참조하여 사용자 명령에 따라 좌안 영상 및 우안 영상이 이동되는 정도를 결정하는 방법에 대해 보다 구체적으로 설명하도록 한다.
다만, 설명의 편의를 위해, 도 7에서는 전체 확대 명령이 입력된 경우를 일 예로, 좌안 영상 및 우안 영상이 이동되는 정도를 결정하는 방법에 대해 설명하도록 한다. 한편, 전체 축소 명령이 입력된 경우에도 도 7에서 설명하는 방법과 동일한 방법이 적용될 수 있다.
도 7을 참조하면, 전체 축소 명령이 입력되기 전의 가상 카메라의 화각은 a°이다. 한편, 전체 축소 명령이 입력되면, 프로세서(130)는 전체 축소 명령에 대한 확대 비율만큼 가상 카메라의 화각을 감소시킨다. 이에 따라, 전체 축소 명령이 입력된 후의 가상 카메라의 화각은 b°가 된다.
한편, 상술한 바와 같이, 전체 확대 명령이 입력되면, 프로세서(130)는 좌안 영상을 좌측으로 이동시키고 우안 영상을 우측으로 이동시킨 후, 좌측으로 이동된 좌안 영상 및 우측으로 이동된 우안 영상 각각에서 확대 영상을 획득하게 된다.
이때, 좌안 영상 및 우안 영상이 이동되는 정도는 하기의 수학식 1에 기초하여 산출될 수 있다.
수학식 1
Figure PCTKR2015013250-appb-M000001
여기에서, r은 겹치는 비율 즉, 좌측으로 이동된 좌안 영상과 우측으로 이동된 우안 영상 사이의 시차 값에 의해 결정될 수 있다.
이 경우, 프로세서(130)는 일반적으로 자연스러운 입체감을 줄 수 있는 시차 값보다 크거나 같고, 이동 전의 좌안 영상 및 우안 영상 사이의 시차 값보다 작거나 같아지도록, 우측으로 이동된 좌안 영상에서 추출된 영상 및 좌측으로 이동된 우안 영상에서 추출된 영상 사이의 시차 값을 결정하므로, 결정된 시차 값에 의해 좌측으로 이동된 좌안 영상과 우측으로 이동된 우안 영상이 겹치는 비율이 결정될 수 있다.
한편, 전체 축소 명령에 따라 좌안 영상 및 우안 영상을 이동시킬 때, 프로세서(130)는 선형적으로 이동(선형 이동)시키거나 비선형적으로 이동(비선형 이동)시킬 수 있다. 여기에서, 선형 이동은 전체 영상의 입체감을 조절하는 것을 나타내며, 비선형 이동은 영상의 중심부의 입체감을 높이고 그 이외의 부분의 입체감을 작게 조절하는 것을 의미한다.
한편, 상술한 예에서는 전체 확대 명령 및 전체 축소 명령에 의해 좌안 영상 및 우안 영상을 이동시켜 확대 영상 및 축소 영상을 획득하는 것으로 설명하였다. 다만, 이러한 방법 외에도 가상 카메라의 위치를 조절하여 전체 확대 명령에 대한 확대 영상 및 전체 축소 명령에 대한 축소 영상을 획득할 수도 있다.
구체적으로, 전체 확대 명령이 입력되면, 프로세서(130)는 좌안 영상 및 우안 영상에 대한 이동 없이, 좌안 입체 공간 내의 가상 카메라를 우측으로 이동시키고 우안 입체 공간 내의 가상 카메라를 좌측으로 이동시켜, 전체 확대 명령에 대한 확대 영상을 획득할 수 있다.
또한, 전체 축소 명령이 입력되면, 프로세서(130)는 좌안 영상 및 우안 영상에 대한 이동 없이, 좌안 입체 공간 내의 가상 카메라를 좌측으로 이동시키고 우안 입체 공간 내의 가상 카메라를 우측으로 이동시켜, 전체 축소 명령에 대한 축소 영상을 획득할 수 있다.
이하에서는, 부분 확대 명령 및 부분 축소 명령이 입력된 경우, 입체감을 조절하여 확대 영상 및 축소 영상을 제공하는 방법을 설명하도록 한다.
프로세서(130)는 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 영상 및 우안 입체 공간 내에 존재하는 가상 카메라를 회전시키고, 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 사용자 명령에 대응되는 영상을 추출하여 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 입체 영상의 일 부분을 확대시키기 위한 부분 확대 명령이 입력되면, 좌안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 우안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 부분 확대 명령에 대응되는 영상을 추출하고, 추출된 영상 각각을 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이할 수 있다.
즉, 프로세서(130)는 부분 확대 명령이 입력되면, 좌안 입체 공간 및 우안 입체 공간 내에 존재하는 가상 카메라를 회전시킨 후, 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 확대 영상을 추출하여 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 부분 확대 명령이 입력되면, 가상 카메라의 화각의 양을 부분 확대 명령이 입력된 영역의 사이즈만큼의 영상을 획득할 수 있는 크기로 조절한다. 즉, 부분 확대 명령은 현재 디스플레이되고 있는 영상의 일부 영역을 확대시키기 위한 명령이라는 점에서, 프로세서(130)는 현재 디스플레이되고 있는 영상에서 부분 확대 명령이 입력된 영역을 판단하고, 판단된 영역의 사이즈만큼의 영상을 획득할 수 있는 크기로 가상 카메라의 화각의 양을 조절할 수 있다.
이후, 프로세서(130)는 좌안 입체 공간의 중심에 위치한 가상 카메라를 우측으로 회전시키고, 가상 카메라의 화각의 양을 부분 확대 명령에 대한 확대 비율만큼 추가로 감소시킨다. 그리고, 프로세서(130)는 우측으로 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상에서 부분 확대 명령에 대응되는 확대 영상을 추출할 수 있다
이 경우, 프로세서(130)는 좌안 영상을 이동시키지 않고, 가상 카메라를 회전시키고 화각의 양을 조절한다. 즉, 프로세서(130)는 좌안 입체 공간 영상을 부분 확대 명령이 입력되기 전과 동일하게 유지시키고, 우측으로 회전된 가상 카메라에 기초하여 좌안 입체 공간 영상에서 부분 확대 명령에 대응되는 확대 영상을 추출할 수 있다.
따라서, 좌안 입체 공간 영상을 그대로 유지한 채 우측으로 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상에서 확대 영상을 추출하는 경우, 회전되지 않은 카메라를 이용하여 추출하는 경우보다 우측에 존재하는 확대 영상을 획득할 수 있게 된다.
한편, 프로세서(130)는 획득된 확대 영상을 디스플레이(110)를 통해 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 좌안 입체 공간 영상으로부터 획득한 확대 영상을 디스플레이(110)에서 사용자의 좌안이 바라보는 영역에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 부분 확대 명령이 입력되기 전에 디스플레이(110)에 디스플레이되던 영상에서 부분 확대 명령이 입력된 영역에 확대 영상이 오버레이되도록, 확대 영상의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 이하에서는 도 8을 참조하여 부분 확대 명령 입력 시 확대 영상을 획득하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 8과 같이, 프로세서(130)는 사용자의 시선 방향과 동일한 방향을 바라보는 가상 카메라를 이용하여, 좌안 영상(810)에서 사용자의 시선 방향에 존재하는 영상(820)을 획득하고, 이를 사용자의 좌안이 바라보는 디스플레이 영역(111)에 디스플레이할 수 있다.
한편, 현재 디스플레이되는 영상(820)의 일부 영역에 대한 부분 확대 명령이 입력될 수 있다. 이 경우, 프로세서(130)는 부분 확대 명령이 입력된 영역에 대한 영상(830)을 획득할 수 있는 화각이 되도록 가상 카메라의 화각의 양을 감소시킨다.
그리고, 프로세서(130)는 좌안 영상은 그대로 유지한 채, 가상 카메라를 우측으로 회전시키고 부분 확대 명령의 확대 비율만큼 가상 카메라의 화각의 양을 감소시키고, 가상 카메라를 이용하여 확대 영상(840)을 획득할 수 있다. 이 경우, 확대 영상(840)은 영상(820)에 비해 다소 우측에 존재하는 영상일 수 있다.
그리고, 프로세서(130)는 확대 영상(840)을 디스플레이 영역(111)에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 확대 영상(840)의 사이즈를 조절하여, 디스플레이 영역(111)에 디스플레이되던 영상(820)에서 부분 확대 명령이 입력된 영역에 오버레이하여 디스플레이할 수 있다.
한편, 상술한 바와 같이, 프로세서(130)는 부분 확대 명령이 입력되면, 가상 카메라의 화각의 양을 부분 확대 명령이 입력된 영역의 사이즈만큼의 영상을 획득할 수 있는 크기로 조절한다.
이후, 프로세서(130)는 우안 입체 공간의 중심에 위치한 가상 카메라를 좌측으로 회전시키고, 가상 카메라의 화각의 양을 부분 확대 명령에 대한 확대 비율만큼 추가로 감소시킨다. 그리고, 프로세서(130)는 좌측으로 회전된 가상 카메라를 이용하여 우안 입체 공간 영상에서 부분 확대 명령에 대응되는 확대 영상을 추출할 수 있다
이 경우, 프로세서(130)는 우안 영상을 이동시키지 않고, 가상 카메라를 회전시키고 화각의 양을 조절한다. 즉, 프로세서(130)는 우안 입체 공간 영상을 부분 확대 명령이 입력되기 전과 동일하게 유지시키고, 좌측으로 회전된 가상 카메라에 기초하여 우안 입체 공간 영상에서 부분 확대 명령에 대응되는 확대 영상을 추출할 수 있다.
따라서, 우안 입체 공간 영상을 그대로 유지한 채 좌측으로 회전된 가상 카메라를 이용하여 우안 입체 공간 영상에서 확대 영상을 추출하는 경우, 회전되지 않은 카메라를 이용하여 추출하는 경우보다 좌측에 존재하는 확대 영상을 획득할 수 있게 된다.
한편, 프로세서(130)는 획득된 확대 영상을 디스플레이(110)를 통해 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 우안 입체 공간 영상으로부터 획득한 확대 영상을 디스플레이(110)에서 사용자의 우안이 바라보는 영역에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 부분 확대 명령이 입력되기 전에 디스플레이(110)에 디스플레이되던 영상에서 부분 확대 명령이 입력된 영역에 확대 영상이 오버레이되도록, 확대 영상의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 이하에서는 도 9를 참조하여 부분 확대 명령 입력 시 확대 영상을 획득하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 9와 같이, 프로세서(130)는 사용자의 시선 방향과 동일한 방향을 바라보는 가상 카메라를 이용하여, 우안 영상(910)에서 사용자의 시선 방향에 존재하는 영상(920)을 획득하고, 이를 사용자의 우안이 바라보는 디스플레이 영역(112)에 디스플레이할 수 있다.
한편, 현재 디스플레이되는 영상(920)의 일부 영역에 대한 부분 확대 명령이 입력될 수 있다. 이 경우, 프로세서(130)는 부분 확대 명령이 입력된 영역에 대한 영상(930)을 획득할 수 있는 화각이 되도록 가상 카메라의 화각의 양을 감소시킨다.
그리고, 프로세서(130)는 우안 영상은 그대로 유지한 채, 가상 카메라를 좌측으로 회전시키고 부분 확대 명령의 확대 비율만큼 가상 카메라의 화각의 양을 감소시키고, 가상 카메라를 이용하여 확대 영상(940)을 획득할 수 있다. 이 경우, 확대 영상(940)은 영상(920)에 비해 다소 좌측에 존재하는 영상일 수 있다.
그리고, 프로세서(130)는 확대 영상(940)을 디스플레이 영역(112)에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 확대 영상(940)의 사이즈를 조절하여, 디스플레이 영역(112)에 디스플레이되던 영상(920)에서 부분 확대 명령이 입력된 영역에 오버레이하여 디스플레이할 수 있다.
이와 같이, 부분 확대 명령에 따라 좌안 입체 공간 내의 가상 카메라를 우측으로 회전시키고 우안 입체 공간 내의 가상 카메라를 좌측으로 회전시켜 확대 영상을 획득한다는 점에서, 입체 영상에 대한 확대 시 좌안 영상과 우안 영상이 겹치는 부분이 줄어들어 시차가 과도하게 커져서 발생되는 크로스토크 현상을 방지할 수 있게 된다.
한편, 확대 영상은 부분 확대 명령에 대한 확대 비율에 따라 달라질 수 있다. 예를 들어, 부분 확대 명령의 확대 비율이 150%인 경우, 프로세서(130)는 가상 카메라의 화각을 50% 만큼 줄여 확대 영상을 획득할 수 있다.
또한, 프로세서(130)는 가상 카메라를 회전시킬 때, 회전되는 정도를 부분 확대 명령에 대한 확대 비율에 비례하도록 결정할 수 있다.
즉, 프로세서(130)는 확대 비율이 클수록 좌안 입체 공간 및 우안 입체 공간 내의 가상 카메라를 더 많이 회전시키고, 확대 비율이 작을수록 좌안 입체 공간 및 우안 입체 공간 내의 가상 카메라를 더 적게 회전시킬 수 있다.
다만, 프로세서(130)는 가상 카메라를 회전시킬 때, 회전된 가상 카메라에 의해 획득된 영상 사이의 시차를 고려해서 가상 카메라가 회전되는 정도를 결정할 수 있다.
예를 들어, 프로세서(130)는 좌안 입체 공간 내에서 우측으로 회전된 가상 카메라에 의해 획득된 영상 및 우안 입체 공간 내에서 좌측으로 회전된 가상 카메라에 의해 획득된 영상 사이의 시차 값이 회전 전의 좌안 영상 및 우안 영상 사이의 시차 값보다 크거나 같고 일반적으로 사용자에게 어지러움을 유발시키는 시차 값보다 작아지도록 가상 카메라가 회전되는 정도를 결정할 수 있다.
한편, 프로세서(130)는 입체 영상의 일 부분을 축소시키기 위한 부분 축소 명령이 입력되면, 좌안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고 우안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 부분 축소 명령에 대응되는 영상을 추출하고, 추출된 영상 각각을 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이할 수 있다.
즉, 프로세서(130)는 부분 축소 명령이 입력되면, 좌안 입체 공간 및 우안 입체 공간 내에 존재하는 가상 카메라를 회전시킨 후, 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 축소 영상을 추출하여 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 부분 축소 명령이 입력되면, 가상 카메라의 화각의 양을 부분 축소 명령이 입력된 영역의 사이즈만큼의 영상을 획득할 수 있는 크기로 조절한다. 즉, 부분 축소명령은 현재 디스플레이되고 있는 영상의 일부 영역을 축소시키기 위한 명령이라는 점에서, 프로세서(130)는 현재 디스플레이되고 있는 영상에서 부분 축소 명령이 입력된 영역을 판단하고, 판단된 영역의 사이즈만큼의 영상을 획득할 수 있는 크기로 가상 카메라의 화각의 양을 조절할 수 있다.
이후, 프로세서(130)는 좌안 입체 공간의 중심에 위치한 가상 카메라를 좌측으로 회전시키고, 가상 카메라의 화각의 양을 부분 축소 명령에 대한 축소 비율만큼 추가로 증가시킨다. 그리고, 프로세서(130)는 좌측으로 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상에서 부분 확대 명령에 대응되는 축소 영상을 추출할 수 있다
이 경우, 프로세서(130)는 좌안 영상을 이동시키지 않고, 가상 카메라를 회전시키고 화각의 양을 조절한다. 즉, 프로세서(130)는 좌안 입체 공간 영상을 부분 확대 명령이 입력되기 전과 동일하게 유지시키고, 좌측으로 회전된 가상 카메라에 기초하여 좌안 입체 공간 영상에서 부분 확대 명령에 대응되는 축소 영상을 추출할 수 있다.
따라서, 좌안 입체 공간 영상을 그대로 유지한 채 좌측으로 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상에서 축소 영상을 추출하는 경우, 회전되지 않은 카메라를 이용하여 추출하는 경우보다 좌측에 존재하는 축소 영상을 획득할 수 있게 된다.
한편, 프로세서(130)는 획득된 축소 영상을 디스플레이(110)를 통해 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 좌안 입체 공간 영상으로부터 획득한 축소 영상을 디스플레이(110)에서 사용자의 좌안이 바라보는 영역에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 부분 확대 명령이 입력되기 전에 디스플레이(110)에 디스플레이되던 영상에서 부분 축소 명령이 입력된 영역에 축소 영상이 오버레이되도록, 축소 영상의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 이하에서는 도 10을 참조하여 부분 축소 명령 입력 시 축소 영상을 획득하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 10과 같이, 프로세서(130)는 사용자의 시선 방향과 동일한 방향을 바라보는 가상 카메라를 이용하여, 좌안 영상(1010)에서 사용자의 시선 방향에 존재하는 영상(1020)을 획득하고, 이를 사용자의 좌안이 바라보는 디스플레이 영역(111)에 디스플레이할 수 있다.
한편, 현재 디스플레이되는 영상(1020)의 일부 영역에 대한 부분 축소 명령이 입력될 수 있다. 이 경우, 프로세서(130)는 부분 축소 명령이 입력된 영역에 대한 영상(1030)을 획득할 수 있는 화각이 되도록 가상 카메라의 화각의 양을 감소시킨다.
그리고, 프로세서(130)는 좌안 영상은 그대로 유지한 채, 가상 카메라를 좌측으로 회전시키고 부분 축소 명령의 축소 비율만큼 가상 카메라의 화각의 양을 증가시키고, 가상 카메라를 이용하여 축소 영상(1040)을 획득할 수 있다. 이 경우, 축소 영상(1040)은 영상(1020)에 비해 다소 좌측에 존재하는 영상일 수 있다.
그리고, 프로세서(130)는 축소 영상(1040)을 디스플레이 영역(111)에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 축소 영상(1040)의 사이즈를 조절하여, 디스플레이 영역(111)에 디스플레이되던 영상(1020)에서 부분 축소 명령이 입력된 영역에 오버레이하여 디스플레이할 수 있다.
한편, 상술한 바와 같이, 프로세서(130)는 부분 축소 명령이 입력되면, 가상 카메라의 화각의 양을 부분 확대 명령이 입력된 영역의 사이즈만큼의 영상을 획득할 수 있는 크기로 조절한다.
이후, 프로세서(130)는 우안 입체 공간의 중심에 위치한 가상 카메라를 우측으로 회전시키고, 가상 카메라의 화각의 양을 부분 축소 명령에 대한 축소 비율만큼 추가로 증가시킨다. 그리고, 프로세서(130)는 우측으로 회전된 가상 카메라를 이용하여 우안 입체 공간 영상에서 부분 축소 명령에 대응되는 축소 영상을 추출할 수 있다.
이 경우, 프로세서(130)는 우안 영상을 이동시키지 않고, 가상 카메라를 회전시키고 화각의 양을 조절한다. 즉, 프로세서(130)는 우안 입체 공간 영상을 부분 축소 명령이 입력되기 전과 동일하게 유지시키고, 우측으로 회전된 가상 카메라에 기초하여 우안 입체 공간 영상에서 부분 축소 명령에 대응되는 축소 영상을 추출할 수 있다.
따라서, 우안 입체 공간 영상을 그대로 유지한 채 우측으로 회전된 가상 카메라를 이용하여 우안 입체 공간 영상에서 축소 영상을 추출하는 경우, 회전되지 않은 카메라를 이용하여 추출하는 경우보다 우측에 존재하는 축소 영상을 획득할 수 있게 된다.
한편, 프로세서(130)는 획득된 축소 영상을 디스플레이(110)를 통해 디스플레이할 수 있다.
구체적으로, 프로세서(130)는 우안 입체 공간 영상으로부터 획득한 축소 영상을 디스플레이(110)에서 사용자의 우안이 바라보는 영역에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 부분 축소 명령이 입력되기 전에 디스플레이(110)에 디스플레이되던 영상에서 부분 축소 명령이 입력된 영역에 축소 영상이 오버레이되도록, 축소 영상의 사이즈를 조절하여 디스플레이할 수 있다.
한편, 이하에서는 도 11을 참조하여 부분 축소 명령 입력 시 축소 영상을 획득하는 방법에 대해 보다 구체적으로 설명하도록 한다.
도 11과 같이, 프로세서(130)는 사용자의 시선 방향과 동일한 방향을 바라보는 가상 카메라를 이용하여, 우안 영상(1110)에서 사용자의 시선 방향에 존재하는 영상(1120)을 획득하고, 이를 사용자의 우안이 바라보는 디스플레이 영역(112)에 디스플레이할 수 있다.
한편, 현재 디스플레이되는 영상(1120)의 일부 영역에 대한 부분 축소 명령이 입력될 수 있다. 이 경우, 프로세서(130)는 부분 축소 명령이 입력된 영역에 대한 영상(1130)을 획득할 수 있는 화각이 되도록 가상 카메라의 화각의 양을 감소시킨다.
그리고, 프로세서(130)는 우안 영상은 그대로 유지한 채, 가상 카메라를 우측으로 회전시키고 부분 축소 명령의 축소 비율만큼 가상 카메라의 화각의 양을 증가시키고, 가상 카메라를 이용하여 축소 영상(1140)을 획득할 수 있다. 이 경우, 축소 영상(1140)은 영상(1120)에 비해 다소 우측에 존재하는 영상일 수 있다.
그리고, 프로세서(130)는 축소 영상(1140)을 디스플레이 영역(112)에 디스플레이할 수 있다.
이 경우, 프로세서(130)는 축소 영상(1140)의 사이즈를 조절하여, 디스플레이 영역(112)에 디스플레이되던 영상(1120)에서 부분 축소 명령이 입력된 영역에 오버레이하여 디스플레이할 수 있다.
이와 같이, 부분 축소 명령에 따라 좌안 입체 공간 내의 가상 카메라를 좌측으로 이동시키고 우안 입체 공간 내의 가상 카메라를 우측으로 이동시켜 축소 영상을 획득한다는 점에서, 입체 영상에 대한 축소 시 좌안 영상과 우안 영상 사이의 시차가 줄어드어 부자연스러운 입체감을 제공하는 현상을 방지할 수 있게 된다.
한편, 축소 영상은 부분 축소 명령에 대한 축소 비율에 따라 달라질 수 있다. 예를 들어, 부분 축소 명령의 축소 비율이 50%인 경우, 프로세서(130)는 가상 카메라의 화각을 150% 만큼 늘려 축소 영상을 획득할 수 있다.
또한, 프로세서(130)는 가상 카메라를 회전시킬 때, 회전되는 정도를 부분 축소 명령에 대한 축소 비율에 비례하도록 결정할 수 있다.
즉, 프로세서(130)는 축소 비율이 클수록 좌안 입체 공간 및 우안 입체 공간 내의 가상 카메라를 더 많이 회전시키고, 축소 비율이 작을수록 좌안 입체 공간 및 우안 입체 공간 내의 가상 카메라를 더 적게 회전시킬 수 있다.
다만, 프로세서(130)는 가상 카메라를 회전시킬 때, 회전된 가상 카메라에 의해 획득된 영상 사이의 시차를 고려해서 가상 카메라가 회전되는 정도를 결정할 수 있다.
예를 들어, 프로세서(130)는 좌안 입체 공간 내에서 우측으로 회전된 가상 카메라에 의해 획득된 영상 및 우안 입체 공간 내에서 좌측으로 회전된 가상 카메라에 의해 획득된 영상 사이의 시차 값이 일반적으로 자연스러운 입체감을 줄 수 있는 시차 값보다 크거나 같고, 회전 전의 좌안 영상 및 우안 영상 사이의 시차 값보다 작거나 같아지도록 가상 카메라가 회전되는 정도를 결정할 수 있다.
한편, 부분 확대 및 부분 축소 시에는 회전된 가상 카메라에 의해 획득되는 영상을 망원 영상이라 할 수 있다. 즉, 부분 확대 명령 및 부분 축소 명령이 입력되면, 기존에 디스플레이되던 영상에서 일부만이 확대 또는 축소되어 디스플레이된다는 점에서, 이를 통해 사용자에게 망원 효과(또는, 지도 효과)를 제공할 수 있다.
한편, 부분 확대 및 부분 축소 시, 가상 카메라가 회전되는 각도는 상술한 수학식 1에 기초하여 결정될 수 있다.
구체적으로, 부분 확대 명령 및 부분 축소 명령이 입력된 영역의 중심 축이 가상 카메라의 초점이 위치하는 축과 일치하는 경우, 프로세서(130)는 수학식 1에서 산출된 이동 정도만큼의 비율로 가상 카메라를 회전시킬 수 있다.
다만, 부분 확대 명령 및 부분 축소 명령이 입력된 영역의 중심 축이 가상 카메라의 초점이 위치하는 축과 일치하지 않는 경우, 프로세서(130)는 부분 확대 명령 및 부분 축소 명령이 입력된 영역의 중심 축과 가상 카메라의 초점이 위치하는 축 사이의 이동 거리를 산출하고, 수학식 1에서 산출된 이동 정도에 산출된 이동 거리를 더한 값만큼의 비율로 가상 카메라를 회전시킬 수 있다.
도 2b는 본 발명의 일 실시 예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 블록도이다.
도 2b에 따르면, 디스플레이 장치(100)는 디스플레이(110), 사용자 인터페이스(120) 및 프로세서(130) 외에도 영상 입력부(140), 센서부(150), 영상 처리부(160) 및 저장부(170)를 더 포함할 수 있으며, 이들의 동작은 프로세서(130)에 의해 제어될 수 있다. 한편, 디스플레이(110), 사용자 인터페이스(120) 및 프로세서(130)에 대해서는 도 2a에서 설명한바 있다는 점에서, 이에 대한 구체적인 설며은 생략하도록 한다.
영상 입력부(140)는 입체 영상을 입력받는다. 예를 들어, 영상 입력부(140)는 서버(미도시) 또는 타 디바이스(미도시)에 연결되어, 입체 영상을 입력받을 수 있다.
센서부(150)는 디스플레이 장치(100)의 상태를 감지한다. 구체적으로, 센서부(150)는 지자기 센서, 자이로 센서 및 가속도 센서 중 적어도 하나를 포함할 수 있으며, 프로세서(130)는 센서부(150)의 센싱 결과에 기초하여 디스플레이 장치(100)의 자세, 회전 방향 및 회전 정도 등과 같이 디스플레이 장치(100)의 모션 상태를 판단할 수 있다.
이에 따라, 프로세서(130)는 디스플레이 장치(100)의 모션 상태에 따라 이를 착용한 사용자의 머리가 움직이는 방향을 감지하여 사용자가 바라보는 방향을 판단할 수 있다.
영상 처리부(160)는 디스플레이 장치(100)의 모션 상태에 대응되는 영상 및 사용자 명령에 대응되는 영상을 렌더링하여 디스플레이(110)로 제공한다.
구체적으로, 프로세서(130)는 좌안 영상 및 우안 영상을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 렌더링하고, 입체 공간 영상 중 디스플레이 장치(100)를 착용한 사용자가 바라보는 방향에 존재하는 영상을 렌더링하도록 영상 처리부(160)를 제어할 수 있다.
또한, 프로세서(130)는 확대 명령에 따른 확대 영상 및 축소 명령에 따른 축소 영상을 렌더링하도록 영상 처리부(160)를 제어할 수 있다.
저장부(170)는 디스플레이 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 프로그램, 컨텐츠 등과 같은 다양한 데이터를 저장한다.
또한, 저장부(170)는 영상 입력부(140)를 통해 입력받은 입체 영상을 저장할 수 있다.
한편, 상술한 프로세서(130)의 동작은 저장부(170)에 저장된 프로그램에 의해 이루어질 수 있다.
구체적으로, 프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 저장부(170)에 액세스하여, 저장부(170)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(170)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(170)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
도 12는 본 발명의 일 실시 예에 따른 확대 명령 및 축소 명령에 따른 영상을 생성하여 출력하는 방법을 설명하기 위한 도면이다.
도 12와 같이, 디스플레이 장치(100)는 3D 영상으로부터 좌안 영상 및 우안 영상을 분리한 후(S1210), 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영시켜 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성한다(S1220). 이 경우, 생성된 좌안 입체 공간 영상 및 우안 입체 공간 영상은 파노라마 3D 영상으로, 가상의 입체 공간에서 구 형태를 가질 수 있다.
이후, 가상 카메라 엔진을 통해 사용자가 바라보는 방향에 존재하는 영상을 획득하여 출력하여(S1230, S1240), 사용자에게 3D VR 영상을 제공할 수 있다.
한편, 입체 영상을 확대 또는 축소시키기 위한 사용자 명령이 입력되면(S1250), 영상을 이동시키거나 가상 카메라를 회전시켜 축소 명령 및 확대 명령에 대응되는 영상의 영역을 결정하고 가상 카메라의 화각을 조절하여 결정된 영역에 대한 투영을 조절하여 확대 영상 및 축소 영상을 생성할 수 있다(S1260, S1270).
이후, 확대 영상 및 축소 영상을 출력하여, 3D VR 영상 내에서 확대 명령 및 축소 명령에 따라 입체감이 조절된 확대 영상 및 축소 영상을 사용자에게 제공할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 가상 현실 서비스를 제공하는 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 입체 영상을 디스플레이한다(S1310).
이후, 입체 영상을 확대 또는 축소시키기 위한 사용자 명령이 입력되면(S1320-Y), 사용자 명령에 대응되도록 입체 영상에 대한 입체감을 조절하여 입체감이 조절된 확대 영상 또는 축소 영상을 디스플레이한다(S1330).
구체적으로, S1330 단계는 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 이동시키고, 이동된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 사용자 명령에 대응되는 영상을 추출하여 디스플레이할 수 있다.
보다 구체적으로, 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 좌안 영상을 좌측으로 이동시키고 우안 영상을 우측으로 이동시키고, 좌측으로 이동된 좌안 영상 및 우측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 전체 확대 명령에 대응되는 확대 영상을 추출하여 디스플레이할 수 있다.
또는, 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 좌안 영상을 우측으로 이동시키고 우안 영상을 좌측으로 이동시키고, 우측으로 이동된 좌안 영상 및 좌측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 전체 축소 명령에 대응되는 축소 영상을 추출하여 디스플레이할 수 있다.
한편, S1330 단계는 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 좌안 입체 공간 및 우안 입체 공간 내에 존재하는 가상 카메라를 회전시키고, 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 사용자 명령에 대응되는 영상을 추출하여 디스플레이할 수도 있다.
구체적으로, 입체 영상의 일 부분을 확대시키기 위한 부분 확대 명령이 입력되면, 좌안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 우안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 부분 확대 명령에 대응되는 영상을 추출하고, 추출된 영상 각각을 상기 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이할 수 있다.
또는, 입체 영상의 일 부분을 축소시키기 위한 부분 축소 명령이 입력되면, 좌안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 우안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 회전된 가상 카메라를 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 부분 축소 명령에 대응되는 영상을 추출하고, 추출된 영상 각각을 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이할 수 있다.
한편, 확대 명령에 따라 확대 영상을 생성하고, 축소 명령에 따라 축소 영상을 생성하는 방법에 대해서는 상술한바 있다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, 입체 영상을 디스플레이하는 단계 및 입체 영상을 확대 또는 축소시키기 위한 사용자 명령이 입력되면 사용자 명령에 대응되도록 입체 영상에 대한 입체감을 조절하여 입체감이 조절된 확대 영상 또는 축소 영상을 디스플레이하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (14)

  1. 가상 현실(virtual reality) 서비스를 제공하는 디스플레이 장치에 있어서,
    입체 영상을 디스플레이하는 디스플레이;
    상기 입체 영상을 확대 또는 축소시키기 위한 사용자 명령을 입력받는 사용자 인터페이스; 및
    상기 사용자 명령이 입력되면, 상기 사용자 명령에 대응되도록 상기 입체 영상에 대한 입체감을 조절하여 입체감이 조절된 확대 영상 또는 축소 영상을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 이동시키고, 상기 이동된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 사용자 명령에 대응되는 영상을 추출하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 상기 좌안 영상을 좌측으로 이동시키고 상기 우안 영상을 우측으로 이동시키고, 상기 좌측으로 이동된 좌안 영상 및 상기 우측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 전체 확대 명령에 대응되는 확대 영상을 추출하여 디스플레이는 것을 특징으로 하는 디스플레이 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 상기 좌안 영상을 우측으로 이동시키고 상기 우안 영상을 좌측으로 이동시키고, 상기 우측으로 이동된 좌안 영상 및 상기 좌측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 전체 축소 명령에 대응되는 축소 영상을 추출하여 디스플레이는 것을 특징으로 하는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 및 우안 입체 공간 내에 존재하는 가상 카메라를 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 사용자 명령에 대응되는 영상을 추출하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 입체 영상의 일 부분을 확대시키기 위한 부분 확대 명령이 입력되면, 상기 좌안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 상기 우안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 부분 확대 명령에 대응되는 영상을 추출하고, 상기 추출된 영상 각각을 상기 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 입체 영상의 일 부분을 축소시키기 위한 부분 축소 명령이 입력되면, 상기 좌안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 상기 우안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 부분 축소 명령에 대응되는 영상을 추출하고, 상기 추출된 영상 각각을 상기 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  8. 가상 현실(virtual reality) 서비스를 제공하는 디스플레이 장치의 제어 방법에 있어서,
    입체 영상을 디스플레이하는 단계; 및
    상기 입체 영상을 확대 또는 축소시키기 위한 사용자 명령을 입력이 입력되면, 상기 사용자 명령에 대응되도록 상기 입체 영상에 대한 입체감을 조절하여 입체감이 조절된 확대 영상 또는 축소 영상을 디스플레이하는 단계;를 포함하는 제어 방법.
  9. 제8항에 있어서,
    상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는,
    상기 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 이동시키고, 상기 이동된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 사용자 명령에 대응되는 영상을 추출하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  10. 제9항에 있어서,
    상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는,
    상기 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 상기 좌안 영상을 좌측으로 이동시키고 상기 우안 영상을 우측으로 이동시키고, 상기 좌측으로 이동된 좌안 영상 및 상기 우측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 전체 확대 명령에 대응되는 확대 영상을 추출하여 디스플레이는 것을 특징으로 하는 제어 방법.
  11. 제9항에 있어서,
    상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는,
    상기 입체 영상의 전체를 확대시키기 위한 전체 확대 명령이 입력되면, 상기 좌안 영상을 우측으로 이동시키고 상기 우안 영상을 좌측으로 이동시키고, 상기 우측으로 이동된 좌안 영상 및 상기 좌측으로 이동된 우안 영상 각각을 이용하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 전체 축소 명령에 대응되는 축소 영상을 추출하여 디스플레이는 것을 특징으로 하는 제어 방법.
  12. 제8항에 있어서,
    상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는,
    상기 입체 영상에 포함된 좌안 영상 및 우안 영상 각각을 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 상기 좌안 입체 공간 및 우안 입체 공간 내에 존재하는 가상 카메라를 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 사용자 명령에 대응되는 영상을 추출하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  13. 제12항에 있어서,
    상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는,
    상기 입체 영상의 일 부분을 확대시키기 위한 부분 확대 명령이 입력되면, 상기 좌안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 상기 우안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 부분 확대 명령에 대응되는 영상을 추출하고, 상기 추출된 영상 각각을 상기 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  14. 제12항에 있어서,
    상기 확대 영상 또는 축소 영상을 디스플레이하는 단계는,
    상기 입체 영상의 일 부분을 축소시키기 위한 부분 축소 명령이 입력되면, 상기 좌안 입체 공간 내에 존재하는 가상 카메라를 좌측으로 회전시키고, 상기 우안 입체 공간 내에 존재하는 가상 카메라를 우측으로 회전시키고, 상기 회전된 가상 카메라를 이용하여 상기 좌안 입체 공간 영상 및 우안 입체 공간 영상 각각에서 상기 부분 축소 명령에 대응되는 영상을 추출하고, 상기 추출된 영상 각각을 상기 좌안 영상 및 우안 영상 각각에 오버레이하여 디스플레이하는 것을 특징으로 하는 제어 방법.
PCT/KR2015/013250 2015-04-29 2015-12-04 디스플레이 장치 및 그의 제어 방법 WO2016175418A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/569,642 US10339722B2 (en) 2015-04-29 2015-12-04 Display device and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0060536 2015-04-29
KR1020150060536A KR102132406B1 (ko) 2015-04-29 2015-04-29 디스플레이 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
WO2016175418A1 true WO2016175418A1 (ko) 2016-11-03

Family

ID=57198568

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/013250 WO2016175418A1 (ko) 2015-04-29 2015-12-04 디스플레이 장치 및 그의 제어 방법

Country Status (3)

Country Link
US (1) US10339722B2 (ko)
KR (1) KR102132406B1 (ko)
WO (1) WO2016175418A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN114007017A (zh) * 2021-11-18 2022-02-01 浙江博采传媒有限公司 一种视频生成方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120020801A (ko) * 2010-08-31 2012-03-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120027817A (ko) * 2010-09-13 2012-03-22 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20120055991A (ko) * 2010-11-24 2012-06-01 삼성전자주식회사 영상처리장치 및 그 제어방법
KR20140007708A (ko) * 2012-07-10 2014-01-20 삼성전자주식회사 영상 디스플레이 장치, 영상 디스플레이 방법 및 안경장치
KR20150029216A (ko) * 2013-09-09 2015-03-18 강원대학교산학협력단 3d 이미지 변환 장치 및 그 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160349A (ja) 1994-12-09 1996-06-21 Sega Enterp Ltd 頭部搭載型映像表示システム、および、頭部搭載型映像表示装置
JPH08223609A (ja) 1995-02-09 1996-08-30 Atr Tsushin Syst Kenkyusho:Kk 焦点調節の可能な三次元表示方法および表示装置
KR20020014456A (ko) 2000-08-18 2002-02-25 윤병이 입체영상의 변형보정방법 및 시스템
IL155525A0 (en) * 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
KR100662248B1 (ko) 2004-08-31 2007-01-02 한국전자통신연구원 주시거리 조절기능을 가지는 입체영상 디스플레이 시스템
KR100713024B1 (ko) 2005-04-14 2007-04-30 (주)디오컴 프로젝션 유형 헤드 마운트 디스플레이 장치
KR100947366B1 (ko) 2007-05-23 2010-04-01 광운대학교 산학협력단 입체영상 디스플레이 방법 및 시스템
KR101719980B1 (ko) * 2010-06-22 2017-03-27 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
US9294751B2 (en) * 2009-09-09 2016-03-22 Mattel, Inc. Method and system for disparity adjustment during stereoscopic zoom
US8564641B1 (en) * 2010-06-11 2013-10-22 Lucasfilm Entertainment Company Ltd. Adjusting stereo images
US8401934B2 (en) * 2010-07-02 2013-03-19 Nokia Corporation Method and apparatus for information and computation closures account management
EP2418865A3 (en) 2010-08-09 2014-08-06 LG Electronics Inc. 3D viewing device, image display apparatus, and method for operating the same
JP2013232744A (ja) * 2012-04-27 2013-11-14 Ｂｉ２−Ｖｉｓｉｏｎ株式会社 ディスプレイシステム、ディスプレイ調整システム、ディスプレイ調整方法、およびプログラム
KR20150060536A (ko) 2013-11-26 2015-06-03 삼성전기주식회사 터치센서

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120020801A (ko) * 2010-08-31 2012-03-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120027817A (ko) * 2010-09-13 2012-03-22 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20120055991A (ko) * 2010-11-24 2012-06-01 삼성전자주식회사 영상처리장치 및 그 제어방법
KR20140007708A (ko) * 2012-07-10 2014-01-20 삼성전자주식회사 영상 디스플레이 장치, 영상 디스플레이 방법 및 안경장치
KR20150029216A (ko) * 2013-09-09 2015-03-18 강원대학교산학협력단 3d 이미지 변환 장치 및 그 방법

Also Published As

Publication number Publication date
KR20160128735A (ko) 2016-11-08
KR102132406B1 (ko) 2020-07-09
US20180130262A1 (en) 2018-05-10
US10339722B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2012144666A1 (en) Display device and control method therof
WO2018182192A1 (en) Method and apparatus for displaying image based on user motion information
WO2016024755A1 (en) Image photographing apparatus, image photographing system for performing photographing by using multiple image photographing apparatuses, and image photographing methods thereof
WO2016060397A1 (en) Method and apparatus for processing screen using device
WO2016060486A1 (en) User terminal apparatus and iris recognition method thereof
WO2018038439A1 (en) Image display apparatus and operating method thereof
WO2020138840A1 (ko) 자세 교정을 위한 디스플레이 장치 및 그의 제어 방법
WO2017185316A1 (zh) 一种无人机第一视角飞行的控制方法及系统、智能眼镜
WO2017191978A1 (en) Method, apparatus, and recording medium for processing image
WO2018074893A1 (ko) 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2021025534A1 (ko) 카메라 프리뷰 이미지를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2017159931A1 (en) Electronic device including touch panel and method of controlling the electronic device
WO2021141287A1 (ko) 카메라 프리뷰를 제공하는 전자 장치 및 그 방법
WO2015064935A1 (en) Electronic device and control method thereof
WO2016175418A1 (ko) 디스플레이 장치 및 그의 제어 방법
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2021230559A1 (ko) 전자 장치 및 그 동작 방법
WO2022010192A1 (ko) 웨어러블 디바이스 및 그 동작 방법
WO2017146314A1 (ko) 디스플레이 패널과 무안경 다시점 렌티큘러시트를 통한 홀로그램 출력방법과 렌티큘러시트가 부착된 두 개의 디스플레이 패널을 통한 3차원 영상 생성방법 및 출력방법
WO2017155365A1 (en) Electronic apparatus for providing panorama image and control method thereof
WO2022025435A1 (ko) 프로젝터 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15890859

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15569642

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15890859

Country of ref document: EP

Kind code of ref document: A1