WO2018008991A1 - 영상 처리를 위한 디스플레이 장치 및 방법 - Google Patents

영상 처리를 위한 디스플레이 장치 및 방법 Download PDF

Info

Publication number
WO2018008991A1
WO2018008991A1 PCT/KR2017/007208 KR2017007208W WO2018008991A1 WO 2018008991 A1 WO2018008991 A1 WO 2018008991A1 KR 2017007208 W KR2017007208 W KR 2017007208W WO 2018008991 A1 WO2018008991 A1 WO 2018008991A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
motion sickness
motion
movement
Prior art date
Application number
PCT/KR2017/007208
Other languages
English (en)
French (fr)
Inventor
임경민
김세훈
칼라누퍼
이영윤
최원희
강지영
윤강진
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201780042231.0A priority Critical patent/CN109478331A/zh
Priority to US16/315,482 priority patent/US20190244369A1/en
Publication of WO2018008991A1 publication Critical patent/WO2018008991A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Definitions

  • the present invention relates to a display apparatus and method for image processing, and more particularly, to a display apparatus and method for providing an image photographed through a plurality of cameras in a display apparatus.
  • the virtual environment experience service it is very important to develop content rich in immersion and active elements that the user directly experiences in the virtual environment. As such content is developed, the user may feel as if he is experiencing it in a real environment.
  • the present invention has been made in accordance with the above-described needs, and an object of the present invention is to minimize the physical and mental changes that occur after the virtual environment experience when the virtual environment experience using the display device.
  • a method of processing an image comprising: receiving a plurality of image frames constituting a content, analyzing the plurality of image frames, and capturing the content Determining a motion of the camera; determining motion sickness based on the motion of the photographed camera; and if the determined motion sickness is greater than or equal to a predetermined value, the motion of the plurality of image frames is determined based on the motion of the camera. Performing image processing.
  • the determining of the movement of the camera may include detecting a feature point of each of the plurality of image frames and determining a size for each type of movement of the camera based on a change amount between the detected feature points.
  • the movement type of the camera the movement in the x-axis direction, the movement in the y-axis direction, the movement in the z-axis direction, the roll rotation movement in the x-axis direction, the pitch rotation movement in the y-axis direction, z At least one of the yaw rotational movement and the jitter movement in the axial direction.
  • the determining of motion sickness may include obtaining motion sickness values for motion types of the camera based on sizes of motion types of the cameras, weighting motion sickness values for motion types of the cameras, and adding weights. Summing the motion sickness values to calculate a final motion sickness value.
  • the determining of the motion sickness may further include correcting the final motion sickness value based on at least one of user information and environment information.
  • the determining of the movement of the camera may include: when information about the movement of the camera is included in the metadata of the plurality of image frames, based on the information included in the metadata. The size of each type of movement can be determined.
  • the image processing may be performed on the plurality of image frames using at least one of display area adjustment, frame rate adjustment, and blur correction.
  • the performing of the image processing may further perform image processing on the plurality of image frames using at least one of camera shake correction, brightness and contrast correction, and depth correction.
  • the determining of the movement of the camera may include determining a movement of the camera when a user command for executing motion sickness reduction mode is input when the operation mode for motion sickness reduction is a manual mode.
  • the content may be a panoramic image generated by synthesizing images photographed from a plurality of cameras.
  • a display apparatus may include a communication unit receiving a plurality of image frames constituting content, an image processor performing image processing on the plurality of image frames, and the plurality of image frames. Determine the motion of the camera capturing the content, and determine motion sickness based on the determined motion, and when the determined motion sickness is equal to or greater than a predetermined value, the plurality of image frames based on the motion of the camera. And a processor controlling the image processor to perform image processing on the image.
  • the processor may detect a feature point of each of the plurality of image frames, and determine a size for each type of motion of the camera based on the amount of change between the detected feature points.
  • the movement type of the camera movement in the x-axis direction, movement in the y-axis direction, movement in the z-axis direction, roll rotation movement in the x-axis direction, pitch rotation movement in the y-axis direction, z At least one of the yaw rotational movement and the jitter movement in the axial direction.
  • the processor acquires a motion sickness value for each motion type of the camera based on the size for each motion type of the camera, weights a motion sickness value for each motion type of the camera, and adds the weighted motion sickness value to a final motion sickness.
  • the value can be calculated.
  • the processor may correct the final motion sickness value based on at least one of user information and environment information.
  • the processor may determine the size for each motion type of the camera capturing the content based on the information included in the metadata. have.
  • the processor may control the image processor to perform image processing on the plurality of image frames by using at least one of display area adjustment, frame rate adjustment, and blur correction.
  • the processor may control the image processor to further perform image processing on the plurality of image frames using at least one of camera shake correction, brightness and contrast correction, and depth correction.
  • the processor may determine movement of the camera when a user command for executing motion sickness reduction mode is input when the operation mode for motion sickness reduction is a manual mode.
  • the content may be a panoramic image generated by synthesizing images photographed from a plurality of cameras.
  • the display device can reduce motion sickness with respect to video content that is likely to cause motion sickness.
  • FIG. 1 is a schematic block diagram of a display apparatus according to an embodiment of the present invention.
  • FIG. 2 is a detailed block diagram of a processor according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram for determining an area for image frame analysis in a display device according to an embodiment of the present invention
  • FIG. 4 is an exemplary view for determining a movement type of a camera in a display device according to an embodiment of the present invention
  • FIG. 5 is an exemplary diagram for determining a degree of motion sickness based on a movement type of a camera in a display device according to an embodiment of the present invention
  • FIG. 6 is a first exemplary view of performing image processing for reducing motion sickness in a display device according to an embodiment of the present invention
  • FIG. 7 is a second exemplary view of performing image processing for reducing motion sickness in a display device according to another embodiment of the present invention.
  • FIG. 8 is a third exemplary view of performing image processing for reducing motion sickness in a display device according to another embodiment of the present invention.
  • FIG. 9 is a fourth exemplary view of performing image processing for reducing motion sickness in a display device according to an embodiment of the present invention.
  • FIG. 10 is a detailed block diagram of a display device according to an embodiment of the present invention.
  • FIG. 11 is a flowchart of an image processing method of a display apparatus according to an embodiment of the present invention.
  • FIG. 12 is a flowchart of determining a movement of a camera capturing content in a display device according to an embodiment of the present invention
  • FIG. 13 is a flowchart for determining a motion sickness level of content in a display device according to an embodiment of the present invention
  • FIG. 14 is a flowchart of a method of performing image processing for reducing motion sickness in a display device according to an embodiment of the present invention.
  • ordinal numbers such as “first”, “second”, and the like may be used to distinguish between components. These ordinal numbers are used to distinguish the same or similar components from each other, and the meaning of the terms should not be construed as limited by the use of these ordinal numbers. For example, the components combined with these ordinal numbers should not be limited in order of use or arrangement by the number. If necessary, the ordinal numbers may be used interchangeably.
  • module In the embodiments of the present invention, terms such as “module”, “unit”, “part”, and the like are terms used to refer to a component that performs at least one function or operation, and the components are referred to as hardware or software. It may be implemented or a combination of hardware and software. In addition, a plurality of “modules”, “units”, “parts”, etc. are integrated into at least one module or chip, except that each needs to be implemented with a particular specific hardware, and is at least one processor. It may be implemented as (not shown).
  • a part when a part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium.
  • the meaning that a part includes a certain component means that it may further include other components, without excluding other components, unless specifically stated otherwise.
  • FIG. 1 is a schematic block diagram of a display apparatus according to an embodiment of the present invention.
  • the display apparatus 100 may be an electronic device that displays an image.
  • the display apparatus 100 may be a device that provides panoramic image content in a VR (Virtual Reality) environment.
  • VR Virtual Reality
  • the display apparatus 100 includes a communication unit 110, an image processor 120, and a processor 130.
  • the communication unit 110 receives a plurality of image frames constituting the content, and the image processing unit 120 performs image processing on the plurality of image frames input through the communication unit 110.
  • each of the plurality of image frames is an image frame in which image frames photographed by a plurality of cameras are combined, and the content including the plurality of image frames may be a panoramic image capable of providing a 360 degree around view image.
  • the processor 130 controls overall operations of the components of the display apparatus 100.
  • the processor 130 analyzes the plurality of image frames to determine movement of a camera photographing content, and determines motion sickness based on the determined movement. Subsequently, when the determined motion sickness is greater than or equal to a predetermined value, the processor 130 controls the image processor 120 to perform image processing on a plurality of image frames based on the movement of the camera photographing the content.
  • the processor 130 may be implemented in the configuration as shown in FIG.
  • FIG. 2 is a detailed block diagram of a processor according to an embodiment of the present invention.
  • the processor 130 includes an image analyzer 131, a motion analyzer 132, and motion sickness predictor 133.
  • the image analyzer 131 detects feature points of each of the input image frames.
  • the motion analyzer 132 determines the size of each motion type of the camera capturing the content based on the amount of change between the feature points of the plurality of image frames detected by the image analyzer 131.
  • the movement type may include the movement in the axial direction, the movement in the y axis, the movement in the z axis, the roll rotation in the x axis, the pitch rotation in the y axis, and the yaw in the z axis. It may be at least one of a yaw rotational movement and a jitter movement.
  • the image analyzer 131 detects a feature point from the first image frame.
  • the image analyzer 131 may detect a feature point with respect to the boundary area of the object of the first image frame.
  • the image analyzer 131 detects the feature point of the second image frame based on the pixel corresponding to the feature point of the first image frame.
  • the motion analyzer 132 analyzes the amount of change between the feature points of the first image frame and the feature points of the second image frame to determine the type of motion of the camera photographing the first and second image frames, and the size of each determined motion type. Can be determined.
  • the camera for capturing content may include a motion sensor such as a gyro sensor or an acceleration sensor.
  • the camera when capturing the content, the camera may generate metadata from the sensing value sensed by the motion sensor and generate the content including the metadata.
  • the motion analyzer 132 may determine the motion element of the camera capturing the content and the size of each motion element with reference to metadata included in the content.
  • the motion analyzer 132 may capture a corresponding image by using the amount of change between the feature points detected from each of the plurality of image frames constituting the above-mentioned content and metadata included in the content.
  • the motion type and the size of each motion type can be determined.
  • the motion analyzer 132 may determine the size according to the motion type of the camera that captured the content based on the information included in the metadata. .
  • the feature of detecting feature points from the plurality of image frames and determining the size of each type of motion from the amount of change between the detected feature points is a well-known technique, and thus detailed description thereof will be omitted.
  • the motion sickness predictor 133 obtains a motion sickness value of each type of camera motion, and assigns a predetermined weight to the motion sickness value of each type of camera movement.
  • the present invention is not limited thereto, and the motion sickness predictor 133 may set a weight of a motion type having a high motion sickness and a weight of a motion type having a low motion sickness differently.
  • the motion sickness predicting unit 133 calculates a final motion sickness value by adding the motion sickness values weighted for each motion type.
  • the final motion sickness value for each type of camera movement may be calculated based on Equation 1 below.
  • S sicknessTotal is a final motion sickness value
  • S 1 , S 2 , and S 3 may be camera motion elements.
  • the motion sickness predicting unit 133 may adjust the calculated final motion sickness value based on at least one of preset user information and environment information.
  • the user information may be user age, gender, body information, and the like
  • the environmental information may be ambient temperature, humidity, and an operation state of the user.
  • the processor 130 may adjust the user's age in the 40's and the final motion sickness value is calculated to be higher than the user whose gender is male.
  • the motion sickness predictor 133 may perform image processing on the plurality of image frames by using at least one of display area adjustment, frame rate adjustment, and blur correction. Control 120.
  • the motion sickness predictor 133 may compare the predetermined final motion sickness value with a predetermined threshold value and perform image processing for reducing motion sickness when the final motion sickness value exceeds a predetermined threshold value.
  • the processing unit 120 is controlled. According to the control command, the image processor 120 may perform image processing on a plurality of image frames by using an image processing method related to display area adjustment, frame rate adjustment, and blur correction.
  • the motion sickness prediction unit 133 may correspond to the level of the first motion sickness value among the image processing methods related to display area adjustment, frame rate adjustment, and blur correction, according to the level of the final motion sickness value.
  • the image processor 120 may be controlled to perform image processing on a plurality of image frames using the set image processing scheme.
  • the motion sickness predictor 133 uses an image processing method related to display area adjustment, and the first motion value to the second motion threshold value is preset to second threshold value. If it is between the thresholds, the image processor 120 may control to perform image processing on a plurality of image frames using an image processing method related to display area adjustment and frame rate adjustment. In addition, when the final motion sickness value exceeds the second preset threshold value, the motion sickness predictor 133 may adjust the plurality of image frames using an image processing method related to display area adjustment, frame rate adjustment, and blur correction. The image processor 120 may control the image processing.
  • the image processing unit 120 uses a plurality of image frames by using an image processing method set corresponding to the level of the final motion sickness among image processing methods related to display area adjustment, frame rate adjustment, and blur correction. Image processing may be performed.
  • the processor 130 uses not only an image processing method related to display area adjustment, frame rate adjustment, and blur correction, but also at least one image processing method among camera shake correction, brightness and contrast correction, and depth correction.
  • the image processor 120 may be controlled to perform image processing on the plurality of image frames.
  • the processor 130 determines that motion sickness is unlikely, and at least one of camera shake correction, brightness and contrast correction, and depth correction among a plurality of image processing methods is determined.
  • the image processor 120 may be controlled to perform image processing on a plurality of image frames by using one image processing method.
  • the image processor 120 performs image processing on the plurality of image frames by using at least one image processing method of camera shake correction, brightness and contrast correction, and depth correction among the plurality of image processing methods. Can be done.
  • the processor 130 when the motion mode for reducing motion sickness is a manual mode, when the user command for executing the motion sickness reduction mode is input, the processor 130, through the above-described series of performing operations
  • the image processor 120 may be controlled to perform image processing on the image frame.
  • FIG. 3 is an exemplary diagram for determining an area for image frame analysis in a display apparatus according to an embodiment of the present invention
  • FIG. 4 is an example for determining a movement type of a camera in a display device according to an embodiment of the present invention
  • FIG. 5 is an exemplary diagram for determining a degree of motion sickness based on a movement type of a camera in a display device according to an embodiment of the present invention.
  • the processor 130 selects an area for determining a movement of a camera that photographed the content from the input image frame.
  • the display apparatus 100 selects an area for image analysis in the image image 310 corresponding to the input image frame.
  • the image of the image frame 310 constituting the content may be a panoramic image generated by connecting each image frame photographed through a plurality of cameras.
  • the display apparatus 100 determines the partial image frame 320 for image analysis from the image frame 310 input to the display apparatus 100 through the processor 130.
  • the processor 130 may determine the partial image frame 320 for image analysis based on the direction in which the user's eyes are directed on the input image frame 310.
  • the processor 130 may detect a position in a direction in which the user's eyes are directed and track a position in a direction in which the user's eyes are moved from the detected position.
  • the processor 130 may detect the gaze of the user by tracking the position of the direction in which the gaze of the user moves from the position detected through the pupil-traceable sensor, which will be described later. Since the technique for detecting the user's eyes is a known technique, detailed description thereof will be omitted.
  • the processor 130 may determine the partial image frame 320 for image analysis in the image frame 310 based on the direction in which the detected gaze is directed. Therefore, the processor 130 may determine the partial image frame for image analysis from each of the plurality of consecutive image frames constituting the content through the above-described embodiment.
  • the processor 130 may determine a partial image frame for image analysis from each of a plurality of image frames constituting the content. As such, when a partial image image for image analysis is determined, the processor 130 detects a feature point from each partial image frame. Subsequently, as shown in (b) of FIG. 4, the processor 130 determines the type of movement of the camera photographing each partial image frame based on the amount of change between the feature points detected from each partial image frame. Size of each camera movement is determined. That is, the processor 130 may analyze the amount of change of the feature point 410 detected from the plurality of partial image frames to determine the movement type of the camera photographing the plurality of partial image frames, and determine the size of the determined movement type. have.
  • the movement type may include the movement in the axial direction, the movement in the y axis, the movement in the z axis, the roll rotation in the x axis, the pitch rotation in the y axis, and the yaw in the z axis. It may be at least one of a yaw rotational movement and a jitter movement.
  • the processor 130 may determine a degree of motion sickness from the size of each type of camera movement determined based on the amount of change between the feature points detected from the plurality of partial image frames.
  • the processor 130 may obtain a motion sickness value for each motion type of the camera from the predetermined size of the motion type of the camera with reference to the motion sickness prediction model predefined for each motion type.
  • the first motion sickness prediction model 510 for the roll rotation motion type in the x-axis direction and the second motion sickness prediction model 520 for the pitch rotation motion type in the y-axis direction And a third motion sickness prediction model 520 for the yaw rotational movement type in the z-axis direction may be defined.
  • the size of the roll rotational movement type in the x-axis direction, the size of the pitch rotational movement type in the y-axis direction, and the yaw in the z-axis direction based on the amount of change between the feature points detected from the plurality of partial image frames.
  • the magnitude of the rotational movement type can be determined.
  • the processor 130 refers to the first to third motion sickness prediction models 510 to 530, and the size of the roll rotation motion type in the x-axis direction and the pitch rotation motion in the y-axis direction of the predetermined camera. A motion sickness value corresponding to each of the size of the type and the size of the yaw rotational movement type in the z-axis direction is obtained. Thereafter, the processor 130 calculates a final motion sickness value 540 for each image frame by using motion motion values for each motion type, which are obtained by referring to the first to third motion sickness prediction models 510 to 530.
  • the processor 130 multiplies each of the motion sickness values obtained for each motion type of the camera by a weight set for each motion type of the camera, and adds all the motion sickness values multiplied by the weight for each motion type of the camera to form a plurality of image frames.
  • the final motion sickness value 540 corresponding to each is calculated.
  • the processor 130 may adjust the calculated final motion sickness value 540 using additional information including at least one of preset user information and environment information.
  • the processor 130 may determine whether to process the image of the plurality of image frames with reference to the final motion sickness value 540 corresponding to each of the plurality of image frames constituting the content.
  • the processor 130 compares the final motion sickness value 540 corresponding to each of the plurality of image frames with a predetermined threshold value to obtain a final motion sickness value corresponding to a value higher or lower than the predetermined threshold value.
  • the image processor 120 controls the image processor 120 to perform image processing for reducing motion sickness.
  • the processor 130 analyzes the amount of change between the final motion sickness value 540 corresponding to each of the plurality of image frames to the image frame of the section in which the amount of change is formed higher or lower than the predetermined threshold value.
  • the image processor 120 may be controlled to perform image processing for reducing motion sickness.
  • the image processor 120 may perform image processing for reducing motion sickness on at least one image frame among the plurality of image frames.
  • FIG. 6 is a first exemplary view of performing image processing for reducing motion sickness in a display device according to an embodiment of the present invention.
  • the display apparatus 100 may display an image in which the display area is adjusted with respect to at least one image frame determined to have a high possibility of motion sickness among a plurality of image frames constituting the content.
  • the processor 130 may cause motion sickness among the plurality of image frames as illustrated in FIG. 6A based on a final motion sickness value corresponding to each of the plurality of image frames constituting the content. You can extract the frame. When the image frame that may cause motion sickness is extracted, the image processor 120 adjusts the display area of the image of the image frame that may cause motion sickness as shown in FIG.
  • the image processor 120 may reduce motion sickness of a corresponding image frame by performing image processing of adjusting a field of view (FOV) of an image of an image frame that may cause motion sickness.
  • FOV field of view
  • the image processor 120 may adjust the FOV such that an image of an image frame that may cause motion sickness is adjusted in the same ratio with respect to the top, bottom, left, and right sides of the screen.
  • the present invention is not limited thereto, and the image processor 120 may adjust the FOV such that the image of the image frame is adjusted at a different ratio in the entire screen.
  • the image processor 120 may adjust the FOV such that the vertical or horizontal direction of the screen is adjusted or both the vertical and horizontal directions are adjusted.
  • the FOV adjustment method may be a method of processing the display area in black, a method of processing gradation by searching toward the outside, and a method of performing blurring.
  • FIG. 7 is a second exemplary view of performing image processing for reducing motion sickness in a display device according to another embodiment of the present invention.
  • the display apparatus 100 may adjust and display a frame rate of at least one image frame determined to have a high possibility of motion sickness among a plurality of image frames constituting the content.
  • the processor 130 may determine a section that may cause motion sickness among the plurality of image frames based on the final motion sickness value corresponding to each of the plurality of image frames constituting the content. .
  • the image processor 120 adjusts the frame rate by increasing the number of image frames included in the section.
  • a section that may cause motion sickness may include consecutive first to third image frames.
  • the image processor 120 generates and inserts a new image frame based on the first to third image frames included in a section that may cause motion sickness.
  • the image processor 120 may include an image frame having an intermediate value based on pixel values of the first and second image frames included in a section that may cause motion sickness, and pixels of the second and third image frames. An image frame having an intermediate value is generated based on the value.
  • the image processor 120 inserts each newly generated image frame between the first to third image frames.
  • the image processor 120 may adjust the frame rate of the corresponding section to increase by increasing the number of image frames in the section that may cause motion sickness.
  • FIG. 8 is a third exemplary view of performing image processing for reducing motion sickness in a display device according to another embodiment of the present invention.
  • the display apparatus 100 may adjust and display a display area and a frame rate of at least one image frame determined to have a high likelihood of motion sickness among a plurality of image frames constituting the content.
  • the processor 130 may determine a section that may cause motion sickness among the plurality of image frames based on the final motion sickness value corresponding to each of the plurality of image frames constituting the content. .
  • the image processor 120 adjusts the frame rate by increasing the number of image frames included in the section. Thereafter, the image processor 120 performs image processing for adjusting the display area of the image frame whose frame rate is adjusted.
  • a section that may cause motion sickness may include consecutive first to third image frames.
  • the image processor 120 generates and inserts a new image frame based on the first to third image frames included in a section that may cause motion sickness.
  • the image processor 120 may include an image frame having an intermediate value based on pixel values of the first and second image frames included in a section that may cause motion sickness, and pixels of the second and third image frames. An image frame having an intermediate value is generated based on the value.
  • the image processor 120 inserts each newly generated image frame between the first to third image frames.
  • the image processor 120 may generate a field of view (FOV) for the image of the image frame inserted between the first to third image frames and the first to third image frames.
  • FOV field of view
  • image processing to adjust the size of the view. Accordingly, motion sickness with respect to images of a plurality of image frames included in a section that may cause motion sickness may be reduced.
  • the image processor 120 may adjust the FOV such that an image of an image frame that may cause motion sickness is adjusted in the same ratio with respect to the top, bottom, left, and right sides of the screen.
  • the present invention is not limited thereto, and the image processor 120 may adjust the FOV such that the image of the image frame is adjusted at a different ratio in the entire screen.
  • the image processor 120 may adjust the FOV such that the vertical or horizontal direction of the screen is adjusted or both the vertical and horizontal directions are adjusted.
  • the FOV adjustment method may be a method of processing the display area in black, a method of processing gradation by searching toward the outside, and a method of performing blurring.
  • FIG. 9 is a fourth exemplary view of performing image processing for reducing motion sickness in a display device according to an embodiment of the present invention.
  • the display apparatus 100 may display an image that is blur-corrected in the vicinity of an image of at least one image frame determined to have a high likelihood of motion sickness among a plurality of image frames constituting the content.
  • the processor 130 may extract an image frame that may cause motion sickness among the plurality of image frames based on a final motion sickness value corresponding to each of the plurality of image frames constituting the content.
  • the image processor 120 may display the remaining portions of the image 910 of the image frame that may cause motion sickness except for the first object image 920 as shown in FIG. 9. By blurring the image, it provides a blurring effect around.
  • the blur processing region may be an image of the remaining region except for the image of the region included in the circle or ellipse size based on the center of the image. That is, an image of an area included in a circle or ellipse size with respect to the image may be output as an original image, and an image of the remaining area may be blurred.
  • the present invention can reduce the motion sickness of the image of the corresponding section by blurring the image of the remaining region except for the region where the specific object image is displayed in the image of the section in which the motion sickness may be induced.
  • the communication unit 110 that receives a plurality of image frames constituting content from the outside may include a short range communication module 111, a wireless communication module 112, and a connector 113.
  • the short range communication module 111 is a component that wirelessly performs short range communication between the display apparatus 100 and a peripheral electronic device (not shown).
  • the short range communication module 111 includes at least one of a Bluetooth module, an infrared data association (IrDA) module, a Near Field Communication (NFC) module, a Wi-Fi (WIFI) module, and a Zigbee module. can do.
  • the wireless communication module 112 is a module connected to an external network and performing communication according to a wireless communication protocol such as IEEE.
  • the wireless communication module further includes a mobile communication module for accessing and communicating with the mobile communication network according to various mobile communication standards such as 3rd generation (3G), 3rd generation partnership project (3GPP), long term evolution (LTE), and the like. You may.
  • 3G 3rd generation
  • 3GPP 3rd generation partnership project
  • LTE long term evolution
  • the communication unit 110 may be implemented by the various short-range communication schemes described above, and may employ other communication techniques not mentioned herein as needed.
  • the connector 113 is a configuration that provides an interface with various source devices, such as USB 2.0, USB 3.0, HDMI, IEEE 1394.
  • the connector 113 receives content transmitted from an external server (not shown) through a wired cable connected to the connector 113 according to a control command of the processor 130, or physically connected electronic device (not shown). Content can be received or transmitted from an external recording medium or the like.
  • the connector 113 may receive power from a power source through a wired cable physically connected to the connector 113.
  • the display device 100 when the display device 100 is implemented as a smart phone, a multimedia device, or the like, the display device 100 may further include a configuration as illustrated in FIG. 10 in addition to the above-described configuration.
  • FIG. 10 is a detailed block diagram of a display apparatus according to an embodiment of the present invention.
  • the display apparatus 100 may include the input unit 140, the imaging unit 160, the sensing unit 170, in addition to the communication unit 110, the image processing unit 120, and the processor 130.
  • the apparatus may further include an output unit 180 and a storage unit 190.
  • the input unit 140 is an input unit for receiving various user commands and transmitting the same to the processor 130, and may include a microphone 141, an operation unit 142, a touch input unit 143, and a user communication unit 144.
  • the microphone 141 receives a user's voice command
  • the operation unit 142 may be implemented as a keypad including various function keys, numeric keys, special keys, text keys, and the like.
  • the touch input unit 143 may be implemented as a touch pad having a rare structure with the display unit 181 which will be described later. In this case, the touch input unit 143 may receive a selection command for various application-related icons displayed on the display unit 181.
  • the user input unit 144 may receive an IR signal or an RF signal for controlling the operation of the display apparatus 100 from at least one peripheral device such as a remote control device.
  • the photographing unit 160 is for capturing a still image or a moving image according to a user command.
  • the photographing unit 160 may be implemented as a plurality of cameras such as a front camera and a rear camera.
  • the detector 170 may include a motion sensor 171, a geomagnetic sensor 172, a gravity sensor 173, a gyro sensor 174, and a pupil tracking sensor 175 that detects a movement of the display apparatus 100. have.
  • the motion sensor 171 may be an accelerometer sensor that measures the acceleration or the intensity of the impact of the moving display apparatus 100.
  • the magnetic sensor 172 is an electronic compass that can detect azimuth by using the earth's magnetic field.
  • the magnetic sensor 172 is used for location tracking, 3D video games, etc. Sensor.
  • Gravity sensor 173 is a sensor for detecting in which direction gravity acts, and is a sensor used to detect a direction by automatically rotating according to the moving direction of display apparatus 100.
  • the gyro sensor 174 is a sensor that helps to recognize more detailed and precise motion by inserting rotations into the existing motion sensor 171 and recognizing 6-axis directions.
  • the pupil tracking sensor 175 is a pupil tracking sensor 130-1 located near to the eyeball of the user, and is a sensor that detects a user's gaze change while photographing the pupil of the user.
  • the sensing unit 170 is a proximity sensor (not shown) used to determine whether the object is close to before contacting other objects, in addition to the above-described configuration, and receives the light to convert the light into an electrical signal It may further include an optical sensor (not shown).
  • the output unit 180 outputs the image-processed content.
  • the output unit 180 may output an image and audio regarding content through at least one of the display unit 181 and the audio output unit 182. That is, the display unit 181 may display the image data processed by the image processor 120, and the audio output unit 182 may output the audio signal processed audio data in the form of an audible sound. have.
  • the display unit 181 for displaying image data is implemented as a liquid crystal display (LCD), an organic light emitting diode (OLED), a plasma display panel (PDP), or the like. Can be.
  • the display unit 181 may be implemented in the form of a touch screen that forms a mutual layer structure together with the touch input unit 143.
  • the storage unit 190 may store image content such as each image photographed from a plurality of cameras and a panorama image generated from each image, or may store image and audio data of content received from an external server (not shown). have.
  • the storage 190 may further store an operation program for controlling the operation of the display apparatus 100.
  • the operation program may be a program that is read from the storage 190 and compiled to operate each component of the display apparatus 100.
  • the above-described processor 130 may further include a CPU 134, a GPU 135, a RAM 136, and a ROM 137, and include the CPU 134, the GPU 135, the RAM 136, and the like.
  • the ROMs 137 may be connected to each other via a bus (not shown).
  • the CPU 134 accesses the storage 190 and performs booting using an OS stored in the storage 190. In addition, the CPU 134 performs various operations using various programs, contents, data, and the like stored in the storage 190.
  • the GPU 135 generates a display screen including various objects such as icons, images, texts, and the like. Specifically, the GPU 135 calculates attribute values such as coordinate values, shapes, sizes, colors, and the like in which each object is to be displayed according to the layout of the screen based on the received control command, and calculates objects based on the associated attribute values. Create a display screen with various layouts to include.
  • the ROM 136 stores a command set for system booting.
  • the CPU 134 copies the OS stored in the storage unit 190 to the RAM 136 according to the command stored in the ROM 135, and executes the OS to boot the system.
  • the CPU 134 copies various programs stored in the storage 190 to the RAM 136 and executes the programs copied to the RAM 136 to perform various operations.
  • the processor 130 may be combined with each of the above-described components and implemented as a single-chip system (System-on-a-chip or System on chip, SOC, SoC).
  • the storage unit 190 may include a memory card (eg, an SD card and a memory stick) that can be attached / removed / removed to the ROM 137, the RAM 136, or the display device 100, a nonvolatile memory, a volatile memory, and a hard disk drive. (HDD) or a solid state drive (SSD).
  • a memory card eg, an SD card and a memory stick
  • HDD hard disk drive
  • SSD solid state drive
  • FIG. 11 is a flowchart of an image processing method of a display apparatus according to an exemplary embodiment.
  • the display apparatus 100 receives a plurality of image frames constituting content (S1110).
  • each of the plurality of image frames is an image frame in which image frames photographed by a plurality of cameras are combined, and the content including the plurality of image frames may be a panoramic image capable of providing a 360 degree around view image.
  • the display apparatus 100 determines whether the mode is a mode for automatically performing motion sickness reduction operation (S1120).
  • the display apparatus 100 analyzes the plurality of image frames to determine the movement of the camera photographing the content (S1130). Subsequently, the display apparatus 100 determines motion sickness based on the movement of the camera photographing the corresponding content (S1140). Thereafter, when the determined motion sickness is greater than or equal to a predetermined value, the display apparatus 100 performs image processing for reducing motion sickness of the plurality of image frames based on the movement of the camera capturing the content (S1150).
  • the display apparatus 100 determines whether a user command for motion sickness reduction operation is input (S1160). As a result of determination, when a user command for motion sickness reduction is input, the display apparatus 100 performs the above-described operations S1130 to S1150.
  • the display apparatus 100 performs the normal image processing by performing the above-described step S1150 (S1160).
  • FIG. 12 is a flowchart of determining a movement of a camera photographing content in a display device according to an exemplary embodiment.
  • the display apparatus 100 detects feature points of each of the input plurality of image frames (S1210). Subsequently, the display apparatus 100 determines a movement type of the camera that captured the content based on at least one of feature points detected from each of the plurality of image frames and metadata of the plurality of image frames, and determines the movement type of the determined motion type. The size is determined (S1220).
  • the movement type may include the movement in the axial direction, the movement in the y axis, the movement in the z axis, the roll rotation in the x axis, the pitch rotation in the y axis, and the yaw in the z axis. It may be at least one of a yaw rotational movement and a jitter movement.
  • the display apparatus 100 may detect a feature point for each consecutive image frame, analyze a change amount between the detected feature points, determine a movement type of the camera photographing the continuous image frame, and determine the size for each determined movement type. have.
  • the camera for capturing content may include a motion sensor such as a gyro sensor or an acceleration sensor.
  • the camera when capturing the content, the camera may generate metadata from the sensing value sensed by the motion sensor and generate the content including the metadata.
  • the display apparatus 100 may determine the motion type of the camera capturing the content and the size of each motion type by using the amount of change between the feature points detected from each of the plurality of image frames constituting the content and the metadata included in the content. have.
  • the display apparatus 100 may include a motion element of a camera photographing content using only the amount of change between feature points detected from each of a plurality of image frames constituting the content or metadata included in the content; The size of each moving element can be determined.
  • FIG. 13 is a flowchart illustrating determining motion sickness of contents in a display apparatus according to an exemplary embodiment.
  • the display apparatus 100 obtains a motion sickness value of each type of motion based on the size of each type of motion (S1310).
  • the display apparatus 100 may obtain a motion sickness value for each motion type of the camera from the size of each motion type of the camera, with reference to the motion sickness prediction model predefined for each motion type.
  • the display apparatus 100 assigns a weight set for each motion type to the motion sickness value obtained for each motion type of the camera in operation S1320. Thereafter, the display apparatus 100 obtains the final motion sickness value for the plurality of image frames constituting the content by adding up the motion sickness value weighted for each motion type of the camera (S1330). In this case, the display apparatus 100 may adjust the calculated final motion sickness value using additional information including at least one of preset user information and environment information.
  • FIG. 14 is a flowchart of a method of performing image processing for reducing motion sickness in a display device according to an embodiment of the present invention.
  • the display apparatus 100 when a plurality of image frames constituting content are input, the display apparatus 100 performs camera shake correction on the input image frame (S1410). Subsequently, the display apparatus 100 compares the final motion sickness value of the plurality of image frames constituting the calculated content with a predetermined threshold value, and motion sickness of an image frame having a final motion sickness value exceeding a predetermined threshold value. Image inference is performed to reduce the reduction (S1420 and S1430).
  • the display apparatus 100 may adjust a plurality of image frames using an image processing method related to display area adjustment, frame rate adjustment, and blur correction. Image processing can be performed.
  • the display apparatus 100 according to the level of the final motion sickness value, the image set corresponding to the level of the first motion sickness value among the image processing method related to display area adjustment, frame rate adjustment and blur correction (Blur) correction
  • Image processing may be performed on a plurality of image frames using a processing method. For example, if the final motion sickness value exceeds the first threshold value, the display apparatus 100 uses an image processing method related to display area adjustment, and the final motion sickness value is the first threshold value to the second threshold value. If the image is interstitial, image processing for a plurality of image frames is performed using an image processing method related to display area adjustment and frame rate adjustment. In addition, when the final motion sickness value exceeds a second threshold value, the display apparatus 100 processes an image of a plurality of image frames using an image processing method related to display area adjustment, frame rate adjustment, and blur correction. Can be performed.
  • the display apparatus 100 may variably adjust the size of the display area adjustment, the frame rate adjustment, and the blur correction-related image processing according to the size of the final motion sickness value. For example, if the magnitude of the final motion sickness value exceeds the first threshold, the display device 100 may process the display area to be reduced by 10%, the frame rate by 30%, and the blur to be corrected to 10% intensity. And, if the final motion sickness value exceeds the second threshold value, the display apparatus 100 may process the display area to be reduced by 30%, the frame rate is increased by 50%, and the blur is corrected to 30% intensity. Can be.
  • the image processing method of the display apparatus 100 as described above may be implemented by at least one executable program, and the executable program may be stored in a non-transitory computer readable medium.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • the above programs are random access memory (RAM), flash memory, read only memory (ROM), erasable programmable ROM (EPROM), electronically erasable and programmable ROM (EEPROM), registers, hard disks, removable disks, and memory. It may be stored in various types of recording media readable by the terminal, such as a card, a USB memory, a CD-ROM, and the like.

Abstract

영상 처리를 위한 디스플레이 장치 및 방법이 개시된다. 본 발명에 따른 디스플레이 장치의 영상 처리 방법은, 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 단계, 복수의 영상 프레임을 분석하여 컨텐츠를 촬영한 카메라의 움직임을 판단하는 단계, 촬영된 카메라의 움직임을 바탕으로 멀미감을 판단하는 단계 및 판단된 멀미감이 기정의된 값 이상이면, 카메라의 움직임을 바탕으로 복수의 영상 프레임에 대한 영상 처리를 수행하는 단계를 포함한다. 이에 따라, 디스플레이 장치는 멀미 유발 가능성이 높은 영상 컨텐츠에 대해서 멀미감을 저감시킬 수 있다.

Description

영상 처리를 위한 디스플레이 장치 및 방법
본 발명은 영상 처리를 위한 디스플레이 장치 및 방법에 관한 것으로써, 보다 상세하게는 디스플레이 장치에서 복수의 카메라를 통해 촬영된 영상을 제공하는 디스플레이 장치 및 방법에 관한 기술이다.
최근, 몰입형 디스플레이(Immersion Display) 시장이 확대되면서, 3D 영상과 같은 입체 영상 뿐만 아니라, 실제 환경과 같은 체험이 가능한 가상 환경 체험 기술이 널리 개발되고 있다.
특히, 가상 환경 체험 서비스의 경우, 가상 환경에서 사용자가 직접 체험하는 듯한 몰입도와 액티브적인 요소 등이 풍부한 컨텐츠를 개발하는 것이 매우 중요하다. 이 같은 컨텐츠가 개발될수록 사용자는 실제 환경에서 체험하는 듯한 경험을 느낄 수 있다.
그러나, 이 같은 요소적인 부분이 지나치게 사용된 컨텐츠를 이용하거나 장시간 체험할 경우, 사용자의 정도에 따라 현기증이나, 메스꺼움 등의 멀미감이 발생하는 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 디스플레이 장치를 이용하여 가상 환경 체험 시, 가상 환경 체험 후 발생하는 신체적, 정신적 변화를 최소화하도록 함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이 장치의 영상 처리 방법은, 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 단계, 상기 복수의 영상 프레임을 분석하여 상기 컨텐츠를 촬영한 카메라의 움직임을 판단하는 단계, 상기 촬영된 카메라의 움직임을 바탕으로 멀미감을 판단하는 단계 및 상기 판단된 멀미감이 기정의된 값 이상이면, 상기 카메라의 움직임을 바탕으로 상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 단계를 포함한다.
그리고, 상기 카메라의 움직임을 판단하는 단계는, 상기 복수의 영상 프레임 각각의 특징점을 검출하는 단계 및 상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 움직임 유형별 크기를 결정하는 단계를 포함할 수 있다.
또한, 상기 카메라의 움직임 유형은, x축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나일 수 있다.
그리고, 상기 멀미감을 판단하는 단계는, 상기 카메라의 움직임 유형별 크기에 기초하여 상기 카메라의 움직임 유형별 멀미값을 획득하는 단계, 상기 카메라의 움직임 유형별 멀미값에 가중치를 부여하는 단계 및 상기 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출하는 단계를 포함할 수 있다.
또한, 상기 멀미감을 판단하는 단계는, 사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 상기 최종 멀미값를 보정하는 단계를 더 포함할 수 있다.
그리고, 상기 카메라의 움직임을 판단하는 단계는, 상기 카메라의 움직임에 대한 정보가 상기 복수의 영상 프레임의 메타 데이터에 포함된 경우, 상기 메타 데이터에 포함된 정보를 바탕으로 상기 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정할 수 있다.
또한, 상기 영상 처리를 수행하는 단계는, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.
그리고, 상기 영상 처리를 수행하는 단계는, 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 더 수행할 수 있다.
또한, 상기 카메라의 움직임을 판단하는 단계는, 멀미감 저감을 위한 동작 모드가 수동 모드인 경우, 멀미감 저감 모드 실행을 위한 사용자 명령이 입력되면, 상기 카메라의 움직임을 판단할 수 있다.
그리고, 상기 컨텐츠는, 복수의 카메라로부터 촬영된 영상을 합성하여 생성된 파노라마 영상일 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 디스플레이 장치는 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 통신부, 상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 영상 처리부 및 상기 복수의 영상 프레임을 분석하여 상기 컨텐츠를 촬영한 카메라의 움직임을 판단하고, 상기 판단된 움직임을 바탕으로 멀미감을 판단하여, 상기 판단된 멀미감이 기정의된 값 이상이면, 상기 카메라의 움직임을 바탕으로 상기 복수의 영상 프레임에 대한 영상 처리를 수행하도록 상기 영상 처리부를 제어하는 프로세서를 포함한다.
그리고, 상기 프로세서는, 상기 복수의 영상 프레임 각각의 특징점을 검출하고, 상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 움직임 유형별 크기를 결정할 수 있다.
또한, 상기 카메라의 움직임 유형은, x축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나일 수 있다.
그리고, 상기 프로세서는, 상기 카메라의 움직임 유형별 크기에 기초하여 상기 카메라의 움직임 유형별 멀미값을 획득하고, 상기 카메라의 움직임 유형별 멀미값에 가중치를 부여하며, 상기 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출할 수 있다.
또한, 상기 프로세서는, 사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 상기 최종 멀미값를 보정할 수 있다.
그리고, 상기 프로세서는, 상기 카메라의 움직임에 대한 정보가 상기 복수의 영상 프레임의 메타 데이터에 포함된 경우, 상기 메타 데이터에 포함된 정보를 바탕으로 상기 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정할 수 있다.
또한, 상기 프로세서는, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 수행하도록 상기 영상 처리부를 제어할 수 있다.
그리고, 상기 프로세서는, 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 더 수행하도록 상기 영상 처리부를 제어할 수 있다.
또한, 상기 프로세서는, 멀미감 저감을 위한 동작 모드가 수동 모드인 경우, 멀미감 저감 모드 실행을 위한 사용자 명령이 입력되면, 상기 카메라의 움직임을 판단할 수 있다.
그리고, 상기 컨텐츠는, 복수의 카메라로부터 촬영된 영상을 합성하여 생성된 파노라마 영상일 수 있다.
이상과 같이, 본 발명에 따르면, 디스플레이 장치는 멀미 유발 가능성이 높은 영상 컨텐츠에 대해서 멀미감을 저감시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 개략적인 블록도,
도 2는 본 발명의 일 실시예에 따른 프로세서의 상세 블록도,
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 프레임 분석을 위한 영역을 결정하는 예시도,
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 카메라의 움직임 유형을 판단하기 위한 예시도,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 카메라의 움직임 유형에 기초하여 멀미감 정도를 결정하기 위한 예시도,
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제1 예시도,
도 7은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제2 예시도,
도 8은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제3 예시도,
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제4 예시도,
도 10은 본 발명의 일 실시예에 따른 디스플레이 장치의 상세 블록도,
도 11은 본 발명의 일 실시예에 따른 디스플레이 장치의 영상 처리 방법의 흐름도,
도 12는 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠를 촬영한 카메라의 움직임을 판단하는 흐름도,
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠의 멀미감 정도를 결정하기 위한 흐름도,
도 14는 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 방법의 흐름도이다.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다. 먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 개략적인 블록도이다.
도 1에 도시된 바와 같이, 디스플레이 장치(100)는 영상을 디스플레이하는 전자 장치로써, 특히, VR(Virtual Reality) 환경에서 파노라마 영상 컨텐츠를 제공하는 장치가 될 수 있다.
이 같은 디스플레이 장치(100)는 통신부(110), 영상 처리부(120) 및 프로세서(130)를 포함한다.
통신부(110)는 컨텐츠를 구성하는 복수의 영상 프레임을 입력받으며, 영상 처리부(120)는 통신부(110)를 통해 입력된 복수의 영상 프레임에 대한 영상 처리를 수행한다. 여기서, 복수의 영상 프레임 각각은 복수의 카메라를 통해 촬영된 영상 프레임이 결합된 영상 프레임으로써, 이 같은 복수의 영상 프레임을 포함하는 컨텐츠는 360도 어라운드 뷰 영상 제공이 가능한 파노라마 영상이 될 수 있다.
프로세서(130)는 디스플레이 장치(100)를 구성하는 각 구성들에 대한 동작을 전반적으로 제어한다. 특히, 프로세서(130)는 통신부(110)를 통해 복수의 영상 프레임이 입력되면, 복수의 영상 프레임을 분석하여 컨텐츠를 촬영한 카메라의 움직임을 판단하고, 판단된 움직임을 바탕으로 멀미감을 판단한다. 이후, 프로세서(130)는 판단된 멀미감이 기정의된 값 이상이면, 컨텐츠를 촬영한 카메라의 움직임을 바탕으로 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어한다.
이 같은 프로세서(130)는 도 2와 같은 구성으로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 프로세서의 상세 블록도이다.
도 2에 도시된 바와 같이, 프로세서(130)는 영상 분석부(131), 움직임 분석부(132) 및 멀미감 예측부(133)를 포함한다.
영상 분석부(131)는 통신부(110)를 통해 복수의 영상 프레임이 입력되면, 입력된 복수의 영상 프레임 각각의 특징점을 검출한다. 그리고, 움직임 분석부(132)는 영상 분석부(131)를 통해 검출된 복수의 영상 프레임 각각의 특징점 간의 변화량에 기초하여 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정한다.
여기서, 움직임 유형은, 축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나일 수 있다.
구체적으로, 영상 분석부(131)는 제1 영상 프레임과, 제1 영상 프레임과 연속된 제2 영상 프레임이 입력되면, 제1 영상 프레임으로부터 특징점을 검출한다. 실시예에 따라, 영상 분석부(131)는 제1 영상 프레임의 오브젝트의 경계 영역에 대해서 특징점을 검출할 수 있다. 이 같은 제1 영상 프레임의 특징점이 검출되면, 영상 분석부(131)는 제1 영상 프레임의 특징점에 해당하는 픽셀에 기초하여 제2 영상 프레임의 특징점을 검출한다. 이후, 움직임 분석부(132)는 제1 영상 프레임의 특징점과 제2 영상 프레임의 특징점 간의 변화량을 분석하여 제1 및 제2 영상 프레임을 촬영한 카메라의 움직임 유형을 판단하고, 판단된 움직임 유형별 크기를 결정할 수 있다.
한편, 컨텐츠를 촬영하는 카메라는 자이로 센서, 가속도 센서 등과 같은 모션 센서를 포함할 수 있다. 이 경우, 카메라는 컨텐츠를 촬영 시, 모션 센서를 통해 감지된 센싱값으로부터 메타 데이터를 생성하고, 해당 메타 데이터를 포함하는 컨텐츠를 생성할 수 있다.
이 같은 컨텐츠를 구성하는 복수의 영상 프레임이 입력되면, 움직임 분석부(132)는 컨텐츠에 포함된 메타 데이터를 참조하여 컨텐츠를 촬영한 카메라의 움직임 요소 및 각 움직임 요소별 크기를 결정할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 움직임 분석부(132)는 전술한 컨텐츠를 구성하는 복수의 영상 프레임 각각으로부터 검출된 특징점 간의 변화량과 컨텐츠에 포함된 메타 데이터를 이용하여 해당 컨텐츠를 촬영한 카메라의 움직임 유형 및 각 움직임 유형별 크기를 결정할 수 있다.
한편, 움직임 분석부(132)는 카메라의 움직임에 대한 정보가 복수의 영상 프레임의 메타 데이터에 포함된 경우, 메타 데이터에 포함된 정보를 바탕으로 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정할 수 있다.
이 같은 복수의 영상 프레임으로부터 특징점을 검출하고, 검출된 특징점 간의 변화량으로부터 움직임 유형별 크기를 결정하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
이 같은 실시예를 통해 카메라의 움직임 유형별 크기가 결정되면, 멀미감 예측부(133)는 카메라의 움직임 유형별 멀미값을 획득하고, 획득한 카메라의 움직임 유형별 멀미값에 기설정된 가중치를 부여한다. 그러나, 본 발명은 이에 한정되지 않으며, 멀미감 예측부(133)는 카메라의 움직임 유형 중 멀미감 유발이 높은 움직임 유형의 가중치와 멀미감 유발이 낮은 움직임 유형의 가중치를 상이하게 설정할 수 있다.
이후, 멀미감 예측부(133)는 카메라의 움직임 유형별로 가중치가 부여된 멀미값이 산출되면, 각 움직임 유형별로 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출한다. 카메라의 움지임 유형별 최종 멀미값은 아래 [수학식 1]에 기초하여 산출될 수 있다.
Figure PCTKR2017007208-appb-M000001
여기서, SsicknessTotal 은 최종 멀미값이며, S1,S2,S3는 카메라의 움직임 요소가 될 수 있다.
이 같은 최종 멀리값이 산출된 상태에서, 멀미감 예측부(133)는 기설정된 사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 기산출된 최종 멀미값을 조정할 수 있다.
여기서, 사용자 정보는, 사용자 나이, 성별, 신체 정보 등이 될 수 있으며, 환경 정보는 주변 온도, 습도, 사용자의 동작 상태 등이 될 수 있다.
예를 들어, 사용자 나이가 40대에 속하며, 성별이 여자인 사용자 경우, 프로세서(130)는 사용자 나이가 40대에 속하며, 성별이 남자인 사용자보다 최종 멀미값이 높게 산출되도록 조정할 수 있다.
이 같이, 최종 멀미값이 결정되면, 멀미감 예측부(133)는 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 중 적어도 하나를 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어한다.
일 실시예에 따라, 멀미감 예측부(133)는 기결정된 최종 멀미값과 기설정된 임계값을 비교하여 최종 멀미값이 기설정된 임계값을 초과하면, 멀미감 저감을 위한 영상 처리를 수행하도록 영상 처리부(120)를 제어한다. 이 같은 제어 명령에 따라, 영상 처리부(120)는 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.
또다른 실시예에 따라, 멀미감 예측부(133)는 최종 멀미값의 레벨 정도에 따라, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식 중 최초 멀미값의 레벨에 대응하여 설정된 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.
예를 들어, 멀미감 예측부(133)는 최종 멀미값이 기설정된 제1 임계값을 초과하면, 디스플레이 영역 조정 관련 영상 처리 방식을 이용하고, 최종 멀미값이 기설정된 제1 임계값 내지 제2 임계값 사이이면, 디스플레이 영역 조정 및 프레임 레이트 조정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)는 제어할 수 있다. 또한, 멀미감 예측부(133)는 최종 멀미값이 기설정된 제2 임계값을 초과하면, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)는 제어할 수 있다.
이 같은 제어 명령에 따라, 영상 처리부(120)는 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식 중 최종 멀미값의 레벨에 대응하여 설정된 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.
한편, 프로세서(130)는 전술한 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식 뿐만 아니라, 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나의 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.
실시예에 따라, 프로세서(130)는 최종 멀미값이 기설정된 임계값 이하이면, 멀미 유발 가능성이 낮은 것으로 판단하고, 복수의 영상 처리 방식 중 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나의 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.
이 같은 제어 명령에 따라, 영상 처리부(120)는 복수의 영상 처리 방식 중 카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나의 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 프로세서(130)는 멀미감 저감을 위한 동작 모드가 수동 모드인 경우, 멀미감 저감 모드 실행을 위한 사용자 명령이 입력되면, 전술한 일련의 수행 동작을 통해 복수의 영상 프레임에 대한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 프레임 분석을 위한 영역을 결정하는 예시도이며, 도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 카메라의 움직임 유형을 판단하기 위한 예시도이며, 도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 카메라의 움직임 유형에 기초하여 멀미감 정도를 결정하기 위한 예시도이다.
도 3에 도시된 바와 같이, 특정 컨텐츠에 대한 영상 프레임이 입력되면, 프로세서(130)는 입력된 영상 프레임으로부터 해당 컨텐츠를 촬영한 카메라의 움직임을 판단하기 위한 영역을 선택한다.
도 3에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 구성하는 영상 프레임이 입력되면, 입력된 영상 프레임에 대응되는 영상 이미지(310)에서 영상 분석을 위한 영역을 선택한다.
여기서, 컨텐츠를 구성하는 영상 프레임(310)의 영상은 복수의 카메라를 통해 촬영된 각각의 영상 프레임을 연결하여 생성된 파노라마 영상이 될 수 있다. 이 같은 영상 프레임이 입력되면, 디스플레이 장치(100)는 프로세서(130)를 통해 디스플레이 장치(100)에 입력된 영상 프레임(310)으로부터 영상 분석을 위한 부분 영상 프레임(320)을 결정한다.
실시예에 따라, 프로세서(130)는 입력된 영상 프레임(310) 상에서 사용자의 시선이 향하는 방향에 기초하여 영상 분석을 위한 부분 영상 프레임(320)을 결정할 수 있다. 구체적으로, 프로세서(130)는 사용자의 시선이 향하는 방향의 위치를 감지하고, 감지된 위치로부터 사용자의 시선이 이동하는 방향의 위치를 추적할 수 있다. 실시예에 따라, 프로세서(130)는 후술할 동공 추적이 가능한 센서를 통해 감지된 위치로부터 사용자의 시선이 이동하는 방향의 위치를 추적하여 사용자의 시선을 감지할 수 있다. 이 같은 사용자의 시선을 감지하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
한편, 프로세서(130)는 사용자의 시선이 감지되면, 감지된 시선이 향하는 방향에 기초하여 영상 프레임(310)에서 영상 분석을 위한 부분 영상 프레임(320)을 결정할 수 있다. 따라서, 프로세서(130)는 전술한 실시예를 통해 컨텐츠를 구성하는 연속된 복수의 영상 프레임 각각으로부터 영상 분석을 위한 부분 영상 프레임을 결정할 수 있다.
구체적으로, 도 4의 (a)에 도시된 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각으로부터 영상 분석을 위한 부분 영상 프레임을 결정할 수 있다. 이 같이, 영상 분석을 위한 부분 영상 이미지가 결정되면, 프로세서(130)는 각각의 부분 영상 프레임으로부터 특징점을 검출한다. 이후, 프로세서(130)는 도 4의 (b)에 도시된 바와 같이, 각각의 부분 영상 프레임으로부터 검출된 특징점 간의 변화량에 기초하여 각각의 부분 영상 프레임을 촬영한 카메라의 움직임 유형을 판단하고, 판단된 카메라의 움직임 유형별 크기를 결정한다. 즉, 프로세서(130)는 복수의 부분 영상 프레임으로부터 검출된 특징점(410)의 변화량을 분석하여 복수의 부분 영상 프레임을 촬영한 카메라의 움직임 유형을 판단하고, 판단된 움직임 유형에 대한 크기를 결정할 수 있다.
여기서, 움직임 유형은, 축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나일 수 있다.
이후, 프로세서(130)는 복수의 부분 영상 프레임으로부터 검출된 특징점 간의 변화량에 기초하여 결정된 카메라의 움직임 유형별 크기로부터 멀미감 정도를 결정할 수 있다. 구체적으로, 프로세서(130)는 움직임 유형별로 기정의된 멀미감 예측 모델을 참조하여 기결정된 카메라의 움직임 유형별 크기로부터 카메라의 움직임 유형별 멀미값을 획득할 수 있다.
도 5에 도시된 바와 같이, x축 방향의 롤 회전 움직임 유형에 대한 제1 멀미감 예측 모델(510), y축 방향의 피치(pitch) 회전 움직임 유형에 대한 제2 멀미감 예측 모델(520) 및 z축 방향의 요(yaw) 회전 움직임 유형에 대한 제3 멀미감 예측 모델(520)이 기정의될 수 있다.
그리고, 복수의 부분 영상 프레임으로부터 검출된 특징점 간의 변화량에 기초하여 카메라의 x축 방향의 롤 회전 움직임 유형의 크기, y축 방향의 피치(pitch) 회전 움직임 유형의 크기 및 z축 방향의 요(yaw) 회전 움직임 유형의 크기가 결정될 수 있다.
이 경우, 프로세서(130)는 제1 내지 제3 멀미감 예측 모델(510~530)을 참조하여 기결정된 카메라의 x축 방향의 롤 회전 움직임 유형의 크기, y축 방향의 피치(pitch) 회전 움직임 유형의 크기 및 z축 방향의 요(yaw) 회전 움직임 유형의 크기 각각에 대응되는 멀미값을 획득한다. 이후, 프로세서(130)는 제1 내지 제3 멀미감 예측 모델(510~530)을 참조하여 획득된 움직임 유형별 멀미값을 이용하여 영상 프레임 각각에 대한 최종 멀미값(540)을 산출한다.
전술한 바와 같이, 프로세서(130)는 카메라의 움직임 유형별 획득한 멀미값 각각에 카메라의 움직임 유형별 설정된 가중치를 곱하고, 카메라의 움직임 유형별 가중치가 곱해진 멀미값을 모두 합하여 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값(540)을 산출한다.
이때, 프로세서(130)는 기설정된 사용자 정보 및 환경 정보 중 적어도 하나를 포함하는 부가 정보를 이용하여 기산출된 최종 멀미값(540)을 조정할 수 있다.
이후, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값(540)을 참조하여 복수의 영상 프레임에 대한 영상 처리 여부를 판단할 수 있다.
일 실시예에 따라, 프로세서(130)는 복수의 영상 프레임 각각에 대응되는 최종 멀미값(540)과 기설정된 임계값을 비교하여 기설정된 임계값보다 높은 값 혹은 낮은 값에 해당하는 최종 멀미값을 갖는 영상 프레임에 대해서 멀미감 저감을 위한 영상 처리를 수행하도록 영상 처리부(120)를 제어한다.
또다른 실시예에 따라, 프로세서(130)는 복수의 영상 프레임 각각에 대응되는 최종 멀미값(540) 간의 변화량을 분석하여 변화량이 기설정된 임계값보다 높거나 낮은 값이 형성되는 구간의 영상 프레임에 대해서 멀미감 저감을 위한 영상 처리를 수행하도록 영상 처리부(120)를 제어할 수 있다.
이 같은 제어 명령에 따라, 영상 처리부(120)는 복수의 영상 프레임 중 적어도 하나의 영상 프레임에 대해서 멀미감 저감을 위한 영상 처리를 수행할 수 있다.
이하에서는, 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 동작에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제1 예시도이다.
디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 중 멀미감 유발 가능성이 높은 것으로 판단된 적어도 하나의 영상 프레임에 대해서 디스플레이 영역이 조정된 영상을 디스플레이할 수 있다.
도 5에서 설명한 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값에 기초하여 도 6의 (a)와 같이, 복수의 영상 프레임 중 멀미감을 유발할 수 있는 영상 프레임을 추출할 수 있다. 멀미감을 유발할 수 있는 영상 프레임이 추출되면, 영상 처리부(120)는 도 6의 (b)와 같이, 멀미감을 유발할 수 있는 영상 프레임의 영상의 디스플레이 영역을 조정한다.
구체적으로, 영상 처리부(120)는 멀미감을 유발할 수 있는 영상 프레임의 영상에 대한 FOV(Field of View)를 조정하는 영상 처리를 수행하여 해당 영상 프레임의 멀미감을 저감시킬 수 있다. 이때, 영상 처리부(120)는 멀미감을 유발할 수 있는 영상 프레임의 영상이 화면 전체에서 상하 또는 좌우에 대해 동일한 비율로 조정되도록 FOV를 조정할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 영상 처리부(120)는 해당 영상 프레임의 영상이 화면 전체에서 상이한 비율로 조정되도록 FOV를 조정할 수 있다.
또한, 영상 처리부(120)는 화면의 세로 방향 또는 가로 방향이 조정되거나 혹은 세로 및 가로 방향이 모두 조정되도록 FOV를 조정할 수 있다. 이 같은 FOV 조정 방법은 디스플레이 영역을 검은색으로 처리하는 방법, 외곽으로 갈수록 검색으로 그라데이이션을 처리하는 방법 및 블러링(Blurring)을 수행하는 방법이 될 수 있다.
도 7은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제2 예시도이다.
디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 중 멀미감 유발 가능성이 높은 것으로 판단된 적어도 하나의 영상 프레임에 대해서 프레임 레이트를 조정하여 디스플레이할 수 있다.
도 5에서 설명한 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값에 기초하여 복수의 영상 프레임 중 복수의 영상 프레임 중 멀미감을 유발할 수 있는 구간을 결정할 수 있다. 멀미감을 유발할 수 있는 구간이 결정되면, 영상 처리부(120)는 해당 구간에 포함된 영상 프레임의 개수를 증가시켜 프레임 레이트를 조정한다.
구체적으로, 도 7의 (a)에 도시된 바와 같이, 멀미감을 유발할 수 있는 구간에는 연속된 제1 내지 제3 영상 프레임이 포함될 수 있다. 이 경우, 영상 처리부(120)는 도 7의 (b)에 도시된 바와 같이, 멀미감을 유발할 수 있는 구간에 포함된 제1 내지 제3 영상 프레임에 기초하여 새로운 영상 프레임을 생성하여 삽입한다. 실시예에 따라, 영상 처리부(120)는 멀미감을 유발할 수 있는 구간에 포함된 제1 및 제2 영상 프레임의 픽셀값에 기초하여 중간값을 가지는 영상 프레임과, 제2 및 제3 영상 프레임의 픽셀값에 기초하여 중간값을 가지는 영상 프레임을 생성한다.
이후, 영상 처리부(120)는 새로 생성된 영상 프레임 각각은 제1 내지 제3 영상 프레임 사이에 삽입한다. 이와 같이, 본 발명에 따른 영상 처리부(120)는 멀미감을 유발할 수 있는 구간의 영상 프레임 개수를 증가시켜 해당 구간의 프레임 레이트가 높아지도록 조정할 수 있다.
도 8은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제3 예시도이다.
디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 중 멀미감 유발 가능성이 높은 것으로 판단된 적어도 하나의 영상 프레임에 대해서 디스플레이 영역 및 프레임 레이트를 조정하여 디스플레이할 수 있다.
도 5에서 설명한 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값에 기초하여 복수의 영상 프레임 중 복수의 영상 프레임 중 멀미감을 유발할 수 있는 구간을 결정할 수 있다. 멀미감을 유발할 수 있는 구간이 결정되면, 영상 처리부(120)는 해당 구간에 포함된 영상 프레임의 개수를 증가시켜 프레임 레이트를 조정한다. 이후, 영상 처리부(120)는 프레임 레이트가 조정된 영상 프레임의 디스플레이 영역을 조정하는 영상 처리를 수행한다.
구체적으로, 도 8의 (a)에 도시된 바와 같이, 멀미감을 유발할 수 있는 구간에는 연속된 제1 내지 제3 영상 프레임이 포함될 수 있다. 이 경우, 영상 처리부(120)는 도 7의 (b)에 도시된 바와 같이, 멀미감을 유발할 수 있는 구간에 포함된 제1 내지 제3 영상 프레임에 기초하여 새로운 영상 프레임을 생성하여 삽입한다. 실시예에 따라, 영상 처리부(120)는 멀미감을 유발할 수 있는 구간에 포함된 제1 및 제2 영상 프레임의 픽셀값에 기초하여 중간값을 가지는 영상 프레임과, 제2 및 제3 영상 프레임의 픽셀값에 기초하여 중간값을 가지는 영상 프레임을 생성한다.
이후, 영상 처리부(120)는 새로 생성된 영상 프레임 각각은 제1 내지 제3 영상 프레임 사이에 삽입한다. 제1 내지 제3 영상 프레임 사이에 새로운 영상 프레임이 삽입되면, 영상 처리부(120)는 제1 내지 제3 영상 프레임 및 제1 내지 제3 영상 프레임 사이에 삽입된 영상 프레임의 영상에 대한 FOV(Field of View)를 조정하는 영상 처리를 수행한다. 이에 따라, 멀미감을 유발할 수 있는 구간에 포함된 복수의 영상 프레임의 영상에 대한 멀미감을 저감시킬 수 있다. 이때, 영상 처리부(120)는 멀미감을 유발할 수 있는 영상 프레임의 영상이 화면 전체에서 상하 또는 좌우에 대해 동일한 비율로 조정되도록 FOV를 조정할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 영상 처리부(120)는 해당 영상 프레임의 영상이 화면 전체에서 상이한 비율로 조정되도록 FOV를 조정할 수 있다.
또한, 영상 처리부(120)는 화면의 세로 방향 또는 가로 방향이 조정되거나 혹은 세로 및 가로 방향이 모두 조정되도록 FOV를 조정할 수 있다. 이 같은 FOV 조정 방법은 디스플레이 영역을 검은색으로 처리하는 방법, 외곽으로 갈수록 검색으로 그라데이이션을 처리하는 방법 및 블러링(Blurring)을 수행하는 방법이 될 수 있다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 제4 예시도이다.
디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 중 멀미감 유발 가능성이 높은 것으로 판단된 적어도 하나 이상의 영상 프레임의 영상에 대해서 주변시 블러 보정된 영상을 디스플레이할 수 있다.
도 5에서 설명한 바와 같이, 프로세서(130)는 컨텐츠를 구성하는 복수의 영상 프레임 각각에 대응되는 최종 멀미값에 기초하여 복수의 영상 프레임 중 멀미감을 유발할 수 있는 영상 프레임을 추출할 수 있다. 멀미감을 유발할 수 있는 영상 프레임이 추출되면, 영상 처리부(120)는 도 9에 도시된 바와 같이, 멀미감을 유발할 수 있는 영상 프레임의 영상(910)에서 제1 오브젝트 이미지(920)를 제외한 나머지 영역의 이미지를 블러 처리함으로써, 주변시 블러 효과를 제공한다.
영상 프레임에서 블러 처리하는 영역은 통상적으로 영상의 중심을 기준으로 원 또는 타원 크기에 포함되는 영역의 영상을 제외한 나머지 영역의 영상이 될 수 있다. 즉, 영상을 중심으로 원 또는 타원 크기에 포함된 영역의 영상은 원본 영상으로 출력되고, 나머지 영역의 영상은 블러 처리된 영상이 출력될 수 있다.
이와 같이, 본 발명은 멀미감이 유발될 수 있는 구간의 영상에서 특정 오브젝트 이미지가 디스플레이되는 영역을 제외한 나머지 영역의 이미지를 블러 처리함으로써 해당 구간의 영상에 대한 멀미감을 저감시킬 수 있다.
한편, 전술한 바와 같이, 외부로부터 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 통신부(110)는 근거리 통신 모듈(111), 무선 통신 모듈(112) 및 커넥터(113)를 포함할 수 있다.
근거리 통신 모듈(111)은 디스플레이 장치(100)와 주변의 전자 장치(미도시) 사이에 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈(111)은 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
무선 통신 모듈(112)은 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
이처럼 통신부(110)는 상술한 다양한 근거리 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.
한편, 커넥터(113)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(113)는 프로세서(130)의 제어 명령에 따라 커넥터(113)에 연결된 유선 케이블을 통해 외부 서버(미도시)로부터 전송된 컨텐츠를 수신하거나, 혹은 물리적으로 연결된 전자 장치(미도시), 외부 기록 매체 등으로부터 컨텐츠를 수신하거나 전송할 수 있다. 또한, 커넥터(113)는 커넥터(113)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
한편, 전술한 디스플레이 장치(100)는 스마트 폰, 멀티미디어 기기 등으로 구현될 경우, 전술한 구성 외에 도 10과 같은 구성을 더 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 디스플레이 장치의 상세 블록도이다.
도 10에 도시된 바와 같이, 디스플레이 장치(100)는 전술한 통신부(110), 영상 처리부(120) 및 프로세서(130) 구성 외에 입력부(140), 촬영부(160), 감지부(170), 출력부(180) 및 저장부(190)를 더 포함할 수 있다.
입력부(140)는 다양한 사용자 명령을 입력받아 프로세서(130)로 전달하기 위한 입력 수단으로써, 마이크(141), 조작부(142), 터치 입력부(143) 및 사용자 통신부(144)를 포함할 수 있다.
마이크(141)는 사용자의 음성 명령을 입력받으며, 조작부(142)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있다. 그리고, 터치 입력부(143)는 후술할 디스플레이부(181)과 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다. 이 경우, 터치 입력부(143)는 디스플레이부(181)를 통해 디스플레이된 다양한 어플리케이션 관련 아이콘에 대한 선택 명령을 입력받을 수 있다.
사용자 입력부(144)는 원격 제어 장치와 같은 적어도 하나의 주변 기기(미도시)로부터 디스플레이 장치(100)의 동작을 제어하기 위한 IR 신호 혹은 RF 신호를 입력받을 수 있다.
촬영부(160)는 사용자 명령에 따라, 정지 영상 또는 동영상을 촬영하기 위한 것으로써, 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.
감지부(170)는 디스플레이 장치(100)의 움직임을 감지하는 움직임 센서(171), 지자기 센서(172), 중력 센서(173), 자이로 센서(174) 및 동공 추적 센서(175)를 포함할 수 있다.
움직임 센서(171)는 이동하는 디스플레이 장치(100)의 가속도나 충격의 세기를 측정하는 가속도 센서(Accelerometer Sensor)가 될 수 있다.
지자기 센서(Magnetic Sensor)(172)는 지구 자기장을 이용하여 방위각을 탐지할 수 있는 전자 나침판으로써, 위치 추적, 3D 영상 게임 등에 사용되거나, 스마트 폰, 무전기, GPS, PDA, 네비게이션 항법 장치 등에 사용되는 센서이다.
중력 센서(Gravity Sensor)(173)는 중력이 어느 방향으로 작용하는지 탐지하는 센서로써, 디스플레이 장치(100)의 이동 방향에 따라 자동으로 회전하여 방향을 감지하는데 이용되는 센서이다.
자이로 센서(Gyroscope Sensor)(174)는 기존의 움직임 센서(171)에 각각 회전을 넣어 6축 방향을 인식하여 하여 좀더 세밀하고 정밀한 동작을 인식할 수 있도록 도와주는 센서이다.
동공 추적 센서(175)는 동공 추적 센서(130-1)는 사용자의 안구에 근접한 곳에 위치하여, 사용자의 동공을 촬영하면서 사용자의 시선 변화를 감지하는 센서이다.
한편, 본 발명에서는 감지부(170)는 전술한 구성 외에 사물이 다른 사물에 접촉되기 이전에 근접하였는지 여부를 결정하는데 이용되는 근접 센서(미도시), 수광을 빛을 감지하여 전기적인 신호로 변환하는 광 센서(미도시) 등을 더 포함할 수 있다.
출력부(180)는 영상 처리부(120)는 영상 처리된 컨텐츠를 출력한다. 이 같은 출력부(180)는 디스플레이부(181) 및 오디오 출력부(182) 중 적어도 하나를 통해 컨테츠에 대한 영상 및 오디오를 출력할 수 있다. 즉, 디스플레이부(181)는 영상 처리부(120)는 영상 처리부(120)에 의해 영상 처리된 영상 데이터를 디스플레이하며, 오디오 출력부(182)는 오디오 신호 처리된 오디오 데이터를 가청음 형태로 출력할 수 있다.
한편, 영상 데이터를 디스플레이하는 디스플레이부(181)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다.　 특히, 디스플레이부(181)는 터치 입력부(143)와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다.
저장부(190)는 복수의 카메라로부터 촬영된 각각의 영상 및 각각의 영상으로부터 생성된 파노라마 영상 등의 영상 컨텐츠를 저장하거나, 외부 서버(미도시)로부터 수신된 컨텐츠의 영상 및 오디오 데이터를 저장할 수 있다. 뿐만 아니라, 저장부(190)는 디스플레이 장치(100)의 동작을 제어하기 위한 운용 프로그램을 더 저장할 수 있다. 여기서, 운용 프로그램은 디스플레이 장치(100)가 턴 온(Turn On)되는 경우, 저장부(190)에서 읽혀지고, 컴파일되어 디스플레이 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다.
한편, 전술한 프로세서(130)는 CPU(134), GPU(135), RAM(136) 및 ROM(137)를 더 포함할 수 있으며, CPU(134), GPU(135), RAM(136) 및 ROM(137)는 버스(미도시)를 통해 서로 연결될 수 있다.
CPU(134)는 저장부(190)를 액세스하여, 저장부(190)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(134)는 저장부(190)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
GPU(135)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(135)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
ROM(136)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(134)는 ROM(135)에 저장된 명령어에 따라 저장부(190)에 저장된 OS를 RAM(136)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(134)는 저장부(190)에 저장된 각종 프로그램을 RAM(136)에 복사하고, RAM(136)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
이 같은 프로세서(130)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.
한편, 상술한 프로세서(130)의 동작은 저장부(190)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(190)는 ROM(137), RAM(136) 또는 디스플레이 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
지금까지, 본 발명에 따른 디스플레이 장치(100)의 각 구성에 대해서 상세히 설명하였다.
이하에서는, 본 발명에 따른 디스플레이 장치(100)의 동작을 제어하는 방법에 대해서 상세히 설명하도록 한다.
도 11은 본 발명의 일 실시예에 따른 디스플레이 장치의 영상 처리 방법의 흐름도이다.
도 11에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임을 입력받는다(S1110). 여기서, 복수의 영상 프레임 각각은 복수의 카메라를 통해 촬영된 영상 프레임이 결합된 영상 프레임으로써, 이 같은 복수의 영상 프레임을 포함하는 컨텐츠는 360도 어라운드 뷰 영상 제공이 가능한 파노라마 영상이 될 수 있다.
이 같은 복수의 영상 프레임이 입력되면, 디스플레이 장치(100)는 멀미감 저감 동작을 자동으로 수행하기 위한 모드인지 여부를 판단한다(S1120).
판단 결과, 멀미감 저감 동작 모드가 자동 모드이면, 디스플레이 장치(100)는 복수의 영상 프레임을 분석하여 컨텐츠를 촬영한 카메라의 움직임을 판단한다(S1130). 이후, 디스플레이 장치(100)는 해당 컨텐츠를 촬영한 카메라의 움직임을 바탕으로 멀미감을 판단한다(S1140). 이후, 디스플레이 장치(100)는 판단된 멀미감이 기정의된 값 이상이면, 컨텐츠를 촬영한 카메라의 움직임을 바탕으로 복수의 영상 프레임의 멀미감 저감을 위한 영상 처리를 수행한다(S1150).
한편, 전술한 단계 SS1120에서 멀미감 저감 동작을 수행하기 위한 모드가 수동 모드이면, 디스플레이 장치(100)는 멀미감 저감 동작을 위한 사용자 명령이 입력되는지 여부를 판단한다(S1160). 판단 결과, 멀미감 저감 동작을 위한 사용자 명령이 입력되면, 디스플레이 장치(100)는 전술한 단계 S1130 내지 S1150 동작을 수행한다.
한편, 멀미감 저감 동작을 위한 사용자 명령이 입력되지 않으면, 디스플레이 장치(100)는 전술한 단계 S1150을 수행하여 일반 영상 처리를 동작을 수행한다(S1160).
도 12는 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠를 촬영한 카메라의 움직임을 판단하는 흐름도이다.
도 12에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임이 입력되면, 입력된 복수의 영상 프레임 각각의 특징점을 검출한다(S1210). 이후, 디스플레이 장치(100)는 복수의 영상 프레임 각각으로부터 검출된 특징점 및 복수의 영상 프레임의 메타 데이터 중 적어도 하나에 기초하여 컨텐츠를 촬영한 카메라의 움직임 유형을 판단하고, 그 판단된 움직임 유형에 대한 크기를 결정한다(S1220).
여기서, 움직임 유형은, 축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나일 수 있다.
구체적으로, 디스플레이 장치(100)는 연속된 영상 프레임별로 특징점을 검출하고, 검출된 특징점 간의 변화량을 분석하여 연속된 영상 프레임을 촬영한 카메라의 움직임 유형을 판단하며, 판단된 움직임 유형별 크기를 결정할 수 있다.
한편, 컨텐츠를 촬영하는 카메라는 자이로 센서, 가속도 센서 등과 같은 모션 센서를 포함할 수 있다. 이 경우, 카메라는 컨텐츠를 촬영 시, 모션 센서를 통해 감지된 센싱값으로부터 메타 데이터를 생성하고, 해당 메타 데이터를 포함하는 컨텐츠를 생성할 수 있다.
따라서, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 각각으로부터 검출된 특징점 간의 변화량과 컨텐츠에 포함된 메타 데이터를 이용하여 해당 컨텐츠를 촬영한 카메라의 움직임 유형 및 각 움직임 유형별 크기를 결정할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임 각각으로부터 검출된 특징점 간의 변화량 또는 컨텐츠에 포함된 메타 데이터만을 이용하여 컨텐츠를 촬영한 카메라의 움직임 요소 및 각 움직임 요소별 크기를 결정할 수 있다.
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치에서 컨텐츠의 멀미감 정도를 결정하기 위한 흐름도이다.
도 13에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 촬영한 카메라의 움직임 유형별 크기가 결정되면, 움직임 유형별 크기에 기초하여 움직임 유형별 멀미값을 획득한다(S1310).
구체적으로, 디스플레이 장치(100)는 움직임 유형별로 기정의된 멀미감 예측 모델을 참조하여 기결정된 카메라의 움직임 유형별 크기로부터 카메라의 움직임 유형별 멀미값을 획득할 수 있다.
이후, 디스플레이 장치(100)는 카메라의 움직임 유형별로 획득한 멀미값에 움직임 유형별로 설정된 가중치를 부여한다(S1320). 이후, 디스플레이 장치(100)는 카메라의 움직임 유형별로 가중치가 부여된 멀미값을 모두 합하여 컨텐츠를 구성하는 복수의 영상 프레임에 대한 최종 멀미값을 획득한다(S1330). 이때, 디스플레이 장치(100)는 기설정된 사용자 정보 및 환경 정보 중 적어도 하나를 포함하는 부가 정보를 이용하여 기산출된 최종 멀미값을 조정할 수 있다.
도 14는 본 발명의 일 실시예에 따른 디스플레이 장치에서 멀미감 저감을 위한 영상 처리를 수행하는 방법의 흐름도이다.
도 14에 도시된 바와 같이, 디스플레이 장치(100)는 컨텐츠를 구성하는 복수의 영상 프레임이 입력되면, 입력된 영상 프레임에 대한 카메라 떨림 보정을 수행한다(S1410). 이후, 디스플레이 장치(100)는 기산출된 컨텐츠를 구성하는 복수의 영상 프레임에 대한 최종 멀미값과 기설정된 임계값을 비교하여, 기설정된 임계값을 초과하는 최종 멀미값을 갖는 영상 프레임에 대해서 멀미감 저감을 위한 영상 추리를 수행한다(S1420,S1430).
일 실시예에 따라, 디스플레이 장치(100)는 최종 멀미값이 기설정된 임계값을 초과하면, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 최종 멀미값의 레벨 정도에 따라, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식 중 최초 멀미값의 레벨에 대응하여 설정된 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다. 예를 들어, 디스플레이 장치(100)는 최종 멀미값이 기설정된 제1 임계값을 초과하면, 디스플레이 영역 조정 관련 영상 처리 방식을 이용하고, 최종 멀미값이 기설정된 제1 임계값 내지 제2 임계값 사이이면, 디스플레이 영역 조정 및 프레임 레이트 조정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행한다. 또한, 디스플레이 장치(100)는 최종 멀미값이 기설정된 제2 임계값을 초과하면, 디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 관련 영상 처리 방식을 이용하여 복수의 영상 프레임에 대한 영상 처리를 수행할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 최종 멀미값의 크기에 따라 디스플레이 영역 조정, 프레임 레이트 조정 및 블러 보정 관련 영상 처리의 크기가 가변적으로 조정될 수 있다. 예를 들어, 최종 멀미값의 크기가 제1 임계값을 초과하면, 디스플레이 장치(100)는 디스플레이 영역이 10% 감소되고, 프레임 레이트가 30% 증가되며, 블러가 10% 강도로 보정되도록 처리할 수 있다.. 그리고, 최종 멀미값이 제2 임계값을 초과하면, 디스플레이 장치(100)는 디스플레이 영역이 30% 감소되고, 프레임 레이트가 50% 증가하며, 블러가 30% 강도로 보정되도록 처리할 수 있다.
한편, 상술한 바와 같은 디스플레이 장치(100)의 영상 처리 방법은 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 디스플레이 장치의 영상 처리 방법에 있어서,
    컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 단계;
    상기 복수의 영상 프레임을 분석하여 상기 컨텐츠를 촬영한 카메라의 움직임을 판단하는 단계;
    상기 촬영된 카메라의 움직임을 바탕으로 멀미감을 판단하는 단계; 및
    상기 판단된 멀미감이 기정의된 값 이상이면, 상기 카메라의 움직임을 바탕으로 상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 단계;
    를 포함하는 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 카메라의 움직임을 판단하는 단계는,
    상기 복수의 영상 프레임 각각의 특징점을 검출하는 단계; 및
    상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 움직임 유형별 크기를 결정하는 단계;
    를 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 카메라의 움직임 유형은,
    x축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나인 것을 특징으로 하는 영상 처리 방법.
  4. 제 2 항에 있어서,
    상기 멀미감을 판단하는 단계는,
    상기 카메라의 움직임 유형별 크기에 기초하여 상기 카메라의 움직임 유형별 멀미값을 획득하는 단계;
    상기 카메라의 움직임 유형별 멀미값에 가중치를 부여하는 단계; 및
    상기 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출하는 단계;
    를 포함하는 영상 처리 방법.
  5. 제 4 항에 있어서,
    상기 멀미감을 판단하는 단계는,
    사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 상기 최종 멀미값를 보정하는 단계;
    를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 제 1 항에 있어서,
    상기 카메라의 움직임을 판단하는 단계는,
    상기 카메라의 움직임에 대한 정보가 상기 복수의 영상 프레임의 메타 데이터에 포함된 경우, 상기 메타 데이터에 포함된 정보를 바탕으로 상기 컨텐츠를 촬영한 카메라의 움직임 유형별 크기를 결정하는 것을 특징으로 하는 영상 처리 방법.
  7. 제 1 항에 있어서,
    상기 영상 처리를 수행하는 단계는,
    디스플레이 영역 조정, 프레임 레이트 조정 및 블러(Blur) 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  8. 제 8 항에 있어서,
    상기 영상 처리를 수행하는 단계는,
    카메라 떨림 보정, 밝기 및 대조 보정, 및 뎁스 보정 중 적어도 하나를 이용하여 상기 복수의 영상 프레임에 대한 영상 처리를 더 수행하는 것을 특징으로 하는 영상 처리 방법.
  9. 제 1 항에 있어서,
    상기 카메라의 움직임을 판단하는 단계는,
    멀미감 저감을 위한 동작 모드가 수동 모드인 경우, 멀미감 저감 모드 실행을 위한 사용자 명령이 입력되면, 상기 카메라의 움직임을 판단하는 것을 특징으로 하는 영상 처리 방법.
  10. 제 1 항에 있어서,
    상기 컨텐츠는,
    복수의 카메라로부터 촬영된 영상을 합성하여 생성된 파노라마 영상인 것을 특징으로 하는 영상 처리 방법.
  11. 디스플레이 장치에 있어서,
    컨텐츠를 구성하는 복수의 영상 프레임을 입력받는 통신부;
    상기 복수의 영상 프레임에 대한 영상 처리를 수행하는 영상 처리부; 및
    상기 복수의 영상 프레임을 분석하여 상기 컨텐츠를 촬영한 카메라의 움직임을 판단하고, 상기 판단된 움직임을 바탕으로 멀미감을 판단하여, 상기 판단된 멀미감이 기정의된 값 이상이면, 상기 카메라의 움직임을 바탕으로 상기 복수의 영상 프레임에 대한 영상 처리를 수행하도록 상기 영상 처리부를 제어하는 프로세서;
    를 포함하는 디스플레이 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는,
    상기 복수의 영상 프레임 각각의 특징점을 검출하고, 상기 검출된 특징점 간의 변화량에 기초하여 상기 카메라의 움직임 유형별 크기를 결정하는 것을 특징으로 하는 디스플레이 장치.
  13. 제 12 항에 있어서,
    상기 카메라의 움직임 유형은,
    x축 방향의 움직임, y축 방향의 움직임, z축 방향의 움직임, x축 방향의 롤(roll) 회전 움직임, y축 방향의 피치(pitch) 회전 움직임, z축 방향의 요(yaw) 회전 움직임 및 지터(jitter) 움직임 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치.
  14. 제 12 항에 있어서,
    상기 프로세서는,
    상기 카메라의 움직임 유형별 크기에 기초하여 상기 카메라의 움직임 유형별 멀미값을 획득하고, 상기 카메라의 움직임 유형별 멀미값에 가중치를 부여하며, 상기 가중치가 부여된 멀미값을 합하여 최종 멀미값을 산출하는 것을 특징으로 하는 디스플레이 장치.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    사용자 정보 및 환경 정보 중 적어도 하나를 바탕으로 상기 최종 멀미값를 보정하는 것을 특징으로 하는 디스플레이 장치.
PCT/KR2017/007208 2016-07-06 2017-07-06 영상 처리를 위한 디스플레이 장치 및 방법 WO2018008991A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780042231.0A CN109478331A (zh) 2016-07-06 2017-07-06 用于图像处理的显示装置及方法
US16/315,482 US20190244369A1 (en) 2016-07-06 2017-07-06 Display device and method for image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160085739A KR20180005528A (ko) 2016-07-06 2016-07-06 영상 처리를 위한 디스플레이 장치 및 방법
KR10-2016-0085739 2016-07-06

Publications (1)

Publication Number Publication Date
WO2018008991A1 true WO2018008991A1 (ko) 2018-01-11

Family

ID=60913011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/007208 WO2018008991A1 (ko) 2016-07-06 2017-07-06 영상 처리를 위한 디스플레이 장치 및 방법

Country Status (4)

Country Link
US (1) US20190244369A1 (ko)
KR (1) KR20180005528A (ko)
CN (1) CN109478331A (ko)
WO (1) WO2018008991A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212617A1 (en) 2017-05-18 2018-11-22 Samsung Electronics Co., Ltd. Method for providing 360-degree video and device for supporting the same
CN113360374A (zh) * 2021-07-30 2021-09-07 中电福富信息科技有限公司 一种自动化检测app不良信息的测试方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102535918B1 (ko) 2018-02-07 2023-05-25 삼성전자 주식회사 사용자의 움직임 정보에 기반하여 디스플레이의 오버 드라이빙 정보를 조정하기 위한 방법 및 웨어러블 장치
KR102169146B1 (ko) 2018-07-12 2020-10-23 인천대학교 산학협력단 가상 현실 멀미 측정 장치 및 방법
KR102168219B1 (ko) 2018-07-23 2020-10-20 인천대학교 산학협력단 가상 현실 기기의 멀미를 약화시키기 위한 가상 현실 멀미 측정 장치 및 방법
KR102141740B1 (ko) * 2018-12-06 2020-08-05 연세대학교 산학협력단 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법
KR102224057B1 (ko) * 2019-03-25 2021-03-09 트라이픽스 주식회사 관전 영상의 자동제어를 이용한 부하 감소 방법 및 이를 이용한 헤드 마운티드 디스플레이
KR20210014819A (ko) 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 가상 현실 표시 시스템
CN111933277A (zh) * 2020-07-30 2020-11-13 西交利物浦大学 3d眩晕症的检测方法、装置、设备和存储介质
KR102499928B1 (ko) * 2021-01-27 2023-02-14 이범준 멀미 저감을 위한 vr 컨텐츠 제공 시스템 및 vr 컨텐츠 제공 방법
KR102591907B1 (ko) * 2021-09-15 2023-10-20 사회복지법인 삼성생명공익재단 영상 컨텐츠와 모션 체어를 연동하는 방법, 컴퓨터 프로그램 및 시스템
KR102563321B1 (ko) * 2021-12-22 2023-08-04 고려대학교 산학협력단 역방향 광류를 이용한 멀미 저감 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110102365A (ko) * 2008-11-26 2011-09-16 삼성전자주식회사 3차원 컨텐츠와 상호 작용하기 위한 이머시브 표시 시스템
US20120134543A1 (en) * 2010-11-30 2012-05-31 Fedorovskaya Elena A Method of identifying motion sickness
KR20130029333A (ko) * 2011-09-14 2013-03-22 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20150101852A (ko) * 2014-02-27 2015-09-04 주식회사 세방에스디엘 3d 영상의 입체감 조절을 위한 색 보정 장치 및 그 방법
KR20160041403A (ko) * 2014-10-07 2016-04-18 한국과학기술연구원 픽셀별 거리 정보를 기반으로 3d 영상 컨텐츠를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4958610B2 (ja) * 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
JP4926920B2 (ja) * 2007-11-16 2012-05-09 キヤノン株式会社 防振画像処理装置及び防振画像処理方法
JP5694300B2 (ja) * 2010-11-11 2015-04-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法およびプログラム
JP6385212B2 (ja) * 2014-09-09 2018-09-05 キヤノン株式会社 画像処理装置及び方法、撮像装置、及び画像生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110102365A (ko) * 2008-11-26 2011-09-16 삼성전자주식회사 3차원 컨텐츠와 상호 작용하기 위한 이머시브 표시 시스템
US20120134543A1 (en) * 2010-11-30 2012-05-31 Fedorovskaya Elena A Method of identifying motion sickness
KR20130029333A (ko) * 2011-09-14 2013-03-22 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20150101852A (ko) * 2014-02-27 2015-09-04 주식회사 세방에스디엘 3d 영상의 입체감 조절을 위한 색 보정 장치 및 그 방법
KR20160041403A (ko) * 2014-10-07 2016-04-18 한국과학기술연구원 픽셀별 거리 정보를 기반으로 3d 영상 컨텐츠를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212617A1 (en) 2017-05-18 2018-11-22 Samsung Electronics Co., Ltd. Method for providing 360-degree video and device for supporting the same
EP3622487A4 (en) * 2017-05-18 2020-06-24 Samsung Electronics Co., Ltd. METHOD FOR PROVIDING 360 DEGREE VIDEOS AND DEVICE FOR SUPPORTING THEM
US11258999B2 (en) 2017-05-18 2022-02-22 Samsung Electronics Co., Ltd. Method and device for reducing motion sickness when providing 360-degree video
CN113360374A (zh) * 2021-07-30 2021-09-07 中电福富信息科技有限公司 一种自动化检测app不良信息的测试方法

Also Published As

Publication number Publication date
CN109478331A (zh) 2019-03-15
KR20180005528A (ko) 2018-01-16
US20190244369A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
WO2018008991A1 (ko) 영상 처리를 위한 디스플레이 장치 및 방법
WO2017142342A1 (en) Electronic device and operating method thereof
WO2018074893A1 (ko) 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
WO2018012945A1 (en) Method and device for obtaining image, and recording medium thereof
WO2020171583A1 (en) Electronic device for stabilizing image and method for operating same
WO2018182292A1 (en) Electronic device and control method thereof
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
WO2015183033A1 (en) Data processing method and electronic device thereof
WO2016036074A1 (en) Electronic device, method for controlling the electronic device, and recording medium
WO2016122158A1 (en) Image processing method and electronic device for supporting the same
WO2016006734A1 (ko) 생체정보를 인식하는 방법 및 장치
WO2014073756A1 (en) Array camera, mobile terminal, and methods for operating the same
WO2017150815A1 (ko) 디스플레이의 밝기를 제어하는 방법, 전자 장치 및 컴퓨터 판독가능 기록매체
WO2018169374A1 (ko) 전자 장치 및 그 제어 방법
WO2015178661A1 (en) Method and apparatus for processing input using display
WO2016200085A1 (en) Electronic apparatus and method of extracting still images
KR20130122411A (ko) 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
WO2019017585A1 (en) ELECTRONIC DEVICE FOR CONTROLLING THE DEVELOPMENT OF A LENS AND METHOD OF CONTROLLING THE SAME
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2021025266A1 (en) Electronic apparatus and control method thereof
WO2019160325A1 (en) Electronic device and control method thereof
WO2022124734A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치, 그 동작 방법 및 저장 매체
EP3646579B1 (en) Configuring image stabilization for still image generation
WO2018097483A1 (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17824547

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17824547

Country of ref document: EP

Kind code of ref document: A1