WO2022085836A1 - 다초점 영상 재생 장치, 다초점 영상을 이용한 영상 서비스 제공 시스템 및 그 방법 - Google Patents

다초점 영상 재생 장치, 다초점 영상을 이용한 영상 서비스 제공 시스템 및 그 방법 Download PDF

Info

Publication number
WO2022085836A1
WO2022085836A1 PCT/KR2020/015010 KR2020015010W WO2022085836A1 WO 2022085836 A1 WO2022085836 A1 WO 2022085836A1 KR 2020015010 W KR2020015010 W KR 2020015010W WO 2022085836 A1 WO2022085836 A1 WO 2022085836A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
focus
photographing
area
multifocal
Prior art date
Application number
PCT/KR2020/015010
Other languages
English (en)
French (fr)
Inventor
강성철
조재민
Original Assignee
강성철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강성철 filed Critical 강성철
Publication of WO2022085836A1 publication Critical patent/WO2022085836A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Definitions

  • An object of the present invention is to provide a multifocal image reproducing apparatus, an image service providing system using the same, and a method thereof.
  • the currently used video playback uses only a single-focused video.
  • Conventionally there is a method in which a user directly selects a single focus and takes a picture, or a method of taking a picture by randomly selecting a plurality of focal points from a camera sensor itself.
  • a plurality of focal points desired by a user from one angle one angle should be maintained and multiple shots should be repeated.
  • the user in order to acquire a plurality of focused images or images from one angle, there is an inconvenience in that the user has to move the focus several times and take a picture while the angle is fixed. There is a problem that you have to endure a hard enough time if you are a character.
  • a multifocal photographing apparatus is used to obtain a plurality of photographed images with several focal points for the same subject.
  • the conventional multifocal photographing apparatus uses a technology of taking pictures at slightly different focal points and angles using a multifocal camera having a plurality of small lenses, and then merging the respective results into one.
  • the result obtained by this method cannot be saved as a simple image file such as JPG or PNG, so there is a problem of poor versatility.
  • the image created using the multifocal camera is focused on user manipulation using a dedicated viewer.
  • a method for obtaining a multi-focusing image with different focal lengths and providing an image with the maximum sharpness for an object to which a user's touch input is applied.
  • the prior art has a problem in that the reaction speed is slow in that the user changes the focus through a touch using a hand.
  • the present invention provides a multifocal image service according to an embodiment of the present invention, and when viewing a multifocal image, the image is reproduced to be automatically switched to an image with high clarity in the corresponding area according to the user's gaze direction. purpose is to make it happen.
  • the technical task to be achieved by the present embodiment is not limited to the technical task as described above, and other technical tasks may exist.
  • a multifocal image reproducing apparatus is configured to photograph a focus image in different focus areas with respect to a preset photographing area using at least one camera.
  • filming department an eye tracking sensor unit that tracks the user's gaze within the shooting area and provides a gaze tracking result corresponding to the tracked gaze direction of the user;
  • a representative image for each focus area is selected from among the focus images captured by the photographing unit according to a preset criterion, and a representative image corresponding to the region of interest corresponding to the gaze tracking result is selected as a reproduction image from among the representative images for each focus area.
  • a control unit and a display unit for outputting a reproduction image selected by the control unit after outputting a representative image for each focus area.
  • the photographing unit includes: an identification unit for identifying a background and an object in focus images in different focus areas captured by each camera; a priority setting unit for setting priorities with respect to the background and the object identified by the identification unit; and an allocator for allocating a background or object to each camera based on the priority set by the priority setting unit, and allowing each camera to take a picture using the assigned background or object as a focus area.
  • the priority setting unit may set the priority based on the area size or the degree of movement of the background or object identified by the identification unit.
  • the photographing unit further comprises an image storage unit for storing a focus image for each camera, and for storing metadata related to the sharpness of a background or an object in the stored focus image, and the control unit is based on the eye tracking result of the eye tracking sensor unit.
  • An object corresponding to the user's gaze direction may be analyzed, and a focus image stored in the image storage unit may be selected based on metadata regarding the analyzed sharpness of the object.
  • the images stored for each camera in the image storage unit are temporally synchronized and stored, and the display unit outputs the images by synchronizing playback time.
  • a system for providing an image service using a multifocal image comprising: a photographing apparatus for photographing at least one image having different focus areas; a first terminal for photographing at least one focus image for a preset photographing area using the photographing device, and uploading the photographed focus images;
  • the first terminal analyzes the focus images of the photographing area uploaded, selects and outputs a representative image for each focus area according to a preset criterion, and tracks the user's gaze within the photographing area to correspond to the user's gaze direction an image service providing server that calculates a gaze tracking result for an ROI to be used, and provides, as a reproduced image, a representative image captured by a camera using the ROI as a focus region based on the gaze tracking result; and a second terminal that reproduces an image through the image service providing server and views an image focused on a region of interest corresponding to a user's own gaze direction.
  • the photographing apparatus includes at least one or more cameras for photographing images from different photographing positions or angles, and the first terminal sets priorities based on preset criteria for the background and at least one or more objects within the photographing area, A background or object is allocated to each camera based on the set priority, and each camera sets a focus area on the allocated background or object to photograph.
  • the image service providing server generates a multifocal image for the photographing area by merging at least one or more focus images transmitted from the first terminal into one, wherein the multifocal image includes a background or sharpness of an object assigned to each camera.
  • a focus image having the highest value is selected as a representative image, and the selected representative images are combined into one.
  • the image service providing server stores metadata including a size and a data type for the multifocal image, and the metadata includes a focus area captured by each camera and focus area information including the size of the focus area. a first data field indicating; a second data field indicating a focus image captured in accordance with the focus area; a third data field that classifies an area showing the highest sharpness with respect to a background or an object within the photographing area, and indicates focus information corresponding to the divided area and a focus image corresponding thereto; and a fourth data field for designating a file format of the focus image.
  • the image service providing server may provide an application for viewing the multifocal image or an image corresponding to the user's gaze direction to the first terminal or the second terminal.
  • the method for providing an image service using a multifocal image performed by an image service providing server providing a multifocal image service, receiving focus images in which a background or at least one or more objects in a photographing area are photographed using a plurality of cameras having a focus area; b) analyzing the focus images of the photographing area, selecting a representative image for each focus area according to a preset criterion, combining the selected representative images for each focus area into one, and outputting it to a user terminal as a multifocal image of the photographing area ; c) detecting a gaze of a user viewing the multifocal image through the user terminal, and extracting a region of interest corresponding to a direction of the user's gaze; and d) selecting a representative image captured by a camera having a focus region corresponding to the region of interest as a reproduction image and outputting the selected representative image to the user terminal.
  • the present invention can provide a multifocal image service close to the real thing because there is almost no information loss compared to a single focus image, so that a sense of reality can be imparted, and when viewing a multifocal image, the user It is possible to provide an image in which a focus is formed suitable for the user's gaze direction by detecting the gaze of the user.
  • the present invention can provide a multifocal video service through the video service providing server even if the user does not learn a new interface or purchase additional equipment, and increase the immersion of viewers watching the multifocal video through the eye tracking function can
  • FIG. 1 is a view for explaining the configuration of a multifocal image reproducing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed configuration of a photographing unit, which is a part of FIG. 1 .
  • FIG. 3 is a diagram illustrating an operation method of a multifocal image reproducing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining an image reproduction method according to a user's gaze in the multifocal image reproducing apparatus according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method for reproducing a multifocal image according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining a system for providing an image service using a multifocal image according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining a process of storing metadata in an image service providing server according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram illustrating a data type of metadata of a multifocal image according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of providing an image service using a multifocal image according to an embodiment of the present invention.
  • a 'terminal' may be a wireless communication device with guaranteed portability and mobility, for example, any type of handheld-based wireless communication device such as a smart phone, tablet PC, or notebook computer.
  • the 'terminal' may be a wired communication device such as a PC that can connect to another terminal or server through a network.
  • the network refers to a connection structure capable of exchanging information between each node, such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN), and the Internet (WWW). : World Wide Web), wired and wireless data networks, telephone networks, and wired and wireless television networks.
  • wireless data communication networks examples include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, infrared communication, ultrasound Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • WIMAX World Interoperability for Microwave Access
  • Wi-Fi Bluetooth communication
  • infrared communication ultrasound Communication
  • VLC Visible Light Communication
  • LiFi and the like are included, but are not limited thereto.
  • each configuration, process, process or method included in each embodiment of the present invention may be shared within a range that does not technically contradict each other.
  • FIG. 1 is a view for explaining the configuration of a multifocal image reproducing apparatus according to an embodiment of the present invention.
  • the multifocal image reproducing apparatus 100 includes a photographing unit 110 including a plurality of cameras 111 , an eye tracking sensor unit 120 , a control unit 130 , and a display unit 140 . do.
  • the plurality of cameras 111 may be disposed at different photographing positions to face various directions, but may all face the same direction. Even if they all face the same direction, each camera 111 specifies a different background or object, and focuses on the specified background or object to generate a multifocal image, that is, a plurality of focus images with different focal lengths. can Here, the focus image includes a moving image and a still image (still shot).
  • the multifocal image reproducing apparatus 100 may be a smart phone or a multifocal camera equipped with a plurality of lenses, a plurality of DSLR cameras, etc. In the case of a smart phone, the plurality of cameras 111 are located on the back of the smart phone and are all directed in the same direction. may be directed towards
  • the photographing unit 110 includes an image storage unit 112 , and images captured by each camera are stored in the image storage unit 112 .
  • the image stored in the image storage unit 112 may include metadata regarding the sharpness of the background or object.
  • the information on the sharpness may be stored in synchronization with time. For example, it may include information about the sharpness of a corresponding object in a specific playback time period.
  • the controller 130 analyzes the object toward which the user's gaze is directed based on the result of eye tracking of the eye tracking sensor unit 120, and the image storage unit ( 112) and select the saved image.
  • the stored image may be temporally synchronized and stored. In this case, the display unit 140 may output the image based on the synchronized time.
  • the eye tracking sensor unit 120 tracks the user's gaze and provides a gaze tracking result corresponding to the tracked gaze direction of the user.
  • the gaze tracking result may be analyzed in the direction of the user's gaze, that is, what object of the image the user looks at.
  • the control unit 130 selects a representative image from among the images captured by the camera 111 according to a predetermined criterion, and based on the eye tracking result of the eye tracking sensor unit 120, one or each camera 111 of the plurality of cameras. ), select one of the recorded images as the playback image.
  • an image captured in real time by the camera 111 may be selected or an image captured and stored may be selected.
  • the criterion for the control unit 130 to select the representative image is to randomly select one image from among the plurality of cameras 111 or select an image captured by a specific camera 111 and an image having the highest sharpness among images captured by each camera. You can set in advance what to select as the representative image. Alternatively, an image captured by focusing on an object with the greatest movement during a specific playback time period among all the temporally synchronized and stored videos may be selected as the representative image.
  • the specific playback time zone may correspond to a time zone in which the playback of the video starts, that is, the first part of the video.
  • the reproduced image analyzes the object in which the user's gaze direction is staying based on the eye tracking result of the eye tracking sensor unit 120, and provides the analyzed result to the control unit 130 as the eye tracking result, thereby providing the control unit 130 ) may select an image captured by focusing on an object corresponding to the user's gaze direction as a playback image based on the gaze tracking result.
  • the display unit 140 outputs the representative image first, and when the reproduced image is selected by the control unit 130, the reproduced image is sequentially outputted.
  • the display unit 140 first reproduces a representative image, and at the same time, the eye tracking sensor unit 120 tracks the user's gaze to analyze the object viewed by the user.
  • the controller 130 When the object viewed by the user is analyzed, the controller 130 outputs an image photographed with the object viewed by the user as the focal point from then on, and whenever the user moves in the gaze direction, the analysis is performed according to the movement of the user's gaze direction.
  • the images taken with the object in focus are sequentially output.
  • FIG. 2 is a block diagram illustrating a detailed configuration of a photographing unit, which is a part of FIG. 1 .
  • the photographing unit 110 includes an identification unit 113 , a rank setting unit 114 , and an assignment unit 115 .
  • the identification unit 113 distinguishes and identifies each of the background and at least one object in all images captured by each camera 111 . There may be multiple objects in one image. For example, when the user is photographing three group singers performing on stage, when photographing each singer in an image, each singer may be identified and a background may be identified.
  • the priority setting unit 114 sets priorities with respect to the identified background and objects. In the previous example, you can set priorities for three group singers and their backgrounds. The priority may be set according to the distance from the camera, or the priority may be set based on the degree of movement in a specific playback time among all videos synchronized and stored in time. Alternatively, it may be set by a user input such as a screen touch.
  • the allocator 115 allocates a background or an object to each camera based on the priority.
  • each camera takes a picture by focusing on the assigned background or object. If the performance of cameras included in one multifocal image reproducing apparatus 100 is different, it may be an important issue to assign which object to which camera.
  • FIG. 3 is a diagram illustrating an operation method of a multifocal image reproducing apparatus according to an embodiment of the present invention
  • FIG. 4 is an image according to a user's gaze in the multifocal image reproducing apparatus according to an embodiment of the present invention. It is a diagram explaining a playback method.
  • the photographing unit 110 is a smartphone including four cameras 1 , 2 , 3 and 4 , the cameras 1 to 3 focus on the objects 1 to 3 , respectively.
  • An image is captured, and the camera 4 may generate a multifocal image by capturing the background.
  • the eye tracking sensor unit 120 tracks the user's gaze and transmits the gaze tracking result to the control unit 130, and the control unit 130 selects the image of camera 2 taken with the region of interest R1 as the focus region and outputs it as a playback image.
  • the user's gaze direction moves from the region of interest 1 (R1) to the region of interest 2 (R2, the chair and the wall). area) and transmits the result of eye tracking to the controller 130 . Then, the controller 130 selects the image of the camera 1 photographed using the region of interest 2 ( R2 ) as the focus region and outputs it as a reproduced image.
  • FIG. 5 is a flowchart illustrating a method for reproducing a multifocal image according to an embodiment of the present invention.
  • the photographing unit 110 captures and stores images having different focus areas within the photographing area using a plurality of cameras 111 ( S11 ).
  • the controller 130 selects a representative image for each focus area from among the stored images, selects one of them based on a predetermined criterion, and first outputs it as a reproduced image (S12).
  • the representative image may be selected based on a high sharpness according to a user setting, a specific background or movement of an object, a specific playback time period, and the like.
  • the user sees a representative image output on the display unit 140, and the eye tracking sensor unit 120 detects the user's gaze and provides the control unit 130 with the gaze tracking result for the region of interest the user gazes at ( S13).
  • the eye tracking sensor unit 120 may calculate a region of interest (coordinate values in the photographing region, etc.) and provide the result as a gaze tracking result.
  • the controller 130 extracts a representative image captured by a camera having a focus area corresponding to the user's gaze direction based on the gaze tracking result, and outputs the extracted representative image to the display unit 140 as a reproduced image (S14) , S15).
  • FIG. 6 is a view for explaining a system for providing an image service using a multifocal image according to an embodiment of the present invention.
  • an image service providing system using a multifocal image includes, but is not limited to, a photographing device 100 , a first terminal 210 , a second terminal 220 , and an image service providing server 300 . does not
  • the photographing apparatus 100 captures at least one or more images having different focus areas, and may be the photographing unit 110 described in FIG. 1 or the multifocal image reproducing apparatus 100 including the photographing unit 110, , may be a photographing device including a plurality of cameras and lighting means.
  • the first terminal 210 captures at least one or more focus images for a preset capturing area using the capturing apparatus 100 and uploads the focus images of the capturing area to the image service providing server 300 .
  • the second terminal 220 may play an image through the image service providing server 300 and view an image focused on the ROI corresponding to the user's own gaze direction.
  • the first terminal 210 and the second terminal 220 are terminals capable of wired and wireless communication, and may be implemented as a smart phone, a tablet PC, a PC, a notebook PC, or the like.
  • the first terminal 210 may be a seller terminal for providing goods or services
  • the second terminal 220 may be a buyer terminal for purchasing goods or services provided by the first terminal 210 .
  • the image service providing server 300 analyzes the multifocal image of the shooting area uploaded from the first terminal 210, selects and outputs a representative image for each focus area according to a preset criterion, and outputs the A representative image captured by a camera having a focus area corresponding to the user's gaze direction is provided as a reproduced image based on the user's gaze tracking result by tracking the gaze.
  • the image service providing server 300 may provide the photographing apparatus 100 to the first terminal 210 , and may provide a multifocal image editing service for focus images uploaded by the first terminal 210 .
  • the image service providing server 300 may provide an application for viewing a multifocal image or an image corresponding to the user's gaze direction to the first terminal 210 or the second terminal 220 .
  • the image service providing server 300 may be a main body of a server computer in a general sense, or may be implemented as various types of devices capable of performing a server role. Specifically, the image service providing server 300 may be implemented in a computing device including a communication module (not shown), a memory (not shown), a processor (not shown) and a database (not shown), for example, a mobile phone or It may be implemented in TV, PDA, tablet PC, PC, notebook PC, and other user terminal devices.
  • FIG. 7 is a diagram for explaining a process of storing metadata in an image service providing server according to an embodiment of the present invention
  • FIG. 8 is a diagram for explaining a data type of metadata of a multifocal image according to an embodiment of the present invention It is also an example of
  • the photographing apparatus 100 includes at least one or more cameras for photographing images at different photographing positions or angles, and the first terminal 210 captures the background and at least one object in the photographing area.
  • Priority is set based on a set priority
  • a background or object is assigned to each camera based on the set priority
  • each camera sets a focus area on the assigned background or object to take a picture.
  • the image service providing server 300 generates a multifocal image for the photographing area by combining at least one or more focus images transmitted from the first terminal 210 into one.
  • the multifocal image is generated by selecting and storing a focus image having the highest sharpness of a background or object assigned to each camera as a representative image, and combining the selected representative images into one.
  • three cameras having different focus areas (0, 1, 2) generate three focus images by photographing the capturing areas, and the first terminal 210 generates three focus images. It is uploaded to the image service providing server 300 .
  • the image service providing server 300 matches the focus region with the focus image having the highest sharpness of the background or object assigned to each camera one-to-one, and stores it as metadata.
  • the image service providing server 300 stores metadata (mapping information) including the size and data type of each column included in a specific unit (record) for the multifocal image.
  • the metadata includes column layout information such as column length information of a record, and is composed of the length of each column, the data type of the data object, and an offset. there is.
  • Metadata is largely composed of a header, header information (InfoHeader), focus information (Focus Into), and an image table (Image Table).
  • the focus information includes a first data field, a third data field, and a fourth data field. and a second data field in the image table.
  • the first data field represents focus areas (0, 1, 2) photographed by each camera and focus area information including the size of the focus areas
  • the second data field represents focus images (image0, image1) captured in accordance with the focus area. , image 2), the second data field and the second data field distinguish the area showing the highest sharpness for the background or object within the photographing area, and indicate focus information corresponding to the divided area and the corresponding focus image one-to-one;
  • the fourth data field designates a file format (JPEG, PNG, MP4, etc.) of the focus image.
  • the image service providing server 300 generates a multifocal image by combining the focus images for each focus area, and the sharpness of the focus images for each focus area does not differ by more than a certain value, or when the multifocal image is generated, three focus areas among the shooting areas
  • reset information of the focus area may be provided to the first terminal 210 so as to include the corresponding area.
  • FIG. 9 is a flowchart illustrating a method of providing an image service using a multifocal image according to an embodiment of the present invention.
  • the first terminal 210 divides the photographing area into different focus areas by using the photographing apparatus 100 and converts the photographed focus image into a multifocal image of the photographing area.
  • Server 300 for providing an image service is uploaded to (S21).
  • the first terminal 210 sets priorities among the backgrounds and objects in the photographing area, and allocates the backgrounds and objects to each camera according to the set priorities, and each camera uses the assigned backgrounds and objects as the focus area. to shoot a video. Therefore, the first terminal 210 must distribute the focus area of each camera well so that both the background and the objects can appear over the entire area of the photographing area.
  • the image service providing server 300 stores a focus image for each focus area of the shooting area (S21), selects a representative image from focus images for each focus area according to a specific criterion, and outputs it to the second terminal 220 (S23, S24).
  • the second terminal 220 views a representative image output on its own screen, and the image service providing server 300 tracks the user's gaze of the second terminal 220 (S25).
  • the image service providing server 300 provides an application having a multifocal image viewing and eye tracking function to the second terminal 220, and after the second terminal 220 installs the corresponding application, the image service providing server 300 ) may perform a gaze tracking function through interworking with components such as a camera of the second terminal 220 through an application.
  • the image service providing server 300 extracts a region of interest corresponding to the user's gaze direction based on the gaze tracking result for the second terminal 220, and selects a representative image of the focus region opposite to the region of interest as a reproduction image and output to the second terminal 220 (S26, S27).
  • the video service providing server 300 provides the video viewing result of the second terminal 220 to the first terminal 210 (S28), so that the first terminal 210 can know information about the user's ROI. do.
  • the video viewing result may be data indicating that purchases of goods or advertisements of goods in the photographing area have been made.
  • FIGS. 6 and 8 may be divided into additional steps or combined into fewer steps according to an embodiment of the present invention.
  • some steps may be omitted if necessary, and the order between the steps may be changed.
  • the present invention extracts a region of interest corresponding to the user's gaze direction using eye tracking technology, automatically converts the focus region to the region of interest and automatically converts it into a photographed image, thereby providing more realistic and higher resolution than single-focal images. It can provide high-quality images.
  • the embodiments of the present invention described above may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer.
  • Such recording media includes computer-readable media, and computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media also includes computer storage media, which include volatile and nonvolatile embodied in any method or technology for storage of information, such as computer readable instructions, data structures, program modules, or other data. , including both removable and non-removable media.
  • control unit 130 control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 다초점 영상 재생 장치 및 이를 이용한 영상 서비스 제공 시스템 및 그 방법에 관한 것으로서, 적어도 하나 이상의 카메라를 이용하여 기 설정된 촬영 영역에 대해 서로 다른 초점 영역에서의 초점 영상을 촬영하는 촬영부; 상기 촬영 영역내 사용자의 시선을 추적하고, 상기 추적된 사용자의 시선 방향에 대응하는 시선 추적 결과를 제공하는 아이트래킹 센서부; 상기 촬영부에서 촬영된 초점 영상 중에서 기 설정된 기준에 따라 각 초점 영역별 대표 영상을 선택하고, 상기 초점 영역별 대표 영상 중에서 상기 시선 추적 결과에 대응되는 관심 영역에 해당하는 대표 영상을 재생 영상으로 선택하는 제어부; 및 각 초점 영역별 대표 영상을 출력한 후, 상기 제어부에 의해 선택된 재생 영상을 출력하는 디스플레이부를 포함하는 다초점 영상 재생 장치일 수 있다.

Description

다초점 영상 재생 장치, 다초점 영상을 이용한 영상 서비스 제공 시스템 및 그 방법
본 발명은 다초점 영상 재생 장치 및 이를 이용한 영상 서비스 제공 시스템 및 그 방법을 제공하는 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
현재 일반적으로 이용되고 있는 동영상의 재생은 단일 초점을 둔 영상만을 이용한다. 종래에는 사용자가 직접 하나의 촬영시 하나의 초점을 선택하고 촬영하거나 카메라 센서 자체에서 다수의 초점을 임으로 선정하여 촬영하는 방법이 존재한다. 하나의 앵글에서 사용자가 원하는 다수의 초점을 촬영하기 위해서는 하나의 앵글을 유지하고 다수의 촬영을 반복해야 한다. 이와 같이, 하나의 앵글에서 다수의 초점 영상 혹은 이미지를 획득하기 위해서는 앵글을 고정한 상태에서 사용자가 여러 번 초점을 이동하고 촬영을 해야 하는 불편함이 있고, 이러한 촬영 조작 과정에서 구도가 변하거나, 피사체가 인물인 경우 충분히 힘든 시간을 감수해야 한다는 문제점이 있다.
이에 따라 동일한 피사체에 대해 여러 초점으로 다수 개의 촬영 이미지를 얻기 위해 다초점 촬영 장치를 이용한다. 종래의 다초점 촬영 장치는 여러 개의 소형 렌즈를 구비한 다초점 카메라를 이용하여 각각 조금씩 다른 초점과 각도에서 사진을 촬영한 뒤 각각의 결과물을 하나로 합치는 기술을 이용한다. 이러한 방법에 의한 결과물은 JPG나 PNG와 같은 단순 이미지 파일로 저장할 수 없어서 범용성이 떨어지는 문제점이 있다. 또한 다초점 카메라를 이용하여 생성된 이미지는 전용의 뷰어를 이용하여 사용자가 조작하는 데에 주안점을 두고 있다
종래의 초점이 다른 영상을 제공하는 이동 단말기의 경우에, 초점 거리를 달리하는 멀티 포커싱 이미지를 얻고, 사용자의 터치 입력이 가해진 객체에 대해 최대 선명도를 갖는 영상을 이미지를 제공하는 방법을 제공하고 있다. 그러나 상기 선행기술은 사용자가 손을 이용한 터치를 통해 초점을 변경한다는 점에서 반응 속도가 늦다는 문제점이 있다.
<특허문헌>
대한민국 공개특허공보 제10-2014-0033531호(발명의 명칭 : 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체, 2014.03.19.)
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 다초점 영상 서비스를 제공하고, 다초점 영상 시청시 사용자의 시선 방향에 따라 해당 영역에 선명도가 높은 영상으로 자동 전환되도록 재생되도록 하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 다초점 영상 재생 장치는, 적어도 하나 이상의 카메라를 이용하여 기 설정된 촬영 영역에 대해 서로 다른 초점 영역에서의 초점 영상을 촬영하는 촬영부; 상기 촬영 영역내 사용자의 시선을 추적하고, 상기 추적된 사용자의 시선 방향에 대응하는 시선 추적 결과를 제공하는 아이트래킹 센서부; 상기 촬영부에서 촬영된 초점 영상 중에서 기 설정된 기준에 따라 각 초점 영역별 대표 영상을 선택하고, 상기 초점 영역별 대표 영상 중에서 상기 시선 추적 결과에 대응되는 관심 영역에 해당하는 대표 영상을 재생 영상으로 선택하는 제어부; 및 각 초점 영역별 대표 영상을 출력한 후, 상기 제어부에 의해 선택된 재생 영상을 출력하는 디스플레이부를 포함하는 것이다.
상기 촬영부는 각 카메라에서 촬영되는 서로 다른 초점 영역에서의 초점 영상에서 배경과 객체을 각각 식별하는 식별부; 상기 식별부에서 식별된 배경 및 객체에 대하여 우선 순위를 설정하는 순위 설정부; 및 상기 순위 설정부에서 설정된 우선 순위에 기초하여 각 카메라로 배경 또는 객체를 할당하여, 각 카메라가 할당된 배경 또는 객체를 초점 영역으로 하여 촬영하도록 하는 할당부를 포함하는 것이다. 이때, 상기 순위 설정부는, 상기 식별부에서 식별된 배경 또는 객체의 영역 크기나 움직임 정도를 기초로 우선 순위를 설정할 수 있다.
상기 촬영부는 상기 카메라별로 초점 영상을 저장하고, 상기 저장된 초점 영상에서 배경 또는 객체의 선명도에 관한 메타 데이터를 저장하는 영상 저장부를 더 포함하고, 상기 제어부는 상기 아이트래킹 센서부의 시선 추적 결과에 기초하여 사용자의 시선 방향에 대응되는 객체를 분석하고, 상기 분석된 객체의 선명도에 관한 메타 데이터에 기초하여 상기 영상 저장부에 저장된 초점 영상을 선택할 수 있다.
상기 영상 저장부에 카메라별로 저장되는 영상은 시간적으로 동기화되어 저장되고, 상기 디스플레이부는 재생시간을 동기화하여 영상을 출력하는 것이다.
본 발명의 다른 일 실시예에 따른 다초점 영상을 이용한 영상 서비스 제공 시스템은, 서로 다른 초점 영역을 가지는 적어도 하나 이상의 영상을 촬영하는 촬영 장치; 기 설정된 촬영 영역에 대해 상기 촬영 장치를 이용하여 적어도 하나 이상의 초점 영상을 촬영하여, 상기 촬영된 초점 영상들을 업로드하는 제1 단말; 상기 제1 단말에서 업로드된 상기 촬영 영역의 초점 영상들을 분석하여, 기 설정된 기준에 따라 각 초점 영역별 대표 영상을 선택하여 출력하고, 상기 촬영 영역내 사용자의 시선을 추적하여 사용자의 시선 방향에 대응되는 관심 영역에 대한 시선 추적 결과를 산출하고, 상기 시선 추적 결과에 기초하여 상기 관심 영역을 초점 영역으로 하는 카메라에서 촬영된 대표 영상을 재생 영상으로 제공하는 영상 서비스 제공 서버; 및 상기 영상 서비스 제공 서버를 통해 영상이 재생되고, 사용자 자신의 시선 방향에 대응되는 관심 영역에 초점을 맞춘 영상을 시청하는 제2 단말을 포함하는 것이다.
상기 촬영 장치는 서로 다른 촬영 위치 또는 각도에서 영상을 촬영하는 적어도 하나 이상의 카메라를 포함하고, 상기 제1 단말은 상기 촬영 영역내 배경과 적어도 하나 이상의 객체에 대해 기 설정된 기준으로 우선 순위를 설정하고, 상기 설정된 우선 순위에 기초하여 각 카메라로 배경 또는 객체를 할당하며, 상기 각 카메라는 할당된 배경 또는 객체에 초점 영역을 설정하여 촬영하는 것이다.
한편, 상기 영상 서비스 제공 서버는 상기 제1 단말로부터 전송되는 적어도 하나 이상의 초점 영상을 하나로 합쳐 상기 촬영 영역에 대한 다초점 영상을 생성하되, 상기 다초점 영상은 각 카메라에 할당된 배경 또는 객체의 선명도가 최고값을 갖는 초점 영상을 대표 영상으로 각각 선택하고, 상기 선택된 대표 영상들을 하나로 합쳐 생성되는 것이다.
상기 영상 서비스 제공 서버는 상기 다초점 영상에 대한 크기 및 데이터 타입을 포함하는 메타데이터를 저장하고, 상기 메타데이터는, 각 카메라에서 촬영된 초점 영역과, 상기 초점 영역의 크기를 포함한 초점 영역 정보를 나타내는 제1 데이터 필드; 상기 초점 영역에 맞추어 촬영한 초점 영상을 나타내는 제2 데이터 필드; 상기 촬영 영역 내 배경 또는 객체에 대해 최고 선명도를 나타나는 영역을 구분하고, 상기 구분된 영역과 그에 해당하는 초점 영상을 일대일 대응한 초점정보를 나타내는 제3 데이터 필드; 및 상기 초점 영상의 파일 형식을 지정하는 제4 데이터 필드를 포함할 수 있다.
상기 영상 서비스 제공 서버는, 상기 제1 단말 또는 제2 단말에 상기 다초점 영상 또는 상기 사용자의 시선 방향에 대응하는 영상을 시청할 수 있는 어플리케이션을 제공할 수 있다.
본 발명의 일 실시예에 따른 다초점 영상을 이용한 영상 서비스 제공 방법은, 다초점 영상 서비스를 제공하는 영상 서비스 제공 서버에 의해 수행되는 다초점 영상을 이용한 영상 서비스 제공 방법에 있어서, a) 서로 다른 초점 영역을 가지는 복수의 카메라를 이용하여 촬영 영역 내 배경 또는 적어도 하나 이상의 객체가 촬영된 초점 영상들을 수신하는 단계; b) 상기 촬영 영역의 초점 영상들을 분석하여 기 설정된 기준에 따라 각 초점 영역별 대표 영상을 선택하고, 상기 선택된 초점 영역별 대표 영상들을 하나로 합쳐 상기 촬영 영역의 다초점 영상으로 사용자 단말에 출력하는 단계; c) 상기 사용자 단말을 통해 상기 다초점 영상을 시청중인 사용자의 시선을 감지하고, 사용자 시선 방향에 대응되는 관심 영역을 추출하는 단계; 및 d) 상기 관심 영역에 대응되는 초점 영역을 가지는 카메라에서 촬영된 대표 영상을 재생 영상으로 선택하여 상기 사용자 단말에 출력하는 단계를 포함할 수 있다.
전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 단초점 영상에 비해 정보 손실 현상이 거의 없어 실물에 가까운 다초점 영상 서비스를 제공할 수 있어 현실감을 부여할 수 있고, 다초점 영상 시청시 사용자의 시선을 감지하여 사용자의 시선 방향에 적합한 초점이 형성된 영상을 제공할 수 있다.
또한, 본 발명은 사용자가 새로운 인터페이스를 학습하거나 추가적인 장비를 구매하지 않더라도 영상 서비스 제공 서버를 통해 다초점 영상 서비스를 제공할 수 있고, 시선 추적 기능을 통해 다초점 영상을 시청하는 시청자의 몰입감을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 다초점 영상 재생 장치의 구성을 설명하는 도면이다.
도 2는 도 1의 일부 구성요소인 촬영부의 상세 구성을 설명하기 위하여 도시한 블록도이다.
도 3는 본 발명의 일 실시예에 따른 다초점 영상 재생 장치의 동작 방식을 설명하기 위하여 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 다초점 영상 재생 장치에서 사용자 시선에 따른 영상 재생 방식을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 다초점 영상 재생 방법을 설명하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 다초점 영상을 이용한 영상 서비스 제공 시스템을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 서비스 제공 서버에서 메타데이터를 저장하는 과정을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 다초점 영상의 메타데이터의 데이터 타입을 설명하는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 다초점 영상을 이용한 영상 서비스 제공 방법을 설명하는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 다초점 영상 재생 장치의 구성을 설명하는 도면이다.
도 1을 참조하면, 다초점 영상 재생 장치(100)는 복수의 카메라(111)를 포함하는 촬영부(110), 아이트래킹 센서부(120), 제어부(130) 및 디스플레이부(140)를 포함한다.
복수의 카메라(111)는 서로 다른 촬영 위치로 배치되어 다양한 방향을 향하도록 할 수 있지만, 모두 같은 방향을 향하도록 할 수도 있다. 모두 같은 방향을 향하더라도 각각의 카메라(111)가 서로 다른 배경 또는 객체를 특정하고, 특정된 배경 또는 객체에 초점을 맞추어 촬영함으로써 다초점 영상, 즉 초점 거리가 서로 다른 복수의 초점 영상을 생성할 수 있다. 여기서 초점 영상은 동영상과 정지영상(스틸샷)을 포함한다. 다초점 영상 재생 장치(100)는 스마트폰이거나 복수의 렌즈가 장착된 다초점 카메라, 복수 개의 DSLR 카메라 등 일 수도 있는데, 스마트폰일 경우 복수의 카메라(111)는 스마트폰 뒷면에 위치하여 모두 같은 방향을 향할 수도 있다.
촬영부(110)는 영상 저장부(112)를 포함하고, 각각의 카메라 별로 촬영된 영상이 영상 저장부(112)에 저장된다. 이때 영상 저장부(112)에 저장된 영상에는 배경 또는 객체의 선명도에 관한 메타 데이터를 포함할 수 있다.
여기서 선명도에 관한 정보는 시간에 동기화되어 저장될 수 있다. 예를 들어 특정 재생 시간대의 해당 객체의 선명도에 관한 정보를 포함할 수 있다. 또한 제어부(130)는 아이트래킹 센서부(120)의 시선 추적 결과에 기초하여 사용자의 시선 방향이 향하는 객체를 분석하고, 사용자의 시선이 향하는 객체의 선명도에 관한 메타 데이터에 기초하여 영상 저장부(112)에 저장된 영상을 선택한다. 그리고 저장되는 영상은 시간적으로 동기화되어 저장될 수 있는데, 이 경우 디스플레이부(140)는 동기화된 시간에 기초하여 영상을 출력할 수 있다.
아이트래킹 센서부(120)는 사용자의 시선을 추적하고, 추적된 사용자의 시선 방향에 대응하는 시선 추적 결과를 제공한다. 이때, 시선 추적 결과는 사용자의 시선 방향, 즉 사용자가 바라보는 영상의 객체가 무엇인지 분석할 수 있다.
제어부(130)는 카메라(111)에서 촬영된 영상 중에서 소정의 기준에 따라 대표영상을 선택하고, 아이트래킹 센서부(120)의 시선 추적 결과에 기초하여 복수의 카메라 중 하나 또는 각각의 카메라(111)에서 촬영된 영상 중 하나를 재생영상으로 선택한다. 제어부(130)가 선택하는 영상은 카메라(111)에서 실시간으로 촬영되는 영상을 선택하거나 촬영되어 저장된 영상을 선택할 수도 있다.
제어부(130)가 대표영상을 선택하는 기준은 복수의 카메라(111) 중 하나의 영상을 무작위로 선택하거나 특정 카메라(111)에서 촬영된 영상, 각 카메라에서 촬영된 영상 중 선명도가 가장 높은 영상을 대표영상으로 선택할 것을 미리 설정할 수 있다. 또는 시간적으로 동기화되어 저장된 모든 동영상 중 특정 재생 시간대에 움직임이 가장 큰 객체에 초점을 두어 촬영한 영상을 대표영상으로 선택할 수도 있다. 여기서 특정 재생시간대는 동영상의 재생이 시작되는 시간대, 즉 동영상의 첫 부분이 해당될 수 있다.
또한, 재생영상은 아이트래킹 센서부(120)의 시선 추적 결과에 기초하여 사용자의 시선 방향이 머무르고 있는 객체를 분석하고, 이렇게 분석된 결과를 시선 추적 결과로 제어부(130)에 제공함으로써 제어부(130)는 시선 추적 결과에 기초하여 사용자의 시선 방향에 대응되는 객체에 초점을 두고 촬영한 영상을 재생 영상으로 선택할 수 있다.
디스플레이부(140)는 대표영상을 먼저 출력하고, 제어부(130)에서 재생 영상이 선택되면 순차적으로 재생영상을 출력한다. 다초점 영상 재생 장치(100)가 동작을 시작하면 디스플레이부(140)는 먼저 대표영상을 재생함과 동시에 아이트래킹 센서부(120)는 사용자의 시선을 추적하여 사용자가 바라보는 객체를 분석한다.
제어부(130)는 사용자가 바라보는 객체가 분석되면, 그때부터 사용자가 바라보는 객체를 초점으로 두고 촬영한 영상을 출력하고, 사용자가 시선 방향이 이동할 때마다 사용자의 시선 방향의 이동에 따라 분석된 객체를 초점을 두고 촬영한 영상을 순차적으로 출력한다.
도 2는 도 1의 일부 구성요소인 촬영부의 상세 구성을 설명하기 위하여 도시한 블록도이다.
도 2를 참조하면 촬영부(110)는 식별부(113), 순위 설정부(114) 및 할당부(115)를 포함한다.
식별부(113)는 각각의 카메라(111)에서 촬영되는 모든 영상에서 배경과 적어도 하나의 객체 각각을 구별하고 식별한다. 하나의 영상에는 다수의 객체가 있을 수 있다. 예를 들어, 사용자가 무대에서 공연을 하는 세 명의 그룹가수를 촬영하는 경우, 영상에서 각각의 가수를 촬영하는 경우에 각각의 가수를 식별하고, 배경을 식별할 수 있다.
순위 설정부(114)는 식별된 배경 및 객체에 대하여 우선 순위를 설정한다. 앞의 예에서 그룹가수에 3명과 배경에 대하여 우선 순위를 설정할 수 있다. 우선 순위의 설정은 카메라로부터 거리에 따라 설정하거나, 시간적으로 동기화되어 저장된 모든 동영상 중 특정 재생시간대에 움직임의 정도에 기초하여 우선순위를 설정할 수도 있다. 또는 화면 터치 등과 같이 사용자 입력에 의하여 설정될 수도 있다.
할당부(115)는 우선 순위에 기초하여 각각의 카메라로 배경 또는 객체를 할당한다. 여기서 각각의 카메라는 할당된 배경 또는 객체에 초점을 맞추어 촬영한다. 만약 하나의 다초점 영상 재생 장치(100)에 포함된 카메라의 성능이 제각기 다른 경우에는 어느 카메라에 어떤 객체를 할당할 것인지는 중요한 문제 일 수 있다.
예를들어, 그룹 가수 중에서 가장 인기가 있는 가수에게 높은 우선순위를 설정하여 성능이 좋고 해상도가 뛰어난 카메라를 배정할 수 있고, 배경과 같은 중요성이 떨어지는 경우에는 낮은 우선순위를 배정하여 성능 또는 해상도가 가장 떨어지는 카메라에 할당할 수 있다.
도 3는 본 발명의 일 실시예에 따른 다초점 영상 재생 장치의 동작 방식을 설명하기 위하여 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 다초점 영상 재생 장치에서 사용자 시선에 따른 영상 재생 방식을 설명하는 도면이다.
도 3을 참조하면, 촬영부(110)가 4개의 카메라(1, 2, 3, 4)로 구성되어 있는 스마트폰인 경우에, 카메라 1 내지 카메라 3은 각각 객체 1 내지 객체 3에 초점을 두고 영상을 촬영하고, 카메라 4는 배경을 촬영함으로 다초점 영상을 생성할 수 있다.
도 4의 (a)에 도시된 바와 같이, 디스플레이부(140)에 재생되는 영상에서 사용자의 시선( )이 관심 영역1(R1, 전등을 포함한 영역)을 주시하는 경우, 아이트래킹 센서부(120)가 사용자의 시선을 추적하여 시선 추적 결과를 제어부(130)에 전송하고, 제어부(130)에서는 관심 영역(R1)을 초점 영역으로 하여 촬영한 카메라 2의 영상을 선택하여 재생 영상으로 출력되도록 한다.
도 4의 (b)에 도시된 바와 같이, 사용자의 시선 방향이 변화되면, 아이트래킹 센서부(120)에서는 사용자의 시선 방향이 관심 영역1(R1)에서 관심 영역2(R2, 의자 및 벽면을 포함한 영역)로 이동한 것을 감지하여 시선 추적 결과를 제어부(130)에 전송한다. 그러면 제어부(130)는 관심 영역2(R2)를 초점 영역으로 하여 촬영한 카메라 1의 영상을 선택하여 재생 영상으로 출력되도록 한다.
이때, 도 4의 (a)에 도시된 바와 같이, 관심 영역1(R1)을 초점 영역으로 하는 영상을 재생 영상으로 출력할 경우에, 관심 영역2(R2) 내의 배경이나 객체가 어둡게 보이거나 흐리게 보이지만, 도 4의 (b)에 도시된 바와 같이 관심 영역2(R2)를 초점 영역으로 하는 영상을 재생 영상으로 출력할 경우에, 해당 영역(R2) 내의 배경이나 객체가 선명하게 보임을 알 수 있다.
도 5는 본 발명의 일 실시예에 따른 다초점 영상 재생 방법을 설명하는 순서도이다.
도 5를 참조하면, 촬영부(110)는 복수의 카메라(111)를 이용하여 촬영 영역내에서 서로 다른 초점 영역을 가지는 영상을 촬영하여 저장한다(S11). 제어부(130)는 저장된 영상들 중에서 각 초점 영역별 대표 영상을 선택하여 소정의 기준으로 이들 중 하나의 영상을 선택하여 재생 영상으로 우선 출력한다(S12). 이때, 대표 영상은 사용자 설정에 따라 선명도가 높거나, 특정 배경이나 객체의 움직임, 특정 재생 시간대 등의 기준으로 선택될 수 있다.
사용자는 디스플레이부(140)에 출력되는 대표영상을 보게 되는데, 아이트래킹 센서부(120)가 사용자 시선을 감지하여 사용자 시선이 주시하는 관심영역에 대한 시선 추적 결과를 제어부(130)에 제공한다(S13). 이때, 아이트래킹 센서부(120)는 사용자 시선 방향이 일정한 시간 이상 이동이 없는 경우에, 관심 영역(촬영 영역에서의 좌표값 등)을 산출하여 시선 추적 결과로 제공할 수 있다.
제어부(130)는 시선 추적 결과에 기초하여 사용자의 시선 방향에 대응되는 초점 영역을 가지는 카메라에서 촬영된 대표 영상을 추출하고, 추출된 대표 영상을 재생 영상으로 디스플레이부(140)에 출력한다(S14, S15).
도 6은 본 발명의 일 실시예에 따른 다초점 영상을 이용한 영상 서비스 제공 시스템을 설명하는 도면이다.
도 6을 참조하면, 다초점 영상을 이용한 영상 서비스 제공 시스템은 촬영 장치(100), 제1 단말(210), 제2 단말(220) 및 영상 서비스 제공 서버(300)를 포함하지만 이에 한정되지는 않는다.
촬영 장치(100)는 서로 다른 초점 영역을 가지는 적어도 하나 이상의 영상을 촬영하는 것으로서, 도 1에서 설명한 촬영부(110), 또는 촬영부(110)를 포함한 다초점 영상 재생 장치(100)일 수 있고, 복수 개의 카메라와 조명수단을 포함하는 촬영 기기일 수도 있다.
제1 단말(210)은 기 설정된 촬영 영역에 대해 촬영 장치(100)를 이용하여 적어도 하나 이상의 초점 영상을 촬영하여 촬영 영역의 초점 영상들을 영상 서비스 제공 서버(300)에 업로드한다.
제2 단말(220)은 영상 서비스 제공 서버(300)를 통해 영상이 재생되고, 사용자 자신의 시선 방향에 대응되는 관심 영역에 초점을 맞춘 영상을 시청할 수 있다.
제1 단말(210) 및 제2 단말(220)은 유선 및 무선 통신이 가능한 단말로서, 스마트폰, 태블릿 PC, PC, 노트북 PC 등으로 구현될 수 있다. 제1 단말(210)은 물품이나 서비스 제공을 위한 판매자 단말이 될 수 있고, 제2 단말(220)은 제1 단말(210)에서 제공하는 물품이나 서비스를 구매하고자 하는 구매자 단말이 될 수 있다.
영상 서비스 제공 서버(300)는 제1 단말(210)에서 업로드된 상기 촬영 영역의 다초점 영상을 분석하여, 기 설정된 기준에 따라 각 초점 영역별 대표 영상을 선택하여 출력하고, 촬영 영역내 사용자의 시선을 추적하여 추적된 사용자의 시선 추적 결과에 기초하여 사용자의 시선 방향에 대응되는 초점 영역을 가지는 카메라에서 촬영된 대표 영상을 재생 영상으로 제공한다.
영상 서비스 제공 서버(300)는 촬영 장치(100)를 제1 단말(210)에 제공하고, 제1 단말(210)에서 업로드하는 초점 영상들에 대한 다초점 영상의 편집 서비스를 제공할 수 있다. 또한, 영상 서비스 제공 서버(300)는 제1 단말(210) 또는 제2 단말(220)에 다초점 영상 또는 사용자의 시선 방향에 대응하는 영상을 시청할 수 있는 어플리케이션을 제공할 수 있다.
이러한 영상 서비스 제공 서버(300)는 일반적인 의미의 서버용 컴퓨터 본체일 수 있고, 그 외에 서버 역할을 수행할 수 있는 다양한 형태의 장치로 구현될 수 있다. 구체적으로, 영상 서비스 제공 서버(300)는 통신 모듈(미도시), 메모리(미도시), 프로세서(미도시) 및 데이터베이스(미도시)를 포함하는 컴퓨팅 장치에 구현될 수 있는데, 일례로 휴대폰이나 TV, PDA, 태블릿 PC, PC, 노트북 PC 및 기타 사용자 단말 장치 등으로 구현될 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 서비스 제공 서버에서 메타데이터를 저장하는 과정을 설명하는 도면이고, 도 8은 본 발명의 일 실시예에 따른 다초점 영상의 메타데이터의 데이터 타입을 설명하는 예시도이다.
도 7을 참조하면, 촬영 장치(100)는 서로 다른 촬영 위치 또는 각도에서 영상을 촬영하는 적어도 하나 이상의 카메라를 포함하고, 제1 단말(210)은 촬영 영역내 배경과 적어도 하나 이상의 객체에 대해 기 설정된 기준으로 우선 순위를 설정하고, 상기 설정된 우선 순위에 기초하여 각 카메라로 배경 또는 객체를 할당하며, 각 카메라는 할당된 배경 또는 객체에 초점 영역을 설정하여 촬영한다.
영상 서비스 제공 서버(300)는 제1 단말(210)로부터 전송되는 적어도 하나 이상의 초점 영상을 하나로 합쳐 촬영 영역에 대한 다초점 영상을 생성한다. 이때, 다초점 영상은 각 카메라에 할당된 배경 또는 객체의 선명도가 최고값을 갖는 초점 영상을 대표 영상으로 각각 선택하여 저장하고, 선택된 대표 영상들을 하나로 합쳐 생성된다.
도 7에 도시된 바와 같이, 서로 다른 초점 영역(0, 1, 2)을 가지는 3대의 카메라가 촬영 영역을 촬영하여 3개의 초점 영상을 생성하고, 제1 단말(210)은 3개의 초점 영상을 영상 서비스 제공 서버(300)에 업로드한다. 영상 서비스 제공 서버(300)는 각 각 카메라에 할당된 배경 또는 객체의 선명도가 최고값을 갖는 초점 영상과 초점 영역을 일대일 매칭하여 메타데이터로 저장한다.
영상 서비스 제공 서버(300)는 다초점 영상에 대해 특정 단위(레코드)에 포함된 칼럼 각각의 크기 및 데이터 타입을 포함하는 메타데이터(매핑 정보)를 저장한다.
이때, 메타데이터는 도 8에 도시된 바와 같이, 레코드의 칼럼 길이 정보와 같은 컬럼 레이아웃(column layout) 정보를 포함하는데, 각 칼럼의 길이, 데이터 객체의 데이터 타입, 상쇄값(offset)으로 구성되어 있다.
메타데이터는 크게 헤더(Header), 헤더 정보(InfoHeader), 초점 정보(Focus Into), 이미지 테이블(Image Table)으로 구성되는데, 초점 정보에는 제1 데이터 필드, 제3 데이터 필드 및 제4 데이터 필드를 포함하고, 이미지 테이블에는 제2 데이터 필드를 포함한다.
제1 데이터 필드는 각 카메라에서 촬영된 초점 영역(0, 1, 2)과, 초점 영역의 크기를 포함한 초점 영역 정보를 나타내고, 제2 데이터 필드는 초점 영역에 맞추어 촬영한 초점 영상(image0, image1, image 2)을 나타내는 제2 데이터 필드, 제 데이터 필드는 촬영 영역 내 배경 또는 객체에 대해 최고 선명도를 나타나는 영역을 구분하고, 구분된 영역과 그에 해당하는 초점 영상을 일대일 대응한 초점정보를 나타내고, 제4 데이터 필드는 초점 영상의 파일 형식(JPEG, PNG, MP4 등)을 지정한다.
영상 서비스 제공 서버(300)는 초점 영역별 초점 영상을 합쳐서 다초점 영상을 생성하는데, 초점 영역별 초점 영상들의 선명도가 일정 값 이상의 차이가 나지 않거나, 다초점 영상 생성시 촬영 영역 중 3개의 초점 영역을 벗어난 일부 영역에 대한 영상이 흐릿한 경우에 해당 영역을 포함할 수 있도록 초점 영역의 재설정 정보를 제1 단말(210)에 제공할 수 있다.
도 9는 본 발명의 일 실시예에 따른 다초점 영상을 이용한 영상 서비스 제공 방법을 설명하는 흐름도이다.
도 9를 참조하면, 제1 단말(210)은 촬영 장치(100)를 이용하여 촬영 영역을 서로 다른 초점 영역으로 분할하여 촬영한 초점 영상을 촬영 영역의 다초점 영상으로 영상 서비스 제공 서버(300)에 업로드한다(S21). 이때, 제1 단말(210)은 촬영 영역내 배경과 객체들 중 우선 순위를 설정하고, 설정된 우선 순위에 따라 각 카메라에 배경과 객체를 할당하며, 각 카메라는 할당된 배경과 객체를 초점 영역으로 하여 영상을 촬영한다. 따라서, 제1 단말(210)은 촬영 영역의 전체 영역에 걸쳐 배경과 객체들이 모두 나올 수 있도록 각 카메라의 초점 영역을 잘 배분해야 한다.
영상 서비스 제공 서버(300)는 촬영 영역의 각 초점 영역별 초점 영상을 저장하고(S21), 특정 기준에 따라 각 초점 영역별 초점 영상들 중에서 대표 영상을 선택하여 제2 단말(220)에 출력한다(S23, S24).
제2 단말(220)은 자신의 화면에 출력되는 대표 영상을 시청하는데, 영상 서비스 제공 서버(300)는 제2 단말(220)의 사용자 시선을 추적한다(S25). 영상 서비스 제공 서버(300)는 제2 단말(220)에 다초점 영상 시청 및 시선 추적 기능을 갖는 어플리케이션을 제공하고, 제2 단말(220)이 해당 어플리케이션을 설치한 이후에 영상 서비스 제공 서버(300)는 어플리케이션을 통해 제2 단말(220)의 카메라 등 구성요소와의 연동을 통해 시선 추적 기능을 수행할 수 있다.
영상 서비스 제공 서버(300)는 제2 단말(220)에 대한 시선 추적 결과를 기초하여 사용자의 시선 방향에 대응되는 관심 영역을 추출하고, 관심 영역에 대항되는 초점 영역의 대표 영상을 재생 영상으로 선택하여 제2 단말(220)에 출력한다(S26, S27).
영상 서비스 제공 서버(300)는 제2 단말(220)의 영상 시청 결과를 제1 단말(210)에 제공함으로써(S28), 제1 단말(210)이 사용자들의 관심 영역에 대한 정보를 알 수 있도록 한다. 여기서, 제1 단말이 판매자가 관리하는 단말인 경우에, 영상 시청 결과는 촬영 영역내 물품의 구매 또는 물품의 광고 등이 이루어졌음을 나타내는 데이터가 될 수 있다.
한편 도 6 및 도 8의 단계들은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.
이와 같이, 본 발명은 아이트래킹 기술을 이용하여 사용자의 시선 방향에 대응되는 관심 영역을 추출하고, 관심 영역에 초점 영역을 맞춰 촬영된 영상으로 자동 전환하여 출력함으로써 단초점 영상에 비해 현실적이고 해상도가 높은 영상을 제공할 수 있다.
이상에서 설명한 본 발명의 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
<부호의 설명>
100 : 다초점 영상 재생 장치
110 : 촬영부
120 : 아이트래킹 센서부
130 : 제어부
140 : 디스플레이부
210, 220 : 제1 및 제2 단말
300 : 영상 서비스 제공 서버

Claims (11)

  1. 적어도 하나 이상의 카메라를 이용하여 기 설정된 촬영 영역에 대해 서로 다른 초점 영역에서의 초점 영상을 촬영하는 촬영부;
    상기 촬영 영역내 사용자의 시선을 추적하고, 상기 추적된 사용자의 시선 방향에 대응하는 시선 추적 결과를 제공하는 아이트래킹 센서부;
    상기 촬영부에서 촬영된 초점 영상 중에서 기 설정된 기준에 따라 각 초점 영역별 대표 영상을 선택하고, 상기 초점 영역별 대표 영상 중에서 상기 시선 추적 결과에 대응되는 관심 영역에 해당하는 대표 영상을 재생 영상으로 선택하는 제어부; 및
    각 초점 영역별 대표 영상을 출력한 후, 상기 제어부에 의해 선택된 재생 영상을 출력하는 디스플레이부를 포함하는 것인, 다초점 영상 재생 장치.
  2. 제1항에 있어서,
    상기 촬영부는
    각 카메라에서 촬영되는 서로 다른 초점 영역에서의 초점 영상에서 배경과 객체을 각각 식별하는 식별부;
    상기 식별부에서 식별된 배경 및 객체에 대하여 우선 순위를 설정하는 순위 설정부; 및
    상기 순위 설정부에서 설정된 우선 순위에 기초하여 각 카메라로 배경 또는 객체를 할당하여, 각 카메라가 할당된 배경 또는 객체를 초점 영역으로 하여 촬영하도록 하는 할당부를 포함하는 것인, 다초점 영상 재생 장치.
  3. 제1항에 있어서,
    상기 순위 설정부는, 상기 식별부에서 식별된 배경 또는 객체의 영역 크기나 움직임 정도를 기초로 우선 순위를 설정하는 것인, 다초점 영상 재생장치.
  4. 제1항에 있어서,
    상기 촬영부는
    상기 카메라별로 초점 영상을 저장하고, 상기 저장된 초점 영상에서 배경 또는 객체의 선명도에 관한 메타 데이터를 저장하는 영상 저장부를 더 포함하고,
    상기 제어부는 상기 아이트래킹 센서부의 시선 추적 결과에 기초하여 사용자의 시선 방향에 대응되는 객체를 분석하고, 상기 분석된 객체의 선명도에 관한 메타 데이터에 기초하여 상기 영상 저장부에 저장된 초점 영상을 선택하는 것인, 다초점 영상 재생 장치.
  5. 제4항에 있어서,
    상기 영상 저장부에 카메라별로 저장되는 영상은 시간적으로 동기화되어 저장되고, 상기 디스플레이부는 재생시간을 동기화하여 영상을 출력하는 것인, 다초점 영상재생 장치.
  6. 서로 다른 초점 영역을 가지는 적어도 하나 이상의 영상을 촬영하는 촬영 장치;
    기 설정된 촬영 영역에 대해 상기 촬영 장치를 이용하여 적어도 하나 이상의 초점 영상을 촬영하여, 상기 촬영된 초점 영상들을 업로드하는 제1 단말;
    상기 제1 단말에서 업로드된 상기 촬영 영역의 초점 영상들을 분석하여, 기 설정된 기준에 따라 각 초점 영역별 대표 영상을 선택하여 출력하고, 상기 촬영 영역내 사용자의 시선을 추적하여 사용자의 시선 방향에 대응되는 관심 영역에 대한 시선 추적 결과를 산출하고, 상기 시선 추적 결과에 기초하여 상기 관심 영역을 초점 영역으로 하는 카메라에서 촬영된 대표 영상을 재생 영상으로 제공하는 영상 서비스 제공 서버; 및
    상기 영상 서비스 제공 서버를 통해 영상이 재생되고, 사용자 자신의 시선 방향에 대응되는 관심 영역에 초점을 맞춘 영상을 시청하는 제2 단말을 포함하는 것인, 다초점 영상을 이용한 영상 서비스 제공 시스템.
  7. 제6항에 있어서,
    상기 촬영 장치는 서로 다른 촬영 위치 또는 각도에서 영상을 촬영하는 적어도 하나 이상의 카메라를 포함하고,
    상기 제1 단말은 상기 촬영 영역내 배경과 적어도 하나 이상의 객체에 대해 기 설정된 기준으로 우선 순위를 설정하고, 상기 설정된 우선 순위에 기초하여 각 카메라로 배경 또는 객체를 할당하며,
    상기 각 카메라는 할당된 배경 또는 객체에 초점 영역을 설정하여 촬영하는 것인, 다초점 영상을 이용한 영상 서비스 제공 시스템.
  8. 제6항에 있어서,
    상기 영상 서비스 제공 서버는 상기 제1 단말로부터 전송되는 적어도 하나 이상의 초점 영상을 하나로 합쳐 상기 촬영 영역에 대한 다초점 영상을 생성하되,
    상기 다초점 영상은 각 카메라에 할당된 배경 또는 객체의 선명도가 최고값을 갖는 초점 영상을 대표 영상으로 각각 선택하고, 상기 선택된 대표 영상들을 하나로 합쳐 생성되는 것인, 다초점 영상을 이용한 영상 서비스 제공 시스템.
  9. 제8항에 있어서,
    상기 영상 서비스 제공 서버는 상기 다초점 영상에 대한 크기 및 데이터 타입을 포함하는 메타데이터를 저장하고,
    상기 메타데이터는,
    각 카메라에서 촬영된 초점 영역과, 상기 초점 영역의 크기를 포함한 초점 영역 정보를 나타내는 제1 데이터 필드;
    상기 초점 영역에 맞추어 촬영한 초점 영상을 나타내는 제2 데이터 필드;
    상기 촬영 영역 내 배경 또는 객체에 대해 최고 선명도를 나타나는 영역을 구분하고, 상기 구분된 영역과 그에 해당하는 초점 영상을 일대일 대응한 초점정보를 나타내는 제3 데이터 필드; 및
    상기 초점 영상의 파일 형식을 지정하는 제4 데이터 필드를 포함하는 것인, 다초점 영상을 이용한 영상 서비스 제공 시스템.
  10. 제6항에 있어서,
    상기 영상 서비스 제공 서버는,
    상기 제1 단말 또는 제2 단말에 상기 다초점 영상 또는 상기 사용자의 시선 방향에 대응하는 영상을 시청할 수 있는 어플리케이션을 제공하는 것인, 다초점 영상을 이용한 영상 서비스 제공 시스템.
  11. 다초점 영상 서비스를 제공하는 영상 서비스 제공 서버에 의해 수행되는 다초점 영상을 이용한 영상 서비스 제공 방법에 있어서,
    a) 서로 다른 초점 영역을 가지는 복수의 카메라를 이용하여 촬영 영역 내 배경 또는 적어도 하나 이상의 객체가 촬영된 초점 영상들을 수신하는 단계;
    b) 상기 촬영 영역의 초점 영상들을 분석하여 기 설정된 기준에 따라 각 초점 영역별 대표 영상을 선택하고, 상기 선택된 초점 영역별 대표 영상들을 하나로 합쳐 상기 촬영 영역의 다초점 영상으로 사용자 단말에 출력하는 단계;
    c) 상기 사용자 단말을 통해 상기 다초점 영상을 시청중인 사용자의 시선을 감지하고, 사용자 시선 방향에 대응되는 관심 영역을 추출하는 단계;
    d) 상기 관심 영역에 대응되는 초점 영역을 가지는 카메라에서 촬영된 대표 영상을 재생 영상으로 선택하여 상기 사용자 단말에 출력하는 단계를 포함하는 것인, 다초점 영상을 이용한 영상 서비스 제공 방법.
PCT/KR2020/015010 2020-10-23 2020-10-30 다초점 영상 재생 장치, 다초점 영상을 이용한 영상 서비스 제공 시스템 및 그 방법 WO2022085836A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0138134 2020-10-23
KR1020200138134A KR20220053876A (ko) 2020-10-23 2020-10-23 다초점 영상 재생 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022085836A1 true WO2022085836A1 (ko) 2022-04-28

Family

ID=81289865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/015010 WO2022085836A1 (ko) 2020-10-23 2020-10-30 다초점 영상 재생 장치, 다초점 영상을 이용한 영상 서비스 제공 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR20220053876A (ko)
WO (1) WO2022085836A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014014071A (ja) * 2012-06-08 2014-01-23 Canon Inc 画像処理装置及び画像処理方法
KR20140033531A (ko) * 2012-08-16 2014-03-19 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
KR101471927B1 (ko) * 2013-09-13 2014-12-11 우석 계 멀티카메라 및 이를 이용한 영상표시장치와 그 방법
JP2015115818A (ja) * 2013-12-12 2015-06-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
KR20150130187A (ko) * 2014-05-13 2015-11-23 삼성전자주식회사 영상 처리 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014014071A (ja) * 2012-06-08 2014-01-23 Canon Inc 画像処理装置及び画像処理方法
KR20140033531A (ko) * 2012-08-16 2014-03-19 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
KR101471927B1 (ko) * 2013-09-13 2014-12-11 우석 계 멀티카메라 및 이를 이용한 영상표시장치와 그 방법
JP2015115818A (ja) * 2013-12-12 2015-06-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
KR20150130187A (ko) * 2014-05-13 2015-11-23 삼성전자주식회사 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20220053876A (ko) 2022-05-02

Similar Documents

Publication Publication Date Title
WO2018174505A1 (en) Methods and apparatus for generating video content
WO2018084536A1 (ko) 타임 슬라이스 영상 제공 서버, 방법 및 사용자 단말
WO2020111426A1 (en) Method and system of presenting moving images or videos corresponding to still images
WO2015076537A1 (ko) 동영상 제공 방법 및 동영상 제공 시스템
WO2015102232A1 (en) Method and electronic apparatus for sharing photographing setting values, and sharing system
WO2013094891A1 (en) Digital photographing apparatus and method of controlling the same
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
EP3039476A1 (en) Head mounted display device and method for controlling the same
WO2019004783A1 (ko) 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 재생 방법 및 장치
WO2015199301A1 (ko) 휴대용단말기를 이용한 원격제어방법 및 원격제어시스템
KR102650650B1 (ko) 영상 관리 시스템 및 영상 관리 방법
KR20180052255A (ko) 스트리밍 컨텐츠 제공 방법, 및 이를 위한 장치
WO2018124794A1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
WO2019160275A1 (en) Electronic device and method for generating summary image of electronic device
WO2021095598A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、端末装置、端末装置の制御方法および制御プログラム
WO2022085836A1 (ko) 다초점 영상 재생 장치, 다초점 영상을 이용한 영상 서비스 제공 시스템 및 그 방법
CN109076251B (zh) 远程会议传输
CN104488024A (zh) 影像产生方法
JP2020057329A (ja) ガイドシステム
WO2020138541A1 (ko) 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치
WO2023042935A1 (ko) 영상을 공유하는 방법, 이를 이용하는 장치 및 시스템
WO2022059831A1 (ko) 영상을 공유하는 방법, 이를 이용하는 장치 및 시스템
KR102390403B1 (ko) 데이터 관리 장치 및 방법
KR20200124870A (ko) 다초점 영상 재생 장치 및 방법
KR102334503B1 (ko) 다초점 영상 재생 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20958786

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20958786

Country of ref document: EP

Kind code of ref document: A1