WO2018164317A1 - 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치 - Google Patents

전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
WO2018164317A1
WO2018164317A1 PCT/KR2017/006420 KR2017006420W WO2018164317A1 WO 2018164317 A1 WO2018164317 A1 WO 2018164317A1 KR 2017006420 W KR2017006420 W KR 2017006420W WO 2018164317 A1 WO2018164317 A1 WO 2018164317A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
omnidirectional image
information
direction information
omnidirectional
Prior art date
Application number
PCT/KR2017/006420
Other languages
English (en)
French (fr)
Inventor
김용국
Original Assignee
링크플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 링크플로우 주식회사 filed Critical 링크플로우 주식회사
Priority to JP2019548379A priority Critical patent/JP6975476B2/ja
Priority to EP17899304.4A priority patent/EP3595290A4/en
Priority to CN201780087074.5A priority patent/CN110383819A/zh
Priority to US16/488,254 priority patent/US10911658B2/en
Publication of WO2018164317A1 publication Critical patent/WO2018164317A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present invention relates to a method for generating direction information of an omnidirectional image and an apparatus for performing the method. More particularly, the present invention relates to a method and an apparatus for generating direction information as attribute information when generating an omnidirectional image and delivering the direction information to a user who views the omnidirectional image when the omnidirectional image is played.
  • An omnidirectional imaging system refers to an imaging system capable of recording image information in all directions (360 degrees) based on a specific viewpoint. Compared to conventional imaging systems, images with a much wider field-of-view can be obtained. In addition to research fields such as computer vision and mobile robots, surveillance systems, virtual reality systems, and pan-tilt-zoom Applications are becoming increasingly widespread in practical applications such as cameras and video conferencing.
  • an omnidirectional image may be generated by bonding an image obtained by rotating one camera about an optical axis satisfying a single view point.
  • a method of arranging a plurality of cameras in an annular structure and combining images obtained from each camera may be used.
  • a user may generate an omnidirectional image using various omnidirectional image processing apparatuses (or omnidirectional image processing cameras or 360 degree cameras).
  • the omnidirectional image generated by the current omnidirectional image processing apparatus is image content generated by photographing all directions. Therefore, due to this characteristic of the omnidirectional image, a user viewing the omnidirectional image must change the user's viewpoint until the user looks around the omnidirectional image or finds a desired subject. For example, if an image for chasing a criminal is generated as omnidirectional image content, and rotation of the image occurs frequently to find the location of the criminal, the sense of direction may disappear and dizziness may be caused to the user.
  • the object of the present invention is to solve all the above-mentioned problems.
  • Another object of the present invention is to add direction information as attribute information of omnidirectional image information generated by the omnidirectional image processing apparatus and to display direction information when reproduction of omnidirectional image information is performed.
  • Another object of the present invention is to induce a user's gaze in a specific direction based on the direction information included in the omnidirectional image information generated by the omnidirectional image processing apparatus.
  • a method of generating direction information of an omnidirectional image in which a direction information processing apparatus receives direction information of an omnidirectional image and the direction information processing apparatus is omnidirectional based on the direction information.
  • the method may include setting a direction indicator for an image, wherein the direction indicator may indicate at least one direction on a reproduction screen of the omnidirectional image.
  • a direction information processing apparatus for generating direction information of an omnidirectional image is operatively connected to the communication unit and the communication unit, which is implemented to receive the direction information of the omnidirectional image, the direction information.
  • the processor may include a processor configured to set a direction indicator for the omnidirectional image, wherein the direction indicator may indicate at least one direction on a reproduction screen of the omnidirectional image.
  • the direction information is added as attribute information of the omnidirectional image information generated by the omnidirectional image processing apparatus, and the direction information is displayed when the omnidirectional image information is reproduced to recognize the direction when the user views the omnidirectional image. It can help the user understand the omnidirectional image.
  • the direction identifier may be additionally displayed on the omnidirectional image information reproduced based on the direction information, and the omnidirectional image may be generated and viewed according to the photographing intention of the photographer based on the direction identifier.
  • the gaze of the user who views the omnidirectional image may be induced in a specific direction based on the direction information included in the omnidirectional image information. Therefore, the omnidirectional image can be provided to the user more immersedly.
  • FIG. 1 is a conceptual diagram illustrating an omnidirectional image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating characteristics of a plurality of image capturing units located in an omnidirectional image processing apparatus according to an exemplary embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating image pickup lines of a plurality of image pickup units according to an exemplary embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating image pickup lines of a plurality of image pickup units according to an exemplary embodiment of the present invention.
  • FIG. 5 is a conceptual diagram illustrating a method of generating / displaying direction information of an omnidirectional image according to an exemplary embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating a method of displaying direction information during playback of an omnidirectional image according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating a method of outputting a direction change request indicator when playing an omnidirectional image according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram illustrating a method of generating direction information according to an embodiment of the present invention.
  • FIG. 9 is a conceptual diagram illustrating a method of generating direction information according to an embodiment of the present invention.
  • FIG. 10 is a conceptual diagram illustrating a method of generating identification information in consideration of a user's interest according to an embodiment of the present invention.
  • FIG. 11 is a conceptual diagram illustrating a method of determining an object of interest of a user according to an embodiment of the present invention.
  • FIG. 12 is a conceptual diagram illustrating a method for determining an object of interest of a user according to an embodiment of the present invention.
  • FIG. 13 is a conceptual diagram illustrating a method for adjusting a generation period of direction information based on a photographer's movement according to an embodiment of the present invention.
  • the omnidirectional image processing apparatus may be used to include an omnidirectional camera (360 degree camera) capable of capturing omnidirectional (or 360 degree images).
  • an omnidirectional camera 360 degree camera capable of capturing omnidirectional (or 360 degree images).
  • FIG. 1 is a conceptual diagram illustrating an omnidirectional image processing apparatus according to an embodiment of the present invention.
  • FIG. 1 a structure of an omnidirectional image processing apparatus is disclosed.
  • the omnidirectional image processing apparatus 100 may have a shape similar to a necklace that can be worn around a user's neck in a wearable structure.
  • the omnidirectional image processing apparatus 100 may be in the shape of a necklace that is open on one side as shown in FIG. 1, or may be in the shape of a necklace that is not open on one side.
  • the omnidirectional image processing apparatus 100 has a U shape with one surface open.
  • the U-shaped omnidirectional image processing apparatus 100 may take a shape of a wearable device around a user's neck and may photograph an omnidirectional image.
  • the omnidirectional image processing apparatus 100 is caught in the neck of the user in the form of a necklace (or an open necklace on one side, or a U-shape).
  • the omnidirectional image processing apparatus 100 may not be simply hanging on the user's neck.
  • the omnidirectional image processing apparatus 100 may be installed on another body part or an external object (or object) / device / structure of the user in various forms that can be hooked / attached to acquire an omnidirectional image.
  • the user may acquire a plurality of images for generating the omnidirectional image while both hands are free with the omnidirectional image processing apparatus 100 implemented as a wearable device.
  • the omnidirectional image processing apparatus 100 may include a plurality of image capturing units. Each of the plurality of image capturing units may be positioned at a specific interval (or a predetermined interval) in the omnidirectional image processing apparatus to individually capture an image according to an angle of view / image line. Positions of the plurality of image capturing units may be fixed in the omnidirectional image processing apparatus 100, but each of the plurality of image capturing units may be movable, and positions of the plurality of image capturing units may be changed.
  • the omnidirectional image processing apparatus 100 may include three image capturing units, and the three image capturing units may include omnidirectional images at a constant field of view (eg, 120 degrees to 180 degrees). Can be captured.
  • the three image capturing units may be an image capturing unit 1 (110), an image capturing unit 2 (120), and an image capturing unit 3 (130).
  • a structure in which three image capturing units are included in the omnidirectional image processing apparatus 100 is disclosed.
  • a plurality of image pickup units for example, 2, 4, 5, 6, etc.
  • image pickup units instead of three may be included in the omnidirectional image processing apparatus 100 to capture an omnidirectional image. It is included in the scope of the invention.
  • the image capturing unit 1110, the image capturing unit 2 120, and the image capturing unit 3 130 may capture an image according to an angle of view.
  • Image 1 may be generated by the image capturing unit 1 110
  • image 2 may be generated by the image capturing unit 2 120
  • image 3 may be generated by the image capturing unit 3 130 on the same time resource.
  • An angle of view of each of the image capturing unit 1110, the image capturing unit 2 120, and the image capturing unit 3 130 may be 120 degrees or more, and in the image 1, the image 2, and the image 3, the overlapping image capturing regions may exist.
  • the omnidirectional image may be generated by stitching / correcting the images 1, 2, and 3 captured on the same time resource by the omnidirectional image processing apparatus 100.
  • the stitching and / or correction procedure for the plurality of images may be performed by the omnidirectional image processing apparatus itself, or may be performed based on a user device (smart phone) that can communicate with the omnidirectional image processing apparatus 100. That is, additional image processing procedures for the generated plurality of images may be performed by the omnidirectional image processing apparatus 100 and / or another image processing apparatus (smartphone, personal computer (PC), etc.).
  • a user device smart phone
  • additional image processing procedures for the generated plurality of images may be performed by the omnidirectional image processing apparatus 100 and / or another image processing apparatus (smartphone, personal computer (PC), etc.).
  • FIG. 2 is a conceptual diagram illustrating characteristics of a plurality of image capturing units located in an omnidirectional image processing apparatus according to an exemplary embodiment of the present invention.
  • FIG. 2 features of a plurality of image capturing units located in a U-shaped omnidirectional image processing apparatus are disclosed.
  • the position of the image capturing unit disclosed in FIG. 2 is exemplary.
  • Each of the plurality of image capturing units may be located at various positions on the omnidirectional image processing apparatus to capture a plurality of images for generating the omnidirectional image.
  • FIG. 2 illustrates a rear portion of the omnidirectional image processing apparatus.
  • the image capturing unit 1 210 and the image capturing unit 2 220 included in the omnidirectional image processing apparatus may be located at a curved portion where curvature exists in the omnidirectional image processing apparatus.
  • the image capturing unit 1 210 and the image capturing unit 2 220 may be positioned in a curved area that comes into contact with the back of the neck.
  • the image capturing unit 1 210 and the image capturing unit 2 220 may be positioned at a predetermined distance based on a maximum curvature point (eg, a U-shaped middle portion) of the U-shaped omnidirectional image processing apparatus. Can be located.
  • the image capturing unit 1 210 may capture an area including a rear left rectangular area based on a line of sight direction of the user.
  • the image capturing unit 2 220 may capture an area including a rear right rectangular area based on the line of sight of the user.
  • the image capturing unit 1 210 may have a first angle of view and may capture an image corresponding to the first angle of view.
  • the image capturing unit 2 220 may have a second field of view and may capture an image corresponding to the second field of view.
  • the first angle of view and the second angle of view may be 120 to 180 degrees.
  • a first overlapping area 215 overlapped by the first view angle and the second view angle may occur.
  • an omnidirectional image may be generated based on stitching considering the overlapping area.
  • the front part of the omnidirectional image processing apparatus is disclosed.
  • the image capturing unit 3230 may be located at the front of the omnidirectional image processing apparatus.
  • the image capturing unit 3 230 may be located at the distal end (the end of the U-shape) of the omnidirectional image processing apparatus.
  • the distal end portion of the U-shaped omnidirectional image processing apparatus may be located in the front direction of the user (the direction of the user's gaze).
  • the omnidirectional image processing apparatus may include a first end portion and a second end portion, and the image capturing unit 3 230 may be positioned at one end portion of the first end portion and the second end portion.
  • the image capturing unit 3230 may capture an image corresponding to the line of sight of the user by capturing the same direction as the direction of the line of sight of the user.
  • the image capturing unit 3 230 may have a third field of view and capture an image corresponding to the third field of view.
  • the third angle of view may be 120 degrees to 180 degrees.
  • a second overlapping area 225 may occur due to the first angle of view of the image capturing unit 1 210 and the third angle of view of the image capturing unit 3 230. have.
  • a third overlapping area 235 may occur due to the second angle of view of the image capturing unit 2 220 and the third angle of view of the image capturing unit 3 230. have.
  • the image capturing unit 1 210 and the image capturing unit 2 220 are located at a relatively higher position than the image capturing unit 3 230 with respect to the ground. Can be located.
  • the image capturing unit 3 230 is located at only one end portion.
  • a plurality of image capturing units positioned at the same height are implemented with a constant angle, whereas the omnidirectional image processing apparatus according to an embodiment of the present invention has different angles between the plurality of image capturing units, and the heights of the image capturing units are different from each other. can be different. Accordingly, sizes / shapes of the first overlapping region 215, the second overlapping region 225, and the third overlapping region 235 may be different with respect to the plurality of images generated by each of the plurality of image capturing units.
  • An omnidirectional image may be generated based on image processing procedures (stitching / correction, etc.) for the images 1, 2, and 3 generated by each.
  • the size of the first angle of view, the second angle of view, and the third angle of view may be set identically, but may be set differently, and such embodiments are also included in the scope of the present invention.
  • FIG. 3 is a conceptual diagram illustrating image pickup lines of a plurality of image pickup units according to an exemplary embodiment of the present invention.
  • image pickup lines of the plurality of image pickup units provided in the omnidirectional image processing apparatus are disclosed. Assuming that the ground is parallel to the XZ plane formed by the X and Z axes, the imaging line is a lens of each of the plurality of image capturing units included in the omnidirectional image processing apparatus in a space represented by the X, Y, and Z axes. It can be defined as a line vertically penetrating the center of the.
  • the existing omnidirectional image processing apparatus may implement a plurality of image capturing units at a constant angle (for example, 120 degrees) at the same height.
  • the plurality of imaging lines of the plurality of image capturing units included in the conventional omnidirectional image processing apparatus are parallel to the ground (or the XZ plane) and have a certain angle (for example, 120 degrees) between the plurality of imaging lines. It can be the line of.
  • the height of the plurality of image capturing units (or implemented positions of the plurality of image capturing units) and the angle between the plurality of image capturing units (or angles formed between the imaging lines) May differ from each other at the time of imaging. Therefore, the characteristic of the image pickup line of the omnidirectional image processing apparatus according to the embodiment of the present invention is different from that of the image pickup line of the conventional omnidirectional image processing apparatus.
  • the imaging line represented in FIG. 3 may be an imaging line when there is no movement by a user wearing the omnidirectional image processing apparatus or when the omnidirectional image processing apparatus is fixed in a specific state.
  • FIG 3 illustrates the image pickup lines of the image capture unit 1 310 and the image capture unit 2 320.
  • the image capturing unit 1310 and the image capturing unit 2 320 may be implemented at a position relatively higher than that of the image capturing unit 3 330. If the standing direction of the user wearing the omnidirectional image processing apparatus is assumed to be the Y-axis direction, the image capturing unit 1310 and the image capturing unit 2 320 are configured in the omnidirectional image capturing apparatus due to the structure of the wearable device around the neck.
  • the portion having the located curvature (curve / center portion in the U-shape) may be relatively raised, and the leg portion (the end portion in the U-shape) in which the image capturing unit 3 330 is located may be relatively lowered.
  • the imaging line 1 315 of the image capturing unit 1 310 is parallel to the XZ plane, but the X axis and the first angle 1, the Y axis and the second angle, the Z axis and the third axis at the coordinate a of the Y axis. It can have an angle.
  • the imaging line 2 325 of the image capturing unit 2 320 may be parallel to the XZ plane, and may have an X axis and a fourth angle, a Y axis and a fifth angle, and a Z axis and a sixth angle at the point a of the Y axis. .
  • the imaging line 3 335 of the image capturing unit 3 330 is parallel to the XZ plane, and the X axis and the seventh angle, the Y axis and the eighth angle, and the Z axis at the coordinate b of the Y axis. And the ninth angle. b may be less than a.
  • the imaging line 3 335 of the image capturing unit 3 330 may be implemented to face the front surface (eg, a direction perpendicular to the XY plane) parallel to the XZ plane and the same as the line of sight of the user.
  • the imaging line 1 315 and the imaging line 2 325 have the same height with respect to the Y axis, and the imaging line 3 335 is positioned at a position lower than the imaging line 1 and the imaging line 2 with respect to the Y axis. can do.
  • the imaging line 1 315, the imaging line 2 325, and the imaging line 3 335 disclosed in FIG. 3 are one example of an imaging line having different characteristics, and various other imaging lines are defined and an omnidirectional image is defined. Can be imaged.
  • FIG. 4 is a conceptual diagram illustrating image pickup lines of a plurality of image pickup units according to an exemplary embodiment of the present invention.
  • FIG. 4 imaging lines of a plurality of image capturing units different from FIG. 3 are disclosed. Similarly, it is assumed in FIG. 4 that the ground is parallel to the XZ plane formed by the X and Z axes.
  • FIG. 4 illustrates the image pickup lines of the image capture unit 1 410 and the image capture unit 2 420.
  • the image capturing unit 1 410 and the image capturing unit 2 420 may be implemented at positions relatively higher than the image capturing unit 3 430.
  • the omnidirectional image capturing apparatus has a curvature in which the image capturing unit 1 410 and the image capturing unit 2 420 are located.
  • the curved portion of the U-shape) is relatively raised, and the leg portion (the distal portion of the U-shape) in which the image capturing unit 3 430 is located may be relatively downward.
  • the imaging line 1 415 of the image capturing unit 1 410 is parallel to the XZ plane, but the X axis and the first angle 1, the Y axis and the second angle, and the Z axis and the third axis at the coordinate a of the Y axis. It can have an angle.
  • the imaging line 2 415 of the image capturing unit 2 420 may be parallel to the XZ plane, and may have an X axis and a fourth angle, a Y axis and a fifth angle, and a Z axis and a sixth angle at the coordinate a of the Y axis. .
  • FIG 4 illustrates an image pickup line of the image pickup unit 3 (430).
  • the imaging line 3 435 of the image capturing unit 3 430 may not be parallel to the XZ plane, and the X axis and the seventh angle, the Y axis and the eighth angle, and the Z axis with the coordinate b of the Y axis as a starting point. It may have a ninth angle.
  • the image capturing line may not be parallel to the XZ plane and may have a constant angle (for example, 0 to 30 degrees) with the XZ plane.
  • the imaging line 1 415 and the imaging line 2 425 have the same height with respect to the Y axis, and the imaging line 3 435 is more than the imaging line 1 415 and the imaging line 2 425 with respect to the Y axis. It may be located at a relatively low position.
  • the imaging line 1 415 and the imaging line 2 425 are parallel to the XZ plane, the imaging line 3 435 may not be parallel to the XZ plane.
  • the imaging line 1 of the image capturing unit 1 forms a first 'angle with the XZ plane and the coordinate a of the Y axis is the starting point. It may have a second angle, a Z axis and a third angle.
  • the imaging line 2 of the image capturing unit 2 forms a first 'angle with the XZ plane and sets the X and fourth angles, the Y and fifth angles, and the Z and sixth angles with the coordinate a of the Y axis as a starting point.
  • the imaging line 3 of the image capturing unit 3 may have a second angle with the XZ plane, and may have the X axis, the seventh angle, the Y axis and the eighth angle, and the Z axis and the ninth angles with the coordinate b of the Y axis as a starting point. have.
  • the imaging line 1 of the image capturing unit 1 forms the first 'angle with the XZ plane and the coordinate a of the Y axis is the starting point. And a second angle, a Z axis, and a third angle.
  • the imaging line 2 of the image capturing unit 2 forms the second angle with the XZ plane and sets the X axis and the fourth angle, the Y axis and the fifth angle, and the Z axis and the sixth angle with the coordinate a of the Y axis as a starting point.
  • the imaging line 3 of the image capturing unit 3 may have a third angle with the XZ plane, and may have an X axis and a seventh angle, a Y axis and an eighth angle, and a Z and ninth angles with the coordinate b of the Y axis as a starting point. have.
  • the omnidirectional image processing apparatus uses a plurality of image capturing units.
  • the imaging line may be located at different Y-axis points and have different angles from the ground (or XZ plane).
  • a method for displaying direction information in a generated omnidirectional image is disclosed.
  • 1 to 3 are examples of an omnidirectional image processing apparatus.
  • the omnidirectional image and the direction information of the omnidirectional image may be generated by various omnidirectional image processing apparatuses as well as the omnidirectional image processing apparatus disclosed in the above-described embodiments of the present invention.
  • FIG. 5 is a conceptual diagram illustrating a method of generating / displaying direction information of an omnidirectional image according to an exemplary embodiment of the present invention.
  • FIG. 5 a method for additionally generating direction information as attribute information when generating omnidirectional image information and displaying an indicator for a specific direction based on the direction information when playing the omnidirectional image is disclosed.
  • the omnidirectional image processing apparatus may include a sensing unit capable of sensing azimuth / direction such as a geomagnetic sensor and an acceleration angular sensor.
  • each of the plurality of images may include direction information, which is information about an image capturing direction, of the image.
  • the sensor unit may sense and generate information about the photographing direction of each of the plurality of image capturing units.
  • the image capturing unit 1, the image capturing unit 2, and the image capturing unit 3 may be included in the omnidirectional image processing apparatus.
  • the image 1 may be generated by the image capturing unit 1 on the overlapped time resource
  • the image 2 may be generated by the image capturing unit 2
  • the image 3 may be generated by the image capturing unit 3.
  • Images 1, 2 and 3 may be generated as omnidirectional image information through image processing.
  • the sensor unit of the omnidirectional image processing apparatus may generate direction information determined based on a specific axis in forward image information generated by the images 1, 2, and 3. Assuming that the imaging space is a three-dimensional space formed by the X-axis / Y-axis / Z-axis and the ground 550 is parallel to the XZ plane, the direction information of the image based on the Y-axis 560 perpendicular to the XZ plane is transferred. It may be added as attribute information to the direction image information.
  • the direction information of the image based on the Y axis 560 perpendicular to the XZ plane is added as attribute information to the omnidirectional image information, but the image based on the X axis and the Z axis Direction information may be added as attribute information to omnidirectional image information, and such embodiments are also included in the scope of the present invention.
  • the direction may be expressed at an angle of 360 degrees with respect to the Y axis 560 with the true north direction as 0 degree (reference point) 500.
  • the 90-degree point 510 may be in an emotional direction
  • the 180-degree point 520 may be in a south-south direction
  • the 270-degree point 530 may be in an east direction.
  • Direction information generated by the sensing unit at a specific time point and time information on the specific time point may be included as attribute information of the omnidirectional image information generated based on the images 1, 2, and 3 captured at the specific time point.
  • the omnidirectional image information may include, as attribute information, time information on the point in time at which the omnidirectional image is captured and direction information on the direction in which the omnidirectional image is captured.
  • direction information may be represented in various ways.
  • the direction information may be expressed as a percentage (value between 0 and 100) based on the size of the image.
  • the direction information may be expressed by displaying a relative angle from a reference point set based on the size of the area to be stored as a value between 0 and 255.
  • the storage interval of the direction information of the omnidirectional image may not match the frame rate of the frame generated by the omnidirectional image processing apparatus.
  • the direction information may be generated as attribute information of the omnidirectional image information whenever satisfying a specific time interval / or set condition different from the frame rate.
  • FIG. 6 is a conceptual diagram illustrating a method of displaying direction information during playback of an omnidirectional image according to an embodiment of the present invention.
  • FIG. 6 a method for adding a direction indicator for identifying a specific direction such as a true north direction / photographer's gaze direction based on the direction information when omnidirectional image reproduction is disclosed.
  • the omnidirectional image reproducing apparatus includes a direction indicator for identifying a direction at a specific position on a reproduction screen (or an output screen) of the omnidirectional image based on the direction information included as attribute information of the omnidirectional image information. It can be displayed additionally.
  • a north-north direction indicator 600 indicating a true north direction is indicated. May be displayed.
  • a direction identification indicator indicating a direction (east / south / west, etc.) other than the true north direction indicator 600 may be added to convey information on the direction.
  • a photographer's line of sight indicator (eg, a second triangle) 650 indicating a line of sight of the photographer may be output from the omnidirectional image reproducing apparatus that outputs omnidirectional image information.
  • the user who views the omnidirectional image may recognize the direction of the omnidirectional image reproduced based on the true north direction indicator 600 / photographer gaze direction indicator 650 and the like. Therefore, it may be helpful for the user to recognize the direction currently viewed in the omnidirectional image and to understand the omnidirectional image. In addition, the user may quickly recognize the front direction of the photographer based on the visual direction indicator 650 of the photographer who photographed the omnidirectional image, and may enjoy the omnidirectional image according to the photographer's intention to shoot.
  • FIG. 7 is a conceptual diagram illustrating a method of outputting a direction change request indicator when playing an omnidirectional image according to an embodiment of the present invention.
  • a gaze guidance indicator 700 for instructing a user to view a specific direction in an omnidirectional image is disclosed.
  • Direction information is included as attribute information of the omnidirectional image information, and an imager or an editor who captures / generates the omnidirectional image information may set a specific direction as the main viewing direction of the user who views the omnidirectional image.
  • the main viewing direction may be expressed based on the gaze guidance indicator 700.
  • the main viewing direction is not a constant direction and may be changed a plurality of times according to the intention of setting the main viewing direction.
  • the omnidirectional image reproducing apparatus may output a gaze guidance indicator 700 for guiding the current gaze direction of the user to the set main viewing direction.
  • the omnidirectional image reproducing apparatus calculates an error (or difference) between the user's current gaze direction and the main viewing direction, and additionally displays a gaze guidance indicator 700 on the omnidirectional image for guiding the user's gaze direction to the main viewing direction. can do.
  • the shape of the gaze guidance indicator 700 may vary according to an error between the current gaze direction of the user and the main viewing direction.
  • the gaze guidance indicator 700 when the gaze guidance indicator 700 is an arrow-shaped image, the shape / length of the arrow shape may change according to an error between the current gaze direction and the main viewing direction.
  • the gaze guidance indicator 700 may be a blinking image, and the image may change according to an error between the current gaze direction and the main viewing direction.
  • the shape of the gaze guidance indicator 700 may be changed to reflect the reduced error.
  • the current gaze direction of the user may be changed by an action of a user wearing a VR playback device to turn his head or move a body, or an action of dragging an omnidirectional image by a user viewing a monitor.
  • the gaze guidance indicator 700 may disappear.
  • the image of the gaze guidance indicator 700 may be changed to another shape to more accurately match the current gaze direction of the user with the main viewing direction.
  • An additional identifier indicating the main viewing direction may be additionally displayed on the omnidirectional image to more accurately derive the user's gaze direction.
  • the omnidirectional image reproducing apparatus may set the direction of the omnidirectional image reproduced such that the main viewing direction matches the user's current gaze without the user turning his head.
  • the user may change the user's current gaze direction by turning the head, moving the body, or dragging the mouse within the threshold time, but the threshold time After this, the user's current gaze direction may be converted to true north direction. In other words, it ignores the user's actions that changed the user's current gaze direction during the critical time period, and periodically changes the user's current gaze direction to the true north direction set as the main viewing direction.
  • the viewing direction can be set to be the same.
  • FIG. 8 is a conceptual diagram illustrating a method of generating direction information according to an embodiment of the present invention.
  • FIG. 8 illustrates a method for determining a direction other than a direction sensed in an omnidirectional image based on sensed direction information.
  • only specific direction information (eg, true north direction information) is sensed by the sensor unit and may be recorded in the omnidirectional image information as attribute information.
  • direction information on the unsensed direction may be generated based on the sensed direction.
  • the omnidirectional imaging apparatus may include three image capturing units (the image capturing unit 1, the image capturing unit 2, and the image capturing unit 3). It is assumed that omnidirectional image information generated based on the images 1, 2 and 3 generated by the three image capturing units includes direction information indicating the sensed direction (first direction) as attribute information. Can be.
  • first direction If only the information on the sensed direction (first direction) is included as attribute information, and a specific direction of the angle of view of the image 1 is the first direction, the first direction is set to 0 degree 850 in the image 1 and the rest is left.
  • An angle in a specific direction in the omnidirectional image may be expressed by 0 to 360 degrees through interpolation.
  • Information about an angle of view of an image may be used for interpolation. For example, if the angle of view of the image 1 is 150 degrees (-75 degrees to +75 degrees), the direction information on a specific direction in the image 1 is obtained based on the first direction and the angle of view set to 0 degree 850. Interpolation to determine may be performed. For example, the difference between the center direction of the angle of view of the image 1 and the first direction may be calculated to determine direction information of the remaining points of the image 1 using the first direction (0 degrees 850) as a new reference point.
  • the +20 degree direction 800 based on the angle of view is 0 degree (850) as a reference point for expressing direction information.
  • an interpolation procedure may be performed in consideration of the direction information of the region overlapped with the image 1 and the angle of view of the image 2 / image 3 in consideration of the overlapped region with the image 1.
  • the direction information of the object A located in the overlapped area of the image 1 and the image 2 is determined to 45 degrees through the above-described interpolation procedure for the image 1, the direction of the same object A in the image 2 is set to 45 degrees
  • Direction information in the remaining directions in the image 2 may be determined in consideration of the angle of view (-75 to +75) of the image 2.
  • the sensor unit may include, as attribute information, direction information corresponding to the center direction of the angle of view of each of the images 1, 2, and 3 for interpolation of the direction information.
  • direction information for a specific point is needed, the image 1 and 2 are considered in consideration of the direction information in the center direction of each view angle of the image 1, image 2 and image 3 and the information about the angle of view of each of the image 1, image 2 and image 3.
  • direction information of the image 3 may be generated by interpolation.
  • FIG. 9 is a conceptual diagram illustrating a method of generating direction information according to an embodiment of the present invention.
  • FIG. 9 illustrates a method for generating direction information of an image (image frame) captured between predetermined time intervals when there is direction information generated at regular time intervals.
  • the direction information is sensed at an interval of 1 second by the sensor unit.
  • the difference between the time of generating the first direction information and the time of generating the second direction information may be 1 second.
  • the direction information may not be included in the image frame generated between the first direction information generation time point and the second direction information generation time point.
  • the first direction information generation time point and the second direction information are considered in consideration of the first direction information of the first image frame at the time of generating the first direction information and / or the second direction information of the second image frame at the time of generating the second direction information.
  • Direction information of an image frame hereinafter, referred to as a direction prediction target frame
  • a direction prediction target frame generated between the direction information generation points
  • the stationary object 915 which is not included in the first image frame 910 and the direction prediction target frame 900 in common may be determined.
  • the stationary object 915 may be an object such as a building, a sculpture, or the like.
  • an unfixed moving object or an unfixed object may also be used to determine the direction information of the direction prediction target frame.
  • direction information of the fixed object 915 indicates the first direction in the first image frame 910.
  • Direction information of the fixed object 915 and direction information of the fixed object 915 included in the direction prediction target frame 900 may be the same.
  • the direction prediction target frame 900 may also determine other directions in the direction prediction target frame 900 based on the determined direction information and the angle of view of the fixed object 915.
  • the second image frame 970 and the direction prediction frame are present.
  • the stationary object 955 that is not included in common in 950 may be determined.
  • the direction information of the fixed object 955 indicates the second direction in the second image frame 970.
  • the direction information of the fixed object 955 that is also included in the direction prediction target frame 950 may also indicate the second direction.
  • the direction prediction target frame 950 may also determine other directions in the direction prediction target frame 950 based on the determined direction information and the angle of view of the fixed object 955.
  • the direction information of the direction prediction target frame may be determined based on the moving object rather than the fixed object.
  • a moving object (non-fixed object) commonly included in the first image frame and the direction prediction target frame may be determined.
  • the first direction indicated by the direction information of the unfixed object in the first image frame may be direction information of the unfixed object that is also included in the direction prediction target frame.
  • the direction prediction target frame may also determine other directions in the direction prediction target frame based on the determined direction information and the angle of view of the unfixed object.
  • the unfixed objects commonly included in the second image frame and the direction prediction frame may be determined.
  • the second direction indicated by the direction information of the unfixed object in the second image frame may be direction information of the unfixed object that is also included in the direction prediction target frame.
  • the direction prediction target frame may also determine other directions in the direction prediction target frame based on the determined direction information and the angle of view of the unfixed object.
  • FIG. 10 is a conceptual diagram illustrating a method of generating identification information in consideration of a user's interest according to an embodiment of the present invention.
  • FIG. 10 a method for adding an identifier for a direction of interest to a reproduced omnidirectional image is disclosed.
  • the user may watch the omnidirectional image while tracking an object with an interest in a specific object on the omnidirectional image.
  • the omnidirectional image is an eagle flying image
  • the user can watch the image while tracking the movement of the eagle in the omnidirectional image.
  • the omnidirectional image is used for tracking the criminal position
  • the user may track the movement of the criminal moving in the omnidirectional image. Due to the nature of the omnidirectional image, a specific object such as an eagle / killer may move in a specific direction among 360 degrees.
  • the omnidirectional image reproducing apparatus may determine an object that the user watches with interest, and induce the current gaze direction of the user by tracking the movement of the object.
  • the omnidirectional image reproducing apparatus may determine the object of interest 1020 that the user is interested in watching.
  • the omnidirectional image reproducing apparatus may determine the object of interest 1020 that the user is interested in by determining the existence of at least one object that exists within the threshold range 1050 within the threshold range 1050 based on the user's gaze direction 1000. have.
  • the user's gaze direction 1000 may be a center direction of an image currently output on the display. The method of determining the object of interest is described in detail below.
  • the omnidirectional image reproducing apparatus determines whether the object of interest 1020 leaves the threshold range 1050 based on the user's gaze direction 1000.
  • the omnidirectional image reproducing apparatus When the object of interest 1020 is out of the threshold range 1050 based on the user's gaze direction 1000, the omnidirectional image reproducing apparatus generates an object position indicator 1030 and displays the object of interest 1020 to the user. It can give information about the direction of movement.
  • the object position indicator 1030 may be an indicator such as an arrow, and the user may track the moving direction of the object based on the object position indicator 1030.
  • FIG. 11 is a conceptual diagram illustrating a method of determining an object of interest of a user according to an embodiment of the present invention.
  • FIG. 11 a method for determining an object of interest of a user viewing an omnidirectional image is disclosed.
  • an object 1150 exists in a threshold range 1100 of the first gaze direction 1110 at a first viewpoint 1160 of a user, and a second gaze direction 1120 at a second viewpoint 1170. If the same object 1150 is present within the threshold range 1100 of), the object 1150 may be set as the object of interest.
  • the first time point 1160 and the second time point 1170 may be time points having a difference between threshold times.
  • objects closer to the first gaze direction 1110 and the second gaze direction 1120 may be set as the object of interest.
  • an error between the direction of the first object and the first gaze direction 1110 is 5 degrees
  • an error between the second gaze direction 1120 is 10 degrees
  • a direction of the second object and the first gaze direction is 3 degrees
  • the error from the second eyeline direction 1120 is 5 degrees
  • the second object may be set as the object of interest.
  • an object closer to the second gaze direction may be set as the object of interest by giving a weight to the second gaze direction 1120 than the first gaze direction 1110.
  • an error between the direction of the first object and the first gaze direction 1110 is 7 degrees
  • an error between the second gaze direction 1120 is 5 degrees
  • a direction of the second object and the first gaze direction If the error from 1110 is 10 degrees and the error from the second eyeline direction 1120 is 2 degrees, the second object may be set as the object of interest.
  • a specific indicator may be added to the object set as the object of interest.
  • the user may newly set the object of interest by matching the direction of the object and the gaze to change the object of interest.
  • FIG. 12 is a conceptual diagram illustrating a method for determining an object of interest of a user according to an embodiment of the present invention.
  • FIG. 12 illustrates a method for determining an object of interest of a user viewing an omnidirectional image in consideration of omnidirectional image viewing information of other users.
  • a viewing record of users who watched the omnidirectional image may be transmitted to the omnidirectional image service server 1220.
  • the plurality of omnidirectional image reproducing apparatus 1200 may transmit omnidirectional image reproduction information, which is information related to omnidirectional image reproduction, of the plurality of users to the omnidirectional image service server 1220.
  • the omnidirectional image reproduction information may include viewing record information.
  • the viewing record information may include information about the viewing direction of the user at a specific reproduction time at which the omnidirectional image is reproduced.
  • the viewing record information may include user's gaze direction information matched with a specific reproduction time unit (eg, 1 second unit).
  • the omnidirectional video service server 1220 may extract information (hereinafter, referred to as user interest object information) about an object that a plurality of users have viewed with interest based on the viewing record information.
  • the user interest object may be an object of which a user is interested in a certain threshold ratio or more.
  • the user interest object information may be used to generate the object position indicator in the omnidirectional image playback device 1250.
  • the omnidirectional video service server 1220 may transmit the user interest object information to the omnidirectional video playback device 1250.
  • the omnidirectional image reproducing apparatus 1250 may output an object position indicator for indicating a specific object in the image reproduced based on the user interest object information.
  • an object position indicator may be generated to a user who views an omnidirectional image in consideration of viewing history information of other users, and may transmit information about a direction in which a specific object that other users are interested to move to the user.
  • FIG. 13 is a conceptual diagram illustrating a method for adjusting a generation period of direction information based on a photographer's movement according to an embodiment of the present invention.
  • the omnidirectional image processing apparatus may be embodied as a wearable device to capture a picture while moving and the generation period of the direction information may be adjusted.
  • the sensor unit of the omnidirectional image processing apparatus may sense the degree of change in the direction of the omnidirectional image processing apparatus, and the direction information sensing period may be set differently according to the degree of change in the direction.
  • the sensing period of the direction information may be increased (step S1320).
  • the sensing period of the direction information can be reduced (step S1330).
  • the increase and decrease of the sensing period may decrease or increase up to a minimum period value and a maximum period value.
  • the sensing period of the direction information may gradually increase to increase to the maximum period value.
  • the sensing period of the direction information may be gradually decreased to decrease to the maximum period value.
  • the direction of the omnidirectional image processing apparatus changes rapidly. That is, when the degree of direction change within the threshold time exceeds the maximum threshold value, the sensing period of the direction information may be reduced to the minimum period value.
  • the omnidirectional image processing apparatus generates direction information, and the omnidirectional image reproducing apparatus processes the direction information and outputs an indicator.
  • the operation of generating / processing / utilizing such direction information may be performed on various devices, and is not limited to the above-mentioned omnidirectional image processing apparatus / omnidirectional image reproduction.
  • a device for generating separate identification information / indicator based on the direction information by generating / processing / utilizing the direction information in the omnidirectional image may be expressed by the term direction information processing device. That is, the direction information processing device may be a device that generates and / or receives direction information of the omnidirectional image and sets a direction indicator for the omnidirectional image based on the direction information.
  • the direction information processing apparatus may be a device that performs a function of guiding a gaze of a user who views an omnidirectional image in a specific direction based on the direction information. That is, the direction information processing apparatus may perform the functions described above with reference to FIGS. 5 to 13, and this function may be performed based on the processor of the direction information processing apparatus.
  • the direction information processing apparatus may receive direction information of the omnidirectional image based on the communication unit, and may set a direction indicator for the omnidirectional image based on the direction information using the processor.
  • Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be modified with one or more software modules to perform the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 전방향 영상의 방향 정보를 생성하는 방법은 방향 정보 처리 장치가 전방향 영상의 방향 정보를 수신하는 단계와 방향 정보 처리 장치가 방향 정보를 기반으로 전방향 영상에 대한 방향 지시자를 설정하는 단계를 포함할 수 있되, 방향 지시자는 전방향 영상의 재생 화면 상에서 적어도 하나의 방향을 지시할 수 있다.

Description

전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
본 발명은 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 전방향 영상의 생성시 방향 정보를 속성 정보로서 생성하고, 전방향 영상의 재생시 방향 정보를 전방향 영상을 시청하는 사용자에게 전달하기 위한 방법 및 장치에 관한 것이다.
전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.
전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 복수의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라, 360도 카메라)를 사용하여 전방향 영상을 생성할 수 있다.
현재의 전방향 영상 처리 장치에 의해 생성된 전방향 영상은 모든 방향을 촬영하여 생성된 영상 컨텐츠이다. 따라서, 전방향 영상의 이러한 특성으로 인해 전방향 영상을 시청하는 사용자는 전방향 영상에서 어디를 봐야 하는지 두리번거리거나 목적하는 피사체를 찾을 때까지 사용자의 시점을 변화시켜야 한다. 예를 들어, 범인을 쫓기 위한 영상이 전방향 영상 컨텐츠로 생성되고, 범인의 위치를 찾기 위해 영상의 회전이 빈번히 일어나면, 방향에 대한 감각이 사라지고 사용자에게 어지러움이 유발될 수 있다.
따라서, 사용자가 전방향 영상 처리 장치를 기반으로 생성된 전방향 영상을 보다 쉽고 편리하게 인식하기 위한 방법이 필요하다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 전방향 영상 처리 장치에 의해 생성된 전방향 영상 정보의 속성 정보로서 방향 정보를 추가하고 전방향 영상 정보의 재생시 방향 정보를 표시하는 것을 다른 목적으로 한다.
또한, 본 발명은, 전방향 영상 처리 장치에 의해 생성된 전방향 영상 정보에 포함된 방향 정보를 기반으로 사용자의 시선을 특정 방향으로 유도하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 전방향 영상의 방향 정보를 생성하는 방법은 방향 정보 처리 장치가 전방향 영상의 방향 정보를 수신하는 단계와 상기 방향 정보 처리 장치가 상기 방향 정보를 기반으로 상기 전방향 영상에 대한 방향 지시자를 설정하는 단계를 포함할 수 있되, 상기 방향 지시자는 상기 전방향 영상의 재생 화면 상에서 적어도 하나의 방향을 지시할 수 있다.
본 발명의 다른 태양에 따르면, 전방향 영상의 방향 정보를 생성하는 방향 정보 처리 장치는 전방향 영상의 방향 정보를 수신하도록 구현되는 통신부와 상기 통신부와 동작 가능하게(operatively) 연결되어 상기 방향 정보를 기반으로 상기 전방향 영상에 대한 방향 지시자를 설정하도록 구현되는 프로세서를 포함할 수 있되, 상기 방향 지시자는 상기 전방향 영상의 재생 화면 상에서 적어도 하나의 방향을 지시할 수 있다.
본 발명에 의하면, 전방향 영상 처리 장치에 의해 생성된 전방향 영상 정보의 속성 정보로서 방향 정보를 추가하고 전방향 영상 정보의 재생시 방향 정보를 표시하여 사용자가 전방향 영상을 시청시 방향을 인지할 수 있어 사용자의 전방향 영상의 이해에 도움을 줄 수 있다.
또한, 본 발명에 의하면, 방향 정보를 기반으로 재생되는 전방향 영상 정보에 방향 식별자가 추가적으로 표시될 수 있고, 방향 식별자를 기반으로 촬영자의 촬영 의도에 맞는 전방향 영상의 생성 및 시청이 가능하다.
또한, 본 발명에 의하면, 전방향 영상 정보에 포함된 방향 정보를 기반으로 전방향 영상을 시청하는 사용자의 시선을 특정 방향으로 유도할 수 있다. 따라서, 전방향 영상이 사용자에게 보다 몰입감 있게 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 전방향 영상의 방향 정보를 생성/표시하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 전방향 영상의 재생시 방향 정보를 표시하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 전방향 영상의 재생시 방향 전환 요청 지시자를 출력하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 방향 정보를 생성하는 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 방향 정보를 생성하는 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 사용자의 관심을 고려하여 식별 정보를 생성하는 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 사용자의 관심 객체를 결정하는 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 사용자의 관심 객체를 결정하기 위한 방법을 나타낸 개념도이다.
도 13은 본 발명의 실시예에 따른 촬영자의 움직임을 기반으로 방향 정보의 생성 주기를 조정하기 위한 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
이하, 본 발명의 실시예에서는 전방향 영상 처리 장치는 전방향(또는 360도 영상)을 촬상할 수 있는 전방향 카메라(360도 카메라)를 포함하는 의미로 사용될 수 있다.
도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 1에서는 전방향 영상 처리 장치의 구조가 개시된다.
도 1을 참조하면, 전방향 영상 처리 장치(100)는 웨어러블 구조로 사용자의 목에 걸 수 있는 목걸이와 유사한 형상일 수 있다. 전방향 영상 처리 장치(100)는 도 1에서와 같이 일면의 개방된 목걸이의 형상일 수도 있고, 일면이 개방되지 않은 목걸이의 형상일 수도 있다. 이하, 본 발명의 실시예에서는 전방향 영상 처리 장치(100)가 일면이 개방된 U자 형상을 가지는 것으로 가정한다. 이러한 U자 형상의 전방향 영상 처리 장치(100)는 사용자의 목에 웨어러블 장치(wearable device) 형태로 걸려 전방향 영상을 촬영할 수 있다.
본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치(100)가 목걸이 형태(또는 일면이 개방된 목걸이 형태, U자 형태)로서 사용자의 목에 걸리는 경우가 가정된다. 하지만, 전방향 영상 처리 장치(100)는 단순히 사용자의 목에 거는 형태가 아닐 수도 있다. 예를 들어, 전방향 영상 처리 장치(100)는 걸거나/부착 가능한 다양한 형태로 사용자의 다른 신체 부위 또는 외부 물체(또는 객체)/장치/구조물 등에 설치되어 전방향 영상을 획득할 수도 있다.
*사용자는 웨어러블 장치로서 구현된 전방향 영상 처리 장치(100)를 목에 걸고 양손이 자유로운 상태에서 전방향 영상의 생성하기 위한 복수의 영상을 획득할 수 있다.
전방향 영상 처리 장치(100)는 복수개의 영상 촬상부를 포함할 수 있다. 복수개의 영상 촬상부 각각은 전방향 영상 처리 장치에 특정 간격(또는 미리 설정된 간격)으로 위치하여 화각/촬상선에 따른 영상을 개별적으로 촬상할 수 있다. 복수개의 영상 촬상부 각각의 위치는 전방향 영상 처리 장치(100)에서 고정적일 수도 있으나, 복수개의 영상 촬상부 각각은 이동 가능하고, 복수개의 영상 촬상부 각각의 위치는 변할 수도 있다.
예를 들어, 전방향 영상 처리 장치(100)는 3개의 영상 촬상부를 포함할 수 있고, 3개의 영상 촬상부는 일정한 화각(field of view)(예를 들어, 120도~180도)으로 전방향 영상을 촬상할 수 있다. 3개의 영상 촬상부는 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130)일 수 있다.
이하, 설명의 편의상 3개의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함된 구조가 개시된다. 하지만, 3개가 아닌 복수개(예를 들어, 2, 4, 5, 6개 등)의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함되어, 전방향 영상을 촬상할 수도 있고, 이러한 형태도 본 발명의 권리 범위에 포함된다.
영상 촬상부1(110), 영상 촬상부2(120) 및 영상 촬상부3(130)은 화각에 따라 영상을 촬상할 수 있다. 동일한 시간 자원 상에서 영상 촬상부1(110)에 의해 영상1이 생성되고, 영상 촬상부2(120)에 의해 영상2가 생성되고, 영상 촬상부3(130)에 의해 영상3이 생성될 수 있다. 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130) 각각의 화각은 120도 이상일 수 있고, 영상1, 영상2 및 영상3에서는 중첩된 촬상 영역이 존재할 수 있다. 이후, 전방향 영상 처리 장치(100)에 의해 동일한 시간 자원 상에서 촬상된 영상1 및 영상2 및 영상3을 스티칭/보정하여 전방향 영상이 생성될 수 있다. 복수의 영상에 대한 스티칭 및/또는 보정 절차는 전방향 영상 처리 장치 자체에서 수행될 수도 있고, 전방향 영상 처리 장치(100)와 통신 가능한 사용자 장치(스마트 폰)을 기반으로 수행될 수도 있다. 즉, 생성된 복수 영상에 대한 추가적인 영상 처리 절차들은 전방향 영상 처리 장치(100) 및/또는 다른 영상 처리 장치(스마트폰, PC(personal computer) 등)에 의해 수행될 수도 있다.
이하, 전방향 영상 처리 장치의 구체적인 특징 및 전방향 영상 생성 방법이 구체적으로 개시된다.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 2에서는 U자형의 전방향 영상 처리 장치에 위치한 복수개의 영상 촬상부의 특징이 개시된다. 도 2에서 개시되는 영상 촬상부의 위치는 예시적인 것이다. 복수의 영상 촬상부 각각은 전방향 영상의 생성을 위한 복수의 영상을 촬상하기 위해 전방향 영상 처리 장치 상의 다양한 위치에 위치할 수 있다.
도 2의 상단에서는 전방향 영상 처리 장치의 후면부가 개시된다.
전방향 영상 처리 장치에 포함된 영상 촬상부1(210) 및 영상 촬상부2(220)는 전방향 영상 처리 장치에서 곡률이 존재하는 휘어진 부분에 위치할 수 있다. 구체적으로 사용자가 웨어러블 장치로서 전방향 영상 처리 장치를 목에 거는 경우, 목의 뒷부분과 접촉되는 휘어진 영역에 영상 촬상부1(210) 및 영상 촬상부2(220)가 위치할 수 있다. 예를 들어, U자형의 전방향 영상 처리 장치의 최대 곡률 지점(예를 들어, U자형의 중간 부분)을 기준으로 영상 촬상부1(210) 및 영상 촬상부2(220)가 일정 거리 상에 위치할 수 있다.
영상 촬상부1(210)은 사용자의 시선(line of sight) 방향을 기준으로 후면 좌측 사각 영역을 포함하는 영역을 촬상할 수 있다. 영상 촬상부2(220)는 사용자의 시선을 기준으로 후면 우측 사각 영역을 포함하는 영역을 촬상할 수 있다. 구체적으로 영상 촬상부1(210)은 제1 화각을 가지고, 제1 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 영상 촬상부2(220)는 제2 화각을 가지고, 제2 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제1 화각 및 제2 화각은 120~180도일 수 있다.
영상 촬상부1(210) 및 영상 촬상부2(220)에 의한 촬상이 수행될 경우, 제1 화각과 제2 화각에 의해 중첩되는 제1 중첩 영역(215)이 발생할 수 있다. 이후 중첩 영역을 고려한 스티칭을 기반으로 전방향 영상이 생성할 수 있다.
도 2의 하단에서는 전방향 영상 처리 장치의 전면부가 개시된다.
전방향 영상 처리 장치의 전면부에는 영상 촬상부3(230)이 위치할 수 있다. 구체적으로 영상 촬상부3(230)은 전방향 영상 처리 장치의 말단부(U자형의 끝(말단) 부분)에 위치할 수 있다. 사용자가 전방향 영상 처리 장치를 웨어러블 장치로서 목에 거는 경우, U자형의 전방향 영상 처리 장치의 말단 부분은 사용자의 전면 방향(사용자의 시선이 바라보는 방향)에 위치할 수 있다. 전방향 영상 처리 장치는 제1 말단부와 제2 말단부를 포함하고, 영상 촬상부3(230)은 제1 말단부와 제2 말단부 중 하나의 말단부에 위치할 수 있다.
영상 촬상부3(230)은 사용자의 시선의 방향과 동일한 방향으로 촬상을 수행하여 사용자의 시선에 해당하는 영역에 대한 촬상을 수행할 수 있다.
구체적으로 영상 촬상부3(230)은 제3 화각을 가지고, 제3 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제3 화각은 120도~180도일 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부1(210)의 제1 화각과 영상 촬상부3(230)의 제3 화각에 의한 제2 중첩 영역(225)이 발생할 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부2(220)의 제2 화각과 영상 촬상부3(230)의 제3 화각에 의한 제3 중첩 영역(235)이 발생할 수 있다.
목에 거는 웨어러블 장치의 구조상 목에 전방향 영상 처리 장치가 걸리는 경우, 영상 촬상부1(210), 영상 촬상부2(220)는 지면을 기준으로 영상 촬상부3(230)보다 상대적으로 높은 곳에 위치할 수 있다. 또한, 영상 촬상부3(230)은 한쪽 말단부에만 위치하게 된다.
기존의 전방향 영상 처리 장치에서는 동일한 높이에 위치한 복수개의 영상 촬상부가 일정한 각도를 가지고 구현되는데 반하여 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 간의 각도도 다르고 위치한 높이도 서로 다를 수 있다. 따라서, 복수의 영상 촬상부 각각에 의해 생성된 복수의 영상에 대한 제1 중첩 영역(215), 제2 중첩 영역(225) 및 제3 중첩 영역(235)의 크기/형태가 서로 다를 수 있다.
이후, 제1 중첩 영역(215)/제2 중첩 영역(225)/제3 중첩 영역(235)을 고려한 영상 촬상부1(210), 영상 촬상부2(220) 및 영상 촬상부3(230) 각각에 의해 생성된 영상1, 영상2 및 영상 3에 대한 영상 처리 절차(스티칭/보정 등)을 기반으로 전방향 영상이 생성될 수 있다.
*제1 화각, 제2 화각, 제3 화각의 크기는 동일하게 설정될 수도 있지만, 서로 다르게 설정될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 3에서는 전방향 영상 처리 장치에 설치된 복수의 영상 촬상부 각각의 촬상선이 개시된다. 지면을 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정하는 경우, 촬상선은 X축/Y축/Z축으로 표현되는 공간 상에서 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각의 렌즈의 중앙을 수직으로 관통하는 선으로 정의될 수 있다.
기존의 전방향 영상 처리 장치는 동일한 높이에 복수의 영상 촬상부를 일정한 각도(예를 들어, 120도)로 구현될 수 있다. 이러한 경우, 기존의 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부의 복수의 촬상선은 지면(또는 XZ 평면)에 평행하고 복수의 촬상선 간에 일정한 각도(예를 들어, 120도)를 가지는 복수의 선일 수 있다.
본 발명의 실시예에 따른 전방향 영상 처리 장치는 전술한 바와 같이 복수의 영상 촬상부의 높이(또는 복수의 영상 촬상부의 구현된 위치) 및 복수의 영상 촬상부 간의 각도(또는 촬상선 간에 이루는 각도)가 촬상시에 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 전방향 영상 처리 장치의 촬상선의 특성은 기존의 전방향 영상 처리 장치의 촬상선의 특성과는 차이가 있다.
도 3에서 표현되는 복수의 영상 촬상부 각각의 촬상선은 웨어러블 디바이스의 특성으로 인한 복수의 영상 촬상부 각각의 촬상선 간의 특성(예를 들어, 높이, 각도)의 차이를 보여주기 위한 예시일 수 있다. 또한, 도 3에서 표현되는 촬상선은 전방향 영상 처리 장치를 착용한 사용자에 의한 움직임이 없거나 전방향 영상 처리 장치가 특정 상태에서 고정된 경우의 촬상선일 수 있다.
도 3의 상단은 영상 촬상부1(310) 및 영상 촬상부2(320)의 촬상선을 개시한다.
영상 촬상부1(310) 및 영상 촬상부2(320)는 영상 촬상부3(330)보다 상대적으로 높은 위치에 구현될 수 있다. 전방향 영상 처리 장치를 착용한 사용자의 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치에서 영상 촬상부1(310) 및 영상 촬상부2(320)가 위치한 곡률을 가지는 부분(U자에서 곡선/중앙 부분)이 상대적으로 올라가고 영상 촬상부3(330)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려갈 수 있다.
예를 들어, 영상 촬상부1(310)의 촬상선1(315)은 XZ 평면과 평행하되, Y축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.
영상 촬상부2(320)의 촬상선2(325)는 XZ 평면과 평행하되, Y축의 지점 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.
도 3의 하단을 참조하면, 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고, Y축의 좌표 b에서 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. b는 a보다 작은 값일 수 있다. 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고 사용자의 시선과 동일하게 전면(예를 들어, XY 평면과 수직한 방향)을 바라보도록 구현될 수 있다.
즉, 촬상선1(315) 및 촬상선2(325)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(335)은 Y 축을 기준으로 촬상선1 및 촬상선2보다 상대적으로 낮은 위치에 위치할 수 있다. 도 3에서 개시된 촬상선1(315), 촬상선2(325) 및 촬상선3(335)은 서로 다른 특성을 가지는 촬상선에 대한 하나의 예시이고, 다른 다양한 촬상선이 정의되고 전방향 영상이 촬상될 수 있다.
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 4에서는 도 3과 다른 복수의 영상 촬상부의 촬상선이 개시된다. 마찬가지로 도 4에서도 지면이 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정한다.
도 4의 상단은 영상 촬상부1(410) 및 영상 촬상부2(420)의 촬상선을 개시한다.
영상 촬상부1(410) 및 영상 촬상부2(420)는 영상 촬상부3(430)보다 상대적으로 높은 위치에 구현될 수 있다. 마찬가지로, 사용자가 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치는 영상 촬상부1(410) 및 영상 촬상부2(420)가 위치한 곡률을 가지는 부분(U자에서 곡선 부분)이 상대적으로 올라가고 영상 촬상부3(430)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려간 형태로 영상을 촬상할 수 있다.
예를 들어, 영상 촬상부1(410)의 촬상선1(415)은 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다.
영상 촬상부2(420)의 촬상선2(415)는 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.
도 4의 하단은 영상 촬상부3(430)의 촬상선을 개시한다.
영상 촬상부3(430)의 촬상선3(435)는 XZ 평면과 평행하지 않을 수 있고, Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.
영상 촬상부3(430)은 전방향 영상 처리 장치의 말단부에 위치하기 때문에 촬상선은 XZ 평면과 평행하지 않고, XZ 평면과 일정한 각도(예를 들어, 0~30도)를 가질 수 있다.
즉, 촬상선1(415) 및 촬상선2(425)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(435)은 Y 축을 기준으로 촬상선1(415) 및 촬상선2(425) 보다 상대적으로 낮은 위치에 위치할 수 있다. 또한, 촬상선 1(415) 및 촬상선2(425)는 XZ 평면과 평행하나, 촬상선3(435)은 XZ 평면과 평행하지 않을 수 있다.
본 발명의 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.
본 발명의 또 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제3' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수도 있다.
즉, 복수의 영상 촬상부 각각의 촬상선이 기존의 동일한 Y 축 지점에서 지면과 동일한 각도를 가지는 영상 처리 장치와 다르게 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 각각의 촬상선이 서로 다른 Y 축 지점에서 위치하고, 지면(또는 XZ 평면)과 서로 다른 각도를 가질 수 있다.
이하, 본 발명의 실시예에서는 생성된 전방향 영상에서 방향 정보를 표시하기 위한 방법이 개시된다. 도 1 내지 도 3은 전방향 영상 처리 장치의 하나의 예시이다. 전방향 영상 및 전방향 영상의 방향 정보는 전술한 본 발명의 실시예에서 개시되는 전방향 영상 처리 장치뿐만 아니라 다른 다양한 전방향 영상 처리 장치에서도 생성될 수 있다.
도 5는 본 발명의 실시예에 따른 전방향 영상의 방향 정보를 생성/표시하는 방법을 나타낸 개념도이다.
도 5에서는 전방향 영상 정보를 생성시 속성 정보로서 방향 정보를 추가적으로 생성하고 전방향 영상의 재생시 방향 정보를 기반으로 특정 방향에 대한 지시자를 표시하기 위한 방법이 개시된다.
도 5를 참조하면, 전방향 영상 처리 장치는 지자계 센서, 가속 각축 센서 등과 같은 방위/방향을 센싱 가능한 센싱부를 포함할 수 있다.
전방향 영상 처리 장치에 포함되는 복수의 영상 촬상부 각각에 의해 복수의 영상 각각이 생성될 때 복수의 영상 각각에는 영상의 촬상 방향에 대한 정보인 방향 정보가 별도의 속성 정보로서 포함될 수 있다.
구체적으로 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부에 의해 촬영이 수행되는 경우, 센서부는 복수의 영상 촬상부 각각의 촬영 방향에 대한 정보를 센싱하여 생성할 수 있다.
예를 들어, 전방향 영상 처리 장치에 영상 촬상부1, 영상 촬상부2 및 영상 촬상부3이 포함될 수 있다. 또한, 중첩된 시간 자원 상에서 영상 촬상부1에 의해 영상1이 생성되고, 영상 촬상부2에 의해 영상2가 생성되고, 영상 촬상부3에 의해 영상3이 생성될 수 있다. 영상1, 영상2 및 영상3은 영상 처리를 통해 전방향 영상 정보로서 생성될 수 있다.
전방향 영상 처리 장치의 센서부는 영상1, 영상2 및 영상3에 의해 생성되는 정방향 영상 정보에 특정 축을 기준으로 결정된 방향 정보를 생성할 수 있다. 촬상 공간이 X축/Y축/Z축으로 형성된 3차원 공간이고 지면(550)이 XZ 평면과 평행하고 가정하면, XZ 평면에 수직인 Y축(560)을 기준으로 한 영상의 방향 정보가 전방향 영상 정보에 속성 정보로서 추가될 수 있다.
이하, 설명 및 이해의 편의상 XZ 평면에 수직인 Y축(560)을 기준으로 한 영상의 방향 정보가 전방향 영상 정보에 속성 정보로서 추가되는 경우가 가정되나, X축, Z 축을 기준으로 한 영상의 방향 정보가 전방향 영상 정보에 속성 정보로서 추가될 수도 있고, 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
예를 들어, 정북 방향을 0도(기준점)(500)로 하여 Y축(560)을 기준으로 360도의 각도로 방향이 표현될 수 있다. 예를 들어, 90도 지점(510)이 정서 방향, 180도 지점(520)이 정남 방향, 270도 지점(530)이 정동 방향일 수 있다.
특정 시점에 센싱부에 의해 센싱되어 생성된 방향 정보 및 특정 시점에 대한 시간 정보가 특정 시점에 촬상된 영상1, 영상2 및 영상3을 기반으로 생성된 전방향 영상 정보의 속성 정보로서 포함될 수 있다. 즉, 전방향 영상 정보는 속성 정보로서 전방향 영상이 촬상된 시점에 대한 시간 정보 및 전방향 영상이 촬상된 방향에 대한 방향 정보를 포함할 수 있다.
이러한 방향 정보는 다양한 방식으로 표현될 수 있다. 예를 들어, 영상의 사이즈를 기준으로 백분율(0~100 사이의 값)로서 방향 정보가 표현될 수도 있다. 또는 0~255 사이의 값으로 저장될 영역의 크기를 기준으로 설정된 기준점으로부터의 상대 각도를 표시하여 방향 정보가 표현될 수도 있다.
전방향 영상의 방향 정보의 저장 간격은 전방향 영상 처리 장치에 의해 생성되는 프레임의 프레임레이트(framerate)와 일치하지 않을 수 있다. 예를 들어, 방향 정보는 프레임레이트와 다르게 정해진 특정 시간 간격/또는 설정된 조건을 만족시마다 전방향 영상 정보의 속성 정보로서 생성될 수 있다.
도 6은 본 발명의 실시예에 따른 전방향 영상의 재생시 방향 정보를 표시하는 방법을 나타낸 개념도이다.
도 6에서는 방향 정보를 기반으로 정북 방향/촬영자 시선 방향 등과 같은 특정 방향을 식별하기 위한 방향 지시자를 전방향 영상 재생시 추가하기 위한 방법이 개시된다.
도 6을 참조하면, 전방향 영상 재생 장치는 전방향 영상 정보의 속성 정보로서 포함되는 방향 정보를 기반으로 전방향 영상의 재생 화면(또는 출력 화면) 상의 특정 위치에 방향을 식별하기 위한 방향 지시자를 추가적으로 표시할 수 있다.
예를 들어, 방향 정보를 기반으로 전방향 영상 재생 장치(예를 들어, VR(virtual reality) 장치)의 재생 화면에서는 정북 방향을 지시하는 정북 방향 지시자(예를 들어, 제1 세모)(600)가 표시될 수 있다. 또한, 정북 방향 지시자(600)가 아닌 다른 방향(동/남/서 등)을 지시하는 방향 식별 지시자가 방향에 대한 정보를 전달하기 위해 추가될 수도 있다.
또한, 촬영자의 시선 방향(line of sight)을 지시하는 촬영자 시선 방향 지시자(예를 들어, 제2 세모)(650)가 전방향 영상 정보를 출력하는 전방향 영상 재생 장치에서 출력될 수 있다.
이러한 전방향 영상을 시청하는 사용자는 정북 방향 지시자(600)/촬영자 시선 방향 지시자(650) 등을 기반으로 재생되는 전방향 영상의 방향을 인지할 수 있다. 따라서, 사용자가 전방향 영상에서 현재 보고 있는 방향을 인지하고 전방향 영상을 이해하는 데에 도움을 줄 수 있다. 또한, 전방향 영상을 촬영한 촬영자의 시선 방향 지시자(650)를 기반으로 사용자가 촬영자의 정면 방향을 빠르게 인식하여 촬영자의 촬영 의도에 따른 전방향 영상을 감상할 수 있다.
도 7은 본 발명의 실시예에 따른 전방향 영상의 재생시 방향 전환 요청 지시자를 출력하는 방법을 나타낸 개념도이다.
도 7에서는 사용자에게 전방향 영상에서 특정 방향을 볼 것을 지시하기 위한 시선 유도 지시자(700)가 개시된다.
전방향 영상 정보의 속성 정보로서 방향 정보가 포함되고, 전방향 영상 정보를 촬상/생성하는 촬상자 또는 편집하는 편집자는 특정 방향을 전방향 영상을 시청하는 사용자의 주된 시청 방향으로 설정할 수 있다. 주된 시청 방향은 시선 유도 지시자(700)를 기반으로 표현될 수 있다. 주된 시청 방향은 일정한 방향이 아니고, 주된 시청 방향의 설정 의도에 따라 복수번 변경될 수도 있다.
예를 들어, 정북 방향이나 촬영자 시선 방향이 전방향 영상의 주된 시청 방향으로 설정된 경우가 가정될 수 있다. 이러한 경우, 전방향 영상 재생 장치에서는 사용자의 현재 시선 방향을 설정된 주된 시청 방향으로 유도하기 위한 시선 유도 지시자(700)가 출력될 수 있다.
전방향 영상 재생 장치는 사용자의 현재 시선 방향과 주된 시청 방향 간의 오차(또는 차이)를 계산하고, 사용자의 시선 방향을 주된 시청 방향으로 유도하기 위한 시선 유도 지시자(700)를 전방향 영상에 추가적으로 표시할 수 있다.
사용자의 현재 시선 방향과 주된 시청 방향 간의 오차에 따라 시선 유도 지시자(700)의 형태가 달라질 수 있다. 예를 들어, 시선 유도 지시자(700)가 화살표 모양의 이미지인 경우, 현재 시선 방향과 주된 시청 방향 간의 오차에 따라 화살표 모양의 형태/길이 등이 변할 수 있다. 또는 시선 유도 지시자(700)는 깜박이와 같은 이미지일 수 있고, 현재 시선 방향과 주된 시청 방향 간의 오차에 따라 이미지가 변할 수 있다.
사용자가 시선 유도 지시자(700)를 기반으로 시선 방향을 변화시키고 현재 시선 방향과 주된 시청 방향 간의 오차가 줄어드는 경우, 시선 유도 지시자(700)의 형상이 감소된 오차를 반영하여 변화될 수 있다.
사용자의 현재 시선 방향은 VR 재생 장치를 착용한 사용자가 고개를 돌리거나 몸을 움직이는 행위, 모니터를 보는 사용자가 전방향 영상을 마우스로 드래그하는 행위로 변화될 수 있다.
사용자의 현재 시선 방향이 주된 시청 방향을 기준으로 설정된 임계 범위 내에서 포함되는 경우, 시선 유도 지시자(700)는 사라질 수 있다.
또는 사용자의 현재 시선 방향이 주된 시청 방향을 기준으로 설정된 임계 범위 내에 들어온 경우, 보다 정확하게 사용자의 현재 시선 방향과 주된 시청 방향을 일치시키기 위해 시선 방향 유도 지시자(700)의 이미지가 다른 모양으로 변하거나 주된 시청 방향을 지시하는 추가적인 식별자가 전방향 영상에 추가적으로 표시되어 사용자의 시선 방향을 보다 정확하게 유도할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 전방향 영상 재생 장치는 사용자가 고개를 돌리지 않아도, 주된 시청 방향이 사용자의 현재 시선과 일치하도록 재생되는 전방향 영상의 방향을 설정할 수 있다.
예를 들어, 주된 시청 방향이 정북 방향이라고 가정하면, 사용자는 임계 시간 내에는 사용자가 고개를 돌리거나 몸을 움직이거나, 마우스로 드래그하는 방식으로 사용자의 현재 시선 방향을 변화시킬 수 있으나, 임계 시간이 지난 후에는 사용자의 현재 시선 방향이 정북 방향으로 변환될 수 있다. 다른 표현으로 임계 시간 동안 사용자의 현재 시선 방향을 변화시킨 사용자의 동작들은 무시하고, 주기적으로 사용자의 현재 시선 방향을 주된 시청 방향으로 설정된 정북 방향으로 강제적으로 변화시켜 주기적으로 사용자의 현재 시선 방향과 주된 시청 방향이 동일하도록 설정할 수 있다.
도 8은 본 발명의 실시예에 따른 방향 정보를 생성하는 방법을 나타낸 개념도이다.
도 8에서는 센싱된 방향 정보를 기반으로 전방향 영상에서 센싱된 방향이 아닌 다른 방향을 결정하기 위한 방법이 개시된다.
도 8을 참조하면, 센서부에 의해서는 특정 방향 정보(예를 들어, 정북 방향 정보)만이 센싱되어 속성 정보로서 전방향 영상 정보에 기록될 수 있다.
이후, 전방향 영상에 센싱된 방향이 아닌 다른 방향에 대한 방향 지시자를 설정하고자 하는 경우, 센싱된 방향을 기준으로 센싱되지 않은 방향에 대한 방향 정보를 생성할 수 있다.
전술한 바와 같이 전방향 영상 장치가 3개의 영상 촬상부(영상 촬상부1, 영상 촬상부2, 영상 촬상부3)를 포함할 수 있다. 3개의 영상 촬상부에 의해 생성된 영상1, 영상2 및 영상3을 기반으로 생성된 전방향 영상 정보가 센싱된 방향(제1 방향)을 지시하는 방향 정보를 속성 정보로서 포함하는 경우가 가정될 수 있다.
센싱된 방향(제1 방향)에 대한 정보만이 속성 정보로서 포함되어 있고, 영상 1의 화각 중 특정 방향이 제1 방향인 경우, 영상 1에서 제1 방향을 0도(850)로 설정하고 나머지 전방향 영상 내에 특정 방향의 각도는 보간(interpolation)을 통해 0~360도로 표현할 수 있다.
보간을 위해 영상의 화각에 대한 정보가 활용될 수 있다. 예를 들어, 영상1의 화각이 150도(-75도~+75도)라고 가정하는 경우, 0도(850)로 설정된 제1 방향 및 화각을 기준으로 영상1 내의 특정 방향에 대한 방향 정보를 결정하기 위한 보간이 수행될 수 있다. 예를 들어, 영상1의 화각의 중심 방향과 제1 방향과의 차이를 산출하여 제1 방향(0도(850))을 새로운 기준점으로 영상1의 나머지 지점의 방향 정보를 결정할 수 있다. 예를 들어, 제1 방향이 화각을 기준으로 +20도(800) 방향인 경우, 화각을 기준으로 한 +20도 방향(800))이 0도(850)로서 방향 정보를 표현하기 위한 기준점으로 설정될 수 있다. 즉, 영상 1 내의 화각을 기준으로 한 나머지 방향(-75~+75도)에 대한 방향 정보는 화각을 고려하여 새로운 기준점인 제1 방향을 기준으로 -95도(265도)~+55도로 보간되어 표현될 수 있다.
또한, 영상2 및 영상3의 경우, 영상1과의 중첩된 영역을 고려하여 영상1과의 중첩된 영역의 방향 정보 및 영상2/영상3의 화각을 고려하여 보간 절차가 수행될 수 있다. 예를 들어, 영상1과 영상2의 중첩된 영역에 위치한 객체A의 방향 정보가 전술한 영상1에 대한 보간 절차를 통해 45도로 결정된 경우, 영상 2에서 동일한 객체 A의 방향이 45도로 설정되고, 영상2 내의 나머지 방향의 방향 정보는 영상2의 화각(-75~+75)을 고려하여 결정될 수 있다.
또는 본 발명의 다른 실시예에 따르면, 방향 정보의 보간을 위해 센서부는 영상1, 영상2 및 영상3 각각의 화각의 중심 방향에 대응되는 방향 정보를 속성 정보로서 포함할 수 있다. 특정 지점에 대한 방향 정보가 필요한 경우, 영상1, 영상2 및 영상3 각각의 화각의 중심 방향의 방향 정보 및 영상1, 영상2 및 영상3 각각의 화각에 대한 정보를 고려하여 영상1, 영상2 및 영상3의 방향 정보가 보간되어 생성될 수도 있다.
도 9는 본 발명의 실시예에 따른 방향 정보를 생성하는 방법을 나타낸 개념도이다.
도 9에서는 일정 시간 간격으로 생성된 방향 정보가 존재하는 경우, 일정 시간 간격 사이에 촬상된 영상(이미지 프레임)의 방향 정보를 생성하기 위한 방법이 개시된다.
센서부에 의해 방향 정보가 1초 간격으로 센싱된다고 가정할 수 있다. 이러한 경우, 제1 방향 정보 생성 시점과 제2 방향 정보 생성 시점 간의 차이가 1초일 수 있다.
제1 방향 정보 생성 시점과 제2 방향 정보 생성 시점 사이에 생성된 이미지 프레임에는 방향 정보가 포함되지 않을 수 있다. 이러한 경우, 제1 방향 정보 생성 시점의 제1 영상 프레임의 제1 방향 정보 및/또는 제2 방향 정보 생성 시점의 제2 영상 프레임의 제2 방향 정보를 고려하여 제1 방향 정보 생성 시점과 제2 방향 정보 생성 시점 사이에서 생성된 이미지 프레임(이하, 방향 예측 대상 프레임)의 방향 정보를 추정할 수 있다.
도 9의 상단을 참조하면, 제1 영상 프레임(910)과 방향 예측 대상 프레임(900)에 공통적으로 포함되는 움직이지 않는 고정 객체(915)를 결정할 수 있다. 고정 객체(915)는 건물, 조각 등과 같은 객체일 수 있다. 제1 방향 정보 생성 시점과 제2 방향 정보 생성 시점이 임계 시간 이하인 경우, 고정되지 않은 움직이는 객체(또는 비고정 객체)도 방향 예측 대상 프레임의 방향 정보를 결정하기 위해 사용될 수 있다.
제1 영상 프레임(910)에서 고정 객체(915)의 방향 정보가 제1 방향을 지시하는 경우가 가정될 수 잇다. 고정 객체(915)의 방향 정보와 방향 예측 대상 프레임(900)에도 동일하게 포함된 고정 객체(915)의 방향 정보는 동일할 수 있다. 방향 예측 대상 프레임(900)은 결정된 고정 객체(915)의 방향 정보 및 화각을 기준으로 방향 예측 대상 프레임(900) 내의 다른 방향도 결정할 수 있다.
도 9의 하단을 참조하면, 제1 영상 프레임(960)과 방향 예측 대상 프레임(950)에 공통적으로 포함되는 움직이지 않는 고정 객체가 존재하지 않는 경우, 제2 영상 프레임(970)과 방향 예측 프레임(950)에 공통적으로 포함되는 움직이지 않는 고정 객체(955)를 결정할 수 있다.
이후, 제2 영상 프레임(970)에서 고정 객체(955)의 방향 정보가 제2 방향을 지시하는 경우가 가정될 수 있다. 이러한 경우, 방향 예측 대상 프레임(950)에도 동일하게 포함된 고정 객체(955)의 방향 정보도 제2 방향을 지시할 수 있다. 방향 예측 대상 프레임(950)은 결정된 고정 객체(955)의 방향 정보 및 화각을 기준으로 방향 예측 대상 프레임(950) 내의 다른 방향도 결정할 수 있다.
제1 영상 프레임과 방향 예측 대상 프레임에 공통적으로 포함되는 고정 객체가 존재하지 않고, 마찬가지로 제2 영상 프레임과 방향 예측 대상 프레임에 공통적으로 포함되는 고정 객체가 존재하지 않을 수 있다. 이러한 경우, 고정 객체가 아닌 움직이는 객체를 기반으로 방향 예측 대상 프레임의 방향 정보를 결정할 수 있다.
마찬가지 방식으로 제1 영상 프레임과 방향 예측 대상 프레임에 공통적으로 포함되는 움직이는 객체(비고정 객체)를 결정할 수 있다.
이후, 제1 영상 프레임에서 비고정 객체의 방향 정보에 의해 지시되는 제1 방향이 방향 예측 대상 프레임에도 동일하게 포함된 비고정 객체의 방향 정보일 수 있다. 방향 예측 대상 프레임은 결정된 비고정 객체의 방향 정보 및 화각을 기반으로 방향 예측 대상 프레임 내의 다른 방향도 결정할 수 있다.
제1 영상 프레임과 방향 예측 프레임에 공통적으로 포함되는 비고정 객체가 존재하지 않는 경우, 제2 영상 프레임과 방향 예측 프레임에 공통적으로 포함되는 비고정 객체를 결정할 수 있다.
이후, 제2 영상 프레임에서 비고정 객체의 방향 정보에 의해 지시되는 제2 방향이 방향 예측 대상 프레임에도 동일하게 포함된 비고정 객체의 방향 정보일 수 있다. 방향 예측 대상 프레임은 결정된 비고정 객체의 방향 정보 및 화각을 기반으로 방향 예측 대상 프레임 내의 다른 방향도 결정할 수 있다.
도 10은 본 발명의 실시예에 따른 사용자의 관심을 고려하여 식별 정보를 생성하는 방법을 나타낸 개념도이다.
도 10에서는 재생되는 전방향 영상에 사용자가 관심있어 하는 방향에 대한 식별자를 추가하기 위한 방법이 개시된다.
도 10을 참조하면, 사용자가 전방향 영상을 시청하는 경우, 사용자가 전방향 영상 상의 특정 객체에 관심을 가지고 객체를 추적하면서 전방향 영상을 시청할 수 있다.
예를 들어, 전방향 영상이 독수리가 나는 영상이라고 할 때 사용자는 전방향 영상에서 독수리의 움직임을 추적하면서 영상을 감상할 수 있다. 또 다른 예로, 전방향 영상이 범인 위치 추적을 위해 활용되는 경우, 사용자가 전방향 영상에서 움직이는 범인의 움직임을 트래킹할 수 있다. 전방향 영상의 특성상 360도 방향 중 특정 방향으로 독수리/범인과 같은 특정 객체가 움직일 수 있다.
본 발명의 실시예에 따르면, 전방향 영상 재생 장치는 사용자가 관심있게 시청하는 객체를 판단하고, 객체의 움직임을 트래킹하여 사용자의 현재 시선 방향을 유도할 수 있다.
우선 전방향 영상 재생 장치가 사용자가 관심있게 시청하는 관심 객체(1020)를 결정할 수 있다.
전방향 영상 재생 장치는 사용자의 시선 방향(1000)을 기준으로 임계 범위(1050) 내에 임계 시간 인상 존재하는 적어도 하나의 객체의 존재를 판단하여 사용자가 관심있게 시청하는 관심 객체(1020)를 결정할 수 있다. 사용자의 시선 방향(1000)은 현재 디스플레이 상에서 출력되는 영상의 중심 방향일 수 있다. 관심 객체를 결정하는 방법은 구체적으로 후술된다.
전방향 영상 재생 장치는 관심 객체(1020)가 사용자의 시선 방향(1000)을 기준으로 한 임계 범위(1050)를 벋어나는지 여부를 결정한다.
전방향 영상 재생 장치는 관심 객체(1020)가 사용자의 시선 방향(1000)을 기준으로 임계 범위(1050) 이상을 벋어나는 경우, 객체 위치 지시자(1030)를 생성하여 사용자에게 관심 객체(1020)가 움직이는 방향에 대한 정보를 줄 수 있다.
객체 위치 지시자(1030)는 화살표와 같은 지시자일 수 있고, 사용자는 객체 위치 지시자(1030)를 기반으로 객체의 이동 방향에 대해 추적할 수 있다.
도 11은 본 발명의 실시예에 따른 사용자의 관심 객체를 결정하는 방법을 나타낸 개념도이다.
도 11에서는 전방향 영상을 시청하는 사용자의 관심 객체를 결정하기 위한 방법이 개시된다.
도 11을 참조하면, 사용자의 제1 시점(1160)에 제1 시선 방향(1110)의 임계 범위(1100) 내에 객체(1150)가 존재하고, 제2 시점(1170)에 제2 시선 방향(1120)의 임계 범위(1100) 내에 동일한 객체(1150)가 존재하는 경우, 해당 객체(1150)를 관심 객체로 설정할 수 있다. 제1 시점(1160)과 제2 시점(1170)은 임계 시간의 차이를 가지는 시점일 수 있다.
위의 조건을 만족하는 객체가 복수개인 경우, 제1 시선 방향(1110) 및 제2 시선 방향(1120)에 상대적으로 더 인접한 객체가 관심 객체로 설정될 수 있다. 예를 들어, 제1 객체의 방향과 제1 시선 방향(1110)과의 오차가 5도이고, 제2 시선 방향(1120)과의 오차가 10도이고, 제2 객체의 방향과 제1 시선 방향(1110)과의 오차가 3도이고, 제2 시선 방향(1120)과의 오차가 5도인 경우, 제2 객체가 관심 객체로 설정될 수 있다.
또는 위의 조건을 만족하는 객체가 복수개인 경우, 제1 시선 방향(1110)보다 제2 시선 방향(1120)에 가중치를 두어 제2 시선 방향에 더 인접한 객체를 관심 객체로 설정할 수 있다. 예를 들어, 제1 객체의 방향과 제1 시선 방향(1110)과의 오차가 7도이고, 제2 시선 방향(1120)과의 오차가 5도이고, 제2 객체의 방향과 제1 시선 방향(1110)과의 오차가 10도이고, 제2 시선 방향(1120)과의 오차가 2도인 경우, 제2 객체가 관심 객체로 설정될 수 있다.
관심 객체로 설정된 객체에는 특정한 지시자가 추가될 수 있다. 사용자는 관심 객체를 변화시키고 싶은 경우, 관심 객체로 변화시키고자 객체와 시선 방향을 일치시킴으로서 관심 객체를 새롭게 설정할 수 있다.
도 12는 본 발명의 실시예에 따른 사용자의 관심 객체를 결정하기 위한 방법을 나타낸 개념도이다.
도 12에서는 다른 사용자들의 전방향 영상 감상 정보를 고려하여 전방향 영상을 시청하는 사용자의 관심 객체를 결정하기 위한 방법이 개시된다.
도 12를 참조하면, 전방향 영상을 시청한 사용자들의 시청 기록이 전방향 영상 서비스 서버(1220)로 전송될 수 있다. 복수의 전방향 영상 재생 장치(1200)는 복수의 사용자의 전방향 영상 재생과 관련된 정보인 전방향 영상 재생 정보를 전방향 영상 서비스 서버(1220)로 전송할 수 있다.
전방향 영상 재생 정보는 시청 기록 정보를 포함할 수 있다. 시청 기록 정보는 전방향 영상이 재생되는 특정 재생 시간에 사용자의 시청 방향에 대한 정보를 포함할 수 있다. 예를 들어, 시청 기록 정보는 특정 재생 시간 단위(예를 들어, 1초 단위)와 매칭된 사용자의 시선 방향 정보를 포함할 수 있다.
전방향 영상 서비스 서버(1220)는 시청 기록 정보를 기반으로 복수의 사용자들이 관심을 가지고 많이 본 객체에 대한 정보(이하, 사용자 관심 객체 정보)를 추출할 수 있다. 사용자 관심 객체는 특정 재생 시점에서 일정 임계 비율 이상의 사용자가 관심을 보인 객체일 수 있다. 사용자 관심 객체 정보는 전방향 영상 재생 장치(1250)에서 객체 위치 지시자를 생성하기 위해 사용될 수 있다. 전방향 영상 서비스 서버(1220)는 사용자 관심 객체 정보를 전방향 영상 재생 장치(1250)로 전송할 수 있다. 전방향 영상 재생 장치(1250)는 사용자 관심 객체 정보를 기반으로 재생되는 영상에서 특정 객체를 지시하기 위한 객체 위치 지시자를 출력할 수 있다.
즉, 다른 사용자들의 시청 기록 정보를 고려하여 전방향 영상을 감상하는 사용자에게 객체 위치 지시자를 생성하여 사용자에게 다른 사용자들이 관심을 보인 특정 객체가 움직이는 방향에 대한 정보를 전달할 수 있다.
도 13은 본 발명의 실시예에 따른 촬영자의 움직임을 기반으로 방향 정보의 생성 주기를 조정하기 위한 방법을 나타낸 개념도이다.
도 13에서는 전방향 영상을 촬영하는 사용자의 움직임 정도를 고려하여 방향 정보의 생성 주기를 조정하는 방법이 개시된다. 전방향 영상 처리 장치는 웨어러블 장치로서 구현되어 이동 중에 촬영이 될 수 있고, 방향 정보의 생성 주기는 조절될 수 있다.
도 13을 참조하면, 전방향 영상 처리 장치의 센서부는 전방향 영상 처리 장치의 방향 변화 정도를 센싱하고 방향 변화 정도에 따라 방향 정보 센싱 주기가 다르게 설정될 수 있다.
임계 시간 내에 방향 변화 정도를 센싱하고(단계 S1300), 방향 변화 정도가 임계값 이하인 경우(단계 S1310), 방향 정보의 센싱 주기를 증가시킬 수 있다(단계 S1320). 반대로 방향 변화 정도가 임계값을 초과하는 경우(단계 S1310), 방향 정보의 센싱 주기를 감소시킬 수 있다(단계 S1330). 이러한 센싱 주기의 증가 및 감소는 최소 주기값, 최대 주기값까지 감소 또는 증가시킬 수 있다.
즉, 촬영하는 방향이 변하지 않는 경우, 방향 정보의 센싱 주기가 점차적으로 증가하여 최대 주기값까지 증가될 수 있다. 촬영하는 방향이 변하는 경우, 방향 정보의 센싱 주기가 점차적으로 감소하여 최대 주기값까지 감소될 수 있다.
또한 본 발명의 실시예에 따르면, 전방향 영상 처리 장치의 방향이 빠르게 변하는 경우가 가정될 수 있다. 즉, 임계 시간 내의 방향 변화의 정도가 최대 임계값을 초과하는 경우, 방향 정보의 센싱 주기를 최소 주기값으로 감소시킬 수 있다.
전술한 본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치에서 방향 정보를 생성하고, 전방향 영상 재생 장치에서 방향 정보를 처리하여 지시자를 출력하는 것으로 가정한다. 하지만, 이러한 방향 정보의 생성/처리/활용 동작은 다양한 장치 상에서 수행될 수 있고, 위의 전방향 영상 처리 장치/전방향 영상 재생 상치에 한정되지 않는다.
전방향 영상에서 방향 정보를 생성/처리/활용하여 방향 정보를 기반으로 별도의 식별 정보/지시자를 생성하는 장치는 방향 정보 처리 장치라는 용어로 표현될 수 있다. 즉, 방향 정보 처리 장치는 전방향 영상의 방향 정보를 생성 및/또는 수신하고 방향 정보를 기반으로 전방향 영상에 대한 방향 지시자를 설정하는 장치일 수 있다. 또한, 전술한 바와 같이 방향 정보 처리 장치는 방향 정보를 기반으로 전방향 영상을 시청하는 사용자의 시선을 특정 방향으로 유도하기 위한 기능을 수행하는 장치일 수도 있다. 즉, 방향 정보 처리 장치가 도 5내지 도 13에서 전술한 기능을 수행할 수 있고, 이러한 기능은 방향 정보 처리 장치의 프로세서를 기반으로 수행될 수 있다. 예를 들어, 방향 정보 처리 장치는 통신부를 기반으로 전방향 영상의 방향 정보를 수신하고 프로세서를 사용하여 방향 정보를 기반으로 전방향 영상에 대한 방향 지시자를 설정할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 전방향 영상의 방향 정보를 생성하는 방법은,
    방향 정보 처리 장치가 전방향 영상의 방향 정보를 수신하는 단계; 및
    상기 방향 정보 처리 장치가 상기 방향 정보를 기반으로 상기 전방향 영상에 대한 방향 지시자를 설정하는 단계를 포함하되,
    상기 방향 지시자는 상기 전방향 영상의 재생 화면 상에서 적어도 하나의 방향을 지시하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 방향 정보는 상기 전방향 영상의 생성시 방향 센서부에 의해 생성되고,
    상기 방향 지시자는 특정 축을 기준으로 한 360도 방향 중 상기 방향 정보를 기반으로 결정된 상기 적어도 하나의 방향을 지시하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 방향 지시자는 촬영자 시선 방향 지시자를 포함하고,
    상기 촬영자 시선 방향 지시자는 상기 전방향 영상을 촬상한 촬영자의 시선 방향을 지시하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 전방향 영상은 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각에 의해 촬상된 복수의 영상을 기반으로 생성되고,
    상기 방향 정보는 상기 복수의 영상 중 적어도 하나의 영상의 촬상 방향을 지시하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 방향 지시자에 의해 지시되는 상기 적어도 하나의 방향은 상기 방향 정보를 기반으로 지시되는 방향, 상기 복수의 영상 간의 중첩 영역에 대한 정보 및 상기 복수의 영상 각각의 화각 정보를 기반으로 결정되는 것을 특징으로 하는 방법.
  6. 전방향 영상의 방향 정보를 생성하는 방향 정보 처리 장치는,
    전방향 영상의 방향 정보를 수신하도록 구현되는 통신부; 및
    상기 통신부와 동작 가능하게(operatively) 연결되어 상기 방향 정보를 기반으로 상기 전방향 영상에 대한 방향 지시자를 설정하도록 구현되는 프로세서를 포함하되,
    상기 방향 지시자는 상기 전방향 영상의 재생 화면 상에서 적어도 하나의 방향을 지시하는 것을 특징으로 하는 방향 정보 처리 장치.
  7. 제6항에 있어서,
    상기 방향 정보는 상기 전방향 영상의 생성시 방향 센서부에 의해 생성되고,
    상기 방향 지시자는 특정 축을 기준으로 한 360도 방향 중 상기 방향 정보를 기반으로 결정된 상기 적어도 하나의 방향을 지시하는 것을 특징으로 하는 방향 정보 처리 장치.
  8. 제7항에 있어서,
    상기 방향 지시자는 촬영자 시선 방향 지시자를 포함하고,
    상기 촬영자 시선 방향 지시자는 상기 전방향 영상을 촬상한 촬영자의 시선 방향을 지시하는 것을 특징으로 하는 방향 정보 처리 장치.
  9. 제8항에 있어서,
    상기 전방향 영상은 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각에 의해 촬상된 복수의 영상을 기반으로 생성되고,
    상기 방향 정보는 상기 복수의 영상 중 적어도 하나의 영상의 촬상 방향을 지시하는 것을 특징으로 하는 방향 정보 처리 장치.
  10. 제9항에 있어서,
    상기 방향 지시자에 의해 지시되는 상기 적어도 하나의 방향은 상기 방향 정보를 기반으로 지시되는 방향, 상기 복수의 영상 간의 중첩 영역에 대한 정보 및 상기 복수의 영상 각각의 화각 정보를 기반으로 결정되는 것을 특징으로 하는 방향 정보 처리 장치.
  11. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
PCT/KR2017/006420 2017-03-07 2017-06-19 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치 WO2018164317A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019548379A JP6975476B2 (ja) 2017-03-07 2017-06-19 全方位画像の方向情報を生成する方法およびこのような方法を遂行する装置
EP17899304.4A EP3595290A4 (en) 2017-03-07 2017-06-19 METHOD FOR GENERATING DIRECTIONAL INFORMATION OF AN OMNIDIRECTIONAL IMAGE AND DEVICE FOR IMPLEMENTING THE METHOD
CN201780087074.5A CN110383819A (zh) 2017-03-07 2017-06-19 生成全方位图像的方向信息的方法及执行该方法的装置
US16/488,254 US10911658B2 (en) 2017-03-07 2017-06-19 Method for generating direction information of omnidirectional image and device for performing the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170028756A KR101810671B1 (ko) 2017-03-07 2017-03-07 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
KR10-2017-0028756 2017-03-07

Publications (1)

Publication Number Publication Date
WO2018164317A1 true WO2018164317A1 (ko) 2018-09-13

Family

ID=61093996

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006420 WO2018164317A1 (ko) 2017-03-07 2017-06-19 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치

Country Status (6)

Country Link
US (1) US10911658B2 (ko)
EP (1) EP3595290A4 (ko)
JP (1) JP6975476B2 (ko)
KR (1) KR101810671B1 (ko)
CN (1) CN110383819A (ko)
WO (1) WO2018164317A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201710646A (zh) * 2015-09-02 2017-03-16 湯姆生特許公司 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
CN114342366A (zh) * 2019-07-22 2022-04-12 交互数字Vc控股公司 用于递送体积视频内容的方法和装置
KR102673704B1 (ko) * 2021-12-17 2024-06-12 이화여자대학교 산학협력단 전방향 위치 정보 제공 장치 및 전방향 위치 정보 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244511A (ja) * 2002-02-13 2003-08-29 Fuji Photo Film Co Ltd 全方位撮影カメラ
KR20060006186A (ko) * 2004-07-15 2006-01-19 엘지전자 주식회사 파노라마 사진 촬영 방법
KR20070105108A (ko) * 2006-04-25 2007-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
KR20090118461A (ko) * 2008-05-14 2009-11-18 김상욱 원샷 파노라마 ｖｒ 촬영장치
KR20110075730A (ko) * 2009-12-28 2011-07-06 전자부품연구원 전방향 카메라 장치 및 이의 구동 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307739A (ja) * 1995-05-11 1996-11-22 Canon Inc ビデオカメラ
JP2001154647A (ja) * 1999-11-26 2001-06-08 Canon Inc 表示装置、画像処理装置、画像表示システム、画像表示方法、及び記憶媒体
JP3925057B2 (ja) * 2000-09-12 2007-06-06 カシオ計算機株式会社 カメラ装置、撮影範囲表示システム、及び撮影範囲表示方法
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
JP5464955B2 (ja) * 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
JP2012075018A (ja) * 2010-09-29 2012-04-12 Casio Comput Co Ltd 再生装置及び方法、並びにプログラム
JP5917061B2 (ja) * 2011-09-26 2016-05-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
CN107509029A (zh) * 2013-01-07 2017-12-22 华为技术有限公司 一种图像处理方法及装置
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9686466B1 (en) * 2013-06-27 2017-06-20 Google Inc. Systems and methods for environment content sharing
JP2015023512A (ja) * 2013-07-22 2015-02-02 オリンパスイメージング株式会社 撮影装置、撮影方法及び撮影装置の撮影プログラム
KR102021857B1 (ko) 2013-07-23 2019-09-17 엘지전자 주식회사 이동 단말기 및 그의 파노라마 촬영방법
US20150193909A1 (en) * 2014-01-09 2015-07-09 Trax Technology Solutions Pte Ltd. Method and device for panoramic image processing
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
EP3119077A1 (en) * 2015-07-17 2017-01-18 Amaryllo International B.V. Dynamic tracking device
US20170053545A1 (en) * 2015-08-19 2017-02-23 Htc Corporation Electronic system, portable display device and guiding device
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
CN106357976A (zh) * 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置
US10127632B1 (en) * 2016-09-05 2018-11-13 Google Llc Display and update of panoramic image montages

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244511A (ja) * 2002-02-13 2003-08-29 Fuji Photo Film Co Ltd 全方位撮影カメラ
KR20060006186A (ko) * 2004-07-15 2006-01-19 엘지전자 주식회사 파노라마 사진 촬영 방법
KR20070105108A (ko) * 2006-04-25 2007-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
KR20090118461A (ko) * 2008-05-14 2009-11-18 김상욱 원샷 파노라마 ｖｒ 촬영장치
KR20110075730A (ko) * 2009-12-28 2011-07-06 전자부품연구원 전방향 카메라 장치 및 이의 구동 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3595290A4 *

Also Published As

Publication number Publication date
JP6975476B2 (ja) 2021-12-01
CN110383819A (zh) 2019-10-25
JP2020510336A (ja) 2020-04-02
EP3595290A1 (en) 2020-01-15
KR101810671B1 (ko) 2018-01-25
EP3595290A4 (en) 2020-01-15
US20200007728A1 (en) 2020-01-02
US10911658B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
WO2018074893A1 (ko) 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
WO2019004530A1 (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
WO2018164317A1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2019156480A1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2019035581A1 (ko) 서버, 디스플레이장치 및 그 제어방법
WO2018030651A1 (ko) 카메라를 구비한 무인 비행체 및 무인 비행체의 영상 처리 방법
WO2019098567A1 (ko) 전자 장치의 이미지 촬영 방법 및 그 전자 장치
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2019112114A1 (ko) 글래스 타입 단말기 및 그것의 동작방법
WO2018164316A1 (ko) 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
WO2018030795A1 (ko) 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
WO2019004531A1 (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치
WO2019004532A1 (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
WO2016047824A1 (ko) 화상 정보 영사 장치 및 그 영사 장치의 제어 방법
WO2019194544A1 (en) Method and system for handling 360 degree image content
WO2016208833A1 (en) View finder apparatus and method of operating the same
WO2022075686A1 (ko) 전자 장치 및 그 동작 방법
WO2018093075A1 (ko) 전자 장치 및 그의 제어 방법
WO2017034321A1 (ko) 카메라를 구비하는 장치에서 사진 촬영 지원 기법 및 그 장치
WO2017003257A1 (ko) 도로 표면 상태 인식 장치 및 방법
WO2019039668A1 (ko) 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17899304

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019548379

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017899304

Country of ref document: EP

Effective date: 20191007