WO2016006946A1 - 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법 - Google Patents

증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법 Download PDF

Info

Publication number
WO2016006946A1
WO2016006946A1 PCT/KR2015/007126 KR2015007126W WO2016006946A1 WO 2016006946 A1 WO2016006946 A1 WO 2016006946A1 KR 2015007126 W KR2015007126 W KR 2015007126W WO 2016006946 A1 WO2016006946 A1 WO 2016006946A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video
marker
recording
button
Prior art date
Application number
PCT/KR2015/007126
Other languages
English (en)
French (fr)
Inventor
정지연
Original Assignee
정지연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140085774A external-priority patent/KR101518696B1/ko
Priority claimed from KR1020150056020A external-priority patent/KR101613438B1/ko
Application filed by 정지연 filed Critical 정지연
Priority to CN201580037587.6A priority Critical patent/CN106664465B/zh
Priority to US15/324,801 priority patent/US9959681B2/en
Publication of WO2016006946A1 publication Critical patent/WO2016006946A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Definitions

  • the present invention relates to an augmented reality content system and method, and more particularly, when capturing a video by a mobile communication device, such as a smart phone, automatically saves the image before and after the shooting time, and also automatically stores the markers as well.
  • Create and play augmented reality content at this time can increase the resolution of the marker, check and select the quality of the marker, and create and play augmented reality content that can automatically extract the marker through a normal video file And to a method.
  • VR virtual reality
  • Augmented Reality is a field of virtual reality that is a computer graphics technique that synthesizes virtual objects in the real environment and makes them look like objects in the original environment.
  • This augmented reality has a feature that the user can give an improved reality by interacting with a virtual object based on the real world.
  • the user recognizes the real environment in which the user is located, and also recognizes the virtual information expressed on the real image.
  • augmented reality shows a combination of real images and virtual graphics
  • virtual objects must be accurately positioned on a screen in order to obtain a more realistic and accurate image.
  • three-dimensional coordinates for the virtual object are required, and these coordinates should be coordinates with respect to the camera.
  • the problem is to obtain the three-dimensional coordinates of the camera for a certain point or object in the real world in the image of the camera, which requires two or more cameras, it is not easy to determine the three-dimensional position.
  • a marker-based recognition for estimating a position and posture at which a virtual object is placed by arranging a marker to locate the virtual object in a real world space and extracting relative coordinates based on the marker I'm using technology.
  • the user randomly creates a marker for a cat, and matches a cat marker with a 3D virtual image in which a real cat's shape is formed into a 3D graphic image.
  • an image recognition means such as a camera connected to a computer, a three-dimensional virtual image of a cat appears on the computer monitor.
  • the augmented reality content undergoes a complicated process of generating an augmented reality content through a real photographic object and an image object.
  • the image object is created, the virtual object image content is generated, the real object (image) and the virtual object (image) are mapped, and the image content is printed and recognized as a marker. Therefore, the process of calling and playing the mapped image content is performed.
  • the conventional augmented reality content generation and playback system has a problem in that it requires a lot of equipment, such as a camera for obtaining images and videos, and a variety of equipment, such as equipment for reproducing content.
  • the present invention has been proposed to solve the above problems, the problem of the present invention can easily generate augmented reality content by a simple process of operating a shooting button by a simple image and image acquisition equipment such as a smartphone It is to provide a system and method.
  • the present invention can automatically save the video before and after the shooting time, or select a variety of storage time of the marker when shooting a video to produce augmented reality content, can increase the resolution of the marker, improve the quality of the marker
  • the present invention provides a system and method that can be checked and selected and can be easily generated by automatically extracting a marker through a general video file.
  • the present invention has been proposed to solve the above problems, an embodiment of the present invention, when the preview mode for displaying the image input through the lens on the screen, and the image to be shot in the preview mode is displayed
  • An image acquisition unit including a photographing mode for photographing a corresponding image by converting the photographing button into an image file;
  • a storage unit for storing an image obtained when the photographing button is pressed in the image obtaining unit and moving image information automatically obtained for a predetermined time based on a photographing time point;
  • a mapping unit which maps the image and the video stored in the storage to each other;
  • An augmented reality processor for recognizing an image corresponding to a marker from an image obtained through the image acquisition unit, calling a video mapped to the image, and overlaying the video on the marker position in the preview screen;
  • an augmented reality content generation and playback system comprising a control unit for controlling a process of generating and playing content by an augmented reality application.
  • a preview mode for displaying an image input through a lens on a screen, and when the image to be shot in the preview mode is displayed, photographing the corresponding image by converting the image to an image file by operating a shooting button.
  • An image acquisition unit including a shooting mode;
  • a storage unit for automatically storing a moving image file and an image file obtained by the image obtaining unit
  • a mapping unit which maps the image and the video stored in the storage to each other;
  • An augmented reality processor for recognizing an image corresponding to a marker from an image obtained through the image acquisition unit, calling a video mapped to the image, and overlaying the video on the marker position in the preview state;
  • It includes a control unit for controlling the process of generating and playing content by the augmented reality application
  • the video acquisition unit is the preview mode, the video is saved when you press the shooting button and the video recording ends when you release the recording button.When you start pressing the recording button or release the recording button, the image (marker) is automatically saved. To save,
  • a video recording system By pressing the recording button to start the video recording and press again to end the recording of the video, while recording a video recording system provides an augmented reality content generation and playback system, characterized in that to obtain an image by pressing the recording button.
  • Another embodiment of the present invention includes a first step of photographing an image through a preview mode of an image acquisition unit;
  • the recording button is operated to obtain at least one image and video data, and to assign and store a unique key value, and to automatically save the video in a predetermined time range before and after the shooting point.
  • It provides a method for generating and playing augmented reality content comprising a sixth step of overlaying the called video on the marker position of the display unit to play.
  • the augmented reality content generation and playback system and the method according to the present invention has the following advantages.
  • the video is saved when you press the shooting button and the video recording ends when you release the recording button.You can automatically save an image (marker) when you press the recording button or when you release the recording button.
  • Pressing the recording button to start the video recording and press again to end the recording of the video recording while saving the video by pressing the recording button has the advantage that can easily create augmented reality content.
  • a plurality of marker images are automatically taken or a predetermined number of times during an initial predetermined time, or a plurality of marker images are automatically taken for a predetermined time before releasing the shooting button.
  • the resolution of the marker can be increased, and the quality of the marker can be checked and selected.
  • augmented reality content can be easily generated and reproduced by automatically extracting a marker through a general video file.
  • FIG. 1 is a view schematically showing the structure of an augmented reality content generating system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of generating content by the augmented reality content generating system shown in FIG. 1.
  • FIG. 3 is a block diagram schematically illustrating a structure of the controller shown in FIG. 1.
  • FIG. 4 is a diagram illustrating a process of actually generating content by the augmented reality content generating system shown in FIG. 2.
  • FIG. 5 is a diagram schematically illustrating a process of automatically storing a video of a predetermined time zone before and after a photographing time point when an image is obtained by operating a photographing button.
  • FIG. 6 is a menu window of the image acquisition unit shown in FIG. 1 and illustrates a menu for setting a method of storing a video when taking a picture.
  • FIG. 8 is a diagram schematically illustrating a process of automatically obtaining an image when recording of a video starts or ends in a method of starting recording of a video by pressing a recording button and ending saving of a video by pressing again.
  • FIG. 9 is a diagram schematically illustrating a process of obtaining an image by pressing a recording button while recording a video in a method of starting recording of a video by pressing a recording button and ending saving of a video by pressing again.
  • FIG. 10 is a diagram illustrating a corresponding menu of the control panel UI.
  • FIG. 11 is a diagram illustrating a process of automatically photographing a plurality of marker images during an initial predetermined time in order to obtain a high resolution image when an image is generated at the start of video recording.
  • FIG. 12 is a diagram illustrating a process of automatically photographing a plurality of marker images for a predetermined time before releasing the photographing button in order to obtain a high resolution image when an image is generated at the start of video recording.
  • FIG. 13 is a diagram illustrating a process of obtaining an image having the same resolution as a video when an image is generated at the start of video recording.
  • FIG. 14 is a diagram illustrating a UI of a control panel for selecting a resolution of a video and a resolution of an image.
  • FIG. 15 is a view to prevent the hassle of having to retake a video because the image quality of a plurality of markers is lowered, when the quality of a video is low.
  • FIG. 16 is a diagram illustrating a UI displayed on a screen to allow a user to select a desired image among a plurality of photographed images.
  • FIG. 17 is a diagram illustrating a process of selecting a desired image from an image displayed by pressing a video play button to select an image having excellent image quality.
  • FIG. 18 is a diagram illustrating a process of selecting an appropriate image from a plurality of still images in a process of playing a normal video.
  • FIG. 19 is a flowchart illustrating a method of playing content generated by the augmented reality content generating system shown in FIG. 1.
  • 20 is a diagram illustrating a process of actually playing content by an augmented reality content generating system.
  • 21 is a flowchart illustrating a method of generating augmented reality content by a video according to another embodiment of the present invention.
  • FIG. 22 is a diagram illustrating a process of generating content by the augmented reality content generating method illustrated in FIG. 21.
  • the augmented reality content generation and playback system 1 proposed by an embodiment of the present invention includes an image acquisition unit (3) for acquiring and displaying image and video information; A storage unit 4 for automatically classifying and storing the image obtained by the image acquisition unit 3 and the moving image information obtained for a predetermined time before and after the image capture time; A mapping unit 9 for mapping images and videos stored in the storage unit 4 to each other; An augmented reality processor (10) for calling a video mapped to the image by recognizing an image corresponding to the marker from the image obtained by the image obtaining unit (3), and overlaying the video at the marker position in the preview state; And a controller 11 for controlling a process of generating and playing content by an augmented reality application.
  • an image acquisition unit (3) for acquiring and displaying image and video information
  • a storage unit 4 for automatically classifying and storing the image obtained by the image acquisition unit 3 and the moving image information obtained for a predetermined time before and after the image capture time
  • a mapping unit 9 for mapping images and videos stored in the storage unit 4 to each other
  • the image acquisition unit 3 captures a real environment including a real object or a marker and obtains an image of the real environment from the real environment.
  • the image acquisition unit 3 may be a digital camera connected to an external computing device such as a computer, a webcam, or a camera embedded in a mobile communication device such as a smartphone.
  • an external computing device such as a computer, a webcam, or a camera embedded in a mobile communication device such as a smartphone.
  • any device capable of obtaining video digital information may be included, and such devices may be appropriately selected according to augmented reality content.
  • the image acquisition unit 3 may implement a preview mode and a photographing mode. That is, in the preview mode, the image data input through the camera lens is displayed through a display window such as an LED, so that the user can recognize the subject currently being shot by the camera. In addition, image data obtained in the preview mode may be stored in the storage unit 4.
  • the preview mode includes not only a state in which a video is displayed on the display but also a state in which a shape such as a square frame indicating that the screen is displayed on the display is displayed and the video is displayed in the square frame.
  • the photographing mode when an image to be photographed is displayed while the image is displayed on the screen in the preview mode, digital data of the corresponding image is obtained by touching the photographing button.
  • the preview mode and the shooting mode can be selected by the user through a menu window, and the mode can be switched and operated by the controller 11. Therefore, even while the video is being stored in the preview mode, the image can be obtained by pressing the shooting button in the shooting mode, and the image and the video can be stored at the same time.
  • the obtained photo and video data may be automatically stored in the image storage unit 7 and the video storage unit 5.
  • the storage unit 4 includes a memory of a conventional type such as a disk, a chip, and the like, and includes any medium that can store digital information and process it electronically. Therefore, the image and video data obtained through the image acquisition unit may be stored in this type of memory.
  • the image and video data is not simply stored in the storage unit 4, but before and after the video is stored on the basis of the photographing time point.
  • control unit 11 is a moving picture storage unit 4 is a video recorded at a predetermined time zone before and after the shooting time Will be automatically stored in the.
  • the user when the user recognizes the target object and presses the photographing button B1 while photographing the subject while the smartphone is in the preview state, the user acquires a photograph of the photographing point and at the same time before and after the photographing point.
  • the video of may also be automatically stored in the storage (4).
  • storing the video of the predetermined time before and after the shooting time can be processed by software such as a driving program mounted on the augmented reality application or the image acquisition unit 3 itself.
  • the front and rear time zones can be freely set by the user in the menu window as shown in FIG. 6.
  • the time display window may be touched to set the auto save time before shooting, or the auto save time after shooting.
  • the present invention is not limited to a method of automatically storing a video for a predetermined time before and after a photographing time, and the video may be stored in other ways.
  • the video can be automatically saved while the photographing button is pressed.
  • the image obtained by the shooting button is used as a marker, the shooting time for obtaining the image can be varied in various ways.
  • the time point at which the video and image capturing buttons are pressed may be changed in various ways. This may be performed by selecting a corresponding menu of the control panel UI as shown in FIG. 10.
  • the user can pop up the time setting menu in the menu window and appropriately set the video storage time.
  • the controller 11 transmits a signal to the mapping unit 9 to assign a unique key value to each data.
  • the DB search can be facilitated by converting and storing the image information into the Key value in the DB information.
  • the mapping unit 9 refers to a conventional mapping unit 9 and maps image data and video data one to one. That is, by connecting an image and a corresponding video to each other, when a specific image is designated, the video mapped to the image is called and played.
  • the image data obtained at the time of shooting and the moving picture data automatically stored at a predetermined time period before and after the shooting time are mapped to each other. Therefore, when the image at the time of shooting is specified, the video data of the front and rear time zones is automatically called and reproduced.
  • the mapping unit 9 also determines information required for matching the image with the video. That is, since information about a corresponding position, direction, and size of the video and the image is required, coordinates may be set in the image and the video, and the mapping information may be calculated and stored by the coordinate system.
  • the augmented reality content may be generated by storing the image and the video in the mapped state.
  • the image is printed and used as a marker.
  • the detection performance may be deteriorated.
  • a feature point may be added by adding a pattern such as a barcode to the edge of the captured image.
  • the augmented reality content may be reproduced by the augmented reality processing unit 10.
  • the augmented reality processor 10 includes a marker detector 15, a marker type recognition unit 17, a tracking unit 19, and an image display unit 13.
  • the marker detector 15 extracts a marker from the actual image recognized by the image acquirer 3, and detects the marker by comparing the feature point information of the marker stored in the storage 4.
  • markers may be used, and in this embodiment, an image printed in a paper form by a device such as a printer is used as the marker.
  • This paper-type image can be obtained in various ways.
  • a high resolution and a clear image can be obtained.
  • the resolution is relatively low. You have no choice but to obtain an image.
  • the resolution of the marker is lowered when the marker is obtained by generating an image during video recording, and the resolution is low when the image is output in the form of a paper, which is difficult to use as a marker.
  • the present invention provides a method for obtaining a clear image even when shooting a video.
  • a plurality of marker images are automatically photographed for an initial predetermined time in order to obtain a high resolution image.
  • the shooting button (B) when the shooting button (B) is pressed, the image is automatically taken for an initial predetermined time (t1) to obtain an image for the marker.
  • the video is automatically recorded while the shooting button (B) is pressed. Movie shooting ends.
  • one or more marker images may be photographed during the initial predetermined time t1, and the user may select an image desired by the user from a plurality of images in a marker selection process later.
  • a plurality of marker images may be automatically taken for a predetermined time before releasing the shooting button.
  • the recording button (B) when the recording button (B) is pressed, video recording starts and recording proceeds.
  • the image for the marker is automatically taken for a certain time (t1) before release. Can be. In this case, since at least one marker image is photographed, the user may select a good image quality among a plurality of images in the marker selection process later.
  • FIG. 13 illustrates a case where an image is generated at the same time as the moving image and the image when the image is generated at the start of moving image capturing.
  • the resolution of the video and the resolution of the image can be arbitrarily set by the menu panel (UI) displayed on the control panel as shown in FIG.
  • the number of shots of the image may be set to automatically photograph a plurality of sheets or may be set to shoot a predetermined number of images.
  • a UI is provided to allow a user to select a desired image among a plurality of captured images.
  • the photographed screen may be blurred due to lack of focus, and thus, the user may select a high quality image desired by the user.
  • a desired image may be selected from the displayed images by pressing the video play button.
  • it is appropriately processed by the software to display the video continuously played as a plurality of still images in the lower window of the screen.
  • the user can select a desired image from the plurality of images displayed in the window below the screen.
  • the marker image generation process may be generated even in a general video file. That is, instead of obtaining a marker image using a video file obtained by the apparatus for generating augmented reality content proposed in the present invention, a specific frame may be generated as a marker image from a general video photographed previously.
  • the present invention is not limited to this, the image is not outputted in the form of a paper by an external output device, the image on the display screen such as LCD (LCD) You can also mark the to act as a marker.
  • LCD LCD
  • the marker detector 15 may identify the printed image as a marker by comparing the printed image with the features of the marker stored in the storage unit 4 when the printed image is detected among the images recognized by the image acquisition unit 3. do.
  • the marker can be used in various forms.
  • the black and white lines are printed on the border to include a unique identification marker such as a geometric pattern or a bar code. It even includes a feature point.
  • the marker detector 15 may detect the marker by various methods, for example, using color information, line segment information, edge information, etc. of the actual object.
  • the marker type recognition unit 17 extracts and recognizes a marker ID matching the marker information stored in the storage unit 4 from the marker information detected by the marker detection unit 15.
  • the tracking unit 19 tracks the inclination, direction, and distance of each marker detected by the marker detection unit 15.
  • the tracking unit 19 may recognize the degree of inclination according to the shape of the marker, and the shape of each marker is previously defined according to various inclinations and stored in the storage unit 4 in advance.
  • a mapped video can be reproduced according to the tilt, direction, and distance of the photo.
  • the image display unit 13 overlays the video obtained by the marker detector 15, the type recognition unit 17, and the tracking unit 19 onto the picture (marker) displayed on the screen.
  • the picture on the wall is recognized, the picture is recognized as a marker, and the video mapped to the picture is called.
  • the called video may be overlaid by the image display unit 13 on the location of the picture in the smartphone.
  • the process of generating and playing the augmented reality content may be performed by the controller 11.
  • the control unit 11 includes an input module 30 to which a shooting button signal is input; When a signal is input from the input module 30, a signal is output to the storage unit 4 and the mapping unit 9 so as to set key values in the captured image and a video associated with the captured image, and store them in the storage unit 4.
  • a content generation module 32 for controlling;
  • a content reproduction module 34 for recognizing an image corresponding to a marker through the marker detector 15 when the augmented reality application is executed, and transmitting a signal to the mapping unit 9 to call a recognized picture and a mapped video;
  • an image display module 36 for reproducing the played video by overlaying the called video on the marker position of the display unit 13.
  • a signal generated when the photographing button such as a smartphone is operated is transmitted to the input module 30.
  • the content generation module 32 When the photographing button operation signal is input from the input module 30, the content generation module 32 outputs a signal to the storage unit 4 and the mapping unit 9. Therefore, the digital information on the image obtained in the photographing and the digital information on the moving picture associated with the image are automatically stored in the storage unit 4. At this time, a unique key value for identifying the image is assigned to the image information.
  • the content generation module 32 controls to store the video in the front and rear time zones as much as the input time based on the shooting time.
  • the content generation module 32 controls the image to be stored in the separate storage unit 4 in the state in which the unique key value is given by dividing the image at the time of shooting and the video image in the front and rear time zones.
  • the content generation module 32 may assign and store unique key values to a plurality of images for markers obtained through a separate menu board.
  • the UI setting screen may select three settings of automatic picture (marker) shooting at the start of video recording, automatic photo shooting at the end of video recording, and activation of marker shooting during video shooting.
  • an image for markers may be obtained by the process illustrated in FIGS. 7 to 9, and a unique key value is assigned to each image and stored.
  • the content generation module 32 may control to assign and store unique key values to a plurality of marker images having a high resolution obtained through the image acquisition unit.
  • the content generation module 32 may also assign unique key values to videos and images photographed to have the same resolution.
  • a unique key value may also be assigned and stored in an image for a marker using a specific frame obtained from a general video.
  • the controller 11 proceeds to play the augmented reality content through the content playback module 34.
  • the content playback module 34 executes the augmented reality application mounted first.
  • the augmented reality application when the image of the real environment is recognized by the image acquisition unit 3, the image corresponding to the marker is detected by the marker detection unit 15.
  • the signal is transmitted to the mapping unit 9 to call the recognized picture and the mapped video.
  • the image display module 36 controls to play the called video by overlaying it on the marker position of the display unit 13.
  • the storage unit 4 includes an image DB 7 storing image information, a video DB 5 storing video information, a mapping DB 25 storing mapping information, and a plurality of markers to be recognized. It includes a marker DB (23) for storing information about, and a virtual object DB (27) for storing information about a virtual object mapped to the marker stored in the marker DB.
  • the method for generating and playing augmented reality content includes: a first step (S10) of capturing an image through a preview mode of the image obtaining unit 3;
  • the method acquires an image by photographing a subject by setting the system 1 to the preview mode in the first step S10.
  • the acquired video data is continuously stored in the moving picture storage unit 4.
  • the photographed image data may be stored in the video storage unit 4.
  • the second step S20 proceeds.
  • the user when the user wants to take a picture of the subject, the user obtains image data by touching the photographing button of the system 1.
  • the controller 11 detects an operation signal of the photographing button and allows the data obtained at the time of photographing to be stored in the image storage unit 4. At this time, a unique key value is assigned to the image data.
  • moving image data for a predetermined time before and after the photographing time may be stored.
  • the video in the time zone 11:50 to 12:00 which is 10 minutes before 12; 00, and 12 which is 10 minutes after 12,00 Up to 10 minutes of video can be saved automatically.
  • the present invention is not limited to the method of obtaining augmented reality content by taking an image at the time of shooting and a video at a predetermined time before and after shooting, and may be variously modified.
  • the recording button B starts to be pressed (t1)
  • the video is stored, and when the user releases the shooting button B (t2), the video recording is ended.
  • a step for obtaining a higher resolution image file may be further performed.
  • the photographing button B when the photographing button B is pressed, an image is automatically photographed for an initial predetermined time t1 to obtain an image for a marker. While you hold down B), the video clip will be automatically recorded.
  • at least one marker image may be photographed during the initial predetermined time t1, and an image having a good image quality may be selected from a plurality of images.
  • the third step S30 of mapping the image and the video proceeds.
  • the controller 11 maps the image and the video to each other by transmitting a signal to the mapping unit 9.
  • the mapping information may be stored in the mapping database.
  • the user obtains a video and image data while photographing in the preview mode, and the image data and the video are mapped and stored.
  • augmented reality content can be easily generated.
  • the augmented reality content generated in this way can be reproduced in the following order.
  • the fourth step S40 is performed, and the user selects an appropriate image from the photographed images. That is, by touching the screen of the smartphone to pop up the images stored in the image database, it can be selected by touching the appropriate image.
  • the selected image is output in the form of a paper through an external output device such as a printer.
  • this paper-shaped image is used as a marker.
  • the image may be displayed in a popped-up state without outputting the paper in the form of a paper by the external output device.
  • a virtual object may be printed with black and white lines on an edge or printed with a barcode.
  • the fifth step S50 is performed.
  • a fifth step S50 when the augmented reality application is executed, the image is switched to the preview mode and an image of the area photographed by the lens is displayed on the screen.
  • the marker detector 15 detects a marker in the image data. That is, feature point information such as pixels of a photo output as a paper is compared with data stored in a database. Then, the video that is mapped to the picture is called.
  • the tracking unit 19 tracks the detected picture and recognizes the tilt, direction, distance, and the like of the picture.
  • the sixth step S60 of playing a video proceeds.
  • the picture on the wall is recognized, the picture is recognized as a marker, and the video mapped to the picture is called.
  • the called video may be overlaid by the image display unit 13 on the location of the picture in the smartphone.
  • the augmented reality content is generated by automatically storing the before and after video when photographing, but the present invention is not limited thereto, and the augmented reality content may be generated using the existing video as follows. .
  • the video file is stored in the system 1 (S70). Then, the application is driven to play the video file on the screen.
  • a frame to be used as a marker is selected and designated (S80). That is, by capturing a specific frame of the video played on the screen, the frame is stored in the form of an image file.
  • the captured frame may select a frame at any position of the entire video.
  • the captured image file may be generated as augmented reality content by being mapped with a corresponding video as a virtual object by setting a key value (S90).
  • the generated information may be stored.
  • the present invention relates to a technology for easily generating or playing back augmented reality content by a simple method of automatically storing a video or a marker for a certain time before and after while recording a video using only a mobile communication device such as a smart phone. It can be widely used in the related art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 증강현실 컨텐츠 생성 및 재생 시스템에 관한 것이다. 그러한 증강현실 컨텐츠 생성 및 재생 시스템은 렌즈를 통하여 입력되는 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 조작함으로써 해당 영상을 촬영하여 이미지 파일로 변환하는 촬영모드를 포함하는 영상 획득부와; 영상 획득부에서 촬영버튼을 누를 때 얻어진 이미지와, 촬영시점을 기준으로 일정 시간 동안 자동으로 얻어진 동영상 정보를 저장하는 저장부와; 저장부에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부와; 영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고 증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함한다.

Description

증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법
본 발명은 증강현실 컨텐츠 시스템 및 방법에 관한 것으로, 보다 상세하게는 스마트폰 등의 이동통신기기에 의하여 동영상을 촬영할 때 촬영시점 전후의 영상을 같이 자동저장하고, 마커도 같이 자동으로 저장함으로써 용이하게 증강현실 컨텐츠를 생성 및 재생할 수 있고, 이때 마커의 해상도를 높일 수 있고, 마커의 품질을 확인하여 선택할 수 있으며, 일반 동영상 파일을 통하여 마커를 자동으로 추출할 수 있는 증강현실 컨텐츠를 생성 및 재생 시스템 및 방법에 관한 것이다.
근래에는 가상현실 혹은 증강현실과 같이 가상의 오브제를 이용한 다양한 컨텐츠가 제안되고 있다.
일반적으로 가상 현실(Virtual Reality: VR)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어낸 가상공간으로서 실제와 유사하지만 실제가 아닌 특징이 있다.
그리고, 증강 현실(Augmented Reality: AR)은 가상 현실의 한 분야로서 실제 환경에 가상 오브제를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
이러한 증강 현실은 현실세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다.
따라서, 증강 현실에서는 사용자가 자신이 위치한 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
이와 같은 증강 현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 보다 실감있고 정확한 영상을 얻기 위해서는 가상 객체들을 화면에서 원하는 자리에 정확히 위치시켜야 한다. 이를 구현하기 위해서는 가상객체에 대한 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표값이 되어야 한다.
그런데, 문제는 카메라의 영상에서 현실 세계의 어떤 지점이나 물체에 대한 카메라의 3차원 좌표를 확보해야 하는데, 이를 위해서는 2대 이상의 카메라가 필요하므로 3차원 위치를 파악하기가 쉽지 않다.
따라서, 이에 대한 대책으로 증강 현실에서는 가상 객체를 위치시킬 마커(marker)를 현실 세계의 공간에 배치하고 상기 마커를 기준으로 상대적 좌표를 추출하여 가상 객체를 위치시킬 위치 및 자세를 추정하는 마커 기반 인식 기술을 이용하고 있다.
예를 들어, 고양이를 뜻하는 마커를 사용자가 임의로 만들고, 실제 고양이의 모습을 3차원 그래픽 이미지로 형상화한 3차원 가상 영상을 고양이 마커와 매칭시킨다. 이 마커를 컴퓨터에 연결된 카메라 등의 영상 인식 수단으로 인식하면, 컴퓨터 모니터에 고양이의 3차원 가상 영상이 나타나는 것이다.
이와 같이 증강현실 컨텐츠는 현실의 사진 오브제(Object)와 영상 오브제(Object)를 통하여 증강현실 컨텐츠를 생성하는 복잡한 과정을 거치게 된다.
즉, 현실 오브제인 이미지 컨텐츠를 생성하고, 가상 오브제인 영상 컨텐츠를 생성하고, 현실 Object(이미지)와 가상 Object(영상)를 매핑(Mapping)시킨 후, 이미지 컨텐츠를 인쇄한 후, 이를 마커로 인식함으로써 매핑된 영상 컨텐츠를 호출하여 재생하는 과정을 거치게 된다.
이와 같이, 종래의 증강현실 컨텐츠 생성 및 재생 시스템은 카메라 등 이미지 및 동영상을 얻기 위한 장비와, 컨텐츠를 재생하기 위한 장비 등 다양한 장비를 갖추어야 하므로 컨텐츠 제작비용이 많이 소요되는 문제점이 있다.
또한, 이러한 다양한 장비들을 이용하여 증강현실 컨텐츠를 생성 및 재생하는 과정도 복잡하므로 일반인들이 용이하게 제작하기 어려운 문제점이 있다.
따라서, 본 발명은 상기한 문제를 해결하기 위하여 제안된 것으로서, 본 발명의 과제는 스마트폰 등 간단한 이미지 및 영상획득장비에 의하여 촬영버튼을 조작하는 간단한 과정에 의하여 증강현실 컨텐츠를 용이하게 생성할 수 있는 시스템 및 방법을 제공하는 것이다.
또한, 본 발명은 증강현실 컨텐츠를 제작하기 위하여 동영상을 촬영할 때 촬영시점 전후의 동영상을 자동으로 저장하거나, 마커의 저장시점을 다양하게 선택할 수 있으며, 마커의 해상도를 높일 수 있고, 마커의 품질을 확인하여 선택할 수 있으며, 일반 동영상 파일을 통하여 마커를 자동으로 추출함으로써 용이하게 생성할 수 있는 시스템 및 방법을 제공하는 것이다.
본 발명은 상기와 같은 과제를 해결하기 위하여 제안된 것으로, 본 발명의 일 실시예는, 렌즈를 통하여 입력되는 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 조작함으로써 해당 영상을 촬영하여 이미지 파일로 변환하는 촬영모드를 포함하는 영상 획득부와;
영상 획득부에서 촬영버튼을 누를 때 얻어진 이미지와, 촬영시점을 기준으로 일정 시간 동안 자동으로 얻어진 동영상 정보를 저장하는 저장부와;
저장부에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부와;
영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하는 증강현실 컨텐츠 생성 및 재생 시스템을 제공한다.
본 발명의 다른 실시예는, 렌즈를 통하여 입력되는 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 조작함으로써 해당 영상을 촬영하여 이미지 파일로 변환하는 촬영모드를 포함하는 영상 획득부와;
영상 획득부에서 얻어진 동영상 파일과 이미지 파일을 자동으로 저장하는 저장부와;
저장부에 저장되는 이미지 및 동영상을 서로 맵핑시키는 매핑부와;
영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 맵핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하며,
영상 획득부는 프리뷰 상태에서, 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우로서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장하거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템을 제공한다.
본 발명의 또 다른 실시예는, 영상 획득부의 프리뷰 모드를 통하여 영상을 촬영하는 제 1단계와;
프리뷰 모드에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 작동하여 적어도 하나 이상의 이미지 및 동영상 데이터를 얻고 고유의 키값을 부여하여 저장하며, 촬영시점의 전후 소정 시간 범위의 동영상도 자동으로 저장하고, 촬영된 이미지중 높은 해상도의 이미지를 얻기 위한 제 2단계와;
저장된 이미지를 매핑부에 의하여 동영상과 서로 매핑하고, 매핑정보를 저장하는 제 3단계와;
촬영된 이미지를 인쇄하는 제 4단계와;
증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 사진을 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 제 5단계와; 그리고
호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 제 6단계를 포함하는 증강현실 컨텐츠 생성 및 재생방법을 제공한다.
상기한 바와 같이, 본 발명에 따른 증강현실 컨텐츠 생성 및 재생시스템과 그 방법은 다음과 같은 장점이 있다.
첫째, 스마트폰과 같은 대중화된 영상획득장치의 촬영버튼을 눌러서 동영상을 촬영하는 도중에, 촬영버튼을 조작하는 간단한 동작에 의하여 이미지를 얻고, 또한 촬영버튼을 누르는 시점을 기준으로 전후 일정 시간 동안의 동영상을 자동으로 저장하여 이미지와 매핑시키는 간단한 과정에 의하여 증강현실 컨텐츠를 용이하게 생성 및 재생할 수 있음으로 일반인들이 복잡한 장비 및 절차 없이도 스마튼폰만에 의하여 용이하게 증강현실 컨텐츠를 제작할 수 있는 장점이 있다.
둘째, 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우로서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장할 수 있거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻을 수 있거나,
촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있어서 증강현실 컨텐츠를 용이하게 생성할 수 있는 장점이 있다.
셋째, 높은 해상도의 이미지를 얻기 위하여 초기 일정 시간 동안 마커용 이미지를 자동으로 복수매 혹은 소정 매수만큼 촬영하거나, 촬영버튼에서 손을 떼기 전 일정 시간동안 마커용 이미지를 자동으로 복수매 촬영하고, 1개이상의 이미지중 화질이 좋은 이미지를 선택함으로써 마커의 해상도를 높일 수 있고, 마커의 품질을 확인하여 선택할 수 있다.
넷째, 일반 동영상 파일을 통하여 마커를 자동으로 추출함으로써 용이하게 증강현실 컨텐츠를 생성 및 재생할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 컨텐츠 생성 시스템의 구조를 개략적으로 보여주는 도면이다.
도 2는 도 1에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 컨텐츠를 생성하는 방법을 보여주는 순서도이다.
도 3은 도 1에 도시된 제어부의 구조를 개략적으로 보여주는 블럭도이다.
도 4는 도 2에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 실제로 컨텐츠를 생성하는 과정을 보여주는 도면이다.
도 5는 촬영버튼을 작동시켜서 이미지를 얻을 때, 촬영시점을 기준으로 전후 소정 시간대의 동영상이 자동으로 저장되는 과정을 개략적으로 보여주는 도면이다.
도 6은 도 1에 도시된 영상획득부의 메뉴창으로서, 사진 촬영시 동영상이 저장되는 방식을 설정하기 위한 메뉴를 보여주는 도면이다.
도 7은 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우에 있어서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장하는 과정을 개략적으로 보여주는 도면이다.
도 8은 촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식에 있어서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻는 과정을 개략적으로 보여주는 도면이다.
도 9는 촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식에 있어서, 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있는 과정을 개략적으로 보여주는 도면이다.
도 10은 제어판 UI의 해당 메뉴를 보여주는 도면이다.
도 11은 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 높은 해상도의 이미지를 얻기 위하여 초기 일정 시간 동안 마커용 이미지를 자동으로 복수매 촬영하는 과정을 보여주는 도면이다.
도 12는 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 높은 해상도의 이미지를 얻기 위하여, 촬영버튼에서 손을 떼기 전 일정 시간동안 마커용 이미지를 자동으로 복수매 촬영하는 과정을 보여주는 도면이다.
도 13은 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 동영상과 동일한 해상도의 이미지를 얻는 과정을 보여주는 도면이다.
도 14는 동영상의 해상도 및 이미지의 해상도를 선택하기 위한 제어판의 UI를 보여주는 도면이다.
도 15는 동영상의 화질이 낮은 경우, 복수개의 마커용 이미지 전체 혹은 일부 이미지의 화질도 낮게 되므로 동영상을 다시 촬영하여야 하는 번거로움을 방지하고자 하는 도면이다.
도 16은 촬영된 복수의 이미지중 사용자가 원하는 이미지를 선택할 수 있도록 화면상에 표시된 UI를 보여주는 도면이다.
도 17은 우수한 화질의 이미지를 선택하기 위하여 동영상 재생버튼을 눌러서 디스플레이되는 영상중 원하는 이미지를 선택하는 과정을 보여주는 도면이다.
도 18은 일반 동영상을 재생하는 과정에서 복수의 정지 이미지중 적절한 이미지를 선택하는 과정을 보여주는 도면이다.
도 19는 도 1에 도시된 증강현실 컨텐츠 생성 시스템에 의하여 생성된 컨텐츠를 재생하는 방법을 보여주는 순서도이다.
도 20은 증강현실 컨텐츠 생성 시스템에 의하여 실제로 컨텐츠를 재생하는 과정을 보여주는 도면이다.
도 21은 본 발명의 다른 실시예로서, 동영상에 의한 증강현실 컨텐츠를 생성하는 방법을 보여주는 순서도이다.
도 22는 도 21에 도시된 증강현실 컨텐츠 생성방법에 의하여 컨텐츠를 생성하는 과정을 보여주는 도면이다.
이하, 본 발명에 따른 증강현실 컨텐츠 생성 및 재생 시스템과 이를 이용한 방법을 첨부된 도면에 의하여 상세하게 설명한다.
도 1 내지 도 5에 도시된 바와 같이, 본 발명의 일 실시예가 제안하는 증강현실 컨텐츠 생성 및 재생 시스템(1)은 이미지 및 동영상정보를 획득하고 화면에 표시하는 영상 획득부(3)와; 영상 획득부(3)에 의하여 얻어진 이미지와, 이미지 촬영시점을 기준으로 전후 일정 시간동안 얻어진 동영상 정보를 구분하여 자동으로 저장하는 저장부(4)와; 저장부(4)에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부(9)와; 영상 획득부(3)를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식함으로써 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부(10)와; 그리고 증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부(11)를 포함한다.
이러한 구조를 갖는 증강현실 컨텐츠 생성 시스템(1)에 있어서, 영상 획득부(3)는 실제 객체 또는 마커를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상을 얻는다.
이 영상 획득부(3)는 컴퓨터 등의 외부 연산장치와 연결되는 디지털 카메라, 또는 웹캠(webcam)이거나, 스마트폰과 같은 이동 통신기기에 내장된 카메라일 수 있다. 이외에도 영상 디지털 정보를 얻을 수 있는 장비는 모두 포함할 수 있으며, 이러한 장비들은 증강현실 컨텐츠에 따라 적절하게 선택되어 질 수 있다.
이러한 영상 획득부(3)는 프리뷰 모드(Preview mode)와, 촬영모드가 구현가능하다. 즉, 프리뷰 모드에서는 카메라 렌즈를 통하여 입력되는 영상 데이터가 엘이디 등의 표시창을 통하여 표시됨으로써 사용자는 현재 카메라가 촬영하고 있는 피사체를 인식할 수 있다. 또한, 프리뷰 모드에서 얻어지는 영상 데이터는 저장부(4)에 저장될 수 있다.
이때, 프리뷰모드는 디스플레이상에 단순히 동영상이 표시되는 상태 뿐만 아니라, 디스플레이상에 화면임을 나타내는 사각틀 등의 형상이 표시되고 그 사각틀내에 동영상이 표시되는 상태도 포함한다.
예를 들어 디지털 카메라의 경우 화면이 표시되는 프리뷰 모드가 없이도 단순히 디스플레이상에 동영상이 표시되는 상태에서도 촬영이 가능하다.
그리고, 촬영모드에서는 프리뷰 모드 상태에서 화면상에 영상이 표시되는 중에 촬영하고자 하는 이미지가 표시되면 촬영버튼을 터치함으로써 해당 이미지에 대한 디지털 데이터를 얻게 된다.
예를 들면, 도 4에 도시된 바와 같이, 스마트폰의 프리뷰 상태에서 거리 장면을 촬영하는 중에, 어린이가 화면에 표시되면 촬영버튼을 눌러서 어린이에 대한 이미지를 얻게 되는 것이다.
이때 프리뷰 모드와 촬영모드는 사용자가 메뉴창 등으로 통하여 선택할 수 있으며, 제어부(11)에 의하여 모드 전환 및 작동이 가능하다. 따라서, 프리뷰 모드상태에서 동영상이 저장되는 도중에도 촬영모드에서 촬영버튼을 눌러서 이미지를 얻을 수 있으며, 이미지와 동영상이 동시에 저장될 수 있다.
이와 같이, 얻어진 사진 및 동영상 데이터는 이미지 저장부(7) 및 동영상 저장부(5)에 자동으로 저장될 수 있다.
이때, 저장부(4)는 디스크, 칩 등과 같은 통상적인 형태의 메모리를 포함하며, 디지털 정보를 저장하여 전자적으로 처리할 수 있는 매체이면 모두 포함한다. 따라서, 이러한 형태의 메모리에는 영상 취득부를 통하여 얻어진 이미지 및 동영상 데이터가 저장될 수 있다.
이때, 이미지 및 동영상 데이터가 저장부(4)에 단순히 저장되는 것은 아니고 촬영시점을 기준으로 전후의 동영상이 저장된다.
즉, 도 5에 도시된 바와 같이, 사용자가 촬영버튼(B1)을 작동시켜서 이미지를 얻을 때, 제어부(11)는 이 촬영시점을 기준으로 전후 소정 시간대에 촬영된 동영상이 동영상 저장부(4)에 자동으로 저장되도록 제어하게 된다.
예를 들면, 촬영 버튼을 눌러서 피사체를 촬영하는 시간이 12:00이라면, 12;00를 기준으로 10분 전인 11:50분 부터 12:00까지 시간대의 동영상과, 12:00부터 10분 후인 12:10분 까지 시간대의 동영상이 자동으로 저장될 수 있다.
결과적으로, 사용자는 스마트폰을 프리뷰 상태로 하여 피사체를 촬영하는 중에, 대상 객체를 인식하여 촬영버튼(B1)을 누르게 되면, 이 촬영시점의 사진을 얻음과 동시에, 촬영시점을 기준으로 전후 일정 시간대의 동영상도 저장부(4)에 자동으로 저장될 수 있다.
그리고, 촬영시점을 기준으로 전후 소정 시간대의 동영상을 저장하는 것은 증강현실 어플리케이션이나 영상 획득부(3) 자체에 탑재된 구동 프로그램 등의 소프트웨어에 의하여 처리가능하다.
이때, 전후 시간대는 도 6에 도시된 바와 같이 사용자가 메뉴창에서 자유롭게 설정할 수 있다.
즉, 시간 표시창을 터치하여 촬영전 동영상 자동저장 시간을 설정하거나, 촬영후 동영상 자동저장 시간을 설정할 수 있다.
그리고, 본 발명은 상기한 바와 같이 촬영 시점의 전후 일정 시간 동안의 동영상을 자동으로 저장하는 방식에 한정되는 것은 아니고 다른 방식으로도 동영상이 저장될 수 있다.
예를 들면, 메뉴창에 표시된 바와 같이 촬영 버튼을 누르고 있는 동안에 동영상이 자동으로 저장될 수 있도록 할 수 있다.
이와 같이 동영상의 자동저장 조건이 촬영시점의 전후인지, 혹은 촬영버튼을 누르고 있는 동안인지는 사용자가 작업환경에 따라 적절하게 선택할 수 있다.
아울러, 촬영버튼에 의하여 얻어진 이미지는 마커로 사용되는 바, 이미지를 얻기 위한 촬영시점들 다양하게 변동하여 실시할 수 있다.
예를 들면, 도 7에 도시된 바와 같이, 촬영버튼(B)을 누르기 시작할 때(t1) 동영상이 저장되고 촬영버튼(B)에서 손을 뗄때(t2) 동영상 저장이 종료되는 경우로서, 촬영버튼(B)을 누르기 시작할 때(t1) 혹은 촬영버튼(B)에서 손을 뗄때(t2) 이미지(마커)를 자동으로 저장할 수 있으며, 이는 선택할 수 있다.
혹은 도 8에 도시된 바와 같이, 촬영버튼(B)을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작(t1) 또는 종료될 때(t2) 이미지를 자동으로 얻을 수 있으며, 이는 선택할 수 있다.
혹은 도 9에 도시된 바와 같이, 촬영버튼(B)을 눌러서 동영상 저장을 시작하고(t1) 다시 누를 때(t2) 동영상의 저장을 종료하는 방식으로서, 동영상 저장중일 때 촬영버튼(B1)을 누름으로써 이미지를 얻을 수 있다.
상기한 바와 같이 동영상 및 이미지 촬영버튼을 누르는 시점을 다양하게 변경하여 실시할 수 있으며, 이는 도 10에 도시된 바와 같은 제어판 UI의 해당 메뉴를 선택함으로써 진행될 수 있다.
상기와 같이, 사용자는 메뉴창에서 시간설정 메뉴를 팝업시키고 동영상 저장시간을 적절하게 설정할 수 있다.
다시 도 1 내지 도 6을 참조하면, 이미지 및 동영상이 저장될 때 제어부(11)는 매핑부(9)에 신호를 전송함으로써 각 데이터마다 고유한 키값(Key)을 부여하게 된다.
이와 같이 키값을 부여함으로써 마커와 동영상 매핑 정보가 DB 에 저장될 때, DB 정보에 이미지 정보를 Key 값으로 변환하여 저장함으로써 DB 검색을 용이하게 할 수 있다.
이러한 매핑부(9)는 통상적인 매핑부(9)를 의미하며, 이미지 데이터와 동영상 데이터를 서로 일대일로 매핑하게 된다. 즉, 이미지와 이에 대응하는 동영상을 서로 연결함으로써, 특정 이미지를 지정하면 이에 매핑된 동영상이 호출되어 재생되는 과정이다.
본 발명에서는 촬영시점에서 얻어진 이미지 데이터와, 촬영시점을 기준으로 전후 일정 시간대에 자동으로 저장된 동영상 데이터가 서로 매핑된다. 따라서, 촬영시점의 이미지를 지정하면, 전후 시간대의 동영상 데이터가 자동으로 호출되어 재생되는 방식이다.
이러한 매핑부(9)에서는 이미지와 동영상의 매칭시 요구되는 정보들도 결정하게 된다. 즉, 동영상 및 이미지의 대응되는 위치, 방향, 크기에 관한 정보가 요구되는 바, 이미지와 동영상에 좌표를 설정하고, 이 좌표계에 의하여 매핑정보를 연산하고 저장할 수 있다.
이와 같이 이미지 및 동영상이 매핑된 상태에서 저장됨으로써 증강현실 컨텐츠가 생성될 수 있다.
이때, 촬영된 이미지의 특징점이 적을 경우, 후술하는 바와 같이 이미지를 인쇄하여 마커로 사용하는 바, 마커 검출부에 의하여 이미지를 촬영할 때 특징점이 적으면 검출 성능이 떨어질 수 있다.
따라서, 이러한 문제를 해결하기 위하여 촬영된 이미지의 테두리에 바코드와 같은 패턴을 추가함으로써 특징점을 부가할 수 있다.
그리고, 이러한 증강현실 컨텐츠는 상기한 증강현실 처리부(10)에 의하여 재생될 수 있다. 이러한 증강현실 처리부(10)는 마커 검출부(15)와, 마커 종류 인식부(17)와, 트래킹부(19)와, 영상 표시부(13)를 포함한다.
마커 검출부(15)는 영상 획득부(3)를 통해 인식된 실제 영상으로부터 마커를 추출하고, 저장부(4)에 저장된 마커의 특징점 정보와 비교하여 마커를 검출한다.
이때, 마커는 다양한 형태의 것이 사용될 수 있으며, 본 실시예에서는 마커로서 프린터와 같은 장치에 의하여 페이퍼 형태로 인쇄된 이미지를 사용한다.
이러한 페이퍼 형태의 이미지는 다양한 방식으로 얻을 수 있는 바, 이미지 촬영 모드상태에서 촬영하면 해상도도 높고 화질이 선명한 이미지를 얻을 수 있으나, 반대로 동영상 촬영 모드에서 마커용 이미지를 얻는 경우에는 상대적으로 해상도가 낮은 이미지를 얻을 수 밖에 없다.
즉, 동영상의 경우 1초에 30프레임(frame)이상을 촬영하기 때문에 이미지 촬영에 비하여 해상도가 낮은 것이 통상적이다.
따라서, 동영상 촬영중에 이미지를 얻어서 마커를 생성할 경우 마커의 해상도가 낮아지고, 이러한 이미지를 페이퍼 형태로 출력하는 경우 해상도가 낮을 수 밖에 없어서 마커로 활용하기 어렵다.
이러한 점을 고려하여 본 발명에서는 동영상 촬영시에도 선명한 이미지를 얻을 수 있는 방법을 제공한다.
이때, 이미지가 저장되는 방식 관련하여, 이미지의 해상도가, 동영상 해상도 보다 높게 설정되어 있다면, 촬영 이미지 자체가 저장되어야 하며,
동영상과 이미지 해상도가 동일하다고 하면, 이미지 자체를 저장하는 방법 외에, 이미지 촬영버튼을 눌렀을때의 동영상 frame 위치만을 저장하여 나중에 frame 위치로 해당 이미지를 찾는 방식도 가능하다.
이와 같이 높은 해상도의 이미지를 얻는 방법을 도 11에 의하여 설명한다.
도시된 바와 같이, 동영상 촬영 시작시 이미지가 생성되는 경우로서, 높은 해상도의 이미지를 얻기 위하여 초기 일정 시간 동안 마커용 이미지를 자동으로 복수매 촬영하게 된다.
즉, 촬영버튼(B)을 누르면 초기 일정 시간(t1)동안 이미지가 자동으로 촬영됨으로써 마커용 이미지를 얻을 수 있고, 촬영버튼(B)을 누르고 있는 동안은 동영상이 자동으로 촬영되며, 손을 떼면 동영상 촬영이 종료된다.
이때, 초기 일정 시간(t1) 동안 마커용 이미지가 1장 이상 촬영될 수 있으며, 사용자는 추후 마커 선택과정에 있어서 다수의 이미지중 사용자가 원하는 이미지를 선택할 수 있다.
반대로 도 12에 도시된 바와 같이, 촬영버튼에서 손을 떼기 전 일정 시간동안 마커용 이미지를 자동으로 복수매 촬영할 수도 있다.
즉, 촬영버튼(B)을 누르면 동영상 촬영이 시작되어 촬영이 진행되고, 동영상 촬영을 종료하기 위하여 촬영버튼(B)에서 손을 떼면 떼기 일정 시간(t1) 전 동안 마커용 이미지가 자동으로 촬영될 수 있다. 이때에도 마커용 이미지가 1장 이상 촬영됨으로써 사용자는 추후 마커 선택과정에서 다수의 이미지중 화질이 좋은 이미지를 선택할 수 있다.
그리고, 도 13은 동영상 촬영 시작시 이미지가 생성되는 경우에 있어서, 동영상과 이미지가 동일한 해상도를 갖는 경우를 보여준다.
이 경우 마커와 동영상의 해상도가 동일하기 때문에 별도로 해상도가 높은 사진 촬영이 필요 없으며, 다만, 마커의 해상도가 동영상의 해상도 보다 높을 경우, 사진촬영은 상기한 도 11 및 도 12의 경우와 같이 수행될 수 있다.
그리고, 이러한 동영상의 해상도 및 이미지의 해상도는 도 14에 도시된 바와 같이 제어판에 표시되는 메뉴판(UI)에 의하여 임의로 설정할 수 있다.
아울러, 이미지의 촬영매수는 복수매가 임의로 자동 촬영되도록 설정하거나, 소정 매수로 촬영되도록 설정할 수 있다.
한편, 상기한 바와 같이 동영상을 촬영하면서 초기 일정시간 동안, 혹은 후기 일정시간 동안, 혹은 동영상 촬영과 동시에 마커용 이미지를 촬영하는 경우, 도 15에 도시된 바와 같이 동영상의 화질이 낮은 경우, 복수개의 마커용 이미지 전체 혹은 일부 이미지의 화질도 낮게 되므로 동영상을 다시 촬영하여야 한다.
이러한 경우 도 14에 도시된 바와 같이, 촬영된 복수의 이미지중 사용자가 원하는 이미지를 선택할 수 있도록 UI를 제공한다.
즉, 화면상에 디스플레이된 복수의 이미지중 촬영된 화면이 초점이 맞지 않아서 흐리게 나올수도 있음으로 사용자가 원하는 높은 화질의 이미지를 선택할 수도 있다.
혹은 도 17에 도시된 바와 같이, 동영상 재생버튼을 눌러서 디스플레이되는 영상중 원하는 이미지를 선택할 수도 있다. 이때, 동영상 재생버튼을 누른 상태에서 일측으로 드래그하는 경우, 연속으로 재생되는 동영상이 화면의 아래창에 복수의 정지 이미지로 표시되도록 하는 것은 소프트웨어에 의하여 적절하게 처리될 수 있다.
따라서, 사용자는 화면 아래창에 표시된 다수의 이미지중 원하는 이미지를 선택할 수 있다.
그리고, 이러한 마커용 이미지 생성과정은 일반적인 동영상 파일에서도 생성할 수 있다. 즉, 본 발명에서 제안하는 증강현실 컨텐츠 생성장치에 의하여 얻어진 동영상 파일을 이용하여 마커용 이미지를 얻는 것이 아니라 기존에 촬영된 일반 동영상에서 특정 프레임(frame)을 마커용 이미지로 생성할 수도 있다.
그 과정은 상기한 과정과 유사하다. 즉 도 18에 도시된 바와 같이, 동영상 재생버튼을 눌러서 일반 동영상을 재생하고, 동영상 재생버튼을 누른 상태에서 일측으로 드래그하는 경우, 연속으로 재생되는 동영상이 화면의 아래창에 복수의 정지 이미지로 표시되도록 하며, 아래팡에 표시된 복수의 이미지중 적절한 이미지를 선택할 수 있다.
한편, 상기에서는 이미지를 페이퍼 형태로 출력하는 경우에 의하여 설명하였지만, 본 발명은 이에 한정되는 것은 아니고 이미지를 외부 출력장치에 의하여 페이퍼 형태로 출력하지 않고, 이미지를 엘씨디(LCD)와 같은 디스플레이 화면상에 표시하여 마커로 동작할 수도 있다.
따라서, 마커 검출부(15)는 영상 획득부(3)를 통하여 인식되는 영상 중, 인쇄된 이미지가 검출되면 이를 저장부(4)에 저장된 마커의 특징들과 비교함으로써 인쇄된 이미지가 마커임을 파악하게 된다.
마커는 이와 같이 인쇄된 이미지 형태 이외에도 다양한 형태가 사용될 수 있는 바, 테두리에 흑백라인이 인쇄되어 기하학 문양이나 일정한 패턴을 이루는 바코드와 같은 고유 식별마커를 포함함은 물론, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)까지 포함한다.
또한, 마커 검출부(15)는 다양한 방식에 의하여 마커를 검출할 수 있으며, 예를 들면, 실제 객체의 색상 정보, 선분 정보, 에지(edge) 정보 등을 이용하여 검출할 수 있다.
그리고, 마커 종류 인식부(17)는 마커 검출부(15)를 통해 검출된 마커 정보로부터 저장부(4)에 저장된 마커 정보와 매칭되는 마커의 종류(ID)를 추출하여 인식한다.
그리고, 트래킹부(19)는 마커 검출부(15)를 통해 검출된 각 마커의 기울기, 방향, 거리를 추적한다.
이때, 트래킹부(19)는 마커의 모양에 따라 기울기 정도를 인식할 수 있는데, 각 마커의 모양은 사전에 여러 기울기에 따라 미리 정의하여 저장부(4)에 저장해 둔다.
따라서, 촬영시 얻어진 사진을 마커로 활용하는 바, 이 사진의 기울기, 방향, 거리 정보를 트래킹함으로써, 매핑되어 호출되는 동영상도 이 사진의 기울기, 방향, 거리에 맞추어서 재생되도록 할 수 있다.
그리고, 영상표시부(13)는 이와 같이 마커 검출부(15), 종류 인식부(17), 트래킹부(19)에 의하여 얻어진 동영상을 화면상에 표시된 사진(마커)에 오버레이하게 된다.
예를 들면, 도 20에 도시된 바와 같이, 스마트폰으로 벽체를 촬영하는 중에, 벽에 걸린 사진이 인식되면 이 사진을 마커로 인식하게 되고, 이 사진에 매핑된 동영상을 호출하게 된다. 그리고, 호출된 동영상은 영상 표시부(13)에 의하여 스마트폰의 화면속 사진 위치에 오버레이될 수 있다.
결국, 스마트폰의 화면상에서 벽체가 배경화면으로 표시되는 중에 사진 위치에는 매핑된 동영상이 별도로 재생됨으로써 증강현실과 같은 환경이 구현될 수 있다.
한편, 상기한 바와 같이 증강현실 컨텐츠를 생성 및 재생하는 과정은 제어부(11)에 의하여 진행될 수 있다.
이러한 제어부(11)는 도 3에 도시된 바와 같이, 촬영버튼 신호가 입력되는 입력모듈(30)과; 입력모듈(30)로부터 신호가 입력되면 저장부(4) 및 매핑부(9)에 신호를 출력함으로써 촬영된 이미지와, 촬영된 이미지와 연관된 동영상에 키값을 설정하여 저장부(4)에 저장하도록 제어하는 컨텐츠 생성모듈(32)과; 증강현실 어플리케이션이 실행되면 마커 검출부(15)를 통하여 마커에 해당하는 이미지를 인식하고, 매핑부(9)에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 컨텐츠 재생모듈(34)과; 그리고 호출된 동영상을 표시부(13)의 마커위치에 오버레이하여 재생시키는 영상표시모듈(36)을 포함한다.
보다 상세하게 설명하면, 스마트폰 등의 촬영버튼이 작동할 때 발생하는 신호는 입력모듈(30)로 전송된다.
그리고, 입력모듈(30)로부터 촬영버튼 작동 신호가 입력되면 컨텐츠 생성모듈(32)은 저장부(4) 및 매핑부(9)에 신호를 출력한다. 따라서, 촬영에서 얻어진 이미지에 대한 디지털 정보와, 이미지와 연관된 동영상에 대한 디지털 정보를 자동으로 저장부(4)에 저장하도록 제어한다. 이때, 이미지 정보에는 이미지를 식별할 수 있는 고유의 키값이 부여된다.
또한, 컨텐츠 생성모듈(32)은 사용자가 메뉴판을 통하여 저장시간을 입력하면, 촬영시간을 기준으로 입력된 시간만큼의 전후 시간대의 동영상이 저장되도록 제어한다.
그리고, 컨텐츠 생성모듈(32)은 촬영시점의 이미지와 전후 시간대의 동영상 이미지를 각각 구분하여 고유의 키값을 부여한 상태에서 별도의 저장부(4)에 저장될 수 있도록 제어한다.
혹은, 컨텐츠 생성모듈(32)은 별도의 메뉴판을 통하여 얻어진 마커용 다수의 이미지에 각각 고유키값을 부여하여 저장할 수 있다.
즉, 도 10에 도시된 바와 같이, UI 설정화면은 동영상 촬영 시작시 자동 사진(마커)촬영, 동영상 촬영 종료시 자동 사진촬영, 동영상 촬영중 마커 촬영 활성화의 3가지 설정을 선택할 수 있다.
그리고, 상기 3가지의 메뉴를 선택하는 경우, 도 7 내지 도 9에 도시된 과정에 의하여 마커용 이미지가 얻어질 수 있고, 각 이미지에 고유키값을 부여하여 저장한다.
혹은, 컨텐츠 생성모듈(32)은 영상획득부를 통하여 얻은 해상도가 높은 다수의 마커용 이미지들에 고유키값을 부여하여 저장하도록 제어할 수 있다.
즉, 도 11에 도시된 바와 같이, 동영상 촬영 시작시 이미지가 생성되는 경우로서, 높은 해상도의 이미지를 얻기 위하여 초기 일정 시간 동안 마커용 이미지를 자동으로 복수매 촬영하여 얻어진 다수의 이미지에 고유키값을 부여할 수 있다.
혹은, 도 12와 같이 동영상 촬영 시작시 이미지가 생성되는 경우로서, 높은 해상도의 이미지를 얻기 위하여, 촬영버튼에서 손을 떼기 전 일정 시간동안 마커용 이미지를 자동으로 복수매 촬영하여 얻어진 이미지에 고유키값을 부여할 수 있다.
혹은, 도 16및 도 17에 도시된 바와 같이, 컨텐츠 생성모듈(32)은 동일한 해상도를 갖도록 촬영된 동영상과 이미지에도 각각 고유키값을 부여하여 저장할 수도 있다.
혹은 도 18에 도시된 바와 같이, 일반 동영상에서 얻어진 특정 프레임(frame)을 이용한 마커용 이미지에도 고유키값을 부여하여 저장할 수 있다.
이와 같이 증강현실 컨텐츠가 생성되면, 제어부(11)는 컨텐츠 재생모듈(34)을 통하여 증강현실 컨텐츠를 재생하는 작업을 진행하게 된다.
즉, 컨텐츠 재생모듈(34)은 우선 탑재된 증강현실 어플리케이션을 실행한다. 증강현실 어플리케이션이 실행된 상태에서, 영상 획득부(3)를 통하여 현실 환경에 대한 영상이 인식되면 마커 검출부(15)를 통하여 마커에 해당하는 이미지를 검출하게 된다. 그리고, 해당 이미지가 검출되면, 매핑부(9)에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하게 된다.
이와 같이 매핑된 동영상이 호출되면 영상 표시모듈(36)은 호출된 동영상을 표시부(13)의 마커위치에 오버레이하여 재생시키도록 제어한다.
한편, 저장부(4)는 이미지 정보를 저장하는 이미지 DB(7)와, 동영상 정보를 저장하는 동영상 DB(5)와, 매핑정보를 저장하는 매핑DB(25)와, 인식하고자 하는 복수의 마커에 대한 정보를 저장한 마커 DB(23)와, 마커 DB에 저장된 마커와 매핑되는 가상 객체에 관한 정보를 저장한 가상 객체 DB(27)를 포함한다.
이하, 본 발명의 일 실시예에 따른 증강현실 시스템을 이용하여 컨텐츠를 생성 및 재생방법에 대하여 더욱 상세하게 설명한다.
도 1, 도 2, 도 4, 도 20에 도시된 바와 같이, 증강현실 컨텐츠 생성 및 재생방법은, 영상 획득부(3)의 프리뷰 모드를 통하여 영상을 촬영하는 제 1단계(S10)와;
촬영버튼이 작동하면, 동영상 및 관련 이미지를 촬영하고 키값을 설정하여 저장하는 제 2단계(S20)와;
저장된 이미지를 매핑부(9)에 의하여 동영상과 서로 매핑하고, 매핑정보를 저장하는 제 3단계(S30)와;
촬영된 이미지를 인쇄하는 제 4단계(S40)와;
증강현실 어플리케이션이 실행되면 마커 검출부(15)를 통하여 마커에 해당하는 사진을 인식하고, 매핑부(9)에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 제 5단계(S50)와; 그리고
호출된 동영상을 표시부(13)의 마커위치에 오버레이하여 재생시키는 제 6단계(S60)를 포함한다.
이러한 방법을 보다 상세하게 설명하면, 제 1단계(S10)에서는 시스템(1)을 프리뷰 모드로 설정하여 피사체를 촬영함으로써 영상을 취득하게 된다. 그리고 취득된 영상 데이터는 동영상 저장부(4)로 연속으로 저장된다.
예를 들면, 사용자는 스마트폰의 카메라를 프리뷰 모드로 설정한 상태에서 아파트 단지를 촬영하면, 촬영된 영상 데이터는 동영상 저장부(4)에 저장될 수 있다.
이와 같이 제 1단계(S10)가 완료되면, 제 2단계(S20)가 진행된다.
제 2단계(S20)에서는, 사용자가 피사체에 대하여 사진을 촬영하고자 하는 경우, 시스템(1)의 촬영버튼을 터치함으로써 이미지 데이터를 얻게 된다.
예를 들면, 도 4에 도시된 바와 같이, 스마트폰을 이용하여 거리 장면을 촬영하는 중에, 어린이가 화면에 표시되면 촬영버튼을 눌러서 어린이에 대한 이미지를 얻게 되는 것이다.
그리고, 제어부(11)는 촬영버튼의 작동신호를 감지하고, 촬영시점에 얻어진 데이터가 이미지 저장부(4)에 저장될 수 있도록 한다. 이때, 이미지 데이터에는 고유의 key값이 부여된다.
또한, 촬영시점을 기준으로 전후 소정 시간 동안의 동영상 데이터가 저장될 수 있다.
예를 들면, 촬영 버튼을 눌러서 피사체를 촬영하는 시간이 12:00이라면, 12;00를 기준으로 10분전인 11:50분부터 12:00까지 시간대의 동영상과, 12:00부터 10분 후인 12:10분 까지 시간대의 동영상이 자동으로 저장될 수 있다.
본 발명은 상기한 바와 같이 촬영시 이미지와, 촬영 전후 일정 시간대의 동영상에 의하여 증강현실 컨텐츠를 얻는 방식에 한정되는 것은 아니고 다양하게 변경하여 실시가능하다.
예를 들면, 도 7에 도시된 바와 같이, 촬영버튼(B)을 누르기 시작할 때(t1) 동영상이 저장되고 촬영버튼(B)에서 손을 뗄때(t2) 동영상 저장이 종료되는 경우로서, 촬영버튼(B)을 누르기 시작할 때(t1) 혹은 촬영버튼(B)에서 손을 뗄때(t2) 이미지(마커)를 자동으로 저장하여 컨텐츠를 얻을 수도 있다.
혹은 도 8에 도시된 바와 같이, 촬영버튼(B)을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작(t1) 또는 종료될 때(t2) 이미지를 자동으로 저장하여 컨텐츠를 얻을 수도 있다.
혹은 도 9에 도시된 바와 같이, 촬영버튼(B)을 눌러서 동영상 저장을 시작하고(t1) 다시 누를 때(t2) 동영상의 저장을 종료하는 방식으로서, 동영상 저장중일 때 촬영버튼(B)을 누름으로써 이미지를 저장하여 컨텐츠를 얻을 수도 있다.
한편, 상기 제 2단계에서는 보다 높은 해상도의 이미지 파일을 얻기 위한 단계가 추가로 진행될 수 있다.
즉, 해상도 높은 파일을 얻기 위한 단계에서는, 도 11에 도시된 바와 같이, 촬영버튼(B)을 누르면 초기 일정 시간(t1)동안 이미지가 자동으로 촬영됨으로써 마커용 이미지를 얻을 수 있고, 촬영버튼(B)을 누르고 있는 동안은 동영상이 자동으로 촬영되며, 손을 떼면 동영상 촬영이 종료된다. 이때, 초기 일정 시간(t1) 동안 마커용 이미지가 1장 이상 촬영될 수 있으며, 다수의 이미지중 화질이 좋은 이미지를 선택할 수 있다.
이와 같이 제 2단계가 완료된 후, 이미지와 동영상을 매핑시키는 제 3단계(S30)가 진행된다.
즉, 제어부(11)는 매핑부(9)에 신호를 전송함으로써 이미지와 동영상을 서로 매핑시킨다. 아울러, 매핑정보는 매핑 데이터베이스에 저장될 수 있다.
이와 같이 제 1 내지 제 3단계(S10,S20,S30)의 컨텐츠 재생과정을 통하여, 사용자는 프리뷰 모드 상태에서 촬영하는 중에, 동영상과 이미지 데이터를 얻게 되고, 이러한 이미지 데이터와 동영상이 서로 매핑되어 저장됨으로서 증강현실 컨텐츠를 용이하게 생성할 수 있다.
한편, 이와 같이 생성된 증강현실 컨텐츠는 아래의 순서에 의하여 재생될 수 있다.
먼저, 도 19에 도시된 바와 같이, 제 4단계(S40)가 진행되는 바, 사용자는 촬영된 이미지중 적절한 이미지를 선택한다. 즉, 스마트폰의 화면을 터치하여 이미지 데이터 베이스에 저장된 이미지들을 팝업시키고, 적절한 이미지를 터치함으로써 선택할 수 있다.
그리고, 선택된 이미지를 프린터 등의 외부 출력장치를 통하여 페이퍼 형태로 출력한다. 즉 이 페이퍼 형태의 이미지는 마커의 용도로 사용된다.
물론, 이미지를 외부 출력장치에 의하여 페이퍼 형태로 출력하지 않고, 화면상에 팝업한 상태로 표시할 수도 있다.
혹은 이미지 이외의 가상객체를 마커로 활용할 수도 있다. 예를 들면, 테두리에 흑백 라인이 인쇄되거나 바코드와 같은 형태가 인쇄된 가상객체도 가능하다.
이와 같이 이미지를 사진으로 출력하는 4단계가 완료된 후, 제 5단계(S50)가 진행된다.
제 5단계(S50)에서는, 증강현실 어플리케이션을 실행시키면, 프리뷰 모드로 전환됨으로써 화면상에 렌즈가 촬영하고 있는 구역에 대한 영상이 표시된다.
이때, 마커 검출부(15)는 영상 데이터중 마커를 검출하게 된다. 즉, 페이퍼로 출력된 사진의 픽셀 등 특징점 정보를 데이터 베이스에 저장된 데이터와 비교한다. 그리고, 사진에 매핑되는 동영상을 호출한다.
이때, 트래킹부(19)는 검출된 사진을 트래킹하여, 사진의 기울기, 방향, 거리등을 인식한다.
이와 같이, 제 5단계(S50)가 완료되면, 동영상을 재생하는 제 6단계(S60)가 진행된다.
즉, 스마트폰의 프리뷰 상태에서 배경화면이 디스플레이되고 있는 상태에서 이미지(마커)가 검출되면, 이 이미지 위치에 매핑된 동영상이 재생됨으로써 증강현실 컨텐츠를 감상할 수 있다.
예를 들면, 도 20에 도시된 바와 같이, 스마트폰으로 벽체를 촬영하는 중에, 벽에 걸린 사진이 인식되면 이 사진을 마커로 인식하게 되고, 이 사진에 매핑된 동영상을 호출하게 된다. 그리고, 호출된 동영상은 영상 표시부(13)에 의하여 스마트폰의 화면속 사진 위치에 오버레이될 수 있다.
한편, 상기 실시예에서는 사진 촬영시 전후의 동영상을 자동으로 저장하여 증강현실 컨텐츠를 생성하였지만, 본 발명은 이에 한정되는 것은 아니고 다음과 같이 기존의 동영상을 이용하여 증강현실 컨텐츠를 생성하는 것도 가능하다.
즉, 도 21 및 도 22에 도시된 바와 같이, 동영상 파일을 시스템(1)에 저장한다(S70). 그리고, 어플리케이션을 구동하여 화면상에서 동영상 파일을 재생한다.
동영상을 재생하면서 마커로 사용할 프레임을 선택하여 지정한다(S80). 즉, 화면상에서 재생되는 동영상중 특정 프레임을 캡쳐함으로써 해당 프레임을 이미지 파일 형태로 저장하게 된다.
이때, 캡쳐된 프레임은 전체 동영상중 임의 위치에 있는 프레임을 선택할 수 있다.
이와 같이 캡쳐된 이미지 파일은 키값이 설정됨으로써 가상 오브제로 해당 동영상과 매핑되어 증강현실 컨텐츠로 생성될 수 있다(S90). 그리고 생성된 정보는 저장될 수 있다.
본 발명은 스마트폰 등의 이동통신기기만을 이용하여 동영상을 촬영하는중에 전후 일정 시간 동안의 동영상 혹은 마커를 자동으로 저장하는 간단한 방법에 의하여 증강현실 컨텐츠를 용이하게 생성하거나 재생할 수 있는 기술에 관한 것으로서, 증강현실 관련 기술분야에 널리 이용될 수 있다.

Claims (11)

  1. 렌즈를 통하여 입력되는 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 조작함으로써 해당 영상을 촬영하여 이미지 파일로 변환하는 촬영모드를 포함하는 영상 획득부와;
    영상 획득부에서 촬영버튼을 누를 때 얻어진 이미지와, 촬영시점을 기준으로 일정 시간 동안 자동으로 얻어진 동영상 정보를 저장하는 저장부와;
    저장부에 저장되는 이미지 및 동영상을 서로 매핑시키는 매핑부와;
    영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 매핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
    증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하는 증강현실 컨텐츠 생성 및 재생 시스템.
  2. 렌즈를 통하여 입력되는 영상을 화면상에 표시하는 프리뷰 모드와, 프리뷰 모드 상태에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 조작함으로써 해당 영상을 촬영하여 이미지 파일로 변환하는 촬영모드를 포함하는 영상 획득부와;
    영상 획득부에서 얻어진 동영상 파일과 이미지 파일을 자동으로 저장하는 저장부와;
    저장부에 저장되는 이미지 및 동영상을 서로 맵핑시키는 매핑부와;
    영상 획득부를 통하여 얻어진 영상으로부터 마커에 해당하는 이미지를 인식하고, 해당 이미지에 맵핑된 동영상을 호출하고, 프리뷰 상태의 화면중 마커 위치에 동영상을 오버레이하는 증강현실 처리부와; 그리고
    증강현실 어플리케이션에 의하여 컨텐츠를 생성 및 재생시키는 과정을 제어하는 제어부를 포함하며,
    영상 획득부는 프리뷰 상태에서, 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우로서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장하거나,
    촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻거나,
    촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템.
  3. 제 1항에 있어서,
    영상 획득부는 프리뷰 상태에서, 촬영버튼을 누르기 시작할 때 동영상이 저장되고 촬영버튼에서 손을 뗄때 동영상 저장이 종료되는 경우로서, 촬영버튼을 누르기 시작할 때 혹은 촬영버튼에서 손을 뗄때 이미지(마커)를 자동으로 저장하거나,
    촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상의 저장이 시작 또는 종료될 때 이미지를 자동으로 얻거나,
    촬영버튼을 눌러서 동영상 저장을 시작하고 다시 눌러서 동영상의 저장을 종료하는 방식으로서, 동영상 저장중일 때 촬영버튼을 누름으로써 이미지를 얻을 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템.
  4. 제 1항 또는 2항에 있어서,
    상기 영상 획득부는 해상도 높은 마커용 이미지를 얻는 경우, 촬영버튼을 누르면 초기 일정 시간동안 복수매 혹은 소정 매수의 이미지가 자동으로 촬영되고, 촬영버튼을 누르고 있는 동안은 동영상이 자동으로 촬영되며, 손을 떼면 동영상 촬영이 종료되거나,
    촬영버튼에서 손을 떼기 전 일정 시간동안 자동으로 복수의 마커용 이미지를 촬영하여 얻어진 다수의 이미지중 화질이 좋은 이미지를 선택할 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템.
  5. 제 1항 또는 2항에 있어서,
    상기 영상 획득부는 마커용 이미지를 얻는 경우, 동영상과 이미지를 동일한 해상도로 설정함으로써 동영상 촬영버튼을 누를 때 동영상과 동일한 해상도를 갖는 이미지를 얻을 수 있는 것을 특징으로 하는 증강 현실 컨텐츠 생성 및 재생 시스템.
  6. 제 1항 또는 4항에 있어서,
    상기 증강현실처리부는 영상획득부에 의하여 얻어진 동영상 파일 중, 특정 프레임을 화면상에 다수 표시할 수 있는 UI를 제공하고, 이중 사용자가 원하는 이미지를 선택하여 마커로 활용할 수 있도록 하는 것을 특징으로 하는 증강 현실 컨텐츠 생성 및 재생 시스템.
  7. 제 1항 또는 제 2항에 있어서,
    상기 증강현실 처리부는 영상 획득부를 통해 인식한 실제 영상으로부터 마커에 해당하는 이미지를 추출하고, 저장부에 저장된 이미지의 특징점 정보와 비교하여 해당 이미지를 검출하는 마커 검출부와;
    마커 검출부를 통해 검출된 이미지 정보로부터 저장부에 저장된 동영상 중 매칭된 동영상의 종류를 추출하여 인식하는 트래킹부를 포함하는 증강현실 컨텐츠 생성 및 재생 시스템.
  8. 제 7항에 있어서,
    상기 매핑부는 촬영된 이미지의 테두리에 바코드 혹은 소정 패턴을 추가하여 특징점을 부가함으로써 상기 마커 검출부가 마커임을 인식할 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 시스템.
  9. 제 1항 또는 제 2항에 있어서,
    상기 제어부는 촬영버튼 신호가 입력되는 입력모듈과;
    입력모듈로부터 신호가 입력되면 저장부 및 매핑부에 신호를 출력함으로써 이미지 및 동영상 데이터를 얻고 고유의 키값을 부여하여 저장하도록 제어하는 컨텐츠 생성모듈과;
    증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 이미지를 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 컨텐츠 재생모듈과; 그리고
    호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 영상표시모듈을 포함하는 증강현실 컨텐츠 생성 및 재생 시스템.
  10. 영상 획득부의 프리뷰 모드를 통하여 영상을 촬영하는 제 1단계와;
    프리뷰 모드에서 촬영하고자 하는 영상이 표시되면 촬영버튼을 작동하여 적어도 하나 이상의 이미지 및 동영상 데이터를 얻고 고유의 키값을 부여하여 저장하며, 촬영시점의 전후 소정 시간 범위의 동영상도 자동으로 저장하고, 촬영된 이미지중 높은 해상도의 이미지를 얻기 위한 제 2단계와;
    저장된 이미지를 매핑부에 의하여 동영상과 서로 매핑하고, 매핑정보를 저장하는 제 3단계와;
    촬영된 이미지를 인쇄하는 제 4단계와;
    증강현실 어플리케이션이 실행되면 마커 검출부를 통하여 마커에 해당하는 사진을 인식하고, 매핑부에 신호를 전송하여 인식된 사진과 매핑된 동영상을 호출하는 제 5단계와; 그리고
    호출된 동영상을 표시부의 마커위치에 오버레이하여 재생시키는 제 6단계를 포함하는 증강현실 컨텐츠 생성 및 재생방법.
  11. 제 10항에 있어서,
    상기 제 2단계는 높은 해상도의 이미지 파일을 얻기 위한 단계가 포함되며,
    높은 해상도의 이미지를 얻기 위하여, 영상 획득부는 해상도 높은 마커용 이미지를 얻는 경우, 촬영버튼을 누르면 초기 일정 시간동안 복수매 혹은 소정 매수의 이미지가 자동으로 촬영되고, 촬영버튼을 누르고 있는 동안은 동영상이 자동으로 촬영되며, 손을 떼면 동영상 촬영이 종료되거나,
    촬영버튼에서 손을 떼기 전 일정 시간동안 자동으로 복수의 마커용 이미지를 촬영하여 얻어진 다수의 이미지중 사용자가 원하는 이미지를 선택할 수 있는 것을 특징으로 하는 증강현실 컨텐츠 생성 및 재생 방법.
PCT/KR2015/007126 2014-07-09 2015-07-09 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법 WO2016006946A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580037587.6A CN106664465B (zh) 2014-07-09 2015-07-09 用于创建和再现增强现实内容的系统以及使用其的方法
US15/324,801 US9959681B2 (en) 2014-07-09 2015-07-09 Augmented reality contents generation and play system and method using the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020140085774A KR101518696B1 (ko) 2014-07-09 2014-07-09 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
KR10-2014-0085774 2014-07-09
KR1020150056020A KR101613438B1 (ko) 2015-04-21 2015-04-21 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
KR10-2015-0056020 2015-04-21

Publications (1)

Publication Number Publication Date
WO2016006946A1 true WO2016006946A1 (ko) 2016-01-14

Family

ID=55064501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007126 WO2016006946A1 (ko) 2014-07-09 2015-07-09 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법

Country Status (3)

Country Link
US (1) US9959681B2 (ko)
CN (1) CN106664465B (ko)
WO (1) WO2016006946A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109070804A (zh) * 2016-04-14 2018-12-21 金泰克斯公司 视觉校正车辆显示器

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074395B2 (ja) * 2014-09-12 2017-02-01 富士フイルム株式会社 コンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体
US9898869B2 (en) * 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
KR20170046338A (ko) * 2015-10-21 2017-05-02 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102445699B1 (ko) * 2016-02-18 2022-09-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10127290B1 (en) * 2017-07-19 2018-11-13 Facebook, Inc. Systems and methods for distributing augmented-reality effects
CN108681983B (zh) * 2018-05-07 2023-10-20 饶四强 一种防止拍摄造假的方法
WO2019226001A1 (en) 2018-05-23 2019-11-28 Samsung Electronics Co., Ltd. Method and apparatus for managing content in augmented reality system
KR102086012B1 (ko) * 2018-06-21 2020-03-06 전자부품연구원 증강현실 시뮬레이터의 콘텐츠 표현 방법
CN108986847B (zh) * 2018-08-15 2020-11-06 优信拍（北京）信息科技有限公司 一种视频制作方法及系统
CN110852143B (zh) * 2018-08-21 2024-04-09 元平台公司 在增强现实环境中的交互式文本效果
CN109361880A (zh) 2018-11-30 2019-02-19 三星电子（中国）研发中心 一种展示静态图片对应的动态图片或视频的方法及系统
KR20200101235A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 증강 현실 컨텐츠 제공 방법 및 이를 위한 전자 장치
CN109922269A (zh) * 2019-04-06 2019-06-21 刘兴丹 一种摄像头自动拍照的方法、装置
CN115086554A (zh) * 2019-08-20 2022-09-20 华为技术有限公司 视频特效生成方法及终端
KR20220007672A (ko) 2019-09-04 2022-01-18 머티리얼 테크놀로지스 코포레이션 객체 특징부 시각화 장치 및 방법들
US11503256B2 (en) * 2019-09-04 2022-11-15 Material Technologies Corporation Object feature visualization apparatus and methods
CN110769152A (zh) 2019-09-27 2020-02-07 华为技术有限公司 摄像处理方法、装置、终端设备及存储介质
CN113132768A (zh) * 2019-12-31 2021-07-16 致茂电子(苏州)有限公司 影像显示系统与方法
US11867904B2 (en) 2020-12-18 2024-01-09 Samsung Electronics Co., Ltd. Method and electronic device for providing augmented reality environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107542A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR20120081874A (ko) * 2011-01-12 2012-07-20 에스케이플래닛 주식회사 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
KR20120099814A (ko) * 2011-01-27 2012-09-12 리얼타임비쥬얼(주) 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법
KR20130014760A (ko) * 2011-08-01 2013-02-12 김현아 이동 단말에서의 증강현실 기반 정보 처리 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067181A (zh) * 2008-06-23 2011-05-18 松下电器产业株式会社 合成装置及合成方法
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
JP5054175B2 (ja) * 2010-09-08 2012-10-24 キヤノン株式会社 撮像装置およびその制御方法、撮影制御装置、撮影制御方法
WO2013154476A1 (en) * 2012-04-12 2013-10-17 Telefonaktiebolaget L M Ericsson (Publ) Pairing a mobile terminal with a wireless device
CN103248830A (zh) * 2013-04-10 2013-08-14 东南大学 面向移动智能终端增强现实的实时视频合并方法
CN103530594B (zh) * 2013-11-05 2017-06-16 深圳市幻实科技有限公司 一种提供增强现实的方法、系统及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107542A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR20120081874A (ko) * 2011-01-12 2012-07-20 에스케이플래닛 주식회사 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
KR20120099814A (ko) * 2011-01-27 2012-09-12 리얼타임비쥬얼(주) 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법
KR20130014760A (ko) * 2011-08-01 2013-02-12 김현아 이동 단말에서의 증강현실 기반 정보 처리 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109070804A (zh) * 2016-04-14 2018-12-21 金泰克斯公司 视觉校正车辆显示器
CN109070804B (zh) * 2016-04-14 2021-09-21 金泰克斯公司 视觉校正车辆显示器

Also Published As

Publication number Publication date
US9959681B2 (en) 2018-05-01
CN106664465B (zh) 2020-02-21
US20170200314A1 (en) 2017-07-13
CN106664465A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
WO2016006946A1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법
WO2016043423A1 (en) Method for capturing image and image capturing apparatus
WO2016208849A1 (ko) 디지털 촬영 장치 및 그 동작 방법
WO2016209020A1 (en) Image processing apparatus and image processing method
WO2019039771A1 (en) ELECTRONIC DEVICE FOR STORING DEPTH INFORMATION IN RELATION TO AN IMAGE BASED ON DEPTH INFORMATION PROPERTIES OBTAINED USING AN IMAGE, AND ITS CONTROL METHOD
WO2017073852A1 (en) Photographing apparatus using multiple exposure sensor and photographing method thereof
WO2019027090A1 (ko) 이동 단말기 및 그 제어 방법
WO2019143095A1 (ko) 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버
EP3642802A1 (en) Apparatus for editing image using depth map and method thereof
WO2013094901A1 (en) Method and apparatus for creating or storing resultant image which changes in selected area
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2015016619A1 (en) Electronic apparatus, method of controlling the same, and image reproducing apparatus and method
WO2015190798A1 (en) Method and apparatus for generating image data by using region of interest set by position information
WO2017030262A1 (en) Photographing apparatus and method for controlling the same
WO2021157954A1 (ko) 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
WO2017010628A1 (en) Method and photographing apparatus for controlling function based on gesture of user
EP3381180A1 (en) Photographing device and method of controlling the same
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
KR101613438B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
WO2015142137A1 (ko) 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
EP3222036A1 (en) Method and apparatus for image processing
WO2016072538A1 (ko) 유저 인터페이스를 통한 카메라 장치의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15818191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15324801

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15818191

Country of ref document: EP

Kind code of ref document: A1